スマホが目の代わりになる「Seeing AI」が日本語対応。アプリ開発時のこだわりをシャイフ氏に聞く(西田宗千佳)

12月3日、マイクロソフトはiPhone向けアプリのアップデートを行う。アプリの名は「Seeing AI」。視覚障害者をサポートするためのアプリだが、その内容は、AIを駆使した最先端技術の塊。無償公開されているので、多くの人に体験し、その可能性を理解して欲しいと思う。

このアプリについては以前本誌でもレポートしたが、それが新たに「日本語対応」したのだ。今回、Seeing AIの開発主要メンバーの一人である米マイクロソフトのサーキブ・シャイフ氏に話をうかがう機会が得られたので、開発の目的や工夫した点、方向性などを尋ねてみた。

Seeing AIの開発メンバーである米マイクロソフトのサーキブ・シャイフ氏。BingやCortanaなどの開発にも関わった経験を持つ

スマホのカメラ＋AIが「目」として視覚のハンディをカバー

Seeing AIは、簡単に言えば、スマホのカメラを「目」として使い、AIで写っている映像を解析し、その内容を文章とテキストで表示するものだ。

元々はマイクロソフト社内で開かれているハッカソンの中で生まれたものだったが、社内での評価も高く、最終的に製品として提供されることになった。最初のバージョンが登場したのは2018年のこと。機能の中でも一番わかりやすいのは紙幣の認識だろう。カメラにかざすと、紙幣の額を読み上げてくれる。もちろん、裏でも表でも問題ない。

▲紙幣を認識し、それがいくらなのかを読み上げることができる

紙幣認識の様子をムービーで。ぜひ音声をオンにしてお楽しみください

「日本円は額によってサイズが違いますが、米ドルのようにサイズが同じものもあります。視覚にハンディを抱えていると、識別は大変です。こうしたアプリを使えば簡単になります」とシャイフ氏は言う。

文字の読み上げ機能もある。画面や商品名などの短い文字を読み上げることもできるし、文書を取り込んで読み上げることも可能だ。

壁に貼られた説明書きや配布された資料、レストランのメニューなどを認識して読み上げられる

短文なら瞬時に読み上げ。こんな風に、PCの画面の文字だって読んでくれる

顔認識だってできる。いくつかの写真を撮って登録しておけば、画面の中に入れるだけで「中央から1m以内に西田宗千佳がいます」といった風に認識してくれるのだ。

「実験的機能」と位置付けられているが、風景の認識もできる。以下の写真をご覧いただきたい。ポイントは下のテキスト。「駅の地下鉄列車」と出ている。駅でなにげなくテストした時のものだが、ちゃんと列車が「地下鉄」であることまで見分けている。