目の前にあるモノについて調べたい。そんな時、スマホカメラの映像とGoogleの「Now on Tap」機能を組み合わせて使うことで、モノの詳細情報を検索したり、製品・ブランドのアカウントにアクセスできたりするようになりそうです。
まだ利用できるユーザーが限られているNow on Tapですが、Googleはどうやら更なる展開を図る動きを見せています。米Redditにおいて、Now on TapにOCRのような機能が追加されているのではないかと話題になっているのです。
Android 6.0 Marshmallowから利用できるようになったNow on Tapは、GoogleアプリをAndroid端末にインストールしてあれば使える仕掛け。アプリの使用中にホームボタンを長押しすることで画面に表示されているコンテンツに関連する詳細情報やアプリ、各種アクションが表示されるという先進的な機能です。
スマホで検索が劇的に捗る、Googleが「Now on Tap」を国内で提供開始
話題の機能ですが、筆者がAndroid 6.0搭載のNexus 5Xで試してみたところ、実際に実行することができました。以下のGIFアニメを確認してもらえれば、機能の概要を把握できると思います。
カメラ映像からNow on Tap
この新機能では、端末内に保存してある画像をビューアーなどで表示し、ホームボタンを長押しすると、その画像内のテキストを読み取り、関連情報などを表示してくれます。
また、既に保存されている画像だけでなく、カメラを起動したあとディスプレイに表示されている映像であっても、同じようにNow on Tapが機能しました。たとえば上記GIFアニメのように、コカ・コーラの缶をカメラで捉え、ホームボタンを長押ししてみると、コカ・コーラの情報を検索したり、FacebookやYouTube、Twitterの公式アカウントを表示したり、画像検索をかけたりすることができるわけです。
左:カメラで缶を映す右:Now on Tap
他にも身近にあったモノで試してみると、電話番号や住所、会社名、製品名、キーワードの読み取りなどが可能で、各コンテンツに適したアクションを選択できました。電話番号なら電話アプリを起動でき、会社名ならマップやサイト、ストリートビューなどを表示できるといった具合です。
この謎に包まれた新機能は、商品やロゴ、バーコードなどの写真から検索できる「Googleゴーグル」アプリに近い機能を有している印象ですが、単体の実験的なサービスではなくAndroid OSと統合されている点がGoogleゴーグルとは大きく異なります。つまり、Androidユーザーなら、誰もが日常的に接しうる機能になるのです。
たしかに、今のところ機能としての精度は低く、こちらの意図したとおりにNow on Tapが返答してくれない場合がほとんどです。実際に全てのユーザーにロールアウトされていくのかどうかも分かりません。
しかし、ユーザーの置かれたコンテキストに応じて、的確に必要な情報を提示するというNow on Tapの目的からすると、ウェブページやアプリといったスマホ内の情報だけでなく、いま現実に目の前に存在しているモノの情報を教えてくれる機能は、その本旨に沿うものでしょう。現実世界を認識し、ユーザーの目的や状況などを把握し、適切な情報を送り届けるという仕組みの実現は、Googleが長年望み続けてきたことそのものです。
現段階では満足できるレベルに達していないOCRライクな新機能ですが、Android OSとGoogle検索に密に統合されたNow on Tapの可能性を大きく広げることは間違いありません。この機能が進化していき、文字情報だけでなく映像自体を読み取って理解してくれれば、具体的な検索クエリをGoogleに投げかけることなく現実世界のデータを拾い集めてきてくれるからです。
ここで必要になってくるのは、画像を認識し、情報化するプログラムです。この点、Googleの写真クラウドサービス「Googleフォト」を利用しているユーザーなら、Googleの画像認識アルゴリズムの高度さを体験済みでしょう。被写体となったモノや人物、場所ごとに自動的に写真を分類してくれる機能に驚いた人も多いのではないでしょうか。この機能を実現している画像認識API（Cloud Vision API）は、開発者向けにベータ公開されており、今後もより洗練されていくことが予想されます。
「Googleフォト」がスマホユーザーにとって最強である4つの理由 ── 写真を容量無制限で保存できる無料クラウドサービス
Now on Tapの新機能ではきっと、Googleが行く先の未来の断片を垣間見られるはずです。
