サービス系研究開発のスピードアップを目指したサービスインキュベーションの取り組み

画像認識

知識処理

クラウド

特集

カメラを向けることで，その場面で必要な情報が取得できる「SightX」
なみかわ

だ い ちみなみ並河 大地/南かたおか

本稿では，ユーザが言葉を使わなくても情報にアクセスできる通信サービ

は る の片岡 春乃

ス「SightX」を紹介します．SightXでは，目の前にあるモノの名前が分からしもむら

ないときや声を出すのがはばかられるときにも，ユーザが知りたい対象にス

下村 道夫

まきぐち

ひ ろ や裕也
もとひろ/巻口 誉宗

み ち お

マートデバイスのカメラを向けることで，その場面で必要な情報が取得できNTTサービスエボリューション研究所ます．

が分からないときや声を出すのがはばない嗜好品などには，味わいや評判なかられるときにも，知りたい対象にス

どさらに詳しい情報も提示します（図近年のスマートデバイス の急速な普

マートデバイスのカメラを向けることで１（b））．

及やモバイルネットワークの進展によ質問できるサービスです．これにより，（2） 名前を知らないか思い出せない

り，いつでもどこでもユーザが情報にユーザはいつでも，言葉を使わずに情アクセスできる環境が整っています．以報が取得できるようになります．このTVや雑誌に出ている名前を知らな前からキーワードを文字入力して情報サービスを新旧さまざまなスマートデバ

い有名人や，名前を思い出せない知人を検索するサービスが広く使われてきイスからご利用いただくために，複雑が対象の場合，顔にカメラを向けるこましたが，最近では，音声で質問するこな処理はクラウド上の高性能サーバでとで，その人物の名前，年齢，所属なとで情報にアクセスできるサービスも登実行します．このサービスを，視覚どのプロフィールを提示できるようにし場しました ．しかしながら，キーワー（sight）を探査する（explore）ことます（図１（c））．さらに知人の場合

ドとして適切な言葉が思い浮かばないで認識・視野を拡大する（expand）は，連絡先なども提示します．

場合や，文字や音声の入力が困難なという意味を込めて，SightXと名付状況ではスマートデバイスやモバイルけました．て，雑踏や電車の中，公共の場所なネットワークの利便性を十分に活用す■利用シーン

ど，音声で質問するのが困難な場所ではじめに
＊

（1）

人物

このほかのSightXの利用シーンとしることができません．この問題を解決

以下ではSightXの利用シーンを，の利用も想定しています．

するために，私たちは「RTC（Real

ユーザに提示する情報とともに，具体（3） 観光地や店舗の看板

Time Communication）中のメディ

例 を挙 げながら詳 しく紹 介 します．

観光地にある案内看板や，店舗のアを修飾・変換するサービス群」のサー

SightXの利用シーンとしては，知りた看板にカメラを向けることで，案内のい対象の名前が分からないときがまず概要や現在地，Webサイトなどの情報して，ユーザが言葉を使わなくてもその挙げられます．

を提示できるようにします（図１（d））．

場面で必要な情報にアクセスできる通（1） 雑貨店や専門店などの商品

店舗の看板については，その店舗の信サービスの実現を目指しています．

デザイン性の高いキッチン用品など，ジャンルや評判なども提示します．

（2）

ビスビジョン型可視化の取り組みとサービス概要■コンセプトSightXは，目の前にあるモノの名前＊ スマートデバイス：スマートフォンやタブレッ
ト端末などの多機能通信端末．

見慣れない形状をしていて商品名や用

このように，SightXでは，知りたい途が分からない商品にカメラを向ける

対象やユーザの状況に応じて広範な知ことで，その名前，値段など商品の基識を提示します．

本的な情報を提示できるようにします（図１（a））．またワインや日本酒といった，名前や値段だけでは十分理解でき機能構成
SightXの機能構成は以下のとおり

NTT技術ジャーナル 2013.5

25

サービス系研究開発のスピードアップを目指したサービスインキュベーションの取り組みです（図２）．
①（d） 声が出しづらいとき

リアルタイム映像送信機能：（a） 商品名が分からないとき

ユーザがスマートデバイスで撮影した映像をクラウド上のサーバへリアルタイムに送信します．
② 映像認識機能：クラウド上のサーバでは，モノや人物など，多宝歓神社のWebサイトが見つかりました

種多様な対象を幅広く認識するた「ピラニアピザカッター」です

クラウド

めに，特性の異なる映像認識エンジンを複数並行して動作させて，「スマートデバイスから送信されたトスカーナ州の赤ワイン「Shaaekine」に似た味です「ローラ」さんです

リアルタイム映像に写っている対象が何か」を認識します．
③

知識処理機能：映像認識エンジンで得られた結果を基に，認識（c） プロフィールを知りたいときした対象についてユーザに提示する情報を生成します．ここでも，

図１（b） どんな味わいか知りたいとき

SightX の利用シーン

複数種類の知識処理エンジンが同

クラウド

②映像認識
映像映像分配

③知識処理
認識結果

映像認識エンジン１

知識処理エンジン１

映像認識エンジン２

知識処理エンジン２

映像認識エンジン３

知識処理エンジン３

情報情報
集約

通信網
①リアルタイム映像送信

スマートデバイス④情報表示

これおいしいかな

この子だれだろう

買い物中のAさん

目の前にあるモノ

図２

26

NTT技術ジャーナル 2013.5

SightXの機能構成

TVを視聴中のBさん

特集

時に動作することで，広範な情報ことができます．前述の利用シーンでけると，対象についての情報（名称なの生成を可能とします．

示した対象に限らず，認識対象や生成ど）を，画面上で対象に重畳するAR

情報表示機能：知識処理エンする情報の追加・変更に合わせて個々（ Augmented Reality） で表 示 しま

ジンが生成した情報をスマートデのエンジンを更改することも可能です．

す．またユーザがARで表示されたアイバイスが受信し，画面に表示し例えば，新たに人物の感情も認識した

コンをタップすると，表示する情報をます．

い場合は顔の表情を認識するエンジン切り替える（例えば，名称から価格へを追加するだけで対応できます．

切り替える）ことができます．またア④

このように，ユーザが使用するデバ
イスに求められる機能はリアルタイム
映像の撮影，データ送受信，情報のイコンを長押しすると，さらに詳しいプロトタイプ実装

情 報 をタブウインドウで表 示 します（図３）．

画面表示のみとなっており，最新の機私たちは前述した利用シーンが実際種に限らず，新旧さまざまなスマートに体験できるSightXのプロトタイプを，（2） 映像認識エンジンデバイスでの利用が可能です．また，NTT研究所の内外から関連技術を集モノを２次元的に認識・照合するオ②映像認識機能と③知識処理機能は，めて実装しています．次に，現在のプ

ブジェクト認識エンジン，顔から「人クラウド上にそれぞれ複数種類の映像ロトタイプのユーザインタフェースの動物が誰か」を認識する顔認識エンジン，認識エンジン・知識処理エンジンを多作イメージと，利用している映像認識

英語と日本語の文字を認識する文字認段に配置する構成を採用しています．

エンジン・知識処理エンジンを紹介し識エンジンを使用しています．特に文字このため，多様な認識対象に関する広ます．

認識エンジンは，文字列の段組みを考範な情報を，サービスを使い分けるこ（1） ユーザインタフェース

慮することで文章中の「どの節か」までとなくカメラを向けるだけで取得する

ユーザが知りたい対象にカメラを向特定することができます（Kappan（3））．

アイコンを長押し『名前』ニャ。

アイコンをタップアイコンを長押し『金額』ニャ。

図３

動作イメージ

NTT技術ジャーナル 2013.527

サービス系研究開発のスピードアップを目指したサービスインキュベーションの取り組み（3） 知識処理エンジン

な利用シーン開拓のきっかけとし，さ商品名や店舗名など，基本的な情らに顕在化した技術課題を今後の要素報を収集する検索エンジンのほか，購技術の研究開発における方向性の議論

買情報などのライフログに基づいて，に活用します．

初めて見た商品や店舗の雰囲気などに新しい要素技術やデバイスの適用とついて，「ユーザが過去に体験したものしては，例えば３次元被写体識別技で何に相当するか」を例示し，理解術（7），（8）を映像認識エンジンに適用すを支援する感性コミュニケーションエることを予定しています．少ない学習（4），（5）

ンジン，商品や店舗に対する多画像から３次元の被写体を識別できる数の評判情報（いわゆるクチコミ）をため，さまざまな立体物を認識する必

解析して短く要約したクチコミを作成

要がある利用シーンへの対応も可能にし，スマートデバイスの小さな画面になると考えられます．また，ユーザの（6）表示できるクチコミ要約エンジンを利用しています．

まとめと今後の展開
SightXは，ユーザが言葉を使わなく状況や興味関心を推定し，本当に求（4） 望月・永徳・茂木・八木・武藤・小林： ライフログを活用した感性コミュニケーション実現方式の提案―実感を伴う情報伝達効果に関する検証, 情処学論，Vol.53，No.1，pp.30-38，2012.
（5） R.Mochizuki，T.Watanabe，and T.Kobayashi:
Emotion Communication Model Based on LifeLog Comparison: Mutual Understanding throughComparable Experiences,
SAINT2012，
IEEE/IPSJ，Izmir，Turkey，July 2012.
（6） 西川・長谷川・松尾・菊井: 文の選択と順序付けを同時に行う評価文書要約モデル, 人工知能学論，Vol.28，No. 1，pp.88-99，2013.
（7） H.Yabushita，J. Shimamura，and M. Morimoto:
A Framework of Three-Dimensional Object
Recognition Which Needs Only a Few Reference
Images， Proc. of ICPR 2012，TuPSBT2.16，pp.1375-1378，Nov. 2012.
（8） 薮下・島村・森本： 被写体形状・テクスチャの球面展開に基づく３次元物体認識， 信学
技報，PRMU，Vol.111，No.370，pp.73-78，
2012.

めている情報を選定するために，ユー
ザの視点，視野と同等の映像が取得可
能なメガネ型のカメラデバイスの適用も検討しています．ても情報にアクセスできる通信サービ

またSightXは，認識対象や生成すスの実現を目指して検討を進めてきまる情報の追加・変更に合わせて個々のした．現在までに，SightXの使用感エンジンを柔軟に更改できるため，汎が実際に体験できるプロトタイプを実用性が高いという特徴があります．そ装し，サービスイメージを可視化してのため，私たちだけでは想定できない，います．

よりお客さまに近い現場でのさまざま

今後は，事業会社とともに，実際にな問題や課題を解決できる利用シーンお客さまに使っていただくフィールドトも存在するはずです．そこで，お客さ（前列左から）下村 道夫/ 片岡 春乃/ライアルの実施，さらにこのトライア

まや事業会社のご意見・ご要望を柔軟

並河 大地

ルと並行して，日々進歩を続ける映像に取り入れながら，利用シーン，適応認識，知識処理の要素技術や，ウェ範囲を広げ，サービスビジョン型可視アラブルデバイスなどの新しいデバイス化として，価値ある通信サービスを実の適用を進めます．

現していきたいと考えています．

まずはトライアル実施に向けて，映像認識機能，知識処理機能の精度向上，プロトタイプの動作安定化を目指します．トライアルを通じて得られた意見や知見を要素技術の研究開発へフィードバックするだけではなく，新た28NTT技術ジャーナル 2013.5■参考文献（1） 吉村： しゃべってコンシェルと言語処理，
情処学研報，2012-SLP-93，pp.1-6，2012.
（2） 内田: サービス創造加速に向けたサービス可視化とトライアル， NTT技術ジャーナル，Vol.25，No.5，pp.8-12，2013.
（3） A. Miyata and K. Fujimura: Document Area
Identification for Extending Books without
Markers, ACM CHI2011，2011.

（後列左から）巻口 誉宗/ 南裕也

SightXの今後の検討を，ぜひお客さまや事業会社の方々とともに進めていきたいと考えています．ご興味のある方がいらっ
しゃいましたら，ぜひお問い合わせください．

◆問い合わせ先
NTTサービスエボリューション研究所
サービス方式SEプロジェクト
TEL 046-859-3082
FAX 046-859-3075
E-mail ssog lab.ntt.co.jp