(57)【特許請求の範囲】
【請求項１】
表示中の画像を表し、タグを有する画像データを取得する画像データ取得手段と、
前記画像の表示中に発話された音声を表す音声データを取得する音声データ取得手段と、
前記音声データ取得手段が取得した音声データが表す音声の内容を特定する特定手段と、
前記画像データ取得手段が取得した表示中の画像を表す画像データが有するタグと前記特定手段が特定した内容とに対応する処理を実行する処理手段と
を備える情報処理装置。
【請求項２】
前記画像は複数のタグを有し、
当該複数のタグから一又は複数のタグを選択する選択手段を有し、
前記処理手段は、前記選択手段が選択した一又は複数のタグと前記特定手段が特定した内容とに対応した処理を実行する
請求項１に記載の情報処理装置。
【請求項３】
前記選択手段は、前記特定手段が特定した内容に応じて前記複数のタグから一又は複数のタグを選択する
請求項２に記載の情報処理装置。
【請求項４】
タグと当該タグに対応する単語との対応付けを複数格納したデータベースを有し、
前記特定手段は、前記音声が表す単語を特定し、
前記選択手段は、前記データベースにおいて、前記特定手段が特定した単語に対応付けられたタグを選択する
請求項３に記載の情報処理装置。
【請求項５】
前記画像データ取得手段は、前記画像内の位置を表す座標を取得し、
前記タグは、前記画像内の位置に対応付けられており、
前記選択手段は、前記画像データ取得手段が取得した座標の位置に対応付けられたタグを選択する
請求項２に記載の情報処理装置。
【請求項６】
表示中の画像を表し、タグを有する画像データを取得する画像データ取得ステップと、
前記画像の表示中に発話された音声を表す音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップで取得した音声データが表す音声の内容を特定する特定ステップと、
前記画像データ取得ステップで取得した表示中の画像を表す画像データが有するタグと前記特定ステップで特定した内容とに対応する処理を実行する処理ステップと
を備える情報処理方法。
【請求項７】
コンピュータを、
表示中の画像を表し、タグを有する画像データを取得する画像データ取得手段と、
前記画像の表示中に発話された音声を表す音声データを取得する音声データ取得手段と、
前記音声データ取得手段が取得した音声データが表す音声の内容を特定する特定手段と、
前記画像データ取得手段が取得した表示中の画像を表す画像データが有するタグと前記特定手段が特定した内容とに対応する処理を実行する処理手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像と音声に応じた処理を行う技術に関する。
【背景技術】
【０００２】
特許文献１には、表示された画像内にある物体の情報を検索する情報処理装置が開示されている。この情報処理装置は、カメラにより得られた画像中において物体を含む領域を抽出し、得られた画像と共に抽出した領域を表す矩形枠を表示する。表示された画像に対してユーザーが領域を指定し、ソフトキーで検索の操作を行うと、情報処理装置は、矩形枠内の物体の関連情報の検索処理を行い、検索結果を表示する。特許文献１の情報処理装置によれば、画像内の物体に対して検索処理を行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２０５１２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、画像に映る物体の情報を得る際には、同じ物体であっても検索したいことが異なる場合があるが、特許文献１の情報処理装置では、物体が何であるかを検索するに止まり、様々な情報を得ることができない。
【０００５】
本発明は、画像に対するユーザーの指示を特定し、ユーザーの意図に応じた処理を行う技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、表示中の画像を表し、タグを有する画像データを取得する画像データ取得手段と、前記画像の表示中に発話された音声を表す音声データを取得する音声データ取得手段と、前記音声データ取得手段が取得した音声データが表す音声の内容を特定する特定手段と、前記画像データ取得手段が取得した表示中の画像を表す画像データが有するタグと前記特定手段が特定した内容とに対応する処理を実行する処理手段とを備える情報処理装置を提供する。
【０００７】
本発明においては、前記画像は複数のタグを有し、当該複数のタグから一又は複数のタグを選択する選択手段を有し、前記処理手段は、前記選択手段が選択した一又は複数のタグと前記特定手段が特定した内容とに対応した処理を実行する構成としてもよい。
【０００８】
また、本発明においては、前記選択手段は、前記特定手段が特定した内容に応じて前記複数のタグから一又は複数のタグを選択する構成としてもよい。
また、本発明においては、タグと当該タグに対応する単語との対応付けを複数格納したデータベースを有し、前記特定手段は、前記音声が表す単語を特定し、前記選択手段は、前記データベースにおいて、前記特定手段が特定した単語に対応付けられたタグを選択する構成としてもよい。
【０００９】
また、本発明においては、前記画像データ取得手段は、前記画像内の位置を表す座標を取得し、前記タグは、前記画像内の位置に対応付けられており、前記選択手段は、前記画像データ取得手段が取得した座標の位置に対応付けられたタグを選択する構成としてもよい。
【００１０】
また、本発明は、表示中の画像を表し、タグを有する画像データを取得する画像データ取得ステップと、前記画像の表示中に発話された音声を表す音声データを取得する音声データ取得ステップと、前記音声データ取得ステップで取得した音声データが表す音声の内容を特定する特定ステップと、前記画像データ取得ステップで取得した表示中の画像を表す画像データが有するタグと前記特定ステップで特定した内容とに対応する処理を実行する処理ステップとを備える情報処理方法を提供する。
【００１１】
また、本発明は、コンピュータを、表示中の画像を表し、タグを有する画像データを取得する画像データ取得手段と、前記画像の表示中に発話された音声を表す音声データを取得する音声データ取得手段と、前記音声データ取得手段が取得した音声データが表す音声の内容を特定する特定手段と、前記画像データ取得手段が取得した表示中の画像を表す画像データが有するタグと前記特定手段が特定した内容とに対応する処理を実行する処理手段として機能させるためのプログラムを提供する。
【発明の効果】
【００１２】
本発明によれば、画像に対するユーザーの指示を特定し、ユーザーの意図に応じた処理を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る装置を示した図。
【図２】端末装置１０のハードウェア構成を示したブロック図。
【図３】端末装置１０の機能ブロック図。
【図４】サーバ装置２０のハードウェア構成を示したブロック図。
【図５】サーバ装置２０の機能ブロック図。
【図６】制御部１０１が行う処理の流れを示したフローチャート。
【図７】端末装置１０の画面の一例を示した図。
【発明を実施するための形態】
【００１４】
［実施形態］
＜全体構成＞
図１は、本発明の一実施形態に係る音声エージェントシステム１に含まれる装置を示した図である。通信網２は、インターネットや固定電話網、音声通信やデータ通信などの通信サービスを提供する移動体通信網などを含む。通信網２には、端末装置１０が無線通信によって接続される。本実施形態に係る端末装置１０は、スマートフォンである。端末装置１０は、スマートフォンに限定されるものではなく、データ通信が可能なタブレット端末やフィーチャーフォン、腕時計型の端末などのウェアラブルデバイス、データ通信に特化したコンピュータ装置などであってもよい。なお、通信網２に接続される端末装置は多数存在するが、図面が繁雑になるのを防ぐために、図１においては１つの端末装置１０のみを示している。サーバ装置２０は、端末装置１０に対して音声エージェントサービスを提供する装置である。サーバ装置２０は、通信網２に接続されている。
【００１５】
本実施形態における音声エージェントサービスは、端末装置１０のユーザーの発話に応じて、各種の処理を実行するサービスである。本実施形態に係る音声エージェントサービスは、端末装置１０において表示されている画像に対して発話すると、画像の内容と発話内容とに応じた処理を実行する特徴を有する。このサービスにより、ユーザーは、例えば、手で文字を入力することなく、端末装置１０に対して発話を行うことで情報の検索を行うことができる。
【００１６】
（端末装置１０の構成）
図２は、端末装置１０のハードウェア構成の一例を示した図である。通信部１０５は、通信網２の無線基地局に対して無線通信を行う通信インターフェースとして機能する。音声処理部１０７は、マイクロホンとスピーカを有している。音声処理部１０７は、端末装置同士が音声通話を行う場合、通話相手の音声に係るデジタル信号が通信部１０５から供給されると、供給されたデジタル信号をアナログ信号に変換する。このアナログ信号は、スピーカへ供給され、スピーカからは、通話相手の音声が放音される。また、音声処理部１０７は、マイクロホンが音声を収音すると、収音した音声をデジタル信号に変換する。音声処理部１０７は、端末装置で音声通話を行う場合、ユーザーの音声を変換したデジタル信号を通信部１０５へ供給する。このデジタル信号は、通信部１０５から通信網２へ送信され、通話相手の端末装置へ送信される。
【００１７】
タッチパネル１０３は、表示装置（例えば液晶ディスプレイ）と、表示装置の表示面において指の接触を検出するセンサーとを組み合わせた装置であり、ユーザーにより操作される操作部の一例である。タッチパネル１０３は、文字やＧＵＩ（Graphical User Interface）、端末装置１０を操作するためのメニュー画面などを表示装置で表示する。また、制御部１０１は、ユーザーが指で触れた位置をセンサーで検出する。制御部１０１は、タッチパネル１０３が検出した位置と、タッチパネルに表示されている画面に応じてユーザーの操作を特定し、特定した操作に応じて各部の制御や各種処理を実行する。
【００１８】
測位部１０８は、衛星航法システムの電波を受信するアンテナを備えており、受信した電波に基づいて端末装置１０の位置の緯度及び経度を測位し、測位した位置を表す位置情報を制御部１０１へ出力する。撮像部１０９は、撮像素子（ＣＭＯＳやＣＣＤなど）や撮像素子に像を結像する光学系などを備えている。撮像部１０９は、撮像した画像を表す画像データを生成し、生成した画像データを出力する。
【００１９】
記憶部１０２は、不揮発性メモリーを有しており、オペレーティングシステムのプログラムやアプリケーションプログラム、撮像部１０９が生成した画像データなどを記憶する。本実施形態においては、記憶部１０２はアプリケーションプログラムとして、サーバ装置２０へアクセスして音声エージェントサービスを受けるアプリケーションプログラムを記憶している。
【００２０】
制御部１０１は、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）を有し、ＣＰＵが記憶部１０２に記憶されているオペレーティングシステムのプログラムを実行すると、スマートフォンのオペレーティングシステムが実現する。また、オペレーティングシステムが実現すると、アプリケーションプログラムを実行することが可能となる。
【００２１】
（端末装置１０の機能構成）
図３は、端末装置１０において実現する機能のうち、本発明に係る機能の構成を示したブロック図である。画像取得部１００１は、撮像部１０９が生成した画像データを取得する。音声取得部１００２、音声処理部１０７が生成する音声データを取得する。音声データは、マイクロホンで収音した音声から音声処理部１０７が生成したデジタル信号をデータ化したものである。送信部１００３は、画像取得部１００１が取得した画像データと音声取得部１００２が取得した音声データを、通信部１０５を制御してサーバ装置２０へ送信する。受信部１００４は、送信した画像データ及び音声データへの応答としてサーバ装置２０から送信されるコンテンツを受信する。提示部１００５は、受信部１００４が受信したコンテンツが表示されるようにタッチパネル１０３を制御する。
【００２２】
（サーバ装置２０の構成）
図４は、サーバ装置２０のハードウェア構成を示した図である。表示部２０３は、液晶ディスプレイを備えており、サーバ装置２０を操作するためのメニュー画面などを表示する。操作部２０４は、キーボードやマウスなどの入力装置を有している。サーバ装置２０は、キーボードやマウスに行われた操作に応じて動作する。通信部２０５は、通信網２を介したデータ通信を行う通信インターフェースとして機能する。
【００２３】
記憶部２０２は、ハードディスク装置を有しており、オペレーティングシステムのプログラムや、アプリケーションプログラムなどを記憶している。本実施形態においては、記憶部２０２は、音声エージェントサービスを実現するプログラムであって、端末装置１０から音声データと画像データを取得し、取得したデータに対応した処理を実行し、実行結果を端末装置１０へ送信するアプリケーションプログラムを記憶している。
【００２４】
制御部２０１は、ＣＰＵ、ブートローダを記憶したＲＯＭ及びＲＡＭを有している。ＣＰＵがオペレーティングシステムのプログラムを実行すると、アプリケーションプログラムを実行することが可能となる。
【００２５】
（サーバ装置２０の機能構成）
図５は、端末装置１０において実現する機能のうち、本発明に係る機能の構成を示したブロック図である。データ受信部２００１は、端末装置１０が送信した画像データ及び音声データを、通信部２０５を制御して受信する。データ受信部２００１は、音声データを取得する音声データ取得手段として機能する。画像解析部２００２は、データ受信部２００１が取得した画像データを解析する。画像解析部２００２は、画像解析により画像データが表す画像の内容を特定し、特定した内容に応じたタグを画像データに付加する。音声解析部２００３は、データ受信部２００１が受信した音声データに音声認識処理を行い、音声データをテキストデータに変換する。音声解析部２００３は、テキストデータを解析し、音声データが表す音声の内容を特定する。音声解析部２００３は、音声データが表す音声の内容を特定する特定手段として機能する。データ処理部２００４は、タグを有する画像データを画像解析部２００２から取得し、画像データ取得手段として機能する。データ処理部２００４は、取得した画像データに付加されたタグと、音声解析部２００３が特定したテキストデータの内容に基づいて、音声の発話内容の意図を特定し、特定した意図に応じた処理を実行する。本実施形態においては、データ処理部２００４は、通信網２に接続されている外部のサーチエンジンにアクセスし、特定した意図に応じた検索処理を実行する。提供部２００５は、データ処理部２００４の処理の結果を、画像データ及び音声データを送信してきた端末装置１０へ送信する。
【００２６】
（実施形態の動作例）
次に、本実施形態の動作例を説明する。ユーザーが、アプリケーションプログラムを実行している端末装置１０の撮像部１０９を被写体に向け、端末装置１０に対して撮影を指示する操作を行うと、制御部１０１は、撮像部１０９を制御して被写体の撮影を行う。撮像部１０９は、撮影した被写体の画像データを生成し、制御部１０１は、撮像部１０９が生成した画像データを取得する。制御部１０１は、取得した画像データが表す画像が表示されるようにタッチパネル１０３を制御する。
【００２７】
ユーザーは、被写体について調べたいことがある場合、表示された画像内に映っているものについて調べたいことを話す。ユーザーが発話したときの音声は、音声処理部１０７のマイクロホンで音声信号に変換され、この音声信号は、音声処理部１０７においてデジタル化された音声データに変換される。音声データは、音声処理部１０７から制御部１０１へ供給される。制御部１０１は、音声処理部１０７から供給された音声データを取得すると、取得した画像データ及び音声データを、通信部１０５を制御してサーバ装置２０へ送信する。
【００２８】
通信部２０５は、端末装置１０が送信した画像データと音声データを取得する。制御部２０１は、通信部２０５が取得した画像データと音声データを取得する。制御部２０１は、画像データと音声データを取得すると、図６に示した処理を実行する。
【００２９】
まず、制御部２０１は、取得した画像データが表す画像を解析し、画像内に映る物体に対応したタグを画像データに付加する（ステップＳＡ１）。タグはメタデータとして画像データに付加される。画像を解析してタグを付加する技術としては、例えば、http://j-net21.smrj.go.jp/develop/digital/entry/001-20110223-01.htmlやhttp://www.rbbtoday.com/article/2011/05/13/76887.htmlなどに記載されている公知の技術や、特開２０１０−２５２２３６号公報に開示されている公知の技術などを利用できる。図７に示したように画像内に富士山と「ＡＡＡ」という車種名の自動車がある場合、例えば「富士山」というタグと、「ＡＡＡ」というタグが画像データに付加される。次に制御部２０１は、音声データに対して音声認識処理を行い、ユーザーの音声をテキストデータに変換する（ステップＳＡ２）。
【００３０】
制御部２０１は、ステップＳＡ２の処理が終了すると、画像データに付加されたタグの内容と、テキストデータが表すユーザーの発話内容とに基づいて、ユーザーの発話内容の意図を解釈する処理を行う（ステップＳＡ３）。具体的には、制御部２０１は、テキストデータに対して形態素解析を実行してテキストデータに含まれる単語を特定し、特定した単語及び画像データに付加されているタグデータの組み合わせからユーザーの発話の意図を解釈する。
【００３１】
この解釈は、例えば、タグとなる単語と、タグとなる単語に対して使用される可能性のある単語とを対応付けたデータベースを記憶部２０２に構築しておくことにより、行うことができる。例えば、本実施形態においては、タグとなる単語の「富士山」に対しては「行きたい」や「高さ」などの単語が対応付けられ、タグとなる自動車の個々の車種名に対しては「価格」や「販売店」などの単語がデータベースにおいて対応付けられている。
【００３２】
ここで図７の画像に対してのユーザーの発話が例えば「行きたい」である場合を想定する。データベースにおいては、タグの「富士山」という単語に対しては「行きたい」が対応付けられており、タグの「ＡＡＡ」という単語に対しては「行きたい」が対応付けられていない。この場合、制御部２０１は、ユーザーの発話は、発話内容に対して対応付けがある「富士山」に対するものであると特定し、ユーザーの意図は「富士山へ行きたい」であると解釈する。
【００３３】
一方、ユーザーの発話が例えば「価格は？」である場合、データベースにおいては、タグの「ＡＡＡ」という単語に対しては「価格」が対応付けられており、タグの「富士山」という単語に対しては「価格」が対応付けられていない。この場合、制御部２０１は、ユーザーの発話は、発話内容に対して対応付けがある「ＡＡＡ」に対するものであると特定し、ユーザーの意図は「ＡＡＡの価格は？」であると解釈する。
【００３４】
制御部２０１は、ユーザーの発話内容の意図を解釈すると、解釈した発話内容に応じた処理を実行する（ステップＳＡ４）。例えば、ユーザーの意図が「富士山へ行きたい」である場合、通信網２に接続されている外部のサーチエンジンを用い、例えば「富士山」及び「行きたい」というキーワードで検索を行う。制御部２０１は、外部のサーチエンジンから富士山への交通アクセスなどの検索結果を受信すると、受信した検索結果を、通信部２０５を制御して端末装置１０へ送信する（ステップＳＡ５）。なお、端末装置１０が、音声データや画像データと共に測位部１０８が生成した位置情報を送信する構成の場合、ユーザーの現在地から富士山までのルートを検索するようにしてもよい。
【００３５】
また、ユーザーの意図が「ＡＡＡの価格は？」である場合、通信網２に接続されている外部のサーチエンジンを用い、例えば「ＡＡＡ」及び「価格」というキーワードで検索を行う。制御部２０１は、外部のサーチエンジンから「ＡＡＡ」という車種の価格の検索結果を受信すると、受信した検索結果を、通信部２０５を制御して端末装置１０へ送信する。
【００３６】
サーバ装置２０が送信した検索結果を通信部１０５が受信すると、制御部１０１は、通信部１０５が受信した検索結果を取得する。制御部１０１は、検索結果を取得すると、取得した検索結果が表示されるようにタッチパネル１０３を制御する。例えば、ユーザーが図７の画像に対して「行きたい」と発話した場合には、富士山への交通アクセスの検索結果がタッチパネル１０３に表示される。また、ユーザーが、図７の画像に対して「価格は？」と発話した場合には、撮影した自動車の価格がタッチパネル１０３に表示される。
【００３７】
以上説明したように本実施形態によれば、画像の解析結果と音声の解析結果との組み合わせにより、ユーザーの発話内容の意図を精度良く特定し、発話内容に応じた処理を実行することができる。
【００３８】
［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態及び以下の変形例は、各々を組み合わせてもよい。
【００３９】
上述した実施形態においては、撮影して得られた画像を表示し、表示された画像に対してユーザーが発話を行うと、表示されている画像と発話内容に対応した処理が実行されるが、端末装置１０が表示する画像は、撮影して得られた直後の画像に限定されるものではない。例えば、撮影されて記憶部１０２に蓄積されていた画像データの中からユーザーにより選択された画像データが表す画像を表示し、表示された画像の画像データと、表示された画像に対してユーザーが発話した音声の音声データとをサーバ装置２０へ送信してもよい。また、端末装置１０が通信網２を介して他のコンピュータ装置から受信した画像データの画像や、端末装置１０に脱着可能な記録媒体から取得した画像データの画像を端末装置１０で表示し、表示された画像の画像データと、表示された画像に対してユーザーが発話した音声の音声データとをサーバ装置２０へ送信してもよい。
【００４０】
本発明においては、画像データに付されるタグは、上述の実施形態で説明したタグに限定されるものではない。例えば、制御部２０１は、画像内に料理が映っている場合には、料理名をタグとして付加し、画像内に人物が映っている場合には、人物名をタグとして付加する。また、制御部２０１は、撮影した画像が風景の画像である場合、撮影した場所の地名をタグとして付加し、撮影した画像内にランドマークが映っている場合、映っているランドマークの名称をタグとして付加する。
【００４１】
サーバ装置２０は、画像内に料理が映っており、例えば、ユーザーの発話が「食べる」であった場合には、タグの料理名と「食べる」というキーワードによる検索処理を行う。また、サーバ装置２０は、画像内に料理が映っており、例えば、ユーザーの発話が「カロリー」であった場合には、タグの料理名と「カロリー」というキーワードによる検索処理を行う。なお、画像内に複数種類の料理が映っている場合、各料理のカロリーを検索してもよく、複数の料理のカロリーを合計してユーザーに提示しても良い。サーバ装置２０は、画像内にプロスポーツ選手が映っており、ユーザーの発話が「成績は？」であった場合には、スポーツ選手の名前と「成績」というキーワードによる検索処理を行う。サーバ装置２０は、画像内にランドマークが映っており、ユーザーの発話が「アクセス」であった場合には、ランドマークの名称と「アクセス」というキーワードによる検索処理を行う。
【００４２】
上述した実施形態においては、端末装置１０は、静止画を表示するが、動画を表示してもよい。端末装置１０は、動画像の表示中にユーザーが発話を行った場合、発話を行ったときの動画像のフレームの画像を抽出し、抽出した画像の画像データと、ユーザーの発話の音声データとをサーバ装置２０へ送信してもよい。
【００４３】
上述した実施形態においては、サーバ装置２０は、タグと発話内容とに応じた検索処理を行っているが、サーバ装置２０が行う処理は、検索処理に限定されるものではない。例えば、風景の画像でタグとして撮影場所の地名が付されており、ユーザーの発話が「補正」であった場合、制御部２０１は、風景の画像データに対して明るさやコントラスト、彩度などの自動補正を行い、補正された画像の画像データを端末装置１０へ送信してもよい。
【００４４】
本発明では、端末装置１０において、ユーザーが画像内に映っている物体を指定し、サーバ装置２０は、指定された物体に対して付されたタグと、テキストデータとに応じた処理を実行するようにしてもよい。例えば、ユーザーは、撮影した画像が表示されている場合、画像内に表示されている物体の位置に指を接触させ、発話を行う。制御部１０１は、タッチパネル１０３において指が接触している位置を特定し、表示している画像において指の位置に対応した位置の座標を特定する。制御部１０１は、ユーザーが発話を行うと、画像データ、音声データ、画像内においてユーザーが指で触れた位置の座標をサーバ装置２０へ送信する。サーバ装置２０は、画像データにタグを付した後、画像内においてユーザーが指で触れた位置にある物体に対応したタグを特定し、特定したタグと発話内容応じた処理を行う。例えば、図７に示した画像において、ユーザーが指で自動車の位置に触れて「価格は？」と発話した場合、制御部２０１は、データベースを参照せず、指の位置の座標にある自動車の画像を解析して自動車の車種名をタグとして決定し、決定したタグと「価格」というキーワードで検索処理を行う。この構成によれば、より精度良くユーザーの発話の意図を特定することができる。
【００４５】
なお、タッチパネル１０３の表示面側でユーザーの顔を撮影可能な撮像部を備える端末装置１０においては、タッチパネル１０３を見ているユーザーの顔を撮影してユーザーの視線を検知し、タッチパネル１０３に表示されている画像においてユーザーが注視している位置の座標を特定してもよい。この構成の場合、制御部１０１は、ユーザーが発話を行うと、画像データ、音声データ、画像内においてユーザーが注視した位置の座標をサーバ装置２０へ送信する。例えば、図７に示した画像において、ユーザーが自動車を注視して「価格は？」と発話した場合、制御部２０１は、データベースを参照せず、注視した位置の座標にある自動車の画像を解析して自動車の車種名をタグとして決定し、決定したタグと「価格」というキーワードで検索処理を行う。この構成でも、より精度良くユーザーの発話の意図を特定することができる。
【００４６】
また、端末装置１０がメガネ型端末の場合、ユーザーの視界の範囲を撮像部で撮影して画像データを生成する。端末装置１０がメガネ型の場合、ユーザーの視線を検知し、撮影している画像においてユーザーが注視している位置の座標を特定してもよい。この構成の場合、制御部１０１は、ユーザーが発話を行うと、画像データ、音声データ、画像内においてユーザーが注視した位置の座標をサーバ装置２０へ送信する。端末装置１０は、サーバ装置２０から送信された検索結果を受信すると、検索結果を表示する。この構成によれば、撮影を行いながら発話を行うだけで、ユーザーの視界に入る物体の検索を容易に行うことができる。
【００４７】
また、本発明においては、画像内における物体の大きさや物体毎のフォーカスの状態に応じて、発話に対応したタグを選択するようにしてもよい。例えば、画像内に映っている物体のうち、映っている領域が所定の閾値未満である物体がある場合、この物体に対応したタグを除外してユーザーの発話の意図を解釈してもよい。また、画像内に映っている物体のうち、フォーカスが最もあっている物体を特定し、特定した物体に対応するタグと発話内容とに応じた検索処理を行う構成としてもよい。
【００４８】
撮像部１０９の撮像素子で得られている画像をタッチパネル１０３に表示し、画像の表示中にユーザーが発話を行った場合、発話が終了したときの画像を静止画として抽出し、抽出した画像の画像データと、ユーザーの発話の音声データとをサーバ装置２０へ送信してもよい。この構成によれば、例えば、タッチパネル１０３をタップしたり、端末装置１０のボタンを操作したりするような撮影のための操作を行わなくとも、ユーザーの発話内容の意図を特定し、発話内容に応じた処理を実行することができる。また、この変形例においても、上述の変形例のように指や視線で画像内に映っている物体を指定してもよい。
【００４９】
上述した実施形態においては、音声データに対してサーバ装置２０が音声認識を行っているが、端末装置１０において音声認識を行ってもよい。この構成の場合、端末装置１０は、音声認識で得られたテキストデータを音声データに替えてサーバ装置２０へ送信する。この構成によれば、サーバ装置２０に係る負荷を抑えることができる。
【００５０】
上述した実施形態においては、画像データに対してサーバ装置２０がタグを付加しているが、端末装置１０において画像データにタグを付加してもよい。端末装置１０において、画像データにタグを付加する場合、ユーザーがタッチパネル１０３を操作して画像データにタグを付加する構成としてもよい。サーバ装置２０は、タグが付加された画像データを取得した場合、ステップＳＡ１の処理を省略し、ステップＳＡ２以降の処理を実行する。この構成によれば、サーバ装置２０に係る負荷を抑えることができる。
【００５１】
本発明においては、ユーザーの音声を記録しておき、記録した音声に対応した画像を撮像部１０９で得た場合、画像と発話内容に応じた処理を行うようにしてもよい。例えば、「富士山の高さは？」という音声を記録した後、撮像部１０９により富士山の画像を得た場合、タグとして「富士山」が付加された画像と音声の内容から、富士山の高さを検索する処理を実行してもよい。
【００５２】
本発明に係る機能を実現するプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））など）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリーなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し、各装置にインストールしてもよい。また、通信網を介してプログラムをダウンロードして各装置にインストールしてもよい。
【符号の説明】
【００５３】
１…音声エージェントシステム、２…通信網、１０…端末装置、２０…サーバ装置、１０１…制御部、１０２…記憶部、１０３…タッチパネル、１０５…通信部、１０７…音声処理部、１０８…測位部、１０９…撮像部、２０１…制御部、２０２…記憶部、２０３…表示部、２０４…操作部、２０５…通信部、１００１…画像取得部、１００２…音声取得部、１００３…送信部、１００４…受信部、１００５…提示部、２００１…データ受信部、２００２…画像解析部、２００３…音声解析部、２００４…データ処理部、２００５…提供部
【図１】
0006621595.tif 000002
【図２】
0006621595.tif 000003
【図３】
0006621595.tif 000004
【図４】
0006621595.tif 000005
【図５】
0006621595.tif 000006
【図６】
0006621595.tif 000007
【図７】
0006621595.tif 000008