(57)【要約】【課題】所望の対象に応じたコンテンツを簡易かつ直感的に検索すること。【解決手段】実施形態の情報処理装置は、撮像部と、推定部と、コンテンツ取得部と、表示部と、を備える。撮像部は、撮像対象を撮像する。推定部は、前記撮像部による前記撮像対象に対する撮像方法に応じた、前記撮像対象の状態を推定する。コンテンツ取得部は、前記撮像対象に関連しつつ前記撮像対象の状態に応じたコンテンツを取得する。表示部は、取得したコンテンツを表示する。【選択図】図２
2014110560.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象を撮像する撮像部と、
前記撮像部による前記撮像対象に対する撮像方法に応じた、前記撮像対象の状態を推定する推定部と、
前記撮像対象に関連しつつ前記撮像対象の状態に応じたコンテンツを取得するコンテンツ取得部と、
取得したコンテンツを表示する表示部と、
を備えた情報処理装置。
【請求項２】
前記撮像対象の状態に基づいた関連情報を取得する関連情報取得部と、
前記撮像対象と前記関連情報とに基づいて、表示情報を決定する決定部、をさらに備え
前記表示部は、前記表示情報をユーザに指示可能に表示し、
前記コンテンツ取得部は、前記ユーザから指示された前記表示情報に基づいて、前記コンテンツを取得する、
請求項１に記載の情報処理装置。
【請求項３】
前記撮像対象は、表示画面である、
請求項２に記載の情報処理装置。
【請求項４】
前記コンテンツ取得部は、前記撮像部により撮像した撮像画像において前記表示画面の一部と全体とのうち何れが指定されているかに応じて異なるコンテンツを取得する、
請求項３に記載の情報処理装置。
【請求項５】
前記コンテンツ取得部は、前記撮像画像において前記表示画面の一部が指定されている場合に、前記コンテンツとして、前記表示画面の一部に含まれる人物に関する情報を取得する、
請求項４に記載の情報処理装置。
【請求項６】
前記コンテンツ取得部は、前記撮像画像において前記表示画面の全部が指定されている場合に、前記コンテンツとして、前記表示画面に表示されている番組に関する情報を取得する、
請求項４に記載の情報処理装置。
【請求項７】
前記コンテンツ取得部は、前記番組に関する情報として、電子番組情報を受信し、
前記表示部は、前記コンテンツとして、前記撮像画像に含まれる人物の画像と、前記電子番組情報における登場人物に関する情報と、を対応付けて表示する、
請求項６に記載の情報処理装置。
【請求項８】
前記コンテンツ取得部は、前記表示画面の状態としての前記表示画面の姿勢に応じて異なるコンテンツを取得する、
請求項３に記載の情報処理装置。
【請求項９】
前記コンテンツ取得部は、前記表示画面の状態としての、前記表示画面に表示された番組のチャンネルに応じて異なるコンテンツを取得する、
請求項３に記載の情報処理装置。
【請求項１０】
ネットワークに接続された情報処理装置の撮像部で撮像された撮像画像を受信する受信部と、
前記撮像部による前記撮像対象に対する撮像方法に応じた、前記撮像対象の状態を推定する推定部と、
前記撮像対象に関連しつつ前記撮像対象の状態に応じたコンテンツを取得するコンテンツ取得部と、
取得したコンテンツを、前記情報処理装置に送信する送信部と、
を備えたサーバ装置。
【請求項１１】
撮像対象を撮像する撮像部を備えたコンピュータに実行させるためのプログラムであって、
前記撮像部による前記撮像対象に対する撮像方法に応じた、前記撮像対象の状態を推定する推定ステップと、
前記撮像対象に関連しつつ前記撮像対象の状態に応じたコンテンツを取得するコンテンツ取得ステップと、
取得したコンテンツを表示する表示ステップと、
を前記コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置、サーバ装置およびプログラムに関する。
【背景技術】
【０００２】
近年、タブレット等の携帯型の情報処理装置の撮像部を、テレビ受像器のディスプレイ画面等の撮像対象にかざして、ディスプレイ画面に表示されている番組内容や人物等を撮像し、撮像画像の内容に応じたコンテンツを表示する技術が知られている。このような従来後術では、ユーザが情報処理装置のタッチスクリーンに表示された撮像画像から所望の対象をタッチ選択して、選択された対象に応じたコンテンツを表示することが可能となっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１７１３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような従来技術では、情報処理装置で表示された撮像画像においてタッチ選択可能な対象をすべて表示すると画面が複雑になり、所望の対象に応じたコンテンツを簡易かつ直感的に検索することが困難である。
【０００５】
実施形態は、上記に鑑みてなされたものであって、所望の対象に応じたコンテンツを簡易かつ直感的に検索することができる情報処理装置、サーバ装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態の情報処理装置は、撮像部と、推定部と、コンテンツ取得部と、表示部と、を備える。撮像部は、撮像対象を撮像する。推定部は、前記撮像部による前記撮像対象に対する撮像方法に応じた、前記撮像対象の状態を推定する。コンテンツ取得部は、前記撮像対象に関連しつつ前記撮像対象の状態に応じたコンテンツを取得する。表示部は、取得したコンテンツを表示する。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施の形態１の情報処理装置のハードウェア構成の一例を示すブロック図である。
【図２】図２は、情報処理装置の機能構成を示す図である。
【図３】図３は、カメラのテレビの表示画面へのかざし方と、表示されるコンテンツの例を説明するための図である。
【図４】図４は、カメラのテレビの表示画面へのかざし方と、表示されるコンテンツの例を説明するための図である。
【図５】図５は、カメラのテレビの表示画面へのかざし方と、表示されるコンテンツの例を説明するための図である。
【図６】図６は、カメラのテレビの表示画面へのかざし方と、表示されるコンテンツの例を説明するための図である。
【図７】図７は、カメラのテレビの表示画面へのかざし方と、表示されるコンテンツの例を説明するための図である。
【図８】図８は、実施の形態１のコンテンツ表示処理の手順を示すフローチャートである。
【図９】図９は、実施の形態２の情報処理システムのネットワーク構成を示す図である。
【図１０】図１０は、実施の形態２のサーバ装置の機能的構成を示すブロック図である。
【図１１】図１１は、実施の形態２のコンテンツ取得処理の手順を示すシーケンス図である。
【図１２】図１２は、変形例のコンテンツ取得処理の手順を示すシーケンス図である。
【発明を実施するための形態】
【０００８】
（実施の形態１）
本実施の形態に係る情報処理装置１００は、表示画面を備えた情報処理装置であり、例えばタブレット端末、スレート端末や電子書籍リーダ等として実現されている。
【０００９】
図１に示すように、情報処理装置１００は、表示部１０２、ＣＰＵ（Central  Processing  Unit）１１６、システムコントローラ１１７、グラフィックスコントローラ１１８、タッチパネルコントローラ１１９、不揮発性メモリ１２０、ＲＡＭ（Random  Access  Memory）１２１、音声処理部１２２、マイク１０４、スピーカ１０５、カメラ１０３、無線通信モジュール１２３及びセンサ群１０６を備える。
【００１０】
表示部１０２は、ディスプレイ１０２ａとタッチパネル１０２ｂとを組み合わせた、いわゆるタッチスクリーンとして構成される。ディスプレイ１０２ａは、例えば、ＬＣＤ（Liquid  Crystal  Display）や有機ＥＬ（Electro  Luminescence）ディスプレイなどである。タッチパネル１０２ｂは、ユーザの指やスタイラスペンなどによってタッチされたディスプレイ１０２ａの表示画面上の位置（タッチ位置）を検知する。
【００１１】
不揮発性メモリ１２０は、オペレーションシステムや各種のアプリケーションプログラム、プログラムの実行に必要な各種データなどを記憶する。ＣＰＵ１１６は、情報処理装置１００の動作を制御するプロセッサであり、システムコントローラ１１７を介して情報処理装置１００の各コンポーネントを制御する。ＣＰＵ１１６は、不揮発性メモリ１２０からＲＡＭ１２１にロードされる、オペレーティングシステム、各種アプリケーションプログラムを実行することで、後述する各機能部（図２参照）を実現する。ＲＡＭ１２１は、情報処理装置１００のメインメモリとして、ＣＰＵ１１６がプログラムを実行する際の作業領域を提供する。
【００１２】
ＣＰＵ１１６は、例えば、不揮発性メモリ１２０からＲＡＭ１２１にロードされるオペレーションシステムや各種のアプリケーションプログラムを実行することにより、情報処理装置１００の各部を制御するための機能を実現する。
【００１３】
システムコントローラ１１７は、不揮発性メモリ１２０およびＲＡＭ１２１に対するアクセスを制御するメモリコントローラを内蔵する。また、システムコントローラ１１７は、グラフィックスコントローラ１１８、タッチパネルコントローラ１１９、音声処理部１２２との通信を実行する機能を有する。また、システムコントローラ１１７は、カメラ１０３からの撮像画像を入力する機能を有する。また、システムコントローラ１１７は、通信モジュール１２３を利用して情報処理装置１００の外部から各種情報を取得する機能を有する。
【００１４】
グラフィックスコントローラ１１８は、表示部１０２のディスプレイ１０２ａを制御する表示コントローラである。タッチパネルコントローラ１１９は、タッチパネル１０２ｂを制御し、ユーザによるタッチ位置を示す座標データをタッチパネル１０２ｂから取得する。
【００１５】
マイク１０４は音声を入力し、スピーカ１０５は音声を出力する。カメラ１０３は、ユーザにより撮影対象にかざして、撮像対象を撮像して撮像画像を出力する。
【００１６】
音声処理部１２２は、ＣＰＵ１１６による制御のもとで、音声合成などの音声処理を施して生成した音声ガイダンスなどをスピーカ１０５から出力させる処理を行うとともに、マイク１０４で集音した音声に対する処理を行う。
【００１７】
通信モジュール１２３は、ＣＰＵ１１６による制御のもとで、外部装置との間の無線通信や、インターネット等のネットワークによる通信を実行する。
【００１８】
センサ群１０６は、情報処理装置１００に対する外部からの加速度の向きと大きさを検出する加速度センサ、情報処理装置１００の方位を検出する方位センサ、情報処理装置１００の角速度（回転角度）検出するジャイロセンサ等である。各センサの検出信号はＣＰＵ１１６に出力される。
【００１９】
情報処理装置１００は、ＣＰＵ１１６と不揮発性メモリ１２０に記憶されたプログラム（オペレーティングシステム、各種アプリケーションプログラム）との協働により、図２に示す機能部２１０の各部を実現する。
【００２０】
情報処理装置１００は、機能的構成として、図２に示すように、上述したカメラ１０３、表示部１０２、タッチパネルコントローラ１１９、グラフィックコントローラ１１８、通信モジュール１２３に加え、機能部２１０として、推定部２０１と、関連情報取得部２０２と、表示情報決定部２０３と、コンテンツ取得部２０４とを備えている。以下、本実施の形態では、テレビの表示画面をカメラ１０３による撮像対象とする。
【００２１】
推定部２０１は、撮像対象であるテレビの表示画面の状態を推定するものであり、画像解析処理、顔認識処理、物体認識処理、文字認識処理等を実行して表示画面の状態を推定する。
【００２２】
ここで、テレビの表示画面の状態は、撮像方法、具体的にはテレビの表示画面に対するカメラ１０３のかざし方に応じて定まるものである。テレビの表示画面の状態には、例えば、撮像画像における表示画面の表示の状態（表示が全部か一部か）、カメラ１０３から表示画面までの距離、表示画面の姿勢、表示画面に表示されているチャンネル等がある。本実施の形態では、詳細は後述するが、このようなテレビの表示画面の状態に応じて、すなわち、テレビの表示画面へのカメラ１０３のかざし方に応じて、取得され表示されるコンテンツが異なってくる。
【００２３】
より具体的には、推定部２０１は、撮像画像の全領域のうち一部の領域（指示領域）を対象として撮像対象の状態を推定する設定がなされている場合、当該指示領域の画像を画像解析することにより、当該指示領域内にテレビの表示画面の一部が表示されているか全部が表示されているかという表示画面の表示の状態を判断する。ここで、指示領域は、撮像画像上で、コンテンツ取得のための画像を指定する領域であり、画像解析の対象を合わせるための照準の役割も有している。なお本実施の形態では虫眼鏡の形状のレンズ部分が指示領域となるが（図３の符号３０１参照）、指示領域としてはこれに限定されるものではない。また、指示領域は必ずしも撮像画像の一部領域でなくとも良く、全領域であっても良い。
【００２４】
表示画面までの距離は、ユーザがカメラ１０３をかざすテレビの表示画面からの距離であり、遠いか近いかを示す。推定部２０１は、撮像画像の指示領域の人物の顔を顔認識したり、物体を物体認識して、顔や物体の大きさにより、顔や物体が小さければ距離が遠い、顔や物体が大きければ距離が近いと判断する。
【００２５】
この場合、表示画面に対して情報処理装置１００のカメラ１０３をかざした状態で近づける、あるいは遠ざけることによる距離の変化を表示画面の状態とすることもできる。
【００２６】
表示画面に対して情報処理装置１００のカメラ１０３をかざしながら近づける場合、あるいは、かざしながら遠ざける場合の例としては、物理的に情報処理装置１００をテレビに近づけたり、遠ざけたりする場合の他、情報処理装置１００のデジタルズーム機能を用いて仮想的にテレビに近づけたり、遠ざけたりする場合等が挙げられる。例えば、撮像対象が大型テレビの場合等の場合、視聴者とテレビとの距離が遠く、物理的に情報処理装置を近づけたり，遠ざけたりすることが困難であるため、このようなデジタルズーム機能を用いることで、同様のかざし方に応じたコンテンツを表示することが可能となる。
【００２７】
この他、デジタルズーム機能で所定の距離までカメラ１０３をテレビに近づけ、その後はカメラ１０３をテレビの表示画面にかざした状態で物理的に近づけたり、逆に、デジタルズーム機能で所定の距離までカメラ１０３をテレビから遠ざけ、その後はカメラ１０３をテレビの表示画面にかざした状態で物理的に遠ざけるように、カメラのかざし方を行っても、同様のかざし方に応じたコンテンツを表示することができる。この場合には、物理的にカメラ１０３を近づける、あるいは遠ざけるという直感的な動作によって、デジタルズームの倍率を変更することができるという利点がある。
【００２８】
さらには、情報処理装置１００のカメラ１０３をテレビの表示画面にかざした状態で近づける、あるいはかざした状態で遠ざけるという物理的なかざし方をトリガとして、カメラ１０３のデジタルズーム機能の倍率を変更するようにして、かざし方に応じたコンテンツを表示することができる。
【００２９】
表示画面の姿勢は、情報処理装置１００の表示部１０２を縦の状態でテレビの表示画面が撮像されているか、表示部１０２が横の状態でテレビの表示画面が撮像されているかを示すものである。この表示画面の姿勢は、ユーザが情報処理装置１００を縦向きにしてテレビの表示画面にかざしたか、ユーザが情報処理装置１００を横向きにしてテレビの表示画面にかざしたかにより定まる。
【００３０】
推定部２０１は、センサ群１０６の加速度センサおよびジャイロセンサの検知信号により表示部１０２の向きを判断する。また、推定部２０１は、撮像画像内の人物に対する顔認識処理や物体に対する物体認識処理を行い、認識された顔や物体の面内回転方向により情報処理装置１００の表示部１０２の向きを判断する。センサ群１０６からの検知信号により顔や物体がカメラ１０３に対して水平であると判断される場合には表示部１０２は横向きであり、顔や物体がカメラ１０３に対して垂直であると判断される場合には、表示部１０２は縦向きと判断するように推定部２０１を構成することができる。
【００３１】
また、推定部２０１は、テレビの表示画面の状態として、情報処理装置１００のカメラ１０３と表示画面との角度、すなわち、カメラ１０３をかざす角度を用いることができる。すなわち、推定部２０１は、表示画面に対して情報処理装置１００のカメラ１０３を斜めにかざしているか、正面からかざしているかを、カメラ１０３をかざす角度により判断する。推定部２０１は、センサ群１０６の加速度センサ、方位センサ、ジャイロセンサからの検知信号により、情報処理装置１００の角度、すなわち、表示画面に対してカメラ１０３をかざす角度を検出し、検出した角度が９０°との差が小さい場合にはカメラ１０３をテレビの画面の正面からかざしていると判断し、９０°との差が大きい場合にはカメラ１０３をテレビの表示画面に対して斜めにかざしていると判断する。
【００３２】
また、推定部２０１は、撮像画像の指示領域の画像を解析して、撮像画像に表示されている番組の内容から、チャンネルを推定する。このチャンネルの推定は、推定部２０１が、チャンネルと時間ごとに番組の代表画像等を対応付けて保存する外部のサーバに撮像画像を送信して問い合わせることにより実現してもよい。
【００３３】
関連情報取得部２０２は、テレビの表示画面の状態に基づいた関連情報を取得し、ＲＡＭ１２１に保存する。関連情報としては、例えば、タッチ可能な部分の位置、タッチ可能な部分に関する電子番組情報であるＥＰＧ（Electronic  Program  Guide）情報、関連するコンテンツのＵＲＬ等である。これらの関連情報は、情報処理装置１００内の不揮発性メモリ１２０内に予め記憶しておく他、外部のサーバ装置等に問い合わせることにより取得してもよい。
【００３４】
表示情報決定部２０３は、枠やアイコン、あるいは動画等の表示情報を、推定部２０１で推定したテレビの表示画面の状態と関連情報取得部２０２で取得した関連情報とに基づいて決定する。そして、表示情報決定部２０３は、表示部１０２に表示されている撮像画像の指示領域内に、決定した表示情報をユーザから指定可能に表示する。
【００３５】
コンテンツ取得部２０４は、ユーザから指示された表示情報が示す部分に関連し、かつテレビの表示画面の状態に応じて異なるコンテンツを表示部１０２に表示する。すなわち、コンテンツ取得部２０４は、表示画面の表示の状態、表示画面までの距離の遠近、チャンネル等の表示画面の状態に応じて異なるコンテンツを取得して表示部１０２に表示する。コンテンツ取得部２０４は、コンテンツを、ＲＡＭ１２１に保存された関連情報を参照して取得する。取得先としては、情報処理装置１００内とする他、外部のインターネット上のＷｅｂサイト等とすることができる。
【００３６】
例えば、コンテンツ取得部２０４は、推定部２０１により、表示画面の状態として、表示画面の一部が指示領域に表示されている、あるいは表示画面までの距離が近いと推定された場合に、コンテンツとして、指示領域に含まれる人物に関する情報を取得する。一方、コンテンツ取得部２０４は、推定部２０１により、表示画面の状態として、表示画面の全部が指示領域に表示されている、あるいは表示画面までの距離が遠いと推定された場合に、コンテンツとして、指示領域に表示されている番組に関する情報を取得する。各情報は、インターネット上のフリーの百科事典のサイトや、番組を放映する放送局のサイト等から取得すればよい。
【００３７】
次に、カメラ１０３のテレビの表示画面へのかざし方と、表示されるコンテンツの例について、図３〜７の具体例をあげて説明する。
【００３８】
図３に示すように、推定部２０１が、テレビの表示画面の状態として、虫眼鏡形状のレンズ部分である指示領域３０１内にテレビの表示画面の一部が表示されていると判断した場合、すなわち、ユーザがカメラ１０３を、テレビの表示画面の一部だけが指示領域３０１に入るようにかざした場合を考える。この場合、推定部２０１は指示領域３０１内の人物の顔認証を行って関連情報取得部２０２が指示領域３０１内の俳優等の人物の情報が掲載されているＷｅｂサイト、例えば、フリーの百科事典のＷｅｂサイトのＵＲＬ等を関連情報として取得する。そして、図３に示すように、表示情報決定部２０３が表示情報として枠３０２を決定して、撮像画像の指示領域３０１内の人物に枠３０２を表示する。ここで、ユーザが枠３０２をタッチ選択すると、コンテンツ取得部２０４は、タッチ選択された人物の人物情報を、関連情報として取得されたＷｅｂサイトから取得して、図３に示すように表示する。
【００３９】
また、図４に示すように、推定部２０１が、テレビの表示画面の状態として、指示領域３０１内にテレビの表示画面の全部が表示されていると判断した場合、すなわち、ユーザがカメラ１０３をテレビの表示画面の全部が指示領域３０１に入るようにかざした場合を考える。この場合、推定部２０１は指示領域３０１内の番組の画像の画像解析を行って関連情報取得部２０２が指示領域３０１内の番組の情報が掲載されているＷｅｂサイト、例えば、放送局のＷｅｂサイトのＵＲＬ等を関連情報として取得する。そして、図４に示すように、表示情報決定部２０３が表示情報として枠３０２を決定して、撮像画像の指示領域３０１内の表示画面全体に枠３０２を表示する。ここで、ユーザが枠３０２をタッチ選択すると、コンテンツ取得部２０４は、タッチ選択された番組の番組情報を、関連情報として取得されたＷｅｂサイトから取得して、図４に示すように表示する。
【００４０】
ここで、関連情報取得部２０２で関連情報として外部の電子番組サーバのＵＲＬを取得し、コンテンツ取得部２０４は、電子番組サーバから、番組に関するＥＰＧ情報を取得してもよい。さらに、この場合には、コンテンツ取得部２０４は、図５に示すように、表示部１０２に、コンテンツとして、撮像画像に含まれる人物の画像と、ＥＰＧ情報における登場人物に関する情報とを対応付けて表示するように構成することができる。
【００４１】
この他、推定部２０１が、テレビの表示画面の状態として、指示領域３０１がテレビの表示画面の全部と判断した場合、番組に対するＴｗｉｔｔｅｒ（登録商標）のツイートの内容や、野球やサッカー等のスポーツにおけるマルチビュー等における異なる視点のカメラ映像や、裏番組等をコンテンツとして取得して表示するように、コンテンツ取得部２０４を構成することができる。
【００４２】
また、図６に示すように、推定部２０１が、テレビの表示画面の状態として、表示画面の姿勢が表示部１０２が縦向きの状態でテレビの表示画面が撮像されていると判断した場合、すなわち、ユーザがカメラ１０３を縦向きでテレビの表示画面にかざした場合を考える。この場合、コンテンツ取得部２０４は、タッチ選択された俳優等の人物の全身の画像を、関連情報として取得されたＷｅｂサイトから取得して表示する。
【００４３】
また、図７に示すように、推定部２０１が、テレビの表示画面の状態として、表示画面の姿勢が表示部１０２が横向きの状態でテレビの表示画面が撮像されていると判断した場合、すなわち、ユーザがカメラ１０３を横向きでテレビの表示画面にかざした場合を考える。この場合、指示領域３０１内に表示画面の一部が表示されている場合と同様に、コンテンツ取得部２０４は、タッチ選択された俳優等の人物の人物情報を、関連情報として取得されたＷｅｂサイトから取得して、図３に示すように表示する。
【００４４】
また、推定部２０１が、テレビの表示画面の状態として、表示画面の距離が徐々に短くなると判断した場合、すなわち、指示領域に表示画面の全部が含まれて表示されている状態から、カメラ１０３をテレビの表示画面にかざした状態で表示画面に対して徐々に近づけていく場合には、コンテンツ取得部２０４は、撮像画像中の特定の人物や物体に関する情報を取得し、指示領域に表示画面の全部が含まれていた場合に表示していた情報に代えて、特定人物・物体に関する情報を表示する。
【００４５】
一方、推定部２０１が、テレビの表示画面の状態として、表示画面の距離が徐々に長くなると判断した場合、すなわち、指示領域に表示画面の一部が含まれている状態から、カメラ１０３をテレビの表示画面にかざした状態で表示画面に対して徐々に遠ざけていく場合には、コンテンツ取得部２０４は、撮像画像の番組全体の情報を取得し、指示領域に表示画面の一部のみが含まれていた場合に表示していた情報に代えて、番組全体の情報を表示する。
【００４６】
また、推定部２０１が、テレビの表示画面の状態としてのカメラ１０３と表示画面の角度により、ユーザがカメラ１０３をテレビの表示画面に対して斜めにかざした場合には、コンテンツ取得部２０４は、かざした角度に応じて、野球やサッカー等のスポーツにおけるマルチビュー等における異なる視点のカメラ映像を取得して表示する。
【００４７】
また、カメラ１０３が、例えば通販やドラマ等の番組中における俳優等の人物が着ている服をかざして、当該服の画像がユーザにより指定された場合には、当該服の販売店のＷｅｂサイトや、販売点までの地図情報、当該服を販売しているｅコマースのサイト等をコンテンツとして表示するようにコンテンツ取得部２０４を構成することができる。
【００４８】
また、カメラ１０３が、例えば食べ歩き番組中における料理をかざして、当該料理の画像がユーザにより指定された場合には、当該料理を提供しているレストランのＷｅｂサイトやレストランまでの地図情報等をコンテンツとして表示するようにコンテンツ取得部２０４を構成することができる。
【００４９】
さらに、ＣＭの撮像画像中の「続きはＷｅｂで」等の文字がユーザにより指定された場合には、当該ＣＭの続きが掲載されたＷｅｂサイト等をコンテンツとして表示するようにコンテンツ取得部２０４を構成することができる。
【００５０】
次に、以上のように構成された本実施の形態のコンテンツ表示処理につい図８を用いて説明する。まず、推定部２０１は、カメラ１０３から撮像画像を入力する（ステップＳ１１）。そして、推定部２０１は、上述のとおり、テレビの表示画面の状態を推定する（ステップＳ１２）。
【００５１】
次に、関連情報取得部２０２は、撮像画像内にテレビの表示画面が存在するか否かを判断する（ステップＳ１３）。そして、撮像画像内にテレビの表示画面が存在しない場合には（ステップＳ１３：Ｎｏ）、処理を終了する。
【００５２】
一方、撮像画像内にテレビの表示画面が存在する場合には（ステップＳ１３：Ｙｅｓ）、関連情報取得部２０２は、テレビの表示画面の状態に応じた関連情報を取得する（ステップＳ１４）。次に、表示情報決定部２０３は、テレビの表示画面の状態と関連情報とから表示情報を決定し（ステップＳ１５）、決定した表示情報を表示部１０２に表示されている撮像画像上で表示する（ステップＳ１６）。
【００５３】
そして、コンテンツ取得部２０４は、ユーザから表示情報のタッチ操作の受け付け待ちの状態となる（ステップＳ１７、Ｓ１７：Ｎｏ）。そして、タッチ操作を受け付けた場合には（ステップＳ１７：Ｙｅｓ）、コンテンツ取得部２０４は、関連情報を参照してコンテンツを取得して表示部１０２に表示する（ステップＳ１８）。
【００５４】
このように本実施の形態では、ユーザによる情報処理装置１００のカメラ１０３のテレビの表示画面へのかざし方に応じてコンテンツを取得して表示しているので、所望の対象に応じたコンテンツを簡易かつ直感的に検索することができる。
【００５５】
（実施の形態２）
実施の形態１では、テレビの表示画面の状態の推定、関連情報の取得、表示情報の決定、コンテンツの取得を情報処理装置１００で行っていたが、この実施の形態２では、サーバ装置で行っている。
【００５６】
本実施の形態では、図９に示すように、情報処理装置６００とサーバ装置７００とがインターネット等のネットワークで接続されている。
【００５７】
実施の形態２の情報処理装置６００のハードウェア構成は実施の形態１と同様である。実施の形態２のサーバ装置７００は、ＣＰＵと、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示部と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００５８】
本実施の形態のサーバ装置７００は、機能的構成として、図１０に示すように、推定部７０１と、関連情報取得部７０２と、表示情報決定部７０３と、コンテンツ取得部７０４と、通信部７０５とを主に備えている。
【００５９】
推定部７０１、関連情報取得部７０２、表示情報決定部７０３、コンテンツ取得部７０４の機能は、それぞれ実施の形態１の情報処理装置１００の推定部２０１、関連情報取得部２０２、表示情報決定部２０３、コンテンツ取得部２０４と同様である。通信部７０５は、情報処理装置６００との間で各種データの送受信を行う。
【００６０】
次に、このように構成された実施の形態２の情報処理システムによるコンテンツ取得処理について図１１を用いて説明する。
【００６１】
まず、情報処理装置６００では、カメラ１０３から撮像画像を入力し（ステップＳ２１）、入力された撮像画像をサーバ装置７００へ送信する（ステップＳ２２）。
【００６２】
サーバ装置７００では撮像画像を通信部７０５で受信し、推定部７０１が撮像画像からテレビの表示画面の状態を推定する（ステップＳ２３）。ここで、情報処理装置６００側で、情報処理装置６００自体の動作をセンサ群で検出して表示画面の状態を推定するように構成してもよい。
【００６３】
次に、関連情報取得部７０２は、実施の形態１と同様に、テレビの表示画面の状態に応じた関連情報を取得する（ステップＳ２４）。次に、表示情報決定部７０３は、テレビの表示画面の状態と関連情報とから表示情報を決定し（ステップＳ２５）、通信部７０５が決定した表示情報を情報処理装置６００に送信する（ステップＳ２６）。
【００６４】
表示情報を受信した情報処理装置６００は、表示情報を表示部１０２に表示し（ステップＳ２７）、ユーザからのタッチ選択を受け付ける（ステップＳ２８）。情報処理装置６００は、タッチ選択が行われると、選択された画像のコンテンツ取得要求をサーバ装置７００に送信する（ステップＳ２９）。
【００６５】
サーバ装置７００は、コンテンツ取得要求を受信すると、コンテンツ取得部７０４がコンテンツ取得要求で指定された画像に関するコンテンツを取得し（ステップＳ３０）、通信部７０５が取得したコンテンツを情報処理装置６００に送信する（ステップＳ３１）。
【００６６】
情報処理装置６００は、サーバ装置７００からコンテンツを受信して、受信したコンテンツを表示部１０２に表示する（ステップＳ３２）。
【００６７】
このように本実施の形態では、テレビの表示画面の状態の推定、関連情報の取得、表示情報の決定、コンテンツの取得をサーバ装置７００で行っているので、実施の形態１と同様の効果を奏する他、情報処理装置６００側の処理負担を軽減することができる。
【００６８】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６９】
例えば、実施の形態２では、テレビの表示画面の状態の推定、関連情報の取得、表示情報の決定、コンテンツの取得をすべてサーバ装置７００で行っていたが、これらの一部を情報処理装置６００で行い、一部をサーバ装置７００で行うように構成してもよい。例えば、図１２に示すように、表示情報の決定（ステップＳ４６）を情報処理装置６００で行い、テレビの表示画面の状態の推定（ステップＳ４３）、関連情報の取得（ステップＳ４４）、コンテンツの取得（ステップＳ５０）をサーバ装置７００で行うように構成することができる。
【００７０】
また、例えば、上記実施形態では、表示部１０２がタッチスクリーン機能を有する構成としたが、これに限らず、タッチスクリーン機能を有しない通常の表示部の構成としてもよい。
【００７１】
上記実施の形態では、表示情報の決定と表示、および表示状態のユーザからの選択を行った上でコンテンツを取得していたが、表示情報の決定・表示および表示状態のユーザからの選択を行わずに、テレビの表示画面に関連しつつ、表示画面の状態に応じたコンテンツを取得するように構成してもよい。
【００７２】
また、上記実施形態の情報処理装置１００で実行されるプログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００７３】
また、上記実施形態の情報処理装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施形態の情報処理装置１００で実行されるプログラムを、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【００７４】
１００，６００  情報処理装置
１０２  表示部
１０２ａ  ディスプレイ
１０２ｂ  タッチパネル
１０４  マイク
１０５  スピーカ
１１７  システムコントローラ
１１８  グラフィックスコントローラ
１１９  タッチパネルコントローラ
１２２  音声処理部
１２３  通信モジュール
２０１，７０１  推定部
２０２，７０２  関連情報取得部
２０３，７０３  表示情報決定部
２０４，７０４  コンテンツ取得部
２１０  機能部
７０５  通信部
【図１】
2014110560.tif 000003
【図２】
2014110560.tif 000004
【図３】
2014110560.tif 000005
【図４】
2014110560.tif 000006
【図５】
2014110560.tif 000007
【図６】
2014110560.tif 000008
【図７】
2014110560.tif 000009
【図８】
2014110560.tif 000010
【図９】
2014110560.tif 000011
【図１０】
2014110560.tif 000012
【図１１】
2014110560.tif 000013
【図１２】
2014110560.tif 000014