(57)【要約】【課題】コンテンツを視聴しているユーザに対して、そのコンテンツに関連した情報を提供する情報処理装置の高機能化を実現する。【解決手段】この情報処理装置は、表示画面に対するユーザの視線位置を検出する視線位置検出部と、前記ユーザの位置情報を取得する位置情報取得部と、前記検出された視線位置をもとに、前記表示画面に表示されたコンテンツ中でユーザが注目するシーンとこのシーン内のオブジェクトを判定し、この判定されたオブジェクトと前記取得された位置情報から検索用の情報を生成する制御部とを具備する。【選択図】図４
2015046089.tif 000002
【特許請求の範囲】
【請求項１】
表示画面に対するユーザの視線位置を検出する視線位置検出部と、
前記ユーザの位置情報を取得する位置情報取得部と、
前記検出された視線位置をもとに、前記表示画面に表示されたコンテンツ中でユーザが注目するシーンとこのシーン内のオブジェクトを判定し、この判定されたオブジェクトと前記取得された位置情報から検索用の情報を生成する制御部と、
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記制御部は、検索対象のコンテンツが格納されたストレージデバイスに対して、前記検索用の情報を用いて推薦コンテンツをシーンの単位で検索する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記ストレージデバイスは、ネットワークを通じてレコーダのストレージデバイスと同期処理が可能なデバイスである
情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記制御部は、ネットワークを通じて接続されたレコーダに対し、前記検索用の情報を用いて録画予約を設定させる
情報処理装置。
【請求項５】
請求項１に記載の情報処理装置であって、
前記制御部は、
前記検出された視線位置をもとに、前記表示画面に表示されたコンテンツ中でユーザが注目するシーンを判定し、
前記判定されたシーンの画像を特徴量をもとに１以上の領域に分割し、
前記検出された視線位置をもとに視線頻度が最も高い領域を判定し、
この領域の特徴量をもとに前記オブジェクトを判定する
情報処理装置。
【請求項６】
請求項５に記載の情報処理装置であって、
前記制御部は、
ユーザの視聴場所および視聴時刻に基づくジャンル間の優先度を加味して、前記オブジェクトを判定する
情報処理装置。
【請求項７】
請求項１に記載の情報処理装置であって、
前記制御部は、
前記検出された視線位置をもとに、前記表示画面に表示されたコンテンツ中でユーザが注目するシーンを判定し、
前記判定されたシーンに対して、他の複数のユーザの携帯端末において当該シーンに対して最も視線を集めたオブジェクトが何であるかという統計情報をもとに前記オブジェクトを判定する
情報処理装置。
【請求項８】
請求項１に記載の情報処理装置であって、
前記制御部は、
前記検出された視線位置をもとに、前記表示画面に表示されたコンテンツ中でユーザが注目するシーンを判定し、
前記判定されたシーンに対して、他の複数のユーザによって当該シーンに対して最も視線を集めた領域の特徴ベクトルをもとに前記オブジェクトを判定する
情報処理装置。
【請求項９】
請求項５に記載の情報処理装置であって、
前記制御部は、
前記判定されたシーンに付与された当該シーンに関するメタデータを加味して前記オブジェクトを判定する
情報処理装置。
【請求項１０】
請求項１に記載の情報処理装置であって、
前記情報処理装置を利用中のユーザの有無を検出する第１のセンサと、
前記情報処理装置の動きを検出する第２のセンサと、
前記制御部は、前記第１のセンサの出力をもとに前記情報処理装置を利用中のユーザが存在し、かつ前記第２のセンサの出力をもとに前記情報処理装置の動きが予め決められた値以下であるとき、前記オブジェクトの判定を行う
情報処理装置。
【請求項１１】
ユーザの情報処理装置より、
前記ユーザの情報処理装置の表示画面に対するユーザの視線位置を検出した結果と前記ユーザの情報処理装置の位置情報と前記表示画面で視聴中のコンテンツの識別情報を取得し、
前記取得した視線位置をもとに、前記取得したコンテンツの識別情報をもとに特定されるコンテンツ中でユーザが注目するシーンと、このシーン内のオブジェクトを判定し、この判定されたオブジェクトと前記取得された位置情報から検索用の情報を生成し、前記ユーザの情報処理装置に送信する制御部と
を具備する情報処理装置。
【請求項１２】
視線位置検出部により、表示画面に対するユーザの視線位置を検出し、
位置情報取得部により、前記ユーザの位置情報を取得し、
制御部により、前記検出された視線位置をもとに、前記表示画面に表示されたコンテンツ中でユーザが注目するシーンとこのシーン内のオブジェクトを判定し、この判定されたオブジェクトと前記取得された位置情報から検索用の情報を生成する
情報処理方法。
【請求項１３】
制御部により、
ユーザの情報処理装置より、前記ユーザの情報処理装置の表示画面に対するユーザの視線位置を検出した結果と前記ユーザの情報処理装置の位置情報と前記表示画面で視聴中のコンテンツの識別情報を取得し、
前記取得した視線位置をもとに、前記取得したコンテンツの識別情報をもとに特定されるコンテンツ中でユーザが注目するシーンと、このシーン内のオブジェクトを判定し、この判定されたオブジェクトと前記取得された位置情報から検索用の情報を生成し、前記ユーザの情報処理装置に送信する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、ユーザが携帯してコンテンツを視聴するために用いられる情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
現在、情報処理装置を利用するユーザの視線の方向を検知して、最適な動作を行う情報処理装置に関する技術がある。
【０００３】
例えば、特許文献１で開示されている技術は、画像データに変換された複数の画像を記憶するメモリから一定数の画像を読み出して画面上に出力する画像表示システムに応用したものである。この画像表示システムでは、利用者の視線方向を検出することにより、利用者の注目部分を判定し、注目部分の特徴と類似した特徴を有する画像を選択して表示する。
【０００４】
また、特許文献２で開示されている技術は、ディスプレイ装置上の凝視位置を判定する凝視追跡装置を有し、ユーザに情報を提示するように構成された情報提示システムに応用されている。この情報提示システムでは、表示した複数の情報に対する凝視位置を監視することで、利用者の関心のレベルとの間の相関関係に基づいて新しい情報を選択し、提示する。
【０００５】
また、特許文献３では、利用者が映像あるいは音楽を視聴することが可能なマルチメディア情報空間に存在する利用者の状態を検知し、その結果により次のメディア情報を出力する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０９−１１４８４６号公報
【特許文献２】特開平１０−１３３８１０号公報
【特許文献３】特開２００１−２１６５２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本技術の目的は、コンテンツを視聴しているユーザに対して、そのコンテンツに関連した情報を提供する情報処理装置として、機能的により優れたものを提供することにある。
【課題を解決するための手段】
【０００８】
本技術に係る第１の形態の情報処理装置は、表示画面に対するユーザの視線位置を検出する視線位置検出部と、前記ユーザの位置情報を取得する位置情報取得部と、前記検出された視線位置をもとに、前記表示画面に表示されたコンテンツ中でユーザが注目するシーンとこのシーン内のオブジェクトを判定し、この判定されたオブジェクトと前記取得された位置情報から検索用の情報を生成する制御部とを具備する。
【０００９】
前記制御部は、検索対象のコンテンツが格納されたストレージデバイスに対して、前記検索用の情報を用いて推薦コンテンツをシーンの単位で検索するものであってよい。
【００１０】
前記ストレージデバイスは、ネットワークを通じてレコーダのストレージデバイスと同期処理が可能なデバイスである。
【００１１】
前記制御部は、ネットワークを通じて接続されたレコーダに対し、前記検索用の情報を用いて録画予約を設定させるようにしてよい。
【００１２】
前記制御部は、前記検出された視線位置をもとに、前記表示画面に表示されたコンテンツ中でユーザが注目するシーンを判定し、前記判定されたシーンの画像を特徴量をもとに１以上の領域に分割し、前記検出された視線位置をもとに視線頻度が最も高い領域を判定し、この領域の特徴量をもとに前記オブジェクトを判定するものであってよい。
【００１３】
前記制御部は、ユーザの視聴場所および視聴時刻に基づくジャンル間の優先度を加味して、前記オブジェクトを判定するものであってよい。
【００１４】
前記制御部は、前記検出された視線位置をもとに、前記表示画面に表示されたコンテンツ中でユーザが注目するシーンを判定し、前記判定されたシーンに対して、他の複数のユーザの携帯端末において当該シーンに対して最も視線を集めたオブジェクトが何であるかという統計情報をもとに前記オブジェクトを判定するものであってよい。
【００１５】
前記制御部は、前記検出された視線位置をもとに、前記表示画面に表示されたコンテンツ中でユーザが注目するシーンを判定し、前記判定されたシーンに対して、他の複数のユーザによって当該シーンに対して最も視線を集めた領域の特徴ベクトルをもとに前記オブジェクトを判定するものであってよい。
【００１６】
前記制御部は、前記判定されたシーンに付与された当該シーンに関するメタデータを加味して前記オブジェクトを判定するものであってよい。
【００１７】
本技術に係る他の形態の情報処理装置は、ユーザの情報処理装置より、前記ユーザの情報処理装置の表示画面に対するユーザの視線位置を検出した結果と前記ユーザの情報処理装置の位置情報と前記表示画面で視聴中のコンテンツの識別情報を取得し、前記取得した視線位置をもとに、前記取得したコンテンツの識別情報をもとに特定されるコンテンツ中でユーザが注目するシーンと、このシーン内のオブジェクトを判定し、この判定されたオブジェクトと前記取得された位置情報から検索用の情報を生成し、前記ユーザの情報処理装置に送信する制御部とを具備する。
【発明の効果】
【００１８】
以上のように、本技術によれば、コンテンツを視聴しているユーザに対して、そのコンテンツに関連した情報を提供する情報処理装置として、機能的により優れたものを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本技術の第１の実施形態であるシステム１００の全体構成の概要を示す図である。
【図２】同じくシステム１００の構成の概要を示す図である。
【図３】レコーダ２００の全体構成を示すブロック図である。
【図４】携帯端末３００の全体構成を示すブロック図である。
【図５】ポータブルストレージ４００の構成を示すブロック図である。
【図６】携帯端末３００の上記技術に係わる動作を示すフローチャートである。
【図７】注視オブジェクト判定処理１を説明するための図である。
【図８】ユーザの視聴場所および視聴時刻に基づくジャンル間の優先度の例を示す図である。
【図９】注視オブジェクト判定処理２を説明するための図である。
【図１０】注視オブジェクト判定処理３を説明するための図である。
【図１１】注視オブジェクト判定処理４を説明するための図である。
【図１２】注視オブジェクト判定処理５の後メタデータを加味して注視オブジェクトを判定する動作を説明するための図である。
【図１３】注視オブジェクト判定処理３の動作のフローチャートである。
【図１４】携帯端末３００およびレコーダ２００での上記技術に係わる動作の変形例を示すフローチャートである。
【図１５】同じく携帯端末３００およびレコーダ２００での上記技術に係わる動作の変形例を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
［システム全体構成の概要］
本技術を用いるシステム全体の構成について、その概要を説明する。
【００２１】
図１および図２は、本技術を用いるシステム１００の全体構成の概要を示す図である。システム１００は、複数のレコーダ２００、複数の携帯端末３００、および複数のポータブルストレージ４００を含んでいる。この図では、ユーザが３人、すなわちユーザＵ１、ユーザＵ２、およびユーザＵ３がいる事を想定している。各ユーザは、それぞれレコーダ２００、携帯端末３００、およびポータブルストレージ４００を持っており、これらの機器はネットワーク５００により互いに接続されている。
【００２２】
図１と図２の違いは、ユーザＵ３がポータブルストレージ４００をどこに接続しているかである。図１では、３人のユーザがそれぞれポータブルストレージ４００内のコンテンツを視聴する状態を表している。これに対し、図２では、ユーザＵ３が自分のポータブルストレージ４００を自分のレコーダ２００に接続し、コンテンツをレコーダ２００からポータブルストレージ４００へコピーしている状態を表している。
【００２３】
レコーダ２００は、テレビジョン放送の電波を受信して録画したり、ケーブルテレビジョン放送の信号を受信して録画したり、ネットワーク５００から映像などのコンテンツを取得し保存したりする。具体的には、ブルーレイ（登録商標）レコーダなどである。
【００２４】
ポータブルストレージ４００は、レコーダ２００または携帯端末３００に接続され使用される。接続は、有線により行われてもよいし、Wi-Fi（Wireless Fidelity）などの無線規格に基づいた無線通信により行われてもよい。
【００２５】
図２に示すように、ユーザＵ３のポータブルストレージ４００がレコーダ２００と接続されると、レコーダ２００内のコンテンツがポータブルストレージ４００へコピーされ、コンテンツの同期が行われる。
【００２６】
携帯端末３００は、スマートフォン、タブレット、携帯型ＰＣなどである。図１に示すように、携帯端末３００がポータブルストレージ４００に接続されると、ユーザは携帯端末３００のアプリケーションソフトウェア（アプリ）を用いて、ポータブルストレージ４００内のコンテンツを再生し、視聴することが出来る。
【００２７】
携帯端末３００のアプリは、ポータブルストレージ４００に蓄積されたコンテンツデータから、ユーザにとって興味深いことが推測されるコンテンツデータを検索し、ユーザに視聴を推奨する。
【００２８】
［レコーダ２００の概要］
次に、レコーダ２００の全体構成を説明する。図３は、レコーダ２００の全体構成を示すブロック図である。
【００２９】
レコーダ２００は、ネットワークＩ／Ｆ（Interface）１、アンテナ２、チューナ３、記録処理部４、情報処理部５、Ｉ／Ｆ部６、メモリ７、ディスクドライブ８、第１のストレージ（データベース）９、再生処理部１０、表示処理部１１、特徴抽出部１３を含んでいる。また、レコーダ２００は、システムコントローラ１４、データバス１５、コントロールバス１６を含んでいる。
【００３０】
ネットワークＩ／Ｆ１は、ネットワーク５００を介して携帯端末３００やポータブルストレージ４００等と情報のやりとりを行う。チューナ３は、アンテナ２を介して放送電波を受信する。記録処理部４は、チューナ３やネットワークＩ／Ｆ１により取得したコンテンツデータの、第１のストレージ９への記録処理を行う。
【００３１】
情報処理部５は、携帯端末３００から受信し、第１のストレージ９に蓄積された情報に基づいて、インターネットなどネットワーク５００内のウェブ上のコンテンツを検索する。
【００３２】
Ｉ／Ｆ部６は、リモートコントローラである操作部１７からの信号を受信する。メモリ７は、レコーダ２００の作業領域である。ディスクドライブ８は、ディスク状記録媒体８ａに記録されているコンテンツを読み出したり、第１のストレージ９に格納されているコンテンツをディスク状記録媒体８ａに書き出したりする。
【００３３】
第１のストレージ９は、レコーダ２００が取得したコンテンツのデータや、携帯端末３００から取得した録画予約に関連する情報を記録する。再生処理部１０は、第１のストレージ９に記録されたコンテンツデータの再生処理を行う。表示処理部１１は、レコーダ２００に接続された、テレビジョン受像器やモニタなどのディスプレイ１２に対し、画像を出力する。
【００３４】
特徴抽出部１３は、コンテンツの画像、音声、テキスト情報から特徴の抽出を行う。抽出された特徴は、録画予約などの際に利用される。システムコントローラ１４は、レコーダ２００の各部を制御する。データバス１５は、レコーダ２００内の各部でコンテンツなどのデータのやりとりを行うためのバスである。コントロールバス１６は、レコーダ２００内の各部とシステムコントローラ間で、制御を行うためのデータをやりとりするためのバスである。
【００３５】
［携帯端末３００の概要］
次に、携帯端末３００（特許請求の範囲の請求項１の情報処理装置）の全体構成を説明する。図４は、携帯端末３００の全体構成を示すブロック図である。
携帯端末３００は、アンテナ３０、ＧＰＳ（Global Positioning System）受信部２１、カメラ２２、測距センサ２３、加速度センサ２４、ＣＰＵ（Central Processing Unit）などのプロセッサ２５、通信部２６、記憶装置２７、操作部２８、表示部２９を含んでいる。
【００３６】
ＧＰＳ受信部２１は、アンテナ３０を介してＧＰＳ衛星からの信号を受信し、携帯端末３００の現在位置を検出する。カメラ２２は、景色などを撮影するものであるが、ここでは携帯端末３００を利用してコンテンツを視聴するユーザの視線の向きを検出するために用いられる。測距センサ２３は、携帯端末３００を利用するユーザ（例えば顔）までの距離などを検出する。
【００３７】
加速度センサ２４は、携帯端末３００の動きを検出し、携帯端末３００がどのような状態で保持されているかを検出する。例えば、携帯端末３００でユーザがコンテンツを視聴する場合、携帯端末３００は、ほぼ静止した状態に置かれると考えられる。
【００３８】
プロセッサ２５は、携帯端末３００全体の制御や、記憶装置２７に格納されたアプリケーションソフトウェア（アプリ）の実行などを行う。
【００３９】
通信部２６は、３Ｇ（Third Generation）、ＬＴＥ（Long Term Evolution）などの携帯電話の通信規格やWi-Fiなどの無線通信規格に基づいて、ネットワーク５００を介した通信や、ポータブルストレージ４００との通信を行う。操作部２８は、携帯端末３００をユーザが操作するための入力を受け付ける。
【００４０】
表示部２９は、携帯端末３００の操作画面やポータブルストレージ４００内のコンテンツを再生する際の再生画面などを表示する。
【００４１】
［ポータブルストレージの概要］
次に、ポータブルストレージ４００の構成を説明する。図５はポータブルストレージ４００の構成を示すブロック図である。
【００４２】
ポータブルストレージ４００は、アンテナ４０、無線部４１、制御部４２、第２のストレージ４３、操作部４４を含んでいる。
【００４３】
無線部４１は、アンテナ４０を介して、レコーダ２００や携帯端末３００と通信を行う。制御部４２は、ポータブルストレージ４００全体の制御や、レコーダ２００の第１のストレージ９とのコンテンツデータの同期や、携帯端末３００へのコンテンツデータの送出を行う。制御部４２は、コンテンツデータの暗号化処理や復号処理も行ってもよい。
【００４４】
第２のストレージ４３は、レコーダ２００との同期により、第１のストレージ９からコピーされたコンテンツデータの格納を行う。なお、第２のストレージ４３には、録画したコンテンツと、そのコンテンツを一意に識別するための固有識別子とが格納される。
【００４５】
操作部４４は、ポータブルストレージ４００を、レコーダ２００または携帯端末３００のいずれに接続するかに関するユーザの指示を受け付ける。ここで受け付けた指示に従い、制御部４２は、無線部４１を介して、レコーダ２００または携帯端末３００とデータのやりとりを行う。
【００４６】
本実施形態は、このような構成を有するシステム１００において、携帯端末３００のユーザが視聴しているコンテンツに関連する情報を検索してユーザに提供する技術に関するものである。
【００４７】
［本実施形態の携帯端末３００の動作］
図６は携帯端末３００の上記技術に係わる動作を示すフローチャートである。
まず、携帯端末３００のユーザが、操作部２８を操作して任意のコンテンツ（例えば、ネットワーク５００からダウンロードしたコンテンツ、ポータブルストレージ４００から取得して記憶装置２７に保存したコンテンツ）の再生を指示する（ステップ１０１）。するとプロセッサ２５がこの指示に従ってそのコンテンツを再生し、表示部２９の画面に表示させる（ステップＳ１０２）。
【００４８】
コンテンツの再生中、プロセッサ２５はユーザによるコンテンツの視聴状態を検出する（ステップＳ１０３）。
【００４９】
プロセッサ２５は、視聴状態の検出において、ユーザがあるシーン（再生時刻）のオブジェクトに対して注視した状態を検出すると（ステップＳ１０４のＹ）、そのシーンとそのシーン中の注視されたオブジェクトを判定する（ステップＳ１０５）。このオブジェクトの判定については後で詳細に説明する。
【００５０】
続いて、プロセッサ２５は、ユーザ（携帯端末３００）の位置情報を、ＧＰＳ受信部２１を用いて取得する（ステップＳ１０６）。
【００５１】
ユーザの位置情報の取得に成功すれば、プロセッサ２５は、その位置情報と、ステップＳ１０５で判定されたオブジェクトの情報とから、コンテンツ検索用の情報を生成する。ここで、コンテンツ検索用の情報とは、例えば、ポータブルストレージ４００に格納されたコンテンツに対する検索のための情報である。プロセッサ２５は、生成されたコンテンツ検索用の情報を用いてポータブルストレージ４００に格納されたコンテンツ群に対する検索を実行する（ステップＳ１０８）。この検索は、ポータブルストレージ４００に格納されたコンテンツに関するメタデータを対象に行われる。
【００５２】
コンテンツのメタデータには、シーン毎のメタデータとして、開始終了時間、シーン内容（例えば、店舗、商品、ＣＭなどのデータ）が含まれている。このシーン毎のメタデータに対して検索クエリーを用いて検索が実行される。
【００５３】
該当するコンテンツのシーンの検索に成功すれば（ステップＳ１０８のＹ）、プロセッサ２５は、そのコンテンツのシーンのメタデータを用いて、該当するコンテンツのシーンに関する情報の一覧が推薦コンテンツのシーンのリストとして表示部２９の画面に提示される（ステップＳ１０９）。該当するコンテンツの検索に失敗した場合には（ステップＳ１０８のＮ）、プロセッサ２５は何もしない。
【００５４】
この推薦コンテンツのシーンのリスト上で、ユーザによって任意のシーンが選択されると、プロセッサ２５は、ポータブルストレージ４００から該当するシーンのデータを読み出し、再生する。
【００５５】
ステップＳ１０４でユーザによる注視状態が検出されない場合も（ステップＳ１０４のＮ）、プロセッサ２５は何もしない。
【００５６】
そしてコンテンツの再生の終了（ステップＳ１１０のＹ）により、本処理が終了となる。
【００５７】
［ユーザが注視したシーンとオブジェクトを判定する方法］
次に、ステップＳ１０４およびステップＳ１０５のユーザが注視したシーンとオブジェクトを判定する方法について説明する。
【００５８】
例えば、ユーザの視線状態をカメラ２２で捉えてユーザの目の輪郭における瞳孔の位置、静止時間（連続静止時間、平均静止時間など）などを測定するとともに、測距センサ２３にて、携帯端末３００とユーザの顔までの距離を検出する。瞳孔の位置と携帯端末３００とユーザの顔までの距離からユーザが見ている位置（視線位置）を検出することができ、静止時間はユーザが見る行為が注視にあたいするかどうかを判定することができる。これらの情報をもとに、シーン毎に画像のどの位置をどのくらい時間見ていたかという視線位置の時系列データが得られる。
【００５９】
シーンを注視する際のユーザ間の個人差による精度低下を抑制するために、予めユーザによるシーン注視の特性を学習により得ることは有益である。学習データをもとにユーザが注視している状態をより正しく判別することができる。
【００６０】
プロセッサ２５は、まず、ユーザによって注視されたシーン（以下「注視シーン」と呼ぶ。）を検出する。ここで、注視シーンとは、例えば、ユーザの視線の動きが少ないシーンなどである。プロセッサ２５は、視線位置の時系列データから、視線の動きがあらかじめ決められた閾値以下であるシーンを上記の注視シーンとして検出する。
【００６１】
次に、プロセッサ２５は、注視シーンの画像から、この画像中に存在する１以上のオブジェクトのうちユーザが注視する１以上のオブジェクトを判定する。この処理を「注視オブジェクト判定処理」とここでは呼ぶ。
次に、この注視オブジェクト判定処理について説明する。
【００６２】
（注視オブジェクト判定処理１）
図７は、注視オブジェクト判定処理１を説明するための図である。
１．まず、検出された注視シーンの画像について、画像の特徴、例えば、明るさ、色、テクスチャなどの特徴の解析により、この画像を特徴が各々一様な１以上の領域に分割する処理（画像セグメンテーション処理）を行う。
【００６３】
２．次に、プロセッサ２５は、画像セグメンテーション処理によって分割された１以上の領域について、視線位置の時系列データをもとに、視線頻度が最も高い領域を判定する。
【００６４】
３．そしてプロセッサ２５は、その視線頻度が最も高い領域の画像の特徴量をもとに、その領域の画像がどんなオブジェクトであるかという情報を判定する。
【００６５】
（注視オブジェクト判定処理２）
ユーザの視聴場所および視聴時刻に基づくジャンル間の優先度を、オブジェクトの判定に用いてもよい。
図８は、ユーザの視聴場所および視聴時刻に基づくジャンル間の優先度の例を示す図である。例えば、視聴場所が"銀座"で、視聴時刻が"16:00"である場合、ジャンル間の優先度は上位から"スイーツ"→"ファッション" →"エンタテイメント"である。
【００６６】
図９は、注視オブジェクト判定処理２を説明するための図である。
プロセッサ２５は、視線位置の時系列データをもとに視線頻度が最も高い領域が複数判定された場合、それらの領域の画像のオブジェクトのうちどのオブジェクトを最終的な判定結果とするかを、上記のジャンル間の優先度をもとに決定する。
例えば、図９において、「ケーキ」と「絵画」の２つのオブジェクトが注視オブジェクト判定処理１によって得られたとする。このとき、図８に示したユーザの視聴場所および視聴時刻に基づくジャンル間の優先度では、視聴場所が"銀座"で、視聴時刻が"16:00"である場合、「ケーキ」が属するジャンルである「スイーツ」の優先度が最も高い。このことから、「ケーキ」が最終的なオブジェクトの判定結果として得られる。
【００６７】
なお、ユーザの視聴場所および視聴時刻に基づくジャンル間の優先度はユーザの性別、年齢別、職業別、住所、その他の種類別に用意されてもよい。さらに、上記のジャンル間の優先度の情報は、逐次更新されてもよい。
【００６８】
（注視オブジェクト判定処理３）
図１０は注視オブジェクト判定処理３を説明するための図である。
１．プロセッサ２５は、他の複数のユーザの携帯端末３００において、注視シーンに対して最も視線を集めたオブジェクトが何であるかという統計情報を取得して蓄積する。
２．プロセッサ２５は、自ユーザによる注視シーンの画像に対して、上記の蓄積された統計情報から、最も視線を集めたオブジェクトの情報を判定する。
【００６９】
なお、この方式の場合、他の複数のユーザの携帯端末３００において得られたオブジェクトの情報は、例えば、上記の注視オブジェクト判定処理１などで得られたものであることが望ましい。
【００７０】
この注視オブジェクト判定処理３によって複数のオブジェクトの属性が判定された場合には、注視オブジェクト判定処理２のように、視聴場所および視聴時刻に基づくジャンル間の優先度に基づいて、最終的に一つのオブジェクトの属性に絞り込むようにしてもよい。
【００７１】
（注視オブジェクト判定処理４）
図１１は注視オブジェクト判定処理４を説明するための図である。
１．プロセッサ２５は、他の複数のユーザによって、注視シーンに対して最も視線を集めた領域の特徴ベクトルを取得して蓄積する。
２．プロセッサ２５は、検出された注視シーンの画像について、画像の特徴、例えば、明るさ、色、テクスチャなどの特徴の解析により、この画像を特徴が各々一様な１以上の領域に分割する処理（画像セグメンテーション処理）を行う。
３．プロセッサ２５は、分割された領域の中で、特徴量が最も上記蓄積された特徴量に近い領域を判定し、この特徴量をもとに、その領域の画像が何のオブジェクトであるかという属性を判定する。
【００７２】
（注視オブジェクト判定処理５）
次に、注視オブジェクトの判定において、番組に付与された後メタデータを参考にする方法を説明する。
【００７３】
後メタデータとは、番組のシーン毎に、その内容を例えば人為的に確認することによって生成されるメタデータである。後メタデータは、例えば、番組に関するメタデータである例えば番組名、放送時間などの情報と、シーンに関するメタデータであるシーン時刻、シーン内容などを含む。
【００７４】
このような後メタデータは、ネットワーク上の後メタデータサーバに格納される。後メタデータサーバは、番組毎の後メタデータを管理し、ネットワークを通じて後メタデータを配信するサービスを行う。
【００７５】
次に、後メタデータを加味して注視オブジェクトを判定する動作を説明する。
図１２は注視オブジェクト判定処理５の後メタデータを加味して注視オブジェクトを判定する動作を説明するための図である。
図１３は、注視オブジェクト判定処理３の動作のフローチャートである。
【００７６】
１．まず、検出された注視シーンの画像について、画像の特徴、例えば、明るさ、色、テクスチャなどの特徴の解析により、この画像を特徴が各々一様な１以上の領域に分割する処理（画像セグメンテーション処理）を行う（ステップＳ３０１）。
【００７７】
２．次に、プロセッサ２５は、画像セグメンテーション処理によって分割された１以上の領域について、視線位置の時系列データをもとに、視線頻度が最も高い領域を判定する（ステップＳ３０２）。
【００７８】
３．次に、プロセッサ２５は、その視線頻度が高い上位ｎ個の領域と、近傍の画像の特徴量を検出する（ステップＳ３０３）。ここで、近傍の画像の特徴量を検出するのは、例えば、「ケーキ」を画像特徴量に基づいて判定する場合、ケーキは皿の上にある確率が高いとして、「皿」の画像特徴量も検出することによって、総合的にそのオブジェクトが「ケーキ」かどうかを判定するためである。このように、あるオブジェクトを判定する場合、そのオブジェクトと関連のあるオブジェクトも判定することで、判定精度の確率を高めることができる。なお、この処理は他の注視オブジェクト判定処理にも用いることができる。
【００７９】
４．次に、プロセッサ２５は、後メタデータサーバにアクセスして、注視シーンの後メタデータを取得し、取得した後メタデータの該当するシーン時刻のシーン内容を参照し、これを形態素解析等により単語に分類する（ステップＳ３０４）。
【００８０】
５．次に、プロセッサ２５は、上位ｎ個の領域の画像の特徴量をもとに、各々の画像が何のオブジェクトであるかという情報を判定し、上記の後メタデータから得られた単語と、上位ｎ個の領域のオブジェクトの情報とを比較し、単語と一致するオブジェクトの情報を最終的なオブジェクト判定結果とする（ステップＳ３０５）。
【００８１】
なお、特徴量に基づくオブジェクトの判定において、正解認識率の値が得られる場合には、上位ｎ個の領域のオブジェクトの判定結果の中で、正解認識率の差が閾値以下である複数のオブジェクトを抽出し、こらの抽出されたオブジェクトの中で後メタデータから得られる単語と一致するものを最終的な判定結果とする。
これにより、特徴量に基づくオブジェクトの判定の精度限界を越えて、より高精度なオブジェクト判定結果が得られる。
【００８２】
なお、この後メタデータを加味して注視オブジェクトを判定する動作は、プロセッサ２５が後メタデータを取得できるかどうかを判定し、取得できる場合に実行し、取得できない場合には上記の注視オブジェクト判定処理１を実行するように、切り替えるようにしてもよい。
【００８３】
また、この処理でヒットした注視シーンの後メタデータは、ポータブルストレージ４００およびレコーダ２００に蓄積されたメタデータに付加してもよい。これにより、ポータブルストレージ４００に格納されたコンテンツの検索の精度を高めることができる。
【００８４】
以上のように、本実施形態によれば、携帯端末３００のユーザが注視しているシーンのオブジェクトとユーザの位置情報から、これらに関連するコンテンツを検索するための情報を得ることができる。この情報を用いることによって、例えば、ポータブルストレージ４００に保存されたコンテンツ群の中から、該当するコンテンツをシーンの単位で検索することができる。これにより、ポータブルストレージ４００に保存されたコンテンツに対する検索性が向上する。
【００８５】
＜変形例１＞
図１４および図１５は、携帯端末３００およびレコーダ２００での上記技術に係わる動作の変形例を示すフローチャートである。
【００８６】
この変形例１は、第１の実施形態の携帯端末３００にて生成されたコンテンツ検索用の情報をレコーダ２００による録画予約に利用するものである。なお、ステップＳ２０１からステップＳ２０９までの動作は第１の実施形態のステップＳ１０１からステップＳ１０９までの動作と同じであるため、説明は省略する。
【００８７】
ステップＳ２１０で、プロセッサ２５は、録画モードが設定されているかどうかを判定する（ステップＳ２１０）。ここで、録画モードは、携帯端末３００のユーザによって任意に設定されるモードである。録画モードが設定されている場合（ステップＳ２１０のＹ）、プロセッサ２５は、ステップＳ２０７で生成されたコンテンツ検索用の情報をネットワークを通じてレコーダ２００に転送する（ステップＳ２１２）。
【００８８】
レコーダ２００のシステムコントローラ１４は、このコンテンツ検索用の情報を受信すると、この情報をもとに特定される番組の録画予約が完了しているかどうかを判定する。レコーダ２００のシステムコントローラ１４は、録画予約が完了している場合（ステップＳ２１３のＹ）、その旨を携帯端末３００に応答する。なお、コンテンツ検索用の情報をもとに特定される番組の録画予約が完了している場合とは、コンテンツ検索用の情報に、番組を特定するデータ、例えば、番組名、放送開始終了時刻と放送局情報など、番組を特定できる情報が含まれている場合などである。
【００８９】
携帯端末３００のプロセッサ２５は、この応答を受けると、コンテンツの再生の終了の判定に移行し（ステップＳ２１１）、終了しない場合には（ステップＳ２１１のＮ）、ステップＳ２０２のコンテンツの再生の状態に戻る。
【００９０】
一方、レコーダ２００のシステムコントローラ１４は、コンテンツ検索用の情報をもとに番組を特定することができない場合（ステップＳ２１５のＮ）、受信したコンテンツ検索用の情報を蓄積し（ステップＳ２１４）、十分な量の情報が蓄積されるまで待機する。この後、ステップＳ２０８に移行する。
【００９１】
十分な量のコンテンツ検索用の情報が蓄積されたところで（ステップＳ２１５のＹ）、レコーダ２００のシステムコントローラ１４は、蓄積された情報を用いて該当するコンテンツの検索を行う（ステップＳ２１６）。この検索は、例えば電子番組ガイドや、ウェブ上のコンテンツ公開サービスを行うサーバなどに対して行われる。
【００９２】
該当するコンテンツが検索された場合（ステップＳ２１７のＹ）、レコーダ２００のシステムコントローラ１４は、そのコンテンツの録画予約を設定する（ステップＳ２１８）。該当するコンテンツが見つからない場合には（ステップＳ２１７のＮ）、レコーダ２００のシステムコントローラ１４は、所定の警告処理を行う（ステップＳ２１９）。この後、ステップＳ２１１に移行する。
【００９３】
ここで、警告処理は、例えば、携帯端末３００においてコンテンツの検索に失敗したことを示す表示や、例えばレコーダ２００において、携帯端末３００からのメタデータの転送毎の、コンテンツ検索結果と録画状態を示すリストを表示する、などの処理が考えられる。
【００９４】
以上のように、本変形例によれば、携帯端末３００のユーザが注視しているシーンのオブジェクトとユーザの位置情報から生成された、関連するコンテンツを検索するための情報を用いて、レコーダ２００に対して、関連するコンテンツの録画予約を設定することができる。
【００９５】
以上説明した実施形態および変形例において、携帯端末３００の処理の少なくとも一部あるいはすべては、ネットワーク５００に配置された１以上のサーバ（請求項１１の情報処理装置に相当）において行うことが可能である。
この場合、サーバは、ユーザの携帯端末３００より、ユーザの視線位置を検出した結果とユーザの位置情報と表示画面で視聴中のコンテンツの識別情報を取得する。サーバは、取得した視線位置をもとに、取得したコンテンツの識別情報をもとに特定されるコンテンツ中でユーザが注目するシーンと、このシーン内のオブジェクトを判定し、この判定されたオブジェクトと取得された位置情報から検索用の情報を生成し、ユーザの携帯端末３００に送信する。
これにより、携帯端末３００の処理負荷を軽減することができる。
【００９６】
＜変形例２＞
上記の注視オブジェクトの判定処理は、携帯端末３００が次のような状況にあることが判定された場合のみ、実行されるようにしてもよい。すなわち、携帯端末３００には、携帯端末３００の動きを検出する加速度センサ２４と、携帯端末３００を利用するユーザ（例えば顔）までの距離などを検出する測距センサ２３が設けられている。
【００９７】
プロセッサ２５は、測距センサ２３の出力をもとに、携帯端末３００を利用中のユーザが近接して存在し、かつ加速度センサ２４の出力をもとに携帯端末３００の動きが予め決められた値以下であるとき、上記の注視オブジェクトの判定処理を実行させる。ここで、予め決められた値とは、ユーザが携帯端末３００を手に持って表示部２９に表示中のコンテンツを注視しているときの動きの少ない状態を判定することのできる程度としたり、携帯端末３００を安定したところに置いた状態を判定することのできる程度とすることができる。これらの閾値はユーザによって適宜切り替えられるようにしてもよい。
【００９８】
このようにユーザの視聴状況に応じて注視オブジェクトの判定処理の実行のオン／オフが自動的に切り替えられるようにすることで、注視オブジェクトの判定の精度を向上させることができる。すなわち、ユーザが携帯端末３００を手に持っている場合、表示中のコンテンツをユーザが注視しているときの携帯端末３００の動きは自然と小さくなるからである。また、安定したところに設置された携帯端末３００の近くにユーザが存在する状況も、ユーザが表示中のコンテンツを注視しているときの状況の１つであるからである。
【００９９】
なお、携帯端末３００の動きを検出するために加速度センサ２４を使用したが、携帯端末３００の動きを検出することができれば他の種類のセンサを利用してもよい。また、携帯端末３００を利用中のユーザが存在することを検出するために測距センサ２３を使用したが、携帯端末３００を利用中のユーザが存在することを検出できれば他の種類のセンサであってもよい。
【０１００】
なお、本技術は以下のような構成も採ることができる。
（１）表示画面に対するユーザの視線位置を検出する視線位置検出部と、
前記ユーザの位置情報を取得する位置情報取得部と、
前記検出された視線位置をもとに、前記表示画面に表示されたコンテンツ中でユーザが注目するシーンとこのシーン内のオブジェクトを判定し、この判定されたオブジェクトと前記取得された位置情報から検索用の情報を生成する制御部と、
を具備する情報処理装置。
【０１０１】
（２）前記（１）に記載の情報処理装置であって、
前記制御部は、検索対象のコンテンツが格納されたストレージデバイスに対して、前記検索用の情報を用いて推薦コンテンツをシーンの単位で検索する
情報処理装置。
【０１０２】
（３）前記（１）から（２）のうちいずれか１つに記載の情報処理装置であって、
前記ストレージデバイスは、ネットワークを通じてレコーダのストレージデバイスと同期処理が可能なデバイスである
情報処理装置。
【０１０３】
（４）前記（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記制御部は、ネットワークを通じて接続されたレコーダに対し、前記検索用の情報を用いて録画予約を設定させる
情報処理装置。
【０１０４】
（５）前記（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記制御部は、
前記検出された視線位置をもとに、前記表示画面に表示されたコンテンツ中でユーザが注目するシーンを判定し、
前記判定されたシーンの画像を特徴量をもとに１以上の領域に分割し、
前記検出された視線位置をもとに視線頻度が最も高い領域を判定し、
この領域の特徴量をもとに前記オブジェクトを判定する
情報処理装置。
【０１０５】
（６）前記（１）から（５）のうちいずれか１つに記載の情報処理装置であって、
前記制御部は、
ユーザの視聴場所および視聴時刻に基づくジャンル間の優先度を加味して、前記オブジェクトを判定する
情報処理装置。
【０１０６】
（７）前記（１）から（６）のうちいずれか１つに記載の情報処理装置であって、
前記制御部は、
前記検出された視線位置をもとに、前記表示画面に表示されたコンテンツ中でユーザが注目するシーンを判定し、
前記判定されたシーンに対して、他の複数のユーザの携帯端末において当該シーンに対して最も視線を集めたオブジェクトが何であるかという統計情報をもとに前記オブジェクトを判定する
情報処理装置。
【０１０７】
（８）前記（１）から（７）のうちいずれか１つに記載の情報処理装置であって、  
前記制御部は、
前記検出された視線位置をもとに、前記表示画面に表示されたコンテンツ中でユーザが注目するシーンを判定し、
前記判定されたシーンに対して、他の複数のユーザによって当該シーンに対して最も視線を集めた領域の特徴ベクトルをもとに前記オブジェクトを判定する
情報処理装置。
【０１０８】
（９）前記（１）から（８）のうちいずれか１つに記載の情報処理装置であって、  
前記制御部は、
前記判定されたシーンに付与された当該シーンに関するメタデータを加味して前記オブジェクトを判定する
情報処理装置。
【０１０９】
（１０）前記（１）から（９）のうちいずれか１つに記載の情報処理装置であって、  
前記情報処理装置を利用中のユーザの有無を検出する第１のセンサと、
前記情報処理装置の動きを検出する第２のセンサと、
前記制御部は、前記第１のセンサの出力をもとに前記情報処理装置を利用中のユーザが存在し、かつ前記第２のセンサの出力をもとに前記情報処理装置の動きが予め決められた値以下であるとき、前記オブジェクトの判定を行う
情報処理装置。
【符号の説明】
【０１１０】
９…第１のストレージ
１４…システムコントローラ
２１…ＧＰＳ受信部
２２…カメラ
２３…測距センサ
２５…プロセッサ
２６…通信部
２７…記憶装置
２９…表示部
４２…制御部
４３…第２のストレージ
１００…システム
２００…レコーダ
３００…携帯端末
４００…ポータブルストレージ
５００…ネットワーク
【図１】
2015046089.tif 000003
【図２】
2015046089.tif 000004
【図３】
2015046089.tif 000005
【図４】
2015046089.tif 000006
【図５】
2015046089.tif 000007
【図６】
2015046089.tif 000008
【図７】
2015046089.tif 000009
【図８】
2015046089.tif 000010
【図９】
2015046089.tif 000011
【図１０】
2015046089.tif 000012
【図１１】
2015046089.tif 000013
【図１２】
2015046089.tif 000014
【図１３】
2015046089.tif 000015
【図１４】
2015046089.tif 000016
【図１５】
2015046089.tif 000017