(57)【要約】【課題】複数のユーザの関心度を高めるコンテンツの決定を可能とする。【解決手段】検出された複数のユーザの視線を示す視線情報および前記複数のユーザの心身状態を示す心身状態情報に基づいて、それぞれの前記ユーザの、表示された第１のコンテンツに対する関心度を判定する関心度判定部、を備え、前記第１のコンテンツに対する関心度は、第２のコンテンツの決定に係る処理に使用される、情報処理装置が提供される。また、上記課題を解決するために、本発明の別の観点によれば、プロセッサが、検出された複数のユーザの視線を示す視線情報および複数のユーザの心身状態を示す心身状態情報に基づいて、それぞれのユーザの、表示された第１のコンテンツに対する関心度を判定すること、を含み、第１のコンテンツに対する関心度は、第２のコンテンツの決定に係る処理に使用される、情報処理方法が提供される。【選択図】図７
2020113075.tif 000002
【特許請求の範囲】
【請求項１】
検出された複数のユーザの視線を示す視線情報および前記複数のユーザの心身状態を示す心身状態情報に基づいて、それぞれの前記ユーザの、表示された第１のコンテンツに対する関心度を判定する関心度判定部、
を備え、
前記第１のコンテンツに対する関心度は、第２のコンテンツの決定に係る処理に使用される、
情報処理装置。
【請求項２】
前記関心度判定部は、前記視線情報により前記第１のコンテンツに視線を向けていることが示される前記ユーザの、前記第１のコンテンツに対する関心度を判定する、
請求項１に記載の情報処理装置。
【請求項３】
前記視線情報は、前記ユーザがいずれの前記第１のコンテンツに対して視線を向けているかを示す情報を含み、
前記関心度判定部は、前記第１のコンテンツが複数存在する場合、前記ユーザがいずれの前記第１のコンテンツに対して視線を向けているかに基づいて、それぞれの前記第１のコンテンツに対して視線を向けている前記ユーザの、前記第１のコンテンツに対する前記関心度を判定する、
請求項２に記載の情報処理装置。
【請求項４】
前記関心度判定部は、前記心身状態情報により前記ユーザが所定の前記心身状態であることが示される場合、前記ユーザが前記第１のコンテンツに対し関心があると判定する、
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記関心度判定部は、前記ユーザの属性を示す属性情報にさらに基づいて、前記第１のコンテンツに対する前記関心度を判定する、
請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
前記関心度判定部が判定した、前記複数のユーザの、前記第１のコンテンツに対する前記関心度に基づいて、前記第２のコンテンツを表示するか否かを決定するコンテンツ決定部、
をさらに備える、
請求項１〜５のいずれか１項に記載の情報処理装置。
【請求項７】
前記コンテンツ決定部は、前記関心度判定部により前記第１のコンテンツに対し関心が無いと判定された前記ユーザが存在することが示される場合、前記第１のコンテンツに対し関心が無いと判定された前記ユーザを対象とする前記第２のコンテンツの表示を決定する、
請求項６に記載の情報処理装置。
【請求項８】
前記コンテンツ決定部は、前記第２のコンテンツの表示位置をさらに決定する、
請求項６または７に記載の情報処理装置。
【請求項９】
前記コンテンツ決定部は、前記関心度判定部により前記第１のコンテンツに対し関心が無いと判定された前記ユーザの人数にさらに基づいて、前記第２のコンテンツの表示位置を決定する、
請求項８に記載の情報処理装置。
【請求項１０】
前記コンテンツ決定部は、前記ユーザの視線の滞在時間に基づいて、前記第２のコンテンツに対応する静止画または動画を、前記第２のコンテンツとしてさらに決定する、
請求項６〜９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記コンテンツ決定部は、前記複数のユーザの前記第２のコンテンツに対する前記関心度に基づいて、前記第２のコンテンツを前記第１のコンテンツとして決定する、
請求項６〜１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記コンテンツ決定部は、前記ユーザの属性を示す属性情報にさらに基づいて、前記第２のコンテンツの表示対象を決定する、
請求項６〜１１のいずれか１項に記載の情報処理装置。
【請求項１３】
前記コンテンツ決定部による決定に基づいて、前記第１のコンテンツおよび前記第２のコンテンツを表示する表示部、
をさらに備える、
請求項６〜１２のいずれか１項に記載の情報処理装置。
【請求項１４】
プロセッサが、
検出された複数のユーザの視線を示す視線情報および前記複数のユーザの心身状態を示す心身状態情報に基づいて、それぞれの前記ユーザの、表示された第１のコンテンツに対する関心度を判定すること、
を含み、
前記第１のコンテンツに対する関心度は、第２のコンテンツの決定に係る処理に使用される、
情報処理方法。
【請求項１５】
コンピュータを、
検出された複数のユーザの視線を示す視線情報および前記複数のユーザの心身状態を示す心身状態情報に基づいて、それぞれの前記ユーザの、表示された第１のコンテンツに対する関心度を判定する関心度判定部、
を備え、
前記第１のコンテンツに対する関心度は、第２のコンテンツの決定に係る処理に使用される、
情報処理装置、
として機能させるためのプログラム。
【請求項１６】
検出された複数のユーザの視線を示す視線情報および前記複数のユーザの心身状態を示す心身状態情報に基づいて、それぞれの前記ユーザの、表示された第１のコンテンツに対する関心度を判定する関心度判定部と、
前記関心度判定部が判定した、前記複数のユーザの、前記第１のコンテンツに対する前記関心度に基づいて、第２のコンテンツを表示するか否かを決定するコンテンツ決定部と、
前記コンテンツ決定部による決定に基づいて、前記第１のコンテンツおよび前記第２のコンテンツを表示する表示部と、
を備え、
前記第１のコンテンツに対する関心度は、前記第２のコンテンツの決定に係る処理に使用される、
情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラム、及び情報処理システムに関する。
【背景技術】
【０００２】
近年、ユーザの感情を判定し、判定した感情に基づいて目的に応じたコンテンツを出力する技術が開発されている。例えば、特許文献１では、複数のユーザの感情を認識し、認識した感情に基づいて、コンテンツを出力する対象のユーザを決定し、当該決定したコンテンツを出力する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１１６２２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の技術では、１人のユーザの感情のみを考慮して、出力するコンテンツを決定するため、例えば、当該決定されたコンテンツが、複数のユーザの関心があり得るコンテンツであるとは限らない。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数のユーザの関心度を高めるコンテンツの決定が可能な、新規かつ改良された情報処理装置、情報処理方法、プログラム、及び情報処理システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、検出された複数のユーザの視線を示す視線情報および前記複数のユーザの心身状態を示す心身状態情報に基づいて、それぞれの前記ユーザの、表示された第１のコンテンツに対する関心度を判定する関心度判定部、を備え、前記第１のコンテンツに対する関心度は、第２のコンテンツの決定に係る処理に使用される、情報処理装置が提供される。
【０００７】
また、前記関心度判定部は、前記視線情報により前記第１のコンテンツに視線を向けていることが示される前記ユーザの、前記第１のコンテンツに対する関心度を判定してもよい。
【０００８】
また、前記視線情報は、前記ユーザがいずれの前記第１のコンテンツに対して視線を向けているかを示し、前記関心度判定部は、前記第１のコンテンツが複数存在する場合、前記視線情報により前記ユーザがいずれの前記第１のコンテンツに対して視線を向けているかに基づいて、それぞれの前記第１のコンテンツに対して視線を向けている前記ユーザの、前記第１のコンテンツに対する前記関心度を判定してもよい。
【０００９】
また、前記関心度判定部は、前記心身状態情報により前記ユーザが所定の前記心身状態であることが示される場合、前記ユーザが前記第１のコンテンツに対し関心が無いと判定してもよい。
【００１０】
また、前記関心度判定部は、前記ユーザの属性を示す属性情報にさらに基づいて、前記第１のコンテンツに対する前記関心度を判定してもよい。
【００１１】
また、前記関心度判定部が判定した、前記複数のユーザの、前記第１のコンテンツに対する前記関心度に基づいて、前記第２のコンテンツを表示するか否かを決定するコンテンツ決定部、をさらに備えてもよい。
【００１２】
また、前記コンテンツ決定部は、前記関心度判定部により前記第１のコンテンツに対し関心が無いと判定された前記ユーザが存在することが示される場合、前記第１のコンテンツに対し関心が無いと判定された前記ユーザを対象とする前記第２のコンテンツの表示を決定してもよい。
【００１３】
また、前記関心度判定部が判定した、前記複数のユーザの、前記第１のコンテンツに対する前記関心度に基づいて、第２のコンテンツを表示するか否かを決定するコンテンツ決定部、をさらに備えてもよい。
【００１４】
また、前記コンテンツ決定部は、前記関心度判定部により前記第１のコンテンツに対し関心を持っていないと判定された前記ユーザが存在することが示される場合、前記第１のコンテンツに対し関心が無いと判定された前記ユーザを対象とする前記第２のコンテンツの表示を決定してもよい。
【００１５】
また、前記コンテンツ決定部は、前記第２のコンテンツの表示位置をさらに決定しもよい。
【００１６】
また、前記コンテンツ決定部は、前記関心度判定部が前記第１のコンテンツに対し関心が無いと判定された前記ユーザの人数にさらに基づいて、前記第２のコンテンツの表示位置をさらに決定してもよい。
【００１７】
また、前記コンテンツ決定部は、前記ユーザの視線の滞在時間に基づいて、前記第２のコンテンツに対応する静止画または動画を、前記第２のコンテンツとしてさらに決定してもよい。
【００１８】
また、前記コンテンツ決定部は、前記複数のユーザの前記第２のコンテンツに対する前記関心度に基づいて、前記第２のコンテンツを前記第１のコンテンツとして決定してもよい。
【００１９】
また、前記コンテンツ決定部は、前記ユーザの属性を示す属性情報にさらに基づいて、前記第２のコンテンツの表示対象を決定してもよい。
【００２０】
また、前記コンテンツ決定部による決定に基づいて、前記第１のコンテンツおよび前記第２のコンテンツを表示する表示部、をさらに備えてもよい。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、プロセッサが、検出された複数のユーザの視線を示す視線情報および前記複数のユーザの心身状態を示す心身状態情報に基づいて、それぞれの前記ユーザの、表示された第１のコンテンツに対する関心度を判定すること、を含み、前記第１のコンテンツに対する関心度は、第２のコンテンツの決定に係る処理に使用される、情報処理方法が提供される。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、検出された複数のユーザの視線を示す視線情報および前記複数のユーザの心身状態を示す心身状態情報に基づいて、それぞれの前記ユーザの、表示された第１のコンテンツに対する関心度を判定する関心度判定部、を備え、前記第１のコンテンツに対する関心度は、第２のコンテンツの決定に係る処理に使用される、情報処理装置、として機能させるためのプログラムが提供される。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、検出された複数のユーザの視線を示す視線情報および前記複数のユーザの心身状態を示す心身状態情報に基づいて、それぞれの前記ユーザの、表示された第１のコンテンツに対する関心度を判定する関心度判定部と、前記関心度判定部が判定した、前記複数のユーザの、前記第１のコンテンツに対する前記関心度に基づいて、第２のコンテンツを表示するか否かを決定するコンテンツ決定部と、前記コンテンツ決定部による決定に基づいて、前記第１のコンテンツおよび前記第２のコンテンツを表示する表示部と、を備え、前記第１のコンテンツに対する関心度は、第２のコンテンツの決定に係る処理に使用される、情報処理システムが提供される。
【発明の効果】
【００２４】
以上説明したように本発明によれば、複数のユーザの関心度を高めるコンテンツの決定が可能となる。
【図面の簡単な説明】
【００２５】
【図１】本実施形態に係る情報処理システム１の構成の一例について説明するための図である。
【図２】同実施形態に係る表示装置１００の機能構成の一例について説明するための図である。
【図３】同実施形態に係るユーザの顔画像から得られる複数の特徴点の例を示す図である。
【図４】同実施形態に係るニュートラルな表情と関心を示す表情の関係を説明するための図である。
【図５】同実施形態に係る表示部１４０によるコンテンツの表示の一例について説明するための図である。
【図６】同実施形態に係るサーバ２００の機能構成の一例について説明するための図である。
【図７】同実施形態に係る各特徴点の位置の管理例を示す説明図である。
【図８】同実施形態に係る関心度判定部２２０およびコンテンツ決定部２３０による第１のコンテンツに対する関心度の判定および第２のコンテンツの表示に係る決定処理の一例について説明するための図である。
【図９】同実施形態に係るコンテンツ決定部２３０による複数のユーザの関心度に基づく第２のコンテンツの表示に係る決定処理の一例について説明するための図である。
【図１０】同実施形態に係る関心度判定部２２０によるユーザの属性に基づく関心度の判定の一例について説明するための図である。
【図１１】同実施形態に係る表示部１４０による第２のコンテンツの表示制御の一例について説明するための図である。
【図１２】同実施形態に係る表示部１４０による第２のコンテンツの表示制御の一例について説明するための図である。
【図１３Ａ】同実施形態に係る表示装置１００およびサーバ２００による動作の流れの一例について説明するための図である。
【図１３Ｂ】同実施形態に係る表示装置１００およびサーバ２００による動作の流れの一例について説明するための図である。
【図１４】本開示の変形例に係るコンテンツ決定部２３０による視線滞在時間に対応する表示メディアの決定処理の一例について説明するための図である。
【図１５Ａ】本開示の変形例に係る表示装置１００およびサーバ２００による動作の流れの一例について説明するための図である。
【図１５Ｂ】本開示の変形例に係る表示装置１００およびサーバ２００による動作の流れの一例について説明するための図である。
【図１６】本開示の変形例に係る表示装置４００の機能構成の一例について説明するための図である。
【図１７】本発明の一実施形態に係る各構成のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２７】
＜１．実施形態＞
＜＜１．１．背景＞＞
まず、本開示の実施形態の背景について説明する。
【００２８】
近年、デジタルサイネージ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｇｅ）のような、電子媒体を利用した視覚情報や音声情報をユーザに提供する表示装置が普及している。このような表示装置は、柔軟に内容を変更しながら、店舗内の案内や商品情報などに関するコンテンツをユーザに対し表示することができる。
【００２９】
ところで、上記の表示装置が使用される場合、ユーザに合わせて表示するコンテンツを変更することが求められ得る。例えば、表示されているコンテンツが、それぞれのユーザに応じて関心を持たれるようなコンテンツに変更すること等が求められ得る。
【００３０】
ユーザが関心を持つコンテンツを表示する方法としては、例えば、ユーザが現在表示されているコンテンツに対して関心があるか否かを判定し、判定した結果に基づいて表示するコンテンツを決定する方法が挙げられる。
【００３１】
また、表示装置が設置される場所によっては、複数人のユーザが表示装置を同時に見る場合が想定される。そのような場合、複数のユーザが関心の関心があり得るコンテンツの表示も求められ得る。
【００３２】
例えば、上述した特許文献１では、複数のユーザの感情を認識し、認識した複数のユーザの感情に基づいて、複数のユーザのうち、コンテンツを出力する対象のユーザを１名決定し、対象のユーザの感情を考慮したコンテンツを出力する技術が開示されている。しかしながら、特許文献１に記載の技術では、対象となった１名のユーザの感情のみを考慮したコンテンツの出力を行うため、複数のユーザの感情を考慮したコンテンツの出力を行うことができず、出力されるコンテンツが複数のユーザに関心を持たれるものとは限らない。
【００３３】
そこで、本開示に記載の実施形態は、上記問題に鑑みてなされたものであり、複数のユーザの関心度を高めるコンテンツの決定を可能とする。
【００３４】
なお、以下本明細書において、最初に関心度が判定されるコンテンツを「第１のコンテンツ」、判定された関心度に基づいて表示が決定されるコンテンツを「第２のコンテンツ」、と称する。第１のコンテンツと第２のコンテンツとを区別する必要が無い場合は、単に「コンテンツ」と称する。
【００３５】
＜＜１．２．全体構成例＞＞
まず、図１を参照して、本実施形態に係る情報処理システム１の構成の一例について説明する。図１は、本実施形態に係る情報処理システム１の構成の一例について説明するための図である。情報処理システム１は、表示装置１００、サーバ２００、およびネットワーク３００を備える。
【００３６】
表示装置１００は、コンテンツをユーザに対し表示する装置である。表示装置１００は、ユーザに関する情報を取得し、当該情報をサーバ２００へ送信する。また、表示装置１００は、コンテンツの表示に関する情報を受信し、コンテンツをユーザへ表示する。なお、表示装置１００は、視覚情報を表示することでコンテンツをユーザへ提供するが、視覚情報に加えて音声情報を出力してもよい。
【００３７】
サーバ２００は、表示装置１００によるコンテンツの表示に係る決定を行う情報処理装置である。具体的には、サーバ２００は、表示装置１００から送信された情報に基づいて、第１のコンテンツに対するユーザの関心度を判定する。また、サーバ２００は、ユーザの関心度に基づいて、表示装置１００が表示する第２のコンテンツの種類や位置を決定する。サーバ２００は、第２のコンテンツの種類や位置などを示す情報を、表示装置１００へ送信する。
【００３８】
ネットワーク３００は、表示装置１００とサーバ２００とを接続する機能を有する。ネットワーク３００は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３００は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク３００は、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。
【００３９】
なお、図１では表示装置１００が１つ示されているが、情報処理システム１において表示装置１００は複数存在してもよい。サーバ２００は、情報処理システム１に表示装置１００が複数存在する場合、それぞれの表示装置１００によるコンテンツの表示に関する処理を実行してもよい。
【００４０】
＜＜１．３．機能構成例＞＞
［１．３．１．表示装置１００の機能構成例］
次に、図２を参照して、本実施形態に係る表示装置１００の機能構成の一例について説明する。図２は、本実施形態に係る表示装置１００の機能構成の一例について説明するための図である。表示装置１００は、制御部１１０、記憶部１２０、スピーカ１３０、表示部１４０、マイク１５０、操作部１６０、撮影部１７０、及び通信部１８０を備える。
【００４１】
制御部１１０は、表示装置１００の各構成を制御する。制御部１１０は、コンテンツ制御部１１２と、操作処理部１１４と、画像処理部１１６、及び情報処理部１１８とを有する。
【００４２】
コンテンツ制御部１１２は、コンテンツの制御処理を行う。具体的には、コンテンツ制御部１１２は、表示部１４０によるコンテンツの表示やスピーカ１３０からのコンテンツに関する音声情報の出力に関する制御を行う。
【００４３】
操作処理部１１４は、後述する操作部１６０から入力された操作に関する情報を、サーバ２００に送信する。また、操作処理部１１４は、操作に関する情報を記憶部１２０に格納する。また、操作処理部１１４は、ユーザによる操作部１６０を介した操作が示す位置に対応する表示部１４０上の位置を算出してもよい。そして、操作処理部１１４は、算出された座標と対応するオブジェクトがユーザにより操作されたと判定してもよい。
【００４４】
操作処理部１１４は、後述する表示部１４０が表示したコンテンツに対するフィードバックを受け付けてもよい。ここでいうフィードバックとは、コンテンツに対する感想に限らず、注文受付や関連する情報検索などもいう。操作処理部１１４が受け付けたフィードバックは、後述するサーバ２００による処理に用いられてもよい。
【００４５】
画像処理部１１６は、撮影部１７０から入力された画像情報の処理を行う。画像処理部１１６は、人物検出部１１６０、目検出部１１６２、視線検出部１１６４、及び心身状態検出部１１６６を有する。
【００４６】
人物検出部１１６０は、撮影部１７０から入力された画像からユーザに関する領域を検出する。人物検出部１１６０は、例えば、ユーザの身体を検出する。人物検出部１１６０は、ユーザの身体全体を検出してもよいし、例えば、顔等、身体の一部を検出してもよい。また、人物検出部１１６０は、例えば検出された生体情報に基づいて、ユーザを検出してもよい。
【００４７】
人物検出部１１６０は、例えば、顔領域を検出する場合、エッジ検出または形状パターン検出によって候補領域を抽出し、抽出された候補領域を小領域に分割し、各領域の特徴点を予め設定された顔領域パターンと照合してもよい。また、人物検出部１１６０は、例えば、各候補領域の色濃度が所定の閾値に対応する値である場合に胴体候補領域を抽出し、顔及び胴体候補領域の濃度または彩度のコントラストを用いて顔領域を抽出してもよい。人物検出部１１６０は、公知の画像処理技術を用いてユーザの身体の動きを検出してもよい。
【００４８】
また、人物検出部１１６０は、撮影部１７０から入力された画像からユーザに関する領域の検出に基づいて、ユーザの人数を検出してもよい。人物検出部１１６０が検出した各々のユーザは識別され、以後の処理が実行される。
【００４９】
他にも、人物検出部１１６０は、撮影部１７０から入力された画像からのユーザに関する領域を検出し、検出したユーザの属性を検出してもよい。ここで、ユーザの属性とは、それぞれのユーザが有する特徴や社会的関係、例えば、ユーザの性別や年齢層などをいう。また、人物検出部１１６０は、ユーザの属性として、ユーザ間の関係を取得してもよい。以上説明した人物検出部１１６０によるユーザの属性の検出処理は、公知の画像処理技術を用いて実行されることが可能である。
【００５０】
目検出部１１６２は、ユーザの目を検出するために用いられる。目検出部１１６２は、例えば人物検出部１１６０によって検出された顔領域の中から、目の白目部分を角膜反射の候補として検出し、また目の黒目部分を瞳孔の候補として検出する。
【００５１】
視線検出部１１６４は、ユーザの視線が表示部１４０のいずれの領域に視線が向いているかを検出する。視線検出部１１６４による視線の検出は、例えば、目検出部１１６２により検出された目頭の位置に対して、視点となる虹彩がどの位置にあるのかを判定することによって行われる。具体的には、左目の虹彩が目頭から離れていればユーザが表示部１４０の左側を見ていると判定し、左目の目頭と虹彩が近ければユーザが表示部１４０の右側を見ていると判定する。視線検出部１１６４が検出したユーザの視線が表示部１４０のいずれの領域に視線が向いているかを示す情報である視線情報は、後述する関心度判定部２２０による関心度の判定の際に使用される。他にも、視線検出部１１６４は、目検出部１１６２により検出された角膜反射の位置に対して、瞳孔がどの位置にあるのかを判定することにより、ユーザの視線を検出してもよい。
【００５２】
心身状態検出部１１６６は、ユーザの心身状態を検出し、検出結果を心身状態情報として取得する。具体的には、心身状態検出部１１６６は、例えば、ユーザの表情を検出し、検出した顔領域における目や口の位置の変化を測定し、予め設定された判定ルールと照合してユーザの表情を識別する。心身状態としては、例えば、関心、驚き、又は困惑等が挙げられる。
【００５３】
ここで、図３及び図４を参照して、ユーザの表情の識別方法について説明する。図３は、ユーザの顔画像から得られる複数の特徴点の例を示す図である。図４は、ニュートラルな表情と関心がある表情の関係を説明するための図である。
【００５４】
以下では、具体的な例として、ユーザの関心があるときの表情の特徴について説明する。しかし、他の表情、例えば困惑を示したときのユーザの表情も関心があるときの表情と同様に固有の特徴を有している。したがって、関心があるときの表情以外の表情は、それぞれの表情の固有の特徴に基づいて認識され得る。
【００５５】
図３は、ユーザＵの顔画像から得られる複数の特徴点の例を示す図である。図３に示すように、ユーザＵの顔画像から特徴点として、左眉Ｐ１〜Ｐ３、右眉Ｐ４〜Ｐ６、左目Ｐ７〜Ｐ１０、右目Ｐ１１〜Ｐ１４、口Ｐ１５〜Ｐ１８が検出される。
【００５６】
なお、図３では、特徴点として左眉および右眉から３点ずつ、左目、右目および口から４点ずつ認識される例について説明したが、特徴点の検出は係る例に限定されない。例えば、口では上唇と下唇とを分割して特徴点を検出したり、または、検出する特徴点の数を増加させたりしてもよい。
【００５７】
以下では、具体的な例として、ニュートラルな表情と比較した関心があるときの表情の特徴について説明する。しかし、他の表情も関心があるときの表情と同様に固有の特徴を有している。したがって、それぞれの表情は、固有の特徴に基づいて認識され得る。
【００５８】
図４は、ニュートラルな表情と関心があるときの表情の関係を説明するための図である。画像Ｆ１は、ユーザＵの表情がニュートラルな表情である場合に撮像された左眉毛画像（Ｐ１〜Ｐ３）と左目画像（Ｐ７〜Ｐ１０）である。一方、画像Ｆ２は、ユーザＵの表情が、関心があるときの表情である場合に撮像された左眉毛画像（Ｐ１〜Ｐ３）と左目画像（Ｐ７〜Ｐ１０）である。画像Ｆ１に写るニュートラルな表情と比較すると、画像Ｆ２に写る関心があるときの表情においては、眉毛と目の距離が長くなり（特に、眉毛の特徴点Ｐ１〜Ｐ３と目の上部の特徴点Ｐ７〜Ｐ９が変化しており）、目の開きが大きくなっている（特に、目の特徴点Ｐ８とＰ１０が変化している）。
【００５９】
この例に示したように、それぞれの表情は固有の特徴を有している。したがって、各特徴点の位置が決定されれば、その各特徴点の位置に対して、表情への近さを定義することが可能である。心身状態検出部１１６６は、左眉毛に関する特徴点Ｐ１〜Ｐ３および左目に関する特徴点Ｐ７〜Ｐ１０、右眉毛に関する特徴点Ｐ４〜Ｐ６および右目に関する特徴点Ｐ１１〜Ｐ１４、口に関する特徴点Ｐ１５〜Ｐ１８、それぞれの変化前位置と変化後位置とが、予め指定した閾値を超える場合に、ユーザＵの関心がある表情であると推定することが可能である。
【００６０】
なお、ユーザの心身状態の検出は、サーバ２００の関心度判定部２２０により実行されてもよく、心身状態検出部１１６６は、ユーザの顔画像から得られる複数の特徴点を検出し、検出した特徴点をサーバ２００へ提供してもよい。
【００６１】
また、心身状態検出部１１６６は、頭や手、関節の位置を特徴点として検出し、それぞれの特徴点において、検出した位置とニュートラル位置とを比較した差分を、動作推定データと比較することで、ユーザの動作やしぐさを推定してもよい。他にも、心身状態検出部１１６６は、撮影部１７０によりユーザの顔が所定以上の大きさで撮影された場合のみ、ユーザの顔の特徴点を検出してもよい。
【００６２】
再び、図２を参照して説明する。
【００６３】
情報処理部１１８は、取得された視線情報から、視線が向けられているコンテンツに関する情報を取得する。ここで言うコンテンツに関する情報とは、表示部１４０に出力された表示であり、例えば、表示部１４０に表示されたコンテンツのテキスト、図、表、映像情報等である。
【００６４】
図２に示す記憶部１２０は、表示装置１００の動作のためのプログラム及びデータを記憶する。記憶部１２０には、表示装置１００が、各種の処理を実施する際に利用する各種のプログラムやデータベース等が適宜記録されている。記憶部１２０には、画像処理部１１６が取得した各種の情報が履歴情報として記録されていてもよい。
【００６５】
更に、記憶部１２０には、例えば、画像処理部１１６がそれぞれの処理を行う際に、保存する必要が生じた様々な処理の途中経過等が適宜記録されてもよい。画像処理部１１６が実行する処理に限られず、表示装置１００が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。
【００６６】
この記憶部１２０は、コンテンツ制御部１１２、操作処理部１１４、画像処理部１１６、情報処理部１１８等が、自由にリード／ライト処理を実施することが可能である。記憶部１２０には、例えば、コンテンツ、視線情報、心身状態情報、ユーザ情報、操作情報等が格納されてもよい。
【００６７】
スピーカ１３０は、他の表示装置１００の音声情報を出力する。
【００６８】
表示部１４０は、コンテンツ制御部１１２の制御に基づいてコンテンツを表示する。具体的には、表示部１４０は、サーバ２００の後述するコンテンツ決定部２３０により決定された第２のコンテンツを、コンテンツ制御部１１２の制御に基づいて表示する。
【００６９】
ここで、図５を参照して、本実施形態に係る表示部１４０によるコンテンツの表示の一例について説明する。図５は、本実施形態に係る表示部１４０によるコンテンツの表示の一例について説明するための図である。図５では、表示装置１００並びに表示装置１００に備えられた表示部１４０および撮影部１７０が示されている。
【００７０】
図５に示されるように、表示部１４０は、複数のコンテンツをユーザに対し表示することができる。なお、図５において、ユーザＵ１〜Ｕ３は第１のコンテンツＣ５に視線を向けていて、撮影部１７０はユーザＵ１〜Ｕ３を撮影することができる。
【００７１】
マイク１５０は、表示装置１００への音声入力処理を行う。操作部１６０は、表示装置１００への入力処理を行う。操作部１６０は、ユーザによって入力された位置に対応する表示部１４０上の表示位置座標を算出する。なお、操作部１６０は、例えばタッチパネルやテンキーによる入力を受け付けてもよい。
【００７２】
撮影部１７０は、表示装置１００の周囲に存在するユーザを撮影する。具体的には、撮影部１７０は、表示装置１００を操作するユーザや表示装置１００の表示部１４０を見ることができるユーザを撮影する。撮影部１７０は、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラでユーザを撮影してもよい。
【００７３】
通信部１８０は、ネットワーク３００を介し、サーバ２００と種々の情報を送受信する。通信部１８０は、例えば、制御部１１０によるユーザの検出結果などをサーバ２００へ送信し、第２のコンテンツに関する情報をサーバ２００から受信する。
【００７４】
以上、表示装置１００の機能構成の一例について説明した。なお、視線検出部１１６４により取得された視線情報および心身状態検出部１１６６により取得された心身状態情報は、通信部１８０によりサーバ２００へ送信され、関心度判定部２２０による関心度の判定およびコンテンツ決定部２３０による第２のコンテンツの決定に使用される。
【００７５】
［１．３．２．サーバ２００の機能構成例］
次に、図６を参照して、本実施形態に係るサーバ２００の機能構成の一例について説明する。図６は、本実施形態に係るサーバ２００の機能構成の一例について説明するための図である。サーバ２００は、通信部２１０、関心度判定部２２０、コンテンツ決定部２３０、および記憶部２４０を備える。
【００７６】
通信部２１０は、ネットワーク３００を介して、表示装置１００と種々の情報の送受信を行う。通信部２１０は、例えば、表示装置１００から視線情報および心身状態情報を受信し、後述するコンテンツ決定部２３０が決定した第２のコンテンツの表示に係る情報を、表示装置１００へ送信する。
【００７７】
関心度判定部２２０は、ユーザの視線情報および心身状態情報に基づいて、表示部１４０に表示されたコンテンツに対するユーザの関心度を判定する。視線情報は、例えば、第１のコンテンツに視線を向けているか否かを示す情報である。なお、視線情報は、第１のコンテンツが複数存在する場合、いずれの第１のコンテンツに視線を向けているかを示す情報も含む。また、ここで、関心度とは、当該コンテンツに対し関心がある度合いをいう。
【００７８】
コンテンツ決定部２３０は、関心度判定部２２０が判定した表示されている第１のコンテンツに対する関心度に基づいて、次に表示する第２のコンテンツの表示に係る決定処理を実行する。ここで、第２のコンテンツの表示に係る決定処理とは、第２のコンテンツを表示するか否かを決定する処理や、第２のコンテンツの表示方法、いずれのコンテンツを第２のコンテンツとするかを決定する処理、などをいう。第２のコンテンツの表示方法は、例えば、第２のコンテンツの表示位置などを含む。
【００７９】
記憶部２４０は、サーバ２００の動作のためのプログラム及びデータを記憶する。記憶部２４０は、例えば、関心度判定部２２０による関心度の判定やコンテンツ決定部２３０による第２のコンテンツの表示に係る決定処理に用いられるプログラム及びデータを記憶する。
【００８０】
以下、サーバ２００の関心度判定部２２０およびコンテンツ決定部２３０の機能について説明していく。
【００８１】
コンテンツ決定部２３０は、関心度判定部２２０が判定した関心度により、ユーザが第１のコンテンツに対し関心が無いことが示される場合、当該ユーザを対象とした第２のコンテンツを決定してもよい。具体的には、コンテンツ決定部２３０は、第１のコンテンツに対し関心が無いユーザが関心を持ち得ると予想される第２のコンテンツの表示を決定してもよい。
【００８２】
また、コンテンツ決定部２３０は、関心度判定部２２０が判定した関心度に基づいて、記憶部２４０が有するコンテンツもしくはコンテンツの識別情報から、いずれのコンテンツを表示部１４０に表示させるか決定してもよい。例えば、コンテンツ決定部２３０は、関心度判定部２２０によりユーザが第１のコンテンツに対し関心が無いと示される場合、当該第１のコンテンツとは異なる分野に属する第２のコンテンツを決定してもよい。コンテンツ決定部２３０による第２のコンテンツの決定は、係る例に限定されない。
【００８３】
図７は、本実施形態に係る各特徴点の位置の管理例を示す説明図である。図７には、各特徴点の位置を管理するテーブルＴＡ１が示されている。テーブルＴＡ１に示したように、ニュートラルな表情における各特徴点の位置（ニュートラル位置）、および各特徴点の現在位置が管理される。心身状態検出部１１６６は、各特徴点のニュートラル位置と現在位置との差分の傾向を、表情推定用データと照合することにより、ユーザの表情を推定する。図８には、検出結果として、関心度がＬ１である例を示している。なお、心身状態検出部１１６６は、ユーザが表示装置１００を見始めた時のユーザの表情をニュートラルな表情として扱ってもよい。
【００８４】
ここで、関心度判定部２２０は、関心度を数値として算出し、算出した数値に基づいて、ユーザが表示コンテンツに対して関心があるか否かを判定してよい。具体的には、関心度判定部２２０は、心身状態情報に基づいて示される表情から関心度を数値として算出し、算出した関心度が、関心がある数値であるか否かを判定する。
【００８５】
以下、関心度判定部２２０が関心度を数値として算出した場合の例について説明する。図８は、本実施形態に係る関心度判定部２２０およびコンテンツ決定部２３０による第１のコンテンツに対する関心度の判定および第２のコンテンツの表示に係る決定処理の一例について説明するための図である。図８には、関心度の判定および対応する表示コンテンツの種類を示すテーブルＴＡ２が示されている。テーブルＴＡ２は、関心度の値、関心度の値に対応する最終的な関心度の判定結果、および対応する表示コンテンツの種類、を示す情報を有する。
【００８６】
以下、図８の一例について説明する。例えば、関心度が０から１０の間で変化するとき、関心度判定部２２０は、ユーザの第１のコンテンツに対する関心度が３である場合、テーブルＴＡ２を参照し、ユーザが第１のコンテンツに対し関心が無いと判定する。次に、コンテンツ決定部２３０は、テーブルＴＡ２を参照し、第１のコンテンツに対し関心が無いユーザに対し、第２のコンテンツを第１のコンテンツの周囲に表示することを決定する。一方で、関心度判定部２２０は、ユーザの第１のコンテンツに対する関心度が５である場合、テーブルＴＡ２を参照し、ユーザが第１のコンテンツに対し関心があるとも無いとも判断できない状態であると判定する。当該状態の場合、コンテンツ決定部２３０は、第２のコンテンツを第１のコンテンツの位置に表示することを決定する。
【００８７】
なお、図８の一例においては、関心度の判定を３つの段階に分けて説明したが、関心度の判定での段階分けは係る例に限定されない。
【００８８】
このように、関心度判定部２２０が第１のコンテンツに対するユーザの関心度を判定し、コンテンツ決定部２３０が第２のコンテンツの表示の有無および第２のコンテンツの表示位置を決定する機能を有する。係る機能によれば、ユーザの関心度に応じたコンテンツ表示処理を行うことが可能となる。
【００８９】
ところで、関心度判定部２２０は、人物検出部１１６０により複数のユーザが検出された場合、それぞれのユーザの関心度を判定する。コンテンツ決定部２３０は、関心度判定部２２０が判定したそれぞれのユーザの関心度に基づいて、第２のコンテンツの表示に係る決定処理を実行することができる。例えば、コンテンツ決定部２３０は、第１のコンテンツに対し関心が無いユーザの数に基づいて、第２のコンテンツの表示位置を決定してもよい。
【００９０】
ここで、図９を参照して、第１のコンテンツに対し関心が無いユーザの数に基づく第２のコンテンツの表示位置の決定例について説明する。図９は、本実施形態に係るコンテンツ決定部２３０による複数のユーザの関心度に基づく第２のコンテンツの表示に係る決定処理の一例について説明するための図である。図９には、第１のコンテンツに対する関心度が低いユーザの数に対応する、第２のコンテンツの表示位置を示すテーブルＴＡ３が示されている。
【００９１】
以下、図９の一例について説明する。コンテンツ決定部２３０は、関心度判定部２２０により第１のコンテンツに対する関心度が低いユーザが１人であることが示された場合、第２のコンテンツの表示位置を第１のコンテンツの下部と決定する。一方、コンテンツ決定部２３０は、関心度判定部２２０により第１のコンテンツに対する関心度が低いユーザが２人以上であると示された場合、第２のコンテンツの表示位置を第１のコンテンツの上下と決定する。
【００９２】
なお、図９において説明した関心度が低いユーザの数の判定基準は一例であって、当該判定基準は係る例に限定されない。また、コンテンツ決定部２３０が表示すると決定する第２のコンテンツは、１つでもよいし、２つ以上でもよい。上述した具体例において、コンテンツ決定部２３０は、第２のコンテンツの表示位置を第１のコンテンツの上下と決定し、当該第１のコンテンツの上下双方に第２のコンテンツを表示するように決定してもよい。
【００９３】
ところで、上記では、ユーザの視線情報および心身状態情報に基づいて関心度が判定される例について説明したが、関心度判定部２２０は、人物検出部１１６０が検出したユーザの属性を示す属性情報にさらに基づいて、第１のコンテンツに対する関心度を判定してもよい。具体的には、関心度判定部２２０は、判定した関心度に対し、属性情報に基づいて補正を加えてもよい。コンテンツ決定部２３０は、属性情報に基づいて補正された関心度により第２のコンテンツの表示に係る決定処理を行ってもよい。
【００９４】
また、コンテンツ決定部２３０は、属性情報に基づいて、複数のユーザのうち、所定の属性を有するユーザを第２のコンテンツの表示対象と決定し、表示対象のユーザの関心がある可能性がより高いコンテンツを第２のコンテンツとして決定してもよい。
【００９５】
例えば、関心度判定部２２０は、属性情報が優先度を含む場合、優先度に基づいて関心度を補正してもよい。ここで、優先度とは、第２のコンテンツの決定に際し、関心があるコンテンツを表示する対象として優先する度合いをいう。図１０は、本実施形態に係る関心度判定部２２０によるユーザの属性に基づく関心度の判定の一例について説明するための図である。図１０には、ユーザの所定の属性および対応する係数を示すテーブルＴＡ４およびＴＡ５が示されている。
【００９６】
以下、具体例について説明する。関心度判定部２２０は、人物検出部１１６０により複数のユーザが検出され、人物検出部１１６０が検出したユーザの属性を示す属性情報により当該複数のユーザが子連れの夫婦である場合、テーブルＴＡ４が示す属性に対応する値を、算出された各々の関心度の値に乗算もしくは除算を実行してもよい。
【００９７】
図１０に示される一例において説明する。テーブルＴＡ４には、夫の優先度が０．７、妻の優先度が１．０、子の優先度が２．０と示されている。また、テーブルＴＡ５には、年齢が１０代の優先度が１．５、年齢が２０代の優先度が１．２、年齢が３０代の優先度が１．０と示されている。このような優先度を用いて、関心度判定部２２０は、関心度を補正したり、またコンテンツ決定部２３０は第２のコンテンツを決定したりしてもよい。
【００９８】
なお、所定の属性を有するユーザについては、関心度の判定およびコンテンツの決定に際し、考慮しなくてもよい。例えば、関心度判定部２２０は、所定の属性を有するユーザの関心度を判定しなくてもよい。
【００９９】
コンテンツ決定部２３０が決定した第２のコンテンツの表示位置を示す情報は、表示装置１００へ送信され、表示部１４０による表示処理に使用される。図１１は、本実施形態に係る表示部１４０による第２のコンテンツの表示処理の一例について説明するための図である。図１１には、表示装置１００およびユーザＵ１、Ｕ２、Ｕ３が示されている。
【０１００】
図１１の一例について説明する。関心度判定部２２０により第１のコンテンツであるコンテンツＣ５に対して関心が無いユーザが複数存在することが示される場合に、コンテンツ決定部２３０は、第２のコンテンツの表示位置がコンテンツＣ５の上下双方であると決定している。表示部１４０は、コンテンツ決定部２３０によるコンテンツＣ５の上下双方への表示の決定に基づいて、第２のコンテンツとしてコンテンツＣ１０〜Ｃ１３を、コンテンツＣ５の上下に表示している。なお、コンテンツＣ１０〜Ｃ１５を第２のコンテンツとして表示することは、コンテンツ制御部１１２が決定してもよいし、コンテンツ決定部２３０が決定してもよい。
【０１０１】
ところで、例えば、複数のユーザが集団として表示装置１００を見ている場合、表示装置１００に表示されたコンテンツに対する反応として行動する場合、当該集団として行動する可能性が高い。そのため、関心度判定部２２０は、複数のユーザの関心度を、それぞれのユーザの関心度ではなく、集団の関心度として、単一の関心度を判定してもよい。集団の関心度の判定方法は、例えば、それぞれのユーザの関心度の平均を集団の関心度として判定する方法などが挙げられる。
【０１０２】
続いて、コンテンツ決定部２３０により決定された第２のコンテンツの表示位置に基づいて表示部１４０が第２のコンテンツを第１のコンテンツの位置に表示する例について説明する。図１２は、本実施形態に係る表示部１４０による第２のコンテンツの表示制御の一例について説明するための図である。図１２のＡには、第１のコンテンツＣ１〜Ｃ９を表示している表示装置１００が表示されていて、図１２のＢには、第１のコンテンツＣ１〜Ｃ４、Ｃ６〜Ｃ９および第２のコンテンツＣ１１を表示している表示装置１００が示されている。
【０１０３】
図１２の一例について説明する。図１２のＡにおいて、関心度判定部２２０により第１のコンテンツＣ５に対して関心が無いユーザが複数存在する場合に、コンテンツ決定部２３０が第２のコンテンツを第１のコンテンツＣ５の上下双方に表示することを決定している。図１２のＢにおいて、表示部１４０は、第１のコンテンツＣ５の上下双方に表示することを示す情報に基づいて、第２のコンテンツとしてコンテンツＣ１０〜Ｃ１３を第１のコンテンツＣ５の上下に表示している。
【０１０４】
このように、表示部１４０は、コンテンツ決定部２３０による決定処理に基づいて柔軟にコンテンツを表示する機能を有する。係る機能によれば、複数のユーザの関心度に応じた表示を行うことが可能となる。
【０１０５】
なお、表示部１４０によるコンテンツの表示方法は、係る例に限定されない。例えば、表示部１４０は、コンテンツを、表示画面上を移動させながら表示させてもよい。
【０１０６】
＜＜１．４．動作例＞＞
続いて、表示装置１００およびサーバ２００による動作の流れの一例について説明する。図１３Ａおよび図１３Ｂは、本実施形態に係る表示装置１００およびサーバ２００による動作の流れの一例について説明するための図である。
【０１０７】
図１３Ａを参照すると、まず、表示装置１００が人体センサ等によりユーザを検知すると、撮影部１７０が撮影処理を実行する（Ｓ１０２）。次に、人物検出部１１６０がステップＳ１０２で取得された撮像画像からユーザ（人物）に関する領域を検出する（Ｓ１０４）。
【０１０８】
次に、目検出部１１６２は、ステップＳ１０４で検出されたユーザのうち、関心度の判定が終了していないユーザに関する領域のうちユーザの顔から目領域を検出する（Ｓ１０６）。次に、視線検出部１１６４は、ステップＳ１０６で検出された目領域から、視線情報としてユーザの視線が表示部１４０のいずれの領域に向いているかを検出する（Ｓ１０８）。
【０１０９】
次に、心身状態検出部１１６６は、ステップＳ１０４で検出されたユーザの顔や胴体の特徴点から心身状態情報として表情や動作、しぐさなどを判定する（Ｓ１１０）。次に、関心度判定部２２０は、ステップＳ１０８で検出された視線情報およびステップＳ１１０で判定された心身状態情報に基づいて第１のコンテンツに対する関心度を判定する（Ｓ１１２）。
【０１１０】
ステップＳ１０４で検出されたユーザ全ての関心度の判定が終了していない場合（Ｓ１１４：Ｎｏ）、ステップＳ１０６へ復帰する。ステップＳ１０４で検出されたユーザ全ての関心度の判定が終了している場合（Ｓ１１４：Ｙｅｓ）、関心度判定部２２０は関心度を判定したユーザのうち、それぞれの第１のコンテンツを見ているユーザの関心度を判定する（Ｓ１１６）。
【０１１１】
ステップＳ１１６で判定された関心度が全て高い（第１のコンテンツに対し関心を持っている）場合（Ｓ１１８：Ｙｅｓ）、ステップＳ１０６へ復帰する。なお、ステップＳ１１８では、ステップＳ１１６で判定された関心度が高い場合に、ステップＳ１０２へ復帰して新たにユーザの撮影を行ってもよい。
【０１１２】
ステップＳ１１６で関心度が低い（第１のコンテンツに対し関心が無い）と判定されたユーザが存在する場合（Ｓ１１８：Ｎｏ）、コンテンツ決定部２３０は第２のコンテンツの表示位置を決定する（Ｓ１２０）。次に、表示部１４０はステップＳ１２０で決定された表示位置に第２のコンテンツを表示する（Ｓ１２２）。
【０１１３】
次に、図１３Ｂを参照すると、目検出部１１６２は、ステップＳ１０４で検出されたユーザのうち、ステップＳ１２２で第２のコンテンツが表示された後に関心度の判定が終了していないユーザに関する領域のうちユーザの顔から目領域を検出する（Ｓ１２４）。次に、視線検出部１１６４は、ステップＳ１２４で検出された目領域から、視線情報としてユーザの視線が表示部１４０のいずれの領域に向いているかを検出する（Ｓ１２６）。
【０１１４】
次に、心身状態検出部１１６６は、ステップＳ１０４で検出されたユーザの顔や胴体の特徴点から心身状態情報として表情や動作、しぐさなどを判定する（Ｓ１２８）。次に、関心度判定部２２０は、ステップＳ１０８で検出された視線情報およびステップＳ１１０で判定された心身状態情報に基づいて第２のコンテンツに対する関心度を判定する（Ｓ１３０）。
【０１１５】
ステップＳ１０４で検出されたユーザ全ての関心度の判定が終了していない場合（Ｓ１３２：Ｎｏ）、ステップＳ１２４へ復帰する。ステップＳ１２４で検出されたユーザ全ての関心度の判定が終了している場合（Ｓ１３２：Ｙｅｓ）、第２のコンテンツのうち関心度が最も高い第２のコンテンツを第１のコンテンツとして表示し（Ｓ１３４）、情報処理システム１は動作を終了する。
【０１１６】
なお、ステップＳ１１８において、第１のコンテンツに対する関心度が高いユーザが存在する場合でも、第２のコンテンツの表示を決定してもよく、ステップＳ１２０へ進んでよい。また上述した各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１１７】
また、ステップＳ１３０において、視線情報により第２のコンテンツに視線を向けていないユーザが存在する場合、関心度判定部２２０は当該ユーザの関心度を判定しなくてもよく、当該ユーザに関する処理が完了したものとして扱ってよい。
【０１１８】
＜２．変形例＞
次に、本開示の実施形態に係る変形例について説明する。
【０１１９】
＜＜２．１．変形例１＞＞
図１３Ｂでは、表示部１４０が第２のコンテンツを表示した後、関心度判定部２２０が第２のコンテンツに対する関心度を判定し、関心度が最も高い第２のコンテンツを第１のコンテンツとして表示される動作の流れの一例について説明した。ここで、第２のコンテンツの表示方法、例えば動画や静止画、は指定されていない。
【０１２０】
しかしながら、ユーザが第２のコンテンツに関心があるとも無いとも判断できない場合などにおいて、第２のコンテンツを動画で表示し、ユーザに対し第２のコンテンツに関してより詳細に情報を提供することで、ユーザの関心度が高まる可能性があると予想される。
【０１２１】
そのため、コンテンツ決定部２３０は、ユーザの第２のコンテンツに対する視線の滞在時間に基づいて、第２のコンテンツを表示する方法を変更してよい。具体的には、コンテンツ決定部２３０は、ユーザが第２のコンテンツに視線を向けている時間に基づいて、第２のコンテンツを動画で表示するか、または静止画で表示するかを決定してよい。
【０１２２】
図１４を参照して、本開示の変形例に係るコンテンツ決定部２３０による、視線滞在時間に対応する表示メディアの決定処理の一例について説明する。図１４は、本開示の変形例に係るコンテンツ決定部２３０による、視線の滞在時間に対応する表示メディアの決定処理の一例について説明するための図である。図１４には、視線の滞在時間に対応する表示メディアを示すテーブルＴＡ６が示されている。
【０１２３】
図１４の一例について説明する。コンテンツ決定部２３０は、視線検出部１１６４によりユーザが第２のコンテンツを２秒未満だけ見ていたことが検出された場合、テーブルＴＡ６を参照し、第２のコンテンツを静止画で表示する。一方、コンテンツ決定部２３０は、視線検出部１１６４によりユーザが第２のコンテンツを２秒以上見ていることが検出された場合、テーブルＴＡ６を参照し、第２のコンテンツを動画で表示する。
【０１２４】
続いて、コンテンツ決定部２３０による視線滞在時間に対応する表示メディアの決定処理を行う場合の表示装置１００およびサーバ２００による動作の流れの一例について説明する。図１５Ａおよび図１５Ｂは、本開示の変形例における表示装置１００およびサーバ２００による動作の流れの一例について説明するための図である。
【０１２５】
図１５Ａにおいて、ステップＳ２０２〜Ｓ２２２は、図１３ＡにおけるステップＳ１０２〜Ｓ１２２と同様である。図１５Ｂにおいて、ステップＳ２２４〜Ｓ２３２は、図１３ＢにおけるステップＳ１２４〜Ｓ１３２と同様である。次に、ユーザが第２のコンテンツを見ている時間が２秒未満である場合（Ｓ２３４：Ｎｏ）、コンテンツ決定部２３０は第２のコンテンツを静止画で表示することを決定し、表示部１４０は第２のコンテンツを静止画で表示する（Ｓ２３８）。一方、ユーザが第２のコンテンツを見ている時間が２秒以上である場合（Ｓ２３４：Ｙｅｓ）、コンテンツ決定部２３０は第２のコンテンツを動画で表示することを決定し、表示部１４０は第２のコンテンツを動画で表示する（Ｓ２３６）。
【０１２６】
このように、コンテンツ決定部２３０は、ユーザの第２のコンテンツに対する視線の滞在時間に応じてコンテンツを提供する機能を有する。係る機能によれば、ユーザが第２のコンテンツに対し関心を持つ可能性を高めることが可能となる。
【０１２７】
なお、上記では、表示メディアが変化する境界が、視線の滞在時間が２秒以上である場合ついて説明したが、表示メディアが変化する境界の時間は係る例に限定されない。
【０１２８】
＜＜２．２．変形例２＞＞
上記では、関心度判定部２２０およびコンテンツ決定部２３０の機能は、サーバ２００が有していたが、表示装置１００が関心度判定部２２０およびコンテンツ決定部２３０の機能を有していてもよい。すなわち、ユーザの視線情報および心身状態情報の取得、並びに、関心度の判定および第２のコンテンツの決定が単一の情報処理装置により行われてもよい。
【０１２９】
以下、本開示の変形例における表示装置４００の機能構成の一例について説明する。図１６は、本開示の変形例における表示装置４００の機能構成の一例について説明するための図である。表示装置４００は、図２に示された表示装置１００の機能構成と同様の構成並びに、図３に示されるサーバ２００の関心度判定部２２０およびコンテンツ決定部２３０に対応する関心度判定部４１３、コンテンツ決定部４１５を備える。
【０１３０】
このように、表示装置１００およびサーバ２００の双方の機能を単一の装置に備えることで、表示するコンテンツを決定する処理までの時間を短縮し、よりリアルタイムなコンテンツの表示切り替えが可能となる。
【０１３１】
＜３．ハードウェア構成例＞
次に、本発明の一実施形態に係る表示装置１００およびサーバ２００に共通するハードウェア構成例について説明する。図１７は、本発明の一実施形態に係る各構成のハードウェア構成例を示すブロック図である。図１７を参照すると、表示装置１００およびサーバ２００は、例えば、ＣＰＵ３７１と、ＲＯＭ３７２と、ＲＡＭ３７３と、ホストバス３７４と、ブリッジ３７５と、外部バス３７６と、インターフェース３７７と、入力部３７８と、出力部３７９と、記憶部３８０と、ドライブ３８１と、接続ポート３８２と、通信部３８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【０１３２】
（ＣＰＵ３７１）
ＣＰＵ３７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ３７２、ＲＡＭ３７３、記憶部３８０、又はリムーバブル記録媒体５０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【０１３３】
（ＲＯＭ３７２、ＲＡＭ３７３）
ＲＯＭ３７２は、ＣＰＵ３７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ３７３には、例えば、ＣＰＵ３７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１３４】
これら、ＣＰＵ３７１やＲＯＭ３７２、ＲＡＭ３７３とソフトウェアとの協働により表示装置１００の制御部１１０および表示部１４０、サーバ２００の関心度判定部２２０およびコンテンツ決定部２３０の機能が実現される。
【０１３５】
（ホストバス３７４、ブリッジ３７５、外部バス３７６、インターフェース３７７）
ＣＰＵ３７１、ＲＯＭ３７２、ＲＡＭ３７３は、例えば、高速なデータ伝送が可能なホストバス３７４を介して相互に接続される。一方、ホストバス３７４は、例えば、ブリッジ３７５を介して比較的データ伝送速度が低速な外部バス３７６に接続される。また、外部バス３７６は、インターフェース３７７を介して種々の構成要素と接続される。
【０１３６】
（入力部３７８）
入力部３７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、マイク、及びレバー等が用いられる。さらに、入力部３７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。入力部３７８とソフトウェアとの協働により表示装置１００のマイク１５０、操作部１６０および撮影部１７０の機能が実現される。
【０１３７】
（出力部３７９）
出力部３７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置（表示装置）、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。出力部３７９とソフトウェアとの協働により表示装置１００のスピーカ１３０および表示部１４０の機能が実現される。
【０１３８】
（記憶部３８０）
記憶部３８０は、各種のデータを格納するための装置である。記憶部３８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【０１３９】
（ドライブ３８１）
ドライブ３８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体５０１に記録された情報を読み出し、又はリムーバブル記録媒体５０１に情報を書き込む装置である。
【０１４０】
（リムーバブル記録媒体５０１）
リムーバブル記録媒体５０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体５０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【０１４１】
（接続ポート３８２）
接続ポート３８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器５０２を接続するためのポートである。
【０１４２】
（外部接続機器５０２）
外部接続機器５０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１４３】
（通信部３８３）
通信部３８３は、ネットワーク５０３に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、内線電話網や携帯電話事業者網等の電話網に接続してもよい。通信部３８３とソフトウェアとの協働により表示装置１００の通信部１８０およびサーバ２００の通信部２１０の機能が実現される。
【０１４４】
＜４．まとめ＞
以上説明したように、本開示の実施形態に係る情報処理システム１は、複数のユーザが関心を持つことができるようなコンテンツを表示することが可能となる。
【０１４５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１４６】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【符号の説明】
【０１４７】
１００    表示装置
１１０    制御部
１１２    コンテンツ制御部
１１４    操作処理部
１１６    画像処理部
１１６０  人物検出部
１１６２  目検出部
１１６４  視線検出部
１１６６  心身状態検出部
１１８    情報処理部
１２０    記憶部
１３０    スピーカ
１４０    表示部
１５０    マイク
１６０    操作部
１７０    撮影部
１８０    通信部
２００    サーバ
２１０    通信部
２２０    関心度判定部
２３０    コンテンツ決定部
２４０    記憶部
３００    ネットワーク
【図１】
2020113075.tif 000003
【図２】
2020113075.tif 000004
【図３】
2020113075.tif 000005
【図４】
2020113075.tif 000006
【図５】
2020113075.tif 000007
【図６】
2020113075.tif 000008
【図７】
2020113075.tif 000009
【図８】
2020113075.tif 000010
【図９】
2020113075.tif 000011
【図１０】
2020113075.tif 000012
【図１１】
2020113075.tif 000013
【図１２】
2020113075.tif 000014
【図１３Ａ】
2020113075.tif 000015
【図１３Ｂ】
2020113075.tif 000016
【図１４】
2020113075.tif 000017
【図１５Ａ】
2020113075.tif 000018
【図１５Ｂ】
2020113075.tif 000019
【図１６】
2020113075.tif 000020
【図１７】
2020113075.tif 000021