(57)【要約】【課題】ユーザの視聴状況に応じたコンテンツの提案行動ができるようにする。【解決手段】視聴状況推定部１６は、視線検出部１５からの視線情報と、誘目度ＤＢ１２からの誘目度情報とを比較することで、ユーザＵの視聴状況を推定し、その推定結果に基づいて視聴状態を推定する。推定結果は視聴状態変数Ｓとしてコンテンツ提案部１７に提供される。コンテンツ提案部１７は、視聴状況推定部１６からの視聴状態変数ＳとコンテンツＤＢ１１に格納された各コンテンツを用いて、ユーザＵに適切なコンテンツに対する各種の提案を行う。本発明は、例えば、コンテンツ推薦システムに適用できる。【選択図】図２
2010154395.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを視聴している視聴者の目線を検出し、その検出結果である視線情報を出力する視線検出手段と、
前記視線検出手段から出力された前記視線情報と、前記コンテンツに関する誘目度情報とを用いて、前記視聴者の視聴状況を推定する視聴状況推定手段と、
前記視聴状況推定手段により推定された前記視聴状況に応じて、前記コンテンツに対する各種提案を前記視聴者におこなうコンテンツ提案手段と
を備える情報処理装置。
【請求項２】
前記視聴状況推定手段は、さらに、前記視聴者の視聴状況の推定結果に基づいて視聴状態を推定し、
前記コンテンツ提案手段は、前記視聴状況推定手段により推定された前記視聴状態に応じて、前記コンテンツに対する各種提案を前記視聴者におこなう
請求項１に記載の情報処理装置。
【請求項３】
前記視聴者の視聴状況を示す視聴状況変数が定義されており、前記視聴状況変数が取り得る複数の範囲のそれぞれに対して、所定種類の視聴状態がそれぞれ対応付けられており、
前記視聴状況推定手段は、前記視聴状況変数の値を演算することで前記視聴状況を推定し、前記複数の範囲のうち、前記視聴状況変数の値が属する範囲に対応付けられた種類の視聴状態を特定することで、前記視聴状態を推定する
請求項２に記載の情報処理装置。
【請求項４】
複数の種類の前記視聴状態のそれぞれに対して、所定種類の提案行動が対応付けられており、
前記コンテンツ提案手段は、前記視聴状況推定手段により特定された種類の前記視聴状態に対して、対応付けられた種類の提案行動に従った提案を前記視聴者におこなう
請求項３に記載の情報処理装置。
【請求項５】
前記視聴者の目線が位置する領域の前記誘目度の大きさに応じて可変するスコアが定義されており、
前記視聴状況推定手段は、所定時間を周期として、毎周期、前記視線検出手段から直前に出力された前記視線情報と前記コンテンツに関する誘目度情報とを用いて前記スコアを演算し、現周期までの各回の前記スコアを用いて前記視聴状況変数の値を演算する
請求項３に記載の情報処理装置。
【請求項６】
情報処理装置が、
コンテンツを視聴している視聴者の目線を検出し、その検出結果である視線情報を出力し、
出力された前記視線情報と、前記コンテンツに関する誘目度情報とを用いて、前記視聴者の視聴状況を推定し、
推定された前記視聴状況に応じて、前記コンテンツに対する各種提案を前記視聴者におこなう
ステップを含む情報処理方法。
【請求項７】
コンピュータに、
コンテンツを視聴している視聴者の目線を検出し、その検出結果である視線情報を出力し、
出力された前記視線情報と、前記コンテンツに関する誘目度情報とを用いて、前記視聴者の視聴状況を推定し、
推定された前記視聴状況に応じて、前記コンテンツに対する各種提案を前記視聴者におこなう
ステップを含む制御処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、ユーザのコンテンツの視聴状況に応じてコンテンツに関する各種提案ができるようになった情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
インターネットやケーブルテレビの普及、コンテンツ産業の拡大に伴い、日常生活の様々なシーンに於いて大量の情報やコンテンツの中から、個々のユーザの嗜好やその場の状況に適した情報の提示やコンテンツの提供をすることが重要となってきている。このような課題に対して、従来より様々な手法が実施されてきている。
【０００３】
従来、協調フィルタリング(Collaborative Filtering)と称される技術が存在する（非特許文献１）。協調フィルタリングでは、複数のユーザの購買履歴や行動履歴をもとに、対象のユーザと似た反応を示す他のユーザが特定される。そして、特定された他のユーザの履歴に基づいて、対象のユーザにとって未経験の商品が推薦される。
【０００４】
これにより、対象のユーザは、未購買の商品の推薦を受けたりすることができる。特に、対象のユーザは、自分と似た反応を示す他のユーザによって購入されたり高い評価がなされた商品の推薦を受けたりすることができる。
【０００５】
このように、協調フィルタリングによる商品の推薦は、その商品を購買するか否かといったユーザの意思決定に対しては効果的である。
【０００６】
【非特許文献１】P. Resnick, N. Iacovou, M. Suchak, P. Bergstrom, and J. Riedl. “GroupLens?: Open Architecture for Collaborative Filtering of Netnews.” Conference on Computer Supported Cooperative Work, pp. 175-186, 1994
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、協調フィルタリングをコンテンツの推薦に適用した場合、必ずしも効果的とはいえない。なぜならば、コンテンツは、一定時間以上ユーザに使用され続けるものであり、その一定時間の間、ユーザの反応が時系列的に変化するからである。
【０００８】
例えば、協調フィルタリングによるコンテンツの推薦では、推薦対象のコンテンツを選択するときの基準として、他のユーザの反応が採用される。ところが、他のユーザの反応といっても、「好き」、「どちらでもない」、「嫌い」といったような、コンテンツに対する最終的な反応だけが採用されているに過ぎない。即ち、協調フィルタリングによるコンテンツの推薦では、そのコンテンツのどの部分が好きか、どの部分が嫌いかといったような、コンテンツの最終的な反応に至る経緯については何等考慮されていない。
【０００９】
ユーザは、コンテンツに対する好き嫌いを意識的に評価することはできる。しかし、具体的に、ユーザがどのように感じているから「好きである」または「嫌いである」ということを言語化することは難しい。
【００１０】
ユーザの感情を推定し、推定した感情と同じ感情を、過去にユーザが示したコンテンツを検索して推薦することも考えられる。しかし、この場合、ユーザが興味を持つであろうと考えられる未知のコンテンツを特定し、推薦することはできない。また、コンテンツに対してあまり表出をしないユーザもいることから、このようなユーザに対しては感情を推定することは難しい。
【００１１】
したがって、ユーザの視聴状況に応じたコンテンツの提案ができていない状況であった。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、ユーザの視聴状況に応じてコンテンツに関する各種提案ができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の情報処理装置は、コンテンツを視聴している視聴者の目線を検出し、その検出結果である視線情報を出力する視線検出手段と、前記視線検出手段から出力された前記視線情報と、前記コンテンツに関する誘目度情報とを用いて、前記視聴者の視聴状況を推定する視聴状況推定手段と、前記視聴状況推定手段により推定された前記視聴状況に応じて、前記コンテンツに対する各種提案を前記視聴者におこなうコンテンツ提案手段とを備える。
【００１４】
前記視聴状況推定手段は、さらに、前記視聴者の視聴状況の推定結果に基づいて視聴状態を推定し、前記コンテンツ提案手段は、前記視聴状況推定手段により推定された前記視聴状態に応じて、前記コンテンツに対する各種提案を前記視聴者におこなう。
【００１５】
前記視聴者の視聴状況を示す視聴状況変数が定義されており、前記視聴状況変数が取り得る複数の範囲のそれぞれに対して、所定種類の視聴状態がそれぞれ対応付けられており、前記視聴状況推定手段は、前記視聴状況変数の値を演算することで前記視聴状況を推定し、前記複数の範囲のうち、前記視聴状況変数の値が属する範囲に対応付けられた種類の視聴状態を特定することで、前記視聴状態を推定する。
【００１６】
複数の種類の前記視聴状態のそれぞれに対して、所定種類の提案行動が対応付けられており、前記コンテンツ提案手段は、前記視聴状況推定手段により特定された種類の前記視聴状態に対して、対応付けられた種類の提案行動に従った提案を前記視聴者におこなう。
【００１７】
前記視聴者の目線が位置する領域の前記誘目度の大きさに応じて可変するスコアが定義されており、前記視聴状況推定手段は、所定時間を周期として、毎周期、前記視線検出手段から直前に出力された前記視線情報と前記コンテンツに関する誘目度情報とを用いて前記スコアを演算し、現周期までの各回の前記スコアを用いて前記視聴状況変数の値を演算する。
【００１８】
本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の情報処理装置に対応する。
【００１９】
本発明の一側面の情報処理装置および方法並びにプログラムにおいては、コンテンツを視聴している視聴者の目線が検出され、その検出結果である視線情報が出力され、出力された前記視線情報と、前記コンテンツに関する誘目度情報とを用いて、前記視聴者の視聴状況が推定され、推定された前記視聴状況に応じて、前記コンテンツに対する各種提案が前記視聴者におこなわれる。
【発明の効果】
【００２０】
本発明によれば、ユーザのコンテンツの視聴状況に応じてコンテンツに関する各種提案をすることができる。
【発明を実施するための最良の形態】
【００２１】
本発明は、ユーザのコンテンツの視聴状況に応じてコンテンツに関する各種提案をすることができる。
【００２２】
ここに、コンテンツとは、広く、人間の創造的活動により生み出されるものをいい、このようなコンテンツ全体に対して本発明は適用可能である。
【００２３】
例えば、映画、音楽、演劇、文芸、写真、漫画、アニメーション、コンピュータゲームその他の文字、図形、色彩、音声、動作若しくは映像若しくはこれらを組み合わせたもの又はこれらに係る情報を電子計算機を介して提供するためのプログラムが、コンテンツの一例であり、何れも本発明に適用可能である。
【００２４】
ただし、以下、本発明の理解を容易なものとすべく適宜、コンテンツとして、テレビジョン放送番組や、DVD（Digital Versatile Disk）などに記録された映画が採用された場合を想定した説明を行っていく。
【００２５】
また、本発明は、コンテンツに関する各種提案をするときに、誘目度を利用することができる。
【００２６】
ここに、誘目度とは、英語表記ではVisual Attentionと記載されるものであり、画像内の各領域における人の目を引く度合い、即ち、画像内の各領域における視線が集中する度合いをいう。
【００２７】
即ち、人は自分の目の前に広がっている空間のうち、前方１８０度の空間を一度に知覚していると考えがちである。しかしながら、実際には、人の中心視野は４乃至１０度程度しかない。従って、人は、意識的もしくは無意識的に目を細かく動かすことによって、前方１８０度の空間全体を知覚している。例えば、人は、テレビジョン受像機の画面（以下、テレビ画面と称する）を見ている場合にも、映し出される映像に応じて、その視線をテレビ画面上で高速に移動させている。また、与えられた視覚刺激に対して、人が見る領域は決してランダムではなく、ある程度反復性があることが知られている。よって、画像の全領域が一律に人の目を引くわけではなく、画像内の各領域毎に人の目の引き度合はまちまちとなる。
【００２８】
図１は、人の目の引く度合いの違いを説明する図である。
【００２９】
例えば、図１のＡに示される静止画像を複数の人に見せたとき、複数の人の視線が最も集中した領域は、図１のＢに示されるように、緑色のスポーツカーに乗った人が含まれる領域Ｔ１であった。領域Ｔ１に続いて、複数の人の視線が集中した領域は、領域Ｔ１の周辺の領域Ｔ２、建物等が含まれる領域Ｔ３、山の頂上が含まれる領域Ｔ４，Ｔ５であった。そして、その他の領域に対しては、複数の人の視線がいくことはほとんどなかった。
【００３０】
このように、同一画像であっても、人の視線が集中する領域と、そうでない領域が存在することがわかる。そこで、本発明では、画像内の各領域における視線が集中する度合い、即ち、画像内の各領域における人の目を引く度合いを誘目度として定義し、この誘目度を利用してコンテンツに関する各種提案をするのである。
【００３１】
具体的には例えば、図１のＢの例でいえば、領域Ｔ１に対しては高い値の誘目度Ｖ1を割り当て、領域Ｔ２乃至Ｔ５のそれぞれに対しては、中程度の値の誘目度Ｖ2を割り当て、それ以外の領域に対しては、低い値の誘目度Ｖ3を割り当てることができる。このような誘目度Ｖ1乃至Ｖ3のように、領域毎に異なる誘目度を利用することで、ユーザの視聴状況に応じて、コンテンツに関する各種提案をすることができるようになるのである。
【００３２】
以下、図２以降の図面を参照して、このような誘目度を利用する本発明の実施の形態を説明していく。
【００３３】
＜本発明の実施の形態＞
［コンテンツ提案システム１の構成例］
図２は、本発明を適用した情報処理システムの一実施の形態としてのコンテンツ提案システム１の機能的構成例を示す機能ブロック図である。
【００３４】
コンテンツ提案システム１は、コンテンツＤＢ（Data base）１１、誘目度ＤＢ１２、誘目度推定部１３、誘目度ラベリング部１４、視線検出部１５、視聴状況推定部１６、コンテンツ提案部１７および映像表示部１８から構成されている。
【００３５】
なお、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。即ち、コンテンツ提案システム１は、１台の装置で構成してもよいし、複数の装置で構成してもよい。また、図２に限らず全ての機能ブロック図において、各機能ブロックは、ソフトウエアで構成してもよいし、ハードウエアで構成してもよいし、或いは、ソフトウエアとハードウエアの組合せで構成してもよい。
【００３６】
コンテンツＤＢ１１には、１以上のコンテンツが格納されている。各コンテンツには、映像情報とともに放送日時、タイトル、出演者などのコンテンツに関する情報（以下、メタデータと称する）が付加されている。これらの各コンテンツは、誘目度ＤＢ１２、誘目度推定部１３、誘目度ラベリング部１４またはコンテンツ提案部１７からの要求に応じて出力される。なお、必要に応じて、コンテンツの全てではなく、その一部、例えば、メタデータのみが、コンテンツＤＢ１１から出力される。
【００３７】
誘目度ＤＢ１２には、コンテンツＤＢ１１に格納された各コンテンツのそれぞれについての、各時間毎の誘目度を示す情報（以下、誘目度情報と称する）が格納されている。例えば本実施の形態では、各コンテンツの映像情報は、複数のフレームから構成されているとする。この場合、各フレーム毎に、誘目度情報が誘目度ＤＢ１２に格納されているとする。より具体的には例えば、各フレームを構成する各画素のそれぞれに対して、０乃至１の誘目度が付されているとする。この場合、所定フレームの誘目度情報とは、各画素毎の誘目度をそれぞれ示す各値（０乃至１）の集合体となる。ここで、各画素毎の誘目度をそれぞれ示す各値を画素値と把握することで、各画素値から構成される画像データ（以下、誘目度画像データと称する）を、誘目度情報として採用することができる。即ち、本実施形態では、この誘目度画像データが、対応するフレームの誘目度情報として採用されているとする。
【００３８】
この場合、例えば、誘目度画像データが、０を白として１を黒とする白黒画像の画像データの場合、誘目度が高い領域程黒くなり、逆に誘目度が低い領域程白くなる。具体的には例えば、対応するフレームのうち、主人公やメインのキャストの顔、発話者の顔を含む領域等は誘目度が高くなるため黒に近づき、逆にストーリーと関係のない出演者や背景を含む領域等は誘目度が低くなるため白に近づく。
【００３９】
図３を参照して、誘目度についてさらに説明する。
【００４０】
図３は、誘目度を説明する図である。図３のＡはコンテンツを構成する映像情報のうち所定の１フレームの表示例を示している。図３のＢは、図３のＡのフレームに対する誘目度情報、即ち、誘目度画像データの表示例を示している。なお、本発明の理解を容易なものとすべく、図３のＡのフレームの表示例としては、図１のＡの静止画像と同一画像が採用されている。
【００４１】
図３のＢの誘目度情報の表示例では、図１のＢを用いて上述した如く、領域Ｔ１は、高い値（例えば１）の誘目度Ｖ1が割り当てられるため、黒く表示されている。領域Ｔ２乃至Ｔ５は、中程度の値（例えば0.5）の誘目度Ｖ2が割り当てられるため、灰色で表示されている。また、それ以外の領域は、低い値（例えば0）の誘目度Ｖ3が割り当てられるため、白色で表示されている。
【００４２】
なお、図３のＢの表示例は、所定の1フレームについての誘目度情報の例示であって、当然ながら、別のフレームであれば図３のＢとは異なる誘目度情報となる。即ち、空間的に同一領域であっても、時間の経過により、誘目度は刻々と変化していく。換言すると、フレーム内の誘目度の分布は、シーンの移り変わりに伴って時間の経過とともに変化することになる。
【００４３】
また、誘目度情報の生成手法も特に限定されない。例えば、図２の誘目度推定部１３によって割り当てた誘目度に基づいて誘目度情報を生成する手法を採用することができる。
【００４４】
具体的には、誘目度推定部１３は、コンテンツＤＢ１１から所定コンテンツを取得する。誘目度推定部１３は、その所定コンテンツを構成する各フレームの特徴をそれぞれ解析することによって、各フレーム毎（各時間毎）に、各領域の誘目度を推定して割り当てる。これにより、各フレーム毎の誘目度情報、本実施の形態では各フレームにそれぞれ対応する各誘目度画像データが生成される。そこで、誘目度推定部１３は、各フレーム毎の誘目度情報の集合体を、所定コンテンツの誘目度情報として誘目度ＤＢ１２に格納する。即ち、本実施の形態では、各フレームにそれぞれ対応する各誘目度画像データからなる動画像データが、所定コンテンツの誘目度情報として誘目度ＤＢ１２に格納される。コンテンツＤＢ１１に格納されている全てのコンテンツに対して、以上の誘目度推定部１３による一連の処理が施されることで、全てのコンテンツの誘目度情報が生成されて誘目度ＤＢ１２に格納される。
【００４５】
なお、誘目度推定部１３による誘目度の推定手法は、特に限定されない。例えば、顔検出器や人検出器、物体検出器などの画像認識システムを用いて、誘目度を推定する手法を採用することができる。この場合、例えば、フレームのうち、有名人や主人公、または重要なアイテムを含む領域に対しては、高い値の誘目度が推定されて割り当てることができる。
【００４６】
また、誘目度推定部１３による誘目度の推定手法としては、人間の視覚システムの特性を利用して誘目度を推定する手法を採用することができる。人間の視覚システムは、周囲と異なる特性を持つ場所を「目立つ場所(＝顕著な場所=Salient)」として知覚し、その場所に視線を集中させるという性質がある。「目立つ場所」としては、例えば、独立した赤い点、白い壁の中の黒い点、縦線の中の横線、画面の全体の動きと異なる動きをしている場所などが挙げられる。このような人間の視覚システムの特性を利用して、与えられたコンテンツに対して、各フレーム毎にユーザがどこの領域に視線を集中させるのかについて予測し、その予測結果に基づいて誘目度を推定して割り当てるという手法も採用できる。この他にも、人は画面の周辺よりも中心を頻繁に見るという習性があるので、フレームの中心領域により高い値の誘目度を推定して割り当てる、といった手法なども採用できる。
【００４７】
また、誘目度情報の生成手法としては、誘目度推定部１３を用いる手法の他、他のユーザのコンテンツ視聴中の視線から統計的に求めた誘目度に基づいて誘目度情報を生成する手法を採用してもよい。さらにまた、コンテンツ製作者側がコンテンツ製作時の意図に従って各フレーム毎に割り当てた誘目度に基づいて誘目度情報を生成する手法を採用してもよい。これらの手法を採用する場合、各フレームのそれぞれについて、各領域に割り当てる誘目度は既知となっている。そこで、これらの既知の誘目度は誘目度ラベリング部１４に予め格納させることができる。これにより、誘目度ラベリング部１４は、コンテンツＤＢ１１から所定コンテンツを取得すると、その所定コンテンツを構成する各フレームのそれぞれに対して予め割り当てられている誘目度を読み出して、その所定コンテンツの誘目度情報を生成することができる。生成された誘目度情報は、誘目度ＤＢ１２に格納される。
【００４８】
このように、誘目度情報の生成手法自体は特に限定されず、採用する生成手法によって、誘目度推定部１３が用いられたり、誘目度ラベリング部１４が用いられることになる。また、そもそも、コンテンツ提案システム１自身が誘目度情報を生成する必要はなく、既製の誘目度情報を誘目度ＤＢ１２に予め格納させておいても構わない。即ち、誘目度推定部１３と誘目度ラベリング部１４とは、コンテンツ提案システム１にとって必須な構成要素ではない。このため、図２の例では、誘目度推定部１３と誘目度ラベリング部１４は点線で示されているのである。
【００４９】
視線検出部１５は、例えばユーザＵの目付近に向けられた赤外線カメラや通常のCCD（Charge Coupled Device）カメラ等によってユーザＵの目線を検出し、その検出結果である視線情報を視聴状況推定部１６に提供する。例えば本実施の形態では、視線検出部１５は、映像表示部１８に表示されたフレーム画像内（もしくは映像表示部１８の外）のどの領域に目線があるのかを特定する。視線検出部１５は、ユーザＵの目線がある領域を示す情報を視線情報として、視聴状況推定部１６に提供する。
【００５０】
なお、視線検出部１５による目線の検出手法自体は、上述した例に限定されず、特に限定されない。その他例えば、視線検出部１５は、ユーザＵの頭部等に固定された赤外線カメラや通常のCCDカメラ等でユーザＵの目線を検出してもよい。また、視線検出部１５は、ユーザＵがいる環境内に固定された赤外線カメラや通常のCCDカメラ等を利用して、ユーザＵの目線を検出してもよい。
【００５１】
図４は、視線情報の一例を示す図である。図４において、点P1乃至点P3がユーザＵの視線があった領域を示している。よって、図４の例では、点P1乃至点P3を示す情報が視線情報として視線検出部１５に提供されることになる。なお、点P1乃至点P3を結ぶ点線が、ユーザＵの視線の軌跡を示している。このようなユーザＵの視線の軌跡を視線情報に含めることも可能である。また、視線情報は、コンテンツの制作後に、事前に人手によってラベリングされたものであってもよい。
【００５２】
図２の視聴状況推定部１６は、視線検出部１５からの視線情報と、誘目度ＤＢ１２からの誘目度情報とを比較することで、ユーザＵの視聴状況を推定し、その推定結果に基づいて視聴状態を推定する。
【００５３】
ユーザＵは、コンテンツの視聴に集中している場合には、そのコンテンツを構成する各フレームのうち、誘目度の高い領域を見ているはずである。誘目度の高い領域はシーンの移り変わりとともに刻々と変化するので、それに応じて目線も変化する。一方で、ユーザＵは、コンテンツの視聴に集中していない場合には、そのコンテンツを構成する各フレームのうち、誘目度の高い領域を見ているとは限らず、むしろ、誘目度の低い領域または画面外を見ていることの方が多い。よって、例えば、コンテンツの視聴中にユーザＵが誘目度の低い領域を見ている時間が長くなるほど（そういう視聴状況になるほど）、ユーザＵの視聴状態として、そのコンテンツの視聴に集中していない状態であると推定することができる。そこで、例えば本実施の形態では、誘目度の低い領域または画面外を見ている総計時間に応じて値が増加し、また、誘目度の高い領域を見ている総計時間に応じて値が減少するような変数が定義されている。以下、かかる変数を、視聴状況変数Ｃと称する。なお、視聴状況変数Ｃの詳細については、図６等を参照して後述する。
【００５４】
なお、視聴状況変数Ｃは、本実施の形態の例に特に限定されない。例えば、ユーザＵが見ている領域から画面内の誘目度の最も高い領域との距離を指標として生成される変数を、視聴状況変数Ｃとして採用してもよい。また、ユーザＵが見ている領域の誘目度を指標として生成される変数を、視聴状況変数Ｃとして採用してもよい。
【００５５】
視聴状況推定部１６は、この視聴状況変数Ｃの値の大小に応じて、視聴状態を分類することで、視聴状態を推定する。即ち、例えば本実施の形態では、ユーザＵの視聴状態を表す変数として、視聴状況変数Ｃの大小に応じて分類される変数が定義されている。以下、かかる変数を、視聴状態変数Ｓと称する。より具体的には例えば本実施の形態では、視聴状態変数Ｓが取り得る値としては、次の６種類の視聴状態を示す値が定義されている。即ち、WATCHING(見ている状態)、BOARINGL1（飽き始めている状態）、BOARINGL2（飽きている状態）、NOT WATCHING（見ていない状態）、SLEEPING（寝ている状態）、およびAWAY（映像表示装置の前にいない）の６種類の視聴状態をそれぞれ示す値が定義されている。詳細については後述するが、視聴状況変数Ｃの値が大きくなるに連れて、WATCHING、BOARINGL1、BOARINGL2、NOT WATCHING、SLEEPING、およびAWAYの状態の順番で、各状態を示す値が視聴状態変数Ｓとして決定されていく。
【００５６】
なお、視聴状態変数Ｓとして取り得る値は、上述の５種類の値に特に限定されないことは言うまでもない。例えば、BLINK（まばたき）、TEMPORAL_AWAY（ごく短い間目を離した）などの様々な視聴状態の種類を示す値を、視聴状態変数Ｓとして採用し得る。また、視聴状態を、このような離散的な状態ではなく、連続的に変化する状態として把握することで、視聴状態変数Ｓもデジタル値ではなくアナログ値を採用することもできる。
【００５７】
視聴状況推定部１６は、このようなユーザＵの視聴状態変数Ｓとして、現在の視聴状態に適した値を決定して、コンテンツ提案部１７に提供する。なお、視聴状態変数Ｓのさらなる詳細については、図７等を参照して後述する。
【００５８】
コンテンツ提案部１７は、視聴状況推定部１６からの視聴状態変数ＳとコンテンツＤＢ１１に格納された各コンテンツを用いて、ユーザＵに適切なコンテンツに対する各種の提案を行う。
【００５９】
例えば、コンテンツ提案部１７は、視聴状態変数Ｓから、ユーザＵがコンテンツを集中して視聴していないと判断したとする。
【００６０】
この場合、コンテンツ提案部１７は、ユーザＵに対してコンテンツの視聴の中断や停止を提案することができる。ユーザＵがこの提案を受け入れたとき、コンテンツ提案部１７は、コンテンツの表示の中断や停止を、映像表示部１８に指示する。映像表示部１８は、この指示に従って、コンテンツの表示の中断や停止を行う。
【００６１】
また例えば、コンテンツ提案部１７は、コンテンツＤＢ１１に格納された各コンテンツの中から、ユーザＵが興味を示しそうな新たなコンテンツを探し、視聴対象を、その新たなコンテンツに変更することを提案することができる。ユーザＵがこの提案を受け入れたとき、コンテンツ提案部１７は、その新たなコンテンツをコンテンツＤＢ１１から取得して、映像表示部１８に提供する。映像表示部１８は、この新たなコンテンツを構成する各フレーム画像を表示する。これにより、ユーザＵは、新たなコンテンツを視聴できる。
【００６２】
このように、映像表示部１８は、コンテンツ提案部１７の制御に基づいて、各種コンテンツを表示することができる。映像表示部１８は、テレビジョン受像機、パーソナルコンピュータのモニタ、携帯電話機の表示部等で構成することができる。
【００６３】
［コンテンツ提案処理］
図５は、図２の構成のコンテンツ提案システム１が実行する処理のうち、コンテンツに対する各種の提案を行うまでの一連の処理（以下、コンテンツ提案処理と称する）の一例を説明するフローチャートである。
【００６４】
ステップＳ１において、視線検出部１５は、ユーザＵの視線情報を生成する。ユーザＵの視線情報は視聴状況推定部１６に提供される。これにより、処理はステップＳ２に進む。
【００６５】
ステップＳ２において、視聴状況推定部１６は、ユーザＵの視線情報と誘目度情報に基づいて、上述した視聴状況変数Ｃの値を演算する。このようなステップＳ２の処理を、以下、視聴状況推定処理と称する。視聴状況推定処理の詳細例については、図６を参照して後述する。
【００６６】
ステップＳ３において、視聴状況推定部１６は、視聴状況変数Ｃの値に基づいて、上述した視聴状態変数Ｓの値を推定演算する。このようなステップＳ３の処理を、以下、視聴状態推定処理と称する。なお、視聴状態推定処理の詳細例については、図７，図８を参照して後述する。視聴状態変数Ｓはコンテンツ提案部１７に提供される。これにより、処理はステップＳ４に進む。
【００６７】
ステップＳ４において、コンテンツ提案部１７は、視聴状態変数Ｓの値に基づいてコンテンツに関する各種提案行動を決定する。提案行動とは、ユーザの視聴状況に応じて、コンテンツ提案システム１が提案するユーザの行動や、ユーザの行動に代わって自身が実行する処理内容を意味する。例えば、表示されているコンテンツにユーザが飽きていると判断した場合、コンテンツ提案システム１は、表示されているコンテンツの停止若しくは中断、または他のコンテンツの表示を、提案行動として決定することができる。
【００６８】
具体的には例えば、本実施の形態では、コンテンツの各種提案行動を表す変数として、視聴状態変数Ｓの値に応じて分類される変数が定義されている。以下、かかる変数を、提案行動変数Ａと称する。コンテンツ提案部１７は、視聴状態変数Ｓの値に基づいて、提案行動変数Ａの値を演算する。このようなステップＳ４の処理を、以下、提案行動決定処理と称する。なお、提案行動決定処理の詳細例については、図９,図１０を参照して後述する。
【００６９】
ステップＳ５において、コンテンツ提案部１７は、提案行動変数Ａの値が変更されたか否かを判定する。
【００７０】
提案行動変数Ａの値が変更されない場合は、ステップＳ５においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。即ち、提案行動変数Ａの値が変更されるまで、ステップＳ１乃至Ｓ５のループ処理が繰り返される。この間、提案行動変数Ａの現在値に対応するコンテンツの提案が継続して行われている。
【００７１】
その後、ステップＳ１乃至Ｓ５のループ処理が繰り返される度に、視聴状況変数Ｃの値が更新されていくことになる。そして、更新後の視聴状況変数Ｃの値に応じて視聴状態変数Ｓの値が適宜変更され、その結果、提案行動変数Ａの値が変更された場合、ステップＳ５においてＹＥＳであると判定されて、処理はステップＳ６に進む。
【００７２】
ステップＳ６において、コンテンツ提案部１７は、提案行動変数Ａの値に従って、コンテンツに関する各種提案を行う。即ち、例えば本実施の形態では、提案行動変数Ａの特定値または特定範囲に対して、コンテンツに関する所定の種類の提案行動が予め対応付けられている。そこで、コンテンツ提案部１７は、提案行動変数Ａの値に対応付けられた行動を認識し、その提案行動をユーザＵが行うように提案、またはユーザの行動に代わって自身が実行する。なお、具体的な提案行動の種類については、図９以降の図面を参照して後述する。
【００７３】
ステップＳ７において、コンテンツ提案部１７は、処理の終了が指示されたか否かを判定する。
【００７４】
処理の終了が指示されない場合は、ステップＳ７においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。即ち、処理の終了が指示されるまで、ステップＳ１乃至Ｓ７のループ処理が繰り返される。
【００７５】
即ち、所定の周期（例えば１秒）で、ステップＳ１乃至Ｓ７のループ処理が繰り返し実行される。これにより、所定の周期（例えば１秒）で、視聴状況変数Ｃの値が刻々と更新されていく。そして、ユーザＵの視聴状況が変化して、その結果、視聴状況変数Ｃの値が一定以上変化した場合には、視聴状態変数Ｓの値が変化し、最終的に提案行動変数Ａの値が変化する。これにより、コンテンツ提案部１７による提案行動の種類が変化することになる。このようにして、ユーザＵのコンテンツの視聴状況に応じてコンテンツに関する各種提案行動が提案されるのである。
【００７６】
その後、処理の終了が指示された場合、ステップＳ７においてＹＥＳであると判定されて、コンテンツ提案処理は終了する。
【００７７】
以下、コンテンツ提案処理のうち、ステップＳ２の視聴状況推定処理、ステップＳ３の視聴状態推定処理、およびステップＳ４の提案行動決定処理について、その順番で個別に説明していく。
【００７８】
［視聴状況推定処理］
【００７９】
図６は、図５のステップＳ２の視聴状況推定処理の詳細例を説明するフローチャートである。
【００８０】
ステップＳ２１において、視聴状況推定部１６は、視聴状況推定処理が初回の処理か否かを判定する。
【００８１】
視聴状況推定処理が初回の処理でない場合、処理はステップＳ２３に進む。
【００８２】
これに対して、視聴状況推定処理が初回の処理である場合、ステップＳ２１においてＹＥＳであると判定されて、処理はステップＳ２２に進む。
【００８３】
ステップＳ２２において、視聴状況推定部１６は、視聴状況変数Ｃの値を０に初期化する（Ｃ＝０）。これにより、視聴状況推定処理が終了し、即ち、図５のステップＳ２の処理が終了し、処理はステップＳ３の視聴状態推定処理に進む。この場合、視聴状況変数Ｃの値として０が用いられて、ステップＳ３の視聴状態推定処理が実行される。
【００８４】
これに対して、視聴状況推定処理が２回目以降の処理の場合には、ステップＳ２１においてＮＯであると判定されて、処理はステップＳ２３に進む。即ち、視聴状況変数Ｃの値として、前回の視聴状況推定処理の演算値が用いられて、次のステップＳ２３以降の一連の処理が実行される。
【００８５】
ステップＳ２３において、視聴状況推定部１６は、ユーザＵが表示画面内を見ているか否かを判定する。
【００８６】
ユーザＵが表示画面内を見ていない場合、ステップＳ２３においてＮＯであると判定されて、処理はステップＳ２６に進む。ステップＳ２６において、視聴状況推定部１６は、元の視聴状況変数Ｃの値に対してペナルティ定数Ｃ１を加算し、その加算値を新たな視聴状況変数Ｃの値として設定する（Ｃ=Ｃ+Ｃ１）。即ち、視聴状況変数Ｃの値が、ペナルティ定数Ｃ１分だけ増加するように更新される。
【００８７】
これに対して、ユーザＵが表示画面内を見ている場合、ステップＳ２３においてＹＥＳであると判定されて、処理はステップＳ２４に進む。
【００８８】
ステップＳ２４において、視聴状況推定部１６は、ユーザＵが誘目度の高い場所を見ているか否かを判定する。例えば、視聴状況推定部１６は、視線検出部１５から直前に提供された視線情報に基づいて、ユーザの目線がある場所の誘目度が閾値以上であるか否かを判定し、閾値以上である場合には誘目度の高い場所を見ていると判定し、閾値未満である場合には誘目度の高い場所を見ていないと判定する。
【００８９】
ユーザＵが誘目度の高い場所を見ていない場合、ステップＳ２４においてＮＯであると判定されて、処理はステップＳ２７に進む。ステップＳ２７において、視聴状況推定部１６は、元の視聴状況変数Ｃの値に対してペナルティ定数Ｃ２を加算し、その加算値を新たな視聴状況変数Ｃの値として設定する（Ｃ=Ｃ+Ｃ２）。即ち、視聴状況変数Ｃの値が、ペナルティ定数Ｃ２分だけ増加するように更新される。
【００９０】
これに対して、ユーザＵが誘目度の高い場所を見ている場合、ステップＳ２４においてＹＥＳであると判定されて、処理はステップＳ２５に進む。ステップＳ２５において、視聴状況推定部１６は、元の視聴状況変数Ｃの値から報酬定数Ｃ３を減算し、その減算値を新たな視聴状況変数Ｃの値として設定する（Ｃ=Ｃ−Ｃ３）。即ち、視聴状況変数Ｃの値が、報酬定数Ｃ３分だけ減少するように更新される。
【００９１】
これにより、視聴状況推定部１６による視聴状況推定処理は終了する。なお、ペナルティ定数Ｃ１，Ｃ２は、Ｃ１>=Ｃ２>０を満たす定数である。また、報酬定数Ｃ３は、Ｃ>Ｃ３を満たす定数である。
【００９２】
視聴状況変数Ｃは、上述の如く、ユーザＵがコンテンツの視聴に集中している度合いを表す。ただし、本実施の形態では、視聴状況変数Ｃの値が小さくなればなるほど、ユーザＵがコンテンツの視聴に集中していることを表す。換言すると、視聴状況変数Ｃの値が大きくなればなるほど、ユーザＵがコンテンツの視聴に集中していないことを表す。従って、一定周期毎にユーザの視聴状況が観測され、ユーザＵが表示画面内を見ていないときはペナルティ定数Ｃ１がその都度加算される。また、ユーザＵが誘目度の高い場所を見ていないときにはペナルティ定数Ｃ２がその都度加算されることで、視聴状況変数Ｃの値が増加する方向に更新されていくのである。なお、ユーザＵがコンテンツに集中していない度合いとしては、ユーザＵが表示画面内を見ていないときの度合のほうが、ユーザＵが誘目度の高い場所を見ていないとき（ただし、少なくとも表示画面をみているとき）の度合いよりも大きいと認定できる。そこで、本実施の形態では、ペナルティ定数Ｃ１の方がペナルティ定数Ｃ２よりも大きな値に設定されるのである。
【００９３】
また、視聴状況推定処理において、視聴状況変数Ｃの更新がペナルティ定数Ｃ１またはＣ２の加算のみだとすると、たとえ途中ユーザＵのコンテンツへの興味が戻りコンテンツに再度集中しだしたとしても、視聴状況推定処理が繰り返される毎に視聴状況変数Ｃの値は大きくなり続けていくだけである。そこで、ユーザＵが誘目度の高い場所を見ていたときには、ユーザＵがコンテンツの視聴に再度集中しはじめたとして、報酬定数Ｃ３を用いて視聴状況変数Ｃの値を減少させるのである。
【００９４】
このような図６の視聴状況推定処理が終了すると、即ち、図５のステップＳ２の処理が終了し、処理はステップＳ３の視聴状態推定処理に進む。
【００９５】
［視聴状態推定処理］
【００９６】
そこで、以下、図７と図８を参照して、視聴状態推定処理の詳細例について説明する。
【００９７】
図７は、視聴状況変数Ｃの閾値、視聴状態、および視聴状態変数Ｓの三者の関係についての表を示している。
【００９８】
本実施の形態では、視聴状況推定部１６は、図７の表に従って、視聴状態変数Ｓの値を推定演算する。
【００９９】
即ち、図７に示されるように、視聴状況変数Ｃの取り得る範囲に応じて、視聴状態が６種類定義されており、視聴状態変数Ｓとして、６種類の視聴状態のそれぞれを一意に示す値が付されている。
【０１００】
具体的には例えば、視聴状況変数Ｃの値が０以上閾値C_BOARINGL1未満の範囲（０<= C < C_BOARINGL1）の場合の視聴状態は、WATCHING(見ている状態)とされている。WATCHING(見ている状態)には、視聴状態変数Ｓとして、WATCHINGを示す値S_1が付されている。即ち、視聴状況推定部１６は、直前のステップＳ２の視聴状況推定処理の演算結果、即ち、視聴状況変数Ｃの値が０以上閾値C_BOARINGL1未満の場合、視聴状態変数Ｓとして値S_1を推定演算する。
【０１０１】
視聴状況変数Ｃの値が閾値C_BOARINGL1以上閾値C_BOARINGL2未満の範囲（C_BOARINGL1<= C < C_BOARINGL2）の場合の視聴状態は、BOARINGL1(飽き始めている状態)とされている。BOARINGL1(飽き始めている状態)には、視聴状態変数Ｓとして、BOARINGL1を示す値S_2が付されている。即ち、視聴状況推定部１６は、直前のステップＳ２の視聴状況推定処理の演算結果、即ち、視聴状況変数Ｃの値が閾値C_BOARINGL1以上閾値C_BOARINGL2未満の場合、視聴状態変数Ｓとして値S_2を推定演算する。
【０１０２】
視聴状況変数Ｃの値が閾値C_BOARINGL2以上閾値C_NOT_WATCHING未満の範囲（C_BOARINGL2<= C <C_NOT_WATCHING）の場合の視聴状態は、BOARINGL2(飽きている状態)とされている。BOARINGL2(飽きている状態)には、視聴状態変数Ｓとして、BOARINGL2を示す値S_3が付されている。即ち、視聴状況推定部１６は、直前のステップＳ２の視聴状況推定処理の演算結果、即ち、視聴状況変数Ｃの値が閾値C_BOARINGL2以上閾値C_NOT_WATCHING未満の場合、視聴状態変数Ｓとして値S_3を推定演算する。
【０１０３】
視聴状況変数Ｃの値が閾値C_NOT_WATCHING以上閾値C_SLEEPING未満の範囲（C_NOT_WATCHING <= C <C_SLEEPING）の場合の視聴状態は、NOT WATCHING(見ていない状態)とされている。NOT WATCHING(見ていない状態)には、視聴状態変数Ｓとして、NOT_WATCHINGを示す値S_4が付されている。即ち、視聴状況推定部１６は、直前のステップＳ２の視聴状況推定処理の演算結果、即ち、視聴状況変数Ｃの値が閾値C_NOT_WATCHING以上閾値C_SLEEPING未満の場合、視聴状態変数Ｓとして値S_4を推定演算する。
【０１０４】
視聴状況変数Ｃの値が閾値C_SLEEPING以上閾値C_AWAY未満の範囲（C_SLEEPING<= C <C_AWAY）の場合の視聴状態は、SLEEPING(寝ている状態)とされている。SLEEPING(寝ている状態)には、視聴状態変数Ｓとして、SLEEPINGを示す値S_5が付されている。即ち、視聴状況推定部１６は、直前のステップＳ２の視聴状況推定処理の演算結果、即ち、視聴状況変数Ｃの値が閾値C_SLEEPING以上閾値C_AWAY未満の場合、視聴状態変数Ｓとして値S_5を推定演算する。
【０１０５】
視聴状況変数Ｃの値が閾値C_AWAY以上の範囲（C_AWAY <= C）の場合の視聴状態は、AWAY(映像表示装置の前にいない状態)とされている。AWAY(映像表示装置の前にいない状態)には、視聴状態変数Ｓとして、AWAYを示す値S_6が付されている。即ち、視聴状況推定部１６は、直前のステップＳ２の視聴状況推定処理の演算結果、即ち、視聴状況変数Ｃの値が閾値C_AWAY以上の場合、視聴状態変数Ｓとして値S_6を推定演算する。
【０１０６】
図８は、図５のステップＳ３の視聴状態推定処理であって、図７の表に基づく視聴状態推定処理の詳細例を説明するフローチャートである。
【０１０７】
ステップＳ４１において、視聴状況推定部１６は、視聴状況変数Ｃの値が、閾値C_BOARINGL1以上であるか否か（C>=C_BOARINGL1であるか否か）を判定する。
【０１０８】
視聴状況変数Ｃの値が０以上閾値C_BOARINGL1未満の範囲（０<= C < C_BOARINGL1）である場合、ステップＳ４１においてＮＯであると判定されて、処理はステップＳ４７に進む。
【０１０９】
ステップＳ４７において、視聴状況推定部１６は、視聴状態変数ＳとしてWATCHINGを示す値S_1を設定する。即ち、視聴状態変数ＳとしてWATCHINGを示す値S_1が推定演算され、視聴状態推定処理は終了する。これにより、処理は図５のステップＳ３からＳ４に進む。
【０１１０】
これに対して、視聴状況変数Ｃの値が、閾値C_BOARINGL1以上である場合、ステップＳ４１においてＹＥＳであると判定されて、処理はステップＳ４２に進む。
【０１１１】
ステップＳ４２において、視聴状況推定部１６は、視聴状況変数Ｃの値が、閾値C_BOARINGL2以上であるか否か（C>=C_BOARINGL2であるか否か）を判定する。
【０１１２】
視聴状況変数Ｃの値が閾値C_BOARINGL1以上閾値C_BOARINGL2未満の範囲（C_BOARINGL1<= C < C_BOARINGL2）である場合、ステップＳ４２においてＮＯであると判定されて、処理はステップＳ４８に進む。
【０１１３】
ステップＳ４８において、視聴状況推定部１６は、視聴状態変数ＳとしてBOARINGL1を示す値S_2を設定する。即ち、視聴状態変数ＳとしてBOARINGL1を示す値S_2が推定演算され、視聴状態推定処理は終了する。これにより、処理は図５のステップＳ３からＳ４に進む。
【０１１４】
これに対して、視聴状況変数Ｃの値が、閾値C_BOARINGL2以上である場合、ステップＳ４２においてＹＥＳであると判定されて、処理はステップＳ４３に進む。
【０１１５】
ステップＳ４３において、視聴状況推定部１６は、視聴状況変数Ｃの値が、閾値C_NOT_WATCHING以上であるか否か（C>=C_NOT_WATCHINGであるか否か）を判定する。
【０１１６】
視聴状況変数Ｃの値が、閾値C_BOARINGL2以上閾値C_NOT_WATCHING未満の範囲（C_BOARINGL2<= C < C_NOT_WATCHING）である場合、ステップＳ４３においてＮＯであると判定されて、処理はステップＳ４９に進む。
【０１１７】
ステップＳ４９において、視聴状況推定部１６は、視聴状態変数ＳとしてBOARINGL2を示す値S_3を設定する。即ち、視聴状態変数ＳとしてBOARINGL2を示す値S_3が推定演算され、視聴状態推定処理は終了する。これにより、処理は図５のステップＳ３からＳ４に進む。
【０１１８】
これに対して、視聴状況変数Ｃの値が、閾値C_NOT_WATCHING以上である場合、ステップＳ４３においてＹＥＳであると判定されて、処理はステップＳ４４に進む。
【０１１９】
ステップＳ４４において、視聴状況推定部１６は、視聴状況変数Ｃの値が、閾値C_SLEEPING以上であるか否か（C>=C_SLEEPINGであるか否か）を判定する。
【０１２０】
視聴状況変数Ｃの値が、閾値C_NOT_WATCHING以上閾値C_SLEEPING未満の範囲（C_NOT_WATCHING <= C < C_SLEEPING）である場合、ステップＳ４４においてＮＯであると判定されて、処理はステップＳ５０に進む。
【０１２１】
ステップＳ５０において、視聴状況推定部１６は、視聴状態変数ＳとしてNOT WATCHINGを示す値S_4を設定する。即ち、視聴状態変数ＳとしてNOT WATCHINGを示す値S_4が推定演算され、視聴状態推定処理は終了する。これにより、処理は図５のステップＳ３からＳ４に進む。
【０１２２】
これに対して、視聴状況変数Ｃの値が、閾値C_SLEEPING以上である場合、ステップＳ４４においてＹＥＳであると判定されて、処理はステップＳ４５に進む。
【０１２３】
ステップＳ４５において、視聴状況推定部１６は、視聴状況変数Ｃの値が、閾値C_AWAY以上であるか否か（C>=C_AWAY以上であるか否か）を判定する。
【０１２４】
視聴状況変数Ｃの値が、閾値C_SLEEPING以上閾値C_AWAY未満の範囲（C_SLEEPING <= C < C_AWAY）である場合、ステップＳ４５においてＮＯであると判定されて、処理はステップＳ５１に進む。
【０１２５】
ステップＳ５１において、視聴状況推定部１６は、視聴状態変数ＳとしてSLEEPINGを示す値S_5設定する。即ち、視聴状態変数ＳとしてSLEEPINGを示す値S_5が推定演算され、視聴状態推定処理は終了する。これにより、処理は図５のステップＳ３からＳ４に進む。
【０１２６】
これに対して、視聴状況変数Ｃの値が、閾値C_AWAY以上である場合、ステップＳ４５においてＹＥＳであると判定されて、処理はステップＳ４６に進む。
【０１２７】
ステップＳ４６において、視聴状況推定部１６は、視聴状態変数ＳとしてAWAYを示す値S_6を設定する。即ち、視聴状態変数ＳとしてAWAYを示す値S_6が推定演算され、視聴状態推定処理は終了する。これにより、処理は図５のステップＳ３からＳ４に進む。
【０１２８】
これにより、視聴状況推定部１６による視聴状態推定処理は終了し、図５のステップＳ３の処理が終了する。これにより、処理は図５のステップＳ３からステップＳ４の提案行動決定処理に進む。
【０１２９】
［提案行動決定処理］
【０１３０】
そこで、以下、図９と図１０を参照して、提案行動決定処理の詳細例について説明する。
【０１３１】
図９は、視聴状態変数Ｓ、提案行動、および提案行動変数Ａの三者の関係についての表を示している。
【０１３２】
本実施の形態では、コンテンツ提案部１７は、図９の表に従って、提案行動変数Ａの値を演算する。
【０１３３】
即ち、図９に示されるように、視聴状態変数Ｓの値に応じて、提案行動が６種類定義されており、提案行動変数Ａとして、６種類の提案行動のそれぞれを一意に示す値が付されている。
【０１３４】
具体的には例えば、視聴状態変数Ｓが値S_1（Ｓ＝S_1）またはエラー値の場合の提案行動は、DO NOTHING（何もしない）とされている。DO NOTHING（何もしない）には、提案行動変数ＡとしてDO NOTHINGを示す値Ａ１が付されている。よって、コンテンツ提案部１７は、直前のステップＳ３の視聴状態推定処理の演算結果、即ち、視聴状態変数Ｓが値S_1の場合、提案行動変数Ａとして値Ａ１を演算する。また視聴状態変数Ｓの値がエラー値の場合、コンテンツ提案部１７は、提案行動変数Ａとして値Ａ１を演算する。エラー値の場合とは、視聴状態変数Ｓが値S_1乃至S_6以外の値となっている場合をいう。
【０１３５】
視聴状態変数Ｓが値S_2（Ｓ＝S_2）の場合の提案行動はVERIFY（確認する）とされている。VERIFY（確認する）には、提案行動変数ＡとしてVERIFYを示す値Ａ２が付されている。よって、コンテンツ提案部１７は、直前のステップＳ３の視聴状態推定処理の演算結果、即ち、視聴状態変数Ｓが値S_2の場合、提案行動変数Ａとして値Ａ２を演算する。
【０１３６】
視聴状態変数Ｓが値S_3（Ｓ＝S_3）の場合の提案行動はACTION1（行動１）とされている。ACTION1（行動１）には、提案行動変数ＡとしてACTION1を示す値Ａ３が付されている。よって、コンテンツ提案部１７は、直前のステップＳ３の視聴状態推定処理の演算結果、即ち、視聴状態変数Ｓが値S_3の場合、提案行動変数Ａとして値Ａ３を演算する。
【０１３７】
視聴状態変数Ｓが値S_4（Ｓ＝S_4）の場合の提案行動はACTION2（行動２）とされている。ACTION2（行動２）には、提案行動変数ＡとしてACTION2を示す値Ａ４が付されている。よって、コンテンツ提案部１７は、直前のステップＳ３の視聴状態推定処理の演算結果、即ち、視聴状態変数Ｓが値S_4の場合、提案行動変数Ａとして値Ａ４を演算する。
【０１３８】
視聴状態変数Ｓが値S_5（Ｓ＝S_5）の場合の提案行動はACTION3（行動３）とされている。ACTION3（行動３）には、提案行動変数ＡとしてACTION3示す値Ａ５が付されている。よって、コンテンツ提案部１７は、直前のステップＳ３の視聴状態推定処理の演算結果、即ち、視聴状態変数Ｓが値S_5の場合、提案行動変数Ａとして値Ａ５を演算する。なお、本実施の形態では定義される提案行動ACTIONはACTION1（行動１）乃至ACTION3（行動３）としたが、提案行動ACTIONの種類は特に限定されない。
【０１３９】
視聴状態変数Ｓが値S_6（Ｓ＝S_6）の場合の提案行動はTURN OFF（電源を切る）とされている。TURN OFF（電源を切る）には、提案行動変数ＡとしてTURN OFFを示す値Ａ６が付されている。よって、コンテンツ提案部１７は、直前のステップＳ３の視聴状態推定処理の演算結果、即ち、視聴状態変数Ｓが値S_6の場合、提案行動変数Ａとして値Ａ６を演算する。
【０１４０】
図１０は、図５のステップＳ４の提案行動決定処理であって、図９の表に基づく提案行動決定処理の詳細例を説明するフローチャートである。
【０１４１】
ステップＳ６１において、コンテンツ提案部１７は、視聴状態変数Ｓが値S_1（WATCHINGを示す値）であるか否かを判定する。
【０１４２】
視聴状態変数Ｓが値S_1である場合、ステップＳ６１においてＹＥＳであると判定されて、処理はステップＳ６８に進む。
【０１４３】
ステップＳ６８において、コンテンツ提案部１７は、提案行動変数ＡとしてDO NOTHINGを示す値Ａ１を設定する。即ち、DO NOTHINGを示す値Ａ１が演算され、提案行動決定処理は終了する。これにより、処理は図５のステップＳ４からＳ５に進む。
【０１４４】
これに対して、視聴状態変数Ｓが値S_1以外の値の場合、ステップＳ６１においてＮＯであると判定されて、処理はステップＳ６２に進む。
【０１４５】
ステップＳ６２において、コンテンツ提案部１７は、視聴状態変数Ｓが値S_2（BOARINGL1を示す値）であるか否かを判定する。
【０１４６】
視聴状態変数Ｓが値S_2である場合、ステップＳ６２においてＹＥＳであると判定されて、処理はステップＳ６９に進む。
【０１４７】
ステップＳ６９において、コンテンツ提案部１７は、提案行動変数ＡとしてVERIFYを示す値Ａ２を設定する。即ち、VERIFYを示す値Ａ２が演算され、提案行動決定処理は終了する。これにより、処理は図５のステップＳ４からＳ５に進む。
【０１４８】
これに対して、視聴状態変数Ｓが値S_2以外の値の場合、ステップＳ６２においてＮＯであると判定されて、処理はステップＳ６３に進む。
【０１４９】
ステップＳ６３において、コンテンツ提案部１７は、視聴状態変数Ｓが値S_3（BOARINGL2を示す値）であるか否かを判定する。
【０１５０】
視聴状態変数Ｓが値S_3である場合、ステップＳ６３においてＹＥＳであると判定されて、処理はステップＳ７０に進む。
【０１５１】
ステップＳ７０において、コンテンツ提案部１７は、提案行動変数ＡとしてACTION1を示す値Ａ３を設定する。即ち、ACTION1を示す値Ａ３が演算され、提案行動決定処理は終了する。これにより、処理は図５のステップＳ４からＳ５に進む。
【０１５２】
これに対して、視聴状態変数Ｓが値S_3以外の値の場合、ステップＳ６３においてＮＯであると判定されて、処理はステップＳ６４に進む。
【０１５３】
ステップＳ６４において、コンテンツ提案部１７は、視聴状態変数Ｓが値S_4（NOT WATCHINGを示す値）であるか否かを判定する。
【０１５４】
視聴状態変数Ｓが値S_4である場合、ステップＳ６４においてＹＥＳであると判定されて、処理はステップＳ７１に進む。
【０１５５】
ステップＳ７１において、コンテンツ提案部１７は、提案行動変数ＡとしてACTION2を示す値Ａ４を設定する。即ち、ACTION2を示す値Ａ４が演算され、提案行動決定処理は終了する。これにより、処理は図５のステップＳ４からＳ５に進む。
【０１５６】
これに対して、視聴状態変数Ｓが値S_4以外の値の場合、ステップＳ６４においてＮＯであると判定されて、処理はステップＳ６５に進む。
【０１５７】
ステップＳ６５において、コンテンツ提案部１７は、視聴状態変数Ｓが値S_5（SLEEPINGを示す値）であるか否かを判定する。
【０１５８】
視聴状態変数Ｓが値S_5である場合、ステップＳ６５においてＹＥＳであると判定されて、処理はステップＳ７２に進む。
【０１５９】
ステップＳ７２において、コンテンツ提案部１７は、提案行動変数ＡとしてACTION3を示す値Ａ５を設定する。即ち、ACTION3を示す値Ａ５が演算され、提案行動決定処理は終了する。これにより、処理は図５のステップＳ４からＳ５に進む。
【０１６０】
これに対して、視聴状態変数Ｓが値S_5以外の値の場合、ステップＳ６５においてＮＯであると判定されて、処理はステップＳ６６に進む。
【０１６１】
ステップＳ６６において、コンテンツ提案部１７は、視聴状態変数Ｓが値S_6（AWAYを示す値）であるか否かを判定する。
【０１６２】
視聴状態変数Ｓが値S_6である場合、ステップＳ６６においてＹＥＳであると判定されて、処理はステップＳ７３に進む。
【０１６３】
ステップＳ７３において、コンテンツ提案部１７は、提案行動変数ＡとしてTURN OFFを示す値Ａ６を設定する。即ち、TURN OFFを示す値Ａ６が演算され、提案行動決定処理は終了する。これにより、処理は図５のステップＳ４からＳ５に進む。
【０１６４】
これに対して、視聴状態変数Ｓが値S_6でない場合、ステップＳ６６においてＮＯであると判定されて、処理はステップＳ６７に進む。
【０１６５】
ステップＳ６７において、コンテンツ提案部１７は、提案行動変数ＡとしてDO NOTHINGを示す値Ａ１を設定する。即ち、DO NOTHINGを示す値Ａ１が演算され、提案行動決定処理は終了する。これにより、処理は図５のステップＳ４からＳ５に進む。
【０１６６】
以上説明した提案行動決定処理が終了すると、即ち図５のステップＳ４の処理が終了し、処理はステップＳ５に進む。
【０１６７】
以上のステップＳ１乃至Ｓ４の一連の処理の結果、提案行動変数Ａが変更された場合、ステップＳ５においてＹＥＳであると判定されて、処理はステップＳ６に進む。
【０１６８】
ステップＳ６において、コンテンツ提案部１７は、提案行動変数Ａの値に従って、コンテンツに関する各種提案を行う。
【０１６９】
例えば、提案行動変数ＡとしてDO NOTHINGを示す値Ａ１が設定されている場合、コンテンツ提案部１７は、DO NOTHING（何もしない）を提案する。即ち、コンテンツ提案部１７は、何等提案しない。
【０１７０】
例えば、提案行動変数ＡとしてVERIFYを示す値Ａ２が設定されている場合、コンテンツ提案部１７は、VERIFY（確認する）を提案する。例えば、コンテンツ提案部１７は、ユーザＵが現在視聴中のコンテンツの表示を継続するか否かについて確認する。
【０１７１】
例えば、提案行動変数ＡとしてACTION1を示す値Ａ３が設定されている場合、コンテンツ提案部１７は、ACTION1（行動１）を提案する。具体的には例えば、ACTION1（行動１）として、代替のコンテンツの視聴の提案という提案行動が定義づけられているとする。この場合、例えば、コンテンツ提案部１７は、任意の代替のコンテンツの視聴を提案する。
【０１７２】
例えば、提案行動変数ＡとしてACTION2を示す値Ａ４が設定されている場合、コンテンツ提案部１７は、ACTION2（行動２）を提案する。具体的には例えば、ACTION2（行動２）として、代替のコンテンツの推薦という提案行動が定義づけられているとする。この場合、例えば、コンテンツ提案部１７は、代替の特定のコンテンツを推薦して、その特定のコンテンツの視聴を提案する。
【０１７３】
例えば、提案行動変数ＡとしてACTION3を示す値Ａ５が設定されている場合、コンテンツ提案部１７は、ACTION3（行動３）を提案する。具体的には例えば、ACTION3（行動３）として、表示中のコンテンツの停止という提案行動が定義づけられているとする。この場合、例えば、コンテンツ提案部１７は、表示中のコンテンツを停止するよう提案する。なお、コンテンツ提案部１７は、表示中のコンテンツを直接停止するようにしても構わない。
【０１７４】
例えば、提案行動変数ＡとしてTURN OFFを示す値Ａ６が設定されている場合、コンテンツ提案部１７は、TURN OFF（電源を切る）を提案する。なお、コンテンツ提案部１７は、コンテンツ提案システムの電源を直接切るようにしても構わない。
【０１７５】
さらに、以下、具体例を用いて、コンテンツ提案処理を説明していく。
【０１７６】
図１１は、図５のコンテンツ提案処理の具体的処理結果を示す図である。
【０１７７】
図１１のＡは、各時刻ｔの視聴状況変数Ｃの時間的推移を示す図である。図１１のＡにおいて、縦軸は視聴状況変数Ｃを示している。縦軸にはまた、図７の表を参照して説明した閾値が示されている。即ち、視聴状況変数Ｃに対する閾値として、小さい値から順に、C_BOARINGL1 ， C_BOARINGL2 , C_NOT_WATCHING , C_SLEEPING ,  C_AWAYがそれぞれ設定されている。横軸は時刻ｔを示す時間軸である。なお、この時間軸は、図１１のＢ，Ｃとの共通時間軸である。
【０１７８】
図１１のＢは、各時刻ｔにおける、視聴状態変数Ｓに対応する視聴状態の時間的推移を示す図である。図１１のＢは、提案行動変数Ａに対応する提案行動の時間的推移を示す図である。
【０１７９】
図１１の例では、各時刻ｔ（例えば秒単位）毎に、図５のコンテンツ提案処理のステップＳ１乃至Ｓ７のループ処理が１回ずつ実行されていくとする。この場合、各時刻ｔ毎に、ステップＳ２の視聴状況推定処理が１回ずつ実行されていくので、視聴状況変数Ｃの値は刻々と変化していくことになる。視聴状況変数Ｃの値が一定以上変化すると、その時刻ｔにおけるステップＳ３の視聴状態推定処理において、視聴状態変数Ｓの値が変化する。このようにして、視聴状態変数Ｓの値が変化することにより、次のステップＳ４の提案行動決定処理により、提案行動変数Ａの値も変化する。その結果、次のステップＳ６の処理で、変化後の提案行動変数Ａの値に従った提案が行われることになる。
【０１８０】
具体的には例えば、時刻t0では、図５のコンテンツ提案処理のステップＳ２の視聴状況推定処理において、視聴状況変数Ｃの値は０に初期化される（図６のステップＳ２１ＹＥＳ，Ｓ２２）。よって、時刻t0におけるステップＳ３の視聴状態推定処理では、視聴状態変数Ｓとして値S_1が推定演算される（図８のステップＳ４１ＮＯ，Ｓ４７）。したがって、時刻t0における視聴状態は、値S_1に対応するWATCHINGとなる。よって、時刻t0のステップＳ４の提案行動決定処理により、提案行動変数Ａの値として値Ａ１が設定される（図１０のステップＳ６１ＹＥＳ，Ｓ６８）。したがって、時刻t0における提案行動は、値Ａに対応するDO NOTHINGとなる。このようにして、時刻t0において、提案行動変数Ａとして値Ａ１が新たに演算されたので、ステップＳ５の処理でＹＥＳであると判定されて、次のステップＳ６の処理で、提案行動変数Ａの値Ａ１に従ってDO NOTHING（何もしない）が提案されることになる。
【０１８１】
時刻t1では、図５のコンテンツ提案処理のステップＳ２の視聴状況推定処理において、視聴状況変数Ｃの値は、図１１のＡに示される値、即ち、０以上閾値C_BOARINGL1未満の範囲の値として推定演算される。よって、時刻t1におけるステップＳ３の視聴状態推定処理では、視聴状態変数Ｓとして値S_1が推定演算される（図８のステップＳ４１ＮＯ，Ｓ４７）。したがって、時刻t1における視聴状態は、値S_1に対応するWATCHINGとなる。よって、時刻t1のステップＳ４の提案行動決定処理により、提案行動変数Ａの値として値Ａ１が設定される（図１０のステップＳ６１ＹＥＳ，Ｓ６８）。したがって、時刻t1における提案行動は、値Ａに対応するDO NOTHINGとなる。このようにして、時刻t1において、提案行動変数Ａとして値Ａ１が演算される。ただし、それ以前の時刻t（例えばt0）でも提案行動変数Ａとしては、同一値Ａ１が演算されているので、時刻t1のステップＳ５の処理ではＮＯであると判定されて、処理はステップＳ１に戻され次の時刻tにおける一連の処理が開始されることになる。即ち、この場合、提案行動変数Ａの値Ａ１に従ったDO NOTHING（何もしない）の提案が継続されることになる。
【０１８２】
時刻t2では、図５のコンテンツ提案処理のステップＳ２の視聴状況推定処理において、視聴状況変数Ｃの値は、図１１のＡに示される値、即ち、閾値C_BOARINGL1以上閾値C_BOARINGL2未満の範囲の値として推定演算される。よって、時刻t2におけるステップＳ３の視聴状態推定処理では、視聴状態変数Ｓとして値S_2が推定演算される（図８のステップＳ４２ＮＯ，Ｓ４８）。したがって、時刻t2における視聴状態は、値S_2に対応するBOARINGL1となる。よって、時刻t2のステップＳ４の提案行動決定処理により、提案行動変数Ａの値として値Ａ２が設定される（図１０のステップＳ６２ＹＥＳ，Ｓ６９）。したがって、時刻t2における提案行動は、値Ａに対応するVERIFYとなる。このようにして、時刻t2において、提案行動変数Ａとして値Ａ２が演算される。このようにして、時刻t2において、提案行動変数Ａとして値Ａ２が新たに演算されたので、ステップＳ５の処理でＹＥＳであると判定されて、次のステップＳ６の処理で、提案行動変数Ａの値Ａ２に従ってVERIFY（確認する）が提案されることになる。
【０１８３】
時刻t5では、図５のコンテンツ提案処理のステップＳ２の視聴状況推定処理において、視聴状況変数Ｃの値は、図１１のＡに示される値、即ち、閾値C_BOARINGL2以上閾値C_NOT_WATCHING未満の範囲の値として推定演算される。よって、時刻t5におけるステップＳ３の視聴状態推定処理では、視聴状態変数Ｓとして値S_3が推定演算される（図８のステップＳ４３ＮＯ，Ｓ４９）。したがって、時刻t5における視聴状態は、値S_3に対応するBOARINGL2となる。よって、時刻t5のステップＳ４の提案行動決定処理により、提案行動変数Ａの値として値Ａ３が設定される（図１０のステップＳ６３ＹＥＳ，Ｓ７０）。したがって、時刻t5における提案行動は、値Ａに対応するACTION1となる。このようにして、時刻t5において、提案行動変数Ａとして値Ａ３が演算される。このようにして、時刻t5において、提案行動変数Ａとして値Ａ３が新たに演算されたので、ステップＳ５の処理でＹＥＳであると判定されて、次のステップＳ６の処理で、提案行動変数Ａの値Ａ３に従ってACTION1（行動１）が提案されることになる。
【０１８４】
以降の時刻tでも同様の処理が繰り返される。即ち、時刻t6乃至時刻t14のそれぞれの時点では、提案行動変数Ａの値が更新されるので、ステップＳ５の処理でＹＥＳであると判定されて、次のステップＳ６の処理で、提案行動変数Ａの更新値に従って各種提案がなされることになる。そして、時刻t6乃至時刻t14の間の各時刻tでは、提案行動変数Ａとして同一値が演算され続けるので、時刻t1のステップＳ５の処理ではＮＯであると判定されて、処理はステップＳ１に戻され次の時刻tにおける一連の処理が開始されることになる。即ち、この場合、同一の提案が継続されることになる。
【０１８５】
このように、視聴状況変数Ｃの値が変化するのに伴って、視聴状態変数Ｓの値および提案行動変数Ａの値も変化する。そして変化後の提案行動変数Ａの値に従った提案行動が行われる。従って、コンテンツ提案システム１によれば、ユーザＵの視聴状況に応じた適切なコンテンツの提案行動ができることがわかる。
【０１８６】
［コンテンツ提案システム２の構成例］
図１２は、本発明を適用した情報処理システムの一実施の形態であって、図２の例とは異なるコンテンツ提案システム２の機能的構成例を示す機能ブロック図である。
【０１８７】
コンテンツ提案システム２は、コンテンツＤＢ１１、誘目度推定部１３、視線検出部１５、視聴状況推定部１６、コンテンツ提案部１７および映像表示部１８から構成されている。
【０１８８】
図１２において、図２に示される構成例と同じ構成には同じ符号を付している。なお、重複する説明については適宜省略する。
【０１８９】
図２に示されるコンテンツ提案システム１では、誘目度情報は誘目度ＤＢ１２にいったん格納された後、視聴状況推定部１６に提供される。これに対して、図１２に示されるコンテンツ提案システム２では、誘目度ＤＢ１２は省略されている。このため、誘目度推定部１３によって生成された誘目度情報は、リアルタイムに視聴状況推定部１６に提供される。
【０１９０】
また、コンテンツ提案部１７には、コンテンツＤＢ１１からのコンテンツが誘目度推定部１３を介して提供される。
【０１９１】
［コンテンツ提案システム３の構成例］
図１３は、本発明を適用した情報処理システムの一実施の形態であって、図２、図１２の例とは異なるコンテンツ提案システム３の機能的構成例を示す機能ブロック図である。
【０１９２】
図１３において、図２に示される構成例と同じ構成には同じ符号を付している。なお、重複する説明については適宜省略する。
【０１９３】
コンテンツ提案システム３は、図２のコンテンツ提案システム３に対してさらに、誘目度情報更新部１９を含むように構成されている。
【０１９４】
誘目度情報更新部１９には、視線検出部１５から視聴状況推定部１６へ提供されたユーザＵの視線情報がフィードバックされてくる。そこで、誘目度情報更新部１９は、フィードバックされたユーザＵの視線情報を用いて、誘目度ＤＢ１２に格納されている各誘目度情報を更新していく。このように、視聴状況推定部１６から提供されるユーザＵの視線情報によって誘目度情報を更新していくことにより、ユーザＵの視聴特性を誘目度情報に反映することができる。
【０１９５】
なお、誘目度情報更新部１９による誘目度情報の更新手法は、図１３の例に特に限定されない。例えば、図１４に示されるように、複数のユーザＵ１乃至ＵＮ（Ｎは２以上の整数値）の視線情報を用いて誘目度情報を更新していく手法を採用してもよい。なお、複数のユーザＵ１乃至ＵＮの中に、ユーザＵ自身が含まれていてもいなくても構わない。
【０１９６】
[誘目度情報の更新手法の具体例]
図１４は、誘目度情報更新部１９による誘目度情報の更新手法の具体例であって、図１３の例とは異なる例を説明する図である。
【０１９７】
即ち、図１４は、図１３の例のコンテンツ提案システム３の構成要素のうち、コンテンツＤＢ１１、誘目度ＤＢ１２、および誘目度情報更新部１９のみが図示されている。また、ユーザＵＫ（Ｋは１乃至Ｎのうちの任意の整数値）に対して、図１３の例のコンテンツ提案システム３と同様のシステムが一つ利用されているとする。このシステムの構成要素のうち、映像表示部１８−Ｋ，視線検出部１５−Ｋ，視聴状況推定部１６−Ｋのみが図１４には図示されている。なお、コンテンツ提案システム３の誘目度情報更新部１９にとっては、ユーザＵ１乃至ＵＮの各視線情報さえ取得できれば足り、それらの各視線情報の生成手法は図１４の例に特に限定されない。
【０１９８】
図１４に示されるように、同一のコンテンツが、映像表示部１８−１乃至１８−Ｎのそれぞれに表示される。これにより、ユーザＵ１乃至ＵＮのそれぞれは、映像表示部１８−１乃至１８−Ｎのそれぞれに表示されたコンテンツを視聴することができる。なお、当然ながら、映像表示部１８−１乃至１８−Ｎに表示される各時間帯は、特に同一である必要はない。
【０１９９】
視線検出部１５−１乃至１５−Ｎのそれぞれは、コンテンツを視聴しているユーザＵ１乃至ＵＮの各視線情報を、視聴状況推定部１６−１乃至１６−Ｎにそれぞれ提供する。視聴状況推定部１６−１乃至１６−Ｎのそれぞれは、ユーザＵ１乃至ＵＮの各視線情報を誘目度情報更新部１９に提供する。
【０２００】
誘目度情報更新部１９は、例えば、複数のユーザＵ１乃至ＵＮの各視線情報を統計的に用いて、誘目度ＤＢ１２に格納されている各誘目度情報を更新していく。
【０２０１】
この誘目度ＤＢ１２に格納されている各誘目度情報を、複数のユーザＵ１乃至ＵＮが利用しているシステムで共有できるようにすれば、ユーザＵ，ユーザＵ１乃至ＵＮ間で誘目度情報を共有することができる。なお、ユーザＵ，ユーザＵ１乃至ＵＮが利用しているシステムは、図１４の例では別々のシステムであったが、図１４の例に限定されない。即ち、ユーザＵ，ユーザＵ１乃至ＵＮの少なくとも一部が、同一のシステムを共有して利用するようにしてもよい。
【０２０２】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０２０３】
この場合、上述した情報処理システムの少なくとも一部として、例えば、図１５に示されるパーソナルコンピュータを採用してもよい。
【０２０４】
図１５において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１００３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２０５】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０２０６】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０２０７】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０２０８】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２０９】
このようなプログラムを含む記録媒体は、図１５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０２１０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０２１１】
【図１】人の目の引く度合いの違いを説明する図である。
【図２】本発明が適用される情報処理システムとしてのコンテンツ提案システムの機能的構成例を示す機能ブロック図である。
【図３】誘目度を説明する図である。
【図４】視線情報の一例を示す図である。
【図５】図２のコンテンツ提案システムによるコンテンツ提案処理の一例を説明するフローチャートである。
【図６】図５のステップＳ２の視聴状況推定処理の詳細例を説明するフローチャートである。
【図７】図５のステップＳ３の視聴状態推定処理の詳細例を説明する図である。
【図８】図５のステップＳ３の視聴状態推定処理の詳細例であって、図７の例に対応する例を説明するフローチャートである。
【図９】図５のステップＳ４の提案行動決定処理の詳細例を説明する図である。
【図１０】図５のステップＳ４の提案行動決定処理の詳細例であって、図９の例に対応する例を説明するフローチャートである。
【図１１】図５のコンテンツ提案処理の具体的処理結果を示す図である。
【図１２】本発明が適用される情報処理システムとしてのコンテンツ提案システムの機能的構成例であって、図２の例とは異なる例を示す機能ブロック図である。
【図１３】本発明が適用される情報処理システムとしてのコンテンツ提案システムの機能的構成例であって、図２や図１２の例とは異なる例を示す機能ブロック図である。
【図１４】誘目度情報の更新手法の具体例であって、図１３の例とは異なる例を説明する図である。
【図１５】本発明が適用される情報処理装置としてのパーソナルコンピュータハードウエアを示すブロック図である。
【符号の説明】
【０２１２】
１  コンテンツ提案システム，  ２  コンテンツ提案システム，  ３  コンテンツ提案システム，  ４  コンテンツ提案システム，  １１  コンテンツＤＢ，  １２  誘目度ＤＢ，  １３  誘目度推定部１３，  １４  誘目度ラベリング部，  １５  視線検出部，  １６  視聴状況推定部,  １７  コンテンツ提案部,  １８  映像表示部，  １９  誘目度情報更新部，１０１  CPU，  １０２  ROM，  １０３  RAM，  １０８  記憶部，  １１１  リムーバブルメディア
【図１】
2010154395.tif 000003
【図２】
2010154395.tif 000004
【図３】
2010154395.tif 000005
【図４】
2010154395.tif 000006
【図５】
2010154395.tif 000007
【図６】
2010154395.tif 000008
【図７】
2010154395.tif 000009
【図８】
2010154395.tif 000010
【図９】
2010154395.tif 000011
【図１０】
2010154395.tif 000012
【図１１】
2010154395.tif 000013
【図１２】
2010154395.tif 000014
【図１３】
2010154395.tif 000015
【図１４】
2010154395.tif 000016
【図１５】
2010154395.tif 000017
【手続補正書】
【提出日】平成22年3月18日(2010.3.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
視聴状況推定部１６は、この視聴状況変数Ｃの値の大小に応じて、視聴状態を分類することで、視聴状態を推定する。即ち、例えば本実施の形態では、ユーザＵの視聴状態を表す変数として、視聴状況変数Ｃの大小に応じて分類される変数が定義されている。以下、かかる変数を、視聴状態変数Ｓと称する。より具体的には例えば本実施の形態では、視聴状態変数Ｓが取り得る値としては、次の６種類の視聴状態を示す値が定義されている。即ち、WATCHING(見ている状態)、BORINGL1（飽き始めている状態）、BORINGL2（飽きている状態）、NOT WATCHING（見ていない状態）、SLEEPING（寝ている状態）、およびAWAY（映像表示装置の前にいない）の６種類の視聴状態をそれぞれ示す値が定義されている。詳細については後述するが、視聴状況変数Ｃの値が大きくなるに連れて、WATCHING、BORINGL1、BORINGL2、NOT WATCHING、SLEEPING、およびAWAYの状態の順番で、各状態を示す値が視聴状態変数Ｓとして決定されていく。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
なお、視聴状態変数Ｓとして取り得る値は、上述の６種類の値に特に限定されないことは言うまでもない。例えば、BLINK（まばたき）、TEMPORAL_AWAY（ごく短い間目を離した）などの様々な視聴状態の種類を示す値を、視聴状態変数Ｓとして採用し得る。また、視聴状態を、このような離散的な状態ではなく、連続的に変化する状態として把握することで、視聴状態変数Ｓもデジタル値ではなくアナログ値を採用することもできる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
具体的には例えば、視聴状況変数Ｃの値が０以上閾値C_BORINGL1未満の範囲（０<= C < C_BORINGL1）の場合の視聴状態は、WATCHING(見ている状態)とされている。WATCHING(見ている状態)には、視聴状態変数Ｓとして、WATCHINGを示す値S_1が付されている。即ち、視聴状況推定部１６は、直前のステップＳ２の視聴状況推定処理の演算結果、即ち、視聴状況変数Ｃの値が０以上閾値C_BORINGL1未満の場合、視聴状態変数Ｓとして値S_1を推定演算する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
視聴状況変数Ｃの値が閾値C_BORINGL1以上閾値C_BORINGL2未満の範囲（C_BORINGL1<= C < C_BORINGL2）の場合の視聴状態は、BORINGL1(飽き始めている状態)とされている。BORINGL1(飽き始めている状態)には、視聴状態変数Ｓとして、BORINGL1を示す値S_2が付されている。即ち、視聴状況推定部１６は、直前のステップＳ２の視聴状況推定処理の演算結果、即ち、視聴状況変数Ｃの値が閾値C_BORINGL1以上閾値C_BORINGL2未満の場合、視聴状態変数Ｓとして値S_2を推定演算する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
視聴状況変数Ｃの値が閾値C_BORINGL2以上閾値C_NOT_WATCHING未満の範囲（C_BORINGL2<= C <C_NOT_WATCHING）の場合の視聴状態は、BORINGL2(飽きている状態)とされている。BORINGL2(飽きている状態)には、視聴状態変数Ｓとして、BORINGL2を示す値S_3が付されている。即ち、視聴状況推定部１６は、直前のステップＳ２の視聴状況推定処理の演算結果、即ち、視聴状況変数Ｃの値が閾値C_BORINGL2以上閾値C_NOT_WATCHING未満の場合、視聴状態変数Ｓとして値S_3を推定演算する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１０７
【補正方法】変更
【補正の内容】
【０１０７】
ステップＳ４１において、視聴状況推定部１６は、視聴状況変数Ｃの値が、閾値C_BORINGL1以上であるか否か（C>=C_BORINGGL1であるか否か）を判定する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１０８
【補正方法】変更
【補正の内容】
【０１０８】
視聴状況変数Ｃの値が０以上閾値C_BORINGL1未満の範囲（０<= C < C_BORINGL1）である場合、ステップＳ４１においてＮＯであると判定されて、処理はステップＳ４７に進む。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
これに対して、視聴状況変数Ｃの値が、閾値C_BORINGL1以上である場合、ステップＳ４１においてＹＥＳであると判定されて、処理はステップＳ４２に進む。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１１１
【補正方法】変更
【補正の内容】
【０１１１】
ステップＳ４２において、視聴状況推定部１６は、視聴状況変数Ｃの値が、閾値C_BORINGL2以上であるか否か（C>=C_BORINGL2であるか否か）を判定する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１１２
【補正方法】変更
【補正の内容】
【０１１２】
視聴状況変数Ｃの値が閾値C_BORINGL1以上閾値C_BORINGL2未満の範囲（C_BORINGL1<= C < C_BORINGL2）である場合、ステップＳ４２においてＮＯであると判定されて、処理はステップＳ４８に進む。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
ステップＳ４８において、視聴状況推定部１６は、視聴状態変数ＳとしてBORINGL1を示す値S_2を設定する。即ち、視聴状態変数ＳとしてBORINGL1を示す値S_2が推定演算され、視聴状態推定処理は終了する。これにより、処理は図５のステップＳ３からＳ４に進む。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１１４
【補正方法】変更
【補正の内容】
【０１１４】
これに対して、視聴状況変数Ｃの値が、閾値C_BORINGL2以上である場合、ステップＳ４２においてＹＥＳであると判定されて、処理はステップＳ４３に進む。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
視聴状況変数Ｃの値が、閾値C_BORINGL2以上閾値C_NOT_WATCHING未満の範囲（C_BORINGL2<= C < C_NOT_WATCHING）である場合、ステップＳ４３においてＮＯであると判定されて、処理はステップＳ４９に進む。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１１７
【補正方法】変更
【補正の内容】
【０１１７】
ステップＳ４９において、視聴状況推定部１６は、視聴状態変数ＳとしてBORINGL2を示す値S_3を設定する。即ち、視聴状態変数ＳとしてBORINGL2を示す値S_3が推定演算され、視聴状態推定処理は終了する。これにより、処理は図５のステップＳ３からＳ４に進む。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１４５
【補正方法】変更
【補正の内容】
【０１４５】
ステップＳ６２において、コンテンツ提案部１７は、視聴状態変数Ｓが値S_2（BORINGL1を示す値）であるか否かを判定する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１４９
【補正方法】変更
【補正の内容】
【０１４９】
ステップＳ６３において、コンテンツ提案部１７は、視聴状態変数Ｓが値S_3（BORINGL2を示す値）であるか否かを判定する。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１７７
【補正方法】変更
【補正の内容】
【０１７７】
図１１のＡは、各時刻ｔの視聴状況変数Ｃの時間的推移を示す図である。図１１のＡにおいて、縦軸は視聴状況変数Ｃを示している。縦軸にはまた、図７の表を参照して説明した閾値が示されている。即ち、視聴状況変数Ｃに対する閾値として、小さい値から順に、C_BORINGL1 ， C_BORINGL2 , C_NOT_WATCHING , C_SLEEPING ,  C_AWAYがそれぞれ設定されている。横軸は時刻ｔを示す時間軸である。なお、この時間軸は、図１１のＢ，Ｃとの共通時間軸である。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１７８
【補正方法】変更
【補正の内容】
【０１７８】
図１１のＢは、各時刻ｔにおける、視聴状態変数Ｓに対応する視聴状態の時間的推移を示す図である。図１１のＣは、提案行動変数Ａに対応する提案行動の時間的推移を示す図である。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１８１
【補正方法】変更
【補正の内容】
【０１８１】
時刻t1では、図５のコンテンツ提案処理のステップＳ２の視聴状況推定処理において、視聴状況変数Ｃの値は、図１１のＡに示される値、即ち、０以上閾値C_BORINGL1未満の範囲の値として推定演算される。よって、時刻t1におけるステップＳ３の視聴状態推定処理では、視聴状態変数Ｓとして値S_1が推定演算される（図８のステップＳ４１ＮＯ，Ｓ４７）。したがって、時刻t1における視聴状態は、値S_1に対応するWATCHINGとなる。よって、時刻t1のステップＳ４の提案行動決定処理により、提案行動変数Ａの値として値Ａ１が設定される（図１０のステップＳ６１ＹＥＳ，Ｓ６８）。したがって、時刻t1における提案行動は、値Ａに対応するDO NOTHINGとなる。このようにして、時刻t1において、提案行動変数Ａとして値Ａ１が演算される。ただし、それ以前の時刻t（例えばt0）でも提案行動変数Ａとしては、同一値Ａ１が演算されているので、時刻t1のステップＳ５の処理ではＮＯであると判定されて、処理はステップＳ１に戻され次の時刻tにおける一連の処理が開始されることになる。即ち、この場合、提案行動変数Ａの値Ａ１に従ったDO NOTHING（何もしない）の提案が継続されることになる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１８２
【補正方法】変更
【補正の内容】
【０１８２】
時刻t2では、図５のコンテンツ提案処理のステップＳ２の視聴状況推定処理において、視聴状況変数Ｃの値は、図１１のＡに示される値、即ち、閾値C_BORINGL1以上閾値C_BORINGL2未満の範囲の値として推定演算される。よって、時刻t2におけるステップＳ３の視聴状態推定処理では、視聴状態変数Ｓとして値S_2が推定演算される（図８のステップＳ４２ＮＯ，Ｓ４８）。したがって、時刻t2における視聴状態は、値S_2に対応するBORINGL1となる。よって、時刻t2のステップＳ４の提案行動決定処理により、提案行動変数Ａの値として値Ａ２が設定される（図１０のステップＳ６２ＹＥＳ，Ｓ６９）。したがって、時刻t2における提案行動は、値Ａに対応するVERIFYとなる。このようにして、時刻t2において、提案行動変数Ａとして値Ａ２が演算される。このようにして、時刻t2において、提案行動変数Ａとして値Ａ２が新たに演算されたので、ステップＳ５の処理でＹＥＳであると判定されて、次のステップＳ６の処理で、提案行動変数Ａの値Ａ２に従ってVERIFY（確認する）が提案されることになる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１８３
【補正方法】変更
【補正の内容】
【０１８３】
時刻t5では、図５のコンテンツ提案処理のステップＳ２の視聴状況推定処理において、視聴状況変数Ｃの値は、図１１のＡに示される値、即ち、閾値C_BORINGL2以上閾値C_NOT_WATCHING未満の範囲の値として推定演算される。よって、時刻t5におけるステップＳ３の視聴状態推定処理では、視聴状態変数Ｓとして値S_3が推定演算される（図８のステップＳ４３ＮＯ，Ｓ４９）。したがって、時刻t5における視聴状態は、値S_3に対応するBORINGL2となる。よって、時刻t5のステップＳ４の提案行動決定処理により、提案行動変数Ａの値として値Ａ３が設定される（図１０のステップＳ６３ＹＥＳ，Ｓ７０）。したがって、時刻t5における提案行動は、値Ａに対応するACTION1となる。このようにして、時刻t5において、提案行動変数Ａとして値Ａ３が演算される。このようにして、時刻t5において、提案行動変数Ａとして値Ａ３が新たに演算されたので、ステップＳ５の処理でＹＥＳであると判定されて、次のステップＳ６の処理で、提案行動変数Ａの値Ａ３に従ってACTION1（行動１）が提案されることになる。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０１９３
【補正方法】変更
【補正の内容】
【０１９３】
コンテンツ提案システム３は、図２のコンテンツ提案システム１に対してさらに、誘目
度情報更新部１９を含むように構成されている。
【手続補正２３】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2010154395.tif 000018
【手続補正２４】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2010154395.tif 000019
【手続補正２５】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図１０】
2010154395.tif 000020
【手続補正２６】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2010154395.tif 000021