(57)【要約】【課題】ユーザがコンテンツを視聴するときに、楽しみを倍加してくれるコンテンツ視聴システムを提供する。【解決手段】このコンテンツ視聴システムは、コンテンツ受信装置とコンテンツ視聴用家庭内機器（以下、視聴用機器という）とを通信可能としておき、コンテンツ受信装置は、受信したコンテンツの状況を解析するコンテンツ解析部と、視聴用機器から受信したユーザの状態を解析するユーザ行動解析部と、ユーザの状態とコンテンツの状況とに基づいて視聴用機器の動作を決定する行動生成部と、決定された動作を視聴用機器の動作指令へ変換して送信する動作指令生成部と、受信したコンテンツの映像や音響の出力タイミングと、視聴用機器の動作タイミングとを同期させる遅延処理部とを含んでいる。また、視聴用機器は、視聴するユーザの状態を取得して、コンテンツ受信装置に送信するとともに、受信した行動指令に基づいて当該視聴用機器を動作させる。【選択図】図１
2006245941.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツ受信装置とコンテンツ視聴用家庭内機器とを通信可能としたコンテンツ視聴システムにおいて、
前記コンテンツ受信装置は、受信したコンテンツの内容を解析するコンテンツ解析部と、前記コンテンツ視聴用家庭内機器から受信したユーザの状態を解析するユーザ行動解析部と、前記ユーザの状態と前記コンテンツの状況とに基づいて前記コンテンツ視聴用家庭内機器の行動を決定する行動生成部と、前記決定された行動を前記コンテンツ視聴用家庭内機器の動作指令へ変換して送信する動作指令生成部と、受信したコンテンツの映像や音響の出力タイミングと、前記コンテンツ視聴用家庭内機器の動作タイミングとを同期させる遅延処理部とを含み、
前記コンテンツ視聴用家庭内機器は、視聴するユーザの状態を取得して、前記コンテンツ受信装置に送信するとともに、前記コンテンツ受信装置から受信した動作指令に基づいて当該機器を動作させるようにしたことを特徴とするコンテンツ視聴システム。
【請求項２】
請求項１に記載のコンテンツ視聴システムにおいて、前記コンテンツ視聴用家庭内機器が取得する視聴するユーザの状態は、当該機器との対話、当該機器への質問、あるいは、ユーザのコンテンツに対する応援行為であることを特徴とするコンテンツ視聴システム。
【請求項３】
請求項１に記載のコンテンツ視聴システムにおいて、前記行動生成部は、コンテンツの過去の状況を保持し、該状況からコンテンツの視聴前における予測と、視聴途中での予測とを比較して、前記コンテンツ視聴用家庭内機器の動作を決定することを特徴とするコンテンツ視聴システム。
【請求項４】
請求項１に記載のコンテンツ視聴システムにおいて、コンテンツを解析するための知識情報や前記コンテンツ視聴用家庭内機器の行動を決定するための知識情報を保持し、適切な知識情報を持たない場合には外部から取得して更新するようにしたことを特徴とするコンテンツ視聴システム。
【請求項５】
請求項１に記載のコンテンツ視聴システムにおいて、コンテンツを解析するための知識情報や前記コンテンツ視聴用家庭内機器の動作を決定するための知識情報を保持し、外部において知識情報の更新があった場合には、外部から取得して更新するようにしたことを特徴とするコンテンツ視聴システム。
【請求項６】
請求項１に記載のコンテンツ視聴システムにおいて、前記行動生成部で生成した行動と、前記コンテンツ視聴用家庭内機器の動作指令との対応を動作指令データベースとして保持し、前記動作指令生成部は、該動作指令データベースを参照して、前記行動生成部で生成した行動を動作指令へ変換することを特徴とするコンテンツ視聴システム。
【請求項７】
請求項６に記載のコンテンツ視聴システムにおいて、前記動作指令データベースは、前記コンテンツ視聴用家庭内機器が動作するための適切な動作指令を持たない場合は、外部から取得するようにしたことを特徴とするコンテンツ視聴システム。
【請求項８】
請求項６に記載のコンテンツ視聴システムにおいて、前記動作指令データベースは、外部において動作指令の更新があった場合には、外部から取得して更新するようにしたことを特徴とするコンテンツ視聴システム。
【請求項９】
請求項１に記載のコンテンツ視聴システムにおいて、前記行動生成部は、放送からくる現在の状況情報とインターネット経由で受信する状況情報を利用して、前記コンテンツ視聴用家庭内機器の行動を決定することを特徴とするコンテンツ視聴システム。
【請求項１０】
請求項１に記載のコンテンツ視聴システムにおいて、前記行動生成部は、ユーザの状態あるいはコンテンツの状況に応じて、前記コンテンツ視聴用家庭内機器からユーザへ話しかけるようにしたことを特徴とするコンテンツ視聴システム。
【請求項１１】
請求項１に記載のコンテンツ視聴システムにおいて、前記行動生成部は、受信したコンテンツの送信元に応じて、前記コンテンツ視聴用家庭内機器の行動を異ならせるようにしたことを特徴とするコンテンツ視聴システム。
【請求項１２】
請求項１に記載のコンテンツ視聴システムにおいて、コンテンツに対するユーザの視聴履歴を保持し、前記行動生成部は、同じコンテンツを複数回視聴した場合、前記コンテンツ視聴用家庭内機器の動作をそれぞれの視聴回ごとに異ならせるようにしたことを特徴とするコンテンツ視聴システム。
【請求項１３】
請求項１に記載のコンテンツ視聴システムにおいて、複数台のコンテンツ視聴用家庭内機器を有し、前記遅延処理部は、これらの家庭内機器の動作タイミングと、受信したコンテンツの映像や音響の出力タイミングを同期させるようにしたことを特徴とするコンテンツ視聴システム。
【請求項１４】
請求項１に記載のコンテンツ視聴システムにおいて、第１のコンテンツ視聴用家庭内機器と、該第１のコンテンツ視聴用家庭内機器とは別の場所に設置した第２のコンテンツ視聴用家庭内機器とを有し、前記遅延処理部は、これらの第１および第２のコンテンツ視聴用家庭内機器の動作タイミングと、受信したコンテンツの映像や音響の出力タイミングを同期させるようにしたことを特徴とするコンテンツ視聴システム。
【請求項１５】
請求項１３または１４に記載のコンテンツ視聴システムにおいて、複数台の前記コンテンツ視聴用家庭内機器に異なる動作を行わせるようにしたことを特徴とするコンテンツ視聴システム。
【請求項１６】
コンテンツ視聴用家庭内機器を接続したコンテンツ受信装置において、受信したコンテンツの状況を解析するコンテンツ解析部と、前記コンテンツ視聴用家庭内機器から受信したユーザの状態を解析するユーザ行動解析部と、前記ユーザの状態と前記コンテンツの状況とに基づいて前記コンテンツ視聴用家庭内機器の行動を決定する行動生成部と、前記決定された行動を前記コンテンツ視聴用家庭内機器の動作指令へ変換して送信する動作指令生成部と、受信したコンテンツの映像や音響の出力タイミングと、前記コンテンツ視聴用家庭内機器の動作タイミングとを同期させる遅延処理部とを含み、前記動作指令生成部が生成した動作指令に基づいて前記コンテンツ視聴用家庭内機器を動作させるようにしたことを特徴とするコンテンツ受信装置。
【請求項１７】
受信したコンテンツの状況とユーザの状態とに基づいて自身の動作を決定し、受信したコンテンツの映像や音響の出力タイミングと、自身の動作タイミングとを同期させて、決定した動作を実行するようにしたことを特徴とするコンテンツ視聴用家庭内機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ視聴システム、コンテンツ受信装置およびコンテンツ視聴用家庭内機器に関し、具体的には、ロボット（物理的なロボット、ＣＧなどのキャラクタ）に代表される家庭内機器と一緒にコンテンツを視聴するときに使用されるものである。
【背景技術】
【０００２】
昨今、パーソナルコンピュータやＤＶＤプレイヤ等のデジタル機器が普及し、ブロードバンドの普及による高速ネットワーク化が進み、さらには、デジタル放送が開始された状況で、デジタルコンテンツ提供サービスを利用するにあたって、ユーザを取り巻く環境が大きく変化しようとしている。
【０００３】
しかし、現在のテレビ放送では、放送局で作成されたコンテンツを家庭にあるテレビ受信機で受信して、ディスプレイに表示するだけであり、視聴者は番組制作者が意図した映像・音響情報のみしか視聴できない。
【０００４】
これを解決する方法として、特許文献１では、放送局側で、キャラクタの動作情報を入力して配信すると同時に、背景映像を入力して配信する。受信機側では、予め保存された複数のキャラクタ・モデルから１つを選択し、該モデルと受信された動作情報を用いてキャラクタ映像を生成し、キャラクタ映像と受信された背景映像を合成し表示する。これにより、視聴者が、好みのキャラクタを選択し、放送されている番組を、同キャラクタが出演する番組として視聴可能とするための手段を提供している。
【０００５】
また、特許文献２では、放送局から配信された映像情報と動作情報を受信機で受信し、映像情報をテレビ等の映像表示装置へ出力すると同時に、該動作情報に含まれる同期情報を基に映像情報に同期して該動作情報に含まれる動作指令をロボットへ出力する。これにより、視聴者が所有するロボットと放送される番組が対話したり、協調したりする映像・音響情報のみではない番組を視聴可能とするための手段を提供している。
【特許文献１】特開２０００−１８４３３９号公報
【特許文献２】特開２００３−１６９３０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の特許文献１，２のいずれにおいても、キャラクタやロボットへの動作信号は放送局から送られることを前提としており、放送局から送られた動作信号の通りに動くようになっている。即ち、番組と連動して動作を行うキャラクタやロボットは、動作、発話など、今までの視聴環境（映像、音響）とは異なるモダリティを提供しているが、放送局から配信された決められた動作しか行えないため、機器の振る舞いは固定されており、テレビを一緒に見ているという感覚よりもむしろ、テレビの表現手段が増えたというイメージである。
【０００７】
したがって、テレビを一緒に見ているという感覚にまで昇華させるためには、放送局から動作情報を送出するのではなく、あくまで家庭内機器（もしくは家庭内の受信機、ロボット、コンピュータなど）がその動作を生成する必要がある。
【０００８】
本発明は、上述のような実情を考慮してなされたものであって、ユーザがコンテンツを視聴するときに、楽しみを倍加してくれるコンテンツ視聴システム、コンテンツ受信装置およびコンテンツ視聴用家庭内機器を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、コンテンツ受信装置とコンテンツ視聴用家庭内機器とを通信可能として接続し、これらの装置を次のように構成する。
コンテンツ受信装置は、受信したコンテンツの内容を解析するコンテンツ解析部と、コンテンツ視聴用家庭内機器から受信したユーザの状態を解析するユーザ行動解析部と、ユーザの状態とコンテンツの状況とに基づいてコンテンツ視聴用家庭内機器の動作を決定する行動生成部と、決定された動作をコンテンツ視聴用家庭内機器の動作指令へ変換して送信する動作指令生成部と、受信したコンテンツの映像や音響の出力タイミングと、コンテンツ視聴用家庭内機器の動作タイミングとを同期させる遅延処理部とを含んで構成する。
また、コンテンツ視聴用家庭内機器は、当該機器との対話、当該機器への質問、あるいは、ユーザのコンテンツに対する応援行為を取得して、コンテンツ受信装置に送信するとともに、コンテンツ受信装置から受信した行動指令に基づいて当該機器を動作させるように構成する。ここでの応援行為とは、応援の身振り手振りなどの動作だけではなく、しぐさや、うなづき、あいづち、声による発話（ユーザからロボットへの発話、問いかけ、コンテンツの視聴に対するユーザの発話）が含まれる。
【００１０】
この行動生成部は、次のような場合に応じてコンテンツ視聴用家庭内機器の動作を決定する。
（１）コンテンツの過去の状況を保持し、該状況からコンテンツの視聴前における予測と、視聴途中での予測とを比較して決定する。
（２）放送からくる現在の状況情報とインターネット経由で受信する状況情報を利用して決定する。
（３）ユーザの状態あるいはコンテンツの状況に応じて、当該機器からユーザへ話しかける。
（４）受信したコンテンツの送信元（放送番組、ポータルサイトあるいは記録媒体等）に応じて、当該機器の動作を異ならせる。
（５）コンテンツに対するユーザの視聴履歴を保持し、同じコンテンツを複数回視聴した場合、動作をそれぞれの視聴回ごとに異ならせる。
【００１１】
動作指令生成部は、行動生成部で生成した行動と、コンテンツ視聴用家庭内機器の動作指令とを対応させて記憶した動作指令データベースを参照して、行動生成部で生成した行動を動作指令へ変換する。
【００１２】
ここで、コンテンツ解析部や行動生成部で使用される、コンテンツを解析するための知識情報、あるいは、コンテンツ視聴用家庭内機器の行動を決定するための知識情報は、適切な知識情報を持たない場合には外部（ポータルサイト、放送番組あるいは記録媒体等）から取得して更新する。また、外部において知識情報の更新があった場合には、外部から取得して更新するようにした。
さらに、動作指令データベースがコンテンツ視聴用家庭内機器を動作させるために適切な行動指令を持たない場合には、外部（ポータルサイト、放送番組あるいは記録媒体等）から取得して更新する。また、外部において動作指令の更新があった場合には、外部から取得して動作指令データベースを更新する。
【００１３】
また、遅延処理部は、ユーザの傍にコンテンツ視聴用家庭内機器を複数台設置した場合や、ユーザの傍と離れたところにコンテンツ視聴用家庭内機器を複数台設置した場合は、これらの家庭内機器の動作タイミングと、受信したコンテンツの映像や音響の出力タイミングを同期させるようにした。
ここで、複数台のコンテンツ視聴用家庭内機器の動作は必ずしも同期する必要はなく、異なったものであってもかまわない。
【発明の効果】
【００１４】
本発明によれば、これまでの視聴するためだけの放送やコンテンツから、ユーザがロボット等の家庭内機器と対話したり、一緒に番組を視聴し応援したり、番組のデータ放送と連動して番組に参加したりするというデジタル放送時代の新しい楽しみ方が実現できる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、本発明の好適な実施形態について説明する。
【００１６】
図１は、本発明の実施形態に係るコンテンツ視聴システムの構成図である。同図において、家庭には、家庭内ＬＡＮ１０７を介して、ホームゲートウェイ１０５、記録再生装置１０６、コンテンツ受信装置１００が接続されて設置されている。
このホームゲートウェイ１０５は、コンテンツ受信装置１００の要求に応じてインターネットを介して情報を授受する。また、ポータルサイト１０２やインターネット放送局１０３の送信要求（プッシュ型配信）に応じて、コンテンツ受信装置１００と情報を授受する。
記録再生装置１０６は、放送やネットワーク配信されたコンテンツを、記録媒体（ＤＶＤやＢＤなど）に記録したり、その記録されたコンテンツを再生する。
【００１７】
また、コンテンツ受信装置１００には、映像や音響を出力するディスプレイ／スピーカ（通常のテレビジョンでも可）１２５、ロボット等のコンテンツ視聴用家庭内機器１２６が接続している。このコンテンツ受信装置１００と家庭内機器１２６の接続形態は、有線による接続だけでなく、無線（例えば、無線ＬＡＮ、赤外線、ブルートゥース等）による接続であっても構わない。
【００１８】
このコンテンツ受信装置１００は、コンテンツ受信部１０８、データ受信部１０９、遅延処理部１１０、コンテンツ解析部１１１、行動生成部１１２、動作指令生成部１１３、ユーザ行動解析部１１４、対話エンジン部１１５、ユーザ情報設定部１１６、および各種データベース（以下、データベースをＤＢと略記する）１１７等から構成される。
各種ＤＢ１１７には、コンテンツ知識ＤＢ１１８、個性ＤＢ１１９、視聴履歴ＤＢ１２０、ユーザ情報ＤＢ１２１、行動ＤＢ１２３、動作指令ＤＢ１２４が含まれている。
【００１９】
また、コンテンツ視聴用家庭内機器１２６は、動作指令生成部１１３で生成された動作指令にしたがって動作する物理的に存在するロボットやＣＧ等により表現される仮想キャラクタである。本実施形態では、コンテンツ視聴用家庭内機器を物理的なロボットとして説明するが、これに限定されるものではなく、ユーザからは見えない場所で機能するロボット（センサ型ロボット）についてももちろん適用することができる。
【００２０】
また、このコンテンツ視聴用家庭内機器１２６には、ユーザの様子を観察、取得するセンサ（例えば、カメラやマイクや赤外線センサなど）が備えられており、ここで取得したユーザの映像や音声、位置情報、動き量の情報などに代表されるユーザ情報は随時コンテンツ受信装置１００のユーザ行動解析部１１４へ送信される。
【００２１】
さらに、コンテンツ視聴用家庭内機器１２６を動作させるために、個性ＤＢ１１９、行動ＤＢ１２３と動作指令ＤＢ１２４を利用する。
個性ＤＢ１１９は、コンテンツ視聴用家庭内機器（ロボット）１２６ごとの嗜好を表すデータベースである。例えば、野球であればどのチーム、どの選手をひいきにしているか、応援の方法などのデータを格納する。これにより、ロボットはユーザと独立した価値観を持って応援、対話することができる。
【００２２】
行動ＤＢ１２３は、コンテンツの状況、ユーザの状況などから、コンテンツ視聴用家庭内機器１２６ごとに自身の行なう行動を決定する際に利用するデータベースである。例えば、試合中にヒットが出た場合に、「拍手をする」といった行動を生成する際に利用される。
【００２３】
また、動作指令ＤＢ１２４（図２）は、コンテンツ視聴用家庭内機器ごとに、行動生成部１１２で生成された抽象度の高い動作（例えば、拍手や手を振り上げる動作等）と、実際のモータ制御の具体的なモータ駆動信号に変換するためデータ（例えば、関節角度のシーケンス）とを対応させて保持するデータベースである。例えば、「拍手をする」という動作は、はじめに「関節１をx1°」および「関節２をy1°」回転させ、次に「関節１をx2°」および「関節２をy2°」回転させるというように変換する。
これらの動作ＤＢ１２３や動作指令ＤＢ１２４は、ポータルサイト、放送番組あるいは記録媒体から更新することができる。
【００２４】
次に、コンテンツ受信装置１００について詳細に説明する。
コンテンツ受信装置１００は、電源が供給されると、ユーザの視聴有無とは独立に、ユーザの番組の好みや指定された特定番組ジャンルの放送有無についてＥＰＧ（Electronic Program Guide）など、放送番組情報を提供している媒体を利用して調べ、現在放送中の該当番組がある場合には、これに対応可能なコンテンツ知識や家庭内機器の行動データベースの有無を調べ、既にあればアップデート情報を確認して、更新情報が存在する場合には更新する。対応可能でない場合には、当該データベースの受信を開始する。
あるいは、現在放送中の該当番組がない場合には、最も早く放送される番組に対応可能なコンテンツ知識や家庭内機器の行動データベースの有無を調べ、上記同様に、データベースの更新を行う。
ここで、新規に取得されるデータあるいは更新されるデータは、ポータルサイト、放送番組あるいは記録媒体に保持されている。
【００２５】
これにより、コンテンツ知識や行動データベースといった大規模データの受信を予め行なっておくことができ、ユーザはストレスなくサービスを享受することができる。また、既に存在するコンテンツ知識や行動データベースを常に最新の状態に保つことができ、例えば、野球や相撲中継の場合、本日の予告先発や本日の取組みといった知識を提供することができる。
【００２６】
その後、コンテンツ受信装置１００は、放送局１０１やインターネット放送局１０３から放送波を受信したり、あるいは記録再生装置１０６でコンテンツを再生したり、ポータルサイト１０２に保持したコンテンツを読み込んで、コンテンツの映像や音響等をディスプレイ／スピーカ１２５へ出力するとともに、ロボット等のコンテンツ視聴用家庭内機器１２６を同期させながら動作させる。
【００２７】
コンテンツ受信部１０８は、放送局１０１からの放送波を、アンテナを介してチューナで受信し、コンテンツ情報、データ情報および映像・音響情報にデコードして、コンテンツ情報はコンテンツ解析部１１１へ、データ情報はデータの種類に対応するデータベースを更新し、映像・音響情報は遅延処理部１１０へ渡される。
【００２８】
データ受信部１０９は、ポータルサイト１０２から取得したデータがコンテンツに関するものであるときには、コンテンツ情報および映像・音響情報にデコードして、コンテンツ情報はコンテンツ解析部１１１へ、映像・音響情報は遅延処理部１１０へ渡される。また、ポータルサイト１０２から取得したデータがコンテンツ以外のときには、データの種類に対応するデータベースを更新する。
【００２９】
さらに、データ受信部１０９は、インターネット放送局１０３から取得したコンテンツ、あるいは、記録再生装置１０６で再生されたコンテンツについては、このコンテンツをコンテンツ情報、データ情報および映像・音響情報にデコードして、コンテンツ情報はコンテンツ解析部１１１へ、データ情報はデータの種類に対応するデータベースを更新し、映像・音響情報は遅延処理部１１０へ渡される。
【００３０】
コンテンツ知識ＤＢ１１８は、コンテンツの種類ごとに、コンテンツを理解するためのコンテンツ知識が保持され、コンテンツ中のイベント認識、ユーザからの質問に対する答えの検索、対話文生成のための知識データベース、行動生成のためのデータベースとして利用される。このようなコンテンツ知識は、放送番組、ポータルサイトや記録媒体等からデータを取得することができるので、新しい種類のコンテンツやルール変更などがあった場合においても対応することができる。
【００３１】
例えば、コンテンツ知識ＤＢ１１８には、コンテンツの種類を「相撲」とした場合、図３に示したように、相撲規則、相撲用語、試合の流れ、決まり手、番付、力士情報、取組表、豆知識などが含まれる。また、それぞれの項目は、例えば、力士情報であれば、所属部屋、本名、四股名、生年月日、今場所の成績、得意技等の情報を、さらに戦歴であれば、生涯成績、幕内戦歴、幕内優勝、相手との戦歴等の情報を階層的に保持する。
【００３２】
さらに、コンテンツの種類が野球やサッカーなど、観客が選手に対して応援歌により働きかけるようなスポーツにおいては、応援歌の歌詞、メロディー、ダンスなどを蓄積してもよい。このようなデータを含むことで、バッターが打席に入ったときの応援をロボット等のコンテンツ視聴用家庭内機器１２６に行なわせることができ、ユーザはその様子を見ることでよりコンテンツに没入することができる。
【００３３】
コンテンツ受信部１０８やデータ受信部１０９でデコードしたものが、動作指令に関する場合には、アップデート情報を確認し、更新情報が存在すれば動作指令ＤＢ１２４を更新する。このように、更新する機能を持たせることで、新しい動作のスタイルを外部から取得し、よりコンテンツに適した動作を実現することができる。
【００３４】
遅延処理部１１０は、コンテンツ解析に必要な時間、行動生成に必要な時間、動作指令生成に必要な時間、家庭内機器の動作遅れ、ディスプレイ系の遅れおよび通信系による遅れ等により、映像・音響情報の出力と家庭内機器の動作の間で同期しなくなるため、映像・音響情報を一時蓄積し、コンテンツ知識ＤＢ１１８に記録されているディレイ時間分遅延してディスプレイ／スピーカ１２５へ出力する。
これらのディレイ時間は、テーブルに固定的に設定したり、ユーザが予め設定したりしてもよいし、また、ロボット等の家庭内機器が動作するまでの遅延時間を自動取得して設定してもよい。
【００３５】
コンテンツ解析部１１１は、現在視聴している番組を確認し、該当するコンテンツ知識ＤＢ１１８を読み込み、この知識ベースをもとに、渡されたコンテンツ中のイベントを認識して、認識結果を行動生成部１１２へ渡す。認識方法としては、コンテンツの画像認識、音声認識、字幕情報の解析などを用いた特徴シーンの抽出およびそのシーンの注釈付けなどを用いる。
また、コンテンツ解析部１１１は、取得した試合の状況をコンテンツ知識ＤＢ１１８へ記憶する。
【００３６】
ユーザ行動解析部１１４は、ロボット等の家庭内機器１２６から受信したユーザの映像・音声に代表される情報を解析し、ユーザの状態を家庭内機器１２６との対話、家庭内機器１２６への質問、ディスプレイ／スピーカ１２５への発話等の状態に認識する。この認識には、ユーザを観察する際に通常良く用いられる画像認識、音声認識のほかに、血圧、縮瞳率などの生体指標等を用いてもよい。
家庭内機器１２６との対話の場合には対話文の解析・生成を行い、質問の場合には対話エンジン部１１５によってユーザからの質問の回答を検索し、ディスプレイ／スピーカ１２５への発話（即ち、放送された内容に対するユーザの声援等の反応）の場合には応援強度認識を行って、それぞれ行動生成部１１２へ渡す。
また、ユーザ行動解析部１１４は、得られたユーザ情報をユーザに対応させてユーザ情報ＤＢ１２１へ格納する。
【００３７】
行動生成部１１２は、コンテンツ解析部１１１で解析されたコンテンツのイベント状況を取得し、ユーザ行動解析部１１４からユーザの状態を取得する。この取得結果と現在の試合の情報とインターネット経由でとれる試合に関する記事を利用し、ユーザ情報ＤＢ１２１および個性ＤＢ１１９を参照して、行動戦略を決定する。
また、ユーザの状態やコンテンツの状況に応じてユーザに話しかけるようにしてもよい。例えば、試合前や試合の途中で対戦結果の予測を行って、応援や対話を行う行動戦略を決定するようにしてもよい。
【００３８】
行動戦略決定後は、各戦略ごとにコンテンツ知識ＤＢ１１８、ユーザ情報ＤＢ１２１および行動ＤＢ１２３を参照し、家庭内機器１２６を動かす行動情報を生成して動作指令生成部１１３へ渡す。ここでいう行動とは、対話の場合であれば、ユーザへ話しかける適切な対話文の生成および行動を選択する。また、質問に対する回答であれば、ユーザの対話文中に含まれる質問をもとに、コンテンツ知識ＤＢ１１８やポータルサイト１０２を検索して、対話文の生成および行動を選択する。また、応援動作であれば、コンテンツおよびユーザに適切な動作、歓声などを生成する。
【００３９】
また、ユーザと家庭内機器との対話や家庭内機器への質問をしている際に、家庭内機器から情報提供されたタイミングと、コンテンツ解析部１１１からのコンテンツの状況の変化のタイミングとが一致したときには、いずれかへの対応の順番を決定し、その順序で家庭内機器の動作を行わせるようにする。
【００４０】
例えば、家庭内機器に対してユーザが選手の成績等を問い合わせているときに、その選手がホームランを打った場合には、家庭内機器では成績を先に表示させるのではなく、喜びを示す動作や歓声等を行ってから、選手の成績を表示するように、情報提供の順序を変更させる。
【００４１】
また、これまでに視聴したコンテンツの放送時間帯、録画されたものか、何回目の視聴であるかを視聴履歴ＤＢ１２０に記録しておき、履歴に応じて、録画コンテンツとライブ放送とで応援のパターンを変えるようにする。
例えば、応援のパターンは１回〜４回までは持っているが、５回目以降は、乱数で応援の種類を決めたり、ポータルサイトから新しい応援パターンをダウンロードして応援するようにする。
【００４２】
これにより、同じコンテンツを２度以上視聴しても、同じ動作を行わないようにできる。また、視聴履歴を参照することによって、ユーザから問い合わせがなくてもロボット等の家庭内機器１２６から話しかけるようにすることもできる。
【００４３】
動作指令生成部１１３は、動作指令ＤＢ１２４を参照して、渡された行動情報に対応する動作を実現するための動作指令を生成して、家庭内機器１２６へ送信する。
例えば、図２を参照すると、抽象的な行動を物理的なロボットで言えばモータを何度動かすといったロボットの部位を駆動するのに必要な動作指令列を生成する。
家庭内機器１２６では、この動作指令に従いモータを駆動していくことで、当該機器を動作させることができる。
【００４４】
ユーザ情報設定部１１６は、コンテンツ視聴システムを利用するユーザ自身によって操作され、または、コンテンツ解析部１１１の結果とユーザ行動解析部１１４での結果から生成され、ユーザごとに、名前、年齢などの個人プロフィール情報、好きなチーム、選手などの嗜好情報等をユーザ情報ＤＢ１２１に設定する（図４参照）。
【００４５】
このユーザ情報ＤＢ１２１は、次のような場合に利用する。
例えば、ユーザ情報ＤＢ１２１にユーザの好きなチームに関する情報を設定しておき、ロボット等の家庭内機器１２６がユーザのパートナとして動作するときには、喜びの歓声をあげるべきか、あるいは落胆のしぐさをとるべきかの戦略を決定することができる。
これにより、一緒にコンテンツを視聴するロボットとしては、ユーザの気持ちを考慮した動作ができる。また、ユーザとロボットとが対立する立場で応援する場合にも、コンテンツの状況に応じて、ユーザの気持ちとは反対の動作を行える。
【００４６】
上記のような構成とすることにより、コンテンツの状況、ユーザの状況、ユーザの嗜好に適したコンテンツ視聴システムを実現することができる。つまり、ロボット等の家庭内機器と一緒にコンテンツを視聴するシステムを提供することができる。
【００４７】
以下、本実施形態における動作について説明する。
図５は、コンテンツ視聴システムの動作を示すフローチャートである。
まず、システムへ電源が供給されると、ユーザの視聴有無とは独立にデータベースの更新を開始する（ステップＳ２０１）。
ここで、ユーザの番組の好みや指定された特定番組ジャンルの放送有無についてＥＰＧ（Electronic Program Guide）など、放送番組情報を提供している媒体を利用して調べ、現在放送中の該当番組がある場合には、これに対応可能なコンテンツ知識や家庭内機器の行動データベースの有無を調べ、既にあればアップデート情報を確認して、更新情報が存在する場合には更新する。対応可能でない場合には、当該データベースの受信を開始する。
あるいは、現在放送中の該当番組がない場合には、最も早く放送される番組に対応可能なコンテンツ知識や家庭内機器の行動データベースの有無を調べ、上記同様に、データベースの更新を行う。
【００４８】
ＴＶ（ディスプレイ／スピーカ１２５）の電源がＯｆｆの場合には（ステップＳ２０２のＯｆｆ）、ステップＳ２０１へ戻る。
また、ロボット等の家庭内機器の電源がＯｆｆであれば（ステップＳ２０３のＯｆｆ）、通常のＴＶの視聴中であるとして、ステップＳ２０１へ戻る。
【００４９】
ロボット等の家庭内機器の電源がＯｎとなると（ステップＳ２０３のＯｎ）、ディレイ処理を開始する（ステップＳ２０４）。
このディレイ処理は、コンテンツ知識ＤＢ１１８に記録されているディレイ時間を読み出して設定し、このディレイ時間が経過後に、ロボット等の家庭内機器とユーザとが一緒になって中継を視聴開始できるようになる。
【００５０】
放送局１０１やインターネット放送局１０３からの放送波を受信したり、あるいは記録再生装置１０６でコンテンツを再生したり、ポータルサイト１０２に保持したコンテンツを読み込み、このコンテンツ情報を解析してコンテンツの状況を取得し（ステップＳ２０６）、解析したコンテンツの状況をコンテンツ知識ＤＢ１１８へ格納する（ステップＳ２０５）。
【００５１】
次に、ユーザ行動を解析してユーザの状態を取得し（ステップＳ２０７）、そのユーザ状態をユーザ情報ＤＢ１２１へ格納する（ステップＳ２０８）。
ここで、コンテンツ情報解析（ステップＳ２０５とＳ２０６）とユーザ行動解析（ステップＳ２０７とＳ２０８）とは、逆順に実行されてもかまわない（即ち、並行に実行されてもよい）。
【００５２】
これにより、コンテンツの状況およびユーザの状態から家庭内機器の行動戦略を決定する（ステップＳ２０９）。
行動戦略決定後は、各戦略ごとにコンテンツ知識を参照し、ユーザ情報ＤＢや個性ＤＢを参照して、家庭内機器の行動を決定する。ここでいう行動とは、対話の場合であれば、ユーザへ話しかける適切な対話文の生成および行動の選択を意味し、質問に対する回答であれば、ユーザの対話文中に含まれる質問をもとに対話エンジン部１１５を使って、コンテンツ知識やポータルサイトを検索し、対話文の生成、行動の選択を意味し、応援動作であればコンテンツおよびユーザに適切な動作、歓声などの生成を意味する。
【００５３】
行動の決定を受けて、動作指令ＤＢ１２４を参照して、行動（拍手や手を振り上げる動作など）と実際の動作を実現するためのデータ、例えば、関節角度のシーケンスを生成して、家庭内機器１２６へ送信する（ステップＳ２１０）。
家庭内機器１２６では、予め設定したディレイ時間分遅延して表示されているコンテンツに対して、受信した動作指令のタイミングが合うように時間調整してから（ステップＳ２１１）、動作指令に従ってモータを駆動する（ステップＳ２１２）。
【００５４】
次に、図６は、コンテンツ知識を外部から取得するときの動作を示すフローチャートである。
受信したコンテンツに必要となるコンテンツ知識が蓄積されているかを確認し（ステップＳ３０１）、このコンテンツ知識が存在する場合（ステップＳ３０２のＹＥＳ）、アップデート情報を受信し（ステップＳ３０３）、アップデート情報が存在する場合（ステップＳ３０５のＹＥＳ）には、このアップデート情報でコンテンツ知識ＤＢ１１８を更新する（ステップＳ３０６）。
一方、アップデート情報がなければ（ステップＳ３０５のＮＯ）、処理を終了する。
他方、コンテンツ知識が存在しない場合（ステップＳ３０２のＮＯ）は、コンテンツ知識をダウンロードしてコンテンツ知識ＤＢ１１８へ記憶し（ステップＳ３０４）、処理を終了する。
【００５５】
これにより、コンテンツを理解するためのコンテンツ知識がコンテンツの種類ごとに保持されるとともに、システムに既に存在するコンテンツ知識ＤＢを常に最新の状態に保つことができるので、例えば、本日の予告先発や本日の取組みといった知識を提供することができる。
【００５６】
図７は、コンテンツ解析部１１１の動作を示すフローチャートである。
現在視聴している番組のジャンルを確認し（ステップＳ７０１）、該当するコンテンツ知識（映像文法、音声文法、字幕文法等）を読み込む（ステップＳ７０２）。
そのコンテンツ知識をもとに、画像認識、音声認識、字幕情報の解析などを用いた特徴シーンの抽出やそのシーンの注釈付けなどによって、試合の流れを認識するとともに、試合の流れをコンテンツ知識ＤＢ１１８へ格納する（ステップＳ７０３）。
試合の流れの中にイベントが発生していることを検出したときは（ステップＳ７０４のＹＥＳ）、イベントの状況を出力する（ステップＳ７０５）。
【００５７】
図８は、ユーザ行動解析部の動作を示すフローチャートである。
ロボット等の家庭内機器から送られてきた音声情報を音声認識して、ユーザの発話文を解析する（ステップＳ８０１）。
また、ロボット等の家庭内機器から送られてきた映像・音声情報を、画像認識、音声認識や、血圧、縮瞳率などの生体指標等を用いて、ユーザのしぐさや動作から盛り上がり度を検出する（ステップＳ８０２）。
このユーザの盛り上がり度は、例えば、コンテンツへの集中度／散漫度、応援の強度、発話の強度、発話速度等、行動生成部１１２で必要となる情報である。
【００５８】
ユーザが「家庭内機器との対話」や「家庭内機器への質問」であった場合（ステップＳ８０３のＹＥＳ）、対話エンジン部１１５を動作させる（ステップＳ８０４）。
【００５９】
図９は、対話エンジン部１１５の動作を示すフローチャートである。
ユーザが家庭内機器へ発話した内容が質問であった場合（ステップＳ９０１のＹＥＳ）、ユーザの対話文中に含まれる質問をもとにコンテンツ知識ＤＢ１１８やポータルサイトを検索し（ステップＳ９０２）、回答の対話文を生成する（ステップＳ９０３）。
一方、ユーザが家庭内機器へ発話した内容が質問でなかった場合（ステップＳ９０１のＮＯ）、ユーザへ話しかける適切な対話文を生成する（ステップＳ９０３）。
【００６０】
上述の実施形態では、ユーザとコンテンツ視聴用家庭内機器とを、１対１に対応させていたが、次のように１人のユーザに対して複数台の家庭内機器を対応させた構成としてもよい。以下の説明では、コンテンツ視聴用家庭内機器をロボットと表現することにするが、このロボットは物理的なロボットやＣＧなどのキャラクタのいずれであってもよい。
【００６１】
（１）ユーザの傍に複数台のロボットを置く場合：
図１０（Ａ）に示すように、ユーザの嗜好に合わせたパートナとなるロボットＡと、このロボットＡとは動作を異にするロボットＢとを用意する。
例えば、野球の試合の番組を視聴するときに、ロボットＡはユーザ自身と同じチームの応援をし、ロボットＢには相手のチームを応援させるようにする場合が考えられる。
また、上例において、ロボットＡには声援や応援動作を行わせ、ロボットＢには選手の戦績、予想等を質問する役割や野球解説者の役割を持たせるようにしてもよい。
【００６２】
また、各ユーザがそれぞれパートナとして１台乃至複数台のロボットを対応付けて、同じコンテンツを同時に視聴することもできる。ユーザとロボットとの対応付けは、例えば、各ユーザに識別可能な無線タグを所持させ、この無線タグを各ロボットに識別させる。
このように、複数のロボットに別々の役割を持たせて、さらに、映像の表示や音響の出力と各ロボットの動作タイミングを同期させることによって、コンテンツを視聴するときの楽しみを盛り上げてくれる。
【００６３】
（２）ユーザの傍と離れた場所に複数台のロボットを置く場合：
図１０（Ｂ）に示すように、ユーザＡと離れた場所にいる友人のユーザＢとが同じコンテンツを同時に視聴するとき、例えば、それぞれのお気に入りの野球チームの試合を見るときを想定する。
このとき、ユーザＡのパートナとなるロボットＡ１と、このロボットＡ１と同じ動作をするロボットＡ２とを用意し、このロボットＡ２をユーザＢの傍に置く。また、ユーザＢのパートナとなるロボットＢ１と、このロボットＢ１と同じ動作をするロボットＢ２とを用意し、このロボットＢ２をユーザＡの傍に置く。
【００６４】
さらに、ロボットＡ１とＡ２、乃至、ロボットＢ１とＢ２とは、インターネット等を介して通信可能としておく。
そして、これらのすべてのロボットと各家庭におかれたディスプレイ（ＴＶ）とがすべて同期した状態で動作するようにする。
【００６５】
このように、離れた場所に自分の分身のようなロボットを置くことによって、友人が傍にいなくとも、コンテンツを視聴するときの楽しみが倍加したものとなる。
【００６６】
また、上述した実施形態は、１台のコンテンツ受信装置ですべてのロボットの動作を制御するように、コンテンツ受信装置と家庭内機器とを機能分担させているが、これに限ったものではない。
例えば、コンテンツ受信装置では、放送局からの放送の受信やこれまでのユーザの履歴やすべてのコンテンツのコンテンツ知識等のデータベースを保持するようにし、受信あるいは読み取ったコンテンツの状況解析、遅延処理までを行う。ロボットでは、コンテンツ受信装置から送られてきた１つのコンテンツの状況解析およびコンテンツ知識や視聴履歴から自分自身の行動を決定して動作を行うとともに、ユーザの状態に応じて、対話や応援の動作を行う。
【００６７】
さらに、コンテンツ視聴用家庭内機器がコンテンツ受信装置の全てを含むようにしてもよい。
さらに、インターネット上のポータルサイト等に、各種データベース１１７をユーザに共通なＤＢと個別に用意するＤＢとに分けて用意し、コンテンツ解析部１１１、行動生成部１１２、動作指令生成部１１３、対話エンジン部１１５やユーザ行動解析部１１４についても、各家庭、各ユーザ毎に用意し、家庭内には、コンテンツ視聴用家庭内機器１２６、ディスプレイ／スピーカ１２５があるだけの構成でもよい。もちろん、コンテンツ視聴用家庭内機器１２６にディスプレイ／スピーカ１２５が含まれてもよい。また、逆にディスプレイ／スピーカ１２５にコンテンツ視聴用家庭内機器１２６が含まれてもよい。
【００６８】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能であるのは勿論である。
例えば、本発明のコンテンツ受信装置を、家庭内の家電機器以外、例えば、テレビの中のソフトウェアエージェントとし、このエージェントを動作させるように実現することも可能である。
【図面の簡単な説明】
【００６９】
【図１】本発明の実施形態に係るコンテンツ視聴システムの構成図である。
【図２】動作指令データベースの例である。
【図３】コンテンツ知識ＤＢの例である。
【図４】ユーザ情報データベースの例である。
【図５】コンテンツ視聴システムの動作を示すフローチャートである。
【図６】コンテンツ知識を外部から取得するときの動作を示すフローチャートである。
【図７】コンテンツ解析部の動作を示すフローチャートである。
【図８】ユーザ行動解析部の動作を示すフローチャートである。
【図９】対話エンジン部の動作を示すフローチャートである。
【図１０】複数台のロボットの配置例である。
【符号の説明】
【００７０】
１００…コンテンツ受信装置、１０１…放送局、１０２…ポータルサイト、１０３…インターネット放送局、１０５…ホームゲートウェイ、１０６…記録再生装置、１０７…家庭内ＬＡＮ、１０８…コンテンツ受信部、１０９…データ受信部、１１０…遅延処理部、１１１…コンテンツ解析部、１１２…行動生成部、１１３…動作指令生成部、１１４…ユーザ行動解析部、１１５…対話エンジン部、１１６…ユーザ情報設定部、１１７…各種ＤＢ、１１８…コンテンツ知識ＤＢ、１１９…個性ＤＢ、１２０…視聴履歴ＤＢ、１２１…ユーザ情報ＤＢ、１２３…行動ＤＢ、１２４…動作指令ＤＢ、１２５…ディスプレイ／スピーカ、１２６…コンテンツ視聴用家庭内機器（ロボット）。
【図１】
2006245941.tif 000003
【図２】
2006245941.tif 000004
【図３】
2006245941.tif 000005
【図４】
2006245941.tif 000006
【図５】
2006245941.tif 000007
【図６】
2006245941.tif 000008
【図７】
2006245941.tif 000009
【図８】
2006245941.tif 000010
【図９】
2006245941.tif 000011
【図１０】
2006245941.tif 000012