(57)【要約】【課題】視聴者にコンテンツを効率よく理解させることができるようにする。【解決手段】コンテンツを取得し所定の処理を行って出力する情報処理装置において、第１のコンテンツ及び第２のコンテンツを取得し、取得した第１のコンテンツと第２のコンテンツを記憶部に記憶する。そして、記憶部から読み出した第２のコンテンツを解析した後、第１のコンテンツの映像を出力するとともに、解析の結果に基づいて第２のコンテンツの時間変化を伴う特徴を示す補助情報を出力する。【選択図】図９
2009105770.tif 000002
【特許請求の範囲】
【請求項１】
第１のコンテンツ及び第２のコンテンツを取得する取得部と、
前記取得部で取得した前記第１のコンテンツと前記第２のコンテンツを記憶する記憶部と、
前記記憶部から読み出した前記第２のコンテンツを解析するコンテンツ解析部と、
前記第１のコンテンツの映像を出力するとともに、前記コンテンツ解析部の解析結果に基づいて前記第２のコンテンツの時間変化を伴う特徴を示す補助情報を出力する最適提示処理部と、
を有する情報処理装置。
【請求項２】
前記第１のコンテンツ及び前記第２のコンテンツは、それぞれテレビジョン放送番組であり、第１のテレビジョン放送番組を表番組とし、第２のテレビジョン放送番組を裏番組とする
請求項１に記載の情報処理装置。
【請求項３】
前記第２のコンテンツの現時点での特徴を示す補助情報は、前記裏番組内の現時点の再生位置から該再生位置を含むトピック範囲の終了位置までの残り時間である
請求項２に記載の情報処理装置。
【請求項４】
前記第２のコンテンツの現時点での特徴を示す補助情報は、前記裏番組内の現時点の再生位置を含むトピック範囲の開始位置から現時点の再生位置までの経過時間である
請求項２に記載の情報処理装置。
【請求項５】
前記第２のコンテンツの現時点での特徴を示す補助情報は、前記裏番組の映像を撮影している撮像手段のカメラワーク情報である
請求項２に記載の情報処理装置。
【請求項６】
前記第２のコンテンツの現時点での特徴を示す補助情報は、前記裏番組における特徴量の時間変化を示した波形情報である
請求項２に記載の情報処理装置。
【請求項７】
少なくとも前記最適提示処理部から出力された前記表番組の映像を表示する表示手段、
を備える請求項２に記載の情報処理装置。
【請求項８】
前記第２のコンテンツに関する補助情報は、前記第２のコンテンツの現時点での特徴を含む情報である
請求項１に記載の情報処理装置。
【請求項９】
コンテンツを取得し所定の処理を行って出力する情報処理装置の情報処理方法であって、
第１のコンテンツ及び第２のコンテンツを取得するステップと、
取得した前記第１のコンテンツと前記第２のコンテンツを記憶部に記憶するステップと、
前記記憶部から読み出した前記第２のコンテンツを解析するステップと、
前記第１のコンテンツの映像を出力するとともに、前記解析の結果に基づいて前記第２のコンテンツの時間変化を伴う特徴を示す補助情報を出力するステップと、
を含む情報処理方法。
【請求項１０】
コンテンツを取得し所定の処理を行って出力する情報処理装置を制御するコンピュータに実行させるプログラムにおいて、
第１のコンテンツ及び第２のコンテンツを取得する処理と、
取得した前記第１のコンテンツと前記第２のコンテンツを記憶部に記憶する処理と、
前記記憶部から読み出した前記第２のコンテンツを解析する処理と、
前記第１のコンテンツの映像を出力するとともに、前記解析の結果に基づいて前記第２のコンテンツの時間変化を伴う特徴を示す補助情報を出力する処理と、
をコンピュータに実行させるプログラム。
【請求項１１】
コンテンツを取得し所定の処理を行って出力する情報処理装置を制御するコンピュータに実行させるプログラムが記録された記録媒体において、
第１のコンテンツ及び第２のコンテンツを取得する処理と、
取得した前記第１のコンテンツと前記第２のコンテンツを記憶部に記憶する処理と、
前記記憶部から読み出した前記第２のコンテンツを解析する処理と、
前記第１のコンテンツの映像を出力するとともに、前記解析の結果に基づいて前記第２のコンテンツの時間変化を伴う特徴を示す補助情報を出力する処理と、
をコンピュータに実行させるプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば複数のコンテンツを提示するのに好適な情報処理装置、情報処理方法、プログラム並びに記録媒体に関する。
【背景技術】
【０００２】
近年、情報処理技術の向上とともに、テレビジョン受信機の多機能化も進み、単に、放送局より放送されるテレビジョン放送を受信し、テレビジョン放送番組としての画像を表示するだけでなく、様々な機能を有するようになってきている。
【０００３】
例えば、それぞれ個別にテレビジョン放送を受信する第１及び第２のチューナと、第１のチューナで受信したテレビジョン放送に多重化された映像データを復号し表番組映像として出力する第１のビデオデコーダと、第２のチューナで受信したテレビジョン放送に多重化された映像データを構成する画像データの一部を復号し、裏番組画像として出力する第２のビデオデコーダとを備え、当該裏番組画像（サブ画像）を、第２のチューナで受信したテレビジョン放送の番組情報に付加して出力するテレビジョン受信機が提案されている（例えば、特許文献１参照）。
【０００４】
上記テレビジョン受信機は、簡易な構成で、視聴中の番組（表番組）以外の番組（裏番組）の内容をユーザに対してわかりやすく提供することができる。
【特許文献１】特開２００５−３４７８７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、本願出願人が実施した実験では、視聴者が複数のコンテンツ（映像、音声）を同時に視聴する際、時分割で視聴するのが効率的であるという結果が得られた。このことから、コンテンツの内容を理解する上でも時分割で視聴することが効果的であると考えられる。また同様の実験から、少しでも次に視聴する番組の内容を知っていることでその番組をより早く理解できることもわかった。
【０００６】
本発明は、このような点に鑑みてなされたものであり、視聴者に複数のコンテンツを効率よく理解させることができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の第１の側面の情報処理装置は、第１のコンテンツ及び第２のコンテンツを取得する取得部と、この取得部で取得した第１のコンテンツと第２のコンテンツを記憶する記憶部と、この記憶部から読み出した第２のコンテンツを解析するコンテンツ解析部と、第１のコンテンツの映像を出力するとともに、コンテンツ解析部の解析結果に基づいて第２のコンテンツの時間変化を伴う特徴を示す補助情報を出力する最適提示処理部と、を有することを特徴とする。
【０００８】
本発明の第１の側面の情報処理方法は、コンテンツを取得し所定の処理を行って出力する情報処理装置の情報処理方法であって、第１のコンテンツ及び第２のコンテンツを取得し、取得した第１のコンテンツと第２のコンテンツを記憶部に記憶する。そして、記憶部から読み出した第２のコンテンツを解析した後、第１のコンテンツの映像を出力するとともに、解析の結果に基づいて第２のコンテンツの時間変化を伴う特徴を示す補助情報を出力することを特徴とする。
【０００９】
本発明の第１の側面のプログラムは、第１のコンテンツ及び第２のコンテンツを取得する処理と、取得した第１のコンテンツと第２のコンテンツを記憶部に記憶する処理と、記憶部から読み出した第２のコンテンツを解析する処理と、第１のコンテンツの映像を出力するとともに、解析の結果に基づいて第２のコンテンツの時間変化を伴う特徴を示す補助情報を出力する処理と、を含むことを特徴とする。
【００１０】
本発明の第１の側面の記録媒体に記録されているプログラムは、第１のコンテンツ及び第２のコンテンツを取得する処理と、取得した第１のコンテンツと第２のコンテンツを記憶部に記憶する処理と、記憶部から読み出した第２のコンテンツを解析する処理と、第１のコンテンツの映像を出力するとともに、解析の結果に基づいて第２のコンテンツの時間変化を伴う特徴を示す補助情報を出力する処理と、を含むことを特徴とする。
【００１１】
本発明の第１の側面においては、第１のコンテンツと第２のコンテンツを取得し、取得した第２のコンテンツをコンテンツ解析部で解析する。そして、第１のコンテンツの映像を出力するとともに、コンテンツ解析部の解析結果に基づいて第２のコンテンツの時間変化を伴う特徴を示す補助情報を出力する。
【発明の効果】
【００１２】
本発明によれば、視聴者に複数のコンテンツを効率よく理解させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態の例について、添付図面を参照しながら説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる使用材料とその使用量、処理時間、処理順序及び各パラメータの数値的条件等は好適例に過ぎず、説明に用いた各図における寸法、形状及び配置関係も一例を示す概略的なものである。
【００１４】
図１は、各実施の形態（第１〜第６の実施の形態）に係る情報提示システムの概要を示す構成図である。図１に示すように、情報提示システムは、テレビジョン放送波を受信して得られるコンテンツに後述する処理を行い表示装置２に出力する情報処理装置１と、その情報処理装置１から出力されるコンテンツを表示する表示装置２からなる。
【００１５】
情報処理装置１は、チューナ部３、蓄積部４、コンテンツ解析部５、最適提示処理部６、入力部７を有する。ユーザのリモートコントローラを用いた操作入力などにより後述するアシスト情報を提示するモード（アシストモード）を選択させ、その選択されたモードに準じた情報提示を行う。
【００１６】
チューナ部３は、複数チャンネルの番組を含むテレビジョン放送波（テレビジョン放送信号）からユーザ（視聴者）から要求されたテレビジョン放送波を、アンテナ（図示せず）を介して受信及び復調する。このチューナ部３は、特許請求の範囲に記載した取得部の一例である。なお、本実施の形態においては、情報処理装置１はチューナ部３を２つ以上有しており、２以上のチャンネルのテレビジョン放送信号を同時に受信することができるもの（いわゆるダブルチューナ、トリプルチューナ）とする。放送は、テレビジョン放送に替えて衛星放送でもよい。これらの放送は、デジタル放送でもアナログ放送でもよい。
【００１７】
蓄積部４は、特許請求の範囲に記載した記録部の一例であり、チューナ部３が受信したテレビジョン放送波に含まれるテレビジョン放送番組（以下、単に「番組」ともいう）を、一旦蓄積（記録）する。チューナ部３が２つ以上ある場合、蓄積部４は、それぞれのチューナ部３で受信したテレビジョン放送番組を記録、保存する。蓄積部４には、一例としてハードディスク（HDD：Hard Disk Drive）、ＤＶＤ（Digital Versatile Disc）及び半導体メモリ等を適用することができる。この蓄積部４は、チューナ部３の数に対応する台数分設けてもよい。あるいは、１台の蓄積部４を複数のパーティション（領域）に分割し、チューナ部３が受信した複数のテレビジョン放送番組をそれぞれの領域に記録するようにしてもよい。
【００１８】
コンテンツ解析部５は、チューナ部３から入力されるテレビジョン放送波などのコンテンツ源より得られる映像情報、音声情報を解析し、解析結果を最適提示処理部６へ出力する。解析の内容としては、入力されたコンテンツの時間変化を伴う特徴（またはその時点での特徴）を検出することである。なお、コンテンツの蓄積が必要となるような提示モードの場合（例えば、受信したストリーミングデータを使用できないような場合）は、予めコンテンツの保存処理を実施しておいた蓄積部４よりコンテンツデータを取得する工程が必要である。
【００１９】
最適提示処理部６は、コンテンツ解析部５から解析結果として、コンテンツの時間変化を伴う特徴（またはその時点での特徴）を示す情報を受け取る。この解析結果を含む情報に基づいて、ユーザによる表番組又は裏番組の内容の理解を支援するための補助情報（アシスト情報）を、表示装置２等の出力手段へ出力する。主提示、すなわち表番組の提示においては、通常のテレビジョン放送番組などのコンテンツに対し何も処理をせず提示を行う。裏番組（又は表番組）の補助情報を提示する場合には、図２に示すような提示方法でユーザにアシスト情報を提示する。このような提示方法をサブ提示（副提示）と称す。
【００２０】
サブ提示方法としては、図２に示すように、（ａ）メイン画面（主画面）２ａにＰｉｎＰ（ピクチャ・イン・ピクチャ）によってサブ提示画面２ｂを提示する方法、（ｂ）表示画面上にメイン画面２ｃとともに子画面としてサブ提示画面２ｂを提示する方法、（ｃ）マルチディスプレイシステムであればメイン画面２Ａと別画面２Ｂに提示する方法などが考えられる。他にもアシスト情報を音声によって提示する方法も考えられる。
【００２１】
また、最適提示処理部６は、情報処理装置１全体の動作を制御し、入力部７から入力されるユーザの操作入力に応じて、情報処理装置１内の各部へ対して処理の指示を出す。また、最適提示処理部６は、チューナ部３から入力された又は蓄積部４に記録された各テレビジョン放送番組（コンテンツ）をデコードして映像信号と音声信号に分離することができる。最適提示処理部６は、ユーザの要求に応じて、テレビジョン放送番組に含まれる映像信号を、後述する表示装置２に出力するよう制御する。以降において、映像信号を単に「映像」ということもある。また、最適提示処理部６は、ユーザの要求に応じて、テレビジョン放送番組に含まれる音声信号を、後述する表示装置２に設けられたスピーカ（図示せず）に出力する。上述した補助情報は、これらの映像信号又は音声信号を利用して提示される。以降において、音声信号を単に「音声」ということもある。
【００２２】
入力部７は、リモートコントローラ（図示せず）等を利用したユーザのチャンネル選択の入力信号等を受信し、最適提示処理部６へ伝える。当該入力部７により受信された入力信号に基づいて、ユーザが選択したチャンネルのテレビジョン放送番組が蓄積部４から読み出され、最適提示処理部６により映像信号及び音声信号がデコードされて映像化及び音声化される。入力部７は、どの裏番組のアシスト情報をサブ提示させるか、どの特徴量を用いたアシスト情報をサブ提示させるかなどを決定する際のリモートコントローラ等からの指令を入力するのに使用される。同時に提示される裏番組の数やアシスト情報の数は限定しないが、各実施の形態においては一つの場合として説明を行う。
【００２３】
表示装置２は、最適提示処理部６から入力される映像信号を表示画面に表示する。また、最適提示処理部６から入力される音声信号を備え付けのスピーカから出力（放音）する。この表示装置２には、例えば例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＦＥＤ（Field Emission Display）、ＣＲＴ（Cathode Ray Tube）等を適用できる。なお、表示装置２は、複数の表示装置からなる表示システム、いわゆるマルチディスプレイでもよい。また、本実施の形態の例では、表示装置２の表示画面に近傍に図示しないスピーカが配置されているものとしているが、スピーカは表示装置２と別体でもよいことは勿論である。
【００２４】
なお、以降の各実施の形態における複数コンテンツは、表番組・裏番組でもマルチディスプレイ上に表示された複数コンテンツでもよいが、以下の例では１つの表示画面を有する表示装置２における表番組と裏番組を複数コンテンツとして扱う。
【００２５】
また、コンテンツの例として、チューナ部３で受信したテレビジョン放送番組を挙げているが、これに限られるものではない。例えば外部記録媒体（リムーバブルメディア）に保存されている複数の映像コンテンツ及び音声コンテンツを、蓄積部４の各領域に記録するようにしてもよい。映像は動画に限らず静止画であっても構わない。
【００２６】
次に、図３のフローチャートを参照して、システム全体の処理例を説明する。
まず、ユーザが提示したいアシストモードをリモートコントローラなどにより選択する（ステップＳ１）。続いて、ユーザがアシスト提示したいチャンネルをリモートコントローラなどにより選択する（ステップＳ２）。
【００２７】
ここで、最適提示処理部６は、選択されたアシストモードがコンテンツの蓄積が必要なモードかどうかを判定する（ステップＳ３）。例えば、トピック残り時間通知モードの場合は、トピックの残り時間を算出するため、トピックの区切りの終了位置がわかっている必要がある。このように、予め蓄積部４に蓄積しておいたコンテンツでないと、要求された処理を実行できないことになる。したがって、モードによっては予め蓄積部４にコンテンツを蓄積しておく必要が生じるのである。
【００２８】
ステップＳ３において、コンテンツの蓄積が必要ないモードの場合、最適提示処理部６はコンテンツ解析部５がチューナ部３からコンテンツデータを取得するよう制御する（ステップＳ４）。
【００２９】
一方、ステップＳ３において、コンテンツの蓄積を必要とするモードの場合、最適提示処理部６は、コンテンツ解析部５が蓄積部４からコンテンツデータを読み出し（ステップＳ５）、さらに蓄積部４から事前解析データを取得するよう制御する（ステップＳ６）。
【００３０】
ステップＳ４及びステップＳ６の処理が終了後、コンテンツ解析部６は取得したコンテンツの解析を行う（ステップＳ７）。
【００３１】
最適提示処理部６は、コンテンツ解析部６による解析結果を受けて、アシストモードに応じた最適提示データを作成する（ステップＳ８）。
【００３２】
そして、ユーザがアシスト提示したい場所をリモートコントローラで選択すると（ステップＳ９）、最適提示処理部６はアシスト情報を表示装置２などに出力して提示する（ステップＳ１０）。
【００３３】
最後に、最適提示処理部６は、アシストモードを終了するか否かをユーザに判断させ、アシストモードを終了する場合には一連の処理を終了する。また、アシストモードを終了しない場合は、ステップＳ１に戻り処理を継続する。
【００３４】
ここで、本明細書において用いられる用語の定義を説明する。
【００３５】
「トピック」：
番組内の区切り（ニュースの１話題、スポーツの前半・後半、バラエティ番組の１コーナー等）を指している。トピックの検出方法の一例として、図４にフローチャートを示し後述する。図４に示す例は、特定位置におけるテロップ抽出とシーンチェンジ検出を複合的に利用する検出方法になっている。なお、テロップ抽出方法とシーンチェンジ検出については図６、図７のフローチャートに示しており、後述する。
【００３６】
「カメラワーク情報」：
コンテンツの映像を撮影しているカメラ（撮像手段）の向き、ズーム、シーンチェンジなどを検出した情報である。カメラワーク情報の検出方法の一例としては、フレーム間マッチングやフレーム間差分を用いる方法が挙げられる。
【００３７】
上記トピックの検出方法を、図４のフローチャートを参照して説明する。
まず、コンテンツ解析部５は、入力されたコンテンツの特徴量を検出する（ステップＳ２１）。
【００３８】
次に、コンテンツの映像フレーム内の特定位置にテロップが検出されたか否かを判定する（ステップＳ２２）。特定位置にテロップが検出された場合は、ステップＳ２３に移行する。一方、特定位置にテロップが検出されない場合は、フレームカウント値を１加算（ステップＳ２４）した後、ステップＳ２１へ戻る。
【００３９】
続いて、ステップＳ２２においてテロップが検出された後、直前にシーンチェンジが検出されたか否かを判定する（ステップＳ２３）。直前にシーンチェンジが検出された場合は、  トピックの節目としてカウントする。すなわちフレームカウント値を１にリセットする（ステップＳ２５）。
【００４０】
一方、直前にシーンチェンジが検出されない場合は、フレームカウント値を１加算（ステップＳ２４）した後、ステップＳ２１へ戻る。
【００４１】
図４に示すトピック検出アルゴリズムを実行した結果を、図５に示すようなデータ形式で予め蓄積部４に保存しておく。
【００４２】
図５に示すデータ形式において、入力フレーム、トピック区切り、フレームカウント、映像フレームの項目がある。入力フレームはコンテンツ内での映像フレームの通しのフレーム番号である。トピック区切りは、トピックの区切りを表し、トピックの開始位置の映像フレームの符号を「１」としている。フレームカウントは、トピック内のフレームカウント値である。映像フレームの項目では、各映像フレームの映像をサムネイルで表示している。
【００４３】
この蓄積部４に保存されたトピック範囲検出データを用いてトピックの残り時間を算出する。算出した結果は、アシスト情報として提示する。
【００４４】
次に、図４のステップＳ２２におけるテロップ抽出処理を、図６のフローチャートを参照して説明する。
【００４５】
図６において、まずコンテンツ解析部５は、映像内の任意のフレームＦ（ｔ）の特定位置における所定の輝度値を持つ画素（エッジ）の数、すなわちエッジ数を検出する（ステップＳ３１）。
【００４６】
次に、コンテンツ解析部５は、検出されたエッジ数が設定された閾値以上であるか否かを判定する（ステップＳ３２）。エッジ数が閾値以上の場合は、ステップＳ３３に移行する。一方、エッジ数が閾値以上ではない場合は、フレーム番号ｔをｔ＋１とした後、ステップＳ３１へ戻る（ステップＳ３５）。すなわち、テロップの抽出対象を次のフレームへ変更するのである。
【００４７】
コンテンツ解析部５は、ステップＳ３２においてエッジ数が閾値以上であると判定されると、フレームカウントを１加算する（ステップ３３）。
【００４８】
そして、コンテンツ解析部５は、フレームカウント値を１加算した後、フレームカウント値が閾値以上であるか否かを判定する（ステップＳ３４）。フレームカウント値が閾値以上の場合、テロップとして抽出し（ステップＳ３６）、テロップ抽出処理を終了する。
【００４９】
一方、フレームカウント値が閾値以上ではない場合、フレーム番号ｔをｔ＋１とした後（ステップＳ３５）、ステップＳ３１へ戻り処理を続ける。
【００５０】
次に、図４のステップＳ２３におけるシーンチェンジ検出処理を、図７のフローチャートを参照して説明する。
【００５１】
図７において、まずコンテンツ解析部５は、取得した映像から連続する任意の映像フレームＦ（ｔ）と映像フレームＦ（ｔ＋１）を取り出す（ステップＳ４１）。
【００５２】
これら２つの映像フレームＦ（ｔ）と映像フレームＦ（ｔ＋１）の間のフレーム間差分を計算する（ステップＳ４２）。
【００５３】
次に、映像フレーム内のフレーム間差分を計算し、画素ごとの差分の平均値が設定された一定値を超えているか否かを判定する（ステップＳ４３）。平均値が一定値を超えている場合、シーンチェンジとして時刻ｔを出力する（ステップＳ４４）。
【００５４】
一方、平均値が一定値を超えていない場合、フレーム番号ｔをｔ＋１とした後、ステップＳ４１へ戻る（ステップＳ４６）。すなわち、フレーム間差分の検出対象を次のフレームへ変更する。
【００５５】
ステップＳ４４においてシーンチェンジと判断して時刻ｔを出力した後、フレーム番号ｔ＋１が最終フレームか否かを判定する（ステップＳ４５）。最終フレームである場合、シーンチェンジ検出処理を終了する。
【００５６】
一方、最終フレームではない場合、フレーム番号ｔをｔ＋１として検出対象を次のフレームに移動した後（ステップＳ４６）、ステップＳ４１へ戻って処理を続ける。
【００５７】
＜第１の実施の形態＞
次に、本発明の第１の実施の形態について、図８〜図９を参照して説明する。
第１の実施の形態においては、現在視聴中でない裏番組のトピックの先頭及び終了点を検出しておくことで、その裏番組のトピックの終了時間までの残り時間をユーザに提示する。
【００５８】
図８のフローチャートを参照して、トピック時間検出アルゴリズムを説明する。
まず、番組のオープニング、視聴開始からトピック時間検出処理を開始する。あるいは、モード選択により、裏番組トピック残り時間通知モードが選択された場合に、このトピック時間検出処理を開始する。
【００５９】
トピック時間検出処理を開始後、まずコンテンツ解析部５は、入力されたコンテンツの特徴量を検出する（ステップＳ５１）。
【００６０】
次に、コンテンツの映像フレーム内の特定位置にテロップが検出されたか否かを判定する（ステップＳ５２）。特定位置にテロップが検出された場合は、ステップＳ５３に移行する。一方、特定位置にテロップが検出されない場合は、フレームカウント値を１加算（ステップＳ５４）した後、ステップＳ５１へ戻る。
【００６１】
続いて、ステップＳ５２においてテロップが検出された後、直前にシーンチェンジが検出されたか否かを判定する（ステップＳ５３）。直前にシーンチェンジが検出された場合は、  トピックの節目として検出し、当該トピックのトータルフレームカウント数を、蓄積部４に保存されたデータ（図５参照）から取得する（ステップＳ５５）。
【００６２】
一方、直前にシーンチェンジが検出されない場合は、フレームカウント値を１加算（ステップＳ５４）した後、ステップＳ５１へ戻る。
【００６３】
次に、コンテンツ解析部５は、トピックの残り時間を計算し、その結果を最適提示処理部６へ出力する（ステップＳ５６）。
【００６４】
ステップＳ５６が終了後、フレームカウントをリセットする（ステップＳ５７）。
【００６５】
ステップＳ５７が終了後、映像フレームが最終フレームか否かを判定する（ステップＳ５８）。最終フレームである場合、トピック時間検出アルゴリズムを終了する。
【００６６】
一方、ステップＳ６９において、最終フレームでない場合、ステップＳ５１の処理へ戻り処理を続ける。
【００６７】
上述のトピック時間検出アルゴリズムと蓄積部４に保存されたトピック範囲検出データを用いてトピックの残り時間を算出し、最適提示処理部６からアシスト情報として表示装置２へ出力する。これにより表番組を視聴し続けた方がよいのか、裏番組に切り替えた方がよいのかの判断を促すアシスト（支援）となる。
【００６８】
このようにした場合、例えば、裏番組で行っているニュース番組のうち天気のコーナーは飛ばしたいが、その次のニュースから見たい場合、ユーザは、天気コーナーの残り時間がゼロになるまで余裕を持って他のチャンネルを見続けることができる。
【００６９】
図９は、裏番組トピック残り時間通知の一例を示すものである。図９において、表番組の映像１１〜１４と、そのときの裏番組の映像２１〜２４を示している。表番組の映像１１（裏番組の映像２１）のとき、表示画面に表示される裏番組のトピック残り時間のサブ提示は「0：01：50」である。時間が経って表番組の映像１３（裏番組の映像２３）になると、裏番組のトピック残り時間のサブ提示は「0：00：01」となる。そして、この直後、裏番組では現在のトピックが終了して新トピックが開始される。裏番組では新トピックとなり、表番組の映像１４（裏番組の映像２４）のとき表示画面のサブ提示には、新トピックの残り時間「0：10：30」が表示される。
【００７０】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態について、図１０〜図１１を参照して説明する。
第２の実施の形態においては、現在視聴中でない裏番組のトピックの先頭及び終了点を検出しておくことで、その裏番組のトピック視聴の経過時間を呈示する。
【００７１】
図１０のフローチャートを参照して、トピック視聴時間検出アルゴリズムを説明する。
まず、番組のオープニング、視聴開始からトピック視聴時間検出処理を開始する。あるいは、モード選択により、裏番組トピック経過時間通知モードが選択された場合に、このトピック視聴時間検出処理を開始する。
【００７２】
トピック視聴時間検出処理を開始後、まずコンテンツ解析部５は、入力されたコンテンツの特徴量を検出する（ステップＳ６１）。
【００７３】
次に、コンテンツの映像フレーム内の特定位置にテロップが検出されたか否かを判定する（ステップＳ６２）。特定位置にテロップが検出された場合は、ステップＳ６３に移行する。一方、特定位置にテロップが検出されない場合は、ユーザがトピックを見ているか否かを判定し（ステップＳ６４）、見ていない場合はステップＳ６１に戻る。ユーザが見ている場合は、ステップＳ６５へ進み、フレームカウント値を１加算（ステップＳ６５）した後、ステップＳ６１へ戻る。
【００７４】
続いて、ステップＳ６２においてテロップが検出された後、直前にシーンチェンジが検出されたか否かを判定する（ステップＳ６３）。直前にシーンチェンジが検出された場合は、トピックの節目としてカウントとして検出し、当該トピックのトータルフレームカウント数を、蓄積部４に保存されたデータ（図５参照）から取得する（ステップＳ６６）。
【００７５】
一方、直前にシーンチェンジが検出されない場合は、ステップＳ６４へ移行する。そして、ユーザがトピックを見ていない場合はステップＳ６１へ戻り、ユーザが見ている場合にはフレームカウント値を１加算（ステップＳ６５）した後、ステップＳ６１へ戻る。
【００７６】
次に、コンテンツ解析部５は、トピックの視聴時間を計算し、その結果を最適提示処理部６へ出力する（ステップＳ６７）。
【００７７】
ステップＳ６７が終了後、フレームカウントをリセットする（ステップＳ６８）。
【００７８】
ステップＳ６８が終了後、映像フレームが最終フレームか否かを判定する（ステップＳ６９）。最終フレームである場合、トピック時間検出アルゴリズムを終了する。
【００７９】
一方、ステップＳ６９において、最終フレームでない場合、ステップＳ６１の処理へ戻り処理を続ける。
【００８０】
上述のトピック視聴時間検出アルゴリズムと蓄積部４に保存されたトピック範囲検出データを用いてトピックの視聴時間を算出し、最適提示処理部６からアシスト情報として表示装置２へ出力する。これにより、第１の実施の形態と同様に、ユーザは、表番組を視聴し続けた方がよいのか、裏番組に切り替えた方がよいのかの判断材料とすることができる。
【００８１】
例えば、裏番組でのニュース番組においてトピックが開始したばかりならすぐに裏番組と表番組を切り替えることで、トピックの始めから見始めることができるが、すでにだいぶ時間が経過しているなら現在の表番組を視聴し続ける、というような判断が可能になる。
【００８２】
図１１は、裏番組トピック経過時間通知の一例を示すものである。図１１において、表番組の映像３１〜３４と、そのときの裏番組の映像４１〜４４を示している。表番組の映像３１（裏番組の映像４１）のとき、裏番組がトピック区切り直前なので、表示画面に表示されるトピック経過時間のサブ提示は「0：10：30」と大きい値である。そして、次の映像フレームで新トピックが開始されているので、表番組の映像３２（裏番組の映像４２）になると、裏番組のトピック経過時間のサブ提示は「0：00：01」となる。これ以降は時間の経過とともに経過時間が計上される。そして、所定時間経過後の表番組の映像３４（裏番組の映像４４）のときサブ提示には、例えば「0：01：50」と表示される。
【００８３】
＜第３の実施の形態＞
次に、本発明の第３の実施の形態について、図１２を参照して説明する。
第３の実施の形態は、裏番組のカメラ向きの時間変化を通知するモードである。図１２において、表番組の映像５１〜５４と、そのときの裏番組の映像６１〜６４を示している。本実施の形態によると、裏番組におけるカメラワーク情報を抽出し、それを瞬時に理解しやすい矢印や簡単な映像（カメラワーク情報５１Ａ〜５４Ａ）で提示する。それにより裏番組の映像における変化を、瞬時に理解しやすい形でユーザに伝えることができ、チャンネル切り替えの判断材料となる。
【００８４】
カメラワーク情報を表示画面にサブ提示することにより、例えば、裏番組でのサッカー中継において、カメラ向きが左から右に変わったことにより、攻める方向が変わったというようなことがわかる。また、裏番組での野球中継においてカメラ切り替えがあったことなども表番組を見ながらにして把握することができる。
【００８５】
＜第４の実施の形態＞
次に、本発明の第４の実施の形態について、図１３を参照して説明する。
第４の実施の形態は、裏番組における特徴量（音声のゲイン、音声の周波数、フレーム間差分の平均値、平均輝度値）などの時間変化を例えばスペクトルのような波形として提示するモードである。図１３において、表番組の映像５１〜５４と、そのときの裏番組の映像６１〜６４を示している。図１３に示すように、裏番組の映像に対応する波形情報５１Ｂ〜５４Ｂを表示画面に示すことにより、裏番組で起こっている変化を把握することができ、チャンネル切り替えの判断材料となる。
【００８６】
例えば、裏番組の音声ゲインの波形を提示しておき、その急激な上昇により盛り上がりやＣＭ（コマーシャル）があったのではないかと予測することができる。また、裏番組のフレーム間差分の平均値の波形を提示しておき、その変化が少ない場合は同一シーンが継続しているが、急激な変化があった場合、シーンが変わったことを予測することができ、ユーザはその瞬間にチャンネルを切り替えるかどうかの判断材料とすることができる。
【００８７】
上述した第１〜第４の実施の形態によると、特定の番組（表番組）の視聴時であっても裏番組の動向の理解をアシスト（支援又は補助）することができる。このように、裏番組の情報を表番組画面にサブ提示する場合に、 アシスト用の提示は裏番組をそのままサブ提示するのではなく、映像・音声情報を特徴量などに縮退しているので、表番組の視聴への影響を最小に抑えることができる。また、ユーザは表番組の視聴に集中したままでも裏番組の情報を取得することができる。
【００８８】
＜第５の実施の形態＞
次に、本発明の第５の実施の形態について、図１４を参照して説明する。
第５の実施の形態は、基本的な構成・仕組みは、第１の実施の形態とほぼ同じである。ただし、情報をサブ提示する対象は裏番組ではなく、表番組であるという点が異なる。図１４に示す表番組のトピック残り時間通知の例では、表番組の映像５２〜５５が示してあり、映像５４と映像５５の間にトピックの区切りがある。この場合、サブ提示によって、表番組の現在のトピックが終了するまでの経過時間を知ることができる。
【００８９】
＜第６の実施の形態＞
次に、本発明の第６の実施の形態について、図１５を参照して説明する。
第６の実施の形態は、基本的な構成・仕組みは、第２の実施の形態とほぼ同じである。ただし、情報をサブ提示する対象は裏番組ではなく、表番組であるという点が異なる。図１５に示す表番組のトピック見逃し時間通知の例では、表番組の映像５４〜５７が示してあり、映像５４と映像５５の間にトピックの区切りがある。この場合、サブ提示によって、表番組の現在のトピックが新しくなってからの経過時間（見逃し時間もしは視聴時間）を知ることができる。
【００９０】
上述した第５〜第６の実施の形態によると、特定の番組の視聴時にその番組を効率的に視聴できるようなアシスト提示をすることで裏番組を視聴する余裕を与えるアシスト提示を行うことができる。このように、表番組自体の情報を表番組画面にアシスト提示する場合、現在視聴中の表番組をより効率的に理解でき、裏番組を視聴する余裕を視聴者に与えることができる。また、現在視聴中の表番組の情報を提示することによって現在視聴中の表番組をより効率的に理解でき、裏番組を視聴する余裕を視聴者に与えることができる。
【００９１】
また、上述の各実施の形態においては、本発明をテレビジョン放送波を受信して表示装置に出力する情報処理装置に適用した場合について述べたが、本発明はこれに限らず、テレビジョン放送波の受信機能を備えたテレビジョンチューナやテレビジョン放送波を受信して記録する録画再生装置等に適用できる。さらに、表示装置と一体か別体かは問わず、テレビジョン放送波の受信機能を備えた携帯電話機やパーソナルコンピュータ等、種々のテレビジョン受信機に適用することができる。
【００９２】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【００９３】
図１６は、チューナ部を備え上述した一連の処理をプログラムにより実行するパーソナルコンピュータ１１０の構成例を示すブロック図である。
【００９４】
パーソナルコンピュータ１１０のＣＰＵ（Central Processing Unit）１１１は、ＲＯＭ（Read Only Memory）１１２、または記録部１１８に記録されているプログラムに従って、上記一連の処理の他、各種の処理を実行する。ＲＡＭ（Random Access Memory）１１３には、ＣＰＵ１１１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ１１１、ＲＯＭ１１２、およびＲＡＭ１１３は、バス１１４により相互に接続されている。
【００９５】
ＣＰＵ１１１にはまた、バス１１４を介して入出力インタフェース１１５が接続されている。入出力インタフェース１１５には、キーボード、マウス、マイクロホンなどよりなる入力部１１６、ディスプレイ、スピーカなどよりなる出力部１１７が接続されている。ＣＰＵ１１１は、入力部１１６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ１１１は、処理の結果を出力部１１７に出力する。
【００９６】
入出力インタフェース１１５に接続されている記録部１１８は、例えばハードディスクからなり、ＣＰＵ１１１が実行するプログラムや各種のデータを記録する。
【００９７】
通信部１１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また通信部１１９を介してプログラムを取得し、記録部１１８に記録してもよい。
【００９８】
入出力インタフェース１１５に接続されているドライブ１２０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア１３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部１１８に転送され、記録される。
【００９９】
チューナ部１２１は、複数チャンネルの番組を含むテレビジョン放送波（テレビジョン放送信号）からユーザから要求されたテレビジョン放送波を、アンテナ（図示せず）を介して受信及び復調する。なお、本実施の形態においては、パーソナルコンピュータ１１０はチューナ部１２１を２つ以上有しており、２以上のチャンネルのテレビジョン放送信号を同時に受信することができる。
【０１００】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図８に示すように、リムーバブルメディア１３１によりパッケージメディアとして提供される。リムーバブルメディア１３１としては、磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory），ＤＶＤ（Digital Versatile Disc），光磁気ディスクを含む）、もしくは半導体メモリなどを適用することができる。あるいは、プログラム記録媒体は、プログラムが一時的もしくは永続的に格納（記録）されるＲＯＭ１１２や、記録部１１８を構成するハードディスクなどにより構成される。
【０１０１】
プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１１９を介して、ローカルエリアネットワーク(LAN：Local Area Network)、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１０２】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。
【０１０３】
また、プログラムは、一つのコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【図面の簡単な説明】
【０１０４】
【図１】本発明の実施の形態に係る情報提示システムの概要を示す構成図である。
【図２】サブ提示方法の説明図であり、（ａ）はＰｉｎＰ、（ｂ）は子画面、（ｃ）はマルチディスプレイを示す。
【図３】本発明の実施の形態に係るシステム全体の処理例を示すフローチャートである。
【図４】本発明の実施の形態に係るトピック検出アルゴリズムの例を示すフローチャートである。
【図５】本発明の実施の形態に係る蓄積部に蓄積されるデータ形式の例を示す説明図である。
【図６】本発明の実施の形態に係るテロップ検出アルゴリズムの例を示すフローチャートである。
【図７】本発明の実施の形態に係るシーンチェンジ検出アルゴリズムの例を示すフローチャートである。
【図８】本発明の第１の実施の形態に係るトピック時間検出アルゴリズムの例を示すフローチャートである。
【図９】本発明の第１の実施の形態に係る裏番組トピック残り時間通知の一例を示す説明図である。
【図１０】本発明の第２の実施の形態に係るトピック視聴時間検出アルゴリズムの例を示すフローチャートである。
【図１１】本発明の第２の実施の形態に係る裏番組トピック経過時間通知の一例を示す説明図である。
【図１２】本発明の第３の実施の形態に係る裏番組カメラワーク情報通知の一例を示す説明図である。
【図１３】本発明の第４の実施の形態に係る裏番組特徴量の時間波形通知の一例を示す説明図である。
【図１４】本発明の第５の実施の形態に係る表番組トピック残り時間通知の一例を示す説明図である。
【図１５】本発明の第６の実施の形態に係る表番組見逃し時間通知の一例を示す説明図である。
【図１６】パーソナルコンピュータの内部構成の一例を示すブロック図である。
【符号の説明】
【０１０５】
１…情報処理装置、２…表示装置、２ａ…メイン提示画面、２ｂ…サブ提示画面、２ｃ…メイン提示画面、２Ａ…メイン提示画面、２Ｂ…サブ提示画面、３…チューナ部、４…蓄積部、５…コンテンツ解析部、６…最適提示処理部、７…入力部、１１〜１４…表番組の映像、２１〜２４…裏番組の映像、３１〜３４…表番組の映像、４１〜４４…裏番組の映像、５１〜５７…表番組の映像、５１Ａ〜５４Ａ…カメラワーク情報、５１Ｂ〜５４Ｂ…時間波形、６１〜６４…裏番組の映像、１１０…パーソナルコンピュータ、１１１…ＣＰＵ、１１２…ＲＯＭ、１１３…ＲＡＭ、１１４…バス、１１５…入出力インタフェース、１１６…入力部、１１７…出力部、１１８…記録部、１１９…通信部、１２０…ドライブ、１２１Ａ，１２１Ｂ…チューナ部、１３１…リムーバブルメディア、１２１…チューナ部
【図１】
2009105770.tif 000003
【図２】
2009105770.tif 000004
【図３】
2009105770.tif 000005
【図４】
2009105770.tif 000006
【図５】
2009105770.tif 000007
【図６】
2009105770.tif 000008
【図７】
2009105770.tif 000009
【図８】
2009105770.tif 000010
【図９】
2009105770.tif 000011
【図１０】
2009105770.tif 000012
【図１１】
2009105770.tif 000013
【図１２】
2009105770.tif 000014
【図１３】
2009105770.tif 000015
【図１４】
2009105770.tif 000016
【図１５】
2009105770.tif 000017
【図１６】
2009105770.tif 000018