(57)【要約】【課題】マルチビューコンテンツの視聴において、着目している表示ビュー以外のビューで発生した重要な映像を視聴者が見逃さないように防止する。【解決手段】  画像表示装置は遅延再生手段を備えており、表示対象のコンテンツを解析し、特定の構成をもったコンテンツが検出されると自動的に遅延再生動作と表示を行う。そして、コンテンツの特定映像において重要な映像の発生が検知された場合に、遅延再生動作に従って重要な映像をその発生前の過程から表示画面に表示させる。遅延再生動作と表示を行っているため、表示形態の変更については、重要な映像を表示する以前に行える。マルチビューコンテンツにおける、着目している画面以外の映像に重要な映像が発生した場合に、当該映像の発生以前における過程を表示し、発生の瞬間を逃さずに提示できる。【選択図】  図１
2010161493.tif 000002
【特許請求の範囲】
【請求項１】
放送信号に多重して送信される映像コンテンツを受信する受信手段と、
前記受信手段により受信された映像コンテンツが複数の映像データを含むマルチビューコンテンツであるか否かを解析する解析手段と、
前記解析手段により映像コンテンツがマルチビューコンテンツであると解析された場合に、該マルチビューコンテンツの映像データを予め定められた時間だけ遅延させて再生する遅延再生の動作を行う遅延再生手段と、
前記遅延再生手段により遅延再生されたマルチビューコンテンツの映像データを表示画面に表示させる表示制御手段と、
前記受信手段により受信されたマルチビューコンテンツの映像データから、重要度の高い映像の発生を検出する検出手段とを備え、
前記表示制御手段は、前記検出手段により重要度の高い映像の発生が検出された場合に、前記マルチビューコンテンツの映像データの表示形態を変更するように制御することを特徴とする画像表示装置。
【請求項２】
前記遅延再生手段は、前記解析手段により映像コンテンツがマルチビューコンテンツであると解析されたことに応じて、前記遅延再生の動作を開始することを特徴とする、請求項１記載の画像表示装置。
【請求項３】
前記表示制御手段は、前記解析手段により映像コンテンツがマルチビューコンテンツであると解析された場合に、前記遅延再生手段が遅延再生の動作を開始する前に、遅延再生を行うか否かについての選択を可能とする選択用画面を表示することを特徴とする、請求項１記載の画像表示装置。
【請求項４】
前記表示制御手段は、マルチビューコンテンツの複数の映像データのうちの１つの映像データに係る単一のウィンドウによる表示形態において、前記検出手段により前記複数の映像データのうちの他の映像データから重要度の高い映像の発生が検出された場合に、単一のウィンドウによる表示形態から前記複数の映像データに係る複数のウィンドウによる表示形態へと変更することを特徴とする、請求項１記載の画像表示装置。
【請求項５】
前記表示制御手段は、マルチビューコンテンツの複数の映像データに係る複数のウィンドウによる表示形態において、前記検出手段により重要度の高い映像の発生が検出された場合に、当該重要度の高い映像を含む映像データに係るウィンドウの表示面積を大きくするように制御することを特徴とする、請求項１記載の画像表示装置。
【請求項６】
前記表示制御手段は前記表示形態を変更した後に、予め定められた時間が経過すると変更以前の表示形態に戻すことを特徴とする、請求項１記載の画像表示装置。  
【請求項７】
前記表示制御手段は前記表示形態を変更した後に、変更以前の表示形態に戻すか否かを選択する選択肢を含む選択用画面を表示させることを特徴とする、請求項１記載の画像表示装置。
【請求項８】
放送信号に多重して送信される映像コンテンツを受信する受信ステップと、
受信した映像コンテンツが複数の映像データを含むマルチビューコンテンツであるか否かを解析する解析ステップと、
前記解析ステップにて映像コンテンツがマルチビューコンテンツであると解析された場合に、該マルチビューコンテンツの映像データを予め定められた時間だけ遅延させて再生する遅延再生ステップと、
遅延再生されたマルチビューコンテンツの映像データを表示画面に表示させる表示ステップとを有する画像表示方法であって、
前記受信ステップで受信したマルチビューコンテンツの映像データから、重要度の高い映像の発生を検出する検出ステップと、
前記重要度の高い映像の発生が検出された場合に、前記表示ステップにおける前記マルチビューコンテンツの映像データの表示形態を変更するステップを有することを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の関連性のある映像とそれらに対応する複数の音声から構成される、いわゆるマルチビューコンテンツの画面表示が可能な画像表示装置及び画像表示方法に関する。
【背景技術】
【０００２】
マルチビューコンテンツの配信については、ＡＲＩＢ（社団法人電波産業会）規格においてマルチビューテレビ（ＭＶＴＶ）として運用が規定されている。非特許文献１で説明されているように、「ＭＶＴＶ」とは放送事業者の意図した複数の映像と音声の組み合わせを定義することが可能な放送形態である。マルチビューコンテンツの視聴者は、放送事業者の意図した複数の映像と音声の組み合わせを任意に選択して視聴することできる。
【０００３】
一般に、複数のコンテンツのうちで視聴者が選択していない映像で起きた重要な映像を視聴することは本来難しい。この課題に取り組んだ装置例として、例えば特許文献１が挙げられる。この例では放送番組に係る音声信号の音量レベルに基づき、放送番組の盛り上がり度を算定し、この指標をもとにした人気度を示す所定の状態を検出する。そして盛り上がりが検出された放送番組の画面に関してその画面サイズを拡大することにより、視聴者の見逃しを防止できる。
また、特許文献２には、電子番組ガイド情報から検出対象文字情報を切り出し、検出対象文字情報に対応する映像を番組映像から検出する技術が開示されている。また、特許文献３には、入力画像の動きベクトルを検出して、パン操作、チルト操作、ズーム操作等を推定し、撮影者の意図を反映した重要な画像を抽出する技術が開示されている。
【特許文献１】特開２００７−３１１９４２号公報
【特許文献２】特開２００７−２６７１７４号公報
【特許文献３】特開２００４−８８３５２号公報
【非特許文献１】ＡＲＩＢ  ＴＲ−Ｂ１４  第二分冊  第四編  第２部  運用各論  ２５マルチビューテレビ（ＭＶＴＶ）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら前述の特許文献１に開示された装置にあっては、重要な映像を検出した後に当該映像を含む放送番組の画面サイズを拡大していることが問題となり得る。つまり、画面サイズを拡大した時点では、重要な映像のシーンが既に終了してしまっており、視聴者が当該映像を見逃してしまう虞がある。特に、重要な映像が瞬間的に表示される場合において見逃しの可能性が高くなる。
【０００５】
そこで本発明は、マルチビューコンテンツの視聴において、マルチ画面のうちの選択画面以外で発生した重要な映像を見逃さず、しかもそのために該映像が発生した瞬間を、巻き戻し（プレイバック）なしで捉える事を目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像表示装置は、放送信号に多重して送信される映像コンテンツを受信する受信手段と、前記受信手段により受信された映像コンテンツが複数の映像データを含むマルチビューコンテンツであるか否かを解析する解析手段と、前記解析手段により映像コンテンツがマルチビューコンテンツであると解析された場合に、該マルチビューコンテンツの映像データを予め定められた時間だけ遅延させて再生する遅延再生の動作を行う遅延再生手段と、前記遅延再生手段により遅延再生されたマルチビューコンテンツの映像データを表示画面に表示させる表示制御手段と、前記受信手段により受信されたマルチビューコンテンツの映像データから、重要度の高い映像の発生を検出する検出手段とを備える。そして前記表示制御手段は、前記検出手段により重要度の高い映像の発生が検出された場合に、前記マルチビューコンテンツの映像データの表示形態を変更するように制御する。
【０００７】
また本発明に係る画像表示方法は、放送信号に多重して送信される映像コンテンツを受信する受信ステップと、受信した映像コンテンツが複数の映像データを含むマルチビューコンテンツであるか否かを解析する解析ステップと、前記解析ステップにて映像コンテンツがマルチビューコンテンツであると解析された場合に、該マルチビューコンテンツの映像データを予め定められた時間だけ遅延させて再生する遅延再生ステップと、遅延再生されたマルチビューコンテンツの映像データを表示画面に表示させる表示ステップとを有する画像表示方法であって、さらに以下のステップを有する。
・前記受信ステップで受信したマルチビューコンテンツの映像データから、重要度の高い映像の発生を検出する検出ステップ。
・前記重要度の高い映像の発生が検出された場合に、前記表示ステップにおける前記マルチビューコンテンツの映像データの表示形態を変更するステップ。
【発明の効果】
【０００８】
本発明によれば、マルチビューコンテンツに関して、ユーザが着目している表示ビュー以外のビューにおいて発生する重要な映像を、その表示以前に検知する。そして検知結果に応じて画面の表示形態を変えることで重要な映像が発生する瞬間を逃すことなくユーザに提示できる。
【発明を実施するための最良の形態】
【０００９】
以下に本発明に係る実施形態について図１乃至６を用いて説明する。
図１は本発明の実施形態に係る画像表示装置の一例を示すブロック図である。
本例に示す装置は、映像及び音声の受信復号処理部と、映像処理部、音声処理部、入出力処理部を具備する。受信復号処理部は放送信号に多重化されて送信される映像コンテンツの受信手段を構成し、、チューナ復調回路５２、暗号解読デマルチプレクス５３、映像及び音声デコーダ５４を有する。チューナ復調回路５２は、図示しないアンテナから放送波（放送信号）５１を受信し、その復調処理を行って多重化されたトランスポートストリームを出力する。後段の暗号解読デマルチプレクス５３は、暗号の解読及び多重化のデマルチプレクスを担当し、番組情報及び符号化映像音声コンテンツの抽出を行う。
【００１０】
映像及び音声デコーダ５４は、抽出された符号化映像音声コンテンツのデコード処理を行う。その際に必要な記憶手段は映像メモリ４1と音声メモリ６１であり、映像メモリ４１は表示コントロールプロセッサ４６の管理下にあり、音声メモリ６１は音声コントロールプロセッサ６０の管理下にある。
【００１１】
映像処理部は表示コントロールプロセッサ４６及び映像メモリ４１を含み、これらは映像データの遅延再生手段を構成する。また音声処理部は音声コントロールプロセッサ６０及び音声メモリ６１を含み、これらは音声データの遅延再生手段を構成する。
【００１２】
表示制御手段を構成する表示コントロールプロセッサ４６は、復号化された番組コンテンツについて、その映像データを表示装置４７に出力する。また音声出力制御手段を構成する音声コントロールプロセッサ６０は、復号化された番組コンテンツについて、その音声データをスピーカ５０に出力する。これらの出力に関連して映像データ及び音声データの遅延再生動作の制御、特徴の抽出、出力方法の選択が可能である。また、表示コントロールプロセッサ４６及び音声コントロールプロセッサ６０はそれ自体がデータを生成して処理する能力を持っており、グラフィカルユーザインターフェースに必要な映像と音声を発生させる制御を行う。その際に必要な座標データ等の各種データについては複合入出力装置５８から供給される。
【００１３】
映像メモリ４１と音声メモリ６１は各々表示コントロールプロセッサ４６と音声コントロールプロセッサ６０の管理化にあり、復号化処理、遅延再生処理、特徴抽出処理、描画処理等に使用される。これらのメモリはさらに、入出力制御プロセッサ５６とメインプロセッサ５９の作業領域等にも使われる。
【００１４】
制御中枢であるメインプロセッサ５９は、暗号解読デマルチプレクス５３及びインターネット６３から番組関連の情報を抽出するための制御を司る。そしてメインプロセッサ５９は、表示コントロールプロセッサ４６及び音声コントロールプロセッサ６０が遅延再生動作、特徴抽出、データ作成等を行うための情報を作成する。なお表示コントロールプロセッサ４６はメインプロセッサ５９の指示に従い、表示画面での映像の表示形態を制御する。
【００１５】
不揮発性記憶装置５５は、各種プログラムやデータの保持に用いられる。つまり、上記の各プロセッサ４６、５６、５９、６０が解釈して実行するプログラムやその際に処理すべきデータ等を不揮発性記憶装置５５が保持し、また映像データ及び音声データの保持も可能である。
【００１６】
入出力制御部を構成する入出力制御プロセッサ５６は、不揮発性記憶装置５５や複合入出力装置５８の制御、ヒューマンインターフェース６２、インターネット６３の通信制御を行う。なお、ヒューマンインターフェース６２には、有線通信又は無線通信の如何を問わずにユーザが装置に対して行う操作指示等のための一切の操作入力手段が含まれる。
【００１７】
図２ａ、ｂ、ｃは本発明の実施形態に係る動作例を示すフローチャートである。図２ａには、暗号解読デマルチプレクス５３とメインプロセッサ５９によるＡＲＩＢ規格のＥＩＴ（Ｅｖｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔａｂｌｅ）情報の取得及び解析の処理を示す。さらには表示コントロールプロセッサ４６と音声コントロールプロセッサ６０によるグラフィカルユーザインターフェース及び遅延動作と、遅延表示の制御及び表示形態の変更制御を示す。また図２ｂ、ｃには、表示コントロールプロセッサ４６と音声コントロールプロセッサ６０による特徴抽出と、抽出結果に基づく表示形態の変更制御を示す。
【００１８】
以下に、図２ａ、ｂ、ｃのフローチャートに従って装置の動作説明を行う。
先ず、ステップＳ１でのＡＲＩＢ規格のＥＩＴ情報の取得後、ステップＳ２でＥＩＴ情報のマルチビューに関連する情報の解析が、暗号解読デマルチプレクス５３とメインプロセッサ５９によって行われる。つまり、暗号解読デマルチプレクス５３とメインプロセッサ５９は放送方式の解析手段を構成する。対象のデータについて、予め定められた放送方式、例えば複数の映像及び音声の組み合わせを定義したマルチビュー方式に係る映像データ及び音声データであるか否かの解析が行われる。
【００１９】
ステップＳ３にて、暗号解読デマルチプレクス５３及びメインプロセッサ５９によって得られた解析結果に基づいてコンテンツがマルチビューコンテンツであるか否かが判定される。その判定結果、マルチビューコンテンツであったと判明した場合にはＳ４に進む。また、判定結果がマルチビューコンテンツでないことが判明した場合には通常動作に移行し、リアルタイム処理での映像表示及び音声出力が行われる。
【００２０】
マルチビューコンテンツの場合にはＳ４で、自動的に表示コントロールプロセッサ４６と音声コントロールプロセッサ６０が映像メモリ４１と音声メモリ６１のリングバッファをそれぞれ動作状態に設定し、コンテンツデータをリングバッファに入力して行く。このリングバッファは映像データ及び音声データの遅延再生のための遅延読み出しに使用される。つまり動作中のリングバッファでは常に一定の書き込み速度で順次にデータの更新が行われており、一定の容量の範囲内で最も古いデータから順次に最新のデータに書き換わるように制御が行われる。
【００２１】
リングバッファ内の任意のアドレス位置に読み出し位置を設定し、データの書き込み動作と並行して読み出し動作を行うことにより、最新のデータに対して任意の時間タイムシフトしたデータを読み出すことが出来る。
読み出されたデータに関しては、表示コントロールプロセッサ４６と音声コントロールプロセッサ６０により、映像データの信号が表示装置４７に出力され、音声データの信号がスピーカ５０に出力される。これにより、タイムシフト動作での映像表示及び音声出力が実現される。
【００２２】
上記のように表示コントロールプロセッサ４６と音声コントロールプロセッサ６０は映像メモリ４１と音声メモリ６１のリングバッファを起動させる。その一方で、これらのプロセッサはステップＳ５にて、マルチビューコンテンツである事をユーザに告知する。そして、マルチウィンドウ表示の是非、タイムシフト動作の表示への移行の是非等を視聴者に問い合わせるグラフィカルユーザインターフェース（ＧＵＩ）画面が表示装置４７に表示される。つまり、この選択用画面を見たユーザはタイムシフト表示を行うか否か、そしてマルチウィンドウ表示を行うか否かを選択することができる。
【００２３】
Ｓ６にてヒューマンインターフェース６２による操作指示に基づいてタイムシフト表示を行うか否かが判定され、タイムシフト表示を行う場合にはＳ７に進むが、タイムシフト表示を行わない場合には通常動作に移行する。なおヒューマンインターフェース６２を用いて視聴者がタイムシフト表示を選択するか、又は規定の時間が経過しても選択操作が何ら行われなかった場合には、リングバッファの出力遅延時間が予め定められた値に設定され、コンテンツはタイムシフト表示される。
【００２４】
他方、視聴者がタイムシフト表示を行わないという選択を行った場合には映像メモリ４１と音声メモリ６１のリングバッファの出力遅延時間がゼロに設定され、リアルタイムでの表示が行われる。
【００２５】
タイムシフト表示を行わない場合であっても、映像メモリ４１と音声メモリ６１のリングバッファは常に動作状態のままとされる。タイムシフト表示への変更が随時可能なようにリモートコントローラの操作ボタン又は装置本体の操作ボタン等を用いて、画面に影響を来たさない方法でホットキーを設定し、操作方法をメッセージで表示することが好ましい。このように、遅延再生での表示方式が選択されていない場合でも、リングバッファを常に動作状態にしておけば、表示方式の変更指示を受けた場合、要求に従って随時に遅延再生による表示を行える。
【００２６】
Ｓ７にてヒューマンインターフェース６２による操作指示に基づいてマルチウィンドウ表示（複数の表示窓内の画面による表示）を行うか否かが判定される。その結果、マルチウィンドウ表示を行う場合にはＳ９に進むが、マルチウィンドウ表示を行わない場合にはＳ８に進む。
【００２７】
Ｓ８では表示コントロールプロセッサ４６でのシングルウィンドウ表示（単一の画面による表示）の設定後にコンテンツの表示が開始されて図２ｂのＳ１１に進む。またＳ９では表示コントロールプロセッサ４６でのマルチウィンドウ表示の設定後にコンテンツの表示が開始されて図２ｃのＳ２１に進む。
【００２８】
以下、シングルウィンドウ表示時の処理例について図２ｂを用いて説明する。
Ｓ１１にて、表示コントロールプロセッサ４６は重要度の高い映像の発生を検出する検出手段としての機能を有し、映像の特徴抽出を行い、その結果に基づいて対象映像が重要な映像であるか否かを判定する。
【００２９】
重要な映像の検出方法については従来より複数の方法が提案されており、例えば以下の方法が知られている。
・特許文献１の「コンテンツ表示装置」のように、音声データの盛り上がり度を用いた検出方法。
・特許文献２の「プロモーション映像作成装置及び方法」のように、インターネット等の情報源による番組情報に基づき、映像中の特定形状の認識を用いた検出方法。
・特許文献３の「映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム」のように、映像データのパン及びズーム操作等の映像の動きの特徴検出を用いた検出方法。
【００３０】
判定の結果、対象映像が重要であると判定された場合にはＳ１２に進むが、そうでない場合にはＳ１６に進む。Ｓ１２では重要な映像が現在視聴中の表示画面の映像かどうかを表示コントロールプロセッサ４６が判定する。その結果、重要な映像が現時点で表示ビューで視聴中であると判定された場合にはＳ１６に進む。また重要な映像が現在表示されていないビュー（非表示ビュー）に係り、視聴されていないことが判定された場合にはＳ１３に進む。
【００３１】
Ｓ１３にて、表示コントロールプロセッサ４６の制御下で表示形態の変更が行われる。つまり、それまで設定されていたシングルウィンドウ表示からマルチウィンドウ表示に変更される。これにより視聴者が重要な映像の発生前の過程と当該映像の発生の瞬間を見逃さずに視聴できる。
次ステップＳ１４では、表示形態の変更時点から規定時間の経過を待つ。つまり規定時間が経過した否かが判定され、規定時間の経過後にはステップＳ１５に進むが、規定時間が未経過の場合にはＳ１４の判定を繰り返す。
【００３２】
Ｓ１５にて、表示コントロールプロセッサ４６の制御下で表示形態の変更が行われ、マルチウィンドウ表示からシングルウィンドウ表示に変更される。次ステップＳ１６では対象のコンテンツ表示の終了について判定され、終了時にはＳ１７に進むが、未終了時にはＳ１１に戻って処理を繰り返す。Ｓ１７にて、表示コントロールプロセッサ４６の指示に従い、リングバッファを用いたタイムシフト表示が終了する。
【００３３】
次に、マルチウィンドウ表示時の処理例について図２ｃを用いて説明する。
Ｓ２１にて、表示コントロールプロセッサ４６は映像の特徴抽出を行い、その結果に基づいて対象映像が重要な映像であるか否かを判定する。その結果、対象映像が重要であると判定された場合にはＳ２２に進むが、そうでない場合にはＳ２６に進む。
【００３４】
Ｓ２２では重要な映像が、複数の表示画面のうちの主画面（メインビュー）に係る映像かどうかを表示コントロールプロセッサ４６が判定する。その結果、重要な映像が現時点でメインビューで視聴中であると判定された場合にはＳ２６に進む。また重要な映像がメインビュー以外のビュー（サブビュー）に係る映像であることが判定された場合にはＳ２３に進む。
【００３５】
Ｓ２３にて、表示コントロールプロセッサ４６の制御下で表示形態の変更が行われる。つまり、視聴者に注意喚起を促すために、重要な映像が発生したサブビューのウィンドウを拡大表示させる。これにより視聴者が重要な映像の発生前の過程と当該映像の発生の瞬間を見逃さずに視聴できる。
【００３６】
次ステップＳ２４では、表示形態の変更時点から規定時間の経過を待つ。つまり規定時間が経過した否かが判定され、規定時間の経過後にはステップＳ２５に進むが、規定時間が未経過の場合にはＳ２４の判定を繰り返す。Ｓ２５にて、表示コントロールプロセッサ４６の制御下で表示形態の変更が行われ、重要な映像の発生が検知されたサブビューのウィンドウサイズを元の大きさに戻す。
【００３７】
次ステップＳ２６では対象のコンテンツ表示の終了について判定され、終了時にはＳ２７に進むが、未終了時にはＳ２１に戻って処理を繰り返す。Ｓ２７にて、表示コントロールプロセッサ４６の指示に従い、リングバッファを用いたタイムシフト表示が終了する。
【００３８】
以上のように、本実施形態では、表示コントロールプロセッサ４６の制御下で、常に映像メモリ４１と音声メモリ６１のリングバッファの出力を用いてタイムシフト動作と表示を行っている。このため、特定のビューで重要な映像の発生を検知した時点における表示画面は、重要な映像が発生する以前の映像を表示した状態である（図２ｂのＳ１１，Ｓ１２及び図２ｃのＳ２１，Ｓ２２参照）。
【００３９】
このため特定のビューで重要な映像が発生してこれを表示する以前に当該映像を検知することが可能になり、重要な映像の発生過程を表示し、その発生の瞬間の映像を視聴者に提示することができる（図２ｂのＳ１３及び図２ｃのＳ２３参照）。
【００４０】
その後、重要な映像の発生を確認した後で規定時間が経過すると、一時的に変更された表示形態が元の状態に戻る（図２ｂのＳ１４，Ｓ１５及び図２ｃのＳ２４，Ｓ２５参照）。
【００４１】
上記の一連の動作はコンテンツの終了まで繰り返され（図２ｂのＳ１６及び図２ｃのＳ２６参照）、コンテンツの終了をもってリングバッファを用いたタイムシフト表示が終了する（図２ｂのＳ１７及び図２ｃのＳ２７）。次に、シングルウィンドウ表示の場合とマルチウィンドウ表示の場合について表示状態の推移を例示して説明する。
【００４２】
図３は本実施形態に係るシングルウィンドウ表示におけるタイムライン図である。
最上段に示す太い矢印が時間の経過を表しており、符号１で示す絶対時間については、左方が過去、つまり符号２で示すように、より古い事象を意味し、また右方が未来、つまり符号３で示すように、より新しい事象を意味する。
【００４３】
下方に符号４に示す実時間映像データの概念図は、表示ビューと複数の非表示ビューに関するデータの時間的な流れを示している。符号５で示す表示ビューは、現在表示中のビューを示し、符号６で示す非表示ビュー１及び符号７で示す非表示ビュー２は、画面に表示されていないビューを示す。
【００４４】
表示ビュー及び非表示ビュー１において、符号８で示す前兆映像データは、符号１１で示す重要な映像データの発生時点よりも過去の映像データを示し、符号９で示す経過映像データは当該発生時点よりも後の映像データを示している。
【００４５】
非表示ビュー２において、符号１０で示す発生過程映像データは、符号１１で示す重要な映像データの発生時点よりも過去の映像データを示し、符号１２で示す経過映像データは当該発生時点よりも後の映像データを示している。この場合、符号１５に示すように、非表示ビュー２にて符号１１の重要な映像が発生したことを示している。なお符号１３は重要な映像の検知処理を示し、符号１４は検知処理にかかる時間、つまり重要な映像の解析に必要な処理時間を示す。
【００４６】
中段の図は、符号１６で示すように、リングバッファから読み出される映像データのタイミングを表しており、符号１７には読み出された映像データの時間的な流れを示している。
符号１８は、タイムシフト動作によるデータ読み出しの遅延時間を表しており、表示ビュー及び非表示ビュー１、２（符号５乃至７）にはいずれも同じ時間の遅延が付与される。遅延期間の終了時点は、符号１３に示した検知処理の終了時点（符号１４参照）と一致する。つまり、データがリングバッファに入力された上で、任意の読み出し位置から読み出されるので、読み出される映像データはタイムシフト動作の読み出し遅延分だけの時間、遅れて読み出される。例えば、表示ビュー及び非表示ビュー１では、遅延時間の経過後、前兆映像データ（符号８参照）、経過映像データ（符号９参照）の順にデータが得られる。非表示ビュー２では、遅延時間の経過後、発生過程映像データ（符号１０参照）、重要な映像データ（符号１１参照）、経過映像データ（符号１２参照）が得られる。
【００４７】
符号２１で下段に示す表示出力映像の概念図は、表示装置においてその表示部に現れる映像について時間の流れを示す。符号４で示す実時間映像データの概念図に比べて、タイムシフト動作による読み出しの遅延時間分、映像が遅れて表示される。符号５の表示ビューでは、符号２２で示す前兆映像出力の後に符号２３で示す経過映像出力が行われている。なおここでの前兆映像出力は、中段の概念図（符号１７参照）にて読み出された前記の前兆映像データ（符号８参照）の出力を意味し、また経過映像出力は、読み出された前記の経過映像データ（符号９参照）の出力を意味する。
【００４８】
符号６の非表示ビュー１では、符号２４で示す時点で当該ビューの表示が開始された場合に、符号２２で示す前兆映像出力の後に符号２３で示す経過映像出力が行われている。なおここでの前兆映像出力は、中段の概念図（符号１７参照）にて読み出された前記の前兆映像データ（符号８参照）の出力を意味し、また経過映像出力は、読み出された前記の経過映像データ（符号９参照）の出力を意味する。
【００４９】
符号６の非表示ビュー２では、符号２５で示す時点で当該ビューの表示が開始された場合に、符号２６で示す発生過程映像出力の後に重要な映像データ１１が出力され、その後に符号２７で示す経過映像出力が行われている。なおここでの発生過程映像出力は、中段の概念図（符号１７参照）にて読み出された前記の発生過程映像データ（符号１０参照）の出力を意味し、また経過映像出力は、読み出された前記の経過映像データ（符号１２参照）の出力を意味する。
【００５０】
符号２８で示す時点において、符号１３の検知処理により重要な映像が非表示ビュー２で検知された結果、シングルウィンドウ表示からマルチウィンドウ表示への変更及び各ビューの表示出力が開始される。
【００５１】
以上のように、符号１１で示す重要な映像の発生を検出する際に、符号１３で示す検知処理に要する時間がかかっている。しかし、符号２１に示す表示出力映像の概念図においては、符号１８で示すタイムシフト動作による読み出し遅延時間だけ遅れて表示出力されているため、重要な映像を検知した時点（符号２８参照）では、まだ重要な映像の発生については表示されていない。このため重要な映像の検知時点で、符号３０に示すように、重要な映像が表示を行う前に、十分な時間的余裕をもって表示形態をシングルウィンドウ表示からマルチウィンドウ表示に変更できる。つまり表示出力形態として、複数の表示ビューを含むマルチウィンドウ表示にした時点で、重要な映像の発生以前における各ビューの映像を視聴者に提示し、重要な映像の発生に至るまでの過程を示すことが出来る。
【００５２】
なお映像データの処理の流れを説明したが音声データについても上記と同様の処理が行われることは勿論である。図４は本実施形態に係るマルチウィンドウ表示について示している。図３との相違点は、メインビューと２つのサブビュー１及びサブビュー２が何れも表示中であって、サブビュー２で重要な映像の発生が検知されることである。よって、図３で行った説明と同様の部分については重複回避のため、それらの詳細な説明を割愛する。
【００５３】
符号３１はメインビューを示し、符号３２はサブビュー１を示している。そして符号３３に示すサブビュー２には、符号１５に示すように重要な映像の発生が含まれる。符号１６に示すリングバッファからの読み出し映像データについては、符号１８で示すようにタイムシフト動作による読み出しの遅延時間がかかる。よって符号２１に示す表示出力映像の概念図では、読み出しの遅延時間分だけ遅れて映像の表示出力が行われる。図３での説明と同様に重要な映像の検知には、符号１３で示す検知処理に必要な時間がかかり、その時間分の遅れが生じることになる。しかしタイムシフト動作により、映像データの読み出しが遅れるので、符号２９に示す重要な映像の発生以前において表示レイアウトの変更が可能である。つまり、符号３４に示す時点でサブビュー２の拡大表示が開始されて、符号２６の発生過程映像出力の後、符号２９に示す時点で重要な映像が出力されて表示される。
【００５４】
なお映像データの処理の流れを説明したが音声データについても上記と同様の処理が行われることは勿論である。
図５は、図３で説明したシングルウィンドウ表示における画面レイアウト変更の様子を例示している。
【００５５】
符号３５は、マルチビューコンテンツにおいて視聴者が見たいコンテンツの表示ビューをタイムシフト表示している状態を示している。符号３６に示すように着目している１つのビューだけを表示している画面状態から、符号３７に示すように重要な映像が検知された場合に、マルチウィンドウ表示に切り替わる。すなわち重要な映像の発生して当該映像が表示される前に、符号３８のメインビュー及び符号３９のサブビューを含むマルチウィンドウ表示に切り替わって視聴者が複数の表示ビューを見ることができる。
【００５６】
図６は図４で説明したマルチウィンドウ表示における画面レイアウト変更の様子を例示している。
符号４０はマルチビューコンテンツにおいてマルチウィンドウ表示かつタイムシフト表示での状態を示している。この場合には符号３８のメインビュー及び符号３９のサブビューが表示されている状態から、符号３７に示すように重要な映像が検知された場合に、当該映像の表示前にサブビューの１つが拡大表示される。つまり、重要な映像の発生が検知されたサブビューについては、当該映像の発生過程及び発生の瞬間を拡大表示で視聴者が見ることができる。
【００５７】
以上のように、本実施形態では常に遅延動作と表示を行っているため、表示形態の変更時点が、重要な映像の表示以前となる。マルチビューコンテンツにおける選択画面以外の映像において重要な映像が発生する以前の過程、及び当該映像が発生する瞬間を、映像のプレイバック処理無しで表示することができる。従って視聴者は自然な時間の流れの中で重要な映像を視聴できる。
【００５８】
そして映像メモリ４１と音声メモリ６１のリングバッファを用いたタイムシフト動作と表示を常に行っているため、重要な映像の検出処理に要する時間に関して比較的余裕が生まれる。その結果、前記した複数の特徴検出方法を組み合わせて適用することが可能となる。例えば、各検出方法によって検出されたデータについて、コンテンツの番組情報を元に、予めどの情報に重きを置くか定めておき、検出された重要度に応じて重み付けを行い、それらの結果を加算して総合的な評価を行える。
【００５９】
こうして映像や音声に関する特徴抽出の結果や、外部装置又はネットワーク通信等で取得した関連情報を含めた総合的な重要度に応じて評価結果を得た上で、これを表示形態の変更制御に反映させることができる。
【００６０】
例えば暗号解読デマルチプレクス５３及びメインプロセッサ５９によりＡＲＩＢ規格のＥＩＴ情報を解析してマルチビューコンテンツを検出し、コンテンツ再生の当初からタイムシフト動作での再生を行う。これにより、重要な映像の特徴検出処理に係る複数の方法を組み合わせて、重要な映像の発生をその表示前においてより的確に検知することが可能になり、重要な映像の発生過程と発生の瞬間を逃さずに視聴者に提示できる。
【００６１】
上記実施形態に係るグラフィカルユーザインターフェース画面での視聴者による選択において、着目しているビューのみの単独表示を行っている場合を説明した。その際、特定のビューにて重要な映像の発生が検知されると、子画面表示等のマルチウィンドウ表示へと表示形態が切り替わる。このように、視聴者に対して、全てのビューを表示して重要な映像の瞬間における全ビューの状態を提示することが好ましい。
【００６２】
また、前記グラフィカルユーザインターフェース画面での視聴者による選択において、全ビューのマルチウィンドウ表示を行っている場合を説明した。その際特定のビューにて重要な映像の発生が検知されると、その特定のビューの画面を本来の表示面積に比べ大きく表示させて視聴者の注意を喚起する。これにより、重要な映像の発生の瞬間をとらえると共に、拡大された画面で重要な映像の発生の瞬間をより鮮明に提示できる。
【００６３】
さらには、着目しているビューのみについて単独表示を行う場合及び全ビューのマルチウィンドウ表示を行う場合の両方に共通して使える表示方法として、絵文字、文字又は記号を用いることができる。例えば表示画面の一部に、絵文字、文字又は記号を合成して表示し、重要な映像の発生を視聴者に伝達する方法がある。この場合には視聴者による重要な映像の確認が可能なように、絵文字、文字又は記号には、実際に重要な映像を表示するか否かの選択肢の意味も含める必要がある。つまり絵文字、文字又は記号を合成した表示画面に次回の表示形態を選択するための選択肢を含めて表示させる。
【００６４】
絵文字、文字又は記号を用いて重要な映像の表示と表示形態が選択された場合に表示される動画像には、選択にかかった時間が反映される。ただし重要な映像の検出処理にかかる時間に比べて、前記選択に要する時間が長い場合には、全ビューのプレイバック、いわゆる巻き戻し処理を行う必要がある。
【００６５】
前述したように、表示装置において表示形態を変更した後には、予め定められた時間の経過を待って変更以前の表示形態に戻すことが好ましいが、その選択をユーザに委ねてもよい。例えば、前記実施形態のグラフィカルユーザインターフェース画面には、変更以前の表示形態に戻すか否かの選択肢も含まれ、視聴者は表示形態を元に戻さないといった選択も可能である。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施形態に係る画像表示装置を概略的に例示したブロック図である。
【図２ａ】本発明の実施形態について動作例の前半部を示すフローチャートである。
【図２ｂ】本発明の実施形態についてシングルウィンドウ表示での動作例を示すフローチャートである。
【図２ｃ】本発明の実施形態についてマルチウィンドウ表示での動作例を示すフローチャートである。
【図３】シングルウィンドウ表示におけるタイムライン図である。
【図４】マルチウィンドウ表示におけるタイムライン図である。
【図５】シングルウィンドウ表示中に非表示ビューで重要は映像が検知された状況を例示した図である。
【図６】全ビューのマルチウィンドウ表示中に特定のサブビューで重要な映像が検知された状況を例示した図である。
【符号の説明】
【００６７】
４１  映像メモリ
４６  表示コントロールプロセッサ
４７  表示装置
５０  スピーカ
５１  放送波
５２  チューナ復調回路
５３  暗号解読デマルチプレクス
５４  映像及び音声デコーダ
５５  不揮発性記憶装置
５６  入出力制御プロセッサ
５８  複合入出力装置
５９  メインプロセッサ
６０  音声コントロールプロセッサ
６１  音声メモリ
６２  ヒューマンインターフェース
６３  インターネット
【図１】
2010161493.tif 000003
【図２ａ】
2010161493.tif 000004
【図２ｂ】
2010161493.tif 000005
【図２ｃ】
2010161493.tif 000006
【図３】
2010161493.tif 000007
【図４】
2010161493.tif 000008
【図５】
2010161493.tif 000009
【図６】
2010161493.tif 000010