(57)【要約】【課題】疲労感を軽減しつつ、３Ｄコンテンツを効果的に視聴させることができるようにする。【解決手段】表示制御装置１においては、再生対象のコンテンツの画像データと音声データを解析し、コンテンツの重要区間を検出することが行われる。例えば、重要区間として、テレビジョン番組であるコンテンツの盛り上がりの区間が検出される。コンテンツの再生が開始された後、コンテンツの重要区間外の画像については、２Ｄ画像としてTV２に表示され、重要区間の画像については、３Ｄ画像としてTV２に表示される。現在の再生位置が重要区間の位置であるか重要区間外の位置であるかに応じて、２Ｄ表示方式と３Ｄ表示方式とでコンテンツの画像の表示方式が切り替えられることになる。本発明は動画のコンテンツを再生する録画機器に適用することができる。【選択図】図１
2011101229.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、
前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出する検出手段と、
前記コンテンツの各シーンの代表画像の表示を制御する表示制御手段であって、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示する表示制御手段と
を備える表示制御装置。
【請求項２】
再生対象として入力された前記コンテンツが、画像データとして２次元画像を表示するための画像データのみを含むコンテンツである場合、入力された前記コンテンツを、３次元画像を表示するための、相互に視差を含む左目用の画像データと右目用の画像データを含むコンテンツに変換する変換手段をさらに備え、
前記表示制御手段は、前記所定の区間のシーンの代表画像を、前記変換手段により変換された前記コンテンツに基づいて表示し、前記所定の区間外のシーンの代表画像を、入力された前記コンテンツに基づいて表示する
請求項１に記載の表示制御装置。
【請求項３】
再生対象として入力された前記コンテンツが、画像データとして相互に視差を含む左目用の画像データと右目用の画像データを含むコンテンツである場合、前記表示制御手段は、前記所定の区間のシーンの代表画像を、入力された前記コンテンツに含まれる左目用の画像データと右目用の画像データに基づいて表示し、前記所定の区間外のシーンの代表画像を、左目用の画像データと右目用の画像データのうちの一方に基づいて表示する
請求項１に記載の表示制御装置。
【請求項４】
コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出し、
抽出した特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出し、
前記コンテンツの各シーンの代表画像を表示する場合において、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示する
ステップを含む表示制御方法。
【請求項５】
コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出し、
抽出した特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出し、
前記コンテンツの各シーンの代表画像を表示する場合において、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項６】
コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、
前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出する検出手段と、
前記コンテンツの各シーンの代表画像を出力する出力手段であって、前記所定の区間のシーンの代表画像を３次元画像として出力し、前記所定の区間外のシーンの代表画像を２次元画像として出力する出力手段と
を備える出力装置。
【請求項７】
コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、
前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出する検出手段と、
検出した前記所定の区間に関するデータを、前記コンテンツの画像データとともに送信する送信手段と
を備える送信装置。
【請求項８】
少なくとも画像データを含むコンテンツのデータを受信するとともに、前記コンテンツの画像データと音声データのうちの少なくとも一方の特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間に関するデータを受信する受信手段と、
前記コンテンツの各シーンの代表画像の表示を制御する表示制御手段であって、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示する表示制御手段と
を備える表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御方法、プログラム、出力装置、および送信装置に関し、特に、疲労感を軽減しつつ、３Ｄコンテンツを効果的に視聴させることができるようにした表示制御装置、表示制御方法、プログラム、出力装置、および送信装置に関する。
【背景技術】
【０００２】
近年、LCD(Liquid Crystal Display)などのディスプレイの画素数の向上やフレームレートの向上に伴い実現可能になった画像の表示方式として、視聴者が画像を立体的に認識できるようにする３Ｄ（３次元）表示方式が注目されている。
【０００３】
以下、適宜、それを見ることによって被写体を立体的に認識できる画像を３Ｄ画像といい、３Ｄ画像のデータを含むコンテンツを３Ｄコンテンツという。また、３Ｄ画像を表示するための再生を３Ｄ再生という。通常の２Ｄ画像（被写体を立体的に認識できない平面的な画像）を表示するための再生は２Ｄ再生となる。
【０００４】
３Ｄ画像を鑑賞する方式としては、偏光フィルタメガネやシャッタメガネを用いるメガネ方式と、レンチキュラー方式等の、メガネを用いない裸眼方式とがある。また、３Ｄ画像を表示するための再生方式として、視差のある左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を交互に表示するフレームシーケンシャル方式がある。左目用画像と右目用画像をシャッタメガネ等によって視聴者の左右のそれぞれの目に届けることにより、立体感を視聴者に感じさせることが可能になる。
【０００５】
臨場感のある表現が可能になることから、このような３Ｄ再生の技術の開発がさかんに行われている。また、通常の２Ｄ再生に用いられるコンテンツ（２Ｄコンテンツ）に基づいて３Ｄコンテンツを生成し、３Ｄ画像を表示する技術の開発も行われている。２Ｄコンテンツから３Ｄコンテンツを生成する手法としては、画像の視差を利用した技術がある（例えば、特許文献１）。
【０００６】
３Ｄ画像と２Ｄ画像は画像の性質が異なるため、３Ｄ画像を長時間にわたって視聴した場合、２Ｄ画像を視聴したときより疲労が蓄積してしまう可能性がある。３Ｄ画像は従来の２Ｄ画像に較べてよりリアルに感じるため、ユーザは無意識のうちにコンテンツを長時間視聴してしまう可能性もある。
【０００７】
そのため、通常の２Ｄ画像を視聴している時よりも、気付かないうちに疲労感が増加してしまうことがある。このことから、３Ｄ画像を視聴するときの疲労感を軽減する技術が各種提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平７−２２２２０３号公報
【特許文献２】特開２００６−２０８４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、近年販売等されているハードディスクレコーダ等の通常の２Ｄコンテンツを記録する記録装置の中には、記録済みのコンテンツの再生モードとして特定のシーンのみを再生するモードが用意されているものがある。
【００１０】
例えば、再生対象のコンテンツがテレビジョン番組である場合に、その番組の盛り上がっているシーンのみを再生することにより、番組全体のうちの特に興味深い部分を効果的に視聴させることが可能になる。盛り上がっているシーンの検出は、番組の画像データや音声データを解析することによって記録装置により自動的に行われる。
【００１１】
３Ｄコンテンツを対象にして、このような特殊な再生を行うことも考えられる。３Ｄ画像は２Ｄ画像に較べてリアルに表現できることから、盛り上がっているシーンなどの注目シーンをより効果的に見せることが可能になる。
【００１２】
例えば、再生対象の３Ｄコンテンツがサッカーなどのスポーツ番組のコンテンツである場合、得点に関係するシーンや勝敗に関係するシーンをリアルに表現することで、ユーザに、より効果的な視聴を行わせることが可能になるものと考えられる。通常の２Ｄコンテンツを用いた場合には、このような、より効果的な視聴を行わせるための表現を行うことができない。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、疲労感を軽減しつつ、３Ｄコンテンツを効果的に視聴させることができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の第１の側面の表示制御装置は、コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出する検出手段と、前記コンテンツの各シーンの代表画像の表示を制御する表示制御手段であって、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示する表示制御手段とを備える。
【００１５】
再生対象として入力された前記コンテンツが、画像データとして２次元画像を表示するための画像データのみを含むコンテンツである場合、入力された前記コンテンツを、３次元画像を表示するための、相互に視差を含む左目用の画像データと右目用の画像データを含むコンテンツに変換する変換手段をさらに設けることができる。この場合、前記表示制御手段には、前記所定の区間のシーンの代表画像を、前記変換手段により変換された前記コンテンツに基づいて表示させ、前記所定の区間外のシーンの代表画像を、入力された前記コンテンツに基づいて表示させることができる。
【００１６】
再生対象として入力された前記コンテンツが、画像データとして相互に視差を含む左目用の画像データと右目用の画像データを含むコンテンツである場合、前記表示制御手段には、前記所定の区間のシーンの代表画像を、入力された前記コンテンツに含まれる左目用の画像データと右目用の画像データに基づいて表示し、前記所定の区間外のシーンの代表画像を、左目用の画像データと右目用の画像データのうちの一方に基づいて表示させることができる。
【００１７】
本発明の第１の側面の表示制御方法は、コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出し、抽出した特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出し、前記コンテンツの各シーンの代表画像を表示する場合において、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示するステップを含む。
【００１８】
本発明の第１の側面のプログラムは、コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出し、抽出した特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出し、前記コンテンツの各シーンの代表画像を表示する場合において、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示するステップを含む処理をコンピュータに実行させる。
【００１９】
本発明の第２の側面の出力装置は、コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出する検出手段と、前記コンテンツの各シーンの代表画像を出力する出力手段であって、前記所定の区間のシーンの代表画像を３次元画像として出力し、前記所定の区間外のシーンの代表画像を２次元画像として出力する出力手段とを備える。
【００２０】
本発明の第３の側面の送信装置は、コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出する検出手段と、検出した前記所定の区間に関するデータを、前記コンテンツの画像データとともに送信する送信手段とを備える。
【００２１】
本発明の第４の側面の表示制御装置は、少なくとも画像データを含むコンテンツのデータを受信するとともに、前記コンテンツの画像データと音声データのうちの少なくとも一方の特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間に関するデータを受信する受信手段と、前記コンテンツの各シーンの代表画像の表示を制御する表示制御手段であって、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示する表示制御手段とを備える。
【００２２】
本発明の第１の側面においては、コンテンツの画像データと音声データのうちの少なくとも一方の特徴が抽出され、抽出された特徴に基づいて求められた評価値が閾値以上となる前記コンテンツの所定の区間が検出され、前記コンテンツの各シーンの代表画像を表示する場合において、前記所定の区間のシーンの代表画像が、３次元画像として認識できるように表示され、前記所定の区間外のシーンの代表画像が２次元画像として認識できるように表示される。
【００２３】
本発明の第２の側面においては、コンテンツの画像データと音声データのうちの少なくとも一方の特徴が抽出され、抽出された特徴に基づいて求められた評価値が閾値以上となる前記コンテンツの所定の区間が検出される。また、前記コンテンツの各シーンの代表画像を表示する場合において、前記所定の区間のシーンの代表画像が、３次元画像として出力され、前記所定の区間外のシーンの代表画像が２次元画像として出力される。
【００２４】
本発明の第３の側面においては、コンテンツの画像データと音声データのうちの少なくとも一方の特徴が抽出され、抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間が検出される。また、検出された所定の区間に関するデータが、前記コンテンツの画像データとともに送信される。
【００２５】
本発明の第４の側面においては、少なくとも画像データを含むコンテンツのデータが受信されるとともに、前記コンテンツの画像データと音声データのうちの少なくとも一方の特徴に基づいて求められた評価値が閾値以上となる前記コンテンツの所定の区間に関するデータが受信される。前記コンテンツの各シーンの代表画像の表示を制御する場合において、前記所定の区間のシーンの代表画像が、３次元画像として認識させるように表示され、前記所定の区間外のシーンの代表画像が２次元画像として認識させるように表示される。
【発明の効果】
【００２６】
本発明によれば、疲労感を軽減しつつ、３Ｄコンテンツを効果的に視聴させることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態に係る３Ｄ画像表示システムの構成例を示す図である。
【図２】各シーンの盛り上がり評価値の変化と画像の表示の例を示す図である。
【図３】ディスプレイの表示の例を示す図である。
【図４】ディスプレイの表示の他の例を示す図である。
【図５】表示制御装置の構成例を示すブロック図である。
【図６】フレーム中の視差のある部分を示す図である。
【図７】フレーム中の視差のある部分を示す他の図である。
【図８】フレーム中の視差のある部分を示すさらに他の図である。
【図９】シャッタメガネの状態を示す図である。
【図１０】コンテンツ制御部の構成例を示すブロック図である。
【図１１】コンテンツ制御部の他の構成例を示すブロック図である。
【図１２】システムコントローラの構成例を示すブロック図である。
【図１３】表示制御装置の処理について説明するフローチャートである。
【図１４】コンテンツ制御部の構成例を示すブロック図である。
【図１５】本発明の他の実施形態に係る３Ｄ画像表示システムの構成例を示す図である。
【図１６】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２８】
［３Ｄ画像表示システム］
図１は、本発明の一実施形態に係る３Ｄ画像表示システムの構成例を示す図である。
【００２９】
図１に示すように、この３Ｄ画像表示システムは、表示制御装置１、TV２、およびシャッタメガネ３から構成される。すなわち、図１の３Ｄ画像表示システムによる３Ｄ画像の視聴方式はメガネを用いた方式である。シャッタメガネ３は、コンテンツの視聴者であるユーザが着用するものである。
【００３０】
表示制御装置１は、コンテンツを再生し、コンテンツの画像（動画像）をTV（テレビジョン受像機）２に表示させる。表示制御装置１は、例えば、内蔵のHDDに記録されているコンテンツや、ドライブに挿入されたBlu-ray（商標） discに記録されているコンテンツを再生する。表示制御装置１による再生の対象になるコンテンツはテレビジョン番組や映画などのコンテンツであり、画像データと音声データが含まれる。
【００３１】
ここでは、再生の対象になるコンテンツに含まれる画像データが、表示順で連続する２つのフレームを較べた場合に視差のない、通常の２Ｄ画像を表示するためのデータである場合について説明する。
【００３２】
表示制御装置１は、コンテンツの画像を２Ｄ画像としてTV２に表示させることにあわせて、コンテンツの音声を図示せぬスピーカから出力させる。表示制御装置１とTV２は例えばHDMI(High Definition Multimedia Interface)規格のケーブルによって接続される。
【００３３】
また、表示制御装置１は、コンテンツの画像データと音声データを解析し、コンテンツの重要区間を検出する。例えば、重要区間として、テレビジョン番組であるコンテンツの盛り上がり区間が検出される。重要区間の検出については後述する。
【００３４】
表示制御装置１は、コンテンツの再生中に、現在の再生位置が重要区間の位置になった場合、再生対象のコンテンツに含まれる２Ｄ画像のデータを変換することによって３Ｄ画像のデータを生成し、コンテンツの画像を３Ｄ画像として表示させる。
【００３５】
図１においては、TV２に左目用画像Ｌ１が表示されている。これに続けて、図１の右上に示すように、右目用画像Ｒ１、左目用画像Ｌ２、右目用画像Ｒ２、左目用画像Ｌ３、右目用画像Ｒ３、・・・と、左目用画像と右目用画像が交互に表示される。
【００３６】
シャッタメガネ３には、例えば、赤外線を用いた無線通信によって、画像の垂直同期信号の情報を含む制御信号が表示制御装置１から供給される。シャッタメガネ３の左目側の透過部と右目側の透過部は、その偏光特性を制御可能な液晶デバイスから構成される。
【００３７】
シャッタメガネ３は、制御信号に従って、左目オープンかつ右目クローズと左目クローズかつ右目オープンの２つのシャッタ開閉動作を、交互に繰り返す。その結果、ユーザの右目には右目用画像のみが、左目には左目用画像のみが入力される。左目用画像と右目用画像を交互に見ることによって、ユーザはコンテンツの重要区間の画像を立体感のある画像として知覚することになる。
【００３８】
現在の再生位置が重要区間外の位置になったとき、表示制御装置１は、３Ｄ画像としての表示を終了し、コンテンツの画像を２Ｄ画像として表示させる。また、表示制御装置１は、左目側の透過部と右目側の透過部の特性が同じ特性になるようにシャッタメガネ３を制御する。
【００３９】
以上のように、コンテンツ全体のうちの重要区間の画像だけを３Ｄ画像として表示することにより、コンテンツ全体の画像を３Ｄ画像として視聴させる場合に較べて、ユーザの疲労感を軽減させることが可能になる。
【００４０】
また、コンテンツの重要区間の画像を３Ｄ画像としてユーザに見せることによって、重要区間であることをより強調することができ、効果的にコンテンツの視聴を行わせることができる。
【００４１】
［表示例］
TV２全体の表示方式を２Ｄ表示方式と３Ｄ表示方式とで切り替えるのではなく、TV２の一部が３Ｄ表示方式で表示されるようにしてもよい。
【００４２】
コンテンツの各シーンの代表画像を並べて表示する（サムネイル表示する）場合に、重要区間のシーンの代表画像については３Ｄ画像として表示し、重要区間外のシーンの代表画像については２Ｄ画像として表示する場合について説明する。
【００４３】
図２は、各シーンの盛り上がり評価値の変化と画像の表示の例を示す図である。
【００４４】
図２の例においては、再生対象のコンテンツがサッカー中継の番組とされている。サッカー中継の番組は例えば録画され、表示制御装置１内のHDDに記録されているものである。そのサッカー中継の番組の画像データと音声データを対象として、再生が開始される前や再生中などの所定のタイミングで解析（特徴の抽出）が行われる。
【００４５】
画像データの特徴は、例えば、ズーム、パンの程度とされる。ズーム、パンの程度は、例えば各フレームの画素値を比較することによって検出される。音声データの特徴は、例えば音量とされる。
【００４６】
表示制御装置１は、例えば、画像データから抽出した特徴を数値化した値と、音声データから抽出した特徴を数値化した値とを加算して得られた値を盛り上がり評価値として算出する。図２の上段に示す波形は、横軸を時間、縦軸を盛り上がり評価値として、サッカー中継の番組の単位時間毎の盛り上がり評価値の変化を示す。なお、画像データから抽出された特徴と音声データから抽出された特徴のうちの一方から盛り上がり評価値が算出されるようにしてもよい。
【００４７】
表示制御装置１は、このような各時刻の盛り上がり評価値を閾値と比較して、閾値以上の盛り上がり評価値が一定の時間以上検出された区間を、盛り上がり区間、すなわち重要区間として検出する。図２の例においては、時刻ｋ１から時刻ｋ２の区間が重要区間として検出されている。図１を参照して説明した、TV２全体の表示方式を２Ｄ表示方式と３Ｄ表示方式とで切り替える場合の重要区間の検出もこのようにして行われる。
【００４８】
図２の中段に示す画像Ｐ１乃至Ｐ９は各シーンの代表画像である。表示制御装置１においてはシーンチェンジの検出も行われ、例えば、検出されたシーンチェンジの直後の位置の１フレームが代表フレームとして選択される。また、選択された代表フレームを縮小することによって静止画像である代表画像が生成される。代表画像として、その代表フレームを含む複数のフレームをそれぞれ縮小して得られた静止画像から構成される動画像が用いられるようにしてもよい。
【００４９】
図２の例においては、画像Ｐ１乃至Ｐ９のうち、画像Ｐ４乃至Ｐ７が重要区間のシーンの代表画像であり、画像Ｐ１乃至Ｐ３，Ｐ８，Ｐ９は重要区間外のシーンの代表画像である。
【００５０】
TV２に複数の代表画像を並べて表示させる場合、画像Ｐ４乃至Ｐ７は３Ｄ画像として表示され、それ以外の、画像Ｐ１乃至Ｐ３，Ｐ８，Ｐ９は２Ｄ画像として表示される。図２の下段に示す画像のうち、画像Ｐ４乃至Ｐ７を枠で囲んで示しているのは、それらの画像が３Ｄ画像として表示されることを表す。
【００５１】
図３は、TV２の表示の例を示す図である。
【００５２】
例えば、サッカー中継の番組の再生中に、各シーンの代表画像を表示することが指示された場合、それまで画面全体に番組の画像を２Ｄ画像として表示していたTV２の画面は、図３に示す画面に切り替えられる。図３の例においては、TV２の画面にメイン画面領域Ａ１と時系列代表画像領域Ａ２が形成されている。
【００５３】
メイン画面領域Ａ１は、再生中のサッカー中継の番組の画像が２Ｄ画像として表示される領域である。時系列代表画像領域Ａ２は、代表画像が時系列順に表示される領域である。図３に枠で囲んで示すように、時系列代表画像領域Ａ２に表示される代表画像のうちの画像Ｐ４乃至Ｐ７は３Ｄ画像として表示される。例えば、ユーザは、図示せぬリモートコントローラを操作して所定の代表画像を選択することによって、選択した代表画像から開始されるシーン以降の再生を開始させることができる。
【００５４】
このように重要区間のシーンの代表画像だけを３Ｄ表示として表示させることによって、全ての代表画像を２Ｄ画像として表示させる場合に較べて、ユーザは、重要区間のシーンの内容をより効果的に確認することが可能になる。
【００５５】
なお、メイン画面領域Ａ１に表示される番組の画像も３Ｄ画像として表示されるようにしてもよい。この場合、サッカー中継の番組の２Ｄ画像のデータは３Ｄ画像のデータに変換され、変換によって得られた画像データを用いてメイン画面領域Ａ１の表示が行われる。
【００５６】
図４は、TV２の表示の他の例を示す図である。重要区間の検出は図２を参照して説明したようにして所定のタイミングで行われている。
【００５７】
図４Ａは、コンテンツの現在の再生位置が、重要区間外の位置である場合のTV２の表示の例を示す図である。図４Ａに示すように、再生位置が重要区間外の位置である場合、サッカー中継の番組の画像が２Ｄ画像として、画面のほぼ全体に形成されたメイン画面領域Ａ１１に表示される。
【００５８】
図４Ｂは、コンテンツの現在の再生位置が重要区間の位置である場合のTV２の表示の例を示す図である。コンテンツの現在の再生位置が重要区間の位置になった場合、メイン画面領域Ａ１１には、サッカー中継の番組の画像が３Ｄ画像として表示される。また、メイン画面領域Ａ１１には、その一部にマルチ画面領域Ａ１２が重ねて形成され、そこに、重要区間の開始位置の直前のシーンの代表画像が２Ｄ画像として表示される。
【００５９】
このように、番組の重要区間の画像については３Ｄ画像としてメイン画面領域Ａ１１に表示し、それとともにマルチ画面によって他のシーンの代表画像を２Ｄ画像として表示することによっても、重要区間の画像をより効果的に表現することができる。ユーザは、画像の表示方法の違いをより強調した形で認識することが可能になる。
【００６０】
［表示制御装置１の構成］
図５は、表示制御装置１の構成例を示すブロック図である。
【００６１】
システムコントローラ１１は、ユーザI/F１２から供給されるユーザの操作の内容を表す信号に従って、表示制御装置１の全体の動作を制御する。
【００６２】
例えば、システムコントローラ１１は、特徴抽出部１８から供給された特徴データに基づいてコンテンツの重要区間を検出する。システムコントローラ１１は、検出結果に基づいて、重要区間の番組の画像やシーンの代表画像を３Ｄ画像として表示し、重要区間外の番組の画像やシーンの代表画像を２Ｄ画像として表示するように各部を制御する。
【００６３】
ユーザI/F１２は、リモートコントローラからの信号を受光する受光部などにより構成される。ユーザI/F１２は、リモートコントローラに対するユーザの操作を検出し、その内容を表す信号をシステムコントローラ１１に出力する。
【００６４】
記録媒体制御部１３は、記録媒体１４に対するコンテンツの記録や、記録媒体１４からのコンテンツの読み出しを制御する。記録媒体１４は例えばHDD(Hard Disk Drive)であり、コンテンツを記録する。
【００６５】
また、記録媒体制御部１３は、図示せぬアンテナからの信号に基づいて、放送されたコンテンツを受信し、記録媒体１４に記録させる。記録媒体制御部１３は、記録媒体１４に記録されているコンテンツの中からユーザにより所定のコンテンツが選択され、その再生が指示された場合、再生が指示されたコンテンツを記録媒体１４から再生処理部１５に供給する。
【００６６】
再生処理部１５は、記録媒体１４から供給された再生対象のコンテンツに対して、圧縮されているデータを伸張するデコード処理等の再生処理を施す。再生処理部１５は、再生処理を施すことによって得られた画像データと音声データを特徴抽出部１８に出力し、コンテンツの画像を表示するために用いられる画像データをコンテンツ制御部１６に出力する。コンテンツの画像にあわせて音声を出力するために用いられる音声データは、再生処理部１５から図示せぬ回路を介して外部のスピーカ等に出力される。
【００６７】
コンテンツ制御部１６は、再生処理部１５から供給された２Ｄ画像のデータをそのまま、または、３Ｄ画像のデータに変換して、表示制御部１７に出力する。
【００６８】
表示制御部１７は、コンテンツ制御部１６から供給された画像データに基づいて、図１、図３、および図４を参照して説明した画面をTV２に表示させる。具体的には、表示制御部１７は、TV２の画面全体のうち、３Ｄ画像として表示させる部分については、コンテンツ制御部１６から供給された左目用の画像データと右目用の画像データとを用いてその部分の表示を行う。また、表示制御部１７は、２Ｄ画像として表示させる部分については、コンテンツ制御部１６から供給された２Ｄ画像のデータを用いてその部分の表示を行う。
【００６９】
図６は、図１を参照して説明したようにTV２全体の表示方式を２Ｄ表示方式と３Ｄ表示方式とで切り替える場合の、フレーム中の視差のある部分を示す図である。
【００７０】
図６においては、実際の表示内容（被写体）の図示は省略しており、表示順で連続するフレームとの間で視差のある部分に斜線を付している。後述する図７、図８においても同様である。
【００７１】
図６Ａに示すフレームＦ１，Ｆ２は、重要区間外のフレームであり、フレームＦ１，Ｆ２の順番で表示される。
【００７２】
表示制御部１７は、コンテンツ制御部１６から供給される２Ｄ画像のデータに基づいてフレームＦ１，Ｆ２のそれぞれのフレームのデータを生成し、TV２に出力する。ユーザは、TV２に表示される、番組の重要区間外の画像を２Ｄ画像として見ることになる。
【００７３】
図６Ｂに示すフレームＦ１，Ｆ２は、重要区間のフレームであり、フレームＦ１，Ｆ２の順番で表示される。フレームＦ１，Ｆ２の全体に斜線を付していることは、フレームＦ１とフレームＦ２の全体に視差があることを表す。
【００７４】
表示制御部１７は、コンテンツ制御部１６から供給された左目用画像のデータに基づいてフレームＦ１のデータを生成し、コンテンツ制御部１６から供給された右目用画像のデータに基づいてフレームＦ２のデータを生成する。表示制御部１７は、フレームＦ１を左目用画像（Ｌ１画像）、フレームＦ２を、フレームＦ１と対になる右目用画像（Ｒ１画像）としてTV２に出力する。後述するようにしてシャッタメガネ３が制御されることもあって、ユーザは、TV２に表示される番組の重要区間の画像を３Ｄ画像として見ることになる。
【００７５】
図７は、図３を参照して説明したように各シーンの代表画像を並べて表示する場合の、フレーム中の視差のある部分を示す図である。この例においては、図３のメイン画面領域Ａ１に表示されるサッカー中継の番組の画像は２Ｄ画像として表示されるものとする。
【００７６】
図７Ａに示すフレームＦ１，Ｆ２は、並べて表示する代表画像の中に、重要区間のシーンの代表画像がない場合のフレームであり、フレームＦ１，Ｆ２の順番で表示される。
【００７７】
表示制御部１７は、コンテンツ制御部１６から供給される２Ｄ画像のデータに基づいてフレームＦ１，Ｆ２のそれぞれのデータ（番組の画像と代表画像が表示されるフレームのデータ）を生成し、TV２に出力する。ユーザは、TV２のメイン画面領域Ａ１（図３）に表示される番組の画像も、時系列代表画像領域Ａ２に並べて表示される全ての代表画像も２Ｄ画像として見ることになる。
【００７８】
図７Ｂに示すフレームＦ１，Ｆ２は、並べて表示する代表画像の中に、重要区間のシーンの代表画像がある場合のフレームであり、フレームＦ１，Ｆ２の順番で表示される。フレームＦ１とＦ２のうち、斜線を付して示す部分は、重要区間のシーンの代表画像が表示される部分に対応する。
【００７９】
表示制御部１７は、フレームＦ１のうち、斜線を付して示す部分を、コンテンツ制御部１６から供給された左目用画像のデータに基づいて生成し、それ以外の部分を、コンテンツ制御部１６から供給された２Ｄ画像のデータに基づいて生成する。また、表示制御部１７は、フレームＦ２のうち、斜線を付して示す部分を、コンテンツ制御部１６から供給された右目用画像のデータに基づいて生成し、それ以外の部分を、コンテンツ制御部１６から供給された２Ｄ画像のデータに基づいて生成する。
【００８０】
表示制御部１７は、フレームＦ１を左目用画像として、フレームＦ２を、フレームＦ１と対になる右目用画像としてTV２に出力する。
【００８１】
シャッタメガネ３が制御されることもあって、ユーザは、ユーザは、図７Ｂの斜線部分に表示される代表画像を３Ｄ画像として見ることになる。また、ユーザは、TV２のメイン画面領域Ａ１に表示される番組の画像と、時系列代表画像領域Ａ２に表示される、図７Ｂの斜線部分以外の部分に表示される代表画像を２Ｄ画像として見ることになる。
【００８２】
図８は、図４を参照して説明したように、再生位置が重要区間になったとき、番組の画像を３Ｄ画像として表示するとともに、その直前のシーンの代表画像を２Ｄ画像として表示する場合の、フレーム中の視差のある部分を示す図である。
【００８３】
図８Ａに示すフレームＦ１，Ｆ２は、重要区間外のフレームであり、フレームＦ１，Ｆ２の順番で表示される。
【００８４】
表示制御部１７は、コンテンツ制御部１６から供給される２Ｄ画像のデータに基づいてフレームＦ１，Ｆ２のそれぞれのデータを生成し、TV２に出力する。ユーザは、TV２のメイン画面領域Ａ１１（図４）に表示される番組の重要区間外の画像を２Ｄ画像として見ることになる。
【００８５】
図８Ｂに示すフレームＦ１，Ｆ２は、重要区間のフレームであり、フレームＦ１，Ｆ２の順番で表示される。フレームＦ１，Ｆ２のうちの斜線を付して示す部分はメイン画面領域Ａ１１に対応する部分であり、斜線を付していない部分はマルチ画面領域Ａ１２に対応する部分である。フレームＦ１とＦ２のうち、斜線を付して示す、メイン画面領域Ａ１１の部分には視差があることになる。
【００８６】
表示制御部１７は、フレームＦ１のうち、斜線を付して示す部分を、コンテンツ制御部１６から供給された左目用画像のデータに基づいて生成し、それ以外の部分を、コンテンツ制御部１６から供給された２Ｄ画像のデータに基づいて生成する。また、表示制御部１７は、フレームＦ２のうち、斜線を付して示す部分を、コンテンツ制御部１６から供給された右目用画像のデータに基づいて生成し、それ以外の部分を、コンテンツ制御部１６から供給された２Ｄ画像のデータに基づいて生成する。
【００８７】
表示制御部１７は、フレームＦ１を左目用画像として、フレームＦ２を、フレームＦ１と対になる右目用画像としてTV２に出力する。
【００８８】
シャッタメガネ３が制御されることもあって、ユーザは、図８Ｂの斜線部分に表示される番組の画像を３Ｄ画像として見ることになる。また、ユーザは、TV２のマルチ画面領域Ａ１２に表示される代表画像を２Ｄ画像として見ることになる。
【００８９】
表示制御部１７は、システムコントローラ１１による制御に従って、このようにして各フレームのデータを生成し、TV２に出力する。コンテンツ制御部１６からは、表示制御部１７が以上のようにして各フレームのデータを生成するのに用いられる２Ｄ画像、または３Ｄ画像のデータが供給されてくる。
【００９０】
図５の説明に戻り、特徴抽出部１８は、再生処理部１５から供給された画像データと音声データの特徴を抽出し、抽出した特徴を表すデータである特徴データをシステムコントローラ１１に出力する。
【００９１】
信号出力部１９は、システムコントローラ１１から供給された制御信号をシャッタメガネ３に送信する。TV２に３Ｄ画像を表示する場合、左目用画像と右目用画像のそれぞれの表示タイミングにあわせてシャッタメガネ３のシャッタを動作させるための制御信号がシステムコントローラ１１から供給される。また、TV２に２Ｄ画像のみを表示する場合、シャッタメガネ３の左目側の透過部と右目側の透過部の特性（シャッタ動作）を同じものにさせるための制御信号が供給される。
【００９２】
信号出力部１９から送信された制御信号を受信したシャッタメガネ３においては、左目側の透過部と右目側の透過部のシャッタ動作が制御されたり、それらの特性を同じものにするような制御が行われたりする。左目側の透過部と右目側の透過部の特性が同じものになった場合、TV２に表示される画像は通常の２Ｄ画像としてユーザによって認識される。
【００９３】
図９は、シャッタメガネ３の制御の例を示す図である。
【００９４】
コンテンツの再生位置が重要区間の位置になるなどして３Ｄ画像を表示するタイミングになった場合、図９Ａに示すように、左目用画像が左目、右目用画像が右目にそれぞれ届くように、左右の透過部のシャッタ動作が制御信号に従って制御される。
【００９５】
図９Ａの右側の画像は、シャッタメガネ３の左右の透過部の特性が同じ（クローズとオープンのタイミングが同じ）である場合のシャッタメガネ３の状態を示している。また、図９Ａの左側の画像は、シャッタメガネ３の左右の透過部の特性が異なる（クローズとオープンのタイミングが異なる）場合のシャッタメガネ３の状態を示している。
【００９６】
なお、左目用画像、右目用画像としてそれぞれ色を替えた画像をユーザに見せるカラーフィルタ方式で３Ｄ表示を実現するようにしてもよい。この場合、左目側の透過部が赤、右目側の透過部が青といったように、それぞれの透過部の色を制御可能なメガネが用いられる。
【００９７】
図９Ｂの右側の画像は、左右の透過部の特性が同じ（同じ色）である場合のメガネの状態を示している。また、図９Ｂの左側の画像は、左目側の透過部と右目側の透過部の特性が異なる（色が異なる）場合のメガネの状態を示している。再生位置が重要区間の位置になったときにメガネの特性が図９Ｂの左側に示す状態に切り替わることにより、ユーザは３Ｄ画像を見ることができる。
【００９８】
図１０は、図５のコンテンツ制御部１６の構成例を示すブロック図である。
【００９９】
コンテンツ制御部１６は、適宜、再生処理部１５から供給された２Ｄ画像のデータを３Ｄ画像のデータに変換する。２Ｄ画像のデータを３Ｄ画像のデータに変換することについては、例えば、特開平７−２２２２０３号公報に記載されている。図１０に示す構成は、基本的に、当該公報に記載されているものと同様の構成である。
【０１００】
図１０に示すように、コンテンツ制御部１６は、動きベクトル検出部３１とメモリ３２から構成される。再生処理部１５から出力された２Ｄ画像のデータは、動きベクトル検出部３１とメモリ３２に入力されるとともに、表示制御部１７にそのまま出力される。コンテンツ制御部１６からそのまま出力された２Ｄ画像のデータは、２Ｄ画像を表示する場合に表示制御部１７において用いられる。また、３Ｄ画像を表示する場合、例えば左目用画像のデータとして用いられる。
【０１０１】
動きベクトル検出部３１は、入力された画像データに基づいて、フレーム間の被写体の動きを表す動きベクトルを検出し、システムコントローラ１１に出力する。システムコントローラ１１においては、動きベクトル検出部３１により検出された動きベクトルの例えば水平方向の成分の大きさに応じてメモリ３２の遅延量を制御することが行われる。
【０１０２】
メモリ３２は、３Ｄ画像を表示する場合、入力された画像データを一時的に記憶し、システムコントローラ１１から供給された遅延量の分だけ、遅延させて出力する。メモリ３２から出力された画像データは、３Ｄ画像を表示する場合、右目用画像のデータとして用いられる。このような構成を有するコンテンツ制御部１６から３Ｄ画像として出力された左目用画像と右目用画像を見たユーザは、左右の画像の時間差により、被写体を立体的に感じることになる。左右の画像の時間差により被写体を立体的に感じる現象と似た現象として、Mach-Dvorak現象が知られている。
【０１０３】
図１１は、コンテンツ制御部１６の他の構成例を示すブロック図である。
【０１０４】
この例においては、コンテンツ制御部１６には動きベクトルを検出する構成は設けられず、メモリ３２の遅延量を制御するための基準となる動きベクトルの情報が、再生処理部１５からシステムコントローラ１１に供給される。再生処理部１５に入力される画像データの圧縮方式がMPEG(Moving Picture Experts Group)2やH.264/AVCなどの場合、画像データには動きベクトルの情報が含まれている。
【０１０５】
再生処理部１５は、入力された画像データに含まれる動きベクトルの情報をシステムコントローラ１１に出力し、再生処理を施すことによって得られた２Ｄ画像のデータをコンテンツ制御部１６に出力する。システムコントローラ１１においては、動きベクトルに基づいて遅延量が決定され、決定された遅延量を表す情報がメモリ３２に供給される。
【０１０６】
再生処理部１５から出力された２Ｄ画像のデータは、メモリ３２に入力されるとともに、表示制御部１７にそのまま出力される。コンテンツ制御部１６からそのまま出力された２Ｄ画像のデータは、２Ｄ画像を表示する場合に用いられる。また、３Ｄ画像を表示する場合、例えば左目用画像のデータとして用いられる。
【０１０７】
メモリ３２は、３Ｄ画像を表示する場合、入力された画像データを一時的に記憶し、システムコントローラ１１から供給された遅延量の分だけ、遅延させて出力する。メモリ３２から出力された画像データは、３Ｄ画像を表示する場合、例えば右目用画像のデータとして用いられる。
【０１０８】
図１２は、図５のシステムコントローラ１１の構成例を示すブロック図である。
【０１０９】
図１２に示すように、システムコントローラ１１は、シーン検出部５１、重要区間検出部５２、および制御部５３から構成される。
【０１１０】
特徴抽出部１８から出力された特徴データはシーン検出部５１と重要区間検出部５２に入力される。また、図１０の動きベクトル検出部３１、または図１１の再生処理部１５から出力された動きベクトルの情報は制御部５３に入力される。
【０１１１】
シーン検出部５１は、画像データの特徴に基づいてシーンチェンジを検出し、その位置を表す情報を再生処理部１５に出力する。シーン検出部５１により検出されたシーンチェンジの位置は、例えば図３の各シーンの代表画像を生成するために用いられる。再生処理部１５においては、例えば、シーン検出部５１により検出されたシーンチェンジの直後の位置にあるフレームがデコードされ、それを縮小することによって代表画像が生成される。
【０１１２】
重要区間検出部５２は、画像データや音声データの特徴に基づいて、図２を参照して説明したようにして評価値を算出し、重要区間を検出する。重要区間検出部５２は、重要区間を表す情報を制御部５３に出力する。
【０１１３】
制御部５３は、図１または図４を参照して説明したようにしてコンテンツの画像を３Ｄ画像として表示させる場合、コンテンツの現在の再生位置を監視する。制御部５３は、現在の再生位置が重要区間の位置になったとき、入力された動きベクトルに応じた遅延量の情報をコンテンツ制御部１６のメモリ３２に出力する。例えば、基準となる動きベクトルの水平方向の成分の大きさＶ０に対して遅延量Ｔ０が対応付けられている。制御部５３は、入力された動きベクトルの水平方向の成分の大きさがＶ０より大きいＶ１のとき、Ｔ０より少ないＴ１を遅延量として選択し、その情報をメモリ３２に出力する。また、制御部５３は、入力された動きベクトルの水平方向の成分の大きさがＶ０より小さいＶ２のとき、Ｔ０より多いＴ２を遅延量として選択し、その情報をメモリ３２に出力する。制御部５３は、表示制御部１７を制御し、図６または図８を参照して説明したようなフレームのデータをコンテンツ制御部１６から供給されるデータに基づいて生成させ、出力させる。
【０１１４】
制御部５３は、図３を参照して説明したようにして代表画像を３Ｄ画像として表示させる場合、コンテンツ制御部１６に入力される代表画像が重要区間のシーンの代表画像であるか否かを監視する。代表画像を表示させる場合、再生処理部１５により生成された代表画像がコンテンツ制御部１６に順次入力される。
【０１１５】
制御部５３は、重要区間のシーンの代表画像がコンテンツ制御部１６に入力されたとき、所定の遅延量の情報をコンテンツ制御部１６のメモリ３２に出力する。また、制御部５３は、表示制御部１７を制御し、図７を参照して説明したようなフレームのデータをコンテンツ制御部１６から供給されるデータに基づいて生成させ、出力させる。
【０１１６】
なお、制御部５３は、コンテンツの再生、表示を制御するとともに、制御信号を信号出力部１９に出力してシャッタメガネ３の特性を制御することも行う。
【０１１７】
以上においては、２Ｄ画像に基づいて３Ｄ画像を生成する場合、１枚の画像を左目用画像とし、その画像を遅延させた画像を右目用画像とする場合について説明したが、１枚の画像を左目用画像とし、その画像に映る被写体の位置をずらした画像を右目用画像として用いるようにしてもよい。
【０１１８】
［表示制御装置１の動作］
図１３のフローチャートを参照して、表示制御装置１の処理について説明する。
【０１１９】
ここでは、図１を参照して説明したように、再生位置が重要区間の位置になった場合に、コンテンツの画像全体の表示方式を２Ｄ表示方式から３Ｄ表示方式に切り替える処理について説明する。
【０１２０】
ステップＳ１において、システムコントローラ１１は、ユーザによる操作に応じて動作モードを設定する。例えば、システムコントローラ１１は、記録媒体１４に記録されているコンテンツの再生が指示された場合、動作モードとして再生モードを設定し、放送中のコンテンツの録画が指示された場合、動作モードとして録画モードを設定する。
【０１２１】
ステップＳ２において、システムコントローラ１１は、設定しているモードが再生モードであるか否かを判定し、再生モードではないと判定した場合、いま設定されている動作モードに応じた処理を行う。
【０１２２】
一方、設定しているモードが再生モードであるとステップＳ２において判定した場合、ステップＳ３において、システムコントローラ１１は、ユーザにより選択されたコンテンツの読み出しを記録媒体制御部１３に行わせる。記録媒体制御部１３により読み出された再生対象のコンテンツは再生処理部１５に供給される。
【０１２３】
ステップＳ４において、再生処理部１５は、再生対象のコンテンツの再生処理を行い、画像データをコンテンツ制御部１６に出力するとともに、画像データと音声データを特徴抽出部１８に出力する。
【０１２４】
ステップＳ５において、特徴抽出部１８は、画像データと音声データの特徴を抽出し、特徴データをシステムコントローラ１１に出力する。システムコントローラ１１の重要区間検出部５２においては、重要区間の検出が行われ、その情報が制御部５３に供給される。
【０１２５】
ステップＳ６において、制御部５３は、現在の再生位置が重要区間の位置であるか否かを判定する。
【０１２６】
現在の再生位置が重要区間の位置であるとステップＳ６において判定した場合、ステップＳ７において、制御部５３は３Ｄ表示処理を行う。すなわち、コンテンツ制御部１６、表示制御部１７等を制御することによって、コンテンツの画像を３Ｄ画像として表示する処理が行われる。現在の再生位置が重要区間の位置ではないとステップＳ６において判定された場合、ステップＳ７はスキップされる。
【０１２７】
ステップＳ８において、システムコントローラ１１は、コンテンツの再生を終了するか否かを判定し、終了しないと判定した場合、ステップＳ４に戻り、それ以降の処理を行う。
【０１２８】
コンテンツの再生を終了することがユーザにより指示されたことから、または、コンテンツを最後まで再生したことから、コンテンツの再生を終了するとステップＳ８において判定された場合、処理は終了される。
【０１２９】
図４の画面表示を行う場合も、重要区間の開始位置の直前のシーンの代表画像を表示させる処理がステップＳ７の３Ｄ表示処理に含まれる点を除いて、図１３の処理と同様の処理が行われる。
【０１３０】
また、図３の画面表示を行う場合も、基本的に図１３の処理と同様の処理が行われる。すなわち、表示する代表画像が重要区間のシーンの代表画像であるか否かがステップＳ６において判定され、重要区間のシーンの代表画像であると判定された場合、その代表画像を３Ｄ画像として表示させる処理がステップＳ７の３Ｄ表示処理として行われる。
【０１３１】
［変形例］
以上においては、再生対象になるコンテンツが２Ｄコンテンツである場合について説明したが、左目用画像のデータと右目用画像のデータとがそれぞれあらかじめ用意されている３Ｄコンテンツが再生対象として用いられるようにしてもよい。この場合、図１０、図１１を参照して説明した２Ｄ画像のデータを３Ｄ画像のデータに変換する処理はコンテンツ制御部１６においては行われない。
【０１３２】
図１４は、再生対象になるコンテンツが３Ｄコンテンツである場合のコンテンツ制御部１６の構成例を示すブロック図である。
【０１３３】
図１４に示すように、コンテンツ制御部１６には選択部６１が設けられる。選択部６１には、再生対象の３Ｄコンテンツがデコードされることによって得られた左目用画像のデータと右目用画像のデータが再生処理部１５から供給される。左目用画像に映る被写体の表示位置と、右目用画像に映る被写体の表示位置には視差に相当する分のずれがある。
【０１３４】
選択部６１は、システムコントローラ１１による制御に従って、３Ｄ画像を表示する場合、左目用画像のデータと右目用画像のデータを表示制御部１７に出力し、２Ｄ画像を表示する場合、例えば左目用画像のデータのみを表示制御部１７に出力する。表示制御部１７においては、選択部６１から供給された画像データに基づいて各フレームのデータが図６乃至図８を参照して説明したようにして生成される。
【０１３５】
これによっても、３Ｄコンテンツ全体のうちの重要区間の画像だけを３Ｄ画像として表示することができ、コンテンツ全体の画像を３Ｄ画像として視聴させる場合に較べて、ユーザの疲労感を軽減させることが可能になる。
【０１３６】
以上においては、表示制御装置１がTV２とは別の筐体の装置として用意され、現在の再生位置に応じて出力する画像データを切り替える出力装置として機能するものとしたが、表示制御装置１がTV２内に設けられるようにしてもよい。
【０１３７】
また、図１においては、現在の再生位置が重要区間であるか否かに応じて、出力する画像データを表示制御装置１が切り替えるものとしたが、画像データの切り替えがTV２側で行われるようにしてもよい。
【０１３８】
図１５は、３Ｄ画像表示システムの他の構成例を示す図である。
【０１３９】
図１５の３Ｄ画像表示システムは、送信装置７１と表示制御装置７２から構成される。表示制御装置７２は、例えばTV２の内部に設けられる装置であり、HDMI規格のケーブルを介して、TV２とは別の筐体の装置として外部に設けられる送信装置７１と通信を行う。
【０１４０】
図１５の３Ｄ画像表示システムにおいては、重要区間の検出が送信装置７１により行われ、重要区間の情報がコンテンツとともに送信装置７１から表示制御装置７２に送信される。表示制御装置７２においては、送信装置７１から送信されてきたコンテンツが再生され、図１、図３、および図４を参照して説明したようにして画像の表示が切り替えられる。
【０１４１】
図１５に示すように、送信装置７１は、システムコントローラ８１、ユーザI/F８２、記録媒体制御部８３、記録媒体８４、再生処理部８５、特徴抽出部８６、および送信部８７から構成される。ユーザI/F８２、記録媒体制御部８３、記録媒体８４、再生処理部８５、特徴抽出部８６は、それぞれ、図５のユーザI/F１２、記録媒体制御部１３、記録媒体１４、再生処理部１５、および特徴抽出部１８に対応する。
【０１４２】
システムコントローラ８１は、ユーザI/F８２から供給されるユーザの操作の内容を表す信号に従って、送信装置７１の全体の動作を制御する。図１５のシステムコントローラ８１には、図１２に示す構成のうち、シーン検出部５１と重要区間検出部５２が設けられる。
【０１４３】
例えば、システムコントローラ８１は、特徴抽出部８６から供給された特徴データに基づいてシーンチェンジと重要区間を検出する。システムコントローラ８１は、検出したシーンチェンジの位置の情報と重要区間の情報を送信部８７に出力する。
【０１４４】
ユーザI/F８２は、再生の対象とする番組の選択操作などの、リモートコントローラに対するユーザの操作を検出し、その内容を表す信号をシステムコントローラ８１に出力する。
【０１４５】
記録媒体制御部８３は、図示せぬアンテナからの信号に基づいて、放送されたコンテンツを受信し、記録媒体８４に記録させる。記録媒体制御部８３は、記録媒体８４に記録されているコンテンツの再生が指示された場合、再生の対象とするコンテンツを再生処理部８５に出力させる。また、記録媒体制御部８３は、再生の対象とするコンテンツを送信部８７に出力する。
【０１４６】
再生処理部８５は、再生の対象とするコンテンツに対して、圧縮されているデータを伸張するデコード処理等の再生処理を施す。再生処理部８５は、再生処理を施すことによって得られた画像データと音声データを特徴抽出部８６に出力する。画像データと音声データのうちのいずれか一方が特徴抽出の対象として用いられるようにしてもよい。
【０１４７】
特徴抽出部８６は、再生処理部８５から供給された画像データと音声データの特徴を抽出し、抽出した特徴を表すデータである特徴データをシステムコントローラ８１に出力する。
【０１４８】
送信部８７は、記録媒体制御部８３から供給されたコンテンツをHDMI規格のケーブルを介して表示制御装置７２に送信する。また、送信部８７は、システムコントローラ８１から供給されたシーンチェンジの位置の情報と重要区間の情報を、HDMI規格のversion1.4で規定されるHDMI Vender Specific InfoFrame Packetなどに格納して表示制御装置７２に送信する。
【０１４９】
HDMI Vender Specific InfoFrame Packetは、各ベンダーが規定した制御コマンドの送受信などに用いられるパケットであり、送信側の機器から受信側の機器に対して、HDMIのCEC(Consumer Electronics Control)線を介して送信される。重要区間の情報には、重要区間の位置（時刻）を表す情報が含まれる。
【０１５０】
表示制御装置７２は、システムコントローラ９１、受信部９２、再生処理部９３、コンテンツ制御部９４、表示制御部９５、ディスプレイ９６、および信号出力部９７から構成される。再生処理部９３、コンテンツ制御部９４、表示制御部９５、信号出力部９７は、それぞれ、図５の再生処理部１５、コンテンツ制御部１６、表示制御部１７、信号出力部１９に対応する。
【０１５１】
システムコントローラ９１は、表示制御装置７２の全体の動作を制御し、送信装置７１から送信されてきたコンテンツの再生を行う。図１５のシステムコントローラ９１には、図１２に示す構成のうち、制御部５３が設けられる。
【０１５２】
システムコントローラ９１は、図１または図４を参照して説明したようにしてコンテンツの画像を３Ｄ画像として表示させる場合、コンテンツの現在の再生位置を監視する。システムコントローラ９１は、現在の再生位置が重要区間の位置になったとき、遅延量の情報をコンテンツ制御部９４に出力する。また、システムコントローラ９１は、表示制御部９５を制御し、図６または図８を参照して説明したようなフレームのデータをコンテンツ制御部９４から供給されるデータに基づいて生成させ、出力させる。
【０１５３】
システムコントローラ９１は、図３を参照して説明したようにして代表画像を３Ｄ画像として表示させる場合、コンテンツ制御部９４に入力される代表画像が重要区間のシーンの代表画像であるか否かを監視する。代表画像を表示させる場合、再生処理部９３により生成された代表画像がコンテンツ制御部９４に順次入力される。
【０１５４】
システムコントローラ９１は、重要区間のシーンの代表画像がコンテンツ制御部９４に入力されたとき、所定の遅延量の情報をコンテンツ制御部９４に出力する。また、システムコントローラ９１は、表示制御部９５を制御し、図７を参照して説明したようなフレームのデータをコンテンツ制御部１６から供給されるデータに基づいて生成させ、出力させる。
【０１５５】
受信部９２は、送信装置７１から送信されてきたコンテンツ、シーンチェンジの位置の情報、および重要区間の情報を受信し、コンテンツを再生処理部９３に、シーンチェンジの位置の情報と重要区間の情報をシステムコントローラ９１にそれぞれ出力する。
【０１５６】
再生処理部９３は、受信部９２から供給されたコンテンツに対して、圧縮されているデータを伸張するデコード処理等の再生処理を施す。再生処理部９３は、再生処理を施すことによって得られた２Ｄ画像のデータをコンテンツ制御部９４に出力する。コンテンツの画像にあわせて音声を出力するために用いられる音声データは、図示せぬ回路を介して外部のスピーカ等に出力される。再生処理部９３は、適宜、システムコントローラ９１による制御に従って代表画像を生成し、生成した代表画像をコンテンツ制御部９４に出力する。
【０１５７】
コンテンツ制御部９４は、図１０、または図１１に示す構成と同様の構成を有している。コンテンツ制御部９４は、再生処理部９３から供給された２Ｄ画像のデータをそのまま、または、３Ｄ画像のデータに変換して、表示制御部９５に出力する。
【０１５８】
表示制御部９５は、コンテンツ制御部９４から供給された画像データに基づいて、図１、図３、および図４を参照して説明した画面をディスプレイ９６に表示させる。
【０１５９】
信号出力部９７は、制御信号を送信し、図９を参照して説明したようにしてシャッタメガネ３のシャッタ動作を制御する。
【０１６０】
このような構成を有する３Ｄ画像表示システムにおいても、図１、図３、および図４を参照して説明した画面を表示することが可能になる。
【０１６１】
また、以上においては、３Ｄ画像の視聴方式がメガネを用いた方式であるものとしたが、裸眼方式であってもよい。裸眼方式の場合であっても、重要区間においてはユーザが３Ｄ画像を見ることができるように画像の表示が制御され、通常区間においてはユーザが２Ｄ画像を見ることができるように画像の表示が制御される。
【０１６２】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１６３】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１６４】
CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
【０１６５】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続される。また、入出力インタフェース１０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、リムーバブルメディア１１１を駆動するドライブ１１０が接続される。
【０１６６】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを入出力インタフェース１０５及びバス１０４を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１６７】
CPU１０１が実行するプログラムは、例えばリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１０８にインストールされる。
【０１６８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６９】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１７０】
１  表示制御装置，  ２  TV，  ３  シャッタメガネ，  １１  システムコントローラ，  １２  ユーザI/F，  １３  記録媒体制御部，  １４  記録媒体，  １５  再生処理部，  １６  コンテンツ制御部，  １７  表示制御部，  １８  特徴抽出部，  １９  信号出力部，  ３１  動きベクトル検出部，  ３２  メモリ，  ５１  シーン検出部，  ５２  重要区間検出部，  ５３  制御部
【図１】
2011101229.tif 000003
【図２】
2011101229.tif 000004
【図３】
2011101229.tif 000005
【図４】
2011101229.tif 000006
【図５】
2011101229.tif 000007
【図６】
2011101229.tif 000008
【図７】
2011101229.tif 000009
【図８】
2011101229.tif 000010
【図９】
2011101229.tif 000011
【図１０】
2011101229.tif 000012
【図１１】
2011101229.tif 000013
【図１２】
2011101229.tif 000014
【図１３】
2011101229.tif 000015
【図１４】
2011101229.tif 000016
【図１５】
2011101229.tif 000017
【図１６】
2011101229.tif 000018