(57)【要約】【課題】コンテンツの変速再生時の疲労感を軽減させることができるようにする。【解決手段】コンテンツの変速再生を行っている場合において、その再生速度が等倍速であるＳ０以上、Ｓ１未満である場合、視差パラメータの値として、設定可能な範囲で最大の値である値Ｐ５が用いられ、３Ｄ画像の表示が行われる。視差パラメータは、３Ｄ画像である左目用画像と右目用画像の間の視差の大きさを規定するパラメータである。すなわち、再生速度がＳ０からＳ１未満である場合に、ユーザは被写体を最も立体的に感じることができる。再生速度がＳ５以上である場合、視差パラメータの値として値Ｐ０が用いられる。視差パラメータの値として値Ｐ０が設定されている場合、ユーザは２Ｄ画像を見るだけになり、被写体を立体的に感じることはない。本発明は動画のコンテンツを再生する録画機器に適用することができる。【選択図】図２
2011109294.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを再生する再生手段と、
前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差を、前記再生手段による前記コンテンツの再生速度に応じて制御する制御手段と、
視差が制御された左目用画像と右目用画像のデータを出力する出力手段と
を備える情報処理装置。
【請求項２】
前記制御手段は、前記コンテンツの再生速度が等倍速である場合、設定可能な範囲で最大の視差があるように左目用画像と右目用画像の間の視差を制御し、前記コンテンツの再生速度が等倍速より速い場合、前記最大の視差より小さい視差があるように左目用画像と右目用画像の間の視差を制御する
請求項１に記載の情報処理装置。
【請求項３】
前記コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、
前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの区間である重要区間を検出する検出手段と
をさらに備え、
前記再生手段は、前記コンテンツの前記重要区間外の区間を第１の速度で再生し、前記重要区間を前記第１の速度より遅い第２の速度で再生し、
前記制御手段は、前記コンテンツの再生が前記第２の速度で行われる場合、前記コンテンツの再生が前記第１の速度で行われる場合の視差より大きくなるように、左目用画像と右目用画像の間の視差を制御する
請求項１に記載の情報処理装置。
【請求項４】
前記再生手段は、前記コンテンツの再生位置が、前記重要区間の開始位置より所定の時間だけ前の位置になったとき、前記コンテンツの再生速度を前記第１の速度から下げ始め、
前記制御手段は、前記コンテンツの再生速度が前記第１の速度より下がった場合、前記コンテンツの再生が前記第１の速度で行われる場合の視差より大きくなるように、左目用画像と右目用画像の間の視差を制御する
請求項３に記載の情報処理装置。
【請求項５】
前記再生手段は、前記コンテンツの再生位置が、前記重要区間の終了位置になったとき、前記コンテンツの再生速度を前記第２の速度から上げ始め、
前記制御手段は、前記コンテンツの再生速度が前記第２の速度より上がった場合、前記コンテンツの再生が前記第２の速度で行われる場合の視差より小さくなるように、左目用画像と右目用画像の間の視差を制御する
請求項４に記載の情報処理装置。
【請求項６】
コンテンツを再生し、
前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差を、前記コンテンツの再生速度に応じて制御し、
視差を制御した左目用画像と右目用画像のデータを出力する
ステップを含む情報処理方法。
【請求項７】
コンテンツを再生し、
前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差を、前記コンテンツの再生速度に応じて制御し、
視差を制御した左目用画像と右目用画像のデータを出力する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項８】
コンテンツを再生する再生手段と、
前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差を、前記再生手段による前記コンテンツの再生速度に応じて制御する制御手段と、
視差が制御された左目用画像と右目用画像を表示する表示手段と
を備える表示制御装置。
【請求項９】
前記制御手段は、前記コンテンツの再生速度が等倍速である場合、設定可能な範囲で最大の視差があるように左目用画像と右目用画像の間の視差を制御し、前記コンテンツの再生速度が等倍速より速い場合、前記最大の視差より小さい視差があるように左目用画像と右目用画像の間の視差を制御する
請求項８に記載の表示制御装置。
【請求項１０】
前記コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、
前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの区間である重要区間を検出する検出手段と
をさらに備え、
前記再生手段は、前記コンテンツの前記重要区間外の区間を第１の速度で再生し、前記重要区間を前記第１の速度より遅い第２の速度で再生し、
前記制御手段は、前記コンテンツの再生が前記第２の速度で行われる場合、前記コンテンツの再生が前記第１の速度で行われる場合の視差より大きくなるように、左目用画像と右目用画像の間の視差を制御する
請求項８に記載の表示制御装置。
【請求項１１】
前記再生手段は、前記コンテンツの再生位置が、前記重要区間の開始位置より所定の時間だけ前の位置になったとき、前記コンテンツの再生速度を前記第１の速度から下げ始め、
前記制御手段は、前記コンテンツの再生速度が前記第１の速度より下がった場合、前記コンテンツの再生が前記第１の速度で行われる場合の視差より大きくなるように、左目用画像と右目用画像の間の視差を制御する
請求項１０に記載の表示制御装置。
【請求項１２】
前記再生手段は、前記コンテンツの再生位置が、前記重要区間の終了位置になったとき、前記コンテンツの再生速度を前記第２の速度から上げ始め、
前記制御手段は、前記コンテンツの再生速度が前記第２の速度より上がった場合、前記コンテンツの再生が前記第２の速度で行われる場合の視差より小さくなるように、左目用画像と右目用画像の間の視差を制御する
請求項１１に記載の表示制御装置。
【請求項１３】
コンテンツを再生し、
前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差を、前記コンテンツの再生速度に応じて制御し、
視差を制御した左目用画像と右目用画像を表示する
ステップを含む表示制御方法。
【請求項１４】
コンテンツを再生し、
前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差を、前記コンテンツの再生速度に応じて制御し、
視差を制御した左目用画像と右目用画像を表示する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１５】
少なくとも画像データを含むコンテンツのデータを受信するとともに、前記コンテンツの画像データと音声データのうちの少なくとも一方の特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの区間である重要区間に関するデータを受信する受信手段と、
前記コンテンツの前記重要区間外の区間を第１の速度で再生し、前記重要区間を前記第１の速度より遅い第２の速度で再生する再生手段と、
前記コンテンツの再生が前記第２の速度で行われる場合、前記コンテンツの再生が前記第１の速度で行われる場合の視差より大きくなるように、前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差を制御する制御手段と、
視差が制御された左目用画像と右目用画像を表示する表示手段と
を備える表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラムに関し、特に、コンテンツの変速再生時の疲労感を軽減させることができるようにした情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、LCD(Liquid Crystal Display)などのディスプレイの画素数の向上やフレームレートの向上に伴い実現可能になった画像の表示方式として、視聴者が画像を立体的に認識できるようにする３Ｄ（３次元）表示方式が注目されている。
【０００３】
以下、適宜、それを見ることによって立体的に認識できる画像を３Ｄ画像といい、３Ｄ画像のデータを含むコンテンツを３Ｄコンテンツという。また、３Ｄ画像を表示するための再生を３Ｄ再生という。通常の２Ｄ画像（立体的に認識できない平面的な画像）を表示するための再生は２Ｄ再生となる。
【０００４】
３Ｄ画像を鑑賞する方式としては、偏光フィルタメガネやシャッタメガネを用いるメガネ方式と、レンチキュラー方式等の、メガネを用いない裸眼方式とがある。また、３Ｄ画像を表示するための再生方式として、視差のある左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を交互に表示するフレームシーケンシャル方式がある。左目用画像と右目用画像をシャッタメガネ等によって視聴者の左右のそれぞれの目に届けることにより、立体感を視聴者に感じさせることが可能になる。
【０００５】
臨場感のある表現が可能になることから、このような３Ｄ再生の技術の開発がさかんに行われている。また、通常の２Ｄ再生に用いられるコンテンツ（２Ｄコンテンツ）に基づいて３Ｄコンテンツを生成し、３Ｄ画像を表示する技術の開発も行われている。２Ｄコンテンツから３Ｄコンテンツを生成する手法としては、画像の視差を利用した技術がある（例えば、特許文献１）。
【０００６】
３Ｄ画像と２Ｄ画像は性質が異なるため、３Ｄ画像を長時間にわたって視聴した場合、２Ｄ画像を視聴したときより疲労が蓄積してしまう可能性がある。３Ｄ画像は従来の２Ｄ画像に較べてよりリアルに感じるため、ユーザは無意識のうちにコンテンツを長時間視聴してしまう可能性もある。
【０００７】
そのため、通常の２Ｄ画像を視聴している時よりも、気付かないうちに疲労感が増加してしまうことがある。このことから、３Ｄ画像を視聴するときの疲労感を軽減する技術が各種提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平７−２２２２０３号公報
【特許文献２】特開２００６−２０８４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、近年販売されているハードディスクレコーダ等の、通常の２Ｄコンテンツを記録する記録装置の中には、記録済みのコンテンツの再生モードとして変速再生のモードが用意されているものがある。変速再生は、例えば６０分のテレビジョン番組を６０分かけて再生するような等倍での再生ではなく、等倍の速度より速い速度、あるいは遅い速度での再生をいう。
【００１０】
３Ｄコンテンツを対象にして、このような変速再生を行うことも考えられる。３Ｄ画像は２Ｄ画像に較べてリアルに表現できることから、特に等倍速より速い速度での変速再生によって表示された３Ｄ画像を見た場合、同じ速度での変速再生によって表示された２Ｄ画像を見たときより疲労感が大きくなる可能性がある。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、コンテンツの変速再生時の疲労感を軽減させることができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の第１の側面の情報処理装置は、コンテンツを再生する再生手段と、前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差を、前記再生手段による前記コンテンツの再生速度に応じて制御する制御手段と、視差が制御された左目用画像と右目用画像のデータを出力する出力手段とを備える。
【００１３】
前記制御手段には、前記コンテンツの再生速度が等倍速である場合、設定可能な範囲で最大の視差があるように左目用画像と右目用画像の間の視差を制御させ、前記コンテンツの再生速度が等倍速より速い場合、前記最大の視差より小さい視差があるように左目用画像と右目用画像の間の視差を制御させることができる。
【００１４】
前記コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの区間である重要区間を検出する検出手段とをさらに設けることができる。この場合、前記再生手段には、前記コンテンツの前記重要区間外の区間を第１の速度で再生させ、前記重要区間を前記第１の速度より遅い第２の速度で再生させ、前記制御手段には、前記コンテンツの再生が前記第２の速度で行われる場合、前記コンテンツの再生が前記第１の速度で行われる場合の視差より大きくなるように、左目用画像と右目用画像の間の視差を制御させることができる。
【００１５】
前記再生手段には、前記コンテンツの再生位置が、前記重要区間の開始位置より所定の時間だけ前の位置になったとき、前記コンテンツの再生速度を前記第１の速度から下げ始めることを行わせ、前記制御手段には、前記コンテンツの再生速度が前記第１の速度より下がった場合、前記コンテンツの再生が前記第１の速度で行われる場合の視差より大きくなるように、左目用画像と右目用画像の間の視差を制御させることができる。
【００１６】
前記再生手段には、前記コンテンツの再生位置が、前記重要区間の終了位置になったとき、前記コンテンツの再生速度を前記第２の速度から上げ始めることを行わせ、前記制御手段には、前記コンテンツの再生速度が前記第２の速度より上がった場合、前記コンテンツの再生が前記第２の速度で行われる場合の視差より小さくなるように、左目用画像と右目用画像の間の視差を制御させることができる。
【００１７】
本発明の第１の側面の情報処理方法は、コンテンツを再生し、前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差を、前記コンテンツの再生速度に応じて制御し、視差を制御した左目用画像と右目用画像のデータを出力するステップを含む。
【００１８】
本発明の第１の側面のプログラムは、コンテンツを再生し、前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差を、前記コンテンツの再生速度に応じて制御し、視差を制御した左目用画像と右目用画像のデータを出力するステップを含む処理をコンピュータに実行させる。
【００１９】
本発明の第２の側面の表示制御装置は、コンテンツを再生する再生手段と、前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差を、前記再生手段による前記コンテンツの再生速度に応じて制御する制御手段と、視差が制御された左目用画像と右目用画像を表示する表示手段とを備える。
【００２０】
前記制御手段には、前記コンテンツの再生速度が等倍速である場合、設定可能な範囲で最大の視差があるように左目用画像と右目用画像の間の視差を制御させ、前記コンテンツの再生速度が等倍速より速い場合、前記最大の視差より小さい視差があるように左目用画像と右目用画像の間の視差を制御させることができる。
【００２１】
前記コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの区間である重要区間を検出する検出手段とをさらに設けることができる。この場合、前記再生手段には、前記コンテンツの前記重要区間外の区間を第１の速度で再生させ、前記重要区間を前記第１の速度より遅い第２の速度で再生させ、前記制御手段には、前記コンテンツの再生が前記第２の速度で行われる場合、前記コンテンツの再生が前記第１の速度で行われる場合の視差より大きくなるように、左目用画像と右目用画像の間の視差を制御させることができる。
【００２２】
前記再生手段には、前記コンテンツの再生位置が、前記重要区間の開始位置より所定の時間だけ前の位置になったとき、前記コンテンツの再生速度を前記第１の速度から下げ始めることを行わせ、前記制御手段には、前記コンテンツの再生速度が前記第１の速度より下がった場合、前記コンテンツの再生が前記第１の速度で行われる場合の視差より大きくなるように、左目用画像と右目用画像の間の視差を制御させることができる。
【００２３】
前記再生手段には、前記コンテンツの再生位置が、前記重要区間の終了位置になったとき、前記コンテンツの再生速度を前記第２の速度から上げ始めることを行わせ、前記制御手段には、前記コンテンツの再生速度が前記第２の速度より上がった場合、前記コンテンツの再生が前記第２の速度で行われる場合の視差より小さくなるように、左目用画像と右目用画像の間の視差を制御させることができる。
【００２４】
本発明の第２の側面の表示制御方法は、コンテンツを再生し、前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差を、前記コンテンツの再生速度に応じて制御し、視差を制御した左目用画像と右目用画像を表示するステップを含む。
【００２５】
本発明の第２の側面のプログラムは、コンテンツを再生し、前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差を、前記コンテンツの再生速度に応じて制御し、視差を制御した左目用画像と右目用画像を表示するステップを含む処理をコンピュータに実行させる。
【００２６】
本発明の第３の側面の表示制御装置は、少なくとも画像データを含むコンテンツのデータを受信するとともに、前記コンテンツの画像データと音声データのうちの少なくとも一方の特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの区間である重要区間に関するデータを受信する受信手段と、前記コンテンツの前記重要区間外の区間を第１の速度で再生し、前記重要区間を前記第１の速度より遅い第２の速度で再生する再生手段と、前記コンテンツの再生が前記第２の速度で行われる場合、前記コンテンツの再生が前記第１の速度で行われる場合の視差より大きくなるように、前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差を制御する制御手段と、視差が制御された左目用画像と右目用画像を表示する表示手段とを備える。
【００２７】
本発明の第１の側面においては、コンテンツが再生され、前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差が、前記コンテンツの再生速度に応じて制御される。また、視差を制御した左目用画像と右目用画像のデータが出力される。
【００２８】
本発明の第２の側面においては、コンテンツが再生され、前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差が、前記コンテンツの再生速度に応じて制御される。また、視差を制御した左目用画像と右目用画像が表示される。
【００２９】
本発明の第３の側面においては、少なくとも画像データを含むコンテンツのデータが受信されるとともに、前記コンテンツの画像データと音声データのうちの少なくとも一方の特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの区間である重要区間に関するデータが受信される。前記コンテンツの前記重要区間外の区間が第１の速度で再生され、前記重要区間が前記第１の速度より遅い第２の速度で再生され、前記コンテンツの再生が前記第２の速度で行われる場合、前記コンテンツの再生が前記第１の速度で行われる場合の視差より大きくなるように、前記コンテンツを再生して得られた左目用画像と右目用画像の間の視差、または、前記コンテンツを再生して得られた画像に基づいて生成した左目用画像と右目用画像の間の視差が制御される。さらに、視差が制御された左目用画像と右目用画像が表示される。
【発明の効果】
【００３０】
本発明によれば、コンテンツの変速再生時の疲労感を軽減させることができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に係る３Ｄ画像表示システムの構成例を示す図である。
【図２】再生速度と視差パラメータの関係の例を示す図である。
【図３】表示制御装置の構成例を示すブロック図である。
【図４】シャッタメガネの状態を示す図である。
【図５】コンテンツ制御部の構成例を示すブロック図である。
【図６】３Ｄ画像の生成の例を示す図である。
【図７】コンテンツ制御部の他の構成例を示すブロック図である。
【図８】表示制御装置の処理について説明するフローチャートである。
【図９】表示制御装置の他の構成例を示すブロック図である。
【図１０】重要区間の検出の例を示す図である。
【図１１】再生速度と視差パラメータの関係の例を示す図である。
【図１２】システムコントローラの構成例を示すブロック図である。
【図１３】図９の表示制御装置の処理について説明するフローチャートである。
【図１４】３Ｄ画像の生成の他の例を示す図である。
【図１５】コンテンツ制御部のさらに他の構成例を示すブロック図である。
【図１６】コンテンツ制御部の構成例を示すブロック図である。
【図１７】３Ｄ画像の生成のさらに他の例を示す図である。
【図１８】画素の補間の例を示す図である。
【図１９】３Ｄ画像の生成のさらに他の例を示す図である。
【図２０】本発明の他の実施形態に係る３Ｄ画像表示システムの構成例を示す図である。
【図２１】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００３２】
［３Ｄ画像表示システム］
図１は、本発明の一実施形態に係る３Ｄ画像表示システムの構成例を示す図である。
【００３３】
図１の３Ｄ画像表示システムは、表示制御装置１、TV（テレビジョン受像機）２、およびシャッタメガネ３から構成される。すなわち、図１の３Ｄ画像表示システムによる３Ｄ画像の視聴方式はメガネを用いた方式である。シャッタメガネ３は、コンテンツの視聴者であるユーザが着用するものである。
【００３４】
表示制御装置１は、コンテンツを再生し、コンテンツの画像（動画像）をTV２に表示させる。表示制御装置１は、例えば、内蔵のHDDに記録されているコンテンツや、ドライブに挿入されたBlu-ray（商標） discに記録されているコンテンツを再生する。表示制御装置１による再生の対象になるコンテンツはテレビジョン番組や映画などのコンテンツであり、画像データと音声データが含まれる。表示制御装置１とTV２は例えばHDMI(High Definition Multimedia Interface)規格のケーブルによって接続される。
【００３５】
ここでは、再生の対象になるコンテンツに含まれる画像データが、通常の２Ｄ画像を表示するためのデータである場合について説明する。
【００３６】
表示制御装置１は、再生対象のコンテンツに含まれる２Ｄ画像のデータを変換することによって３Ｄ画像のデータを生成し、コンテンツの画像を３Ｄ画像として表示させる。２Ｄ画像のデータに基づいて３Ｄ画像のデータを生成することについては後述する。
【００３７】
図１においては、TV２に左目用画像Ｌ１が表示されている。これに続けて、図１の右上に示すように、右目用画像Ｒ１、左目用画像Ｌ２、右目用画像Ｒ２、左目用画像Ｌ３、右目用画像Ｒ３、・・・と、左目用画像と右目用画像が交互に表示される。
【００３８】
シャッタメガネ３には、例えば、赤外線を用いた無線通信によって、画像の垂直同期信号の情報を含む制御信号が表示制御装置１から供給される。シャッタメガネ３の左目側の透過部と右目側の透過部は、その偏光特性を制御可能な液晶デバイスから構成される。
【００３９】
シャッタメガネ３は、制御信号に従って、左目オープンかつ右目クローズと左目クローズかつ右目オープンの２つのシャッタ開閉動作を交互に繰り返す。その結果、ユーザの右目には右目用画像のみが、左目には左目用画像のみが入力される。左目用画像と右目用画像を交互に見ることによって、ユーザはコンテンツの画像を立体感のある画像として知覚することになる。
【００４０】
このように、表示制御装置１には、コンテンツの再生モードとして、３Ｄ再生のモードが用意されている。
【００４１】
また、表示制御装置１には、コンテンツの再生モードとして、変速再生のモードが用意されている。例えば、1.1倍速、1.2倍速、1.3倍速、1.4倍速、1.5倍速といったように、等倍の１倍より高い倍率の速度をユーザが設定することができるようになされている。
【００４２】
表示制御装置１は、ユーザによる設定に応じて変速再生を行っている場合、再生速度に応じて視差パラメータを調整し、左目用画像と右目用画像の間の視差を制御する。視差パラメータは、左目用画像と右目用画像の間の視差の大きさを規定するパラメータである。左目用画像と右目用画像の間の視差が変わることによって、３Ｄ画像を見たユーザが感じる立体感（奥行き感）も変化する。
【００４３】
以下においては、視差パラメータの値と視差は比例するものとする。視差パラメータの値が大きいほど、左目用画像と右目用画像の間の視差が大きく、その左目用画像と右目用画像を見たユーザは、より立体的に被写体を感じることになる。
【００４４】
図２は、再生速度と視差パラメータの関係の例を示す図である。
【００４５】
図２の横軸は再生速度を表し、縦軸は視差パラメータを表す。再生速度は、等倍を基準として、右側にいくほど速くなる。
【００４６】
図２の例においては、再生速度が等倍速のＳ０以上、Ｓ１未満である場合、視差パラメータの値として、設定可能な範囲で最大の値である値Ｐ５が用いられ、３Ｄ画像の表示が行われる。すなわち、再生速度がＳ０からＳ１未満である場合に、ユーザは被写体を最も立体的に感じることができる。
【００４７】
また、再生速度がＳ１以上、Ｓ２未満である場合、視差パラメータの値として、値Ｐ５より所定の値だけ低い値である値Ｐ４が用いられ、３Ｄ画像の表示が行われる。同様に、再生速度がＳ２以上、Ｓ３未満である場合、視差パラメータの値として、値Ｐ４より所定の値だけ低い値である値Ｐ３が用いられる。再生速度がＳ３以上、Ｓ４未満である場合、視差パラメータの値として、値Ｐ３より所定の値だけ低い値である値Ｐ２が用いられる。再生速度がＳ４以上、Ｓ５未満である場合、視差パラメータの値として、値Ｐ２より所定の値だけ低い値である値Ｐ１が用いられる。
【００４８】
再生速度がＳ５以上である場合、視差パラメータの値として、値Ｐ１より所定の値だけ低い、設定可能な範囲で最小の値である値Ｐ０が用いられる。視差パラメータの値Ｐ０は、左目用画像と右目用画像の間の視差が０であることを表す。この場合、左目用画像と右目用画像のうちの一方だけが表示されるようにしてもよい。視差パラメータの値として値Ｐ０が設定されている場合、ユーザは２Ｄ画像を見るだけになり、被写体を立体的に感じることはない。
【００４９】
なお、再生速度のＳ１乃至Ｓ５は、それぞれ、例えば1.1倍速、1.2倍速、1.3倍速、1.4倍速、1.5倍速に相当する。
【００５０】
３Ｄ画像を見続けたときの疲労感は、通常、２Ｄ画像を見続けたときの疲労感より大きい。また、速い再生速度でコンテンツを視聴したときの疲労感は、通常、遅い再生速度でコンテンツを視聴したときの疲労感より大きい。従って、再生速度が速い場合には再生速度が遅い場合より被写体を立体的に感じさせないようにコンテンツの再生を行うことにより、３Ｄコンテンツの変速再生時のユーザの疲労感を軽減させることが可能になる。
【００５１】
［表示制御装置１の構成］
図３は、表示制御装置１の構成例を示すブロック図である。
【００５２】
システムコントローラ１１は、ユーザI/F１２から供給されるユーザの操作の内容を表す信号に従って、表示制御装置１の全体の動作を制御する。
【００５３】
例えば、システムコントローラ１１は、再生処理部１５を制御し、コンテンツの再生速度を調整する。また、システムコントローラ１１は、コンテンツ制御部１６を制御し、左目用画像と右目用画像の間の視差がコンテンツの再生速度に応じたものになるように調整する。
【００５４】
ユーザI/F１２は、リモートコントローラからの信号を受光する受光部などにより構成される。ユーザI/F１２は、リモートコントローラに対するユーザの操作を検出し、その内容を表す信号をシステムコントローラ１１に出力する。
【００５５】
記録媒体制御部１３は、記録媒体１４に対するコンテンツの記録や、記録媒体１４からのコンテンツの読み出しを制御する。記録媒体１４は例えばHDD(Hard Disk Drive)であり、コンテンツを記録する。
【００５６】
また、記録媒体制御部１３は、図示せぬアンテナからの信号に基づいて、放送されたコンテンツを受信し、記録媒体１４に記録させる。記録媒体制御部１３は、記録媒体１４に記録されているコンテンツの中からユーザにより所定のコンテンツが選択され、その再生が指示された場合、再生が指示されたコンテンツを記録媒体１４から再生処理部１５に供給する。
【００５７】
再生処理部１５は、記録媒体１４から供給された再生対象のコンテンツに対して、圧縮されているデータを伸張するデコード処理等の再生処理を施す。再生処理部１５による再生処理の速度はシステムコントローラ１１により制御される。再生処理部１５は、コンテンツを再生して得られた画像データをコンテンツ制御部１６に出力する。コンテンツの画像にあわせて音声を出力するために用いられる音声データは、再生処理部１５から図示せぬ回路を介して外部のスピーカ等に出力される。
【００５８】
コンテンツ制御部１６は、３Ｄ画像を表示させる場合、再生処理部１５から供給された２Ｄ画像のデータに基づいて左目用画像と右目用画像を生成し、生成した左目用画像と右目用画像のデータを表示制御部１７に出力する。また、コンテンツ制御部１６は、再生速度が閾値である図２のＳ５より速いことから２Ｄ画像を表示させる場合、再生処理部１５から供給された２Ｄ画像のデータを表示制御部１７に出力する。
【００５９】
表示制御部１７は、コンテンツ制御部１６から３Ｄ画像のデータとして供給された左目用画像と右目用画像のデータ、または２Ｄ画像のデータをTV２に出力し、画像を表示させる。
【００６０】
信号出力部１８は、システムコントローラ１１から供給された制御信号をシャッタメガネ３に送信する。TV２に３Ｄ画像を表示する場合、左目用画像と右目用画像のそれぞれの表示タイミングにあわせてシャッタメガネ３のシャッタを動作させるための制御信号がシステムコントローラ１１から供給される。
【００６１】
信号出力部１８から送信された制御信号を受信したシャッタメガネ３においては、左目側の透過部と右目側の透過部のシャッタ動作が制御される。
【００６２】
図４は、シャッタメガネ３の制御の例を示す図である。
【００６３】
コンテンツの再生速度が閾値より速いために２Ｄ画像を表示させる場合、左目側の透過部と右目側の透過部の特性（シャッタ動作）を同じものにさせるための制御信号が表示制御装置１からシャッタメガネ３に対して送信される。
【００６４】
図４Ａの左側の画像は、シャッタメガネ３の左右の透過部の特性が異なる（クローズとオープンのタイミングが異なる）場合のシャッタメガネ３の状態を示している。この状態のとき、左目用画像が左目、右目用画像が右目にそれぞれ届くことになる。また、図４Ａの右側の画像は、シャッタメガネ３の左右の透過部の特性が同じ（クローズとオープンのタイミングが同じ）である場合のシャッタメガネ３の状態を示している。この状態のとき、TV２に表示される画像が同時に右目と左目に届くことになる。
【００６５】
なお、左目用画像、右目用画像としてそれぞれ色を替えた画像をユーザに見せるカラーフィルタ方式で３Ｄ表示を実現するようにしてもよい。この場合、左目側の透過部が赤、右目側の透過部が青といったように、それぞれの透過部の色を制御可能なメガネが用いられる。
【００６６】
図４Ｂの左側の画像は、左目側の透過部と右目側の透過部の特性が異なる（透過する色が異なる）場合のメガネの状態を示している。また、図４Ｂの右側の画像は、左右の透過部の特性が同じ（透過する色が同じ）である場合のメガネの状態を示している。コンテンツの再生速度が閾値より速くなったタイミングでメガネの特性が図４Ｂの右側に示す状態に切り替わることにより、ユーザは速い速度で再生が行われているコンテンツの画像を２Ｄ画像として見ることになる。
【００６７】
図５は、図３のコンテンツ制御部１６の構成例を示すブロック図である。
【００６８】
図５に示すように、コンテンツ制御部１６は、動きベクトル検出部３１とメモリ３２から構成される。再生処理部１５から出力された２Ｄ画像のデータは、動きベクトル検出部３１とメモリ３２に入力されるとともに、表示制御部１７にそのまま出力される。コンテンツ制御部１６からそのまま出力された２Ｄ画像のデータは、３Ｄ画像を表示する場合には例えば左目用画像のデータとして用いられ、２Ｄ画像を表示する場合にはその表示に用いられる。
【００６９】
動きベクトル検出部３１は、入力された画像データに基づいて、フレーム間の動きを表す動きベクトルを検出し、システムコントローラ１１に出力する。動きベクトル検出部３１においては、例えば、１フレームを所定の数に分割して構成される領域毎の動きベクトルが検出され、領域毎に検出された動きベクトルの平均が、フレーム間の動きを表す動きベクトルとして検出される。システムコントローラ１１においては、動きベクトル検出部３１により検出された動きベクトルの水平方向の成分の大きさに応じてメモリ３２の遅延量を制御することが行われる。
【００７０】
メモリ３２は、３Ｄ画像を表示する場合、入力された画像データを一時的に記憶し、システムコントローラ１１から供給された視差パラメータにより表される遅延量の分だけ遅延させて出力する。メモリ３２から出力された画像データは右目用画像のデータとして用いられる。
【００７１】
このような構成を有するコンテンツ制御部１６から３Ｄ画像として出力された左目用画像と右目用画像を見たユーザは、左右の画像の時間差により、被写体を立体的に感じることになる。左右の画像の時間差により被写体を立体的に感じる現象と似た現象として、Mach-Dvorak現象が知られている。左目用画像と右目用画像の表示の時間差が視差となる。
【００７２】
なお、２Ｄ画像のデータを３Ｄ画像のデータに変換することについては、例えば、特開平７−２２２２０３号公報に記載されている。図５に示す構成は、基本的に、当該公報に記載されているものと同様の構成である。
【００７３】
図６は、左目用画像の表示タイミングに対する右目用画像の表示タイミングの遅延量について説明する図である。
【００７４】
例えば、再生速度が等倍速である場合の、基準となる動きベクトルの水平方向の成分の大きさＶ０に対して遅延量Ｔ０が対応付けられている。検出された動きベクトルの水平方向の成分の大きさがＶ０である場合、遅延量としてＴ０が選択され、図６に示すように、右目用画像Ｒ１は、左目用画像Ｌ１に対してＴ０だけ遅れたタイミングで表示される。
【００７５】
再生速度が等倍速である場合において、検出された動きベクトルの水平方向の成分の大きさがＶ０より大きいＶ１のとき、Ｔ０より遅延量の少ないＴ１が選択され、メモリ３２の遅延量が制御される。また、検出された動きベクトルの水平方向の成分の大きさがＶ０より小さいＶ２のとき、Ｔ０より遅延量の多いＴ２が選択され、メモリ３２の遅延量が制御される。
【００７６】
システムコントローラ１１においては、このように、動きベクトルの水平方向の成分の大きさと遅延量が対応付けて管理されており、フレーム毎に遅延量が制御される。
【００７７】
再生速度が等倍速を超える場合の遅延量は、例えば、等倍速のときの遅延量に、１未満の係数ｋを乗算して得られた遅延量となる。例えば再生速度が1.1倍速である場合において、検出された動きベクトルの水平方向の成分の大きさがＶ０である場合、遅延量としてｋＴ０が選択され、右目用画像は、左目用画像に対してｋＴ０だけ遅れたタイミングで表示される。係数ｋは、再生速度が速いほど小さい値になる。
【００７８】
係数ｋとして再生速度が速いほど小さい値が用いられることにより、再生速度が速いほど、左目用画像と右目用画像の表示タイミングの差が少なくなり、それを見たユーザが感じる立体感も小さくなる。
【００７９】
図７は、コンテンツ制御部１６の他の構成例を示すブロック図である。
【００８０】
この例においては、コンテンツ制御部１６には動きベクトルを検出する構成は設けられず、メモリ３２の遅延量を制御するための基準となる動きベクトルの情報が、再生処理部１５からシステムコントローラ１１に供給される。再生処理部１５に入力される画像データの圧縮方式がMPEG(Moving Picture Experts Group)2やH.264/AVCなどの場合、画像データには動きベクトルの情報が含まれている。
【００８１】
再生処理部１５は、入力された画像データに含まれる動きベクトルの情報をシステムコントローラ１１に出力し、再生処理を施すことによって得られた２Ｄ画像のデータをコンテンツ制御部１６に出力する。システムコントローラ１１においては、動きベクトルに基づいて遅延量が決定され、決定された遅延量を表す視差パラメータがメモリ３２に供給される。
【００８２】
再生処理部１５から出力された２Ｄ画像のデータは、メモリ３２に入力されるとともに、表示制御部１７にそのまま出力される。コンテンツ制御部１６からそのまま出力された２Ｄ画像のデータは、３Ｄ画像を表示する場合、左目用画像のデータとして用いられる。また、２Ｄ画像を表示する場合、その表示に用いられる。
【００８３】
メモリ３２は、３Ｄ画像を表示する場合、入力された画像データを一時的に記憶し、システムコントローラ１１から供給された視差パラメータにより表される遅延量の分だけ、遅延させて出力する。メモリ３２から出力された画像データは、右目用画像のデータとして用いられる。
【００８４】
［表示制御装置１の動作］
図８のフローチャートを参照して、表示制御装置１の処理について説明する。
【００８５】
ステップＳ１において、システムコントローラ１１は、ユーザによる操作に応じて動作モードを設定する。例えば、システムコントローラ１１は、記録媒体１４に記録されているコンテンツの変速再生が指示された場合、動作モードとして変速再生モードを設定する。
【００８６】
ステップＳ２において、システムコントローラ１１は、設定しているモードが変速再生モードであるか否かを判定する。
【００８７】
設定しているモードが変速再生モードではないとステップＳ２において判定した場合、ステップＳ３において、システムコントローラ１１は、各部を制御し、等倍速での３Ｄ再生を行う。すなわち、再生処理部１５によりコンテンツの再生が行われ、再生して得られた画像データに基づいて、コンテンツ制御部１６において、左目用画像と右目用画像が生成される。コンテンツ制御部１６により生成された左目用画像と右目用画像のデータは、表示制御部１７からTV２に出力され、３Ｄ画像の表示に用いられる。
【００８８】
ステップＳ４において、システムコントローラ１１は、コンテンツの再生を終了するか否かを判定し、終了しないと判定した場合、ステップＳ３に戻り、コンテンツの３Ｄ再生を続行する。コンテンツの再生を終了するとステップＳ４において判定された場合、処理は終了される。
【００８９】
一方、設定しているモードが変速再生モードであるとステップＳ２において判定した場合、ステップＳ５において、システムコントローラ１１は、変速再生用パラメータの初期設定を行う。システムコントローラ１１は、再生速度の倍率の情報を再生処理部１５に出力し、再生速度に応じた視差パラメータをコンテンツ制御部１６のメモリ３２に出力する。
【００９０】
ステップＳ６において、システムコントローラ１１は各部を制御し、変速再生を行う。すなわち、ユーザにより設定された速度で再生処理部１５によりコンテンツの再生が行われ、再生して得られた画像データに基づいて、コンテンツ制御部１６において、視差のある左目用画像と右目用画像が生成される。コンテンツ制御部１６により生成された左目用画像と右目用画像のデータは、表示制御部１７からTV２に出力され、３Ｄ画像の表示に用いられる。
【００９１】
ステップＳ７において、システムコントローラ１１は、再生速度が切り替えられたか否かを判定する。
【００９２】
再生速度が切り替えられたとステップＳ７において判定した場合、ステップＳ８において、システムコントローラ１１は、再生処理部１５を制御して再生速度を切り替え、切り替え後の再生速度に応じた視差パラメータをコンテンツ制御部１６に出力する。その後、ステップＳ６に戻り、変速再生が続けられる。
【００９３】
一方、再生速度が切り替えられていないとステップＳ７において判定した場合、ステップＳ９において、システムコントローラ１１は、コンテンツの再生を終了するか否かを判定する。
【００９４】
コンテンツの再生を終了しないとステップＳ９において判定した場合、ステップＳ６に戻り、システムコントローラ１１はコンテンツの変速再生を続行する。コンテンツの再生を終了するとステップＳ９において判定された場合、処理は終了される。
【００９５】
以上のように、再生速度が速い場合には再生速度が遅い場合より被写体を立体的に感じさせないようにコンテンツの再生を行うことにより、３Ｄコンテンツの変速再生時のユーザの疲労感を軽減させることが可能になる。
【００９６】
［表示制御装置１の構成］
図９は、表示制御装置１の他の構成例を示すブロック図である。
【００９７】
図９に示す構成のうち、図３に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図９に示す表示制御装置１の構成は、特徴抽出部４１が追加して設けられている点を除いて、図３に示す構成と同じ構成である。
【００９８】
図９の表示制御装置１においては、コンテンツの画像データと音声データの解析が行われ、盛り上がり区間などの、テレビジョン番組であるコンテンツの重要区間が検出される。また、現在の再生位置が重要区間内の位置、あるいは重要区間付近の位置であるか否かに応じて、再生速度と、左目用画像と右目用画像の間の視差が制御される。
【００９９】
再生処理部１５は、記録媒体１４から供給された再生対象のコンテンツに対して、圧縮されているデータを伸張するデコード処理等の再生処理を施す。再生処理部１５は、再生処理を施すことによって得られた画像データと音声データを特徴抽出部４１に出力し、コンテンツの画像を表示するために用いられる画像データをコンテンツ制御部１６に出力する。
【０１００】
特徴抽出部４１は、再生処理部１５から供給された画像データと音声データの特徴を抽出し、抽出した特徴を表すデータである特徴データをシステムコントローラ１１に出力する。
【０１０１】
システムコントローラ１１は、特徴抽出部４１から供給された特徴データに基づいてコンテンツの重要区間を検出する。システムコントローラ１１は、現在の再生位置が重要区間の位置、あるいは重要区間付近の位置であるか否かに応じて、コンテンツの再生速度と、左目用画像と右目用画像の間の視差を制御する。
【０１０２】
図１０は、各シーンの盛り上がり評価値の変化と画像の表示の例を示す図である。
【０１０３】
図１０の例においては、再生対象のコンテンツがサッカー中継の番組とされている。サッカー中継の番組は例えば録画され、記録媒体１４に記録されているものである。そのサッカー中継の番組の画像データと音声データを対象として、再生が開始される前や再生中などの所定のタイミングで解析（特徴の抽出）が行われる。
【０１０４】
画像データの特徴は、例えば、ズーム、パンの程度とされる。ズーム、パンの程度は、例えば各フレームの画素値を比較することによって検出される。音声データの特徴は、例えば音量とされる。
【０１０５】
表示制御装置１は、例えば、画像データから抽出した特徴を数値化した値と、音声データから抽出した特徴を数値化した値とを加算して得られた値を盛り上がり評価値として算出する。図１０の上段に示す波形は、横軸を時間、縦軸を盛り上がり評価値として、サッカー中継の番組の単位時間毎の盛り上がり評価値の変化を示す。なお、画像データから抽出された特徴と音声データから抽出された特徴のうちの一方から盛り上がり評価値が算出されるようにしてもよい。
【０１０６】
表示制御装置１は、このような各時刻の盛り上がり評価値を閾値と比較して、閾値以上の盛り上がり評価値が一定の時間以上検出された区間を、盛り上がり区間、すなわち重要区間として検出する。図１０の例においては、時刻ｋ１から時刻ｋ２の区間が重要区間として検出されている。
【０１０７】
図１１は、再生速度と視差パラメータの関係の例を示す図である。
【０１０８】
図１１に示すように、コンテンツの開始時刻から時刻ｋ０までの区間Ｔ１においては、等倍速より速い速度Ｓ５で再生が行われる。時刻ｋ０は、重要区間の開始時刻ｋ１より所定の時間だけ前の時刻である。また、区間Ｔ１においては、視差パラメータとして値Ｐ０が用いられ、２Ｄ画像が表示される。
【０１０９】
ユーザは、区間Ｔ１においては、等倍速より速い速度で再生されるコンテンツの２Ｄ画像を見ることになる。
【０１１０】
時刻ｋ０から時刻ｋ１までの区間Ｔ２においては、時間の経過に伴って、再生速度をＳ５からＳ０まで直線的に下げつつ再生が行われる。また、区間Ｔ２においては、視差パラメータの値が時間の経過に伴って値Ｐ０からＰ５まで直線的に変化して左目用画像と右目用画像が表示される。
【０１１１】
ユーザは、重要区間の前の区間Ｔ２においては、徐々にゆっくり再生されるコンテンツの画像を、立体感が徐々に大きくなるのを感じながら見ることになる。
【０１１２】
重要区間である時刻ｋ１から時刻ｋ２までの区間Ｔ３においては、他の区間より遅い速度Ｓ０（等倍速）で再生が行われる。また、区間Ｔ３においては、視差パラメータとして値Ｐ５が用いられ、視差が他の区間より大きい左目用画像と右目用画像が表示される。
【０１１３】
ユーザは、重要区間である区間Ｔ３においては、等倍速で再生されるコンテンツの画像を、他の区間よりも被写体を立体的に感じながら見ることになる。
【０１１４】
時刻ｋ２から時刻ｋ３までの区間Ｔ４においては、時間の経過に伴って、再生速度をＳ０からＳ５まで直線的に上げつつ再生が行われる。また、区間Ｔ４においては、視差パラメータの値が時間の経過に伴って値Ｐ５からＰ０まで直線的に変化して左目用画像と右目用画像が表示される。
【０１１５】
ユーザは、重要区間の後の区間Ｔ４においては、徐々に速く再生されるコンテンツの画像を、立体感が徐々に小さくなるのを感じながら見ることになる。
【０１１６】
時刻ｋ３以降においては、区間Ｔ１と同様に、等倍速より速い速度Ｓ５で再生が行われる。また、時刻ｋ３以降においては、視差パラメータとして値Ｐ０が用いられ、２Ｄ画像が表示される。
【０１１７】
ユーザは、時刻ｋ３以降においては、等倍速より速い速度で再生されるコンテンツの２Ｄ画像を見ることになる。
【０１１８】
このように、重要区間外の区間においては再生速度を等倍速より速くし、重要区間より被写体を立体的に感じないようにしてコンテンツの再生を行うことにより、３Ｄコンテンツの変速再生時のユーザの疲労感を軽減させることが可能になる。
【０１１９】
また、重要区間においては再生速度が遅くなり、被写体を最も立体的に感じるような形で画像の表示が行われることにより、再生中の区間が重要区間であることを強調することが可能になる。
【０１２０】
さらに、重要区間の前後の区間で再生速度と視差パラメータを徐々に変化させることにより、再生速度の変化と立体感の変化に慣れさせることが可能になる。
【０１２１】
図１１の例においては、重要区間内においては等倍速でコンテンツの再生が行われるものとしたが、区間Ｔ１、および時刻ｋ３以降の区間の再生速度より遅い速度であれば等倍速より速い速度で再生が行われるようにしてもよい。また、区間Ｔ１、および時刻ｋ３以降の区間においては２Ｄ画像が表示されるものとしたが、重要区間において用いられる値Ｐ５未満の値が視差パラメータとして用いられ、３Ｄ画像が表示されるようにしてもよい。
【０１２２】
図１２は、図９のシステムコントローラ１１の構成例を示すブロック図である。
【０１２３】
図１２に示すように、システムコントローラ１１は、重要区間検出部５１と制御部５２から構成される。特徴抽出部４１から出力された特徴データは重要区間検出部５１に入力される。コンテンツ制御部１６の動きベクトル検出部３１（図５）、または再生処理部１５（図７）から出力された動きベクトルの情報は制御部５２に入力される。
【０１２４】
重要区間検出部５１は、画像データや音声データの特徴に基づいて、図１０を参照して説明したようにして評価値を算出し、重要区間を検出する。重要区間検出部５１は、重要区間を表す情報を制御部５２に出力する。
【０１２５】
制御部５２は、コンテンツの再生中、現在の再生位置を監視し、図１１を参照して説明したようにして、現在の再生位置に応じて、コンテンツの再生速度と視差パラメータを制御する。なお、制御部５２は、制御信号を信号出力部１８に出力してシャッタメガネ３の特性を制御することも行う。
【０１２６】
［表示制御装置１の動作］
図１３のフローチャートを参照して、図９の表示制御装置１の処理について説明する。
【０１２７】
ここでは、重要区間の検出があらかじめ行われているものとする。システムコントローラ１１の重要区間検出部５１により検出された重要区間の情報は、重要区間検出部５１から制御部５２に供給されている。
【０１２８】
ステップＳ２１において、制御部５２は、ユーザによる操作に応じて動作モードを設定する。例えば、制御部５２は、記録媒体１４に記録されているコンテンツの変速再生が指示された場合、動作モードとして変速再生モードを設定する。
【０１２９】
ステップＳ２２において、制御部５２は、設定しているモードが変速再生モードであるか否かを判定する。
【０１３０】
設定しているモードが変速再生モードではないとステップＳ２２において判定した場合、ステップＳ２３において、制御部５２は、各部を制御し、等倍速での３Ｄ再生を行う。
【０１３１】
ステップＳ２４において、制御部５２は、コンテンツの再生を終了するか否かを判定し、終了しないと判定した場合、ステップＳ２３に戻り、コンテンツの３Ｄ再生を続行する。コンテンツの再生を終了するとステップＳ２４において判定された場合、処理は終了される。
【０１３２】
一方、設定しているモードが変速再生モードであるとステップＳ２２において判定した場合、ステップＳ２５において、制御部５２は、変速再生用パラメータの初期設定を行う。図１１の例の場合、ここでは、再生速度がＳ５であることを表す情報が制御部５２から再生処理部１５に供給され、再生速度Ｓ５に応じた値Ｐ０の視差パラメータが制御部５２からコンテンツ制御部１６に供給される。
【０１３３】
ステップＳ２６において、制御部５２は各部を制御し、変速再生を行う。再生処理部１５によりコンテンツの再生が行われ、再生して得られた画像データに基づいて、コンテンツ制御部１６において、適宜、左目用画像と右目用画像が生成される。コンテンツ制御部１６により生成された左目用画像と右目用画像のデータは、表示制御部１７からTV２に出力される。
【０１３４】
ステップＳ２７において、制御部５２は、現在の再生位置が、重要区間付近、または重要区間内の位置であるか否かを判定する。
【０１３５】
現在の再生位置が、重要区間付近、または重要区間内の位置であるとステップＳ２７において判定した場合、ステップＳ２８において、制御部５２は、図１１を参照して説明したようにして、再生処理部１５を制御して再生速度を切り替える。
【０１３６】
ステップＳ２９において、制御部５２は、切り替え後の再生速度に応じた視差パラメータをコンテンツ制御部１６に出力する。現在の再生位置が、重要区間付近、または重要区間内の位置ではないとステップＳ２７において判定された場合、ステップＳ２８，Ｓ２９はスキップされる。
【０１３７】
ステップＳ３０において、制御部５２は、コンテンツの再生を終了するか否かを判定する。コンテンツの再生を終了しないとステップＳ３０において判定した場合、ステップＳ２６に戻り、制御部５２はコンテンツの再生を続行する。コンテンツの再生を終了するとステップＳ３０において判定された場合、処理は終了される。
【０１３８】
以上の処理によっても、３Ｄコンテンツの変速再生時のユーザの疲労感を軽減させることが可能になる。
【０１３９】
［変形例］
以上においては、２Ｄ画像に基づいて３Ｄ画像を生成する場合、２Ｄコンテンツを再生して得られた１フレームの画像を左目用画像とし、その画像を遅延させた画像を右目用画像とする、すなわち、時間方向に視差を与えて左目用画像と右目用画像を生成するものとしたが、空間方向に視差を与えることによって左目用画像と右目用画像を生成するようにしてもよい。
【０１４０】
図１４は、空間方向に視差がある左目用画像と右目用画像の生成の例を示す図である。
【０１４１】
例えば、図１４Ａに示す１フレームの２Ｄ画像に基づいて左目用画像と右目用画像を生成する場合について説明する。この場合、例えば、図１４Ｂの左側に示すように、図１４Ａの２Ｄ画像と同じ画像が左目用画像として用いられ、図１４Ｂの右側に示すように、被写体の位置をずらした画像が右目用画像として用いられる。左目用画像の被写体の位置と右目用画像の被写体の位置のずれ量が視差となる。
【０１４２】
上述した遅延量と同様に、被写体の位置のずれ量を視差パラメータによって制御することによっても、コンテンツを視聴しているユーザが感じる立体感を再生速度に応じて調整することが可能になる。
【０１４３】
また、以上においては、再生対象になるコンテンツが２Ｄコンテンツである場合について説明したが、左目用画像のデータと右目用画像のデータとがあらかじめ用意されている３Ｄコンテンツが再生対象として用いられるようにしてもよい。３Ｄコンテンツに含まれる左目用画像と右目用画像は、図１４Ｂに示すように被写体の位置にずれがある画像である。
【０１４４】
図１５は、再生対象になるコンテンツが３Ｄコンテンツである場合のコンテンツ制御部１６の構成例を示すブロック図である。
【０１４５】
図１５に示すように、コンテンツ制御部１６は、動きベクトル検出部３１−１および３１−２、メモリ３２−１および３２−２から構成される。メモリ３２−１および３２−２はディレイラインにより構成される。
【０１４６】
３Ｄコンテンツの再生が行われることによって再生処理部１５から出力された左目用画像のデータは、動きベクトル検出部３１−１とメモリ３２−１に入力され、右目用画像のデータは、動きベクトル検出部３１−２とメモリ３２−２に入力される。
【０１４７】
動きベクトル検出部３１−１は、図５の動きベクトル検出部３１と同様にして、入力された左目用画像のデータに基づいて動きベクトルを検出し、システムコントローラ１１に出力する。動きベクトル検出部３１−２は、動きベクトル検出部３１−１と同様に、入力された右目用画像のデータに基づいて動きベクトルを検出し、システムコントローラ１１に出力する。
【０１４８】
システムコントローラ１１においては、例えば、動きベクトル検出部３１−１により検出された動きベクトルと動きベクトル検出部３１−２により検出された動きベクトルの平均が求められる。また、求められた平均の動きベクトルに基づいて、図５、図６を参照して説明したようにして視差パラメータが調整される。なお、動きベクトル検出部３１−１と動きベクトル検出部３１−２のうちの一方において動きベクトルの検出が行われるようにしてもよい。
【０１４９】
メモリ３２−１は、入力された左目用画像のデータを一時的に記憶し、システムコントローラ１１から供給された視差パラメータにより表される遅延量の分だけ遅延させて出力する。
【０１５０】
メモリ３２−２は、入力された右目用画像のデータを一時的に記憶し、システムコントローラ１１から供給された視差パラメータにより表される遅延量の分だけ遅延させて出力する。
【０１５１】
このように、被写体の位置にずれがある左目用画像と右目用画像の表示タイミングを制御して、すなわち時間方向にも視差を与えて、被写体の立体感を調整することが可能である。
【０１５２】
図１６は、コンテンツ制御部１６の他の構成例を示すブロック図である。
【０１５３】
図１６のコンテンツ制御部１６においては、被写体の位置にずれがある左目用画像と右目用画像からそれぞれ所定の範囲を抽出することによって、入力された左目用画像と右目用画像に対して空間方向の視差をさらに与える処理が行われる。
【０１５４】
図１６のコンテンツ制御部１６は、動きベクトル検出部３１−１および３１−２、ウィンドウ処理部６１−１および６１−２から構成される。図１５に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１５５】
３Ｄコンテンツの再生が行われることによって再生処理部１５から出力された左目用画像のデータは、動きベクトル検出部３１−１とウィンドウ処理部６１−１に入力され、右目用画像のデータは、動きベクトル検出部３１−２とウィンドウ処理部６１−２に入力される。
【０１５６】
ウィンドウ処理部６１−１は、入力された左目用画像全体のうちの所定の範囲を抽出し、補間処理を行って得られた画像を左目用画像として出力する。
【０１５７】
ウィンドウ処理部６１−２は、ウィンドウ処理部６１−１と同様に、入力された右目用画像全体のうちの所定の範囲を抽出し、補間処理を行って得られた画像を右目用画像として出力する。ウィンドウ処理部６１−１とウィンドウ処理部６１−２に対しては、抽出する範囲を表す情報が視差パラメータとしてシステムコントローラ１１から供給される。
【０１５８】
図１７は、画像の抽出範囲（ウィンドウ）の例を示す図である。
【０１５９】
例えば、１フレームの左目用画像と右目用画像がそれぞれ640×480画素の画像である場合、図１７に示すように、610×480画素の画像を抽出するように、左端から、または右端から３０画素の範囲で抽出範囲が設定される。
【０１６０】
３Ｄコンテンツに含まれる全ての右目用画像が、それぞれ、対応する左目用画像を右または左に所定の画素だけずらして生成されている場合、再生速度が等倍速より速いときには、元のずれ量を小さくする方向に抽出範囲が設定される。元のずれ量を小さくする方向に抽出範囲が設定されることにより、コンテンツ制御部１６から出力された左目用画像と右目用画像の間の視差は小さくなり、それを見たユーザが感じる立体感も小さくなる。
【０１６１】
図１８は、画素の補間の例を示す図である。
【０１６２】
図１７に示すようにして画像が抽出された場合、640×480画素の１フレームの画像全体のうち、抽出範囲外の部分は黒帯になる。ウィンドウ処理部６１−１および６１−２においては、そのような黒帯の部分がないように画素の補間も行われる。画素の補間は、抽出範囲内にある水平方向の610画素のデータから、抽出範囲外の水平方向の画素も含めて640画素のデータを生成するようにして行われる。
【０１６３】
説明を簡単にするため、画素数を1/10にして６１個の画素データdn（0≦n≦60）から６４個の画素データen（0≦n≦63）を生成することを考える。補間手法の１つとして、図１８に示すように、生成対象の画素の位置を基準として、補間に用いる各画素までの距離に応じた重み係数を各画素の画素値に掛けて補間する方法がある。この補間手法を数式で表すと下式（１）のように表される。
【数１】
2011109294.tif 000003
【０１６４】
図１９は、他の視差制御の手法の例を示す図である。
【０１６５】
再生対象の２Ｄコンテンツが、MPEG(Moving Picture Experts Group)4のようなオブジェクト符号化データである場合、オブジェクト検出データを用いて物体を検出し、その物体の位置を制御することで左目用画像と右目用画像を生成することも考えられる。MPEG4のデータにおいては、人物や背景などがそれぞれ別個のオブジェクトとして符号化されており、復号側の装置ではそれらのオブジェクトを任意に動かすことができるようになされている。
【０１６６】
図１９の再生処理部１５は、MPEG4の符号化データである２Ｄコンテンツをデコードし、２Ｄ画像のデータをコンテンツ制御部１６に出力する。また、再生処理部１５は、オブジェクト検出データをオブジェクト検出部７１に出力する。
【０１６７】
オブジェクト検出部７１は、オブジェクト検出データに基づいて前景と背景（オブジェクト）を検出し、前景と背景の情報をシステムコントローラ１１に出力する。
【０１６８】
コンテンツ制御部１６の画像処理部７２は、システムコントローラ１１による制御に従って、前景と背景を符号化データにおいて指定されている位置（標準の位置）に合成することによって得られた１フレームの画像を左目用画像として生成する。また、画像処理部７２は、左目用画像に含まれる前景を所定の方向にずらした画像を右目用画像として生成する。前景の位置のずれ量が、視差パラメータによってシステムコントローラ１１により制御される。
【０１６９】
以上においては、表示制御装置１がTV２とは別の筐体の装置として用意され、表示する画像をTV２に出力する情報処理装置として表示制御装置１が機能するものとしたが、表示制御装置１がTV２内に設けられるようにしてもよい。
【０１７０】
また、図９においては、重要区間の検出と、現在の再生位置に応じた再生速度および視差パラメータの制御とが表示制御装置１において行われるものとしたが、再生速度および視差パラメータの制御がTV２側で行われるようにしてもよい。
【０１７１】
図２０は、３Ｄ画像表示システムの他の構成例を示す図である。
【０１７２】
図２０の３Ｄ画像表示システムは、送信装置８１と表示制御装置８２から構成される。表示制御装置８２は、例えばTV２の内部に設けられる装置であり、HDMI規格のケーブルを介して、TV２とは別の筐体の装置として外部に設けられる送信装置８１と通信を行う。
【０１７３】
図２０の３Ｄ画像表示システムにおいては、重要区間の検出が送信装置８１により行われ、重要区間の情報がコンテンツとともに送信装置８１から表示制御装置８２に送信される。表示制御装置８２においては、送信装置８１から送信されてきたコンテンツが再生され、図１１を参照して説明したようにして再生速度と視差パラメータの制御が行われる。
【０１７４】
図２０に示すように、送信装置８１は、システムコントローラ９１、ユーザI/F９２、記録媒体制御部９３、記録媒体９４、再生処理部９５、特徴抽出部９６、および送信部９７から構成される。ユーザI/F９２、記録媒体制御部９３、記録媒体９４、再生処理部９５、特徴抽出部９６は、それぞれ、図９のユーザI/F１２、記録媒体制御部１３、記録媒体１４、再生処理部１５、および特徴抽出部４１に対応する。
【０１７５】
システムコントローラ９１は、ユーザI/F９２から供給されるユーザの操作の内容を表す信号に従って、送信装置８１の全体の動作を制御する。図２０のシステムコントローラ９１には、図１２に示す構成のうち、重要区間検出部５１が設けられる。
【０１７６】
例えば、システムコントローラ９１は、特徴抽出部９６から供給された特徴データに基づいて重要区間を検出する。システムコントローラ９１は、検出した重要区間の情報を送信部９７に出力する。
【０１７７】
ユーザI/F９２は、再生の対象とする番組の選択操作などの、リモートコントローラに対するユーザの操作を検出し、その内容を表す信号をシステムコントローラ９１に出力する。
【０１７８】
記録媒体制御部９３は、図示せぬアンテナからの信号に基づいて、放送されたコンテンツを受信し、記録媒体９４に記録させる。記録媒体制御部９３は、記録媒体９４に記録されているコンテンツの再生が指示された場合、再生の対象とするコンテンツを再生処理部９５に出力させる。また、記録媒体制御部９３は、再生の対象とするコンテンツを送信部９７に出力する。
【０１７９】
再生処理部９５は、再生の対象とするコンテンツに対して、圧縮されているデータを伸張するデコード処理等の再生処理を施す。再生処理部９５は、再生処理を施すことによって得られた画像データと音声データを特徴抽出部９６に出力する。画像データと音声データのうちのいずれか一方が特徴抽出の対象として用いられるようにしてもよい。
【０１８０】
特徴抽出部９６は、再生処理部９５から供給された画像データと音声データの特徴を抽出し、抽出した特徴を表すデータである特徴データをシステムコントローラ９１に出力する。
【０１８１】
送信部９７は、記録媒体制御部９３から供給されたコンテンツをHDMI規格のケーブルを介して表示制御装置８２に送信する。また、送信部９７は、システムコントローラ９１から供給された重要区間の情報を、HDMI規格のversion1.4で規定されるHDMI Vender Specific InfoFrame Packetなどに格納して表示制御装置８２に送信する。
【０１８２】
HDMI Vender Specific InfoFrame Packetは、各ベンダーが規定した制御コマンドの送受信などに用いられるパケットであり、送信側の機器から受信側の機器に対して、HDMIのCEC(Consumer Electronics Control)線を介して送信される。重要区間の情報には、重要区間の位置（時刻）を表す情報が含まれる。
【０１８３】
表示制御装置８２は、システムコントローラ１０１、受信部１０２、再生処理部１０３、コンテンツ制御部１０４、表示制御部１０５、ディスプレイ１０６、および信号出力部１０７から構成される。再生処理部１０３、コンテンツ制御部１０４、表示制御部１０５、信号出力部１０７は、それぞれ、図９の再生処理部１５、コンテンツ制御部１６、表示制御部１７、信号出力部１８に対応する。
【０１８４】
システムコントローラ１０１は、表示制御装置８２の全体の動作を制御し、送信装置８１から送信されてきたコンテンツの再生を行う。図２０のシステムコントローラ１０１には、図１２に示す構成のうち、制御部５２が設けられる。
【０１８５】
システムコントローラ１０１は、コンテンツの再生中、現在の再生位置を監視し、図１１を参照して説明したようにして、コンテンツの再生速度と視差パラメータを制御する。
【０１８６】
受信部１０２は、送信装置８１から送信されてきたコンテンツ、および重要区間の情報を受信し、コンテンツを再生処理部１０３に、重要区間の情報をシステムコントローラ１０１にそれぞれ出力する。
【０１８７】
再生処理部１０３は、受信部１０２から供給されたコンテンツに対して、圧縮されているデータを伸張するデコード処理等の再生処理を施す。再生処理部１０３は、再生処理を施すことによって得られた２Ｄ画像のデータをコンテンツ制御部１０４に出力する。コンテンツの画像にあわせて音声を出力するために用いられる音声データは、図示せぬ回路を介して外部のスピーカ等に出力される。
【０１８８】
コンテンツ制御部１０４は、図５または図７に示す構成と同様の構成を有している。コンテンツ制御部１０４は、３Ｄ画像を表示させる場合、再生処理部１０３から供給された２Ｄ画像のデータに基づいて左目用画像と右目用画像のデータを生成し、表示制御部１０５に出力する。コンテンツ制御部１０４により生成される左目用画像と右目用画像の間の視差は、システムコントローラ１０１から供給された視差パラメータに従って調整される。また、コンテンツ制御部１０４は、２Ｄ画像を表示させる場合、再生処理部１０３から供給された２Ｄ画像のデータを表示制御部１０５に出力する。
【０１８９】
表示制御部１０５は、コンテンツ制御部１０４から供給された画像データに基づいて、２Ｄ画像または３Ｄ画像をディスプレイ１０６に表示させる。
【０１９０】
信号出力部１０７は、制御信号を送信し、図４を参照して説明したようにしてシャッタメガネ３のシャッタ動作を制御する。
【０１９１】
このような構成を有する３Ｄ画像表示システムにおいても、図１１を参照して説明したようにして、現在の再生位置が重要区間やその前後の区間の位置であるか否かに応じて、再生速度と視差パラメータを調整することが可能になる。
【０１９２】
なお、図２または図１１に示す再生速度と視差パラメータの関係を表す情報が、表示制御装置８２のシステムコントローラ１０１に設定されているのではなく、送信装置８１から表示制御装置８２に送信されるようにしてもよい。再生速度と視差パラメータの関係を表す情報も、重要区間の情報と同様にしてHDMI Vender Specific InfoFrame Packetなどに格納して送信される。
【０１９３】
以上においては、３Ｄ画像の視聴方式がメガネを用いた方式であるものとしたが、裸眼方式であってもよい。
【０１９４】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１９５】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１９６】
CPU(Central Processing Unit)１２１、ROM(Read Only Memory)１２２、RAM(Random Access Memory)１２３は、バス１２４により相互に接続されている。
【０１９７】
バス１２４には、さらに、入出力インタフェース１２５が接続されている。入出力インタフェース１２５には、キーボード、マウスなどよりなる入力部１２６、ディスプレイ、スピーカなどよりなる出力部１２７が接続される。また、入出力インタフェース１２５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１２８、ネットワークインタフェースなどよりなる通信部１２９、リムーバブルメディア１３１を駆動するドライブ１３０が接続される。
【０１９８】
以上のように構成されるコンピュータでは、CPU１２１が、例えば、記憶部１２８に記憶されているプログラムを入出力インタフェース１２５及びバス１２４を介してRAM１２３にロードして実行することにより、上述した一連の処理が行われる。
【０１９９】
CPU１２１が実行するプログラムは、例えばリムーバブルメディア１３１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１２８にインストールされる。
【０２００】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０１】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２０２】
１  表示制御装置，  ２  TV，  ３  シャッタメガネ，  １１  システムコントローラ，  １２  ユーザI/F，  １３  記録媒体制御部，  １４  記録媒体，  １５  再生処理部，  １６  コンテンツ制御部，  １７  表示制御部，  １８  信号出力部，  ４１  特徴抽出部，  ５１  重要区間検出部，  ５２  制御部
【図１】
2011109294.tif 000004
【図２】
2011109294.tif 000005
【図３】
2011109294.tif 000006
【図４】
2011109294.tif 000007
【図５】
2011109294.tif 000008
【図６】
2011109294.tif 000009
【図７】
2011109294.tif 000010
【図８】
2011109294.tif 000011
【図９】
2011109294.tif 000012
【図１０】
2011109294.tif 000013
【図１１】
2011109294.tif 000014
【図１２】
2011109294.tif 000015
【図１３】
2011109294.tif 000016
【図１４】
2011109294.tif 000017
【図１５】
2011109294.tif 000018
【図１６】
2011109294.tif 000019
【図１７】
2011109294.tif 000020
【図１８】
2011109294.tif 000021
【図１９】
2011109294.tif 000022
【図２０】
2011109294.tif 000023
【図２１】
2011109294.tif 000024