(57)【要約】  視差マップ取得部は、立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する。視差マップ評価部は、取得した視差マップの精度を評価する。立体視強度調整方法選択部は、ＤＩＢＲ実行部による視差マップを用いた画素シフト処理、およびプレーンシフト実行部によるプレーンシフト処理を択一的に選択する。ＤＩＢＲ実行部またはプレーンシフト実行部は、立体視強度調整方法選択部による立体視強度調整方法の選択に応じて立体視強度の調整を実行する。
2012147329.tif 000002
【特許請求の範囲】
【請求項１】
立体視映像の立体視強度を調整する立体視強度調整装置であって、
立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得部と、
前記視差マップの精度を判定する精度判定部と、
前記立体視映像の立体視強度を調整する立体視強度調整部とを備え、
前記立体視強度調整部は、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する
ことを特徴とする立体視強度調整装置。
【請求項２】
前記精度判定部は、前記視差マップに示される視差の値から定まる前記立体視映像の立体視強度を用いて、前記視差マップの精度を判定し、
前記立体視強度調整部は、前記立体視映像の立体視強度が所定の強度以上である場合を条件に、視差マップを用いた画素シフト処理を選択し、前記立体視映像の立体視強度が所定の強度以下である場合を条件にプレーンシフト処理を選択する
ことを特徴とする請求項１に記載の立体視強度調整装置。
【請求項３】
前記立体視映像の立体視強度は、視差角に基づくものであり、
前記精度判定部は、前記視差マップに示される視差の値を用いて視差角を算出し、算出した視差角と所定の閾値とを比較することにより、前記視差マップの精度を判定する
ことを特徴とする請求項２に記載の立体視強度調整装置。
【請求項４】
前記視差マップ取得部は、メインビューデータとサブビューデータとの間で対応点探索を行なうことで視差マップを生成し、
前記精度判定部は、前記視差マップ取得部による対応点探索工程において生じたエラー量を用いて、前記視差マップの精度を判定し、
前記立体視強度調整部は、視差マップ全体における精度が所定の精度以上である場合を条件に視差マップを用いた画素シフト処理を選択し、視差マップ全体における精度が所定の精度以下である場合を条件にプレーンシフト処理を選択する
ことを特徴とする請求項１または２のいずれかに記載の立体視強度調整装置。
【請求項５】
前記エラー量は、対応点探索において、対応点が検出されなかった画素、および複数の対応点候補が検出された画素の数であり、
前記精度判定部は、前記視差マップ取得部による対応点探索において、対応点が検出されなかった画素、および複数の対応点候補が検出された画素の数と、所定の閾値とを比較することにより、前記視差マップの精度を判定する
ことを特徴とする請求項４に記載の立体視強度調整装置。
【請求項６】
前記立体視強度調整装置は、さらに、
前記立体視映像を表示する画面のサイズを取得する画面サイズ取得部を備え、
前記立体視強度調整部による画素シフト処理は、
前記画面のサイズと前記視差マップの精度を用いて、前記視差マップが有する視差量を変更し、
変更した視差量に対応する画素数で、メインビューデータの各画素の座標をシフトすることにより、サブビューデータを再生成する
ことを特徴とする請求項１に記載の立体視強度調整装置。
【請求項７】
前記精度判定部は、前記視差マップの前景領域および後景領域における精度を判定し、
前記立体視強度調整部による画素シフト処理は、
前記視差マップの後景領域の精度が所定の精度以下である場合、前記視差マップの後景領域が有する視差量を無効とする
ことを特徴とする請求項６に記載の立体視強度調整装置。
【請求項８】
前記精度判定部は、前記視差マップの前景領域および後景領域における精度を判定し、
前記立体視強度調整部による画素シフト処理は、
前記視差マップの前景領域の精度が所定の精度以下である場合、前記視差マップの前景領域が有する視差量を平均化する
ことを特徴とする請求項６に記載の立体視強度調整装置。
【請求項９】
前記立体視強度調整部による画素シフト処理は、
前記視差マップの前景領域に含まれる被写体の輪郭を抽出し、当該輪郭の抽出の精度が所定の精度以上である場合を条件に、前記視差マップの前景領域が有する視差量の平均化を実行する
ことを特徴とする請求項８に記載の立体視強度調整装置。
【請求項１０】
前記精度判定部は、前記視差マップに示される視差の値から定まる前記立体視映像の立体視強度を用いて、前記視差マップの精度を判定し、
前記立体視強度調整部による画素シフト処理は、前記立体視映像の立体視強度が所定の強度以上である場合、前記視差マップが有する視差量を低減する
ことを特徴とする請求項６に記載の立体視強度調整装置。
【請求項１１】
前記立体視強度調整部による画素シフト処理は、前記画面のサイズに対する立体視映像の飛び出し量および引っ込み量が、予め定めた視差角以内におさまるように、視差マップが有する視差量を変更する
ことを特徴とする請求項１０に記載の立体視強度調整装置。
【請求項１２】
前記立体視強度調整部による画素シフト処理は、立体視映像の飛び出し量および引っ込み量と、視聴距離との比が、予め定めた固定値になるように、視差マップが有する視差量を変更する
ことを特徴とする請求項６に記載の立体視強度調整装置。
【請求項１３】
前記立体視強度調整部による画素シフト処理は、
前記画面サイズが所定のサイズ以上である場合には、前記画面のサイズに対する立体視映像の飛び出し量および引っ込み量が、予め定めた視差角以内におさまるように、視差マップが有する視差量を変更し、
前記画面サイズが所定のサイズ以下である場合には、前記画面のサイズに対する立体視映像の飛び出し量および引っ込み量が、予め定めた視差角以上、立体視の融合限界の視差角以内におさまるように、視差マップが有する視差量を変更する
ことを特徴とする請求項６に記載の立体視強度調整装置。
【請求項１４】
前記立体視強度調整装置は、さらに、
左目用のプレーンおよび右目用のプレーンを含むプレーンと、
前記プレーンに、ビューデータを書き込むレンダリングエンジンとを備え、
前記レンダリングエンジンは、
視差マップ全体における精度が所定の精度以上である場合には、立体視強度調整後のメインビューデータおよびサブビューデータを前記プレーンに書き込み、
視差マップ全体における精度が所定の精度以下である場合には、立体視強度調整前のメインビューデータを左目用のプレーンおよび右目用のプレーンの両方に書き込む
ことを特徴とする請求項１に記載の立体視強度調整装置。
【請求項１５】
前記視差マップ取得部は、
前記視差マップの精度が所定の精度以下である場合には、視差マップの再取得を行なう
ことを特徴とする請求項１に記載の立体視強度調整装置。
【請求項１６】
前記視差マップ取得部は、
以前に視差マップを生成した手法とは別の手法により、視差マップの再取得を行なう
ことを特徴とする請求項１５に記載の立体視強度調整装置。
【請求項１７】
立体視映像の立体視強度を調整する立体視強度調整方法であって、
立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得ステップと、
前記視差マップの精度を判定する精度判定ステップと、
前記立体視映像の立体視強度を調整する立体視強度調整ステップとを備え、
前記立体視強度調整ステップは、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する
ことを特徴とする立体視強度調整方法。
【請求項１８】
立体視映像の立体視強度を調整する立体視強度調整処理をコンピュータに実行させるプログラムであって、
立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得ステップと、
前記視差マップの精度を判定する精度判定ステップと、
前記立体視映像の立体視強度を調整する立体視強度調整ステップとをコンピュータに実行させ、
前記立体視強度調整ステップは、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する
ことを特徴とするプログラム。
【請求項１９】
立体視映像の立体視強度を調整する立体視強度調整処理に用いる集積回路であって、
立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得手段と、
前記視差マップの精度を判定する精度判定手段と、
前記立体視映像の立体視強度を調整する立体視強度調整手段とを備え、
前記立体視強度調整手段は、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する
ことを特徴とする集積回路。
【請求項２０】
立体視映像の立体視強度を調整する立体視強度調整処理をコンピュータに実行させるプログラムを記録した記録媒体であって、
前記プログラムは、
立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得ステップと、
前記視差マップの精度を判定する精度判定ステップと、
前記立体視映像の立体視強度を調整する立体視強度調整ステップとをコンピュータに実行させ、
前記立体視強度調整ステップは、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する
ことを特徴とするプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視映像の立体視強度を調整する技術に関する。
【背景技術】
【０００２】
近年、両眼視差を利用した立体視映像の再生技術が注目を集めている。人間は左目と右目に入射する映像の違いにより、立体を知覚する（例えば、非特許文献１参照）。このため、視聴者の左目と右目に視差がある映像（左目用映像・右目用映像）を独立して入射させることにより、視聴者に奥行きを感じさせることができる。家庭設置用再生装置の先行技術には、例えば、特許文献１に記載されたものがある。また、立体視再生の先行技術には、例えば、特許文献２に記載されたものがある。これらの技術を用いることで、立体視映像の視聴が可能となる。【０００３】
ここで、立体視映像の飛び出しの度合いや引っ込みの度合いは、視聴者により好みが異なる場合も多い。また、立体視映像の飛び出し度合いや引っ込み度合いは、立体視映像を表示するディスプレイのサイズに依存する。このため、特許文献３や特許文献４に開示される技術を用いて、立体視映像の立体視強度の調整が行なわれている。【０００４】
特許文献３に開示される技術では、立体視映像を構成する左目用映像・右目用映像間の視差を算出し、立体視映像を表示するディスプレイのサイズに応じて、算出した視差の値を変更する。そして、変更した視差の値に基づき立体視映像を補正することで、立体視映像の立体視強度を調整している。【０００５】
また、特許文献４に開示される技術では、立体視映像を構成する左目用映像・右目用映像間の視差を算出し、立体視映像の飛び出し量および引っ込み量が視聴者の許容範囲内に収まるように、視差の値を変更する。そして、変更した視差の値に基づき立体視映像を補正することで、立体視映像の立体視強度を調整している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２００５／１１９６７５号
【特許文献２】米国特許出願公開第２００８／００３６８５４号明細書
【特許文献３】特開２０１０−４５５８４号公報
【特許文献４】特開２００３−２８４０９３号公報
【非特許文献】
【０００７】
【非特許文献１】Lenny Lipton, "Foundations of the Stereoscopic Cinema, A Study in Depth", Van Nostrand Reinhold, 1982
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の従来技術では、立体視強度の調整後の立体視映像が不自然なものとなる場合があった。【０００９】
本発明は上記事情に鑑みなされたものであり、違和感の少ない立体視強度の調整を可能とする立体視強度調整装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の一態様である立体視強度調整装置は、立体視映像の立体視強度を調整する立体視強度調整装置であって、立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得部と、前記視差マップの精度を判定する精度判定部と、前記立体視映像の立体視強度を調整する立体視強度調整部とを備え、前記立体視強度調整部は、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行することを特徴とする。
【発明の効果】
【００１１】
本発明の一態様である立体視強度調整装置によれば、立体視映像が有する視差の値を示す視差マップの精度を判定し、判定した精度に応じて、視差マップを用いた画素シフトによる立体視強度調整手段か、視差マップを用いないプレーンシフトによる立体視強度調整手段かを択一的に選択するため、立体視強度の調整による立体視映像の変形を低減することができる。このため、視聴者にとって違和感の少ない、立体視強度の調整が可能となる。
【図面の簡単な説明】
【００１２】
【図１】本実施の形態にかかる立体視調整装置を用いた立体視映像視聴システムを示す図である。
【図２】立体視映像再生時の左目用画像および右目用画像の出力例を示す図である。
【図３】引っ込み立体視の場合における、左目用画像および右目用画像のシフト量（視差量）と、立体視映像の飛び出し度合いおよび引っ込み度合いとの関係を示す図である。
【図４】飛び出し立体視の場合における、左目用画像および右目用画像のシフト量（視差量）と、立体視映像の飛び出し度合いおよび引っ込み度合いとの関係を示す図である。
【図５】ディスプレイサイズと、ディスプレイ上で画像のシフト量との関係を示す図である。
【図６】視聴する物体の飛び出し位置および引っ込み位置への視差角の一例を示す図である。
【図７】ＤＩＢＲの概要を示す図である。
【図８】立体視強度調整装置１０の構成の一例を示すブロック図である。
【図９】視差マップの生成を説明するための図である。
【図１０】視差マップの精度の評価を説明するための図である。
【図１１】視差マップに基づくＤＩＢＲ処理により発生するオクルージョンを示す図である。
【図１２】オクルージョンの一例を示す図である。
【図１３】視差マップの画素値とシフト量との関係を示す図である。
【図１４】立体視強度調整装置１０による立体視強度調整処理の流れを示すフローチャートである。
【図１５】視差マップの精度の評価処理の流れを示すフローチャートである。
【図１６】立体視強度調整装置２０の構成の一例を示すブロック図である。
【図１７】プレーンシフト処理の概要を示す図である。
【図１８】立体視強度調整装置２０による立体視強度調整処理の流れを示すフローチャートである。
【図１９】プレーンシフト処理の流れを示すフローチャートである。
【図２０】立体視強度の調整が適切であるか否かの確認を伴う立体視強度調整処理の流れを示すフローチャートである。
【図２１】立体視強度調整装置３０の構成の一例を示すブロック図である。
【図２２】立体視強度調整装置３０による立体視強度調整処理の流れを示すフローチャートである。
【図２３】立体視強度調整装置４０の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１３】
≪本発明にかかる一態様の基礎となった知見≫
まず、本発明にかかる一態様の基礎となった知見について説明する。
【００１４】
立体視映像の飛び出しの度合いや引っ込みの度合いは、視聴者により好みが異なる場合も多い。また、立体視映像の飛び出し度合いや引っ込み度合いは、立体視映像を表示するディスプレイのサイズに依存する。
【００１５】
このため、従来では、特許文献３や特許文献４に開示される技術を用いて、立体視映像の立体視強度の調整が行なわれている。
【００１６】
ここで、発明者らは、鋭意研究により、これらの技術により立体視映像の立体視強度を調整した場合において、調整後の立体視映像が変形する場合があることを発見した。変形した立体視映像は、視聴者に違和感を与える。
【００１７】
発明者らは、この立体視強度の調整により立体視映像が変形する原因を検証した。その結果、誤って算出された視差の値に基づき立体視強度の調整が行なわれたため、立体視映像が変形したものであることを見いだした。また、過度に大きな視差量を有する視差マップに基づきＤＩＢＲ処理を行なったため、ＤＩＢＲ処理後の立体視映像に生じるオクルージョンの量が大きくなり、立体視強度調整後の立体視映像が変形したものであることを見いだした。
【００１８】
立体視映像が有する視差量の算出は、立体視映像を構成する左目用画像・右目用画像間において対応点の探索を行ない、その対応点間の水平方向のずれ量を算出することにより行なう。この対応点の探索において、平坦な画像領域などは、複雑な模様のある画像領域に比べて、対応点の候補が多く探索が難しい。この複数の対応点候補から正しいものを選択する際に誤りが生じやすい。誤った対応点を検出した場合、実際の視差量とは異なる視差量に基づき立体視強度の調整を行なうことになり、その結果、立体視映像が変形してしまう。
【００１９】
また、ＤＩＢＲ処理では、画素毎に異なる画素数で各画素の座標をシフトする。このため、視差マップの隣接する画素の値が急峻に変化する箇所、つまり、画像に含まれる被写体の境界面付近でオクルージョンは発生する。一般に、オクルージョンは、周辺の画素を用いて補間することとなるが、このオクルージョン量が過度に大きくなると、ユーザに対して違和感を与えるおそれがある。
【００２０】
≪本発明の一態様の概要≫
発明者らは、以上の知見を基礎に、以下に示す発明の一態様を得るに至った。
【００２１】
本発明の一態様である立体視強度調整装置は、立体視映像の立体視強度を調整する立体視強度調整装置であって、立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得部と、前記視差マップの精度を判定する精度判定部と、前記立体視映像の立体視強度を調整する立体視強度調整部とを備え、前記立体視強度調整部は、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する。
【００２２】
上記の態様によれば、立体視映像が有する視差の値を示す視差マップの精度を判定し、判定した精度に応じて、視差マップを用いた画素シフトによる立体視強度調整手段か、視差マップを用いないプレーンシフトによる立体視強度調整手段かを択一的に選択するため、立体視強度の調整による立体視映像の変形を低減することができる。このため、視聴者にとって違和感の少ない、立体視強度の調整が可能となる。
【００２３】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、前記精度判定部は、前記視差マップに示される視差の値から定まる前記立体視映像の立体視強度を用いて、前記視差マップの精度を判定し、前記立体視強度調整部は、前記立体視映像の立体視強度が所定の強度以上である場合を条件に、視差マップを用いた画素シフト処理を選択し、前記立体視映像の立体視強度が所定の強度以下である場合を条件にプレーンシフト処理を選択する。
【００２４】
上記の態様によれば、立体視映像の立体視強度が適切に収まっている場合は、プレーンシフト処理により立体視強度の調整を行なう。また、立体視映像の立体視強度が適切な強度以上である場合は、ＤＩＢＲ処理により立体視強度の調整を行なう。
【００２５】
立体視映像の立体視強度が適切に収まっている場合は、大幅な立体視強度の調整は不必要なため、プレーンシフト処理により立体視強度を調整することで、立体視映像の画質を劣化させることなく、立体視強度の調整を行なうことができる。一方、立体視映像の立体視強度が適切な強度以上である場合には、適切な強度以内に立体視強度を変更する必要があり、ＤＩＢＲ処理により立体視強度を調整することで、立体視映像の飛び出しおよび奥行き感を調整することができる。
【００２６】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、前記立体視映像の立体視強度は、視差角に基づくものであり、前記精度判定部は、前記視差マップに示される視差の値を用いて視差角を算出し、算出した視差角と所定の閾値とを比較することにより、前記視差マップの精度を判定する。
【００２７】
上記の態様によれば、視差角により定まる立体視強度に基づき、プレーンシフト処理とＤＩＢＲ処理とを選択し、立体視映像の立体視強度を調整することができる。
【００２８】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、前記視差マップ取得部は、メインビューデータとサブビューデータとの間で対応点探索を行なうことで視差マップを生成し、前記精度判定部は、前記視差マップ取得部による対応点探索工程において生じたエラー量を用いて、前記視差マップの精度を判定し、前記立体視強度調整部は、視差マップ全体における精度が所定の精度以上である場合を条件に視差マップを用いた画素シフト処理を選択し、視差マップ全体における精度が所定の精度以下である場合を条件にプレーンシフト処理を選択する。
【００２９】
上記の態様によれば、対応点探索時において誤って検出された対応点に基づき立体視強度を調整することにより、立体視強度の調整後の立体視映像の品質が低下することを防ぐことができる。
【００３０】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、前記エラー量は、対応点探索において、対応点が検出されなかった画素、および複数の対応点候補が検出された画素の数であり、前記精度判定部は、前記視差マップ取得部による対応点探索において、対応点が検出されなかった画素、および複数の対応点候補が検出された画素の数と、所定の閾値とを比較することにより、前記視差マップの精度を判定する。
【００３１】
上記の態様によれば、対応点が検出されなかった画素、および複数の対応点候補が検出された画素をエラー量として検出し、その画素数に基づき、視差マップの精度を判定することができる。
【００３２】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、さらに、前記立体視映像を表示する画面のサイズを取得する画面サイズ取得部を備え、前記立体視強度調整部による画素シフト処理は、前記画面のサイズと前記視差マップの精度を用いて、前記視差マップが有する視差量を変更し、変更した視差量に対応する画素数で、メインビューデータの各画素の座標をシフトすることにより、サブビューデータを再生成する。
【００３３】
上記の態様によれば、画面のサイズと視差マップの精度を用いた視差マップの変更により視差マップの精度を向上させることができるため、より違和感の少ない立体感調整が可能になり、視聴者への眼精疲労の軽減や臨場感の向上が可能となる。
【００３４】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、前記精度判定部は、前記視差マップの前景領域および後景領域における精度を判定し、前記立体視強度調整部による画素シフト処理は、前記視差マップの後景領域の精度が所定の精度以下である場合、前記視差マップの後景領域が有する視差量を無効とする。
【００３５】
上記の態様によれば、対応点探索の誤りが多く存在する後景領域の視差量を無効化するので、視差マップの精度を向上させることができる。
【００３６】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、前記精度判定部は、前記視差マップの前景領域および後景領域における精度を判定し、前記立体視強度調整部による画素シフト処理は、前記視差マップの前景領域の精度が所定の精度以下である場合、前記視差マップの前景領域が有する視差量を平均化する。
【００３７】
上記の態様によれば、対応点探索の誤りが多く存在する前景領域が有する視差量を平均化するので、視差マップの精度を向上させることができる。
【００３８】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、前記立体視強度調整部による画素シフト処理は、前記視差マップの前景領域に含まれる被写体の輪郭を抽出し、当該輪郭の抽出の精度が所定の精度以上である場合を条件に、前記視差マップの前景領域が有する視差量の平均化を実行する。
【００３９】
上記の態様によれば、前景領域に含まれる被写体の輪郭の抽出の精度が所定の精度以上であることを条件に、視差マップの前景領域が有する視差量の平均化を実行するので、視差マップの前景領域が有する視差量を平均化することにより、視差マップの精度が低下することを防ぐことができる。
【００４０】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、前記精度判定部は、前記視差マップに示される視差の値から定まる前記立体視映像の立体視強度を用いて、前記視差マップの精度を判定し、前記立体視強度調整部による画素シフト処理は、前記立体視映像の立体視強度が所定の強度以上である場合、前記視差マップが有する視差量を低減する。
【００４１】
上記の態様によれば、立体視映像の立体視強度が所定の強度以上である場合に、視差マップが有する視差量を低減するので、立体視強度の調整により生じるオクルージョン量を減らすことができる。
【００４２】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、前記立体視強度調整部による画素シフト処理は、前記画面のサイズに対する立体視映像の飛び出し量および引っ込み量が、予め定めた視差角以内におさまるように、視差マップが有する視差量を変更する。
【００４３】
上記の態様によれば、所定の視差角以内におさまるように立体視強度を調整するため、ユーザにとって視覚疲労や違和感等が少ない立体視映像を提供することができる。
【００４４】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、前記立体視強度調整部による画素シフト処理は、立体視映像の飛び出し量および引っ込み量と、視聴距離との比が、予め定めた固定値になるように、視差マップが有する視差量を変更する。
【００４５】
上記の態様によれば、立体視映像を表示する画面のサイズに適した立体視強度を有する立体視映像を提供することができる。
【００４６】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、前記立体視強度調整部による画素シフト処理は、前記画面サイズが所定のサイズ以上である場合には、前記画面のサイズに対する立体視映像の飛び出し量および引っ込み量が、予め定めた視差角以内におさまるように、視差マップが有する視差量を変更し、前記画面サイズが所定のサイズ以下である場合には、前記画面のサイズに対する立体視映像の飛び出し量および引っ込み量が、予め定めた視差角以上、立体視の融合限界の視差角以内におさまるように、視差マップが有する視差量を変更する。
【００４７】
上記の態様によれば、立体視映像を表示する画面のサイズが大きい場合において、視差量を大きくすることにより、立体視強度が所定の視差角以上のものとなり視覚疲労や違和感等を与えることを防ぐことができる。また、立体視映像を表示する画面のサイズが小さい場合において、視差量を小さくすることにより、左目用画像と右目用画像を別々の画像と認識してしまい、立体融合が困難となることを防ぐことができる。
【００４８】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、さらに、左目用のプレーンおよび右目用のプレーンを含むプレーンと、前記プレーンに、ビューデータを書き込むレンダリングエンジンとを備え、前記レンダリングエンジンは、視差マップ全体における精度が所定の精度以上である場合には、立体視強度調整後のメインビューデータおよびサブビューデータを前記プレーンに書き込み、視差マップ全体における精度が所定の精度以下である場合には、立体視強度調整前のメインビューデータを左目用のプレーンおよび右目用のプレーンの両方に書き込む。
【００４９】
上記の態様によれば、視差マップの精度が高い場合は３Ｄ表示を行ない、視差マップの精度が低い場合は２Ｄ表示を行なうことができる。
【００５０】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、前記視差マップ取得部は、前記視差マップの精度が所定の精度以下である場合には、視差マップの再取得を行なう。
【００５１】
上記の態様によれば、視差マップの精度が低い場合において、視差マップの再取得を行なうので、視差マップの精度が向上することが期待できる。
【００５２】
また、本発明の一態様にかかる立体視強度調整装置の特定の局面では、前記視差マップ取得部は、以前に視差マップを生成した手法とは別の手法により、視差マップの再取得を行なう。
【００５３】
上記の態様によれば、以前に視差マップを生成した手法とは別の手法により、視差マップの再取得を行なうので、視差マップの精度が向上することがより期待できる。
【００５４】
また、本発明の一態様である立体視強度調整方法は、立体視映像の立体視強度を調整する立体視強度調整方法であって、立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得ステップと、前記視差マップの精度を判定する精度判定ステップと、前記立体視映像の立体視強度を調整する立体視強度調整ステップとを備え、前記立体視強度調整ステップは、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する。
【００５５】
上記の態様によれば、立体視強度の調整による立体視映像の変形を低減することを可能とする立体視強度調整方法を提供することができる。
【００５６】
また、本発明の一態様であるプログラムは、立体視映像の立体視強度を調整する立体視強度調整処理をコンピュータに実行させるプログラムであって、立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得ステップと、前記視差マップの精度を判定する精度判定ステップと、前記立体視映像の立体視強度を調整する立体視強度調整ステップとをコンピュータに実行させ、前記立体視強度調整ステップは、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する。
【００５７】
上記の態様によれば、立体視強度の調整による立体視映像の変形を低減することを可能とするプログラムを提供することができる。
【００５８】
また、本発明の一態様である集積回路は、立体視映像の立体視強度を調整する立体視強度調整処理に用いる集積回路であって、立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得手段と、前記視差マップの精度を判定する精度判定手段と、前記立体視映像の立体視強度を調整する立体視強度調整手段とを備え、前記立体視強度調整手段は、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する。
【００５９】
上記の態様によれば、立体視強度の調整による立体視映像の変形を低減することを可能とする集積回路を提供することができる。
【００６０】
また、本発明の一態様である記録媒体は、立体視映像の立体視強度を調整する立体視強度調整処理をコンピュータに実行させるプログラムを記録した記録媒体であって、前記プログラムは、立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得ステップと、前記視差マップの精度を判定する精度判定ステップと、前記立体視映像の立体視強度を調整する立体視強度調整ステップとをコンピュータに実行させ、前記立体視強度調整ステップは、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する。
【００６１】
上記の態様によれば、立体視強度の調整による立体視映像の変形を低減することを可能とする記録媒体を提供することができる。
【００６２】
≪実施の形態１≫
以下では、本発明の実施の形態について、図面を参照しながら説明する。
【００６３】
［立体視強度調整装置の使用形態］
まず始めに、本実施の形態にかかる立体視強度調整装置の使用形態について説明する。
【００６４】
図１は、本実施の形態にかかる立体視調整装置を用いた立体視映像視聴システムを示す図である。本システムは、例えば、再生装置１、記録媒体２、操作装置３、表示装置４、３Ｄ眼鏡５を含んで構成される。本実施の形態にかかる立体視調整装置は、再生装置１または表示装置４などに搭載され、再生・表示を行なう立体視映像の立体視強度の調整を行なう。
【００６５】
再生装置１は、ＢＤプレーヤ、ＤＶＤプレーヤ等のプレーヤであり、記録媒体２から立体視映像を読み出し、再生する。再生装置１は、表示装置４とＨＤＭＩ（High-Definition Multimedia Interface）ケーブル等を介して接続され、読み出した立体視映像を表示装置４に送信する。
【００６６】
記録媒体２は、ＢＤ−ＲＯＭ（Blu-ray Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）等の光ディスクやＳＤカード（Secure Digital memory card）等の半導体メモリーカードであり、上記のホームシアターシステムに、例えば映画作品を供給する。
【００６７】
操作装置３は、リモコン等の操作機器であり、表示装置４に表示される階層化されたＧＵＩ（Graphical User Interface）に対する操作をユーザから受け付ける。かかるユーザ操作を受け付けるため、操作装置３は、メニューを呼び出すメニューキー、メニューを構成するＧＵＩ部品のフォーカスを移動させる矢印キー、メニューを構成するＧＵＩ部品に対して確定操作を行う決定キー、階層化されたメニューをより上位のものにもどってゆくための戻りキー、数値キー等を備える。
【００６８】
表示装置４は、再生装置１により再生された立体視映像をディスプレイ上に表示する。また、表示装置４は、アンテナを通して、デジタル放送波のトランスポートストリームを受信し、受信したトランスポートストリームから得られる立体視映像をディスプレイ上に表示する。また、表示装置４は、ＩＰネットワークからビデオストリームを取得し、取得したビデオストリームから得られる立体視映像をディスプレイ上に表示する。また、表示装置４は、ディスプレイ上にメニュー等を表示することで、対話的な操作環境をユーザに提供する。
【００６９】
３Ｄ眼鏡５は、立体視映像の視聴時において視聴者が着用する眼鏡であり、立体視映像の再生・表示制御を行なう再生装置１や表示装置４などと協働することで、立体視の視聴を実現させる。
【００７０】
以上が、本実施の形態にかかる立体視強度調整装置の使用形態についての説明である。続いて、立体視視聴の原理について説明する。
【００７１】
［立体視視聴の原理］
図２は、立体視映像再生時の左目用画像および右目用画像の出力例を示す図である。
【００７２】
本図に示されるように、表示装置４は、立体視映像の再生時において、視差がある映像（左目用画像・右目用画像）を表示する。
【００７３】
ここで、左目用画像に含まれる被写体と、右目用画像に含まれる被写体との関係をみる。すると、左目用画像に含まれる被写体を基準にした場合、手前に位置している被写体（例えば、男性や女性の被写体）は、対応する右目用画像に含まれる被写体よりも左側に位置している。一方、奥に位置している被写体（例えば、太陽や雲の像）は、対応する右目用画像に含まれる被写体よりも右側に位置している。
【００７４】
人間は左目と右目に入射する映像の違いにより立体を知覚するため、このような視差のある左目用画像・右目用画像を表示し、視聴者の左目と右目に独立して入射させることにより、視聴者に奥行きを感じさせることができる。
【００７５】
左目用画像・右目用画像の、視聴者の左目・右目への独立した入射は、３Ｄ眼鏡による透光・遮光の切り替えや、パララックスバリア、レンティキュラレンズ等を用いた視差障壁によって実現される。
【００７６】
以上が、立体視視聴の原理についての説明である。続いて、ディスプレイのサイズと立体視映像コンテンツとの関係について説明する。
【００７７】
［ディスプレイのサイズと立体視映像コンテンツとの関係］
立体視映像の飛び出し度合いや引っ込み度合いは、立体視映像を表示するディスプレイのサイズに依存する。そのため、コンテンツオーサーは、コンテンツが視聴されるディスプレイのサイズを想定し、そのディスプレイサイズで視聴した場合に最適な飛び出し度合いおよび引っ込み度合いが得られるように、立体視映像のコンテンツを作成する。
【００７８】
例えば、映画コンテンツなどは、劇場スクリーンや家庭設置用の大画面テレビのディスプレイサイズを想定して、コンテンツが製作されている。また、家庭用の３Ｄデジタルカメラ等で撮影された立体視映像などは、フォトフレームやファインダー等の比較的小画面のディスプレイで視聴されることを想定して、コンテンツが製作されている場合がある。
【００７９】
立体視映像を大画面のディスプレイで視聴した場合、小画面のディスプレイで視聴した場合に比べて、ディスプレイ上での左目用画像・右目用画像間のずれ幅が大きくなる。このため、大画面向けに製作されたコンテンツは、小画面向けに製作されたコンテンツよりも視差量が小さくなっており、大画面向けに製作されたコンテンツを小画面のディスプレイで視聴した場合、視聴者は十分な立体感を得ることができない。
【００８０】
一方、立体視映像を小画面のディスプレイで視聴した場合、大画面のディスプレイで視聴した場合に比べて、ディスプレイ上での左目用画像・右目用画像間のずれ幅が小さくなる。このため、小画面向けに製作されたコンテンツは、大画面向けに製作されたコンテンツよりも視差量が大きくなっており、小画面向けに製作されたコンテンツを大画面のディスプレイで視聴した場合、視聴者にとって過度に強い立体視強度となる場合がある。過度に強い立体視強度を有する立体視映像の視聴は、視聴者に違和感を与える。
【００８１】
また、立体視映像の見え方には個人差があり、希望する飛び出し度合いおよび引っ込み度合いは視聴者によって異なる。立体視による強い驚き感を希望する視聴者も存在する。その一方、飛出し度合が大きい映像は、視聴者を過度に驚かせたり脅えさせるおそれがあるため、飛び出し度合が弱い映像を好む視聴者も存在する。
【００８２】
本発明の一態様にかかる立体視強度調整装置によれば、ディスプレイサイズやユーザ希望する立体視強度に応じて、立体視映像の立体視強度を調整するため、上記の問題を解決することができる。
【００８３】
以上が、ディスプレイのサイズと立体視映像コンテンツとの関係についての説明である。続いて、左目用画像および右目用画像のシフト量（視差量）と、立体視映像の飛び出し度合いおよび引っ込み度合いとの関係について説明する。
【００８４】
［シフト量と飛び出し度合いおよび引っ込み度合いとの関係］
図３および図４は、左目用画像および右目用画像のシフト量（視差量）と、立体視映像の飛び出し度合いおよび引っ込み度合いとの関係を示す図である。
【００８５】
これらの図において、左目瞳孔と、左目用画像に含まれる物体Ａの表示位置とを結ぶ直線が左目の視線となる。また、右目瞳孔と、右目用画像に含まれる物体Ａの表示位置とを結ぶ直線が右目の視線となる。視聴者は、この左目の視線と右目の視線の交点（結像点）に、物体Ａが存在するように感じる。
【００８６】
立体視効果には、飛び出し効果をもたらすもの（飛出し立体視）と、引っ込み効果をもたらすもの（引っ込み立体視）とがある。まず、図３を用いて引っ込み立体視の場合におけるシフト量との関係について説明する。
【００８７】
図３において、ｐは左目用画像および右目用画像のシフト量（視差量）、Ｚは視聴位置からディスプレイまでの距離、Ｓは視聴位置から結像位置までの距離、ＩＰＤは基線長（瞳孔間距離）を示す。
【００８８】
図３を参照するに、左目瞳孔、右目瞳孔、および結像点の三点からなる三角形と、左目用画像に含まれる物体Ａの表示位置、右目用画像に含まれる物体Ａの表示位置、および結像点からなる三角形の相似関係から、視聴位置から結像位置までの距離Ｓと、視聴位置からディスプレイまでの距離Ｚと、左目用画像・右目用画像間のシフト量ｐと、基線長ＩＰＤとの間には、下記の数式（１）に示す関係が成り立つ。
【００８９】
Ｓ−Ｚ：Ｓ＝ｐ：ＩＰＤ／２・・・（１）
この数式（１）に示される関係から、左目用画像および右目用画像のシフト量ｐは、下記の数式（２）のように表される。
【００９０】
ｐ＝ＩＰＤ／２×（１−Ｚ／Ｓ）・・・（２）
図４は、飛び出し立体視の場合における、左目用画像および右目用画像のシフト量（視差量）と、立体視映像の飛び出し度合いの関係を示す図である。図４を参照するに、左目瞳孔、右目瞳孔、および結像点の三点からなる三角形と、左目用画像に含まれる物体Ａの表示位置、右目用画像に含まれる物体Ａの表示位置、および結像点からなる三角形の相似関係から、視聴位置から結像位置までの距離Ｓと、視聴位置からディスプレイまでの距離Ｚと、左目用画像・右目用画像間のシフト量ｐと、基線長ＩＰＤとの間には、引っ込み立体視の場合と同様に、上述の数式（１）および数式（２）の関係が成り立つ。
【００９１】
なお、上述の数式（１）および数式（２）では、物体Ａをディプレイに投影をした位置を基準としてシフト量ｐを計算しているので、左目用の画像に含まれる物体Ａの位置を基準としたときのシフト量は、数式（１）および数式（２）に示されるｐの値の２倍の値となる。
【００９２】
以上が、左目用画像および右目用画像のシフト量（視差量）と、立体視映像の飛び出し度合いおよび引っ込み度合いとの関係についての説明である。続いて、ディスプレイサイズと、ディスプレイ上で画像のシフト量との関係について説明する。
【００９３】
［ディスプレイサイズと、ディスプレイ上で画像のシフト量との関係］
図５は、ディスプレイサイズと、ディスプレイ上で画像のシフト量との関係を示す図である。
【００９４】
図５において、Ｘはディスプレイのサイズ、ｗｉｄｔｈはディスプレイの横幅、ｈｅｉｇｈｔはディスプレイの高さ、Ｚは視聴位置からディスプレイまでの距離、Ｓは視聴位置から結像位置までの距離、ＩＰＤは基線長（瞳孔間距離）、ｐsはディスプレイ上での画像のシフト量（画素数）を示す。
【００９５】
ここで、ディスプレイの画面サイズＸは、ディスプレイの横幅ｗｉｄｔｈと、ディスプレイの高さとを用いて下記の数式（３）のように表される。
【００９６】
Ｘ2＝ｗｉｄｔｈ2＋ｈｅｉｇｈｔ2・・・（３）
また、ディスプレイのアスペクト比ｍ：ｎは、ディスプレイの横幅ｗｉｄｔｈと、ディスプレイの高さとを用いて下記の数式（４）のように表される。
【００９７】
ｗｉｄｔｈ：ｈｅｉｇｈｔ＝ｍ：ｎ・・・（４）
上記の数式（３）および数式（４）から、ディスプレイの横幅ｗｉｄｔｈは、下記の数式（５）のように表される。
【００９８】
【数１】
2012147329.tif 000003
【００９９】
ディスプレイの横方向の画素数をｗ＿ｐｉｘとした場合、横方向の１画素あたりの長さは、ディスプレイの横幅ｗｉｄｔｈ／ディスプレイの横方向の画素数ｗ＿ｐｉｘとなる。また、ディスプレイの縦方向の画素数をｈ＿ｐｉｘとした場合、縦方向の１画素あたりの長さは、ディスプレイの高さｈｅｉｇｈｔ／ディスプレイの縦方向の画素数ｈ＿ｐｉｘとなる。
【０１００】
従って、ディスプレイ上での画像のシフト量（画素数）ｐsは、上記の数式（２）および数式（５）から、下記の数式（６）のように表される。
【０１０１】
【数２】
2012147329.tif 000004
【０１０２】
ｐsは、物体をディスプレイに投影した位置を基準としたシフト量（画素数）である。このため、左目用画像を構成する画素をシフトして右目用画像を生成する場合には、ｐsで示される画素数の２倍の画素数だけシフトする必要がある。
【０１０３】
ここで数式（６）を参照するに、ディスプレイのアスペクト比が同じであり、かつディスプレイに表示する画像の画素数が同じであるという前提において、数式（２）に示されるｐの値が同じであったとしても、表示するディスプレイのサイズが異なれば、算出されるｐsの値は異なることが分かる。
【０１０４】
従って、サイズが異なるディスプレイに対して、立体視映像を同じ割合だけ飛び出させたり引っ込めたりするためには、ディスプレイのサイズが小さくなるに従ってディスプレイ上での画像のシフト量ｐsを大きくする必要がある。
【０１０５】
これは、サイズの大きなディスプレイＡにおいて用いるｐsを、その値を変更することなくディスプレイＡよりもサイズの小さなディスプレイＢにおけるｐsとしてそのまま用いると、サイズが小さいディスプレイＢの方がディスプレイＡに比べ、飛び出したり引っ込んだりする割合が低下することを意味する。
【０１０６】
一般に、成人男性の瞳孔間距離は約６．５ｃｍであることから、基線長ＩＰＤは６．５ｃｍとして扱われる。また、フルハイビジョンのディスプレイを例にとると、アスペクト比ｍ：ｎは１６：９、ディスプレイの横方向の画素数ｗ＿ｐｉｘは１９２０となる。これらの値を数式（６）に代入すると、ディスプレイ上での画像のシフト量ｐsは、以下のようになる。
【０１０７】
ｐs＝（２８１８．６８／Ｘ）×（Ｚ／Ｓ−１）
ここで、物体をディスプレイから、視聴位置からディスプレイまでの距離に対して１０％飛び出させる場合を考えると、Ｓ＝０．９Ｚとなる。従って、ディスプレイ上での画像のシフト量ｐsは、以下のようになる。
【０１０８】
ｐs＝３１３．１９／Ｘ
１インチは２．５４ｃｍであることから、例えば、５０インチのディスプレイ上での画像のシフト量は６ピクセルとなる。これに対し、例えば、５インチのディスプレイ上での画像のシフト量は６３ピクセルとなる。
【０１０９】
このように、立体視映像を表示するにあたって同じ飛び出し量および引っ込み量を実現しようとすれば、ディスプレイサイズに応じて、画像のシフト量を変更する必要がある。
【０１１０】
以上が、ディスプレイサイズと、ディスプレイ上で画像のシフト量との関係についての説明である。続いて、立体視映像の飛び出し量および引っ込み量と、視差角との関係について説明する。
【０１１１】
［飛び出し量および引っ込み量と視差角との関係］
図６は、視聴する物体の飛び出し位置および引っ込み位置への視差角の一例を示す図である。
【０１１２】
本図において、αは視聴位置から引っ込み位置にある物体Ｂを視聴したときの左目の視線と右目の視線とがなす角度（輻輳角）である。また、βは視聴位置から飛び出し位置にある物体Ｃを視聴したときの左目の視線と右目の視線とがなす角度（輻輳角）である。また、θは視聴位置からディスプレイ位置Ａにある物体を視聴したときの左目の視線と右目の視線とがなす角度（輻輳角）である。
【０１１３】
ここで視差角は、ディスプレイ上の一点を見たときの輻輳角と、両眼視差により決まる立体を見たときの輻輳角との差分で定義される。従って、本図の例において、引っ込み位置にある物体Ｂを視聴したときの視差角はθ−αとなる。また、飛び出し位置にある物体Ｃを視聴したときの視差角はβ−θとなる。
【０１１４】
視覚疲労や違和感等がなく快適に立体視映像を視聴するための一つの基準として、視差角が所定の角度以内であることが知られている。例えば、３Ｄコンソーシアムでは、快適に立体視映像を視聴するためには、視差角が１度以内であることが推奨されている。また、視差角が２度以上になると、左目用画像と右目用画像を別々の画像と認識してしまい、立体融合が困難となるとしている。
【０１１５】
例えば、５０インチのディスプレイ上で、視差角１度以内の飛び出し量および引っ込み量に制限した場合、ディスプレイから飛び出す割合は、視聴位置からディスプレイまでの距離に対して３３％となり、ディスプレイから引っ込む割合は、視聴位置からディスプレイまでの距離に対して１０１％になる。これに対して、５インチのディスプレイ上で、視差角１度以内の飛び出し量および引っ込み量に制限した場合、ディスプレイから飛び出す割合は、視聴位置からディスプレイまでの距離に対して５％となり、ディスプレイから引っ込む割合は、視聴位置からディスプレイまでの距離に対して５％となる。
【０１１６】
ここで、図４および図６を参照するに、飛び出し立体視の場合における基線長ＩＰＤは、輻輳角βを用いて以下のように表される。
【０１１７】
ＩＰＤ＝２×Ｓ1×ｔａｎ（β／２）
また、シフト量ｐを２倍した値２ｐは、輻輳角βを用いて以下のように表される。
【０１１８】
２ｐ＝２×（Ｚ−Ｓ1）×ｔａｎ（β／２）
また、飛び出し立体視の場合における基線長ＩＰＤは、輻輳角θを用いて以下のように表される。
【０１１９】
ＩＰＤ＝２×Ｚ×ｔａｎ（θ／２）
以上より、シフト量ｐを２倍した値２ｐは、輻輳角βとθを用いて、下記の数式（７）のように表される。
【０１２０】
２ｐ＝２×Ｚ×｛ｔａｎ（β／２）−ｔａｎ（θ／２）｝・・・（７）
また、図３および図６を参照するに、引っ込み立体視の場合における基線長ＩＰＤは、輻輳角αを用いて以下のように表される。
【０１２１】
ＩＰＤ＝２×Ｓ2×ｔａｎ（α／２）
また、シフト量ｐを２倍した値２ｐは、輻輳角αを用いて以下のように表される。
【０１２２】
２ｐ＝２×（Ｓ2−Ｚ）×ｔａｎ（α／２）
また、引っ込み立体視の場合における基線長ＩＰＤは、輻輳角θを用いて以下のように表される。
【０１２３】
ＩＰＤ＝２×Ｚ×ｔａｎ（θ／２）
以上より、シフト量ｐを２倍した値２ｐは、輻輳角αとθを用いて、下記の数式（８）のように表される。
【０１２４】
２ｐ＝２×Ｚ×｛ｔａｎ（θ／２）−ｔａｎ（α／２）｝・・・（８）
上記の数式（７）および数式（８）において、ディスプレイ上での輻輳角θの値は、視聴位置からディスプレイまでの距離Ｚと、基線長（瞳孔間距離）ＩＰＤから定まる。例えば、視聴位置からディスプレイの距離が１２００ｍｍ、基線長（瞳孔間距離）が６５ｍｍの場合、ディスプレイ上での輻輳角θは、２．８６度となる。
【０１２５】
従って、視差角の上限値が与えられれば、上記の数式（７）および数式（８）を用いて、視差量の上限値を算出することができる。例えば、視聴位置からディスプレイの距離が１２００ｍｍ、基線長（瞳孔間距離）が６５ｍｍの条件下において、視差角の上限値が１度の場合、飛び出し点における輻輳角βは３．８６度となり、ディスプレイ上での視差量の上限値は２１ｍｍとなる。
【０１２６】
以上が、立体視映像の飛び出し量および引っ込み量と、視差角との関係についての説明である。続いて、ＤＩＢＲ（Depth Image Based Rendering）について説明する。
【０１２７】
［ＤＩＢＲ（Depth Image Based Rendering）］
ＤＩＢＲ（Depth Image Based Rendering）（画素シフト処理とも呼ばれる）とは、画像データを構成する各画素の座標を、視差マップに基づき水平方向にシフトすることにより、元の画像データとは異なる視点の画像を生成し、多視点の画像からなる立体視画像を生成する技術である。
【０１２８】
図７は、ＤＩＢＲの概要を示す図である。本図に示されるように、ＤＩＢＲ処理では、まず、左目用画像と右目用画像と、左目用画像と右目用画像間の視差を示す視差マップを取得する。
【０１２９】
本図の例において、視差マップ（デプスマップとも呼ばれる）は、視差量または奥行き方向の距離を２５６階調の輝度で表した画像データであり、前方に位置するほど色が白、後方に位置するほど色が黒で表される。
【０１３０】
ＤＩＢＲ処理による立体視強度の調整では、視差マップに示される視差量または奥行き方向の距離を変更し、変更した視差量または奥行き方向の距離に対応する画素数で左目用画像データの各画素をシフトすることにより視差調整画像を生成する。この視差調整画像を右目用画像として出力することにより、立体視映像の立体視強度を調整することができる
本図に示すように、立体視強度を強調する場合には、視差マップに示される視差量または奥行き方向の距離を拡大して、視差調整画像を生成する。これにより、物体の飛び出し位置はより手前に移動し、物体の引っ込み位置はより奥に移動し、立体視映像の立体視強度が強調される。また、立体視強度を抑制する場合には、視差マップに示される視差量または奥行き方向の距離を縮小して、視差調整画像を生成する。これにより、物体の飛び出し位置は奥に移動し、物体の引っ込み位置は手前に移動し、立体視映像の立体視強度が抑制される。
【０１３１】
以上が、ＤＩＢＲ（Depth Image Based Rendering）についての説明である。続いて、立体視強度調整装置の構成について説明する。
【０１３２】
［実施の形態１にかかる立体視強度調整装置の構成］
図８は、立体視強度調整装置１０の構成の一例を示すブロック図である。本図に示されるように、立体視強度調整装置１０は、ユーザ入力部１００、コンテンツ再生モジュール２００、視差情報調整モジュール３００、立体視強度制御モジュール４００、表示制御モジュール５００、視差情報保持メモリ６００、視差マップ生成エンジン７００、レンダリングエンジン８００、イメージメモリ９００、イメージデコーダ１０００、左目用プレーン１１００、右目用プレーン１２００、出力切替器１３００を含んで構成される。また、視差情報調整モジュール３００は、指示取得部３１０、視差特定部３２０を含んで構成される。また、立体視強度制御モジュール４００は、左右画像取得部４１０、画像補正部４２０、視差マップ取得部４３０、視差マップ評価部４４０、視差マップ調整部４５０、ＤＩＢＲ実行部４６０を含んで構成される。また、表示制御モジュール５００は、機器情報取得部５１０、出力設定部５２０を含んで構成される。以下、各構成部について説明する。
【０１３３】
＜ユーザ入力部１００＞
ユーザ入力部１００は、ユーザからの入力を受け付ける機能を有する。具体的には、ユーザ入力部１００は、立体視映像の再生命令や、立体視強度の調整命令や、ユーザが希望する立体視強度の程度を示すパラメータなどの入力を受け付ける。ユーザ入力部１００は、これらの命令やパラメータを受け付けた場合、後述のコンテンツ再生モジュール２００または視差情報調整モジュール３００に、受け付けた命令やパラメータを配送する。
【０１３４】
＜コンテンツ再生モジュール２００＞
コンテンツ再生モジュール２００は、ユーザ入力部１００から受けた立体視映像の再生命令や立体視強度の調整命令等に従い、立体視映像の再生指示や立体視映像の立体視強度の調整の指示を出す。
【０１３５】
＜視差情報調整モジュール３００＞
視差情報調整モジュール３００は、指示取得部３１０、視差特定部３２０を含み、ユーザ入力部１００から受けた立体視強度の程度を示すパラメータに従い、ユーザが所望する飛び出し量および引っ込み量に対応する視差量を示す視差情報を生成・調整する機能を有する。
【０１３６】
＜指示取得部３１０＞
指示取得部３１０は、ユーザ入力部１００から立体視強度の程度を示すパラメータを取得する機能を有する。ここで、立体視強度の程度を示すパラメータとは、例えば、視差角の上限値を示すものであってもよい。また、「強」「中」「弱」といった立体視強度の度合いを示すものであってもよい。また、視聴位置からディスプレイまでの距離に対する最大の飛び出し量の割合または最大の引っ込み量の割合を示すものであってもよい。また、立体視の融合限界の視差角を示すものであってもよい。
【０１３７】
＜視差特定部３２０、視差情報保持メモリ６００＞
視差特定部３２０は、指示取得部３１０で取得した立体視強度の程度を示すパラメータを、視差量の上限値に変換する機能を有する。
【０１３８】
立体視強度の程度を示すパラメータが、視差角の上限値を示すものである場合、その視差角の上限値から、立体視映像が有する視差の上限値を決定する。具体的には、上記の数式（７）または数式（８）に示す関係式を用いて、視差角の上限値から、立体視映像が有する視差の上限値を決定する。
【０１３９】
また、立体視強度の程度を示すパラメータが、ディスプレイのサイズに対するまでの距離に対する最大の飛び出し量の割合または最大の引っ込み量の割合を示すものである場合、上記の数式（６）に示す関係式を用いて、立体視強度の程度を示すパラメータから、立体視映像が有する視差の上限値を決定する。
【０１４０】
また、ディスプレイのサイズに対する最大の飛び出し量と引っ込み量の割合が、あらかじめ定めた所定の固定値になるように、上記の数式（６）に示す関係式を用いて、立体視映像が有する視差の上限値を決定してもよい。
【０１４１】
また、立体視強度の程度を示すパラメータが、立体視の融合限界の視差角を示すものである場合、その融合限界の視差角を視差角の上限値として、立体視映像が有する視差量の上限値を決定してもよい。
【０１４２】
視差情報保持メモリＢ６００は、視差特定部３２０で生成された視差の上限値を視差情報として保持する機能を有する。
【０１４３】
＜立体視強度制御モジュール４００＞
立体視強度制御モジュール４００は、左右画像取得部４１０、画像補正部４２０、視差マップ取得部４３０、視差マップ評価部４４０、視差マップ調整部４５０、ＤＩＢＲ実行部４６０を含み、立体視映像を取得し、取得した立体視映像の立体視強度の調整を行う機能を有する。
【０１４４】
＜左右画像取得部４１０＞
左右画像取得部４１０は、イメージメモリ９００に格納されている画像のうち、コンテンツ再生モジュール２００が指示した左目用画像および右目用画像を取得する機能を有する。
【０１４５】
＜画像補正部４２０＞
画像補正部４２０は、視差マップを生成しやすくするために、左右画像取得部４１０で取得した左目用画像および右目用画像を補正する機能を有する。具体的には、左目用画像および右目用画像を水平方向に揃える処理や、歪みを除去する処理等を行う。
【０１４６】
＜視差マップ取得部４３０、視差マップ生成エンジン７００＞
視差マップ取得部４３０は、視差マップ生成エンジン７００が生成した左目用画像・右目用画像間の視差量または奥行き方向の距離を示す視差マップを取得する機能を有する。
【０１４７】
視差マップ生成エンジン７００は、左目用画像および右目用画像から、視差マップを生成する機能を有する。図９は、視差マップの生成を説明するための図である。左目用画像と右目用画像は、同一の被写体を異なる視点から観察した画像であり、左目用画像と右目用画像とは相関性が高い。このことに着目し、視差マップ生成エンジン７００は、左目用画像の各画素に対応する画素点を右目用画像から探索し、その対応点間の距離を算出することで視差を算出する。
【０１４８】
図９（ａ）は、視差マップの生成における対応点探索を示す図である。本図に示されるように、視差マップ生成エンジン７００は、左目用画像の各画素に対応する画素が右目用画像のどこに存在するかを水平方向に探索していく。
【０１４９】
左目用画像および右目用画像間の対応画素を検出する方法としては、ブロックマッチング法を用いる。本図に示されるように、画像間の類似性を評価するために、比較する画像からｎ×ｎ画素の領域を切り出し、その領域に対する輝度差の総和(ＳＡＤ： Sum of Absolute Difference)を求め、切り出し位置を検索することで画像間の変位を画素単位で求める。
【０１５０】
また、ブロックマッチング法として輝度差の総和をあげたが、これに限定するものでなく、輝度差の２乗和(ＳＳＤ: Sum of Squared Difference)、正規化相互相関(ＺＮＣＣ： Zero-mean Normalized Cross- Correlation)等を求める手法であってもかまわない。同様に、左目用画像および右目用画像間の対応位置を求める手法もブロックマッチング法に限定するものではない。
【０１５１】
なお、探索範囲（水平方向に動かす範囲）については、範囲が大きくなると結果を得るまでの計算時間が大きく、範囲が少なすぎると実際には最小となる点が存在するにもかかわらず検出できないといった問題があるので、両者の兼ね合いにより最大探索範囲を決めておくのが望ましい。
【０１５２】
視差マップ生成エンジン７００は、左目用画像の画素に対応する画素を右目用画像中から検出すると、図９（ｂ）に示すように、左目用画像・右目用画像間の対応点間の距離を視差マップへプロットする。本図に示す例では、左目用画像・右目用画像間の対応点間の距離を０〜２５５に変換してからプロットを行う。この処理を左目用画像の全画素について行うことで視差マップを生成することができる。
【０１５３】
例えば、図２における左目用画像における男性の像に含まれる画素について説明をすると、左目用画像における男性の像の各画素を紙面右方向に動かすと、右目用画像の画素値との絶対値差が最小になる点が見つけられる。また例えば、図２における左目用画像における太陽の像に含まれる画素について説明をすると、左目用画像における太陽の像の各画素を紙面左方向に動かすと、右目用画像の画素値との絶対値差が最小になる点が見つけられる。動かした方向および量に対応する値を、上述の視差の値０〜２５５に変換して生成をしたのが図７に示した視差マップである。
【０１５４】
＜視差マップ評価部４４０＞
視差マップ評価部４４０は、視差マップ取得部４３０が取得した視差マップの精度を評価する機能を有する。
【０１５５】
また、視差マップ評価部４４０は、後述する機器取得部５１０から取得される立体視映像を表示するディスプレイのサイズと、視差マップの精度とに応じて、視差マップを補正し視差マップの精度を高める処理を行う機能を有する。視差マップ評価部４４０は、生成した視差マップがどの程度のエラーおよびオクルージョンを含んでいるのかを調べ、必要に応じて補正することにより、視差マップの精度を高める。これにより、視差マップに含まれる精度の低い画素値に基づくＤＩＢＲ処理により、立体視強度調整後の立体視映像が劣化することを抑制している。
【０１５６】
図１０は、視差マップの精度の評価を説明するための図である。既に述べた通り、視差マップは、左目用画像の各画素に対応する画素点を右目用画像から探索し、その対応点間の距離を算出することで生成される。本発明にかかる一態様では、視差マップの生成における対応点探索に着目して、視差マップの精度を評価する。
【０１５７】
本図に示されるように、女性の像の目のような複雑な模様のあるテクスチャ領域においては、対応点が探索しやすい。これに対し、背景の空の部分や、男性像の背中のような平たんな領域においては、対応点の候補が多く検出される。この複数の対応点候補から正しいものを選択する際に誤りが生じやすい。誤った対応点を検出した場合、実際の視差量とは異なる視差量が算出され、その実際の視差量とは異なる視差量に基づき立体視強度の調整を行なうこととなる。その結果、立体視強度調整後の立体視映像が変形してしまう。
【０１５８】
そこで、視差マップ評価部４４０は、視差マップを生成する際の対応点探索において、最大探索範囲に到達するまでに対応点が検出されなかった画素、および最大探索範囲に到達するまでに複数の対応点候補が検出された画素の数をエラー量としてカウントする。そして、視差マップ評価部４４０は、そのエラー量の大小に基づき、視差マップの精度の判定を行う。
【０１５９】
図１１は、視差マップに基づくＤＩＢＲ処理により発生するオクルージョンを示す図である。ＤＩＢＲ処理では、視差マップから定まるシフト量だけ、左目用画像の各画素をシフトすることにより、視差調整画像（右目用画像）を生成する。この画素シフトの際において、隣り合う画素でシフト量が異なる場合がある。隣り合う画素でシフト量が異なる場合において画素シフトを行うと、視差調整画像において画素値が定義されない領域が発生する。この視差調整画像において画素値が定義されない部分をオクルージョンと称する。
【０１６０】
本図に示す例では、左目用画像の水平方向の画素のブロックにおいて、左端のブロックはシフトを行っていない。これに対し、そのブロックに隣接するブロックは、２ブロック右方向にシフトを行っている。これにより、生成される視差調整画像において、画素値の定義されない領域（オクルージョン）が生じることが分かる。
【０１６１】
図１２は、オクルージョンの一例を示す図である。本図に示されるように、オクルージョンは、視差マップの隣接する画素の値が急峻に変化する箇所、つまり、画像に含まれる被写体の境界面付近で発生する。視差マップの隣接する画素の値の差異が大きいほど、画素のシフト量の差が大きくなるため、オクルージョンが発生する部分も大きくなる。一般に、オクルージョンは、周辺の画素を用いて補間することとなるが、このオクルージョン量が過度に大きくなると、ユーザに対して違和感を与えるおそれがある。このため、視差マップ評価部４４０は、ＤＩＢＲ処理より視差調整画像に生じるオクルージョン量を算出し、算出したオクルージョン量を用いて、視差マップの精度を判定する。より具体的には、視差マップ評価部４４０は、視差マップに示される視差量の最大値をオクルージョン量を示す値として検出し、その視差量の最大値と所定の閾値とを比較することにより、視差マップの精度を判定する。
【０１６２】
図１３は、視差マップの画素値とシフト量との関係を示す図である。ここで、左目用画像・右目用画像間の対応点探索により算出したシフト量と、視差マップに示される画素値との間には、「通常」と付された直線関係があるとする。
【０１６３】
視差マップ評価部４４０は、立体視映像を表示するディスプレイのサイズに応じて、立体視強度の強調または抑制を行う。視差マップ評価部４４０は、図１３に示される視差マップの画素値とシフト量との関係を示す一次直線の傾きを切り替えることにより、視差マップに示されるシフト量を変換する。
【０１６４】
立体視強度を強調する場合、視差マップ評価部４４０は、シフト量と視差マップに示される画素値との関係を「強調」と付された直線関係に切り替える。これにより、視差マップに示される画素値を、通常のシフト量以上に変換することができる。
【０１６５】
一方、立体視強度を抑制する場合、視差マップ評価部４４０は、シフト量と視差マップに示される画素値との関係を「抑制」と付された直線関係に切り替える。これにより、視差マップに示される画素値を、通常のシフト量以下に変換することができる。
【０１６６】
＜視差マップ調整部４５０＞
視差マップ調整部４５０は、視差情報保持メモリ６００に保持されている視差情報に従い、視差マップに示される視差量を調整する機能を有する。具体的には、視差マップ調整部４５０は、視差マップが有する視差量の最大値と、視差情報が示す視差量の上限値とを比較する。視差マップが有する視差量の最大値が、視差情報が示す視差量の上限値を超える場合、視差マップ調整部４５０は、視差マップが有する視差量の最大値が、視差情報が示す視差量の上限値を超えないように、視差マップに示す視差量を変更する。視差量の変更は、図１３に示した視差マップの画素値と視差量との関係を示す一次直線の傾きを切り替えることにより行う。
【０１６７】
＜ＤＩＢＲ実行部４６０＞
ＤＩＢＲ実行部４６０は、視差マップ調整部４５０から出力された視差マップを用いて、左目用画像の各画素の座標をシフトすることにより視差調整画像（右目用画像）を生成する機能を有する。
【０１６８】
＜表示制御モジュール５００＞
表示制御モジュール５００は、機器情報取得部５１０、出力設定部５２０を含み、立体視映像の表示制御を行う機能を有する。
【０１６９】
＜機器情報取得部５１０＞
機器情報取得部５１０は、立体視映像を表示するディスプレイのサイズ、ディスプレイの解像度、２Ｄ／３Ｄ対応等の表示能力等の機器情報を取得する機能を有する。
【０１７０】
＜出力設定部５２０＞
出力設定部５２０は、（１）１枚のプレーンを１回のみ出力することにより２Ｄ出力を行う、（２）１枚の同じプレーンを左目用、右目用に２回出力することにより、３Ｄ出力であるが見た目は２Ｄに見えるようにする、（３）２枚のプレーンをそれぞれ左目用、右目用に出力することにより３Ｄ出力を行う、のいずれの出力を行うかを示す設定を、後述する出力切替器１３００に対して行なう機能を有する。
【０１７１】
＜レンダリングエンジン８００＞
レンダリングエンジン８００は、立体視強度制御モジュール４００により立体視強度が調整された右目用画像および左目用画像を、左目用プレーン１１００および右目用プレーン１２００に書き込む機能をもつ。
【０１７２】
＜イメージメモリ９００＞
イメージメモリ９００は、立体視映像を構成する左目用画像および右目用画像の画像データを格納する機能を有する。
【０１７３】
＜イメージデコーダ１０００＞
イメージデコーダ１０００は、イメージメモリ９００に格納された画像データをデコードする機能を有する。
【０１７４】
＜左目用プレーン１１００、右目用プレーン１２００＞
左目用プレーン１１００は、イメージメモリ９００から出力された左目用画像、または立体視強度制御モジュール４００により立体視強度が調整された画像を格納する機能を有する。また、右目用プレーン１２００は、イメージメモリ９００から出力された右目用画像、または立体視強度制御モジュール４００により立体視強度が調整された画像を格納する機能を有する。
【０１７５】
＜出力切替器１３００＞
出力切替器１３００は、出力部５２０による設定に応じて、左目用プレーン１１００および右目用プレーン１２００に格納された情報の出力を切り替える機能を有する。
【０１７６】
以上が、立体視強度調整装置１０の構成についての説明である。続いて、上記の構成を備える立体視強度調整装置１０の動作について説明する。
【０１７７】
［実施の形態１にかかる立体視強度調整装置の動作］
＜立体視強度調整処理＞
図１４は、立体視強度調整装置１０による立体視強度調整処理の流れを示すフローチャートである。
【０１７８】
本図に示されるように、コンテンツ再生モジュール２００は、ユーザからのコンテンツの再生指示があるか否かを判定する（ステップＳ１０１）。
【０１７９】
コンテンツの再生指示がない場合、再生指示があるまで待機する。コンテンツの再生指示がある場合（ステップＳ１０１、ＹＥＳ）、コンテンツ再生モジュール２００は、立体視強度制御モジュール４００にコンテンツ再生を指示し、立体視強度制御モジュール４００の左右画像取得部４１０は、イメージメモリ９００に格納されている画像データのうち、コンテンツ再生モジュール２００から指示された左目用画像および右目用画像を取得する（ステップＳ１０２）。
【０１８０】
左目用画像および右目用画像の取得後、画像補正部４２０は、左右画像取得部４１０で取得した左目用画像および右目用画像を補正する（ステップＳ１０３）。具体的には、画像補正部４２０は、視差マップを生成しやすくするために、左目用画像および右目用画像を水平方向に揃える処理や、歪みを除去する処理等を行う。
【０１８１】
左目用画像および右目用画像の補正後、視差マップ生成エンジン７００は、補正した左目用画像および右目用画像から視差マップを生成し、視差マップ取得部４３０は、視差マップ生成エンジン７００により生成された視差マップを取得する（ステップＳ１０４）。視差の算出は、左目用画像の各画素に対応する画素点を右目用画像から探索し、その対応点間の距離を算出することで行う。
【０１８２】
視差マップの生成後、視差マップ調整部４５０は、視差情報保持メモリ６００に格納されているユーザが許容する視差量を示す視差情報を取得する（Ｓ１０５）。
【０１８３】
視差情報の取得後、制御モジュール５００の機器情報取得部５１０は、立体視映像を表示するディスプレイの機器情報を取得する（ステップＳ１０６）。
【０１８４】
ディスプレイの機器情報の取得後、視差マップ評価部４４０は、視差マップの精度の評価を行う（ステップＳ１０７）。視差マップの精度の評価処理の詳細については後述する。
【０１８５】
視差マップの精度の評価の後、立体視強度制御モジュール４００は、視差マップ評価部４４０で行った視差マップの精度の評価が高いか否かを判定する（ステップＳ１０８）。
【０１８６】
視差マップの精度の評価が高い場合（ステップＳ１０８、ＹＥＳ）、視差マップ調整部４５０は、視差量の上限値を示す視差情報に基づき視差マップに示される視差量を変更する（ステップＳ１０９）。具体的には、図１３に示されるように、視差マップの画素値と視差量との関係を示す一次直線の傾きを切り替えることにより、視差情報に示される視差量の上限値を満たすように視差マップに示される視差量を変換する。
【０１８７】
視差マップに示される視差量の変更後、ＤＩＢＲ実行部４６０は、変更後の視差マップに示される視差量に基づきＤＩＢＲ処理を行う（ステップＳ１１０）。具体的には、ＤＩＢＲ実行部４６０は、変更後の視差マップに示される視差量に対応する画素数で、左目用画像の各画素の座標をシフトすることにより視差調整画像（右目用画像）を生成する。
【０１８８】
ＤＩＢＲ処理後、レンダリングエンジン８００は、左目用画像を左目用プレーン１１００に、右目用画像を右目用プレーン１２００に書き込む（ステップ１１１）。
【０１８９】
視差マップの精度の評価が低い場合（ステップＳ１０８、ＮＯ）、レンダリングエンジン８００は、左目用画像を左目用プレーン１１００および右目用プレーン１２００の両方に書き込む（ステップＳ１１２）。
【０１９０】
左目用プレーン１１００および右目用プレーン１２００へ画像を書き込んだ後、立体視強度調整装置１０は、プレーンに格納された画像を出力する（ステップＳ１１３）。
【０１９１】
以上が、立体視強度調整装置１０による立体視強度調整処理についての説明である。続いて、ステップＳ１０７の視差マップの精度の評価処理の詳細を説明する。
【０１９２】
＜視差マップの精度の評価処理＞
図１５は、視差マップの精度の評価処理の流れを示すフローチャートである。
【０１９３】
本図に示されるように、視差マップ評価部４４０は、視差マップ生成時の視差マップ全体におけるエラー量が多いか否かを判定する（ステップＳ２０１）。ここでエラー量とは、視差マップを生成する際の対応点探索において、最大探索範囲に到達するまでに対応点が検出されなかった画素、および最大探索範囲に到達するまでに複数の対応点候補が検出された画素の数をいう。また、エラー量の大小は、視差マップ全体におけるエラー量と所定の閾値との大小を比較することにより行う。エラー量が所定の閾値以上である場合、視差マップ評価部４４０は、視差マップ全体におけるエラー量は多いと判断する。エラー量が所定の閾値より小さい場合、視差マップ評価部４４０は、視差マップ全体におけるエラー量は少ないと判断する。
【０１９４】
視差マップ全体におけるエラー量が少ない場合（ステップＳ２０１、ＮＯ）、視差マップ評価部４４０は、立体視映像を表示するディスプレイのサイズに基づき、視差マップに示される視差量を、ディスプレイに対して適切な視差量の値に変更する（ステップＳ２０２）。
【０１９５】
適切な視差量の値に変更するとは、例えば、ディスプレイに対する飛び出し量および引っ込み量がそれぞれ視差角１度以内になるように視差量の値を変更する。これにより、ユーザにとって視覚疲労や違和感等が少ない立体視映像を提供することができる。
【０１９６】
視差角の上限値が与えられれば、上記の数式（７）および数式（８）を用いて、視差量の上限値を算出することができる。この算出される視差量の上限値を満たすように、図１３に示される視差マップの画素値と視差量との関係を示す一次直線の傾きを切り替える。
【０１９７】
また、視差マップ評価部４４０は、視聴位置からディスプレイまでの距離と、最大の飛び出し量の割合および最大の引っ込み量との比が、あらかじめ定めた所定の固定値になるように視差量を変更してもよい。立体視映像を表示する画面のサイズに適した立体視強度を有する立体視映像を提供することができる。
【０１９８】
一般に最適な視聴距離は、ディスプレイの高さの３倍とされており、ディスプレイの高さを３倍することで視聴位置からディスプレイまでの距離を算出することができる。
【０１９９】
この場合、上記の数式（６）に示される関係式を用いて、視差量の上限値を算出し、算出される視差量の上限値を満たすように、図１３に示される視差マップの画素値と視差量をとの関係を示す一次直線の傾きを切り替える。
【０２００】
視差マップ全体におけるエラー量が多い場合（ステップＳ２０１、ＹＥＳ）、視差マップ評価部４４０は、視差マップを前景領域と後景領域に分け、前景領域におけるエラー量が多いか否かを判定する（ステップＳ２０３）。
【０２０１】
視差マップ評価部４４０は、所定の閾値よりも視差マップにおける画素値が大きい領域を前景領域とし、所定の閾値よりも視差マップにおける画素値が小さい領域を後景領域とする。この閾値を適宜設定することにより、ディスプレイよりも奥に表示されるような部分を後景領域、ディスプレイの手前に表示される部分を前景領域としたりすることができる。
【０２０２】
また、エラー量の大小は、視差マップの前景領域におけるエラー量と所定の閾値との大小を比較することにより行う。エラー量が所定の閾値以上である場合、視差マップ評価部４４０は、視差マップの前景領域におけるエラー量は多いと判断する。エラー量が所定の閾値より小さい場合、視差マップ評価部４４０は、視差マップの前景領域におけるエラー量は少ないと判断する。
【０２０３】
視差マップの前景領域におけるエラー量が少ない場合（ステップＳ２０３、ＮＯ）、視差マップ評価部４４０は、視差マップの後景領域の視差を無効化する（ステップＳ２０４）。具体的には、視差マップ評価部４４０は、後景領域の画素値を、ディスプレイから最も奥に引っ込めた位置に対応する画素値に変更する。エラー量が多い視差マップの後景領域を無効化することにより、視差マップの精度を高めることができる。
【０２０４】
視差マップの前景領域におけるエラー量が多い場合（ステップＳ２０４、ＹＥＳ）、視差マップ評価部４４０は、視差マップの前景領域における左目用画像に写る被写体の輪郭を抽出する（ステップＳ２０５）。
【０２０５】
被写体の輪郭の抽出後、視差マップ評価部４４０は、被写体の輪郭の精度が高いか否かを判定する（ステップＳ２０６）。具体的には、視差マップ評価部４４０は、抽出した輪郭を構成する画素に対応する視差マップの画素値を調べ、画素値のばらつきが予め保持する閾値よりも少なければ、輪郭の精度が優れていると判定する。
【０２０６】
輪郭の精度が高い場合（ステップＳ２０６、ＹＥＳ）、視差マップ評価部４４０は、視差マップの前景領域の視差を平均化する（ステップＳ２０７）。エラー量が多い視差マップの前景領域の視差を平均化するので、視差マップの精度を高めることができる。また、前景領域に含まれる被写体の輪郭の抽出の精度が所定の精度以上であることを条件に、視差マップの前景領域が有する視差量の平均化を実行するので、視差マップの前景領域が有する視差量を平均化することにより、視差マップの精度が低下することを防ぐことができる。
【０２０７】
立体視映像を表示するディスプレイのサイズに基づく視差量の変更後、視差マップ評価部４４０は、ＤＩＢＲ処理の画素座標のシフトにより生じるオクルージョン量が大きいか否かを判定する（ステップＳ２０８）。
【０２０８】
具体的には、視差マップ評価部４４０は、まず視差マップの最大の画素値の値を取得する。そして、最大の画素値に対応するシフト量がどのくらいになるのかを調べる。これは、図１３に示す視差マップの画素値とシフト量の関係を示す一次直線を用いて、視差マップに含まれる画素値の最大値に対するシフト量を特定することができる。特定したシフト量が視差マップにおけるオクルージョンの最大値となる。視差マップ評価部４４０は、オクルージョンの最大値と所定の閾値との大小を比較し、所定の閾値よりもオクルージョン量が大きい場合に、オクルージョン量が大きいと判断する。また、視差マップ評価部４４０は、所定の閾値よりもオクルージョン量が小さい場合に、オクルージョン量が小さいと判断する。
【０２０９】
なお、上記の所定の閾値を、例えば、３Ｄコンソーシアムにおいて快適に立体視映像を視聴するために推奨されている、視差角１度に対応する画素数としてもよい。
【０２１０】
また、視差マップに含まれる画素値の最大値に対するシフト量から視差角を算出し、算出した視差角と所定の視差角の閾値とを比較することにより、オクルージョン量が大きいか否か、すなわち、視差マップの精度が高いか否かを判定してもよい。
【０２１１】
オクルージョン量が大きい場合（ステップＳ２０８、ＹＥＳ）、視差マップ評価部４４０は、視差マップの最大視差をオクルージョン量の閾値以内におさまるように変更する（ステップＳ２０９）。具体的には、視差マップに含まれる画素値の最大値に対するシフト量が上述の閾値以下となるように、図１３に示される視差マップの画素値と視差量との関係を示す一次直線の傾きを切り替える。立体視強度の調整により生じるオクルージョン量を減らすことができるので、オクルージョンによる違和感を低減することができる。
【０２１２】
なお、ステップＳ２０２の処理において、一次直線の傾きを既に変更している場合には、ステップＳ２０２の処理の条件を満たす範囲内で、一次直線の傾きを傾きの変更を行う必要がある。
【０２１３】
このように、視差マップの画素値とシフト量の関係を示す一次直線の傾きを変えることにより、視差マップに含まれる画素値の最大値に対するシフト量を少なくすることができる。また、視差マップに含まれる画素値の最大値以外の画素値についても、シフト量は画素値の最大値の変化に比例して少なくなる。
【０２１４】
ステップＳ２０８およびステップＳ２０９の処理の後、視差マップ評価部４４０は、視差マップの精度は高いと評価する（ステップＳ２１０）。
【０２１５】
視差マップの評価後、視差マップ評価部４４０は視差マップ全体をぼかす（ステップＳ２１１）。オクルージョンは視差マップの隣接する画素の値が急峻に変化する箇所で発生する。ここでは、視差マップをぼかすことにより、視差マップの画素値の変化が穏やかになり、ＤＩＢＲ処理により生じるオクルージョン量を緩和することができる。
【０２１６】
輪郭の精度が低い場合（ステップＳ２０６、ＮＯ）、視差マップ評価部４４０は、視差マップの精度は低いと評価する（ステップＳ２１２）。
【０２１７】
なお、上述の処理において、前景と後景の領域に分離できない場合は、視差マップの評価が低いと判定するとしてもよい。
【０２１８】
また、上述の処理において、前景領域のエラー量や前景領域の輪郭の精度を用いて視差マップの精度を評価する例を説明したが、後景領域のエラー量や後景領域の輪郭の精度を用いて視差マップの精度を評価するとしてもよい。
【０２１９】
以上のように本実施の形態によれば、画面のサイズと視差マップの精度を用いた視差マップの変更により視差マップの精度を向上させることができるため、より違和感の少ない立体感調整が可能になり、視聴者への眼精疲労の軽減や臨場感の向上が可能となる。
【０２２０】
《実施の形態２》
実施の形態２にかかる立体視強度調整装置は、実施の形態１にかかる立体視強度調整装置１０と同様に、視差マップの精度およびディスプレイのサイズを用いて視差マップが有する視差量を変更し立体視強度の調整を行うものであるが、視差マップの精度に応じて、立体視強度の調整方法を切り替える点において異なる。視差マップの精度に応じて、視差マップを用いたＤＩＢＲによる立体視強度調整手段か、視差マップを用いないプレーンシフトによる立体視強度調整手段かを選択するため、誤って算出された視差を用いた立体視強度の調整により、立体視映像が変形することを防ぐことができる。このため、視聴者にとって違和感の少ない、立体視強度の調整が可能となる。
【０２２１】
［実施の形態２にかかる立体視強度調整装置の構成］
図１６は、実施の形態２にかかる立体視強度調整装置２０の構成の一例を示すブロック図である。本図に示されるように、立体視強度調整装置２０は、ユーザ入力部１００、コンテンツ再生モジュール２００、視差情報調整モジュール３００、立体視強度制御モジュール４００、表示制御モジュール５００、視差情報保持メモリ６００、視差マップ生成エンジン７００、レンダリングエンジン８００、イメージメモリ９００、イメージデコーダ１０００、左目用プレーン１１００、右目用プレーン１２００、出力切替器１３００を含んで構成される。また、視差情報調整モジュール３００は、指示取得部３１０、視差特定部３２０を含んで構成される。また、立体視強度制御モジュール４００は、左右画像取得部４１０、画像補正部４２０、視差マップ取得部４３０、視差マップ評価部４４０、立体視強度調整方法選択部１４００、視差マップ調整部４５０、ＤＩＢＲ実行部４６０、プレーンシフト実行部１５００を含んで構成される。また、表示制御モジュール５００は、機器情報取得部５１０、出力設定部５２０を含んで構成される。実施の形態１にかかる立体視強度調整装置１０と同じ構成については、同符号を付し、説明を省略する。以下では、立体視強度調整装置１０とは異なる構成について説明する。
【０２２２】
＜立体視強度調整方法選択部１４００＞
立体視強度調整方法選択部１４００は、視差マップの精度の評価に応じて、立体視強度を調整する方法を選択する機能を有する。具体的には、立体視強度調整方法選択部１４００は、視差マップの精度の評価が高い場合、視差マップを用いたＤＩＢＲによる立体視強度の調整を選択し、視差マップ調整部４５０およびＤＩＢＲ実行部４６０にＤＩＢＲ処理の実行命令を送信する。また、立体視強度調整方法選択部１４００は、視差マップの精度の評価が低い場合、視差マップを用いないプレーンシフトによる立体視強度の調整を選択し、後述するプレーンシフト実行部１５００にプレーンシフト処理の実行命令を送信する。
【０２２３】
＜プレーンシフト実行部１５００＞
プレーンシフト実行部１５００は、左目用画像および右目用画像に対してプレーンシフト処理を行う機能を有する。プレーンシフト処理とは、左目用画像および右目用画像を左右に一様にシフトさせて立体視強度を調整する技術である。
【０２２４】
図１７は、プレーンシフト処理の概要を示す図である。本図に示されるように、プレーンシフト処理では、立体視映像の立体視強度を強調する場合、左目用画像を左方向に、右目用画像を右方向に一律の画素分だけシフトさせる。このように、左目用画像および右目用画像を、それぞれ外側へ一律画素分だけシフトさせることで、画像全体の飛び出し位置および引っ込み位置を、一律に視聴位置から遠ざかる方向に移動させることができる。
【０２２５】
また、プレーンシフト処理では、立体視映像の立体視強度を抑制する場合、左目用画像を右方向に、左目用画像を右方向に一律の画素分だけシフトさせる。このように、左目用画像および右目用画像を、それぞれ内側へ一律の画素分だけシフトさせることで、画像全体の飛び出し位置および引っ込み位置を、一律に視聴位置に近づく方向に移動させることができる。
【０２２６】
なお、一律に画素をシフトすることにより画面からはみ出した部分は切り取る。また、一律に画素をシフトすることにより生じた画素値が存在しない領域は、透明色で塗る。
【０２２７】
以上が、立体視強度調整装置２０の構成についての説明である。続いて、上記の構成を備える立体視強度調整装置２０の動作について説明する。
【０２２８】
［実施の形態２にかかる立体視強度調整装置の動作］
図１８は、立体視強度調整装置２０による立体視強度調整処理の流れを示すフローチャートである。実施の形態１にかかる立体視強度調整処理と同じ処理については、同符号を付し、説明を省略する。
【０２２９】
図１８に示されるように、ステップＳ３０１、ステップＳ３０２、およびステップＳ３０３が、実施の形態１にかかる立体視強度調整処理と異なる処理となる。
【０２３０】
ステップＳ１０７の視差マップの精度の評価後、ステップＳ１０８において、視差マップの精度の評価が高いか否かの判定を行う。
【０２３１】
すなわち、ステップＳ２１０において、視差マップの精度が高いと評価されていた場合は、ステップＳ１０８において、視差マップの精度が高いと判定する。また、ステップＳ２１２において、視差マップの精度が低いと評価されていた場合は、ステップＳ１０８において、視差マップの精度が低いと評価する。
【０２３２】
なお、上記では、対応点探索工程において生じたエラー量、および視差マップに示される視差の値から定まる立体視映像の立体視強度を用いて、視差マップの精度を判定するとしたが、視差マップに示される視差の値から定まる立体視映像の立体視強度のみを用いて視差マップの精度を判定してもよい。すなわち、視差マップに含まれる画素値の最大値に対するシフト量が、所定の閾値より大きい場合（ステップＳ２０８、ＹＥＳ）、視差マップの精度が低いと評価し、視差マップに含まれる画素値の最大値に対するシフト量が、所定の閾値より小さい場合（ステップＳ２０８、ＮＯ）、視差マップの精度が高いと評価する。
【０２３３】
また、対応点探索工程において生じたエラー量のみを用いて視差マップの精度を判定してもよい。すなわち、対応点探索工程において生じたエラー量が、所定の閾値より大きい場合（ステップＳ２０１、ＹＥＳ）、視差マップの精度が低いと評価し、対応点探索工程において生じたエラー量が、所定の閾値よりも小さい場合（ステップＳ２０１、ＮＯ）、視差マップの精度が高いと評価する。
【０２３４】
ステップＳ１０８の後、視差マップの精度の評価が高い場合（ステップＳ１０８、ＹＥＳ）、立体視強度調整方法選択部１４００は、立体視強度調整方法としてＤＩＢＲを選択する（ステップＳ３０１）。具体的には、立体視強度調整方法選択部１４００は、視差マップ調整部４５０およびＤＩＢＲ実行部４６０にＤＩＢＲ処理の実行命令を送信する。視差マップ調整部４５０およびＤＩＢＲ実行部４６０は、立体視強度調整方法選択部からの命令を受け、ステップＳ１０９からステップＳ１１１までの処理を行う。
【０２３５】
視差マップの精度の評価が低い場合（ステップＳ１０８、ＮＯ）、立体視強度調整法選択部１４００は、立体視強度調整方法としてプレーンシフトを選択する（ステップＳ３０２）。具体的には、立体視強度調整方法選択部１４００は、プレーンシフト実行部１５００にプレーンシフト処理の実行命令を送信する。
【０２３６】
プレーンシフト実行部１５００は、立体視強度調整方法選択部１４００からの命令を受け、プレーンシフト処理を実行する（ステップＳ３０３）。プレーンシフト処理の詳細については後述する。
【０２３７】
以上のように、対応点探索工程において生じたエラー量を検出し、エラー量が所定の閾値より大きい場合は、プレーンシフト処理により立体視強度の調節を行ない、エラー量が所定の閾値より少ない場合は、ＤＩＢＲ処理により立体視強度の調整を行なっているので、対応点探索時において誤って検出された対応点により、立体視強度の調整後の立体視映像の品質が低下することを防ぐことができる。
【０２３８】
また、視差マップに示される最大のシフト量を検出し、検出した最大のシフト量が所定の閾値より大きい場合は、ＤＩＢＲ処理により立体視強度の調整を行ない、検出した最大のシフト量が所定の閾値より小さい場合は、プレーンシフト処理を行なっている。
【０２３９】
プレーンシフト処理は、左目用画像および右目用画像を左右に一様にシフトさせて立体視強度を調整するため、立体視映像の飛び出しおよび奥行き感を調整することはできないが、（１）立体視強度調整後の画像にオクルージョンが生じない、および（２）視差マップ生成時に誤って検出された対応点により、立体視調整後の画像が変形しないといったメリットがある。
【０２４０】
一方、ＤＩＢＲ処理は、視差マップに示された画素毎に異なる画素数で各画素の座標をシフトするため、立体視調整後の画像にオクルージョンが生じたり、視差マップ生成時に誤って検出された対応点により、立体視調整後の画像が変形する恐れがあるが、立体視映像の飛び出しおよび奥行き感を調整することができる。
【０２４１】
立体視映像の立体視強度が適切に収まっている場合は、大幅な立体視強度の調整は不必要なため、プレーンシフト処理により立体視強度を調整することで、立体視映像の画質を劣化させることなく、立体視強度の調整を行なうことができる。一方、立体視映像の立体視強度が適切な強度以上である場合には、適切な強度以内に立体視強度を変更する必要があり、ＤＩＢＲ処理により立体視強度を調整することで、立体視映像の飛び出しおよび奥行き感を調整することができる。
【０２４２】
以上が、立体視強度調整装置２０による立体視強度調整処理についての説明である。続いて、ステップＳ３０３のプレーンシフト処理の詳細について説明する。
【０２４３】
［プレーンシフト処理］
図１９は、プレーンシフト処理の流れを示すフローチャートである。
【０２４４】
本図に示されるように、プレーンシフト実行部１５００は、まず、左目用画像および右目用画像を出力する際に立体視強度を強調する必要があるか、または抑制する必要があるかを判定する（ステップＳ４０１）。具体的には、プレーンシフト実行部１５００は、ユーザ入力部１００により入力されたユーザが希望する立体視強度の程度を参照して、立体視強度を強調するか、または抑制するかを決定する。また、プレーンシフト実行部１５００は、視差情報調整モジュール３００により生成される視差情報と視差マップに示される最大視差とを比較して、立体視強度を強調するか、または抑制するかを決定してもよい。
【０２４５】
立体視強度を抑制する場合（ステップＳ４０１、ＮＯ）、プレーンシフト実行部１５００は、視差マップに示される最大視差と最小視差の差が小さいか否かを判定する（ステップＳ４０２）。
【０２４６】
立体視強度を強調する場合（ステップＳ４０１、ＹＥＳ）、または視差マップに示される最大視差と最小視差の差が小さい場合（ステップＳ４０２、ＹＥＳ）、プレーンシフト実行部１５００は、左目用画像および右目用画像に対しプレーンシフトを実行する（ステップＳ４０３）。
【０２４７】
プレーンシフト処理の実行後、プレーンシフト実行部１５００は、レンダリングエンジン８００に対して、左目用画像を左目用プレーン１１００に、右目用画像を右目用プレーン１２００に書き込むよう命じる（ステップＳ４０４）。
【０２４８】
視差マップに示される最大視差と最小視差の差が大きい場合（ステップＳ４０２、ＮＯ）、プレーンシフト実行部１５００は、プレーンシフト処理を実行せず、レンダリングエンジン８００に対して、左目用画像を左目用プレーン１１００および右目用プレーン１２００に書き込むよう命じる（ステップＳ４０５）。
【０２４９】
引っ込み立体視において、視差がユーザの瞳孔間距離ＩＰＤを超えた場合、左目の視線と右目の視線が開散方向に向くこととなり、視覚疲労を引き起こす。視差マップに示される最大視差と最小視差の差が大きい場合において、さらに奥方向に物体の結像位置を移動させた場合、このような事態が生じおそれがあるため、本処理では、立体視強度を抑制すると判断し、かつ視差マップに示される最大視差と最小視差の差が大きい場合において、プレーンシフト処理を実行しない。
【０２５０】
以上のように本実施の形態によれば、立体視映像が有する視差の値を示す視差マップの精度を判定し、判定した精度に応じて、視差マップを用いた画素シフトによる立体視強度調整手段か、視差マップを用いないプレーンシフトによる立体視強度調整手段かを択一的に選択するため、立体視強度の調整による立体視映像の変形を低減することができる。
【０２５１】
［補足］
上記の立体視強度調整処理において、立体視強度調整後の立体視映像が適切であるか否かの判断をユーザに求めてもよい。
【０２５２】
図２０は、立体視強度の調整が適切であるか否かの確認を伴う立体視強度調整処理の流れを示すフローチャートである。図１８に示す立体視強度調整処理と同じ処理については、同符号を付し、説明を省略する。
【０２５３】
図２０に示されるように、ステップＳ５０１、ステップＳ５０２、およびステップＳ５０３が、図１８に示す立体視強度調整処理と異なる処理となる。
【０２５４】
ステップＳ１１３におけるプレーンに格納された画像の出力処理後、ユーザ入力部１００は、立体視映像が有する立体視強度が適切であるか否かのユーザ確認を行なう（ステップＳ５０１）。例えば、ユーザ入力部１００は、ユーザに対してメニュー画面を表示し、そのメニュー画面に応じたユーザ操作を受け付けることにより、ユーザ確認を行なう。
【０２５５】
立体視映像が有する立体視強度が適切であると入力された場合（ステップＳ５０１、ＹＥＳ）、立体視強度調整装置２０は、立体視強度調整処理を終える。
【０２５６】
立体視映像が有する立体視強度が不適切であると入力された場合（ステップＳ５０１、ＮＯ）、ユーザ入力部１００は、視差情報入力メニューを表示し、ユーザに対して希望する立体視強度の程度を示すパラメータの入力を求める（ステップＳ５０２）。
【０２５７】
視差情報入力メニューの表示後、ユーザ入力部１００は、立体視強度の程度を示すパラメータを受け付け、視差情報調整モジュール３００を介して、入力されたパラメータを視差情報に変換し、視差情報を視差情報保持メモリ６００に格納する（ステップＳ５０３）。
【０２５８】
ステップＳ５０３の処理後、ステップＳ１０７以降の視差マップの精度の評価処理や立体視強度の調整処理等を行なう。
【０２５９】
このようにして、立体度調整装置が自動的に調整して表示した画像に対して、更に、ユーザの好みを反映することができる。
【０２６０】
≪実施の形態３≫
実施の形態３にかかる立体視強度調整装置は、実施の形態１にかかる立体視強度調整装置１０と同様に、視差マップの精度およびディスプレイのサイズを用いて視差マップが有する視差量を変更し立体視強度の調整を行うものであるが、視差マップの精度の評価が低い場合において、以前に視差マップを生成した手法とは別の手法により、視差マップの再取得を行なう点において異なる。
【０２６１】
［実施の形態３にかかる立体視強度調整装置の構成］
図２１は、実施の形態３にかかる立体視強度調整装置３０の構成の一例を示すブロック図である。本図に示されるように、立体視強度調整装置３０は、ユーザ入力部１００、コンテンツ再生モジュール２００、視差情報調整モジュール３００、立体視強度制御モジュール４００、表示制御モジュール５００、視差情報保持メモリ６００、視差マップ生成エンジン１７００、レンダリングエンジン８００、イメージメモリ９００、イメージデコーダ１０００、左目用プレーン１１００、右目用プレーン１２００、出力切替器１３００を含んで構成される。また、視差情報調整モジュール３００は、指示取得部３１０、視差特定部３２０を含んで構成される。また、立体視強度制御モジュール４００は、左右画像取得部４１０、画像補正部４２０、視差マップ取得部１６００、視差マップ評価部４４０、視差マップ調整部４５０、ＤＩＢＲ実行部４６０を含んで構成される。また、表示制御モジュール５００は、機器情報取得部５１０、出力設定部５２０を含んで構成される。実施の形態１にかかる立体視強度調整装置１０と同じ構成については、同符号を付し、説明を省略する。以下では、立体視強度調整装置１０とは異なる構成について説明する。
【０２６２】
＜視差マップ取得部１６００＞
視差マップ取得部１６００は、視差マップ生成エンジン１７００が生成した左目用画像・右目用画像間の視差量または奥行き方向の距離を示す視差マップを取得する機能を有する。また、取得した視差マップの精度の評価が低い場合には、視差マップ生成エンジン１７００に対し、以前に視差マップを生成した手法とは別の手法による視差マップの生成を要求する機能を有する。
【０２６３】
＜視差マップ生成エンジン１７００＞
視差マップ生成エンジン１７００は、視差マップ取得部１６００からの要求に応じて、視差マップを生成する機能を有する。視差マップの再生成を要求された場合、視差マップ生成エンジン１７００は、以前に視差マップを生成した手法とは別の手法により視差マップを生成する。
【０２６４】
左目用画像の各画素に対応する画素点を右目用画像から探索し、その対応点間の距離を算出することで視差を算出していた場合、例えば、視差マップ生成エンジン１７００は、ネットワークを利用して、左目用画像および右目用画像に対応する視差マップをダウンロードすることにより視差マップを再生成する。
【０２６５】
また、視差マップ生成エンジン１７００は、視差を算出する際のパラメータを変更して、再度視差の算出を行なうことにより、視差マップを再生成してもよい。視差を算出する際のパラメータとしては、視差マップのサイズや対応点を探索する最大探索範囲などがあり、視差マップ生成エンジン１７００は、これらのパラメータを変更して、再度視差の算出を行なう。
【０２６６】
また、視差マップ生成エンジン１７００は、別のアルゴリズムを用いて視差を算出することにより、視差マップを再生成してもよい。視差を算出するアルゴリズムとしては、（１）図９を用いて説明した手法、（２）図９に示す手法のように水平方向のみを探索することにより対応点を探索するのではなく、上下左右斜め方向の整合性も考慮して対応点を探索する手法、（３）画像の色や輝度に基づいて視差を生成する方法、（４）グラフ理論に基づいて視差を生成する方法などがある。視差マップ生成エンジン１７００は、これらの視差を算出するアルゴリズムを変更して、再度視差の算出を行なう。
【０２６７】
以上が、立体視強度調整装置３０の構成についての説明である。続いて、上記の構成を備える立体視強度調整装置３０の動作について説明する。
【０２６８】
［実施の形態３にかかる立体視強度調整装置の動作］
図２２は、立体視強度調整装置３０による立体視強度調整処理の流れを示すフローチャートである。実施の形態１にかかる立体視強度調整処理と同じ処理については、同符号を付し、説明を省略する。
【０２６９】
図２２に示されるように、ステップＳ６０１の処理が、実施の形態１にかかる立体視強度調整処理と異なる処理となる。
【０２７０】
ステップＳ１０７の視差マップの精度の評価後、ステップＳ１０８において、視差マップの精度の評価が高いか否かの判定を行う。視差マップの精度の評価が低い場合（ステップＳ１０８、ＮＯ）、視差マップ取得部１６００は、視差マップ生成エンジン１７００に対し、以前に視差マップを生成した手法とは別の手法による視差マップの生成を要求する。また、視差マップ生成エンジン１７００は、視差マップ取得部１６００からの要求に応じて、視差マップを再生成する（ステップ６０１）。
【０２７１】
ステップ６０１の視差マップの再生成処理後、ステップＳ１０７において、再生成した視差マップの精度の評価を行なう。
【０２７２】
以上のように本実施の形態によれば、視差マップの精度が低い場合は、以前に視差マップを生成した手法とは別の手法により、視差マップの再取得を行なうので、視差マップの精度が向上することが期待でき、ユーザに対して品位の高いコンテンツ再生を提供することができる。
【０２７３】
≪実施の形態４≫
実施の形態４では、立体視ビデオストリームの立体視強度の調整を可能とする立体視強度調整装置の構成について説明する。
【０２７４】
図２３は、実施の形態４にかかる立体視強度調整装置４０の構成の一例を示すブロック図である。
【０２７５】
本図に示されるように、立体視強度調整装置４０は、ユーザ入力部１００、コンテンツ再生モジュール２００、視差情報調整モジュール３００、立体視強度制御モジュール４００、表示制御モジュール５００、視差情報保持メモリ６００、視差マップ生成エンジン７００、レンダリングエンジン８００、イメージメモリ９００、イメージデコーダ１０００、左目用プレーン１１００、右目用プレーン１２００、出力切替器１３００、デマルチプレクサ１８００、ビデオデコーダ１９００、左目用プレーン２０００、右目用プレーン２１００、出力切替器２２００、加算器２３００を含んで構成される。また、視差情報調整モジュール３００は、指示取得部３１０、視差特定部３２０を含んで構成される。また、立体視強度制御モジュール４００は、左右画像取得部４１０、画像補正部４２０、視差マップ取得部４３０、視差マップ評価部４４０、立体視強度調整方法選択部１４００、視差マップ調整部４５０、ＤＩＢＲ実行部４６０、プレーンシフト実行部１５００を含んで構成される。また、表示制御モジュール５００は、機器情報取得部５１０、出力設定部５２０を含んで構成される。実施の形態１にかかる立体視強度調整装置１０と同じ構成については、同符号を付し、説明を省略する。以下では、立体視強度調整装置１０とは異なる構成について説明する。
【０２７６】
＜デマルチプレクサ１８００＞
デマルチプレクサ１８００は、トランスポートストリームの多重分離を行い、ＧＯＰを構成するビデオフレームと、オーディオフレームとを得る。そしてデマルチプレクサ１８００は、ビデオフレームをビデオデコーダ１９００に出力し、オーディオフレームをオーディオデコーダ（図示せず）に出力する。
【０２７７】
デマルチプレクサ１８００による多重分離は、ＴＳパケットをＰＥＳパケットに変換するという変換処理を含む。また、デマルチプレクサ１８００は、３Ｄ用の処理を行うか２Ｄ用の処理を行うかを切り替える。
【０２７８】
なお、デマチプレクサ１８００で分離されたビデオストリームの中に、視差マップが含まれていてもよい。この場合、視差マップ取得部４３０は、デマチプレクサ１８００で分離された視差マップを取得する。
【０２７９】
＜ビデオデコーダ１９００＞
ビデオデコーダ１９００は、デマルチプレクサ１８００から出力されたビデオフレームを復号して、非圧縮形式のピクチャを左目用プレーン２０００および右目用プレーン２１００に書き込む。また、立体視強度の調整を行なう場合、ビデオデコーダ１９００は、左右画像取得部４１０に復号後の非圧縮形式のピクチャを送信する。
【０２８０】
＜左目用プレーン２０００、右目用プレーン２１００＞
左目用プレーン２０００は、ビデオデコーダ１９００から出力された左目用画像、または立体視強度制御モジュール４００により立体視強度が調整された画像を格納する機能を有する。また、右目用プレーン２１００は、ビデオデコーダ１９００から出力された右目用画像、または立体視強度制御モジュール４００により立体視強度が調整された画像を格納する機能を有する。
【０２８１】
＜出力切替器２２００＞
出力切替器２２００は、出力部５２０による設定に応じ、左目用プレーン２０００および右目用プレーン２１００に格納された情報の出力を切り替える機能を有する。
【０２８２】
＜加算器２３００＞
加算器２３００は、出力切替器１３００および出力切替器２２００から出力されたピクチャデータを合成して出力する機能を有する。
【０２８３】
なお、立体視ビデオストリームと、左目用プレーン１１００および右目用プレーン１２００へ書き込まれる立体視画像、あるいは、立体視アニメーションとを加算器２３００にて重畳する場合、立体視画像、あるいは、立体視アニメーションが立体視強度を調整したビデオストリームに埋まったり、立体視強度を調整したビデオストリームに対して飛び出しすぎてしまったりすると、視聴者に違和感を与える。このため、立体視ビデオストリームの立体視強度の調整を行なった場合は、左目用プレーン１１００および右目用プレーン１２００へ書き込まれる立体視画像、あるいは、立体視アニメーションも合わせて立体視強度の調整を行なう。
【０２８４】
上記の構成により、立体視ビデオストリームの立体視強度の調整が可能となる。
【０２８５】
≪変形例≫
なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
【０２８６】
（ａ）本発明は、各実施形態で説明した処理手順が開示するアプリケーション実行方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよい。
【０２８７】
（ｂ）本発明は、上記の各実施の形態に記載の３Ｄ眼鏡または立体視映像処理装置を制御するＬＳＩとしても実施可能である。このようなＬＳＩは、上述の実施の形態で示した視差マップ評価部、視差マップ調整部、立体視強度調整方法選択部等の各機能ブロックを集積化することで実現できる。これらの機能ブロックは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されてもよい。
【０２８８】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２８９】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２９０】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロック及び部材の集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
【０２９１】
（ｃ）上述の実施の形態で示した視差マップ評価部、視差マップ調整部、立体視強度調整方法選択部等を、プロセッサ、およびそのプロセッサに接続された各種回路に実行させるための機械語あるいは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施の形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。
【０２９２】
（ｄ）立体視強度調整装置の使用形態の説明で述べた使用形態は一例であり、これに限られない。
【０２９３】
再生装置１または表示装置４とステレオカメラ等の撮像装置とを有線（例えばＨＤＭＩ接続、ＵＳＢ接続、有線ＬＡＮ接続等）、または無線（例えば、無線ＬＡＮ接続）で接続し、撮像装置で撮影された立体視映像の立体視強度を調整して再生・表示する使用形態であってもよい。
【０２９４】
また、再生装置１または表示装置４が、ネットワークを介してサーバから立体視映像を含むビデオストリームをダウンロードし、ダウンロードしたビデオストリームから立体視映像を読み出し、立体視映像の立体視強度を調整して再生・表示するとしてもよい。
【０２９５】
また、表示画面を有する携帯端末が本実施の形態の立体度調整装置を備える構成であってもよい。例えば、再生装置１と携帯端末とを有線または無線で接続し、再生装置１に装填したＢＤ−ＲＯＭに記録されたビデオストリームを携帯端末が備えるメモリまたは携帯端末に装填されたリムーバブルメディアに記録する。そして、携帯端末は、記録したビデオストリームに含まれる立体視映像を読み出し、立体視強度を調整して携帯端末の表示画面に表示する。
【０２９６】
また、ネットワークを介してサーバから立体視映像を含むビデオストリームをダウンロードして、携帯端末が備えるメモリまたは携帯端末に装填されたリムーバブルメディアに記録した後、記録したビデオストリームに含まれる立体視映像を読み出す。そして、読み出した立体視映像の立体視強度を調整し、立体視強度を調整した立体視映像を携帯端末の表示画面に表示するとしてもよい。
【０２９７】
このような構成を採用すれば、例えば、立体視映像が携帯端末のような小さなサイズの表示画面での表示を想定していなかったような場合においても、携帯端末の表示画面に対応するように立体視強度をした後、表示をすることが可能となる。
【０２９８】
また、上記の実施の形態で示した立体視調整装置は、再生装置１や表示装置４以外の機器にも搭載することができる。例えば、ステレオカメラ等の撮像装置、携帯端末、ＰＣサーバ等に搭載するとしてもよい。
【０２９９】
表示すべき立体視映像を受け取れるように接続がなされていること、かつ受け取った立体視映像の立体度を調整した後、表示画面を有する装置に、調整した立体視映像を送ることができるように接続がなされていることを満たす機器であれば、上記の実施の形態で示した立体度調整装置を搭載することが可能である。
【０３００】
（ｅ）上記の実施の形態に示すＤＩＢＲ処理では、左目用画像の各画素をシフトして右目用画像を再生成することにより立体視強度を調整したが、本発明は必ずしもこの場合に限定されない。例えば、ＤＩＢＲ処理は、右目用画像の各画素をシフトすることにより左目用画像を再生成するものであってもよい。また、ＤＩＲＢ処理は、左目用画像および右目用画像の両方の画像をシフトし、左目用画像および右目用画像の両方の画像を再生成するものであってもよい。
【０３０１】
（ｆ）上記の実施の形態では、立体視映像を表示するディスプレイのサイズに基づき、視差マップに示される視差量を、ディスプレイに対して適切な視差量の値に変更する処理の具体例として、（１）ディスプレイに対する飛び出し量および引っ込み量がそれぞれ視差角１度以内になるように視差量の値を変更する、（２）視聴位置からディスプレイまでの距離と、最大の飛び出し量の割合および最大の引っ込み量との比が、あらかじめ定めた所定の固定値になるように視差量を変更する、場合を説明したが、本発明は必ずしもこの場合に限定されない。
【０３０２】
例えば、ディスプレイのサイズが所定のサイズ以上である場合には、ディスプレイのサイズに対する立体視映像の飛び出し量および引っ込み量が、予め定めた視差角以内（例えば、１度以内）におさまるように、視差マップが有する視差量を変更し、ディスプレイサイズが所定のサイズ以下である場合には、ディスプレイのサイズに対する立体視映像の飛び出し量および引っ込み量が、予め定めた視差角以上（例えば、１度以上）、立体視の融合限界の視差角以内におさまるように、視差マップが有する視差量を変更するとしてもよい。
【０３０３】
これにより、立体視映像を表示する画面のサイズが大きい場合において、視差量を大きくすることにより、立体視強度が所定の視差角以上のものとなり視覚疲労や違和感等を与えることを防ぐことができる。また、立体視映像を表示する画面のサイズが小さい場合において、視差量を小さくすることにより、左目用画像と右目用画像を別々の画像と認識してしまい、立体融合が困難となることを防ぐことができる。
【０３０４】
（ｇ）上記の実施の形態では、視聴位置からディスプレイまでの距離を、ディスプレイの高さＨの３倍として算出する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、ＴＯＦ（Time Of Flight）型センサ等の距離センサにより、視聴位置からディスプレイまでの距離を算出してもよい。
【０３０５】
（ｈ）上記の実施の形態では、基線長（瞳孔間距離）を成人男性の平均値６．５ｃｍして算出する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、視聴者が大人であるか子供であるか、男性であるか女性であるかを判別し、その判別結果に基づき基線長の値を決定するとしてもよい。
【０３０６】
（ｉ）上記の実施の形態では、視差マップを、視差量または奥行き方向の距離を０〜２５５までの２５６階調の輝度で表した画像データであるとしたが、本発明は必ずしもこの場合に限られない。視差マップは、左目用画像および右目用画像の各画素の視差の値、または奥行き方向の距離の値を保持するデータであればよく、例えば、０〜１２７までの１２８階調の輝度で表した画像データであるとしてもよい。
【０３０７】
（ｊ）上記の実施の形態において、立体視強度の調整を行なった左目用画像および右目用画像を履歴として格納しておき、再度同一の画像の再生命令がなされた場合には、履歴として格納した左目用画像および右目用画像に基づき立体視強度の調整を行なうとしてもよい。
【０３０８】
（ｌ）上記の実施の形態における立体視強度調整処理の対象は、立体視映像のみならず、立体視画像であってもよい。
【０３０９】
（ｍ）上記の実施の形態では、左視点画像・右視点画像の２視点の画像を生成する場合を説明したが、本発明は必ずしもこの場合に限定されない。２視点以上の多視点画像を生成してもよい。
【０３１０】
（ｎ）上記の実施の形態では、３Ｄ眼鏡を用いて立体視映像の視聴を行なうシステムについて説明したが、３Ｄ眼鏡を必要としない裸眼立体視システムであってもよい。
【０３１１】
（ｏ）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０３１２】
本発明にかかる立体視強度調整装置は、例えば、ホームシアターシステムを用いた立体視映像の視聴に利用可能である。
【符号の説明】
【０３１３】
１  再生装置
２  記録媒体
３  操作装置
４  表示装置
５  ３Ｄ眼鏡
１０、２０、３０、４０  立体視強度調整装置
１００  ユーザ入力部
２００  コンテンツ再生モジュール
３００  視差情報調整モジュール
３１０  指示取得部
３２０  視差特定部
４００  立体視強度制御モジュール
４１０  左右画像取得部
４２０  画像補正部
４３０  視差マップ取得部
４４０  視差マップ評価部
４５０  視差マップ調整部
４６０  ＤＩＢＲ実行部
５００  表示制御モジュール
５１０  機器情報取得部
５２０  出力設定部
６００  視差情報保持メモリ
７００  視差マップ生成エンジン
８００  レンダリングエンジン
９００  イメージメモリ
１０００  イメージデコーダ
１１００  左目用プレーン
１２００  右目用プレーン
１３００  出力切替器
１４００  立体視強度調整方法選択部
１５００  プレーンシフト実行部
１６００  視差マップ取得部
１７００  視差マップ生成エンジン
１８００  デマルチプレクサ
１９００  ビデオデコーダ
２０００  左目用プレーン
２１００  右目用プレーン
２２００  出力切替部
２３００  加算器
【図１】
2012147329.tif 000005
【図２】
2012147329.tif 000006
【図３】
2012147329.tif 000007
【図４】
2012147329.tif 000008
【図５】
2012147329.tif 000009
【図６】
2012147329.tif 000010
【図７】
2012147329.tif 000011
【図８】
2012147329.tif 000012
【図９】
2012147329.tif 000013
【図１０】
2012147329.tif 000014
【図１１】
2012147329.tif 000015
【図１２】
2012147329.tif 000016
【図１３】
2012147329.tif 000017
【図１４】
2012147329.tif 000018
【図１５】
2012147329.tif 000019
【図１６】
2012147329.tif 000020
【図１７】
2012147329.tif 000021
【図１８】
2012147329.tif 000022
【図１９】
2012147329.tif 000023
【図２０】
2012147329.tif 000024
【図２１】
2012147329.tif 000025
【図２２】
2012147329.tif 000026
【図２３】
2012147329.tif 000027
【国際調査報告】
2012147329.tif 000028
2012147329.tif 000029