(57)【要約】【課題】  立体映像表示装置においては、観察者が注視している物体が飛び出した点に目の輻輳角を合わせながら、ディスプレイ表面にピントを合わせるという不整合により、飛び出し量、あるいは引っ込み量が大きすぎると目の疲れを誘発するという問題点がある。また、観察者の個人差によって、観察者にとって好適な奥行き感が異なる。【解決手段】  視差情報検出部１において、入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１に基づいて画素ごとの視差情報Ｔ１を検出し、視差調整部２において、視差情報Ｔ１と視差調整情報Ｓ１に基づいて調整後視差情報Ｔ２を算出し、画像生成部３において、入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１と調整後視差情報Ｔ２に基づいて調整左眼用画像データＤａ２と調整右眼用画像データＤｂ２を生成し出力する。【選択図】  図１
2011035712.tif 000002
【特許請求の範囲】
【請求項１】
立体映像をなす一対の画像を入力し、前記一対の画像の視差を検出して視差情報を出力する視差情報検出部と、
視差調整情報に基づいて前記視差情報を変更することによって調整後視差情報を生成する視差調整部と、
前記調整後視差情報に基づいて、前記一対の画像の視差を変更した新たな一対の画像を生成する画像生成部を備えることを特徴とする画像処理装置。
【請求項２】
前記視差調整部は、前記視差情報に係数を乗じることによって前記調整後視差情報を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記視差調整部は、前記視差情報に定数を加減算することによって前記調整後視差情報を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記視差調整部は、画素ごとに前記視差情報の正負によって調整量を変えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記視差調整部は、閾値より大きい視差情報が前記視差情報に含まれる場合に、対応する画素の視差が前記閾値を超えないような前記調整後視差情報を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
観察者の視差調整操作に基づいて、前記視差調整部を制御する前記視差調整情報を生成する視差調整情報生成部をさらに備えることを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
【請求項７】
前記視差調整情報生成部は、観察者の視差調整操作に基づいて視差調整入力情報を出力する奥行調整情報入力部と、表示される立体画像の奥行き感調整のためのグラフィカルユーザインターフェースを表示するための信号を前記視差調整入力情報に基づいて生成するグラフィカルユーザインターフェース生成部と、前記視差調整情報を前記視差調整入力情報に基づいて生成する視差調整情報出力部とを備えることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記グラフィカルユーザインターフェースがスライドバーによって表されることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記グラフィカルユーザインターフェースがスライドバーによって表され、スライドバーの中央が視差の調整を行わないことを示すことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記グラフィカルユーザインターフェースがスライドバーによって表され、スライドバーのどちらか一方の端部を選択することが視差を０にすることを示すことを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記グラフィカルユーザインターフェースが視差の調整量を選択する選択肢によって表されることを特徴とする請求項７に記載の画像処理装置。
【請求項１２】
前記グラフィカルユーザインターフェースが視差の調整量を選択する選択肢によって表され、選択肢の一つが視差の調整を行わないことを示すことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記グラフィカルユーザインターフェースが視差の調整量を選択する選択肢によって表され、選択肢の一つが視差を０にすることを示すことを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
請求項１〜１３のいずれか１項に記載の画像処理装置を備えることを特徴とする立体画像表示装置。
【請求項１５】
立体映像をなす一対の画像を入力し、前記一対の画像を補正した画像を生成する画像処理方法において、
前記一対の画像を入力し、当該一対の画像の視差を検出して視差情報を出力する視差情報検出ステップと、
視差調整情報に基づいて前記視差情報を変更することによって調整後視差情報を生成する視差調整ステップと、
前記調整後視差情報に基づいて、前記一対の画像の視差を変更した新たな一対の画像を生成する画像生成ステップを備えることを特徴とする画像処理方法。
【請求項１６】
視差調整情報生成ステップをさらに備え、前記視差調整情報生成ステップは、グラフィカルユーザインターフェースを表示するための信号を生成するグラフィカルユーザインターフェース生成ステップと、グラフィカルユーザインターフェースを通じて観察者が視差調整の操作を行うための視差調整情報入力ステップを備え、
観察者がグラフィカルユーザインターフェースを操作した結果に基づいて視差調整情報を生成することを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
請求項１５又は１６のいずれか１項に記載の画像処理方法を備えることを特徴とする立体画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像をなす一対の画像を入力し、前記一対の画像を補正した画像を生成する画像処理装置に関するものであり、観察者にとって好適な立体映像を得ることを目的としたものである。
【背景技術】
【０００２】
近年、観察者が擬似的に奥行き感を得るための画像表示技術として、両眼視差を利用した立体画像表示技術が多く提案されている。これは、３次元空間を左眼で見た映像と右眼で見た映像をそれぞれ観察者の左右眼に見せることによって、擬似的に奥行き感を誘発する技術である。
【０００３】
観察者の左右眼に異なる映像を見せるための技術として、左眼用画像と右眼用画像を時間的に交互に切り替えてディスプレイに表示すると同時に、画像が切り替わるタイミングに同期して左右それぞれの視界を閉じる眼鏡を用いて左右の視界を時間的に分離する方式や、ディスプレイの前面にディスプレイに表示された画像の表示角を制限するバリアやレンズを用いることで左右眼それぞれに分離して左眼用画像と右眼用画像を見せる方式など、様々な方式が提案されている。
【０００４】
このような立体画像表示装置においては、観察者が注視している物体が飛び出した点に目の輻輳角を合わせながら、ディスプレイ表面にピントを合わせるという不整合により、飛び出し量が大きすぎると目の疲れを誘発するという問題点がある。また、観察者とディスプレイの表示面との距離や観察者の個人差によって、観察者にとって好適な奥行き感が異なる。
【０００５】
この問題に対して、特許文献１では、観察者の頭の位置を検出し、検出した頭の位置に応じて遮光部の移動制御を行うことによって観察者にとって最適な立体視を行わせる技術が開示されている。
【０００６】
また、特許文献２では、立体画像表示時間が所定時間を越えた場合に、立体画像の視差を変更することによって観察者の眼を保護する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−３０５７５９号公報
【特許文献２】特開２００８−３０６７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に開示された技術では、観察者の眼の位置に応じた精度の高い光学系の制御が必要とされるため、コストの増大を引き起こす。また、特許文献２に開示された技術では、画像データ全体の水平方向の相対位置を変更することによって視差を小さくして観察者の眼を保護するため、画面全体の立体感を増す、あるいは減らすという変更ができない。また、入力画像にディスプレイ面より手前に表示される画素とディスプレイ面より奥に表示される画素が混在する場合、画像データ全体の視差の絶対値を小さくすることができず、観察者の眼を適切に保護することができない。
【０００９】
この発明は、上述のような課題を解消するためになされたもので、入力された画像の一対の画像の視差を、観察者とディスプレイ表面との距離や観察者の個人差によらず、好適な奥行き感の視差に変更して立体画像を表示することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係わる画像処理装置は、立体映像をなす一対の画像を入力し、前記一対の画像の視差を検出して視差情報を出力する視差情報検出部と、観察者の指示による視差調整情報に基づいて前記視差情報を変更することによって調整後視差情報を生成する視差調整部と、前記調整後視差情報に基づいて、前記一対の画像の視差を変更した新たな一対の画像を生成する画像生成部とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、入力された一対の画像の視差を、観察者の指示による視差調整情報に基づいて視差を変更した一対の画像を生成して表示するようにしたので、観察者とディスプレイ表面との距離や観察者の個人差によらず、観察者にとって好適な奥行き感の立体画像を表示することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１に係る立体画像表示装置を示すブロック図である。
【図２】実施の形態１に係る画像処理方法の動作を示すフローチャートである。
【図３】左眼用画像と右眼用画像の視差と観察者が感じる奥行き感の関係を示す図である。
【図４】視差情報Ｔ１と調整後視差情報Ｔ２の関係を示す図である。
【図５】視差の調整量と奥行き感の変化の関係を示す図である。
【図６】視差調整部２の別の動作例の場合の視差の調整量と奥行き感の変化の関係を示す図である。
【図７】視差調整部２のさらに別の動作例の場合の視差の調整量と奥行き感の変化の関係を示す図である。
【図８】実施の形態２に係る立体画像表示装置を示すブロック図である。
【図９】実施の形態２に係る画像処理方法の動作を示すフローチャートである。
【図１０】視差調整情報生成部１０の内部構成を示すブロック図である。
【図１１】視差調整情報生成ステップの動作を示すフローチャートである。
【図１２】奥行き量を調整するためのグラフィカルユーザインターフェースの一例を示す図である。
【図１３】奥行き量を調整するためのグラフィカルユーザインターフェースの一例を示す図である。
【図１４】奥行き量を調整するためのグラフィカルユーザインターフェースの一例を示す図である。
【図１５】奥行き量を調整するためのグラフィカルユーザインターフェースの一例を示す図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、本発明の実施の形態１に係る立体画像表示装置の構成を示す図である。実施の形態１に係る立体画像表示装置は、視差情報検出部１と、視差調整部２と、画像生成部３と、画像合成部４と、表示部５を備える。
【００１４】
入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１が視差情報検出部１に入力される。視差情報検出部１は、入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１を比較して画素ごとに視差を検出し視差情報Ｔ１を出力する。視差調整部２は、視差調整情報Ｓ１に基づいて前記視差情報Ｔ１の値を変更し、調整後視差情報Ｔ２を出力する。画像生成部３は、入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１と調整後視差情報Ｔ２に基づいて調整左眼用画像データＤａ２と調整右眼用画像データＤｂ２を生成し出力する。画像合成部４は、調整左眼用画像データＤａ２と調整右眼用画像データＤｂ２に基づいて合成画像データＤａ３を生成し出力する。表示部５は、合成画像データＤａ３に基づいて表示動作を行う。
【００１５】
図２は、図１に示す画像処理装置の動作を示すフローチャートである。視差情報検出ステップ（Ｓｔ１）においては、視差情報検出部１により、入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１を比較して画素ごとに視差が検出され、視差情報Ｔ１が出力される。視差調整ステップ（Ｓｔ２）においては、視差調整部２により、視差調整情報Ｓ１に基づいて前記視差情報Ｔ１の値が変更され、調整後視差情報Ｔ２が出力される。画像生成ステップ（Ｓｔ３）においては、画像生成部３により、調整後視差情報Ｔ２に基づいて入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１が変更され、調整左眼用画像データＤａ２と調整右眼用画像データＤｂ２が出力される。画像合成ステップ（Ｓｔ４）においては、画像合成部４により、調整左眼用画像データＤａ２と調整右眼用画像データＤｂ２に基づいて合成画像データＤａ３が生成され、出力される。以上、Ｓｔ１〜Ｓｔ４の各ステップの動作が、入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１に対し１フレーム毎に行われる。
【００１６】
ここで、視差情報検出部１の詳細な動作を説明する。図３は、左眼用画像と右眼用画像の視差と観察者が感じる奥行き感の関係を示すものであり、左眼用画像は観察者の左眼のみに、右眼用画像は観察者の右眼のみに見えるように制御されているものとする。図３には、ディスプレイ面上に表示された左眼用画像の画素と右眼用画像の画素が図示されており、それぞれ左眼用画像の画素をＰ１ｌ、Ｐ２ｌ、右眼用画像の画素をＰ１ｒ、Ｐ２ｒとする。ディスプレイ面上に表示されたＰ１ｌとＰ１ｒ、及びＰ２ｌとＰ２ｒにはそれぞれ同じ物体を表示した画素が存在しており、観察者には空間中の点Ｆ１、及びＦ２に物体が存在するように見える。
【００１７】
同じ物体を表示した左眼用画像の画素の水平座標と右眼用画像の画素の水平座標の差分が視差であり、図３（ａ）では、ｄ１＝Ｘ（Ｐ１ｌ）−Ｘ（Ｐ１ｒ）、図３（ｂ）ではｄ２＝Ｘ（Ｐ２ｌ）−Ｘ（Ｐ２ｒ）と表すことができる。Ｘ（Ｐ１ｌ）は、Ｐ１ｒの水平座標であり、その他の画素についても同様に表記している。図３（ａ）では、視差ｄ１は正の値となり、この場合、観察者が注視している画素はディスプレイ面より手前のＦ１の位置に感じられる。逆に、図３（ｂ）では、視差ｄ２は負の値となり、この場合、観察者が注視している画素はディスプレイ面より奥のＦ２の位置に感じられる。このように、ここでは、視差は符号付きの値とし、視差が正となる画素はディスプレイ面より手前に、視差が負となる画素はディスプレイ面より奥に表示されることを意味する。
【００１８】
視差情報検出部１は、左眼用画像と右眼用画像を比較し、左眼用画像と右眼用画像で同じ物体を表示している画素を検出し、それらの画素の水平座標の差分を計算することで視差を算出する。同じ物体を表示している画素の検出方法としては、例えばブロックマッチングなどの手法を用いることができる。検出した視差は視差情報Ｔ１として出力される。
【００１９】
次に、視差調整部２の動作を説明する。視差調整部２は、視差調整情報Ｓ１に基づいて視差情報検出部１から出力された視差情報Ｔ１を変更し、調整後視差情報Ｔ２を出力する。
【００２０】
視差調整部２の視差調整方法の一例を説明する。視差調整部２は、前記視差調整情報Ｓ１に含まれる視差調整係数Ｃ１と視差調整オフセットＯＳ１に従って、下記の式（１）によって調整後視差情報Ｔ２を生成する。
Ｔ２（ｘ、ｙ）＝Ｔ１（ｘ、ｙ）×Ｃ１＋ＯＳ１      ・・・・・（１）
Ｔ１（ｘ、ｙ）は、水平座標＝ｘ、垂直座標＝ｙでの視差情報を、Ｔ２（ｘ、ｙ）は、水平座標＝ｘ、垂直座標＝ｙでの調整後視差情報を示す。
【００２１】
図４は、視差情報Ｔ１と調整後視差情報Ｔ２の関係を示している。横軸が視差情報Ｔ１、縦軸が調整後視差情報Ｔ２であり、視差調整係数Ｃ１と視差調整オフセットＯＳ１の値別にグラフを示している。また、図４（ａ）〜（ｄ）に示した破線は視差調整を行わない場合の値であり、実線は各図の右上に示された視差調整情報で視差調整を行った場合の値である。上記式（１）でＯＳ１＝０とすると、Ｃ１＞１の場合には（図４（ａ））、視差の絶対値が大きくなる。視差の絶対値が大きくなると、ディスプレイ面より手前に感じられていた画素はより手前に、ディスプレイ面より奥に感じられていた画素はより奥に感じられるようになる。つまり、全ての画素がディスプレイ面から離れるように感じられ、画面全体の奥行き感が増す。Ｃ１＜１の場合には（図４（ｂ））、視差の絶対値が小さくなる。視差の絶対値が小さくなると、ディスプレイ面より手前に感じられていた画素はより奥に、ディスプレイ面より奥に感じられていた画素はより手前に感じられるようになる。つまり、全ての画素がディスプレイ面に近づくように感じられ、画面全体の奥行き感が減る。
【００２２】
また、式（１）において、Ｃ１＝１とすると、ＯＳ１＞０の場合には（図４（ｃ））、視差は大きくなる。視差が大きくなると、ディスプレイ面より手前に感じられていた画素と奥に感じられていた画素の両方がより手前に感じられるようになる。つまり、画面全体が手前に飛び出してくるように感じられる。ＯＳ１＜０の場合には（図４（ｄ））、視差は小さくなる。視差が小さくなると、ディスプレイ面より手前に感じられていた画素と奥に感じられていた画素の両方がより奥に感じられるようになる。つまり、画面全体が奥に引っ込むように感じられる。
【００２３】
このように、視差調整部２では、視差調整係数Ｃ１と視差調整オフセットＯＳ１の二つの視差調整情報に基づいて視差情報Ｔ１を変更することで、観察者が感じる奥行き感を変更する。また、図４では、視差調整係数Ｃ１、および視差調整オフセットＯＳ１の４通りの組み合わせの例を示したが、これらの組み合わせに限るものではない。
【００２４】
次に、画像生成部３の動作を説明する。画像生成部３は、視差調整部２から出力された調整後視差情報Ｔ２に基づいて、入力左眼用画像Ｄａ１と入力右眼用画像Ｄｂ１を変更する。図５は、視差の調整量と奥行き感の変化の関係を示すものであり、図５（ａ）は図３（ａ）と同様である。図５（ｂ）は、画像生成部３によって調整された後のスクリーン上に示される画素と観察者が感じる物体の位置を示している。図５（ａ）に示されたディスプレイ面上に表示された左眼用画像の画素Ｐ１ｌと右眼用画像の画素Ｐ１ｒの視差ｄ１が、視差調整部２の処理によって、ｄ１´に変更されたとすると、画像生成部３は、図５（ｂ）に示すように、視差がｄ１´になるように左眼用画像の画素Ｐ１ｌ´と右眼用画像の画素Ｐ１ｒ´を生成する。図５に示すように、調整後視差情報Ｔ２によって左眼用画像と右眼用画像を変更することによって、観察者には空間中の点Ｆ１´に物体があるように感じられる。すなわち、ΔＦだけ物体が奥に移動したように感じられる。
【００２５】
上記のように、画像生成部３は、画素ごとに視差調整情報Ｔ２、及び入力左眼用画像Ｄａ１と入力右眼用画像Ｄｂ１に基づいて新たな左眼用画像と右眼用画像を生成し、調整左眼用画像Ｄａ２と調整右眼用画像Ｄｂ２を出力する。
【００２６】
次に、画像合成部４の動作を説明する。画像合成部６は、表示部５の立体画像表示方法に合わせて、調整左眼用画像データＤａ２と調整右眼用画像データＤｂ２を合成し、合成画像データＤａ３を出力する。立体表示を可能にする表示部５の方式としては、空間的に異なる座標に左眼用画像と右眼用画像を表示する方式や、時間的に異なるフレームに左眼用画像と右眼用画像を表示する方式などがあるが、画像合成部６は、表示部５の表示方式に応じて両眼の画像を合成する。
【００２７】
このように、入力左眼用画像と入力右眼用画像から視差情報を検出し、検出した視差情報と視差調整情報に基づいて入力左眼用画像と入力右眼用画像を変更することによって、画面全体の奥行き感を増加させる、あるいは減少させることができるため、観察者にとって最適な奥行き感の立体画像を表示することができる。
【００２８】
また、入力左眼用画像と入力右眼用画像から視差情報を検出し、検出した視差情報と視差調整情報に基づいて入力左眼用画像と入力右眼用画像を変更することによって、画面全体の奥行き感を増加させる、あるいは減少させることができるため、精度の高い光学系の制御を必要とせず、コストの増大を引き起こさない。
【００２９】
ここで、視差調整部２の視差調整方法の別の動作例を説明する。図４では、視差調整係数Ｃ１と視差調整オフセットＯＳ１に従って、前記式（１）によって調整後視差情報Ｔ２を生成する例を示したが、視差調整部２では、前記視差情報の正負によって、異なる視差調整係数、および視差調整オフセットを用いて調整後視差情報Ｔ２を生成しても良い。
【００３０】
この動作例の場合、前記視差調整部２は、正側の視差調整係数Ｃ１と正側の視差調整オフセットＯＳ１、および負側の視差調整係数Ｃ２と負側の視差調整オフセットＯＳ２に従って、下記の式（２）によって調整後視差情報Ｔ２を生成する。
Ｔ２（ｘ、ｙ）＝Ｔ１（ｘ、ｙ）×Ｃ１＋ＯＳ１  （Ｔ１（ｘ、ｙ）＞＝０）
Ｔ２（ｘ、ｙ）＝Ｔ１（ｘ、ｙ）×Ｃ２＋ＯＳ２  （Ｔ１（ｘ、ｙ）＜０）
・・・・・・・・・・（２）
Ｔ１（ｘ、ｙ）は、水平座標＝ｘ、垂直座標＝ｙでの視差情報、Ｔ２（ｘ、ｙ）は、水平座標＝ｘ、垂直座標＝ｙでの調整後視差情報を示す。
【００３１】
図６は、この動作例の場合の視差情報Ｔ１と調整後視差情報Ｔ２の関係の一例を示しており、グラフ軸、および実線と破線の意味は図４と同様である。図６（ａ）は、上記式（１）において、Ｃ１＜１、ＯＳ１＝０、Ｃ２＝１、ＯＳ２＝０とした場合の視差情報と調整後視差情報の関係を示している。この場合、視差情報が正、つまりディスプレイ面より手前に感じられていた画素が、より奥に移動しディスプレイ面に近づくように感じられる。視差情報が負、つまりディスプレイ面より奥に感じられていた画素は変化しない。また、図６（ｂ）は、上記式（１）において、Ｃ１＝１、ＯＳ１＝０、Ｃ２＞１、ＯＳ２＝０とした場合の視差情報と調整後視差情報の関係を示している。この場合、視差情報が負、つまりディスプレイ面より奥に感じられていた画素が、より奥に移動しディスプレイ面から遠ざかるように感じられる。視差情報が正、つまりディスプレイ面より手前に感じられていた画素は変化しない。
【００３２】
このように、視差調整部２では、正側の視差調整係数Ｃ１と正側の視差調整オフセットＯＳ１、および負側の視差調整係数Ｃ２と負側の視差調整オフセットＯＳ２の四つの視差調整情報に基づいて視差情報Ｔ１を変更することで、ディスプレイ面より手前に感じられていた画素とディスプレイ面より奥に感じられていた画素の奥行き感を独立に調整することが可能である。また、図６では、正側の視差調整係数Ｃ１、正側の視差調整オフセットＯＳ１、および負側の視差調整係数Ｃ２、負側の視差調整オフセットＯＳ２の２通りの組み合わせの例を示したが、これらの組み合わせに限るものではない。
【００３３】
このように、入力左眼用画像と入力右眼用画像から視差情報を検出し、検出した視差情報の正負によって異なる視差調整情報に基づいて入力左眼用画像と入力右眼用画像を変更することによって、ディスプレイ面より手前に感じられていた画素とディスプレイ面より奥に感じられていた画素を独立して調整することができるため、観察者にとって最適な奥行き感の立体画像を表示することができる。
【００３４】
次に、視差調整部２の視差調整方法のさらに別の動作例を説明する。図６では、前記視差情報の正負符号によって、異なる視差調整係数と視差調整オフセットを用いて調整後視差情報Ｔ２を生成する例を示したが、視差調整部２では、前記視差情報に予め定められた閾値より大きい視差情報が含まれる場合に、対応する画素の視差が前記閾値を超えないように制限した調整後視差情報Ｔ２を生成しても良い。
【００３５】
この動作例の場合、前記視差調整部２は、予め定められた閾値Ｈ１に従って、下記の式（３）によって調整後視差情報Ｔ２を生成する。
Ｔ２（ｘ、ｙ）＝Ｈ１              （Ｔ１（ｘ、ｙ）＞＝Ｈ１）
Ｔ２（ｘ、ｙ）＝Ｔ１（ｘ、ｙ）    （Ｔ１（ｘ、ｙ）＜Ｈ１）    ・・・（３）
Ｔ１（ｘ、ｙ）は、水平座標＝ｘ、垂直座標＝ｙでの視差情報、Ｔ２（ｘ、ｙ）は、水平座標＝ｘ、垂直座標＝ｙでの調整後視差情報を示す。
【００３６】
また、正側の閾値Ｈ１と負側の閾値Ｈ２を予め定めておき、下記の式（４）によって調整後視差情報Ｔ２を生成してもよい。
Ｔ２（ｘ、ｙ）＝Ｈ１        （Ｔ１（ｘ、ｙ）＞＝０かつＴ１（ｘ、ｙ）＞＝Ｈ１）
Ｔ２（ｘ、ｙ）＝Ｔ１（ｘ、ｙ）（Ｔ１（ｘ、ｙ）＞＝０かつＴ１（ｘ、ｙ）＜Ｈ１）
Ｔ２（ｘ、ｙ）＝Ｔ１（ｘ、ｙ）（Ｔ１（ｘ、ｙ）＜０かつＴ１（ｘ、ｙ）＜Ｈ２）
Ｔ２（ｘ、ｙ）＝Ｈ２        （Ｔ１（ｘ、ｙ）＜０かつＴ１（ｘ、ｙ）＜＝Ｈ２）
・・・・・・・（４）
Ｔ１（ｘ、ｙ）は、水平座標＝ｘ、垂直座標＝ｙでの視差情報、Ｔ２（ｘ、ｙ）は、水平座標＝ｘ、垂直座標＝ｙでの調整後視差情報を示す。
【００３７】
図７は、この場合の動作例での視差情報Ｔ１と調整後視差情報Ｔ２の関係の一例を示しており、グラフ軸、および実線と破線の意味は図４と同様である。図７（ａ）は、上記式（３）のように、正側の閾値Ｈ１による視差の制限のみを有効にした例である。この場合、ディスプレイ面より手前に感じられていた画素のうち、飛び出し量が一定値より大きい画素の飛び出し量を制限するように動作する。また、図７（ｂ）は、上記式（４）のように、正側の閾値Ｈ１と負側の閾値Ｈ２による視差の制限を有効にした例である。この場合、ディスプレイ面より手前に感じられていた画素のうち、飛び出し量が一定値より大きい画素の飛び出し量を制限することに加え、引っ込み量が一定値より大きい画素の引っ込み量を制限するように動作する。
【００３８】
なお、この動作例では、正側の閾値Ｈ１と負側の閾値Ｈ２の２通りの組み合わせの例を示したが、これらの組み合わせに限るものではなく、例えば、負側の閾値Ｈ２による視差の制限のみを有効にするなどしてもよい。また、前記視差調整係数や前記視差調整オフセットと前記正側の閾値Ｈ１、および負側の閾値Ｈ２を併用して視差を調整することも可能である。
【００３９】
このように、入力左眼用画像と入力右眼用画像から視差情報を検出し、検出した視差情報の大きさを閾値によって制限することによって得られた視差調整情報に基づいて入力左眼用画像と入力右眼用画像を変更することによって、一定値より大きい飛び出し量、あるいは引っ込み量を制限することができるため、観察者にとって眼の負担となりやすい過度な視差を制限することによって最適な奥行き感の立体画像を表示することができる。
【００４０】
実施の形態２．
図８は、本発明の実施の形態２に係る立体画像表示装置の構成を示す図である。実施の形態２に係る立体画像表示装置は、視差情報検出部１と、画像生成部３と、画像合成部４と、表示部５と、視差調整情報生成部１０と、視差調整部１１を備える。ここで、視差情報検出部１と、画像生成部３と、画像合成部４と、表示部５は前述した実施の形態１の立体画像表示装置と同じ動作をするため、ここでは説明を省略する。
【００４１】
図９は、図８に示す画像処理装置の動作を示すフローチャートである。視差調整情報生成ステップ（Ｓｔ５）においては、視差調整情報生成部１０により、視差情報検出部１から出力された視差情報Ｔ１を調整するための視差調整情報Ｓ２が生成される。その他のステップは、前述した実施の形態１の各ステップと同じ動作をするため、ここでは説明を省略する。
【００４２】
図１０は、視差調整情報生成部１０の内部構成を示す図である。視差調整情報生成部１０は、奥行調整情報入力部１００と、グラフィカルユーザインターフェース生成部１０１と、視差調整情報出力部１０２を備える。
【００４３】
奥行調整情報入力部１００は、例えば観察者がリモコンを操作することにより入力された制御信号に基づいて視差調整入力情報Ｓ１０を出力する。グラフィカルユーザインターフェース生成部１０１は、視差調整入力情報Ｓ１０に従って表示部５にグラフィカルユーザインターフェースを表示するためのグラフィカルユーザインターフェース情報Ｓ１１を生成する。視差調整情報出力部１０２は、視差調整入力情報Ｓ１０に基づいて前記視差情報検出部１から出力された前記視差情報Ｔ１を調整するための視差調整情報Ｓ２を生成する。
【００４４】
図１１は、視差調整情報生成部の動作を示すフローチャートである。視差調整情報入力ステップ（Ｓｔ１０）においては、観察者の操作に基づいて視差調整入力情報Ｓ１０が出力される。グラフィカルユーザインターフェース生成ステップ（Ｓｔ１１）においては、視差調整入力情報Ｓ１０に従って表示部５にグラフィカルユーザインターフェースを表示するためのグラフィカルユーザインターフェース情報Ｓ１１が生成される。視差調整情報出力ステップ（Ｓｔ１２）においては、視差調整入力情報Ｓ１０に基づいて前記視差情報検出部１から出力された前記視差情報Ｔ１を調整するための視差調整情報Ｓ２が生成される。
【００４５】
次に、前記視差調整情報生成部１０が生成するグラフィカルユーザインターフェースの一例を説明する。図１２には、表示ディスプレイ２０と、グラフィカルユーザインターフェース２１が示されている。図１２に示すように、グラフィカルユーザインターフェースはスライドバーの形状をしており、例えば観察者がリモコンを操作してスライドバーの選択部分を左右に動かすことによって前記視差調整情報Ｓ２が前記視差調整情報生成部１０に入力される。
【００４６】
図１２の例では、図１２（ａ）に示すように、観察者の操作によってグラフィカルユーザインターフェース２１がスライドバーの中央が選択された状態になった場合、前記視差調整情報生成部１０は、前記視差情報Ｔ１を変更しないような前記視差調整情報Ｓ２を生成する。また、図１２（ｂ）に示すように、観察者の操作によってグラフィカルユーザインターフェース２１がスライドバーの左側が選択された状態になった場合、前記視差調整情報生成部１０は、視差の絶対値が小さくなるような前記視差調整情報Ｓ２を生成する。
【００４７】
図１３には、図１２と同様に表示ディスプレイ２０と、グラフィカルユーザインターフェース２１が示されている。図１３（ｂ）に示すように、観察者の操作によってグラフィカルユーザインターフェース２０がスライドバーの左端が選択された状態になった場合、前記視差調整情報生成部１０は、視差が０になるような前記視差調整情報Ｓ２を生成する。
【００４８】
前記グラフィカルユーザインターフェース２１は、前記正側の視差調整係数Ｃ１、正側の前記視差調整オフセットＯＳ１、前記負側の視差調整係数Ｃ２、前記負側の視差調整オフセットＯＳ２、前記正側の閾値Ｈ１、前記負側の閾値Ｈ２をそれぞれ独立に操作できるように、それぞれの値に対応したスライドバーを別々に表示してもよいし、一つのスライドバーを表示し、スライドバーが示す値に基づいて、前記視差調整情報生成部が前記正側の視差調整係数Ｃ１、正側の前記視差調整オフセットＯＳ１、前記負側の視差調整係数Ｃ２、前記負側の視差調整オフセットＯＳ２、前記正側の閾値Ｈ１、前記負側の閾値Ｈ２の値を決定してもよい。なお、前記グラフィカルユーザインターフェース２１の形状は、スライドバー状であればよく、図１２に示した形状や表示位置、または表示文字に限定するものではない。
【００４９】
次に、グラフィカルユーザインターフェースのさらに別の例を説明する。図１４には、表示ディスプレイ２０と、グラフィカルユーザインターフェース２２が示されている。図１４に示すように、グラフィカルユーザインターフェースは観察者に弱、中、強の中から一つを選ばせる選択肢の形状をしており、観察者が選択肢の中から一つを選択することによって前記視差調整情報Ｓ２が前記視差調整情報生成部１０に入力される。
【００５０】
図１４の例では、図１４（ａ）に示すように、観察者の操作によってグラフィカルユーザインターフェース２２が中央の選択肢が選択された状態になった場合、前記視差調整情報生成部１０は、前記視差情報Ｔ１を変更しないような前記視差調整情報Ｓ２を生成する。また、図１４（ｂ）に示すように、観察者の操作によってグラフィカルユーザインターフェース２２が左側の選択肢が選択された状態になった場合、前記視差調整情報生成部１０は、視差の絶対値が小さくなるような前記視差調整情報Ｓ２を生成する。
【００５１】
図１５にグラフィカルユーザインターフェースのさらに別の例を示す。図１５の例では、図１４の例で示した選択しに加え、視差を０にする選択肢が追加されたグラフィカルユーザインターフェース２３が示されている。図１５（ｂ）に示すように、観察者の操作によってグラフィカルユーザインターフェース２２が視差を０にする選択肢が選択された状態になった場合、前記視差調整情報生成部１０は、視差が０になるような前記視差調整情報Ｓ２を生成する。
【００５２】
前記グラフィカルユーザインターフェースは、前記正側の視差調整係数Ｃ１、正側の前記視差調整オフセットＯＳ１、前記負側の視差調整係数Ｃ２、前記負側の視差調整オフセットＯＳ２、前記正側の閾値Ｈ１、前記負側の閾値Ｈ２をそれぞれ独立に操作できるように、それぞれの値に対応した選択肢を別々に表示してもよいし、一つの選択肢を表示し、選択肢が示す値に基づいて、前記視差調整情報生成部が予め定められた手順に従って前記正側の視差調整係数Ｃ１、正側の前記視差調整オフセットＯＳ１、前記負側の視差調整係数Ｃ２、前記負側の視差調整オフセットＯＳ２、前記正側の閾値Ｈ１、前記負側の閾値Ｈ２の値を決定してもよい。なお、前記グラフィカルユーザインターフェースは、選択肢の形状であればよく、図１４に示した形状や選択肢数や表示位置、および表示文字に限定するものではない。
【００５３】
このように、入力左眼用画像と入力右眼用画像から視差情報を検出し、検出した視差情報と観察者がグラフィカルユーザインターフェースを操作することによって決定される視差調整情報に基づいて入力左眼用画像と入力右眼用画像を変更することによって、画面全体の奥行き感を増加させる、あるいは減少させることができるため、観察者自らの操作によって、直感的に観察者が最も好ましいと感じる奥行き感の立体画像を表示することができる。
【符号の説明】
【００５４】
１  視差情報検出部、  ２  視差調整部、  ３  画像生成部、  ４  画像合成部、  ５  表示部、  １０  視差調整情報生成部、  １１  視差調整部、  ２０  表示ディスプレイ、  ２１  グラフィカルユーザインターフェース、  ２２  グラフィカルユーザインターフェース、  ２３  グラフィカルユーザインターフェース、  １００  奥行調整情報入力部、  １０１  グラフィカルユーザインターフェース生成部、  １０２  視差調整情報出力部。
【図１】
2011035712.tif 000003
【図２】
2011035712.tif 000004
【図３】
2011035712.tif 000005
【図４】
2011035712.tif 000006
【図５】
2011035712.tif 000007
【図６】
2011035712.tif 000008
【図７】
2011035712.tif 000009
【図８】
2011035712.tif 000010
【図９】
2011035712.tif 000011
【図１０】
2011035712.tif 000012
【図１１】
2011035712.tif 000013
【図１２】
2011035712.tif 000014
【図１３】
2011035712.tif 000015
【図１４】
2011035712.tif 000016
【図１５】
2011035712.tif 000017