(57)【要約】【課題】より自然で奥行き感のある立体画像を得ることができるようにする。【解決手段】奥行きマップ推定部は、ステレオ画像信号から奥行きマップ画像を生成し、平滑化部は奥行きマップ画像を平滑化し、奥行きマップ平滑化画像を生成する。位相シフト部は、奥行きマップ平滑化画像をシフトさせ、陰影信号生成は、シフトされた奥行きマップ平滑化画像と、奥行きマップ平滑化画像との差分を求めることで、シャドウ成分を生成する。陰影強調部は、生成されたシャドウ成分をステレオ画像信号の明暗成分を示す明暗信号に足し込んで明暗強調信号を生成する。陰影強調信号生成部は、ステレオ画像信号の色成分を示す色信号と、明暗強調信号とを合成することで、陰影が付加された出力ステレオ画像信号を生成する。本技術は、画像処理装置に適用することができる。【選択図】図４
2014022867.tif 000002
【特許請求の範囲】
【請求項１】
立体画像の各領域の奥行きを示す奥行きマップ画像を所定方向にシフトさせて、奥行きマップシフト画像を生成する位相シフト部と、
前記奥行きマップシフト画像に基づいて、シャドウ成分を示すシャドウ信号を生成する陰影信号生成部と、
前記シャドウ信号にゲイン値を乗算して前記立体画像の画像信号に加算することで、シャドウ成分が付加された前記立体画像の画像信号を生成する陰影強調部と
を備える画像処理装置。
【請求項２】
前記陰影信号生成部は、前記奥行きマップ画像を互いに異なる方向にシフトして得られた第１の奥行きマップシフト画像および第２の奥行きマップシフト画像に基づいて、シャドウ成分を示す第１のシャドウ信号および第２のシャドウ信号を生成し、
前記陰影強調部は、前記第１のシャドウ信号と前記第２のシャドウ信号に異なる前記ゲイン値を乗算して前記立体画像の画像信号に加算する
請求項１に記載の画像処理装置。
【請求項３】
前記陰影信号生成部は、前記奥行きマップ画像と前記第１の奥行きマップシフト画像の差分を求めることで前記第１のシャドウ信号を生成し、前記奥行きマップ画像と前記第２の奥行きマップシフト画像の差分を求めることで前記第２のシャドウ信号を生成する
請求項２に記載の画像処理装置。
【請求項４】
前記陰影強調部は、前記立体画像を構成する右眼画像と左眼画像について、
前記右眼画像上において前景被写体の右側のシャドウ成分が前記前景被写体の左側のシャドウ成分よりも強調されるか、またはより大きい領域とされ、
かつ前記左眼画像上において前記前景被写体の左側のシャドウ成分が前記前景被写体の右側のシャドウ成分よりも強調されるか、またはより大きい領域とされるように、
前記第１のシャドウ信号および前記第２のシャドウ信号のそれぞれに乗算される前記ゲイン値を定める
請求項３に記載の画像処理装置。
【請求項５】
前記陰影強調部は、前記立体画像を構成する右眼画像と左眼画像について、前記右眼画像上の前景被写体の右側にのみシャドウ成分が付加され、前記左眼画像上の前記前景被写体の左側にのみシャドウ成分が付加されるように、前記ゲイン値を定める
請求項１に記載の画像処理装置。
【請求項６】
前記奥行きマップ画像を平滑化して、奥行きマップ平滑化画像を生成する平滑化部をさらに備え、
前記位相シフト部は、前記奥行きマップ平滑化画像を所定方向にシフトさせて、前記奥行きマップシフト画像を生成し、
前記陰影信号生成部は、前記奥行きマップ平滑化画像と前記奥行きマップシフト画像の差分を求めることで、前記シャドウ信号を生成する
請求項１に記載の画像処理装置。
【請求項７】
前記陰影信号生成部は、前記奥行きマップ画像と前記奥行きマップシフト画像の差分に基づいて、ハイライト成分を示すハイライト信号をさらに生成し、
前記陰影強調部は、前記シャドウ信号および前記ハイライト信号に前記ゲイン値を乗算して前記立体画像の画像信号に加算する
請求項１に記載の画像処理装置。
【請求項８】
前記立体画像を構成する右眼画像と左眼画像において、同一位置に付加されるハイライト成分の明るさまたは大きさが異なるように、前記ハイライト信号に乗算される前記ゲイン値が定められる
請求項７に記載の画像処理装置。
【請求項９】
前記右眼画像と前記左眼画像の前記ハイライト信号に乗算される前記ゲイン値の少なくとも一方は負の値とされる
請求項８に記載の画像処理装置。
【請求項１０】
前記陰影強調部は、前記立体画像上における被写体が手前側にあるほど、その被写体の領域のシャドウ成分が強調されるように、前記奥行きマップ画像に基づいて前記ゲイン値を定める
請求項１に記載の画像処理装置。
【請求項１１】
前記陰影強調部は、前記立体画像に関する外部ブロック情報に基づいて、前記立体画像に付加されるシャドウ成分の位置、大きさ、または形状が適応的に制御されるように、前記ゲイン値を定める
請求項１に記載の画像処理装置。
【請求項１２】
前記外部ブロック情報は、光源情報、空検出情報、シーン分類情報、ノイズ量計測情報、信号帯域計測情報、顔検出情報、テロップ検出情報、EPG情報、カメラ撮影情報、動き検出情報、またはユーザ嗜好情報の少なくとも何れかである
請求項１１に記載の画像処理装置。
【請求項１３】
前記立体画像の画像信号を、明暗成分を示す明暗信号と色成分を示す色信号とに分離させる分離部と、
前記シャドウ信号が加算された前記明暗信号と、前記色信号とを合成して、前記立体画像の画像信号とする合成部と
をさらに備え、
前記陰影強調部は、前記ゲイン値を乗算した前記シャドウ信号を、前記明暗信号に加算する
請求項１に記載の画像処理装置。
【請求項１４】
前記陰影強調部は、前記立体画像が表示される表示装置のガンマ特性に基づいて前記ゲイン値を定める
請求項１に記載の画像処理装置。
【請求項１５】
前記立体画像の画像信号は、２眼若しくは複数眼のカメラで撮影して得られた画像信号であるか、または２次元画像を立体画像に変換して得られた画像信号である
請求項１に記載の画像処理装置。
【請求項１６】
２次元画像の各領域の奥行きを示す単眼奥行きマップ画像に基づいて、前記２次元画像をシフトさせることで、前記立体画像の画像信号を生成する画像変換部と、
前記画像変換部による前記２次元画像のシフト量に基づいて、前記単眼奥行きマップ画像をシフトさせることで、前記奥行きマップ画像を生成する奥行きマップ変換部と
をさらに備える請求項１に記載の画像処理装置。
【請求項１７】
前記立体画像を構成する右眼画像と左眼画像の視差を検出することで前記奥行きマップ画像を生成する奥行きマップ推定部をさらに備える
請求項１に記載の画像処理装置。
【請求項１８】
立体画像の各領域の奥行きを示す奥行きマップ画像を所定方向にシフトさせて、奥行きマップシフト画像を生成し、
前記奥行きマップシフト画像に基づいて、シャドウ成分を示すシャドウ信号を生成し、
前記シャドウ信号にゲイン値を乗算して前記立体画像の画像信号に加算することで、シャドウ成分が付加された前記立体画像の画像信号を生成する
ステップを含む画像処理方法。
【請求項１９】
立体画像の各領域の奥行きを示す奥行きマップ画像を所定方向にシフトさせて、奥行きマップシフト画像を生成し、
前記奥行きマップシフト画像に基づいて、シャドウ成分を示すシャドウ信号を生成し、
前記シャドウ信号にゲイン値を乗算して前記立体画像の画像信号に加算することで、シャドウ成分が付加された前記立体画像の画像信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、より自然で奥行き感のある立体画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、立体画像表示が可能な液晶表示パネルやＰＤＰ（Plasma Display Panel）などの表示装置が普及し始めている。
【０００３】
例えば、２Ｄの画像を３Ｄの立体画像に変換する技術として、奥行き情報に基づいて２Ｄの入力画像信号の微分信号による微小視差を制御して、３Ｄの入力画像信号を生成する技術が提案されている（例えば、特許文献１参照）。この技術では、微分信号を強調することで視差を大きくし、立体画像に奥行き感を与えることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１２４９３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した２Ｄの画像を３Ｄの立体画像に変換する技術では、視差を大きくする場合、微分信号を強調する必要がある。しかしながら、全被写体が立体画像の表示面に対して奥側に提示されるような立体画像の入力画像信号を生成するには、被写体の位置が奥側になるほど微分信号を強調する必要があるので、奥側の背景ほどシャープネスが強調される画像となってしまう。したがって、視差を大きくして奥行き感を強調し過ぎると、本来の奥行き感強調とは相反する作用をしてしまい、自然な奥行き感の立体画像が得られなくなってしまう。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、より自然で奥行き感のある立体画像を得ることができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の画像処理装置は、立体画像の各領域の奥行きを示す奥行きマップ画像を所定方向にシフトさせて、奥行きマップシフト画像を生成する位相シフト部と、前記奥行きマップシフト画像に基づいて、シャドウ成分を示すシャドウ信号を生成する陰影信号生成部と、前記シャドウ信号にゲイン値を乗算して前記立体画像の画像信号に加算することで、シャドウ成分が付加された前記立体画像の画像信号を生成する陰影強調部とを備える。
【０００８】
前記陰影信号生成部には、前記奥行きマップ画像を互いに異なる方向にシフトして得られた第１の奥行きマップシフト画像および第２の奥行きマップシフト画像に基づいて、シャドウ成分を示す第１のシャドウ信号および第２のシャドウ信号を生成させ、前記陰影強調部には、前記第１のシャドウ信号と前記第２のシャドウ信号に異なる前記ゲイン値を乗算させて前記立体画像の画像信号に加算させることができる。
【０００９】
前記陰影信号生成部には、前記奥行きマップ画像と前記第１の奥行きマップシフト画像の差分を求めることで前記第１のシャドウ信号を生成させ、前記奥行きマップ画像と前記第２の奥行きマップシフト画像の差分を求めることで前記第２のシャドウ信号を生成させることができる。
【００１０】
前記陰影強調部には、前記立体画像を構成する右眼画像と左眼画像について、前記右眼画像上において前景被写体の右側のシャドウ成分が前記前景被写体の左側のシャドウ成分よりも強調されるか、またはより大きい領域とされ、かつ前記左眼画像上において前記前景被写体の左側のシャドウ成分が前記前景被写体の右側のシャドウ成分よりも強調されるか、またはより大きい領域とされるように、前記第１のシャドウ信号および前記第２のシャドウ信号のそれぞれに乗算される前記ゲイン値を定めさせることができる。
【００１１】
前記陰影強調部には、前記立体画像を構成する右眼画像と左眼画像について、前記右眼画像上の前景被写体の右側にのみシャドウ成分が付加され、前記左眼画像上の前記前景被写体の左側にのみシャドウ成分が付加されるように、前記ゲイン値を定めさせることができる。
【００１２】
画像処理装置には、前記奥行きマップ画像を平滑化して、奥行きマップ平滑化画像を生成する平滑化部をさらに設け、前記位相シフト部には、前記奥行きマップ平滑化画像を所定方向にシフトさせて、前記奥行きマップシフト画像を生成させ、前記陰影信号生成部には、前記奥行きマップ平滑化画像と前記奥行きマップシフト画像の差分を求めることで、前記シャドウ信号を生成させることができる。
【００１３】
前記陰影信号生成部には、前記奥行きマップ画像と前記奥行きマップシフト画像の差分に基づいて、ハイライト成分を示すハイライト信号をさらに生成させ、前記陰影強調部には、前記シャドウ信号および前記ハイライト信号に前記ゲイン値を乗算させて前記立体画像の画像信号に加算させることができる。
【００１４】
前記立体画像を構成する右眼画像と左眼画像において、同一位置に付加されるハイライト成分の明るさまたは大きさが異なるように、前記ハイライト信号に乗算される前記ゲイン値が定められるようにすることができる。
【００１５】
前記右眼画像と前記左眼画像の前記ハイライト信号に乗算される前記ゲイン値の少なくとも一方は負の値とされるようにすることができる。
【００１６】
前記陰影強調部には、前記立体画像上における被写体が手前側にあるほど、その被写体の領域のシャドウ成分が強調されるように、前記奥行きマップ画像に基づいて前記ゲイン値を定めさせることができる。
【００１７】
前記陰影強調部には、前記立体画像に関する外部ブロック情報に基づいて、前記立体画像に付加されるシャドウ成分の位置、大きさ、または形状が適応的に制御されるように、前記ゲイン値を定めさせることができる。
【００１８】
前記外部ブロック情報を、光源情報、空検出情報、シーン分類情報、ノイズ量計測情報、信号帯域計測情報、顔検出情報、テロップ検出情報、EPG情報、カメラ撮影情報、動き検出情報、またはユーザ嗜好情報の少なくとも何れかとすることができる。
【００１９】
画像処理装置には、前記立体画像の画像信号を、明暗成分を示す明暗信号と色成分を示す色信号とに分離させる分離部と、前記シャドウ信号が加算された前記明暗信号と、前記色信号とを合成して、前記立体画像の画像信号とする合成部とをさらに設け、前記陰影強調部には、前記ゲイン値を乗算した前記シャドウ信号を、前記明暗信号に加算させることができる。
【００２０】
前記陰影強調部には、前記立体画像が表示される表示装置のガンマ特性に基づいて前記ゲイン値を定めさせることができる。
【００２１】
前記立体画像の画像信号を、２眼若しくは複数眼のカメラで撮影して得られた画像信号とするか、または２次元画像を立体画像に変換して得られた画像信号とすることができる。
【００２２】
画像処理装置には、２次元画像の各領域の奥行きを示す単眼奥行きマップ画像に基づいて、前記２次元画像をシフトさせることで、前記立体画像の画像信号を生成する画像変換部と、前記画像変換部による前記２次元画像のシフト量に基づいて、前記単眼奥行きマップ画像をシフトさせることで、前記奥行きマップ画像を生成する奥行きマップ変換部とをさらに設けることができる。
【００２３】
画像処理装置には、前記立体画像を構成する右眼画像と左眼画像の視差を検出することで前記奥行きマップ画像を生成する奥行きマップ推定部をさらに設けることができる。
【００２４】
本技術の一側面の画像処理方法またはプログラムは、立体画像の各領域の奥行きを示す奥行きマップ画像を所定方向にシフトさせて、奥行きマップシフト画像を生成し、前記奥行きマップシフト画像に基づいて、シャドウ成分を示すシャドウ信号を生成し、前記シャドウ信号にゲイン値を乗算して前記立体画像の画像信号に加算することで、シャドウ成分が付加された前記立体画像の画像信号を生成するステップを含む。
【００２５】
本技術の一側面においては、立体画像の各領域の奥行きを示す奥行きマップ画像が所定方向にシフトされて、奥行きマップシフト画像が生成され、前記奥行きマップシフト画像に基づいて、シャドウ成分を示すシャドウ信号が生成され、前記シャドウ信号にゲイン値を乗算して前記立体画像の画像信号に加算することで、シャドウ成分が付加された前記立体画像の画像信号が生成される。
【発明の効果】
【００２６】
本技術の一側面によれば、より自然で奥行き感のある立体画像を得ることができる。
【図面の簡単な説明】
【００２７】
【図１】被写体への陰影付加について説明する図である。
【図２】オクルージョンの両眼非対応について説明する図である。
【図３】陰影強調処理について説明する図である。
【図４】画像処理装置の構成例を示す図である。
【図５】明暗信号抽出部の構成例を示す図である。
【図６】奥行きマップ推定部の構成例を示す図である。
【図７】視差検出について説明する図である。
【図８】平滑化部の構成例を示す図である。
【図９】位相シフト部の構成例を示す図である。
【図１０】陰影信号生成部の構成例を示す図である。
【図１１】陰影信号生成部の構成例を示す図である。
【図１２】陰影強調部の構成例を示す図である。
【図１３】陰影強調部の構成例を示す図である。
【図１４】陰影強調信号生成部の構成例を示す図である。
【図１５】陰影強調処理を説明するフローチャートである。
【図１６】画像処理装置の他の構成例を示す図である。
【図１７】ステレオ変換部の構成例を示す図である。
【図１８】陰影強調処理を説明するフローチャートである。
【図１９】画像処理装置の他の構成例を示す図である。
【図２０】陰影強調部の構成例を示す図である。
【図２１】奥行き適応ゲインについて説明する図である。
【図２２】陰影強調処理を説明するフローチャートである。
【図２３】陰影強調部の構成例を示す図である。
【図２４】光信号上での陰影強調の効果について説明する図である。
【図２５】ガンマ適応補正係数について説明する図である。
【図２６】陰影強調処理を説明するフローチャートである。
【図２７】陰影強調部の構成例を示す図である。
【図２８】補正係数について説明する図である。
【図２９】陰影強調処理を説明するフローチャートである。
【図３０】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２９】
〈第１の実施の形態〉
［本技術の概要について］
まず、本技術の概要について説明する。
【００３０】
本技術は、立体視可能なステレオ画像信号の奥行き感を強調するものである。
【００３１】
なお、以下では、ステレオ画像信号のうち、ユーザの右眼で観察されるように提示される右眼画像の画像信号をステレオ右眼画像信号と称し、ユーザの左眼で観察されるように提示される左眼画像の画像信号をステレオ左眼画像信号と称することとする。
【００３２】
また、ステレオ右眼画像信号とステレオ左眼画像信号とを特に区別する必要のない場合、単にステレオ画像信号とも称し、右眼画像と左眼画像に基づいて表示される画像を立体画像と称することとする。
【００３３】
従来、立体画像の奥行き感を強調する技術として、左右の画像の視差を利用したコントラスト強調処理や、微小視差を生成する微分処理による技術が提案されている。
【００３４】
しかし、そのような技術では、奥行き強調の度合いが視差量に依存するため、各被写体がディスプレイ面から奥側に提示される場合には、奥側に定位される被写体ほどコントラストやシャープネス効果が強調され、本来の奥行き感強調とは相反する作用をしてしまう。そうすると、自然な奥行き感の立体画像が得られなくなってしまう。
【００３５】
また、立体画像の両眼視差の大きさや、両眼視差の分布の広さを制御して奥行き感を向上させる技術もあるが、この技術では輻輳と調節の矛盾が原因で目が疲れやすくなってしまう。
【００３６】
ところで、ＣＧ（Computer Graphics）分野では、立体画像の両眼視差ではなく、単眼奥行き手がかりである陰影を強調する陰影強調処理で立体感を与える技術がある。このような陰影強調処理を立体画像に適用することを考える。
【００３７】
例えば、図１の左上側に示す２Ｄ画像（２次元画像）である画像ＴＤ１１上の被写体Ｈ１１に陰影強調処理を施すと、図中、右上側に示すようになる。すなわち、画像ＴＤ１１において、斜線が施されたシャドウ領域ＳＤ１１が、被写体Ｈ１１に付加された陰影（シャドウ）の領域を表しており、この例では被写体Ｈ１１の左右両側に影が付けられている。
【００３８】
２Ｄ画像に対して陰影強調処理を施すと、被写体Ｈ１１に付加されたシャドウ（影）の部分が絵画的手がかりとなって奥側に見えるため、奥行き感が強調される。
【００３９】
これに対して、図中、左下側に示す左眼画像ＰＬ１１と右眼画像ＰＲ１１からなる立体画像に対して陰影強調処理を施すと、図中、右下側に示すようになる。
【００４０】
すなわち、左眼画像ＰＬ１１において、斜線が施されたシャドウ領域ＳＤ１２が、被写体Ｈ１２に付加された陰影の領域を表している。同様に右眼画像ＰＲ１１において、斜線が施されたシャドウ領域ＳＤ１３が、被写体Ｈ１２に付加された陰影の領域を表している。この例では被写体Ｈ１２の左右両側に影が付けられている。
【００４１】
このように立体画像に陰影強調処理を施すと、単眼奥行き手がかりは強調されるが、大きな奥行き感の向上は得られないだけでなく、右眼画像と左眼画像を両眼融合すると不自然な陰影感が発生してしまう。
【００４２】
つまり、影の領域が被写体Ｈ１２等の前景被写体に付加されると、その前景被写体に付加された影の領域は前景被写体と同じ視差をもってしまうので、影の部分が前景被写体と同じように飛び出して見え、不自然になってしまう。
【００４３】
そこで、本技術では被写体に対して影（シャドウ）を付けるという単眼奥行き手がかりによる奥行き感向上に加え、被写体に影を付けるときに左眼画像または右眼画像で奥行きによる遮蔽関係を考慮することで、より自然な立体感を与えることができるようにする。具体的には、右眼画像の場合には、前景被写体の右側により大きくシャドウ（影）を付加し、左眼画像の場合には、前景被写体の左側により大きくシャドウを付加する。
【００４４】
このように遮蔽関係を考慮してシャドウを付加することは、「ダ・ビンチ立体視」と呼ばれるオクルージョンの両眼非対応を示す奥行き手がかりのみで、両眼視差が全くない状況でも奥行きを感じるという知見に基づいている。
【００４５】
例えば、図２の左側に示すようにユーザが右眼ＥＲ１１と左眼ＥＬ１１で被写体Ｈ２１と、その被写体Ｈ２１の後方にある被写体Ｈ２２を観察したとする。
【００４６】
このとき、ユーザの左眼ＥＬ１１には、被写体Ｈ２２の領域ＯＣ１１は見えるが、被写体Ｈ２２の領域ＯＣ１２は被写体Ｈ２１に隠れて見えない。これに対して、ユーザの右眼ＥＲ１１には、被写体Ｈ２２の領域ＯＣ１２は見えるが、被写体Ｈ２２の領域ＯＣ１１は被写体Ｈ２１に隠れて見えない。
【００４７】
したがって、ユーザの左眼ＥＬ１１では左眼画像ＰＬ２１が観察され、ユーザの右眼ＥＲ１１では右眼画像ＰＲ２１が観察されることになる。
【００４８】
左眼画像ＰＬ２１では、被写体Ｈ２１の左側に領域ＯＣ１１が見えており、被写体Ｈ２１の右側には領域ＯＣ１２が見えておらず、領域ＯＣ１２はオクルージョン領域となる。一方、右眼画像ＰＲ２１では、被写体Ｈ２１の右側に領域ＯＣ１２が見えており、被写体Ｈ２１の左側には領域ＯＣ１１が見えておらず、領域ＯＣ１１はオクルージョン領域となる。このように左眼画像ＰＬ２１と右眼画像ＰＲ２１に、オクルージョン領域という両眼非対応を示す奥行き手がかりがあると、左眼画像ＰＬ２１と右眼画像ＰＲ２１に視差がない場合であっても、ユーザは奥行きを感じる。
【００４９】
同様に、図２の右側に示すようにユーザが右眼ＥＲ１１と左眼ＥＬ１１で被写体Ｈ３１および被写体Ｈ３２と、それらの被写体の後方にある被写体Ｈ３３を観察したとする。
【００５０】
このとき、ユーザの左眼ＥＬ１１には、被写体Ｈ３１と被写体Ｈ３２の間から被写体Ｈ３３の領域ＯＣ２２は見えるが、被写体Ｈ３３の領域ＯＣ２１は被写体Ｈ３２に隠れて見えない。これに対して、ユーザの右眼ＥＲ１１には、被写体Ｈ３１と被写体Ｈ３２の間から被写体Ｈ３３の領域ＯＣ２１は見えるが、被写体Ｈ３３の領域ＯＣ２２は被写体Ｈ３１に隠れて見えない。
【００５１】
したがって、ユーザの左眼ＥＬ１１では左眼画像ＰＬ２２が観察され、ユーザの右眼ＥＲ１１では右眼画像ＰＲ２２が観察されることになる。
【００５２】
左眼画像ＰＬ２２では、右側に被写体Ｈ３３の領域ＯＣ２２が見えており、左側には被写体Ｈ３３の領域ＯＣ２１が見えておらず、領域ＯＣ２１はオクルージョン領域となる。一方、右眼画像ＰＲ２２では、左側に被写体Ｈ３３の領域ＯＣ２１が見えており、右側には被写体Ｈ３３の領域ＯＣ２２が見えておらず、領域ＯＣ２２はオクルージョン領域となる。このように左眼画像ＰＬ２２と右眼画像ＰＲ２２に、オクルージョン領域という両眼非対応を示す奥行き手がかりがあると、左眼画像ＰＬ２２と右眼画像ＰＲ２２に視差がない場合であっても、ユーザは奥行きを感じる。
【００５３】
なお、両眼非対応を示す奥行き手がかりについては、例えば「da Vinci stereopsis: depth and subjective occluding contours from unpaired image points, Vision Research, 30, 1811-1825」に記載されている。
【００５４】
本技術では、オクルージョン領域に対してより大きいシャドウ（影）を付けることで、オクルージョンの両眼非対応を示す奥行き手がかりと、シャドウという絵画的手がかりの相乗効果により、自然で奥行きが強調された立体画像が得られるようにする。
【００５５】
例えば、図３の上側に示すように左眼画像ＰＬ３１と右眼画像ＰＲ３１上に同じ被写体Ｈ４１があるとすると、左眼画像ＰＬ３１では被写体Ｈ４１の図中、左側に隣接する領域ＯＣ３１がオクルージョン領域となる。つまり、領域ＯＣ３１は右眼画像ＰＲ３１では観察されない領域、すなわち隠れて見えない領域である。これに対して、右眼画像ＰＲ３１では被写体Ｈ４１の図中、右側に隣接する領域ＯＣ３２がオクルージョン領域となる。
【００５６】
上述したように左眼画像ＰＬ３１と右眼画像ＰＲ３１において、被写体Ｈ４１の図中、左右の両側にシャドウを付加すると、図中、上から２段目に示すようになる。すなわち、左眼画像ＰＬ３１では、被写体Ｈ４１にシャドウ領域ＳＤ２１が付加され、右眼画像ＰＲ３１では、被写体Ｈ４１にシャドウ領域ＳＤ２２が付加される。
【００５７】
このように奥行きの前後関係を考慮せず、オクルージョンを無視して被写体Ｈ４１にシャドウを付加すると、シャドウ領域が前景である被写体Ｈ４１とともに飛び出して見えてしまい、不自然な画像となってしまう。
【００５８】
また、図中、上から３段目に示すように、被写体Ｈ４１のオクルージョン領域とは反対側にシャドウを付加したとする。この例では、左眼画像ＰＬ３１において被写体Ｈ４１の右側にシャドウ領域ＳＤ２３が付加され、右眼画像ＰＲ３１において被写体Ｈ４１の左側にシャドウ領域ＳＤ２４が付加されている。
【００５９】
このようにオクルージョン領域と反対側に影を付加すると、現実世界では有り得ない影とオクルージョンの関係になってしまう。そのため、左眼画像ＰＬ３１と右眼画像ＰＲ３１を両眼融合すると視野闘争が生じ、奥行きがわかりづらく見にくい画像となってしまう。
【００６０】
これに対して、本技術では、図中、４段目（最下段）に示すように、被写体Ｈ４１のオクルージョン領域にシャドウ領域が付加される。この例では、左眼画像ＰＬ３１において被写体Ｈ４１の左側、つまり領域ＯＣ３１の部分にシャドウ領域ＳＤ２５が付加され、右眼画像ＰＲ３１において被写体Ｈ４１の右側、つまり領域ＯＣ３２の部分にシャドウ領域ＳＤ２６が付加されている。
【００６１】
このようにオクルージョン領域にシャドウ領域を付加することで、オクルージョンの両眼非対応を示す奥行き手がかりと、影という絵画的手掛かりの相乗効果で、より奥行きが強調されて自然な立体画像が得られるようになる。このような陰影強調処理により、実世界でオクルージョン領域を知覚する場合と同じ状況となるので、視野闘争を起こさずに奥行き感を向上させることができる。
【００６２】
さらに、本技術では、右眼画像と左眼画像中の空間的に同一の位置、例えば前景の凸部分に対して、光沢成分（ハイライト）が付加され、その際、付加するハイライト成分の量が左眼画像と右眼画像とで適切に異なる量に調整される。これにより、適度な視野闘争を知覚させて光沢感を増加させることができ、上述の被写体に対する陰影の付加による効果と合わせて、よりいっそう奥行き感，臨場感を向上させることができる。
【００６３】
［画像処理装置の構成例］
次に、本技術を適用した具体的な実施の形態について説明する。図４は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００６４】
画像処理装置１１は、明暗信号抽出部２１、奥行きマップ推定部２２、平滑化部２３−Ｌ、平滑化部２３−Ｒ、位相シフト部２４、陰影信号生成部２５−Ｌ、陰影信号生成部２５−Ｒ、陰影強調部２６−Ｌ、陰影強調部２６−Ｒ、および陰影強調信号生成部２７から構成される。
【００６５】
画像処理装置１１では、明暗信号抽出部２１および奥行きマップ推定部２２にステレオ左眼画像信号とステレオ右眼画像信号が供給される。例えば、ステレオ左眼画像信号とステレオ右眼画像信号は、２眼または複数眼のカメラにより撮影して得られた立体画像の画像信号である。
【００６６】
また、平滑化部２３−Ｌ乃至陰影強調部２６−Ｒには、例えばユーザにより指定された、立体画像の被写体に対して光を照射する光源の種類や、その光の照射方向を示す指定光源情報が画像処理装置１１の外部から供給される。
【００６７】
なお、以下では、立体画像において光源からの光は被写体の左側から右方向に照射されるものとして説明を続けるが、光の照射方向が左方向である場合には、右方向における場合と反対の関係になるので、右方向における場合と同様の処理で実現可能である。
【００６８】
明暗信号抽出部２１は、供給されたステレオ画像信号の明るさを示す成分と色成分とを分離する。
【００６９】
すなわち、明暗信号抽出部２１は、ステレオ左眼画像信号から明るさを示す成分である左眼画像明暗信号を抽出して、陰影強調部２６−Ｌに供給するとともに、ステレオ左眼画像信号から色成分である左眼画像色信号を抽出して、陰影強調信号生成部２７に供給する。
【００７０】
また、明暗信号抽出部２１は、ステレオ右眼画像信号から明るさを示す成分である右眼画像明暗信号を抽出して、陰影強調部２６−Ｒに供給するとともに、ステレオ右眼画像信号から色成分である右眼画像色信号を抽出して、陰影強調信号生成部２７に供給する。
【００７１】
なお、以下、左眼画像明暗信号と右眼画像明暗信号を特に区別する必要のない場合、単に明暗信号とも称し、左眼画像色信号と右眼画像色信号を特に区別する必要のない場合、単に色信号とも称することとする。
【００７２】
奥行きマップ推定部２２は、供給されたステレオ左眼画像信号とステレオ右眼画像信号に基づいて立体画像の奥行き情報を推定し、その推定結果として得られた左基準奥行きマップ画像と右基準奥行きマップ画像を出力する。奥行きマップ推定部２２は、左基準奥行きマップ画像を平滑化部２３−Ｌに供給し、右基準奥行きマップ画像を平滑化部２３−Ｒに供給する。
【００７３】
ここで、左基準奥行きマップ画像および右基準奥行きマップ画像は、それぞれ左眼画像および右眼画像を基準として求めた、左右の画像の各領域の奥行きを示す情報である。以下、左基準奥行きマップ画像と右基準奥行きマップ画像を特に区別する必要のない場合、単に奥行きマップ画像とも称することとする。
【００７４】
平滑化部２３−Ｌは、供給された指定光源情報に基づいて、奥行きマップ推定部２２から供給された左基準奥行きマップ画像に対して平滑化処理を施し、その結果得られた左基準奥行きマップ平滑化画像を位相シフト部２４に供給する。
【００７５】
同様に、平滑化部２３−Ｒは、供給された指定光源情報に基づいて、奥行きマップ推定部２２から供給された右基準奥行きマップ画像に対して平滑化処理を施し、その結果得られた右基準奥行きマップ平滑化画像を位相シフト部２４に供給する。
【００７６】
なお、以下、平滑化部２３−Ｌと平滑化部２３−Ｒを特に区別する必要のない場合、単に平滑化部２３とも称することとする。また、以下、左基準奥行きマップ平滑化画像および右基準奥行きマップ平滑化画像を特に区別する必要のない場合、単に奥行きマップ平滑化画像とも称することとする。
【００７７】
位相シフト部２４は、供給された指定光源情報に基づいて、平滑化部２３−Ｌからの左基準奥行きマップ平滑化画像に対し、左方向および右方向の各方向への位相シフトを行い、左基準奥行きマップ左シフト画像および左基準奥行きマップ右シフト画像を生成する。位相シフト部２４は、左基準奥行きマップ平滑化画像、左基準奥行きマップ左シフト画像、および左基準奥行きマップ右シフト画像を陰影信号生成部２５−Ｌに供給する。
【００７８】
また、位相シフト部２４は、指定光源情報に基づいて、平滑化部２３−Ｒからの右基準奥行きマップ平滑化画像に対して、左方向および右方向の各方向への位相シフトを行い、右基準奥行きマップ左シフト画像および右基準奥行きマップ右シフト画像を生成する。位相シフト部２４は、右基準奥行きマップ平滑化画像、右基準奥行きマップ左シフト画像、および右基準奥行きマップ右シフト画像を陰影信号生成部２５−Ｒに供給する。
【００７９】
陰影信号生成部２５−Ｌは、供給された指定光源情報と、位相シフト部２４からの左基準奥行きマップ平滑化画像、左基準奥行きマップ左シフト画像、および左基準奥行きマップ右シフト画像とに基づいて、左眼画像用ハイライト信号、左眼画像用左側シャドウ信号、および左眼画像用右側シャドウ信号を生成し、陰影強調部２６−Ｌに供給する。
【００８０】
ここで、左眼画像用ハイライト信号は、左眼画像に付加されるハイライト成分の信号である。また、左眼画像用左側シャドウ信号は、左眼画像の被写体の左側に付加されるシャドウ成分の信号であり、左眼画像用右側シャドウ信号は、左眼画像の被写体の右側に付加されるシャドウ成分の信号である。
【００８１】
陰影信号生成部２５−Ｒは、供給された指定光源情報と、位相シフト部２４から供給された右基準奥行きマップ平滑化画像、右基準奥行きマップ左シフト画像、および右基準奥行きマップ右シフト画像とに基づいて、右眼画像用ハイライト信号、右眼画像用左側シャドウ信号、および右眼画像用右側シャドウ信号を生成し、陰影強調部２６−Ｒに供給する。
【００８２】
ここで、右眼画像用ハイライト信号は、右眼画像に付加されるハイライト成分の信号である。また、右眼画像用左側シャドウ信号は、右眼画像の被写体の左側に付加されるシャドウ成分の信号であり、右眼画像用右側シャドウ信号は、右眼画像の被写体の右側に付加されるシャドウ成分の信号である。
【００８３】
なお、以下、陰影信号生成部２５−Ｌおよび陰影信号生成部２５−Ｒを特に区別する必要のない場合、単に陰影信号生成部２５とも称する。
【００８４】
陰影強調部２６−Ｌは、供給された指定光源情報と、陰影信号生成部２５−Ｌから供給された左眼画像用ハイライト信号、左眼画像用左側シャドウ信号、および左眼画像用右側シャドウ信号とに基づいて、明暗信号抽出部２１からの左眼画像明暗信号に対する陰影強調処理を行ない、その結果得られた左眼画像明暗強調信号を陰影強調信号生成部２７に供給する。ここで、左眼画像明暗強調信号は、左眼画像用ハイライト信号、左眼画像用左側シャドウ信号、および左眼画像用右側シャドウ信号の各信号成分が、指定光源情報に基づいて左眼画像明暗信号に足し込まれて得られた信号である。つまり、被写体に対してシャドウ領域やハイライト領域が設けられた明暗信号である。
【００８５】
陰影強調部２６−Ｒは、供給された指定光源情報と、陰影信号生成部２５−Ｒから供給された右眼画像用ハイライト信号、右眼画像用左側シャドウ信号、および右眼画像用右側シャドウ信号とに基づいて、明暗信号抽出部２１からの右眼画像明暗信号に対する陰影強調処理を行ない、その結果得られた右眼画像明暗強調信号を陰影強調信号生成部２７に供給する。ここで、右眼画像明暗強調信号は、右眼画像用ハイライト信号、右眼画像用左側シャドウ信号、および右眼画像用右側シャドウ信号の各信号成分が、指定光源情報に基づいて右眼画像明暗信号に足し込まれて得られた信号である。
【００８６】
なお、以下、陰影強調部２６−Ｌおよび陰影強調部２６−Ｒを特に区別する必要のない場合、単に陰影強調部２６とも称する。また、以下、左眼画像明暗強調信号と右眼画像明暗強調信号を特に区別する必要のない場合、単に明暗強調信号とも称する。
【００８７】
陰影強調信号生成部２７は、陰影強調部２６−Ｌから供給された左眼画像明暗強調信号と、明暗信号抽出部２１から供給された左眼画像色信号とを合成し、得られた出力ステレオ左眼画像信号を出力する。
【００８８】
同様に、陰影強調信号生成部２７は、陰影強調部２６−Ｒから供給された右眼画像明暗強調信号と、明暗信号抽出部２１から供給された右眼画像色信号とを合成し、得られた出力ステレオ右眼画像信号を出力する。このようにして陰影強調信号生成部２７から出力される出力ステレオ左眼画像信号および出力ステレオ右眼画像信号が、被写体にシャドウ領域やハイライト成分が付加された、最終的な左眼画像と右眼画像のステレオ画像信号である。
【００８９】
なお、以下、出力ステレオ左眼画像信号と出力ステレオ右眼画像信号を特に区別する必要のない場合、単に出力ステレオ画像信号とも称する。
【００９０】
［明暗信号抽出部の構成例］
さらに、図４の画像処理装置１１の各部のより詳細な構成例について説明する。
【００９１】
図５は、明暗信号抽出部２１のより詳細な構成例を示す図である。
【００９２】
明暗信号抽出部２１は、明暗色成分分離部５１−Ｌおよび明暗色成分分離部５１−Ｒから構成される。
【００９３】
明暗色成分分離部５１−Ｌは、供給されたステレオ左眼画像信号を、左眼画像明暗信号と左眼画像色信号とに分離して、左眼画像明暗信号を陰影強調部２６−Ｌに供給するとともに、左眼画像色信号を陰影強調信号生成部２７に供給する。
【００９４】
例えば、ステレオ左眼画像信号に対して色変換が行なわれ、その結果得られた明暗を示す信号、例えば輝度や明度を示す信号が左眼画像明暗信号とされ、色変換により得られた色を示す信号、例えば色差、色相、彩度を示す信号が左眼画像色信号とされる。
【００９５】
具体的には、ステレオ左眼画像信号がＲＧＢ信号である場合、明暗色成分分離部５１−Ｌは、ステレオ左眼画像信号に対する色変換を行なって、ステレオ左眼画像信号をＲＧＢ信号からＹＵＶ（ＹＣｂＣｒ）信号に変換する。そして、明暗色成分分離部５１−Ｌは、得られたＹＵＶ信号のうち、Ｙ（輝度）成分を左眼画像明暗信号とし、Ｕ（色差）成分およびＶ（色差）成分を左眼画像色信号とする。
【００９６】
また、例えばステレオ左眼画像信号がＲＧＢ信号である場合、明暗色成分分離部５１−Ｌは、ステレオ左眼画像信号に対する色変換を行なって、ステレオ左眼画像信号をＲＧＢ信号からＨＳＶ信号に変換する。そして、明暗色成分分離部５１−Ｌは、得られたＨＳＶ信号のうち、Ｖ（明度）成分を左眼画像明暗信号とし、Ｓ（彩度）成分およびＨ（色相）成分を左眼画像色信号とする。
【００９７】
同様に、明暗色成分分離部５１−Ｒは、供給されたステレオ右眼画像信号を、右眼画像明暗信号と右眼画像色信号とに分離して、右眼画像明暗信号を陰影強調部２６−Ｒに供給するとともに、右眼画像色信号を陰影強調信号生成部２７に供給する。
【００９８】
明暗色成分分離部５１−Ｒにおいても、明暗色成分分離部５１−Ｌにおける場合と同様の色変換が行なわれて明暗信号と色信号が生成される。なお、明暗色成分分離部５１−Ｌや明暗色成分分離部５１−Ｒにおいて行なわれる色変換は、ステレオ画像信号を明暗成分と色成分とに分離することができるものであれば、どのような方法であってもよい。
【００９９】
また、以下、明暗色成分分離部５１−Ｌと明暗色成分分離部５１−Ｒを特に区別する必要のない場合、単に明暗色成分分離部５１とも称する。
【０１００】
［奥行きマップ推定部の構成例］
さらに、図６は、奥行きマップ推定部２２の構成例を示す図である。奥行きマップ推定部２２は、視差検出部８１および視差／奥行き変換部８２から構成される。
【０１０１】
視差検出部８１は、供給されたステレオ左眼画像信号とステレオ右眼画像信号に対して、ブロックマッチングなどの対応点検出処理を行なって、左右の画像の各画素の視差情報を検出する。
【０１０２】
例えば、視差検出部８１は図７の上側に示すようにステレオ画像信号に基づく画像として、左眼画像ＰＬ４１と右眼画像ＰＲ４１が供給された場合、左眼画像ＰＬ４１上の任意の領域をブロックＢＬ１１とする。そして、視差検出部８１は、ブロックマッチングにより、ブロックＢＬ１１と最も類似する領域を右眼画像ＰＲ４１から検出することで、左眼画像ＰＬ４１の各領域に対応する右眼画像ＰＲ４１の領域を検出する。
【０１０３】
さらに、視差検出部８１は左眼画像ＰＬ４１の各領域について、それらの領域と右眼画像ＰＲ４１の対応する領域との視差を求め、その視差の値を画素の画素値とする左基準視差マップ画像ＬＤＰ１１を視差情報として生成する。したがって、左基準視差マップ画像ＬＤＰ１１の所定の画素を注目画素とすると、注目画素の画素値は、注目画素と同じ位置にある左眼画像ＰＬ４１の画素と、その画素に対応する右眼画像ＰＲ４１の画素との視差の値、つまりそれらの画素間の距離となる。
【０１０４】
同様に、図中、下側に示すように、視差検出部８１はブロックマッチングにより、右眼画像ＰＲ４１上の任意のブロックＢＬ１２と最も類似する領域を左眼画像ＰＬ４１から検出することで、右眼画像ＰＲ４１の各領域に対応する左眼画像ＰＬ４１の領域を検出する。そして、視差検出部８１は、右眼画像ＰＲ４１の各領域について、それらの領域と左眼画像ＰＬ４１の対応する領域との視差を求め、その視差の値を画素の画素値とする右基準視差マップ画像ＲＤＰ１１を視差情報として生成する。
【０１０５】
なお、より高精度な視差情報を得るために、左基準視差マップ画像と右基準視差マップ画像との対応関係を求めて、視差の整合性をチェックしたり、オクルージョン検出を行なったりするなど、他の手法と組み合わせて視差情報を得るようにしてもよい。また、左基準視差マップ画像や右基準視差マップ画像の生成方法は、どのような方法であってもよい。
【０１０６】
図６の説明に戻り、視差検出部８１は、供給されたステレオ左眼画像信号とステレオ右眼画像信号から得られた左基準視差マップ画像と右基準視差マップ画像を、検出した視差情報として視差／奥行き変換部８２に供給する。
【０１０７】
視差／奥行き変換部８２は、三角測量の原理に基づいて、視差検出部８１から供給された、各領域の視差量を示す左基準視差マップ画像を、相対的な奥行き量を示す左基準奥行きマップ画像に変換し、平滑化部２３−Ｌに供給する。
【０１０８】
同様に、視差／奥行き変換部８２は、三角測量の原理に基づいて、視差検出部８１から供給された右基準視差マップ画像を、相対的な奥行き量を示す右基準奥行きマップ画像に変換し、平滑化部２３−Ｒに供給する。
【０１０９】
ここで、左基準奥行きマップ画像や右基準奥行きマップ画像の画素の画素値が大きいほど、その画素に対応する立体画像の被写体は、立体画像を観察するユーザから見て手前側に定位する（再現される）。例えば、左基準奥行きマップ画像や右基準奥行きマップ画像の画素の画素値は、０乃至２５５の間の値などとされる。
【０１１０】
なお、以下、左基準視差マップ画像および右基準視差マップ画像を特に区別する必要のない場合、単に視差マップ画像とも称する。
【０１１１】
［平滑化部の構成例］
また、図８は平滑化部２３のより詳細な構成例を示す図である。
【０１１２】
平滑化部２３は、フィルタ特性決定部１１１および平滑化処理部１１２から構成される。
【０１１３】
フィルタ特性決定部１１１には、指定光源情報が供給される。この指定光源情報には、例えば点光源、平行光源、面光源などの光源の種類を示す情報や、その光源から被写体に照射される光の方向を示す情報などが含まれている。また、平滑化処理部１１２には、奥行きマップ画像として、奥行きマップ推定部２２の視差／奥行き変換部８２から、左基準奥行きマップ画像または右基準奥行きマップ画像が供給される。
【０１１４】
フィルタ特性決定部１１１は、供給された指定光源情報により示される光源の種類に基づいて、平滑化処理部１１２で用いられるローパスフィルタの周波数特性を決定し、その決定結果を示すフィルタ特性情報を平滑化処理部１１２に供給する。
【０１１５】
具体的には、例えば指定光源情報により示される光源の種類が点光源である場合、立体画像の影のエッジがシャープにでるので、あまりぼかさない特性、つまりカットオフ周波数が高いローパスフィルタが選択される。そして、選択されたローパスフィルタの周波数特性を示すフィルタ特性情報が、フィルタ特性決定部１１１から平滑化処理部１１２に供給される。
【０１１６】
また、例えば指定光源情報により示される光源の種類が面光源である場合、立体画像の影のエッジがぼけたように発生するので、よりぼかす特性、つまりカットオフ周波数が低いローパスフィルタが選択される。そして、選択されたローパスフィルタの周波数特性を示すフィルタ特性情報が、平滑化処理部１１２に供給される。
【０１１７】
平滑化処理部１１２は、フィルタ特性決定部１１１から供給されたフィルタ特性情報により示される周波数特性のローパスフィルタを用いて、視差／奥行き変換部８２から供給された奥行きマップ画像に対して平滑化処理（フィルタ処理）を施す。そして、平滑化処理部１１２は、フィルタ処理により得られた奥行きマップ平滑化画像を位相シフト部２４に供給する。
【０１１８】
なお、平滑化処理に用いられるローパスフィルタは、例えばガウシアンフィルタなどのFIR（Finite Impulse Response）型のローパスフィルタであってもよいし、巡回型、つまりIIR（Infinite Impulse Response）型のローパスフィルタであってもよい。
【０１１９】
［位相シフト部の構成例］
さらに、図９は、位相シフト部２４のより詳細な構成例を示す図である。
【０１２０】
位相シフト部２４は、左シフト処理部１４１、右シフト処理部１４２、左シフト処理部１４３、および右シフト処理部１４４から構成される。
【０１２１】
位相シフト部２４は、供給された指定光源情報により示される光源からの光の方向によって、２種類の方向に奥行きマップ平滑化画像をシフトする処理を行なう。例えば、指定光源情報により示される光源からの光の方向が右方向である場合、左方向、つまり光源側への方向と、右方向、つまり光源側とは逆側の方向へのシフト処理が行なわれる。
【０１２２】
左シフト処理部１４１は、平滑化部２３−Ｌの平滑化処理部１１２から供給された左基準奥行きマップ平滑化画像を、供給された指定光源情報により示される光の方向とは逆の方向、つまり左方向にシフトして左基準奥行きマップ左シフト画像とし、陰影信号生成部２５−Ｌに供給する。
【０１２３】
右シフト処理部１４２は、平滑化部２３−Ｌの平滑化処理部１１２から供給された左基準奥行きマップ平滑化画像を、供給された指定光源情報により示される光の方向、つまり右方向にシフトして左基準奥行きマップ右シフト画像とし、陰影信号生成部２５−Ｌに供給する。
【０１２４】
また、位相シフト部２４から陰影信号生成部２５−Ｌには、位相シフト部２４に供給された左基準奥行きマップ平滑化画像もそのまま供給される。
【０１２５】
左シフト処理部１４３は、平滑化部２３−Ｒの平滑化処理部１１２から供給された右基準奥行きマップ平滑化画像を、供給された指定光源情報により示される光の方向とは逆の方向、つまり左方向にシフトして右基準奥行きマップ左シフト画像とし、陰影信号生成部２５−Ｒに供給する。
【０１２６】
右シフト処理部１４４は、平滑化部２３−Ｒの平滑化処理部１１２から供給された右基準奥行きマップ平滑化画像を、供給された指定光源情報により示される光の方向、つまり右方向にシフトして右基準奥行きマップ右シフト画像とし、陰影信号生成部２５−Ｒに供給する。
【０１２７】
また、位相シフト部２４から陰影信号生成部２５−Ｒには、位相シフト部２４に供給された右基準奥行きマップ平滑化画像もそのまま供給される。
【０１２８】
図９の例では、左基準奥行きマップ平滑化画像ＬＳＰ１１が、矢印Ａ１１の方向、つまり図中、左方向にシフト（平行移動）されて左基準奥行きマップ左シフト画像ＬＬＰ１１とされている。したがって、左基準奥行きマップ左シフト画像ＬＬＰ１１では、被写体の領域の位置が、左基準奥行きマップ平滑化画像ＬＳＰ１１における同じ被写体の位置よりもシフト量の分だけ図中、左側にずれている。
【０１２９】
また、左基準奥行きマップ平滑化画像ＬＳＰ１１が、矢印Ａ１２の方向、つまり図中、右方向にシフトされて左基準奥行きマップ右シフト画像ＬＲＰ１１とされている。したがって、左基準奥行きマップ右シフト画像ＬＲＰ１１では、被写体の領域の位置が、左基準奥行きマップ平滑化画像ＬＳＰ１１における同じ被写体の位置よりもシフト量の分だけ図中、右側にずれている。
【０１３０】
同様に、右基準奥行きマップ平滑化画像ＲＳＰ１１が、矢印Ａ１３の方向、つまり図中、左方向にシフトされて右基準奥行きマップ左シフト画像ＲＬＰ１１とされている。さらに右基準奥行きマップ平滑化画像ＲＳＰ１１が、矢印Ａ１４の方向、つまり図中、右方向にシフトされて右基準奥行きマップ右シフト画像ＲＲＰ１１とされている。
【０１３１】
なお、左シフト処理部１４１乃至右シフト処理部１４４におけるシフト処理でのシフト量は、同じであってもよいし異なる量であってもよい。
【０１３２】
例えば、光源からの光が被写体に対して左側から照射されている場合、陰影信号生成部２５において行なわれるシャドウ成分の生成を考慮して、シフト量が定められる。具体的には、左シフト処理部１４３におけるシフト量を、右シフト処理部１４４におけるシフト量よりも小さくすることで、右眼画像の前景被写体の左側のシャドウ領域の幅を、右側のシャドウ領域の幅よりも小さくすることができる。つまり、被写体のオクルージョン領域側のシャドウ領域の幅をより広くし、自然な陰影付けを施すことができる。
【０１３３】
これは、左シフト処理部１４１と右シフト処理部１４２におけるシフト量についても、同様の設定を行なうことができる。また、光源の方向（被写体に照射される光の方向）に応じて、他の組み合わせでシフト量の大小関係が決定されてもよい。さらに、シャドウ成分における場合と同様に、ハイライト成分についてもシフト量を調整することで、ハイライト領域の幅等を調整することができる。
【０１３４】
［陰影信号生成部の構成例］
さらに、図４の陰影信号生成部２５の構成について説明する。
【０１３５】
図１０は、陰影信号生成部２５−Ｌのより詳細な構成例を示す図である。
【０１３６】
陰影信号生成部２５−Ｌは、減算部１７１、減算部１７２、および左眼用ハイライトシャドウ抽出部１７３から構成される。
【０１３７】
減算部１７１は、左シフト処理部１４１から供給された左基準奥行きマップ左シフト画像と、位相シフト部２４から供給された左基準奥行きマップ平滑化画像との差分を求め、その結果得られた差分信号を左眼用ハイライトシャドウ抽出部１７３に供給する。
【０１３８】
具体的には、左基準奥行きマップ平滑化画像から左基準奥行きマップ左シフト画像が減算される。これにより、例えば差分画像ＤＦＰ１１の画像信号が差分信号として得られる。差分画像ＤＦＰ１１では、矢印Ｑ１１に示す部分の領域の各画素の画素値は正の値となっており、矢印Ｑ１２に示す部分の領域の各画素の画素値は負の値となっている。
【０１３９】
減算部１７２は、右シフト処理部１４２から供給された左基準奥行きマップ右シフト画像と、位相シフト部２４から供給された左基準奥行きマップ平滑化画像との差分を求め、その結果得られた差分信号を左眼用ハイライトシャドウ抽出部１７３に供給する。
【０１４０】
具体的には、左基準奥行きマップ平滑化画像から左基準奥行きマップ右シフト画像が減算される。これにより、例えば差分画像ＤＦＰ１２の画像信号が差分信号として得られる。差分画像ＤＦＰ１２では、矢印Ｑ１３に示す部分の領域の各画素の画素値は負の値となっており、矢印Ｑ１４に示す部分の領域の各画素の画素値は正の値となっている。
【０１４１】
図１０の例では、左基準奥行きマップ左シフト画像ＬＬＰ１１は、左基準奥行きマップ平滑化画像ＬＳＰ１１を左側にシフトさせたものである。したがって、左基準奥行きマップ左シフト画像ＬＬＰ１１と左基準奥行きマップ平滑化画像ＬＳＰ１１との差分を求めることで得られる差分信号の差分画像ＤＦＰ１１は、被写体の左側の領域の画素の画素値が負の値となり、被写体の右側の領域の画素の画素値が正の値となる。
【０１４２】
また、左基準奥行きマップ右シフト画像ＬＲＰ１１は、左基準奥行きマップ平滑化画像ＬＳＰ１１を右側にシフトさせたものである。したがって、左基準奥行きマップ右シフト画像ＬＲＰ１１と左基準奥行きマップ平滑化画像ＬＳＰ１１の差分を求めることで得られる差分信号の差分画像ＤＦＰ１２は、被写体の左側の領域の画素の画素値が正の値となり、被写体の右側の領域の画素の画素値が負の値となる。
【０１４３】
左眼用ハイライトシャドウ抽出部１７３は、供給された指定光源情報と、減算部１７１および減算部１７２からの差分信号とに基づいて、左眼画像用ハイライト信号、左眼画像用左側シャドウ信号、および左眼画像用右側シャドウ信号を生成し、陰影強調部２６−Ｌに供給する。
【０１４４】
例えば、指定光源情報により示される光の方向が右方向である、つまり被写体に対して光源が左側であるとする。この場合、左眼用ハイライトシャドウ抽出部１７３は、前景被写体の左側部分にハイライト成分を生成するため、減算部１７２から供給された差分信号の画素値が正の値である画素からなる領域部分を抽出し、左眼画像用ハイライト信号として出力する。
【０１４５】
すなわち、差分画像ＤＦＰ１２における画素値が正の値である画素からなる領域、つまり矢印Ｑ１４に示した領域が抽出される。そして、抽出された領域と同じ位置にある、左眼画像用ハイライト信号に基づく画像ＬＨＳ１１の領域、すなわち矢印Ｑ１５に示す領域の各画素の画素値が、抽出された領域の各画素の画素値の値とされ、画像ＬＨＳ１１の他の領域の画素の画素値は０とされる。
【０１４６】
また、左眼用ハイライトシャドウ抽出部１７３は、減算部１７１から供給された差分信号の画素値が負の値である画素からなる領域部分を抽出し、左眼画像用左側シャドウ信号として出力する。
【０１４７】
すなわち、差分画像ＤＦＰ１１における画素値が負の値である画素からなる領域、つまり矢印Ｑ１２に示した領域が抽出される。そして、抽出された領域と同じ位置にある、左眼画像用左側シャドウ信号に基づく画像ＬＬＳ１１の領域、すなわち矢印Ｑ１６に示す領域の各画素の画素値が、抽出された領域の各画素の画素値の値とされ、画像ＬＬＳ１１の他の領域の画素の画素値は０とされる。したがって、画像ＬＬＳ１１は前景被写体の左側のシャドウ領域を示す画像となる。
【０１４８】
さらに、左眼用ハイライトシャドウ抽出部１７３は、減算部１７２から供給された差分信号の画素値が負の値である画素からなる領域部分を抽出し、左眼画像用右側シャドウ信号として出力する。
【０１４９】
すなわち、差分画像ＤＦＰ１２における画素値が負の値である画素からなる領域、つまり矢印Ｑ１３に示した領域が抽出される。そして、抽出された領域と同じ位置にある、左眼画像用右側シャドウ信号に基づく画像ＬＲＳ１１の領域、すなわち矢印Ｑ１７に示す領域の各画素の画素値が、抽出された領域の各画素の画素値の値とされ、画像ＬＲＳ１１の他の領域の画素の画素値は０とされる。したがって、画像ＬＲＳ１１は前景被写体の右側のシャドウ領域を示す画像となる。
【０１５０】
図１１は、陰影信号生成部２５−Ｒのより詳細な構成例を示す図である。
【０１５１】
陰影信号生成部２５−Ｒは、減算部２０１、減算部２０２、および右眼用ハイライトシャドウ抽出部２０３から構成される。
【０１５２】
減算部２０１は、左シフト処理部１４３から供給された右基準奥行きマップ左シフト画像と、位相シフト部２４から供給された右基準奥行きマップ平滑化画像との差分を求め、その結果得られた差分信号を右眼用ハイライトシャドウ抽出部２０３に供給する。
【０１５３】
具体的には、右基準奥行きマップ平滑化画像から右基準奥行きマップ左シフト画像が減算される。これにより、例えば差分画像ＤＦＰ２１の画像信号が差分信号として得られる。差分画像ＤＦＰ２１では、矢印Ｑ２１に示す部分の領域の各画素の画素値は正の値となっており、矢印Ｑ２２に示す部分の領域の各画素の画素値は負の値となっている。
【０１５４】
減算部２０２は、右シフト処理部１４４から供給された右基準奥行きマップ右シフト画像と、位相シフト部２４から供給された右基準奥行きマップ平滑化画像との差分を求め、その結果得られた差分信号を右眼用ハイライトシャドウ抽出部２０３に供給する。
【０１５５】
具体的には、右基準奥行きマップ平滑化画像から右基準奥行きマップ右シフト画像が減算される。これにより、例えば差分画像ＤＦＰ２２の画像信号が差分信号として得られる。差分画像ＤＦＰ２２では、矢印Ｑ２３に示す部分の領域の各画素の画素値は負の値となっており、矢印Ｑ２４に示す部分の領域の各画素の画素値は正の値となっている。
【０１５６】
図１１の例では、右基準奥行きマップ左シフト画像ＲＬＰ１１は、右基準奥行きマップ平滑化画像ＲＳＰ１１を左側にシフトさせたものである。したがって、右基準奥行きマップ左シフト画像ＲＬＰ１１と右基準奥行きマップ平滑化画像ＲＳＰ１１との差分を求めることで得られる差分信号の差分画像ＤＦＰ２１は、被写体の左側の領域の画素の画素値が負の値となり、被写体の右側の領域の画素の画素値が正の値となる。
【０１５７】
また、右基準奥行きマップ右シフト画像ＲＲＰ１１は、右基準奥行きマップ平滑化画像ＲＳＰ１１を右側にシフトさせたものである。したがって、右基準奥行きマップ右シフト画像ＲＲＰ１１と右基準奥行きマップ平滑化画像ＲＳＰ１１の差分を求めることで得られる差分信号の差分画像ＤＦＰ２２は、被写体の左側の領域の画素の画素値が正の値となり、被写体の右側の領域の画素の画素値が負の値となる。
【０１５８】
右眼用ハイライトシャドウ抽出部２０３は、供給された指定光源情報と、減算部２０１および減算部２０２からの差分信号とに基づいて、右眼画像用ハイライト信号、右眼画像用左側シャドウ信号、および右眼画像用右側シャドウ信号を生成し、陰影強調部２６−Ｒに供給する。
【０１５９】
例えば、指定光源情報により示される光の方向が右方向である、つまり被写体に対して光源が左側であるとする。この場合、右眼用ハイライトシャドウ抽出部２０３は、前景被写体の左側部分にハイライト成分を生成するため、減算部２０２から供給された差分信号の画素値が正の値である画素からなる領域部分を抽出し、右眼画像用ハイライト信号として出力する。
【０１６０】
すなわち、差分画像ＤＦＰ２２における画素値が正の値である画素からなる領域、つまり矢印Ｑ２４に示した領域が抽出される。そして、抽出された領域と同じ位置にある、右眼画像用ハイライト信号に基づく画像ＲＨＳ１１の領域、すなわち矢印Ｑ２５に示す領域の各画素の画素値が、抽出された領域の各画素の画素値の値とされ、画像ＲＨＳ１１の他の領域の画素の画素値は０とされる。なお、画像ＲＨＳ１１は、図１０に示した画像ＬＨＳ１１と同じ画像となる。
【０１６１】
また、右眼用ハイライトシャドウ抽出部２０３は、減算部２０１から供給された差分信号の画素値が負の値である画素からなる領域部分を抽出し、右眼画像用左側シャドウ信号として出力する。
【０１６２】
すなわち、差分画像ＤＦＰ２１における画素値が負の値である画素からなる領域、つまり矢印Ｑ２２に示した領域が抽出される。そして、抽出された領域と同じ位置にある、右眼画像用左側シャドウ信号に基づく画像ＲＬＳ１１の領域、すなわち矢印Ｑ２６に示す領域の各画素の画素値が、抽出された領域の各画素の画素値の値とされ、画像ＲＬＳ１１の他の領域の画素の画素値は０とされる。したがって、画像ＲＬＳ１１は前景被写体の左側のシャドウ領域を示す画像となる。
【０１６３】
さらに、右眼用ハイライトシャドウ抽出部２０３は、減算部２０２から供給された差分信号の画素値が負の値である画素からなる領域部分を抽出し、右眼画像用右側シャドウ信号として出力する。
【０１６４】
すなわち、差分画像ＤＦＰ２２における画素値が負の値である画素からなる領域、つまり矢印Ｑ２３に示した領域が抽出される。そして、抽出された領域と同じ位置にある、右眼画像用右側シャドウ信号に基づく画像ＲＲＳ１１の領域、すなわち矢印Ｑ２７に示す領域の各画素の画素値が、抽出された領域の各画素の画素値の値とされ、画像ＲＲＳ１１の他の領域の画素の画素値は０とされる。したがって、画像ＲＲＳ１１は前景被写体の右側のシャドウ領域を示す画像となる。
【０１６５】
［陰影強調部の構成例］
続いて、図４の陰影強調部２６の構成について説明する。
【０１６６】
図１２は、陰影強調部２６−Ｌのより詳細な構成例を示す図である。
【０１６７】
陰影強調部２６−Ｌは、左眼用ハイライトゲイン制御部２３１、左眼用シャドウゲイン制御部２３２、乗算部２３３、乗算部２３４、乗算部２３５、および加算部２３６から構成される。
【０１６８】
左眼用ハイライトゲイン制御部２３１は、供給された指定光源情報により示される光源の方向、つまり被写体に照射される光の方向に基づいて、左眼用ハイライトゲイン係数を決定し、決定した左眼用ハイライトゲイン係数を乗算部２３３に供給する。
【０１６９】
例えば、指定光源情報により示される光の方向が右方向である、つまり被写体に対して光源が左側であるとする。そのような場合、左眼用ハイライトゲイン係数は、左眼用ハイライトゲイン係数に対応し、陰影強調部２６−Ｒにおいて決定される右眼用ハイライトゲイン係数よりも大きな値とされる。なお、この場合、後述する右眼用ハイライトゲイン係数は、０または正の値に限らず、負の値が設定されることもある。
【０１７０】
乗算部２３３は、陰影信号生成部２５−Ｌの左眼用ハイライトシャドウ抽出部１７３から供給された左眼画像用ハイライト信号に、左眼用ハイライトゲイン制御部２３１からの左眼用ハイライトゲイン係数を乗算し、その結果得られた左眼画像用強調ハイライト信号を加算部２３６に供給する。
【０１７１】
陰影強調部２６において、左眼用ハイライトゲイン係数と右眼用ハイライトゲイン係数とを異なる値とすると、左眼画像と右眼画像のハイライト成分の明るさに差が生じる。そうすると、左右の画像を両眼立体視したときに、適度な視野闘争の影響によりハイライト部分がチカチカして光沢感が向上し、ハイライト部分がより強調されて見えることになる。そこで、陰影強調部２６では、左眼用ハイライトゲイン係数と右眼用ハイライトゲイン係数とが異なる値に設定される。
【０１７２】
また、左眼用シャドウゲイン制御部２３２は、供給された指定光源情報により示される光源の方向に基づいて、左眼用左側シャドウゲイン係数を決定して乗算部２３４に供給するとともに、左眼用右側シャドウゲイン係数を決定して乗算部２３５に供給する。
【０１７３】
例えば、指定光源情報により示される光の方向が右方向である場合、つまり被写体に対して光源が左側である場合、左眼用左側シャドウゲイン係数が、左眼用右側シャドウゲイン係数よりも大きくなるように設定される。この場合、例えば左眼用右側シャドウゲイン係数の値が０とされてもよい。
【０１７４】
このように左眼用左側シャドウゲイン係数と左眼用右側シャドウゲイン係数の大小関係を定めるのは、左眼画像の場合、前景被写体の左側の境界部分に、右眼からは観察されないオクルージョン領域があるからである。
【０１７５】
このオクルージョン領域に対応する部分のシャドウ成分をより強調することで、オクルージョン領域に対応する部分が両眼融合しない（両眼非対応）領域となる。これにより、現実のオクルージョンを知覚するときと同様の効果が生まれ、左右の画像を立体視観察するときに奥行き感を向上させることができる。
【０１７６】
また、左眼画像において、前景被写体の左側に付加されるシャドウ領域が、前景被写体の右側に付加されるシャドウ領域よりも大きい領域とされるように、左眼用左側シャドウゲイン係数と左眼用右側シャドウゲイン係数が定められるようにしてもよい。
【０１７７】
乗算部２３４は、陰影信号生成部２５−Ｌの左眼用ハイライトシャドウ抽出部１７３から供給された左眼画像用左側シャドウ信号に、左眼用シャドウゲイン制御部２３２からの左眼用左側シャドウゲイン係数を乗算し、その結果得られた左眼画像用左側強調シャドウ信号を加算部２３６に供給する。
【０１７８】
乗算部２３５は、左眼用ハイライトシャドウ抽出部１７３から供給された左眼画像用右側シャドウ信号に、左眼用シャドウゲイン制御部２３２からの左眼用右側シャドウゲイン係数を乗算し、その結果得られた左眼画像用右側強調シャドウ信号を加算部２３６に供給する。
【０１７９】
加算部２３６は、明暗信号抽出部２１の明暗色成分分離部５１−Ｌからの左眼画像明暗信号、乗算部２３３からの左眼画像用強調ハイライト信号、乗算部２３４からの左眼画像用左側強調シャドウ信号、および乗算部２３５からの左眼画像用右側強調シャドウ信号を加算し、左眼画像明暗強調信号を生成する。加算部２３６は、生成された左眼画像明暗強調信号を陰影強調信号生成部２７に供給する。
【０１８０】
陰影強調部２６−Ｌで生成される左眼画像明暗強調信号は、左眼画像明暗信号に対して、ハイライト成分とシャドウ成分を足し込むことで得られる信号である。つまり、ハイライト成分とシャドウ成分が付加された左眼画像明暗信号である。
【０１８１】
図１３は、陰影強調部２６−Ｒのより詳細な構成例を示す図である。
【０１８２】
陰影強調部２６−Ｒは、右眼用ハイライトゲイン制御部２６１、右眼用シャドウゲイン制御部２６２、乗算部２６３、乗算部２６４、乗算部２６５、および加算部２６６から構成される。
【０１８３】
右眼用ハイライトゲイン制御部２６１は、供給された指定光源情報により示される光源の方向、つまり被写体に照射される光の方向に基づいて、右眼用ハイライトゲイン係数を決定し、乗算部２６３に供給する。
【０１８４】
例えば、指定光源情報により示される光の方向が右方向である、つまり被写体に対して光源が左側である場合、右眼用ハイライトゲイン係数は、左眼用ハイライトゲイン係数よりも小さい値とされる。これにより、右眼画像と左眼画像の同一位置に付加されるハイライト成分の明るさや領域の大きさが、右眼画像と左眼画像で異なるようにすることができる。なお、この場合、右眼用ハイライトゲイン係数は、０または正の値に限らず、負の値が設定されることもある。
【０１８５】
乗算部２６３は、陰影信号生成部２５−Ｒの右眼用ハイライトシャドウ抽出部２０３から供給された右眼画像用ハイライト信号に、右眼用ハイライトゲイン制御部２６１からの右眼用ハイライトゲイン係数を乗算し、その結果得られた右眼画像用強調ハイライト信号を加算部２６６に供給する。
【０１８６】
右眼用シャドウゲイン制御部２６２は、供給された指定光源情報により示される光源の方向に基づいて、右眼用左側シャドウゲイン係数を決定して乗算部２６４に供給するとともに、右眼用右側シャドウゲイン係数を決定して乗算部２６５に供給する。
【０１８７】
例えば、指定光源情報により示される光源の方向が左側である場合、右眼用左側シャドウゲイン係数が、右眼用右側シャドウゲイン係数よりも小さくなるように設定される。この場合、例えば右眼用左側シャドウゲイン係数の値が０とされてもよい。
【０１８８】
このように右眼用左側シャドウゲイン係数と右眼用右側シャドウゲイン係数の大小関係を定めるのは、右眼画像の場合、前景被写体の右側の境界部分に、左眼からは観察されないオクルージョン領域があるからである。
【０１８９】
このオクルージョン領域に対応する部分のシャドウ成分をより強調することで、オクルージョン領域に対応する部分が両眼融合しない（両眼非対応）領域となる。これにより、現実のオクルージョンを知覚するときと同様の効果が生まれ、左右の画像を立体視観察するときに奥行き感を向上させることができる。
【０１９０】
また、右眼画像において、前景被写体の右側に付加されるシャドウ領域が、前景被写体の左側に付加されるシャドウ領域よりも大きい領域とされるように、右眼用左側シャドウゲイン係数と右眼用右側シャドウゲイン係数が定められるようにしてもよい。
【０１９１】
乗算部２６４は、陰影信号生成部２５−Ｒの右眼用ハイライトシャドウ抽出部２０３から供給された右眼画像用左側シャドウ信号に、右眼用シャドウゲイン制御部２６２からの右眼用左側シャドウゲイン係数を乗算し、その結果得られた右眼画像用左側強調シャドウ信号を加算部２６６に供給する。
【０１９２】
乗算部２６５は、右眼用ハイライトシャドウ抽出部２０３から供給された右眼画像用右側シャドウ信号に、右眼用シャドウゲイン制御部２６２からの右眼用右側シャドウゲイン係数を乗算し、その結果得られた右眼画像用右側強調シャドウ信号を加算部２６６に供給する。
【０１９３】
加算部２６６は、明暗信号抽出部２１の明暗色成分分離部５１−Ｒからの右眼画像明暗信号、乗算部２６３からの右眼画像用強調ハイライト信号、乗算部２６４からの右眼画像用左側強調シャドウ信号、および乗算部２６５からの右眼画像用右側強調シャドウ信号を加算し、右眼画像明暗強調信号を生成する。加算部２６６は、生成された右眼画像明暗強調信号を陰影強調信号生成部２７に供給する。
【０１９４】
陰影強調部２６−Ｒで生成される右眼画像明暗強調信号は、右眼画像明暗信号に対して、ハイライト成分とシャドウ成分を足し込むことで得られる信号である。つまり、ハイライト成分とシャドウ成分が付加された右眼画像明暗信号である。
【０１９５】
［陰影強調信号生成部の構成例］
また、図１４は、図４の陰影強調信号生成部２７のより詳細な構成例を示す図である。
【０１９６】
陰影強調信号生成部２７は、明暗色成分合成部２９１−Ｌおよび明暗色成分合成部２９１−Ｒから構成される。
【０１９７】
明暗色成分合成部２９１−Ｌには、陰影強調部２６−Ｌの加算部２３６から左眼画像明暗強調信号が供給されるとともに、明暗信号抽出部２１の明暗色成分分離部５１−Ｌから左眼画像色信号が供給される。
【０１９８】
明暗色成分合成部２９１−Ｌは、明暗色成分分離部５１−Ｌにおいて行なわれる色変換の逆変換を行なうことで、明暗を示す左眼画像明暗強調信号と、色を示す左眼画像色信号とを合成する。
【０１９９】
例えば、左眼画像明暗強調信号がＹ（輝度）成分の信号であり、左眼画像色信号がＵ（色差）成分およびＶ（色差）成分の信号である場合、左眼画像明暗強調信号と左眼画像色信号の合成によりＹＵＶ信号が得られる。
【０２００】
また、例えば左眼画像明暗強調信号がＶ（明度）成分の信号であり、左眼画像色信号がＳ（彩度）成分およびＨ（色相）成分の信号である場合、左眼画像明暗強調信号と左眼画像色信号の合成によりＨＳＶ信号が得られる。
【０２０１】
さらに、明暗色成分合成部２９１−Ｌは、左眼画像明暗強調信号と左眼画像色信号を合成して得られる信号を、必要に応じてＲＧＢ信号などに変換し、出力ステレオ左眼画像信号として出力する。
【０２０２】
明暗色成分合成部２９１−Ｒには、陰影強調部２６−Ｒの加算部２６６から右眼画像明暗強調信号が供給されるとともに、明暗信号抽出部２１の明暗色成分分離部５１−Ｒから右眼画像色信号が供給される。
【０２０３】
明暗色成分合成部２９１−Ｒは、明暗色成分分離部５１−Ｒにおいて行なわれる色変換の逆変換を行なうことで、右眼画像明暗強調信号と右眼画像色信号を合成する。また、明暗色成分合成部２９１−Ｒは、合成で得られた信号を必要に応じてＲＧＢ信号などに変換し、出力ステレオ右眼画像信号として出力する。
【０２０４】
なお、以下、明暗色成分合成部２９１−Ｌと明暗色成分合成部２９１−Ｒを特に区別する必要のない場合、単に明暗色成分合成部２９１とも称する。
【０２０５】
［陰影強調処理の説明］
次に、図４の画像処理装置１１の動作について説明する。
【０２０６】
画像処理装置１１にステレオ左眼画像信号とステレオ右眼画像信号が供給され、立体画像に対する陰影強調が指示されると、画像処理装置１１は、陰影強調処理を行なって出力ステレオ左眼画像信号、および出力ステレオ右眼画像信号を生成し、出力する。
【０２０７】
以下、図１５のフローチャートを参照して、画像処理装置１１による陰影強調処理について説明する。
【０２０８】
ステップＳ１１において、明暗信号抽出部２１は、供給されたステレオ画像信号から明暗信号を抽出する。
【０２０９】
すなわち、明暗信号抽出部２１の明暗色成分分離部５１−Ｌは、供給されたステレオ左眼画像信号を左眼画像明暗信号と左眼画像色信号とに分離させる。そして明暗色成分分離部５１−Ｌは、左眼画像明暗信号を陰影強調部２６−Ｌの加算部２３６に供給するとともに、左眼画像色信号を陰影強調信号生成部２７の明暗色成分合成部２９１−Ｌに供給する。
【０２１０】
同様に、明暗色成分分離部５１−Ｒは、供給されたステレオ右眼画像信号を右眼画像明暗信号と右眼画像色信号とに分離させる。そして明暗色成分分離部５１−Ｒは、右眼画像明暗信号を陰影強調部２６−Ｒの加算部２６６に供給するとともに、右眼画像色信号を陰影強調信号生成部２７の明暗色成分合成部２９１−Ｒに供給する。
【０２１１】
ステップＳ１２において、奥行きマップ推定部２２の視差検出部８１は、供給されたステレオ左眼画像信号とステレオ右眼画像信号から視差を検出し、視差マップ画像を生成する。すなわち、視差検出部８１は、左基準視差マップ画像と右基準視差マップ画像を生成し、視差／奥行き変換部８２に供給する。
【０２１２】
ステップＳ１３において、視差／奥行き変換部８２は、視差検出部８１から供給された視差マップ画像を奥行きマップ画像に変換する。
【０２１３】
すなわち、視差／奥行き変換部８２は、視差検出部８１からの左基準視差マップ画像を左基準奥行きマップ画像に変換して、平滑化部２３−Ｌの平滑化処理部１１２に供給する。また、視差／奥行き変換部８２は、視差検出部８１からの右基準視差マップ画像を右基準奥行きマップ画像に変換して、平滑化部２３−Ｒの平滑化処理部１１２に供給する。
【０２１４】
ステップＳ１４において、平滑化部２３は、供給された指定光源情報に基づいて、視差／奥行き変換部８２からの奥行きマップ画像を平滑化する。
【０２１５】
すなわち、平滑化部２３のフィルタ特性決定部１１１は、供給された指定光源情報からフィルタ特性情報を決定し、平滑化処理部１１２に供給する。
【０２１６】
また、平滑化部２３−Ｌの平滑化処理部１１２は、視差／奥行き変換部８２からの左基準奥行きマップ画像に対して、フィルタ特性決定部１１１からのフィルタ特性情報に示される周波数特性のローパスフィルタを用いて平滑化処理を施す。そして、平滑化処理部１１２は、平滑化処理により得られた左基準奥行きマップ平滑化画像を位相シフト部２４に供給する。同様に、平滑化部２３−Ｒの平滑化処理部１１２は、フィルタ特性決定部１１１からのフィルタ特性情報に基づいて、視差／奥行き変換部８２からの右基準奥行きマップ画像に対して平滑化処理を施し、得られた右基準奥行きマップ平滑化画像を位相シフト部２４に供給する。
【０２１７】
ステップＳ１５において、位相シフト部２４は、供給された指定光源情報に基づいて、平滑化部２３からの奥行きマップ平滑化画像に対する位相シフト処理を行なう。
【０２１８】
すなわち、位相シフト部２４の左シフト処理部１４１は、指定光源情報に基づいて平滑化部２３からの左基準奥行きマップ平滑化画像にシフト処理を行い、その結果得られた左基準奥行きマップ左シフト画像を、陰影信号生成部２５−Ｌの減算部１７１に供給する。
【０２１９】
また、右シフト処理部１４２は、指定光源情報に基づいて平滑化部２３からの左基準奥行きマップ平滑化画像にシフト処理を行い、その結果得られた左基準奥行きマップ右シフト画像を、陰影信号生成部２５−Ｌの減算部１７２に供給する。
【０２２０】
さらに、位相シフト部２４は、平滑化部２３からの左基準奥行きマップ平滑化画像を、陰影信号生成部２５−Ｌの減算部１７１および減算部１７２に供給する。
【０２２１】
左シフト処理部１４３は、指定光源情報に基づいて平滑化部２３からの右基準奥行きマップ平滑化画像にシフト処理を行い、その結果得られた右基準奥行きマップ左シフト画像を、陰影信号生成部２５−Ｒの減算部２０１に供給する。
【０２２２】
また、右シフト処理部１４４は、指定光源情報に基づいて平滑化部２３からの右基準奥行きマップ平滑化画像にシフト処理を行い、その結果得られた右基準奥行きマップ右シフト画像を、陰影信号生成部２５−Ｒの減算部２０２に供給する。位相シフト部２４は、平滑化部２３からの右基準奥行きマップ平滑化画像を、陰影信号生成部２５−Ｒの減算部２０１および減算部２０２に供給する。
【０２２３】
ステップＳ１６において、陰影信号生成部２５はハイライト信号を生成する。
【０２２４】
すなわち、陰影信号生成部２５−Ｌにおいて、減算部１７１は左シフト処理部１４１からの左基準奥行きマップ左シフト画像と、位相シフト部２４からの左基準奥行きマップ平滑化画像との差分を求め、その結果得られた差分信号を左眼用ハイライトシャドウ抽出部１７３に供給する。また、減算部１７２は、右シフト処理部１４２からの左基準奥行きマップ右シフト画像と、位相シフト部２４からの左基準奥行きマップ平滑化画像との差分を求め、その結果得られた差分信号を左眼用ハイライトシャドウ抽出部１７３に供給する。さらに、左眼用ハイライトシャドウ抽出部１７３は、減算部１７２からの差分信号に基づいて、左眼画像用ハイライト信号を生成して陰影強調部２６−Ｌの乗算部２３３に供給する。
【０２２５】
同様に、陰影信号生成部２５−Ｒにおいて、減算部２０１は左シフト処理部１４３からの右基準奥行きマップ左シフト画像と、位相シフト部２４からの右基準奥行きマップ平滑化画像との差分を求め、その結果得られた差分信号を右眼用ハイライトシャドウ抽出部２０３に供給する。また、減算部２０２は、右シフト処理部１４４からの右基準奥行きマップ右シフト画像と、位相シフト部２４からの右基準奥行きマップ平滑化画像との差分を求め、その結果得られた差分信号を右眼用ハイライトシャドウ抽出部２０３に供給する。さらに、右眼用ハイライトシャドウ抽出部２０３は、減算部２０２からの差分信号に基づいて、右眼画像用ハイライト信号を生成して陰影強調部２６−Ｒの乗算部２６３に供給する。
【０２２６】
ステップＳ１７において、陰影信号生成部２５はシャドウ信号を生成する。
【０２２７】
すなわち、左眼用ハイライトシャドウ抽出部１７３は、減算部１７１からの差分信号に基づいて左眼画像用左側シャドウ信号を生成し、陰影強調部２６−Ｌの乗算部２３４に供給する。また、左眼用ハイライトシャドウ抽出部１７３は、減算部１７２からの差分信号に基づいて左眼画像用右側シャドウ信号を生成し、陰影強調部２６−Ｌの乗算部２３５に供給する。
【０２２８】
同様に、右眼用ハイライトシャドウ抽出部２０３は、減算部２０１からの差分信号に基づいて右眼画像用左側シャドウ信号を生成し、陰影強調部２６−Ｒの乗算部２６４に供給する。また、右眼用ハイライトシャドウ抽出部２０３は、減算部２０２からの差分信号に基づいて右眼画像用右側シャドウ信号を生成し、陰影強調部２６−Ｒの乗算部２６５に供給する。
【０２２９】
ステップＳ１８において、陰影強調部２６はハイライトゲイン係数を設定する。
【０２３０】
すなわち、陰影強調部２６−Ｌの左眼用ハイライトゲイン制御部２３１は、供給された指定光源情報に基づいて左眼用ハイライトゲイン係数を決定し、乗算部２３３に供給する。乗算部２３３は、左眼用ハイライトシャドウ抽出部１７３からの左眼画像用ハイライト信号に、左眼用ハイライトゲイン制御部２３１からの左眼用ハイライトゲイン係数を乗算し、その結果得られた左眼画像用強調ハイライト信号を加算部２３６に供給する。
【０２３１】
また、陰影強調部２６−Ｒの右眼用ハイライトゲイン制御部２６１は、供給された指定光源情報に基づいて右眼用ハイライトゲイン係数を決定し、乗算部２６３に供給する。乗算部２６３は、右眼用ハイライトシャドウ抽出部２０３からの右眼画像用ハイライト信号に、右眼用ハイライトゲイン制御部２６１からの右眼用ハイライトゲイン係数を乗算し、その結果得られた右眼画像用強調ハイライト信号を加算部２６６に供給する。
【０２３２】
ステップＳ１９において、陰影強調部２６はシャドウゲイン係数を設定する。
【０２３３】
すなわち、陰影強調部２６−Ｌの左眼用シャドウゲイン制御部２３２は、供給された指定光源情報に基づいて、左眼用左側シャドウゲイン係数を決定して乗算部２３４に供給するとともに、左眼用右側シャドウゲイン係数を決定して乗算部２３５に供給する。
【０２３４】
乗算部２３４は、左眼用ハイライトシャドウ抽出部１７３からの左眼画像用左側シャドウ信号に、左眼用シャドウゲイン制御部２３２からの左眼用左側シャドウゲイン係数を乗算し、その結果得られた左眼画像用左側強調シャドウ信号を加算部２３６に供給する。
【０２３５】
乗算部２３５は、左眼用ハイライトシャドウ抽出部１７３からの左眼画像用右側シャドウ信号に、左眼用シャドウゲイン制御部２３２からの左眼用右側シャドウゲイン係数を乗算し、その結果得られた左眼画像用右側強調シャドウ信号を加算部２３６に供給する。
【０２３６】
同様に、陰影強調部２６−Ｒの右眼用シャドウゲイン制御部２６２は、供給された指定光源情報に基づいて、右眼用左側シャドウゲイン係数を決定して乗算部２６４に供給するとともに、右眼用右側シャドウゲイン係数を決定して乗算部２６５に供給する。
【０２３７】
乗算部２６４は、右眼用ハイライトシャドウ抽出部２０３からの右眼画像用左側シャドウ信号に、右眼用シャドウゲイン制御部２６２からの右眼用左側シャドウゲイン係数を乗算し、その結果得られた右眼画像用左側強調シャドウ信号を加算部２６６に供給する。
【０２３８】
乗算部２６５は、右眼用ハイライトシャドウ抽出部２０３からの右眼画像用右側シャドウ信号に、右眼用シャドウゲイン制御部２６２からの右眼用右側シャドウゲイン係数を乗算し、その結果得られた右眼画像用右側強調シャドウ信号を加算部２６６に供給する。
【０２３９】
ステップＳ２０において、陰影強調部２６は明暗強調信号を生成する。
【０２４０】
すなわち、陰影強調部２６−Ｌの加算部２３６は、明暗信号抽出部２１の明暗色成分分離部５１−Ｌからの左眼画像明暗信号、乗算部２３３からの左眼画像用強調ハイライト信号、乗算部２３４からの左眼画像用左側強調シャドウ信号、および乗算部２３５からの左眼画像用右側強調シャドウ信号を加算し、左眼画像明暗強調信号を生成する。加算部２３６は、生成された左眼画像明暗強調信号を陰影強調信号生成部２７に供給する。
【０２４１】
また、加算部２６６は、明暗信号抽出部２１の明暗色成分分離部５１−Ｒからの右眼画像明暗信号、乗算部２６３からの右眼画像用強調ハイライト信号、乗算部２６４からの右眼画像用左側強調シャドウ信号、および乗算部２６５からの右眼画像用右側強調シャドウ信号を加算し、右眼画像明暗強調信号を生成する。加算部２６６は、生成された右眼画像明暗強調信号を陰影強調信号生成部２７に供給する。
【０２４２】
ステップＳ２１において、陰影強調信号生成部２７は出力ステレオ画像信号を生成する。
【０２４３】
すなわち、明暗色成分合成部２９１−Ｌは、陰影強調部２６−Ｌの加算部２３６からの左眼画像明暗強調信号と、明暗信号抽出部２１の明暗色成分分離部５１−Ｌからの左眼画像色信号とを合成して出力ステレオ左眼画像信号を生成する。
【０２４４】
また、明暗色成分合成部２９１−Ｒは、陰影強調部２６−Ｒの加算部２６６からの右眼画像明暗強調信号と、明暗信号抽出部２１の明暗色成分分離部５１−Ｒからの右眼画像色信号とを合成して出力ステレオ右眼画像信号を生成する。
【０２４５】
これらの処理により、例えば図３の図中、４段目に示した左眼画像ＰＬ３１を表示するための出力ステレオ左眼画像信号と、右眼画像ＰＲ３１を表示するための出力ステレオ右眼画像信号とが得られる。陰影強調信号生成部２７は、得られた出力ステレオ左眼画像信号および出力ステレオ右眼画像信号を出力すると、陰影強調処理は終了する。
【０２４６】
以上のようにして、画像処理装置１１は、入力されたステレオ画像信号に基づいて、オクルージョン領域側のシャドウ領域の幅がより大きく、かつ強調されるように、被写体の左右両側にシャドウ領域を付加し、出力ステレオ画像信号を生成する。
【０２４７】
画像処理装置１１では、立体画像の被写体に陰影を付けて奥行きを強調するときに、オクルージョン領域の両眼非対応性を考慮して、オクルージョン領域側のシャドウ領域の幅をより大きくし、強調することで、より自然で奥行き感のある画像を得ることができる。すなわち、オクルージョンの両眼非対応を示す奥行き手がかりと、シャドウ領域という絵画的手掛かりの相乗効果で、より自然でかつ、より奥行きが強調された立体画像を得ることができる。
【０２４８】
また、画像処理装置１１では、視野闘争時の光沢感強調効果を考慮して、ハイライト成分を強調することで、より臨場感や質感のある立体画像を得ることができる。
【０２４９】
〈第２の実施の形態〉
［画像処理装置の構成例］
なお、以上においては、ステレオ左眼画像信号とステレオ右眼画像信号からなる３Ｄの画像信号に対して、陰影強調処理する例について説明したが、２Ｄ（単眼）の画像信号を３Ｄの画像信号に変換し、陰影強調処理を施すようにしてもよい。
【０２５０】
そのような場合、画像処理装置は、例えば図１６に示すように構成される。なお、図１６において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２５１】
図１６の画像処理装置３２１は、単眼奥行き推定部３３１、ステレオ変換部３３２、明暗信号抽出部２１、平滑化部２３−Ｌ、平滑化部２３−Ｒ、位相シフト部２４、陰影信号生成部２５−Ｌ、陰影信号生成部２５−Ｒ、陰影強調部２６−Ｌ、陰影強調部２６−Ｒ、および陰影強調信号生成部２７から構成される。
【０２５２】
画像処理装置３２１では、単眼の２Ｄ画像の画像信号（以下、２Ｄ画像信号と称する）が入力とされ、この２Ｄ画像信号から、出力ステレオ左眼画像信号と出力ステレオ右眼画像信号が生成されて出力される。すなわち、２Ｄ画像信号に対して２Ｄ／３Ｄ変換が行なわれ、その結果得られたステレオ左眼画像信号とステレオ右眼画像信号に対して陰影強調処理が施される。
【０２５３】
単眼奥行き推定部３３１は、供給された２Ｄ画像信号に基づいて、２Ｄ画像の各画素に対する奥行き情報を推定し、その推定結果として得られた単眼奥行きマップ画像をステレオ変換部３３２に供給する。
【０２５４】
ここで、単眼奥行きマップ画像の各画素の画素値は、それらの画素と同じ位置にある２Ｄ画像の画素に表示される被写体の奥行きを示している。
【０２５５】
なお、奥行き情報の推定方法は、既存の奥行き推定技術を用いるなど、どのような方法であってもよい。例えば、奥行き情報の推定方法は、「2010年映像情報メディア学会年次大会シンポジウム講演（2010）, 「2Dto3Dコンテンツ変換技術」三田 雄志」などに記載されている。
【０２５６】
ステレオ変換部３３２は、単眼奥行き推定部３３１から供給された単眼奥行きマップ画像と、供給された２Ｄ画像信号とに基づいて、２Ｄ画像信号を３Ｄ画像信号であるステレオ左眼画像信号およびステレオ右眼画像信号に変換し、明暗信号抽出部２１に供給する。
【０２５７】
また、ステレオ変換部３３２は、単眼奥行きマップ画像に基づいて左基準奥行きマップ画像および右基準奥行きマップ画像を生成し、平滑化部２３−Ｌおよび平滑化部２３−Ｒに供給する。
【０２５８】
［ステレオ変換部の構成例］
図１７は、ステレオ変換部３３２の構成例を示す図である。
【０２５９】
ステレオ変換部３３２は、画像ステレオ変換部３６１および奥行きマップステレオ変換部３６２から構成される。
【０２６０】
画像ステレオ変換部３６１は、単眼奥行き推定部３３１から供給された単眼奥行きマップ画像と、供給された２Ｄ画像信号とに基づいて、２Ｄ画像信号に２Ｄ／３Ｄ変換を施してステレオ画像信号を生成する。
【０２６１】
例えば、画像ステレオ変換部３６１は、奥行き情報を示す単眼奥行きマップ画像を、視差を示す視差情報に変換し、その視差情報に基づいて、２Ｄ画像信号の各画素に対するシフト処理を行なうことで、ステレオ画像信号を生成する。具体的には、ステレオ画像信号として、ステレオ左眼画像信号とステレオ右眼画像信号が得られる。
【０２６２】
なお、単眼奥行きマップ画像と２Ｄ画像信号から、ステレオ画像信号を生成する方法は、どのような方法であってもよい。例えば、「Y.J.Jeong, Y.Kwak, Y.Han, Y.J.Jun and D.Park, "Depth-image-based rendering(DIBR) using disocclusion area restration," Proc. of SID, 2009.」に記載されている技術を利用して、ステレオ画像信号を生成するようにしてもよい。
【０２６３】
画像ステレオ変換部３６１は、得られたステレオ左眼画像信号とステレオ右眼画像信号を明暗信号抽出部２１に供給する。
【０２６４】
また、画像ステレオ変換部３６１は、ステレオ左眼画像信号を生成するときの２Ｄ画像信号の各画素に対するシフト量を左眼用シフト量とし、ステレオ右眼画像信号を生成するときの２Ｄ画像信号の各画素に対するシフト量を右眼用シフト量とする。そして、画像ステレオ変換部３６１は、これらの左眼用シフト量と右眼用シフト量を奥行きマップステレオ変換部３６２に供給する。
【０２６５】
奥行きマップステレオ変換部３６２は、画像ステレオ変換部３６１から供給された左眼用シフト量に基づいて、単眼奥行き推定部３３１から供給された単眼奥行きマップ画像に対して水平シフト処理を施し、左基準奥行きマップ画像を生成する。
【０２６６】
また、奥行きマップステレオ変換部３６２は、画像ステレオ変換部３６１から供給された右眼用シフト量に基づいて、単眼奥行き推定部３３１から供給された単眼奥行きマップ画像に対して水平シフト処理を施し、右基準奥行きマップ画像を生成する。奥行きマップステレオ変換部３６２は、左基準奥行きマップ画像を平滑化部２３−Ｌに供給し、右基準奥行きマップ画像を平滑化部２３−Ｒに供給する。
【０２６７】
［陰影強調処理の説明］
次に、画像処理装置３２１の動作について説明する。
【０２６８】
画像処理装置３２１は、２Ｄ画像信号が供給され、陰影強調処理されたステレオ画像信号の生成が指示されると、陰影強調処理を開始する。以下、図１８のフローチャートを参照して、画像処理装置３２１による陰影強調処理について説明する。
【０２６９】
ステップＳ５１において、単眼奥行き推定部３３１は、供給された２Ｄ画像信号に基づいて、２Ｄ画像の各画素に対する奥行き情報を推定し、その結果得られた単眼奥行きマップ画像を画像ステレオ変換部３６１および奥行きマップステレオ変換部３６２に供給する。
【０２７０】
ステップＳ５２において、画像ステレオ変換部３６１は、単眼奥行き推定部３３１から供給された単眼奥行きマップ画像と、供給された２Ｄ画像信号とに基づいて、２Ｄ画像信号に２Ｄ／３Ｄ変換を施してステレオ画像信号を生成する。
【０２７１】
画像ステレオ変換部３６１は、得られたステレオ左眼画像信号およびステレオ右眼画像信号を明暗信号抽出部２１に供給する。また、画像ステレオ変換部３６１は、ステレオ画像信号の生成時に得られた左眼用シフト量と右眼用シフト量を奥行きマップステレオ変換部３６２に供給する。
【０２７２】
ステップＳ５３において、奥行きマップステレオ変換部３６２は、画像ステレオ変換部３６１からの左眼用シフト量および右眼用シフト量と、単眼奥行き推定部３３１からの単眼奥行きマップ画像とに基づいて、左基準奥行きマップ画像および右基準奥行きマップ画像を生成し、平滑化部２３に供給する。
【０２７３】
奥行きマップ画像が生成されると、その後、ステップＳ５４乃至ステップＳ６２の処理が行なわれて、陰影強調処理は終了するが、これらの処理は図１５のステップＳ１１およびステップＳ１４乃至ステップＳ２１の処理と同様であるので、その説明は省略する。
【０２７４】
以上のようにして画像処理装置３２１は、２Ｄ画像信号をステレオ画像信号に変換し、得られたステレオ画像信号に対して陰影を強調する処理を施す。
【０２７５】
このように画像処理装置３２１によれば、単眼の２Ｄ画像信号を入力とする場合であっても、２Ｄ画像信号をステレオ画像信号に変換し、そのステレオ画像信号に対して陰影を強調する処理を施すことで、より自然で奥行き感のある立体画像を得ることができる。
【０２７６】
〈第３の実施の形態〉
［画像処理装置の構成例］
また、以上では、陰影強調部２６において左眼画像用ハイライト信号や左眼画像用左側シャドウ信号などに指定光源情報に基づくゲイン制御が行なわれる例について説明したが、指定光源情報だけでなく、奥行き情報に基づくゲイン制御が行なわれるようにしてもよい。
【０２７７】
そのような場合、画像処理装置は、例えば図１９に示すように構成される。なお、図１９において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２７８】
図１９の画像処理装置３９１は、明暗信号抽出部２１、奥行きマップ推定部２２、平滑化部２３−Ｌ、平滑化部２３−Ｒ、位相シフト部２４、陰影信号生成部２５−Ｌ、陰影信号生成部２５−Ｒ、陰影強調部４０１−Ｌ、陰影強調部４０１−Ｒ、および陰影強調信号生成部２７から構成される。
【０２７９】
奥行きマップ推定部２２は、供給されたステレオ左眼画像信号とステレオ右眼画像信号に基づいて左右の画像の奥行き情報を推定する。そして、奥行きマップ推定部２２は、奥行き情報の推定結果として得られた左基準奥行きマップ画像を、平滑化部２３−Ｌおよび陰影強調部４０１−Ｌに供給するとともに、右基準奥行きマップ画像を、平滑化部２３−Ｒおよび陰影強調部４０１−Ｒに供給する。
【０２８０】
陰影強調部４０１−Ｌは、供給された指定光源情報、陰影信号生成部２５−Ｌから供給された左眼画像用ハイライト信号、左眼画像用左側シャドウ信号、および左眼画像用右側シャドウ信号、並びに奥行きマップ推定部２２からの左基準奥行きマップ画像に基づいて、左眼画像明暗強調信号を生成し、陰影強調信号生成部２７に供給する。
【０２８１】
陰影強調部４０１−Ｒは、供給された指定光源情報、陰影信号生成部２５−Ｒから供給された右眼画像用ハイライト信号、右眼画像用左側シャドウ信号、および右眼画像用右側シャドウ信号、並びに奥行きマップ推定部２２からの右基準奥行きマップ画像に基づいて、右眼画像明暗強調信号を生成し、陰影強調信号生成部２７に供給する。
【０２８２】
なお、以下、陰影強調部４０１−Ｌおよび陰影強調部４０１−Ｒを特に区別する必要のない場合、単に陰影強調部４０１とも称する。
【０２８３】
［陰影強調部の構成例］
また、図１９の陰影強調部４０１−Ｌは、より詳細には図２０に示すように構成される。なお、図２０において、図１２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２８４】
図２０に示す陰影強調部４０１−Ｌは、奥行き適応ゲイン制御部４３１、左眼用ハイライトゲイン制御部２３１、左眼用シャドウゲイン制御部２３２、乗算部４３２、乗算部４３３、乗算部４３４、乗算部２３３、乗算部２３４、乗算部２３５、および加算部２３６から構成される。
【０２８５】
奥行き適応ゲイン制御部４３１は、奥行きマップ推定部２２から供給された左基準奥行きマップ画像に基づいて、例えば画素ごとに強調ゲインを定める。
【０２８６】
奥行き適応ゲイン制御部４３１は、定めた強調ゲインを、左眼用ハイライト奥行き適応係数、左眼用左側奥行き適応係数、および左眼用右側奥行き適応係数として、それぞれ乗算部４３２乃至乗算部４３４に供給する。
【０２８７】
例えば、奥行き適応ゲイン制御部４３１で定められる強調ゲインの値は、図２１の折れ線Ｇ１１に示すように、左基準奥行きマップ画像の画素の画素値により示される被写体の奥行き方向の位置が手前側になるほど、大きくなるように定められる。
【０２８８】
なお、図２１において、横軸は左基準奥行きマップ画像により示される奥行きを示しており、縦軸は強調ゲインを示している。また、左基準奥行きマップ画像では、画素の画素値が大きいほど、奥行き位置は手前側となる。
【０２８９】
したがって、左基準奥行きマップ画像の画素の画素値が大きいほど、奥行き適応ゲイン制御部４３１で定められる強調ゲインの値は大きくなる。この場合、立体画像を観察するユーザから見て近く（手前側）に見えるものほど、シャドウ領域やハイライト領域が強調されることになるので、より自然な遠近感の画像が得られることになる。
【０２９０】
図２０の説明に戻り、乗算部４３２は、左眼用ハイライトゲイン制御部２３１から供給された左眼用ハイライトゲイン係数に、奥行き適応ゲイン制御部４３１から供給された左眼用ハイライト奥行き適応係数を乗算し、これにより得られた左眼用奥行き適応ハイライトゲイン係数を乗算部２３３に供給する。
【０２９１】
また、乗算部４３３は、左眼用シャドウゲイン制御部２３２からの左眼用左側シャドウゲイン係数に、奥行き適応ゲイン制御部４３１からの左眼用左側奥行き適応係数を乗算し、これにより得られた左眼用左側奥行き適応シャドウゲイン係数を乗算部２３４に供給する。
【０２９２】
乗算部４３４は、左眼用シャドウゲイン制御部２３２からの左眼用右側シャドウゲイン係数に、奥行き適応ゲイン制御部４３１からの左眼用右側奥行き適応係数を乗算し、これにより得られた左眼用右側奥行き適応シャドウゲイン係数を乗算部２３５に供給する。
【０２９３】
したがって、乗算部２３３では、乗算部４３２からの左眼用奥行き適応ハイライトゲイン係数が、左眼画像用ハイライト信号に乗算され、その結果得られた左眼画像用強調ハイライト信号が加算部２３６に供給される。
【０２９４】
また、乗算部２３４では、乗算部４３３からの左眼用左側奥行き適応シャドウゲイン係数が、左眼画像用左側シャドウ信号に乗算され、その結果得られた左眼画像用左側強調シャドウ信号が加算部２３６に供給される。さらに、乗算部２３５では、乗算部４３４からの左眼用右側奥行き適応シャドウゲイン係数が、左眼画像用右側シャドウ信号に乗算され、その結果得られた左眼画像用右側強調シャドウ信号が加算部２３６に供給される。
【０２９５】
なお、陰影強調部４０１−Ｒの構成は、図２０に示した陰影強調部４０１−Ｌの構成と同様であるので、その図示と説明は省略する。
【０２９６】
［陰影強調処理の説明］
次に、画像処理装置３９１の動作について説明する。すなわち、以下、図２２のフローチャートを参照して、画像処理装置３９１による陰影強調処理について説明する。
【０２９７】
なお、ステップＳ９１乃至ステップＳ９９の処理は、図１５のステップＳ１１乃至ステップＳ１９の処理と同様であるので、その説明は省略する。
【０２９８】
但し、ステップＳ９３では、奥行きマップ推定部２２で得られた左基準奥行きマップ画像および右基準奥行きマップ画像は、それぞれ平滑化部２３−Ｌと陰影強調部４０１−Ｌ、および平滑化部２３−Ｒと陰影強調部４０１−Ｒに供給される。
【０２９９】
また、ステップＳ９８では、例えば陰影強調部４０１−Ｌにおいて、左眼用ハイライトゲイン制御部２３１で設定された左眼用ハイライトゲイン係数は、乗算部４３２に供給される。さらに、ステップＳ９９では、左眼用シャドウゲイン制御部２３２で設定された左眼用左側シャドウゲイン係数は乗算部４３３に供給され、左眼用シャドウゲイン制御部２３２で設定された左眼用右側シャドウゲイン係数は、乗算部４３４に供給される。
【０３００】
ステップＳ１００において、陰影強調部４０１は、奥行きマップ推定部２２から供給された奥行きマップ画像に基づいて強調ゲインを設定する。
【０３０１】
例えば、陰影強調部４０１−Ｌでは、奥行き適応ゲイン制御部４３１は、奥行きマップ推定部２２から供給された左基準奥行きマップ画像に基づいて、強調ゲインを定める。そして、奥行き適応ゲイン制御部４３１は、定めた強調ゲインを、左眼用ハイライト奥行き適応係数、左眼用左側奥行き適応係数、および左眼用右側奥行き適応係数として、それぞれ乗算部４３２乃至乗算部４３４に供給する。
【０３０２】
すると、乗算部４３２は、左眼用ハイライトゲイン制御部２３１からの左眼用ハイライトゲイン係数に、奥行き適応ゲイン制御部４３１からの左眼用ハイライト奥行き適応係数を乗算し、得られた左眼用奥行き適応ハイライトゲイン係数を乗算部２３３に供給する。また、乗算部２３３は、乗算部４３２からの左眼用奥行き適応ハイライトゲイン係数を、左眼画像用ハイライト信号に乗算し、得られた左眼画像用強調ハイライト信号を加算部２３６に供給する。
【０３０３】
乗算部４３３は、左眼用シャドウゲイン制御部２３２からの左眼用左側シャドウゲイン係数に、奥行き適応ゲイン制御部４３１からの左眼用左側奥行き適応係数を乗算し、得られた左眼用左側奥行き適応シャドウゲイン係数を乗算部２３４に供給する。乗算部２３４は、乗算部４３３からの左眼用左側奥行き適応シャドウゲイン係数を、左眼画像用左側シャドウ信号に乗算し、得られた左眼画像用左側強調シャドウ信号を加算部２３６に供給する。
【０３０４】
さらに、乗算部４３４は、左眼用シャドウゲイン制御部２３２からの左眼用右側シャドウゲイン係数に、奥行き適応ゲイン制御部４３１からの左眼用右側奥行き適応係数を乗算し、得られた左眼用右側奥行き適応シャドウゲイン係数を乗算部２３５に供給する。乗算部２３５は、乗算部４３４からの左眼用右側奥行き適応シャドウゲイン係数を、左眼画像用右側シャドウ信号に乗算し、得られた左眼画像用右側強調シャドウ信号を加算部２３６に供給する。
【０３０５】
また、陰影強調部４０１−Ｒにおいても、陰影強調部４０１−Ｌにおける場合と同様の処理が行なわれる。
【０３０６】
強調ゲインが設定されると、その後、ステップＳ１０１およびステップＳ１０２の処理が行なわれて、陰影強調処理は終了するが、これらの処理は図１５のステップＳ２０およびステップＳ２１の処理と同様であるので、その説明は省略する。
【０３０７】
以上のように、画像処理装置３９１は、ステレオ画像信号に付加するシャドウ成分やハイライト成分のゲインを、奥行きマップ画像により示される被写体の奥行きに応じて制御する。これにより、さらに自然で奥行き感のある画像を得ることができる。
【０３０８】
〈第４の実施の形態〉
［画像処理装置の構成例］
さらに、以上においては、奥行きマップ画像に基づいて、シャドウ成分やハイライト成分のゲインが制御されると説明したが、さらに立体画像が表示されるディスプレイのガンマ特性も考慮されるようにしてもよい。
【０３０９】
そのような場合、図１９に示した画像処理装置３９１の陰影強調部４０１−Ｌは、例えば図２３に示すように構成される。なお、図２３において、図２０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０３１０】
図２３に示す陰影強調部４０１−Ｌは、奥行き適応ゲイン制御部４３１、左眼用ハイライトゲイン制御部２３１、左眼用シャドウゲイン制御部２３２、ガンマ適応ゲイン制御部４６１、乗算部４３２乃至乗算部４３４、乗算部４６２、乗算部４６３、乗算部４６４、乗算部２３３乃至乗算部２３５、および加算部２３６から構成される。
【０３１１】
ガンマ適応ゲイン制御部４６１は、明暗信号抽出部２１から供給された左眼画像明暗信号に基づいて、強調ゲイン値を補正するための係数をガンマ適応補正係数として設定する。また、ガンマ適応ゲイン制御部４６１は、設定したガンマ適応補正係数の値を、左眼用ハイライトガンマ補正係数、左眼用左側シャドウガンマ補正係数、および左眼用右側シャドウガンマ補正係数として、乗算部４６２乃至乗算部４６４に供給する。
【０３１２】
したがって、乗算部４６２では、乗算部４３２からの左眼用奥行き適応ハイライトゲイン係数に、ガンマ適応ゲイン制御部４６１からの左眼用ハイライトガンマ補正係数が乗算されて、得られた左眼用ガンマ適応ハイライトゲイン係数が乗算部２３３に供給される。
【０３１３】
また、乗算部４６３では、乗算部４３３からの左眼用左側奥行き適応シャドウゲイン係数に、ガンマ適応ゲイン制御部４６１からの左眼用左側シャドウガンマ補正係数が乗算されて、得られた左眼用左側ガンマ適応シャドウゲイン係数が乗算部２３４に供給される。
【０３１４】
さらに、乗算部４６４では、乗算部４３４からの左眼用右側奥行き適応シャドウゲイン係数に、ガンマ適応ゲイン制御部４６１からの左眼用右側シャドウガンマ補正係数が乗算されて、得られた左眼用右側ガンマ適応シャドウゲイン係数が乗算部２３５に供給される。
【０３１５】
ここで、ガンマ適応ゲイン制御部４６１におけるガンマ適応補正係数の設定について説明する。
【０３１６】
例えば図２４に示すように、左眼画像明暗信号や右眼画像明暗信号等の明暗信号の値をＸとし、明暗信号に基づく画像をディスプレイに表示させたときの表示輝度（光信号）の値をＹとすると、本来であればＸとＹの関係は直線ＭＬ１１となる。つまり、Ｙ＝Ｘとなる。
【０３１７】
なお、図２４において、横軸は明暗信号の値Ｘを示しており、縦軸はＸの値に対応する光信号の値Ｙを示している。直線ＭＬ１１では、明暗信号Ｘに対して光信号Ｙが線形に増加している。
【０３１８】
これに対して、ディスプレイのガンマ特性が考慮されたガンマ補正が明暗信号に対してされた場合、明暗信号Ｘと光信号Ｙの関係は、曲線Ｃ１１に示すようになる。つまり、明暗信号Ｘに基づいてディスプレイに画像を表示させる場合、光信号Ｙは曲線Ｃ１１に示す特性で生成される。つまりＹ＝Ｘγとなるように光信号Ｙが生成される。
【０３１９】
この場合、例えば明暗信号Ｘの低輝度側の所定の範囲を区間Ａとし、区間Ａよりも高輝度側にあり、区間Ａと同じ長さの範囲を区間Ｂとしたとする。
【０３２０】
また、明暗信号Ｘの区間Ａに対応する光信号Ｙの区間を区間Ａ’とし、区間Ｂに対応する光信号Ｙの区間を区間Ｂ’とすると、区間Ａと区間Ｂの長さは同じであるが、区間Ａ’と区間Ｂ’の長さは、Ｙ＝Ｘγの特性のために異なる長さとなってしまう。つまり、区間Ａ’よりも区間Ｂ’の方が長くなってしまう。
【０３２１】
そうすると、図中、の矢印Ａ４１に示すように明暗信号Ｘに対して同じ強調ゲイン値でハイライト成分やシャドウ成分のゲインを制御したとしても、明暗信号Ｘが大きいほど（明るいほど）、光信号Ｙ上でのハイライト成分やシャドウ成分の強調効果は大きくなる。
【０３２２】
したがって、ハイライト成分やシャドウ成分の強調度合いは、より詳細には実際のディスプレイ上での光信号Ｙを考慮する必要がある。そこで、陰影強調部４０１では、明暗信号の値Ｘによらず、強調ゲイン値に対してハイライト成分やシャドウ成分の強調効果として常に同等の強調効果が得られるように、強調ゲイン値を補正する係数としてガンマ適応補正係数を設定する。
【０３２３】
具体的には、例えば図２５の折れ線Ｇ２１に示すように、明暗信号の値Ｘが大きくなるほど、ガンマ適応補正係数の値が小さくなるようにされる。なお、図２５において、横軸は左眼画像明暗信号や右眼画像明暗信号である明暗信号を示しており、縦軸はガンマ適応補正係数を示している。
【０３２４】
このように、明暗信号が大きいほど、ガンマ適応補正係数を小さくすれば、明暗信号の値によらず、同じ強調ゲイン値に対して、同等のハイライト成分やシャドウ成分の強調効果が得られるようになる。これにより、より自然な奥行き感の画像を得ることができる。
【０３２５】
なお、以上においては、陰影強調部４０１−Ｌを例として説明したが、陰影強調部４０１−Ｒの構成と動作も陰影強調部４０１−Ｌと同様であるため、その説明は省略する。
【０３２６】
［陰影強調処理の説明］
次に、陰影強調部４０１が図２３に示す構成とされる場合に行なわれる画像処理装置３９１の動作について説明する。すなわち、以下、図２６のフローチャートを参照して、画像処理装置３９１による陰影強調処理について説明する。
【０３２７】
なお、ステップＳ１３１乃至ステップＳ１４０の処理は、図２２のステップＳ９１乃至ステップＳ１００の処理と同様であるので、その説明は省略する。
【０３２８】
但し、ステップＳ１４０では、例えば陰影強調部４０１−Ｌにおいて、乗算部４３２から乗算部４６２に左眼用奥行き適応ハイライトゲイン係数が供給され、乗算部４３３から乗算部４６３に左眼用左側奥行き適応シャドウゲイン係数が供給される。また、乗算部４３４から乗算部４６４に左眼用右側奥行き適応シャドウゲイン係数が供給される。
【０３２９】
ステップＳ１４１において、陰影強調部４０１は、明暗信号抽出部２１から供給された明暗信号に基づいて、強調ゲイン値を補正するための係数をガンマ適応補正係数として設定する。すなわち、陰影強調部４０１は、立体画像を表示させる表示装置のガンマ特性に基づいて、ガンマ適応補正係数を設定する。
【０３３０】
例えば、陰影強調部４０１−Ｌにおいて、ガンマ適応ゲイン制御部４６１は、明暗信号抽出部２１からの左眼画像明暗信号に基づいてガンマ適応補正係数を設定し、そのガンマ適応補正係数の値を、左眼用ハイライトガンマ補正係数、左眼用左側シャドウガンマ補正係数、および左眼用右側シャドウガンマ補正係数とする。
【０３３１】
そして、ガンマ適応ゲイン制御部４６１は、左眼用ハイライトガンマ補正係数を乗算部４６２に供給し、左眼用左側シャドウガンマ補正係数を乗算部４６３に供給し、左眼用右側シャドウガンマ補正係数を乗算部４６４に供給する。
【０３３２】
また、乗算部４６２は、乗算部４３２からの左眼用奥行き適応ハイライトゲイン係数に、ガンマ適応ゲイン制御部４６１からの左眼用ハイライトガンマ補正係数を乗算し、得られた左眼用ガンマ適応ハイライトゲイン係数を乗算部２３３に供給する。
【０３３３】
乗算部４６３は、乗算部４３３からの左眼用左側奥行き適応シャドウゲイン係数に、ガンマ適応ゲイン制御部４６１からの左眼用左側シャドウガンマ補正係数を乗算し、得られた左眼用左側ガンマ適応シャドウゲイン係数を乗算部２３４に供給する。
【０３３４】
さらに乗算部４６４は、乗算部４３４からの左眼用右側奥行き適応シャドウゲイン係数に、ガンマ適応ゲイン制御部４６１からの左眼用右側シャドウガンマ補正係数を乗算し、得られた左眼用右側ガンマ適応シャドウゲイン係数を乗算部２３５に供給する。
【０３３５】
なお、陰影強調部４０１−Ｒにおいても、陰影強調部４０１−Ｌにおける場合と同様の処理が行なわれる。
【０３３６】
ガンマ適応補正係数が設定されると、その後、ステップＳ１４２およびステップＳ１４３の処理が行なわれて、陰影強調処理は終了するが、これらの処理は図２２のステップＳ１０１およびステップＳ１０２の処理と同様であるので、その説明は省略する。
【０３３７】
例えば、ステップＳ１４２において、陰影強調部４０１−Ｌでは、乗算部２３３が左眼用ガンマ適応ハイライトゲイン係数を、左眼画像用ハイライト信号に乗算し、得られた左眼画像用強調ハイライト信号を加算部２３６に供給する。
【０３３８】
また、乗算部２３４が左眼用左側ガンマ適応シャドウゲイン係数を、左眼画像用左側シャドウ信号に乗算し、得られた左眼画像用左側強調シャドウ信号を加算部２３６に供給する。さらに、乗算部２３５が左眼用右側ガンマ適応シャドウゲイン係数を、左眼画像用右側シャドウ信号に乗算し、得られた左眼画像用右側強調シャドウ信号を加算部２３６に供給する。そして、加算部２３６が各信号を加算することで、左眼画像明暗強調信号を生成する。
【０３３９】
以上のようにして、画像処理装置３９１は、明暗信号に基づいてガンマ適応補正係数を設定し、ガンマ特性を考慮したハイライト成分やシャドウ成分の強調を行なう。これにより、より自然な奥行き感の立体画像を得ることができる。
【０３４０】
〈第５の実施の形態〉
［陰影強調部の構成例］
さらに、画像処理装置３９１の陰影強調部４０１において、ハイライト成分やシャドウ成分を強調するときに、その強調度合いを外部から供給される各種の情報も考慮して定めるようにしてもよい。
【０３４１】
そのような場合、例えば陰影強調部４０１−Ｌは、図２７に示すように構成される。なお、図２７において、図２０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０３４２】
図２７に示す陰影強調部４０１−Ｌは、奥行き適応ゲイン制御部４３１、左眼用ハイライトゲイン制御部２３１、左眼用シャドウゲイン制御部２３２、外部ブロック情報適応ゲイン制御部５０１、乗算部４３２乃至乗算部４３４、乗算部５０２、乗算部５０３、乗算部５０４、乗算部２３３乃至乗算部２３５、および加算部２３６から構成される。
【０３４３】
この例では、陰影強調部４０１−Ｌには、指定光源情報とともに、空信頼度、シーン分類情報、カメラ撮影情報、ノイズ計測情報、信号帯域計測情報、動き検出情報、顔検出情報、テロップ検出情報などの外部ブロックで検出された情報からなる外部ブロック情報も供給される。
【０３４４】
ここで、空信頼度は、左右の画像の各画素が空領域に属しているかの確からしさ（空信頼度）を示す情報であり、シーン分類情報は、左右の画像のシーン分類結果、例えば被写体が近景であるか遠景であるかを示す情報とされる。
【０３４５】
また、カメラ撮影情報は、左右の画像の被写界深度を示す情報であり、ノイズ計測情報は、左右の画像に含まれるノイズ量を示す情報とされる。信号帯域計測情報は、左右の画像に含まれる画像の周波数の帯域幅を示す情報であり、動き検出情報は、左右の画像内の被写体の動き量を示す情報である。
【０３４６】
さらに、顔検出情報は、左右の画像上の被写体としての顔の面積を示す情報であり、テロップ検出情報は、左右の画像に含まれるテロップの領域の大きさを示す情報である。
【０３４７】
なお、外部ブロック情報として、その他、EPG(Electronic Program Guide)情報やユーザ嗜好情報などを用いることも可能である。
【０３４８】
陰影強調部４０１−Ｌには、指定光源情報とともに、このような外部ブロック情報も供給される。
【０３４９】
外部ブロック情報適応ゲイン制御部５０１は、供給された外部ブロック情報に基づいて、外部ブロック情報に含まれる各種の情報ごとに補正係数を定める。そして、外部ブロック情報適応ゲイン制御部５０１は、それら複数の補正係数から左眼用ハイライト外部補正係数、左眼用左側シャドウ外部補正係数、および左眼用右側シャドウ外部補正係数を定める。
【０３５０】
また、外部ブロック情報適応ゲイン制御部５０１は、左眼用ハイライト外部補正係数を乗算部５０２に供給し、左眼用左側シャドウ外部補正係数を乗算部５０３に供給し、左眼用右側シャドウ外部補正係数を乗算部５０４に供給する。
【０３５１】
したがって、乗算部５０２では、乗算部４３２からの左眼用奥行き適応ハイライトゲイン係数に、外部ブロック情報適応ゲイン制御部５０１からの左眼用ハイライト外部補正係数が乗算されて、得られた左眼用外部適応ハイライトゲイン係数が乗算部２３３に供給される。
【０３５２】
また、乗算部５０３では、乗算部４３３からの左眼用左側奥行き適応シャドウゲイン係数に、外部ブロック情報適応ゲイン制御部５０１からの左眼用左側シャドウ外部補正係数が乗算されて、得られた左眼用左側外部適応シャドウゲイン係数が乗算部２３４に供給される。
【０３５３】
さらに、乗算部５０４では、乗算部４３４からの左眼用右側奥行き適応シャドウゲイン係数に、外部ブロック情報適応ゲイン制御部５０１からの左眼用右側シャドウ外部補正係数が乗算されて、得られた左眼用右側外部適応シャドウゲイン係数が乗算部２３５に供給される。
【０３５４】
ここで、外部ブロック情報適応ゲイン制御部５０１における補正係数の設定について図２８を参照して説明する。なお、図２８において、縦軸は補正係数を示しており、横軸は外部ブロック情報としての空信頼度、シーン分類情報、カメラ撮影情報、ノイズ計測情報、信号帯域計測情報、動き検出情報、顔検出情報、およびテロップ検出情報の各情報の値を示している。
【０３５５】
例えば、折れ線Ｇ３１に示すように、外部ブロック情報に含まれる空信頼度に基づく補正係数は、空信頼度が高いほど、小さくなるようにされる。これは、空の領域であれば、ハイライト成分やシャドウ成分を付加する必要がないからである。
【０３５６】
また、折れ線Ｇ３２に示すように、外部ブロック情報に含まれるシーン分類情報に基づく補正係数は、シーン分類情報により示される被写体位置が遠いほど、つまり遠景の被写体であるほど、小さくなるようにされる。これは、より近景にある被写体ほどハイライト成分やシャドウ成分が強調された方が、より自然な画像となるからである。
【０３５７】
さらに、折れ線Ｇ３３に示すように、外部ブロック情報に含まれるカメラ撮影情報に基づく補正係数は、カメラ撮影情報により示される被写界深度が浅いほど、小さくなるようにされる。これは、被写界深度が浅くぼけているほど、ハイライト成分やシャドウ成分の強調は効果が少ないからである。
【０３５８】
折れ線Ｇ３４に示すように、外部ブロック情報に含まれるノイズ計測情報に基づく補正係数は、ノイズ計測情報により示されるノイズ量が多い（ノイズが大きい）ほど、小さくなるようにされる。これは、ハイライト成分やシャドウ成分を強調したときに、ノイズ量が多いほど、そのノイズが目立ってしまうからである。
【０３５９】
折れ線Ｇ３５に示すように、外部ブロック情報に含まれる信号帯域計測情報に基づく補正係数は、信号帯域計測情報により示される信号帯域が広帯域であるほど、つまり左右の画像が高精細であるほど、大きくなるようにされる。これは、左右の画像が高精細であるほど、ハイライト成分やシャドウ成分の強調の効果が大きいからである。
【０３６０】
また、折れ線Ｇ３６に示すように、外部ブロック情報に含まれる動き検出情報に基づく補正係数は、動き検出情報により示される動き量が大きいほど、小さくなるようにされる。これは、被写体の動きが大きいほど被写体がぼけて、ハイライト成分やシャドウ成分の強調の効果が分かりにくくなるからである。
【０３６１】
さらに、折れ線Ｇ３７に示すように、外部ブロック情報に含まれる顔検出情報に基づく補正係数は、顔検出情報により示される顔面積が大きいほど、小さくなるようにされる。これは、顔領域においてハイライト成分やシャドウ成分を強調すると、不自然になってしまう場合があるからである。
【０３６２】
折れ線Ｇ３８に示すように、外部ブロック情報に含まれるテロップ検出情報に基づく補正係数は、テロップ検出情報により示されるテロップの面積が大きいほど、小さくなるようにされる。これは、テロップ領域にはハイライト成分やシャドウ成分の強調は必要ないからである。
【０３６３】
このように、外部ブロック情報に含まれる各種の情報ごとに補正係数が設定されると、それらの補正係数の加重平均値、各補正係数の乗算結果、または各補正係数の値に対してルックアップテーブルに保持されている値などが各乗算部に供給される補正係数とされる。すなわち、左眼用ハイライト外部補正係数、左眼用左側シャドウ外部補正係数、および左眼用右側シャドウ外部補正係数とされる。
【０３６４】
外部ブロック情報に基づいて、左眼画像用ハイライト信号や左眼画像用左側シャドウ信号など、ハイライト成分やシャドウ成分のゲインを制御することで、被写体に付加するシャドウ成分やハイライト成分を、立体画像に応じて適応的に制御することができる。すなわち、左眼画像や右眼画像において、被写体に付加されるシャドウ成分やハイライト成分の位置、領域の大きさ、領域の形状等を適応的に制御することができる。
【０３６５】
なお、以上においては、陰影強調部４０１−Ｌを例として説明したが、陰影強調部４０１−Ｒの構成と動作も陰影強調部４０１−Ｌと同様であるため、その説明は省略する。
【０３６６】
［陰影強調処理の説明］
次に、陰影強調部４０１が図２７に示す構成とされる場合に行なわれる画像処理装置３９１の動作について説明する。すなわち、以下、図２９のフローチャートを参照して、画像処理装置３９１による陰影強調処理について説明する。
【０３６７】
なお、ステップＳ１７１乃至ステップＳ１８０の処理は、図２６のステップＳ１３１乃至ステップＳ１４０の処理と同様であるので、その説明は省略する。
【０３６８】
但し、ステップＳ１８０では、例えば陰影強調部４０１−Ｌにおいて、乗算部４３２から乗算部５０２に左眼用奥行き適応ハイライトゲイン係数が供給され、乗算部４３３から乗算部５０３に左眼用左側奥行き適応シャドウゲイン係数が供給される。また、乗算部４３４から乗算部５０４に左眼用右側奥行き適応シャドウゲイン係数が供給される。
【０３６９】
ステップＳ１８１において、陰影強調部４０１は、指定光源情報とともに供給された外部ブロック情報に基づいて、補正係数を設定する。
【０３７０】
例えば、陰影強調部４０１−Ｌにおいて、外部ブロック情報適応ゲイン制御部５０１は、外部ブロック情報に基づいて、外部ブロック情報に含まれる情報ごとに補正係数を定め、それら複数の補正係数から左眼用ハイライト外部補正係数、左眼用左側シャドウ外部補正係数、および左眼用右側シャドウ外部補正係数を定める。
【０３７１】
そして、外部ブロック情報適応ゲイン制御部５０１は、左眼用ハイライト外部補正係数、左眼用左側シャドウ外部補正係数、および左眼用右側シャドウ外部補正係数を、乗算部５０２乃至乗算部５０４に供給する。
【０３７２】
また、乗算部５０２は、乗算部４３２からの左眼用奥行き適応ハイライトゲイン係数に、外部ブロック情報適応ゲイン制御部５０１からの左眼用ハイライト外部補正係数を乗算し、得られた左眼用外部適応ハイライトゲイン係数を乗算部２３３に供給する。
【０３７３】
乗算部５０３は、乗算部４３３からの左眼用左側奥行き適応シャドウゲイン係数に、外部ブロック情報適応ゲイン制御部５０１からの左眼用左側シャドウ外部補正係数を乗算し、得られた左眼用左側外部適応シャドウゲイン係数を乗算部２３４に供給する。
【０３７４】
さらに、乗算部５０４は、乗算部４３４からの左眼用右側奥行き適応シャドウゲイン係数に、外部ブロック情報適応ゲイン制御部５０１からの左眼用右側シャドウ外部補正係数を乗算し、得られた左眼用右側外部適応シャドウゲイン係数を乗算部２３５に供給する。
【０３７５】
なお、陰影強調部４０１−Ｒにおいても、陰影強調部４０１−Ｌにおける場合と同様の処理が行なわれる。
【０３７６】
外部ブロック情報に基づいて補正係数が設定されると、その後、ステップＳ１８２およびステップＳ１８３の処理が行なわれて、陰影強調処理は終了するが、これらの処理は図２６のステップＳ１４２およびステップＳ１４３の処理と同様であるので、その説明は省略する。
【０３７７】
例えば、ステップＳ１８２において、陰影強調部４０１−Ｌでは、乗算部２３３が左眼用外部適応ハイライトゲイン係数を、左眼画像用ハイライト信号に乗算し、得られた左眼画像用強調ハイライト信号を加算部２３６に供給する。
【０３７８】
また、乗算部２３４が左眼用左側外部適応シャドウゲイン係数を、左眼画像用左側シャドウ信号に乗算し、得られた左眼画像用左側強調シャドウ信号を加算部２３６に供給する。さらに、乗算部２３５が左眼用右側外部適応シャドウゲイン係数を、左眼画像用右側シャドウ信号に乗算し、得られた左眼画像用右側強調シャドウ信号を加算部２３６に供給する。そして、加算部２３６が各信号を加算することで、左眼画像明暗強調信号を生成する。
【０３７９】
このようにして、画像処理装置３９１は、外部ブロック情報に基づいて補正係数を設定し、外部ブロック情報を考慮したハイライト成分やシャドウ成分の強調を行なう。これにより、より自然な奥行き感の立体画像を得ることができる。
【０３８０】
以上のように本技術によれば、立体画像の奥行きを強調する際に、オクルージョン領域の両眼非対応性を考慮して影を付加することで、オクルージョンの両眼非対応を示す奥行き手がかりと、影という絵画的手掛かりの相乗効果で、自然で奥行き感のある画像を得ることができる。また、ハイライト部分では、視野闘争時の光沢感強調効果を考慮して強調処理を行うことで、より臨場感や質感のある画像を得ることができる。
【０３８１】
さらに、強調処理の強度を奥行きの遠近情報、ディスプレイのガンマ特性、外部ブロック検出情報を用いて適応的に制御することで、副作用の少ない自然な陰影感を生成することができる。
【０３８２】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０３８３】
図３０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３８４】
コンピュータにおいて、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。
【０３８５】
バス８０４には、さらに、入出力インターフェース８０５が接続されている。入出力インターフェース８０５には、入力部８０６、出力部８０７、記録部８０８、通信部８０９、及びドライブ８１０が接続されている。
【０３８６】
入力部８０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部８０７は、ディスプレイ、スピーカなどよりなる。記録部８０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部８０９は、ネットワークインターフェースなどよりなる。ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア８１１を駆動する。
【０３８７】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記録部８０８に記録されているプログラムを、入出力インターフェース８０５及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。
【０３８８】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３８９】
コンピュータでは、プログラムは、リムーバブルメディア８１１をドライブ８１０に装着することにより、入出力インターフェース８０５を介して、記録部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記録部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記録部８０８に、あらかじめインストールしておくことができる。
【０３９０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３９１】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３９２】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３９３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３９４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３９５】
さらに、本技術は、以下の構成とすることも可能である。
【０３９６】
［１］
立体画像の各領域の奥行きを示す奥行きマップ画像を所定方向にシフトさせて、奥行きマップシフト画像を生成する位相シフト部と、
前記奥行きマップシフト画像に基づいて、シャドウ成分を示すシャドウ信号を生成する陰影信号生成部と、
前記シャドウ信号にゲイン値を乗算して前記立体画像の画像信号に加算することで、シャドウ成分が付加された前記立体画像の画像信号を生成する陰影強調部と
を備える画像処理装置。
［２］
前記陰影信号生成部は、前記奥行きマップ画像を互いに異なる方向にシフトして得られた第１の奥行きマップシフト画像および第２の奥行きマップシフト画像に基づいて、シャドウ成分を示す第１のシャドウ信号および第２のシャドウ信号を生成し、
前記陰影強調部は、前記第１のシャドウ信号と前記第２のシャドウ信号に異なる前記ゲイン値を乗算して前記立体画像の画像信号に加算する
［１］に記載の画像処理装置。
［３］
前記陰影信号生成部は、前記奥行きマップ画像と前記第１の奥行きマップシフト画像の差分を求めることで前記第１のシャドウ信号を生成し、前記奥行きマップ画像と前記第２の奥行きマップシフト画像の差分を求めることで前記第２のシャドウ信号を生成する
［２］に記載の画像処理装置。
［４］
前記陰影強調部は、前記立体画像を構成する右眼画像と左眼画像について、
前記右眼画像上において前景被写体の右側のシャドウ成分が前記前景被写体の左側のシャドウ成分よりも強調されるか、またはより大きい領域とされ、
かつ前記左眼画像上において前記前景被写体の左側のシャドウ成分が前記前景被写体の右側のシャドウ成分よりも強調されるか、またはより大きい領域とされるように、
前記第１のシャドウ信号および前記第２のシャドウ信号のそれぞれに乗算される前記ゲイン値を定める
［２］または［３］に記載の画像処理装置。
［５］
前記陰影強調部は、前記立体画像を構成する右眼画像と左眼画像について、前記右眼画像上の前景被写体の右側にのみシャドウ成分が付加され、前記左眼画像上の前記前景被写体の左側にのみシャドウ成分が付加されるように、前記ゲイン値を定める
［１］に記載の画像処理装置。
［６］
前記奥行きマップ画像を平滑化して、奥行きマップ平滑化画像を生成する平滑化部をさらに備え、
前記位相シフト部は、前記奥行きマップ平滑化画像を所定方向にシフトさせて、前記奥行きマップシフト画像を生成し、
前記陰影信号生成部は、前記奥行きマップ平滑化画像と前記奥行きマップシフト画像の差分を求めることで、前記シャドウ信号を生成する
［１］に記載の画像処理装置。
［７］
前記陰影信号生成部は、前記奥行きマップ画像と前記奥行きマップシフト画像の差分に基づいて、ハイライト成分を示すハイライト信号をさらに生成し、
前記陰影強調部は、前記シャドウ信号および前記ハイライト信号に前記ゲイン値を乗算して前記立体画像の画像信号に加算する
［１］に記載の画像処理装置。
［８］
前記立体画像を構成する右眼画像と左眼画像において、同一位置に付加されるハイライト成分の明るさまたは大きさが異なるように、前記ハイライト信号に乗算される前記ゲイン値が定められる
［７］に記載の画像処理装置。
［９］
前記右眼画像と前記左眼画像の前記ハイライト信号に乗算される前記ゲイン値の少なくとも一方は負の値とされる
［８］に記載の画像処理装置。
［１０］
前記陰影強調部は、前記立体画像上における被写体が手前側にあるほど、その被写体の領域のシャドウ成分が強調されるように、前記奥行きマップ画像に基づいて前記ゲイン値を定める
［１］に記載の画像処理装置。
［１１］
前記陰影強調部は、前記立体画像に関する外部ブロック情報に基づいて、前記立体画像に付加されるシャドウ成分の位置、大きさ、または形状が適応的に制御されるように、前記ゲイン値を定める
［１］に記載の画像処理装置。
［１２］
前記外部ブロック情報は、光源情報、空検出情報、シーン分類情報、ノイズ量計測情報、信号帯域計測情報、顔検出情報、テロップ検出情報、EPG情報、カメラ撮影情報、動き検出情報、またはユーザ嗜好情報の少なくとも何れかである
［１１］に記載の画像処理装置。
［１３］
前記立体画像の画像信号を、明暗成分を示す明暗信号と色成分を示す色信号とに分離させる分離部と、
前記シャドウ信号が加算された前記明暗信号と、前記色信号とを合成して、前記立体画像の画像信号とする合成部と
をさらに備え、
前記陰影強調部は、前記ゲイン値を乗算した前記シャドウ信号を、前記明暗信号に加算する
［１］に記載の画像処理装置。
［１４］
前記陰影強調部は、前記立体画像が表示される表示装置のガンマ特性に基づいて前記ゲイン値を定める
［１］に記載の画像処理装置。
［１５］
前記立体画像の画像信号は、２眼若しくは複数眼のカメラで撮影して得られた画像信号であるか、または２次元画像を立体画像に変換して得られた画像信号である
［１］に記載の画像処理装置。
［１６］
２次元画像の各領域の奥行きを示す単眼奥行きマップ画像に基づいて、前記２次元画像をシフトさせることで、前記立体画像の画像信号を生成する画像変換部と、
前記画像変換部による前記２次元画像のシフト量に基づいて、前記単眼奥行きマップ画像をシフトさせることで、前記奥行きマップ画像を生成する奥行きマップ変換部と
をさらに備える［１］に記載の画像処理装置。
［１７］
前記立体画像を構成する右眼画像と左眼画像の視差を検出することで前記奥行きマップ画像を生成する奥行きマップ推定部をさらに備える
［１］に記載の画像処理装置。
【符号の説明】
【０３９７】
１１  画像処理装置，  ２１  明暗信号抽出部，  ２２  奥行きマップ推定部，  ２３−Ｌ，２３−Ｒ，２３  平滑化部，  ２４  位相シフト部，  ２５−Ｌ，２５−Ｒ，２５  陰影信号生成部，  ２６−Ｌ，２６−Ｒ，２６  陰影強調部，  ２７  陰影強調信号生成部
【図１】
2014022867.tif 000003
【図２】
2014022867.tif 000004
【図３】
2014022867.tif 000005
【図４】
2014022867.tif 000006
【図５】
2014022867.tif 000007
【図６】
2014022867.tif 000008
【図７】
2014022867.tif 000009
【図８】
2014022867.tif 000010
【図９】
2014022867.tif 000011
【図１０】
2014022867.tif 000012
【図１１】
2014022867.tif 000013
【図１２】
2014022867.tif 000014
【図１３】
2014022867.tif 000015
【図１４】
2014022867.tif 000016
【図１５】
2014022867.tif 000017
【図１６】
2014022867.tif 000018
【図１７】
2014022867.tif 000019
【図１８】
2014022867.tif 000020
【図１９】
2014022867.tif 000021
【図２０】
2014022867.tif 000022
【図２１】
2014022867.tif 000023
【図２２】
2014022867.tif 000024
【図２３】
2014022867.tif 000025
【図２４】
2014022867.tif 000026
【図２５】
2014022867.tif 000027
【図２６】
2014022867.tif 000028
【図２７】
2014022867.tif 000029
【図２８】
2014022867.tif 000030
【図２９】
2014022867.tif 000031
【図３０】
2014022867.tif 000032