(57)【要約】【課題】ディスパリティの時間方向の安定性を向上させる。【解決手段】差分絶対値和算出部３２が注目画素の時間方向の特性を示す時間方向差分絶対値和と、空間方向の特性を示す空間方向差分絶対値和とを算出する。重み設定部３３が、IIRフィルタ３５により処理する注目フレームの注目画素に対応するディスパリティと、注目フレームの直前の過去フレームにおける注目画素に対応する画素位置の過去画素に対応するディスパリティとに付加する重みを、時間方向差分絶対値和および空間方向差分絶対値和に基づいて設定する。IIRフィルタ３５は、注目画素および過去画素にそれぞれ対応するディスパリティに重みを付して積和計算することで注目画素のディスパリティを補正して、補正ディスパリティを注目画素に対応するディスパリティとして生成する。本技術は、３次元画像を表示するテレビジョン受像機に適用することができる。【選択図】図１
2013223114.tif 000002
【特許請求の範囲】
【請求項１】
左眼用画像、および右眼用画像からなる３Ｄ画像として視聴可能な連続してフレーム単位で供給される画像の処理対象となる注目画素と、前記注目画素に対応して設定される複数の近傍の画素からなるブロック間で、空間方向、および時間方向に画素間の差分絶対値和を算出する差分絶対値和算出部と、
前記左眼用画像、および前記右眼用画像より画素毎にディスパリティを生成するディスパリティ生成部と、
前記差分絶対値和に基づいて、注目画素を含む注目フレームのディスパリティ、および前記注目フレームより過去のフレームである過去フレームにおける、前記注目画素に対応して設定される過去画素のディスパリティに重みを設定する重み設定部と、
前記注目画素のディスパリティ、および前記過去画素のディスパリティに、前記重み設定部により付された重みを付加して積和を求めることにより、前記ディスパリティ生成部により生成された前記注目画素のディスパリティを補正するディスパリティ補正部と
を含む画像処理装置。
【請求項２】
前記差分絶対値和算出部は、
前記左眼用画像、および前記右眼用画像のいずれかの画像における注目画素に対応して設定される近傍の複数の画素からなるブロックと、同一フレーム内において、前記各画素に対応して設定される複数の画素に対応して設定される近傍の複数の画素からなるブロックとの対応する画素間の画素値の差分絶対値和を算出する空間方向差分絶対値和算出部と、
前記左眼用画像、および前記右眼用画像のいずれかの画像における注目画素に対応して設定される複数の近傍の画素からなるブロックと、前記過去フレームであって、前記注目画素の位置に対応して設定される画素と、その近傍の複数の画素からなるブロックとの対応する画素間の画素値の差分絶対値和を算出する時間方向差分絶対値和算出部とをさらに含む
請求項１に記載の画像処理装置。
【請求項３】
前記差分絶対値和算出部は、
前記注目画素が画像境界領域に属する画素であるか否かを判定する画像境界領域判定部をさらに含み、
前記注目画素が前記画像境界領域に属する画素であると判定された場合、前記重み設定部は、前記注目フレームにおける前記注目画素の近傍であって、前記画像境界領域に属さない画素である代替注目画素に対応するディスパリティ、および前記過去フレームにおける前記過去画素の近傍であって、前記画像境界領域に属さない画素である代替過去画素に対応するディスパリティに対して、重みを設定し、
前記ディスパリティ補正部は、前記注目画素のディスパリティ、および前記過去画素のディスパリティに代えて、前記代替注目画素のディスパリティ、および前記代替過去画素のディスパリティに、前記重み設定部により付された重みを付加して積和を求めることにより、前記ディスパリティ生成部により生成された前記注目画素のディスパリティを補正する
請求項１に記載の画像処理装置。
【請求項４】
前記画像に基づいて、例外状態が発生しているか否かを判定する例外判定部と、
前記例外判定部の例外判定結果に基づいて、前記重み設定部により設定された重みを例外的に処理する例外処理部とをさらに含む
請求項１に記載の画像処理装置。
【請求項５】
前記注目画素および前記注目画素に対応して設定される近傍の複数の画素からなるブロックと、前記注目画素に対応して前記過去フレームに設定される複数の過去画素、および前記複数の過去画素のそれぞれに対応して設定される近傍の複数の画素からなる複数のブロックとの対応する画素間の画素値の差分絶対値和のうち、前記差分絶対値和の最小値が所定の閾値よりも高いとき、前記例外処理部は、前記注目画素のディスパリティに設定する重みが、前記過去画素のディスパリティに設定される重みよりも大きくなるように重みを設定し、
前記最小値が所定の閾値よりも小さいとき、前記例外処理部は、前記注目画素のディスパリティに設定する重みが、前記過去画素のディスパリティに設定される重みよりも小さくなるように重みを設定する
請求項４に記載の画像処理装置。
【請求項６】
前記例外判定部は、
前記注目画素のディスパリティと、前記過去画素のディスパリティとの差分絶対値が所定値よりも大きいか否かによりディスパリティが発散しているか否かを判定するディスパリティ発散判定部と、
前記注目フレームにおけるカラーヒストグラムと、前記過去フレームにおけるカラーヒストグラムとの差分絶対値よりシーンチェンジの発生の有無を判定するヒストグラム判定部とを含み、
前記ディスパリティ発散判定部によりディスパリティが発散していると判定された場合、または、前記ヒストグラム判定部によりシーンチェンジが発生していると判定された場合、例外状態が発生しているものとみなし、
前記例外処理部は、前記例外判定部により例外状態が発生していると判定された場合、前記注目画素のディスパリティの重みを１として、前記過去画素のディスパリティの重みを０とする
請求項４に記載の画像処理装置。
【請求項７】
前記例外判定部は、
前記注目画素が字幕領域に属するか否かを判定する字幕領域判定部をさらに含み、
前記注目画素が前記字幕領域に属していると判定した場合、前記例外判定部により前記例外状態が発生していると判定され、前記例外処理部は、前記注目画素のディスパリティの重みよりも、前記過去画素のディスパリティへの重みが大きくなるように重みを設定する
請求項４に記載の画像処理装置。
【請求項８】
前記例外判定部は、
前記注目画素が空領域に属するか否かを判定する空領域判定部をさらに含み、
前記注目画素が前記空領域に属していると判定した場合、前記例外判定部により前記例外状態が発生していると判定され、前記例外処理部は、前記注目画素のディスパリティおよび過去画素ディスパリティの重みをいずれも小さくし、所定の定数に対する重みが大きくなるように重みを設定する
請求項４に記載の画像処理装置。
【請求項９】
前記ディスパリティ補正部により補正されたディスパリティを、前記処理対象となるフレームより以前のフレームにおける補正されたディスパリティに対して所定値だけ大きい値、または、所定値だけ小さい値にクリップするクリップ部をさらに含む
請求項１に記載の画像処理装置。
【請求項１０】
前記所定値は、前記ディスパリティ補正部により補正されたディスパリティの値に比例して設定される値である
請求項９に記載の画像処理装置。
【請求項１１】
画像処理装置の画像処理方法であって、
前記画像処理装置が、
左眼用画像、および右眼用画像からなる３Ｄ画像として視聴可能な連続してフレーム単位で供給される画像の処理対象となる注目画素と、前記注目画素に対応して設定される複数の近傍の画素からなるブロック間で、空間方向、および時間方向に画素間の差分絶対値和を算出する差分絶対値和算出処理し、
前記左眼用画像、および前記右眼用画像より画素毎にディスパリティを生成するディスパリティ生成処理し、
前記差分絶対値和に基づいて、注目画素を含む注目フレームのディスパリティ、および前記注目フレームより過去のフレームである過去フレームにおける、前記注目画素に対応して設定される過去画素のディスパリティに重みを設定する重み設定処理し、
前記注目画素のディスパリティ、および前記過去画素のディスパリティに、前記重み設定処理により付された重みを付加して積和を求めることにより、前記ディスパリティ生成処理により生成された前記注目画素のディスパリティを補正するディスパリティ補正処理する
ステップを含む画像処理方法。
【請求項１２】
画像処理装置を制御するコンピュータに、
左眼用画像、および右眼用画像からなる３Ｄ画像として視聴可能な連続してフレーム単位で供給される画像の処理対象となる注目画素と、前記注目画素に対応して設定される複数の近傍の画素からなるブロック間で、空間方向、および時間方向に画素間の差分絶対値和を算出する差分絶対値和算出ステップと、
前記左眼用画像、および前記右眼用画像より画素毎にディスパリティを生成するディスパリティ生成ステップと、
前記差分絶対値和に基づいて、注目画素を含む注目フレームのディスパリティ、および前記注目フレームより過去のフレームである過去フレームにおける、前記注目画素に対応して設定される過去画素のディスパリティに重みを設定する重み設定ステップと、
前記注目画素のディスパリティ、および前記過去画素のディスパリティに、前記重み設定ステップの処理により付された重みを付加して積和を求めることにより、前記ディスパリティ生成ステップの処理により生成された前記注目画素のディスパリティを補正するディスパリティ補正ステップと
を含む処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、左眼用画像および右眼用画像からなる３次元画像として視聴可能な画像から、複数の視点の３次元画像を生成する際に、中間生成物として生成されるディスパリティマップを時間方向に対して安定させ、ディスパリティマップに基づいて新たに生成される多視点の３次元画像を時間方向に安定させるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
視差を持つ左眼用画像および右眼用画像を表示することにより、３次元画像による視聴が可能なテレビジョン受像機が一般に普及しつつある。
【０００３】
一般に、３次元画像による視聴が可能なテレビジョン受像機は、同時に異なる角度から撮像された２枚以上の画像を同時に表示することにより、視聴者に対して多視点での３次元画像の視聴を可能としている。
【０００４】
通常、配信されてくる３次元画像は、左眼用画像および右眼用画像の２枚分の画像だけであるため、テレビジョン受像機は、その他の視点に対して必要とされるだけの３次元画像を、配信されてきた２枚の画像から合成して表示している。
【０００５】
３次元画像から多視点画像を合成する際、その最初の処理として、入力された２枚の組となっている右眼用画像および左目用画像からディスパリティマップ（視差画像）を生成する。一般に、ディスパリティマップを生成する手法は、入力された右眼用画像および左目用画像の関係のみを使ってディスパリティマップを探索していくというものであるが、それゆえにディスパリティマップの時間方向の安定性は保証されない。ディスパリティマップの時間方向の不安定さは、合成される画像内における物体の動きとなって現れるため、ディスパリティの時間方向の安定性が、見栄えの良い多視点の３次元画像を合成するうえで非常に重要である。
【０００６】
ディスパリティマップの推定にあたっては、コスト最小化法を用いる際、時間方向の変化が滑らかであることを拘束条件として導入することで、時間方向の安定性を向上させることが提案されている（特許文献１参照）。
【０００７】
また、ディスパリティの時間方向の滑らかさを向上させるうえで、その他の一般的に利用される手法として、時間方向にIIR（Infinite Impulse Response）フィルタやFIR（Finite Impulse Response）フィルタを掛けるといった手法が提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】ＵＳ ２０１１／０１１０５８３
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、ディスパリティの時間方向の安定性（滑らかさ）は、ディスパリティ値の時間方向の変化として表現できるものである。ディスパリティの推定にあたって、余分な拘束条件が増えれば、ディスパリティの推定に必要とされる装置構成がより複雑なものとされ、さらに、多くのバッファメモリが必要とされることになる。
【００１０】
また、IIRフィルタやFIRフィルタを用いた手法には、画像に含まれる各画素の特性が考慮されていない。このため、生成されるディスパリティマップは、画像に含まれている画素の特性が生かされておらず、これが故に、時間方向に不安定になってしまうことがあった。
【００１１】
本技術はこのような状況に鑑みてなされたものであり、特に、画像内における空間的な一貫性を考慮してディスパリティを算出することで、容易で、かつ、簡単な構成により、ディスパリティの時間方向の安定性を向上させるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の一側面の画像処理装置は、左眼用画像、および右眼用画像からなる３Ｄ画像として視聴可能な連続してフレーム単位で供給される画像の処理対象となる注目画素と、前記注目画素に対応して設定される複数の近傍の画素からなるブロック間で、空間方向、および時間方向に画素間の差分絶対値和を算出する差分絶対値和算出部と、前記左眼用画像、および前記右眼用画像より画素毎にディスパリティを生成するディスパリティ生成部と、前記差分絶対値和に基づいて、注目画素を含む注目フレームのディスパリティ、および前記注目フレームより過去のフレームである過去フレームにおける、前記注目画素に対応して設定される過去画素のディスパリティに重みを設定する重み設定部と、前記注目画素のディスパリティ、および前記過去画素のディスパリティに、前記重み設定部により付された重みを付加して積和を求めることにより、前記ディスパリティ生成部により生成された前記注目画素のディスパリティを補正するディスパリティ補正部とを含む。
【００１３】
前記差分絶対値和算出部には、前記左眼用画像、および前記右眼用画像のいずれかの画像における注目画素に対応して設定される近傍の複数の画素からなるブロックと、同一フレーム内において、前記各画素に対応して設定される複数の画素に対応して設定される近傍の複数の画素からなるブロックとの対応する画素間の画素値の差分絶対値和を算出する空間方向差分絶対値和算出部と、前記左眼用画像、および前記右眼用画像のいずれかの画像における注目画素に対応して設定される複数の近傍の画素からなるブロックと、前記過去フレームであって、前記注目画素の位置に対応して設定される画素と、その近傍の複数の画素からなるブロックとの対応する画素間の画素値の差分絶対値和を算出する時間方向差分絶対値和算出部とをさらに含ませるようにすることができる。
【００１４】
前記差分絶対値和算出部には、前記注目画素が画像境界領域に属する画素であるか否かを判定する画像境界領域判定部をさらに含ませるようにすることができ、前記注目画素が前記画像境界領域に属する画素であると判定された場合、前記重み設定部には、前記注目フレームにおける前記注目画素の近傍であって、前記画像境界領域に属さない画素である代替注目画素に対応するディスパリティ、および前記過去フレームにおける前記過去画素の近傍であって、前記画像境界領域に属さない画素である代替過去画素に対応するディスパリティに対して、重みを設定させ、前記ディスパリティ補正部には、前記注目画素のディスパリティ、および前記過去画素のディスパリティに代えて、前記代替注目画素のディスパリティ、および前記代替過去画素のディスパリティに、前記重み設定部により付された重みを付加して積和を求めることにより、前記ディスパリティ生成部により生成された前記注目画素のディスパリティを補正させるようにすることができる。
【００１５】
前記画像に基づいて、例外状態が発生しているか否かを判定する例外判定部と、前記例外判定部の例外判定結果に基づいて、前記重み設定部により設定された重みを例外的に処理する例外処理部とをさらに含ませるようにすることができる。
【００１６】
前記注目画素および前記注目画素に対応して設定される近傍の複数の画素からなるブロックと、前記注目画素に対応して前記過去フレームに設定される複数の過去画素、および前記複数の過去画素のそれぞれに対応して設定される近傍の複数の画素からなる複数のブロックとの対応する画素間の画素値の差分絶対値和のうち、前記差分絶対値和の最小値が所定の閾値よりも高いとき、前記例外処理部には、前記注目画素のディスパリティに設定する重みが、前記過去画素のディスパリティに設定される重みよりも大きくなるように重みを設定させ、前記最小値が所定の閾値よりも小さいとき、前記例外処理部には、前記注目画素のディスパリティに設定する重みが、前記過去画素のディスパリティに設定される重みよりも小さくなるように重みを設定させるようにすることができる。
【００１７】
前記例外判定部には、前記注目画素のディスパリティと、前記過去画素のディスパリティとの差分絶対値が所定値よりも大きいか否かによりディスパリティが発散しているか否かを判定するディスパリティ発散判定部と、前記注目フレームにおけるカラーヒストグラムと、前記過去フレームにおけるカラーヒストグラムとの差分絶対値よりシーンチェンジの発生の有無を判定するヒストグラム判定部とを含ませるようにすることができ、前記ディスパリティ発散判定部によりディスパリティが発散していると判定された場合、または、前記ヒストグラム判定部によりシーンチェンジが発生していると判定された場合、例外状態が発生しているものとみなすようにさせることができ、前記例外処理部には、前記例外判定部により例外状態が発生していると判定された場合、前記注目画素のディスパリティの重みを１として、前記過去画素のディスパリティの重みを０とさせるようにすることができる。
【００１８】
前記例外判定部には、前記注目画素が字幕領域に属するか否かを判定する字幕領域判定部をさらに含ませるようにすることができ、前記注目画素が前記字幕領域に属していると判定した場合、前記例外判定部により前記例外状態が発生していると判定され、前記例外処理部には、前記注目画素のディスパリティの重みよりも、前記過去画素のディスパリティへの重みが大きくなるように重みを設定させるようにすることができる。
【００１９】
前記例外判定部には、前記注目画素が空領域に属するか否かを判定する空領域判定部をさらに含ませるようにすることができ、前記注目画素が前記空領域に属していると判定した場合、前記例外判定部により前記例外状態が発生していると判定され、前記例外処理部には、前記注目画素のディスパリティおよび過去画素ディスパリティの重みをいずれも小さくし、所定の定数に対する重みが大きくなるように重みを設定させるようにすることができる。
【００２０】
前記ディスパリティ補正部により補正されたディスパリティを、前記処理対象となるフレームより以前のフレームにおける補正されたディスパリティに対して所定値だけ大きい値、または、所定値だけ小さい値にクリップするクリップ部をさらに含ませるようにすることができる。
【００２１】
前記所定値は、前記ディスパリティ補正部により補正されたディスパリティの値に比例して設定される値とすることができる。
【００２２】
本技術の一側面の画像処理方法は、画像処理装置の画像処理方法であって、前記画像処理装置が、左眼用画像、および右眼用画像からなる３Ｄ画像として視聴可能な連続してフレーム単位で供給される画像の処理対象となる注目画素と、前記注目画素に対応して設定される複数の近傍の画素からなるブロック間で、空間方向、および時間方向に画素間の差分絶対値和を算出する差分絶対値和算出処理し、前記左眼用画像、および前記右眼用画像より画素毎にディスパリティを生成するディスパリティ生成処理し、前記差分絶対値和に基づいて、注目画素を含む注目フレームのディスパリティ、および前記注目フレームより過去のフレームである過去フレームにおける、前記注目画素に対応して設定される過去画素のディスパリティに重みを設定する重み設定処理し、前記注目画素のディスパリティ、および前記過去画素のディスパリティに、前記重み設定処理により付された重みを付加して積和を求めることにより、前記ディスパリティ生成処理により生成された前記注目画素のディスパリティを補正するディスパリティ補正処理するステップを含む。
【００２３】
本技術の一側面のプログラムは、画像処理装置を制御するコンピュータに、左眼用画像、および右眼用画像からなる３Ｄ画像として視聴可能な連続してフレーム単位で供給される画像の処理対象となる注目画素と、前記注目画素に対応して設定される複数の近傍の画素からなるブロック間で、空間方向、および時間方向に画素間の差分絶対値和を算出する差分絶対値和算出ステップと、前記左眼用画像、および前記右眼用画像より画素毎にディスパリティを生成するディスパリティ生成ステップと、前記差分絶対値和に基づいて、注目画素を含む注目フレームのディスパリティ、および前記注目フレームより過去のフレームである過去フレームにおける、前記注目画素に対応して設定される過去画素のディスパリティに重みを設定する重み設定ステップと、前記注目画素のディスパリティ、および前記過去画素のディスパリティに、前記重み設定ステップの処理により付された重みを付加して積和を求めることにより、前記ディスパリティ生成ステップの処理により生成された前記注目画素のディスパリティを補正するディスパリティ補正ステップとを含む処理を実行させる。
【００２４】
本技術の一側面においては、左眼用画像、および右眼用画像からなる３Ｄ画像として視聴可能な連続してフレーム単位で供給される画像の処理対象となる注目画素と、前記注目画素に対応して設定される複数の近傍の画素からなるブロック間で、空間方向、および時間方向に画素間の差分絶対値和が算出され、前記左眼用画像、および前記右眼用画像より画素毎にディスパリティが生成され、前記差分絶対値和に基づいて、注目画素を含む注目フレームのディスパリティ、および前記注目フレームより過去のフレームである過去フレームにおける、前記注目画素に対応して設定される過去画素のディスパリティに重みが設定され、前記注目画素のディスパリティ、および前記過去画素のディスパリティに、付された重みを付加して積和が求められることにより、生成された前記注目画素のディスパリティが補正される。
【００２５】
本技術の画像処理装置は、独立した装置であっても良いし、画像の処理を行うブロックであっても良い。
【発明の効果】
【００２６】
本技術の一側面によれば、３次元画像を構成する左目用画像および右眼用画像より求められるディスパリティの時間方向に対する安定性を向上させ、ディスパリティに基づいて適切な３次元画像を生成できるようにすることにより、より視聴し易い見栄えの良い３次元画像を生成して表示することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本技術を適用したテレビジョン受像機の第１の実施の形態の構成例を示すブロック図である。
【図２】図１のディスパリティ生成部によるディスパリティ生成処理を説明するフローチャートである。
【図３】時間方向差分絶対値和および空間方向差分絶対値和の算出方法を説明する図である。
【図４】時間方向差分絶対値和および空間方向差分絶対値和に基づいた注目画素および過去画素に対応するディスパリティへの重みの設定方法を説明する図である。
【図５】時間方向差分絶対値和および空間方向差分絶対値和に基づいたディスパリティの生成方法を説明する図である。
【図６】本技術の適用したテレビジョン受像機の第２の実施の形態の構成例を示すブロック図である。
【図７】図６のディスパリティ生成部によるディスパリティ生成処理を説明するフローチャートである。
【図８】注目画素と類似した過去画素を用いた、時間方向差分絶対値和および空間方向差分絶対値和に基づいたディスパリティの生成方法を説明する図である。
【図９】本技術の適用したテレビジョン受像機の第２の実施の形態の構成例を示すブロック図である。
【図１０】図９のディスパリティ生成部によるディスパリティ生成処理を説明するフローチャートである。
【図１１】注目画素と、注目画素の付近であってディスパリティが最大値となる過去画素を用いた、時間方向差分絶対値和および空間方向差分絶対値和に基づいたディスパリティの生成方法を説明する図である。
【図１２】注目画素と、注目画素の付近であってディスパリティが最大値となる過去画素を用いた、時間方向差分絶対値和および空間方向差分絶対値和に基づいたディスパリティの生成方法を説明する図である。
【図１３】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００２８】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（各画素について時間方向差分と空間方向差分とを考慮してディスパリティを生成する場合の一例）
２．第２の実施の形態（注目画素に対して時間方向に類似した画素が存在するか否かに基づいてディスパリティを算出する場合の一例）
３．第３の実施の形態（様々な例外状態に応じてディスパリティを算出する場合の一例）
【００２９】
＜１．第１の実施の形態＞
［テレビジョン受像機の第１の実施の形態の構成例］
図１は、本技術の画像処理装置を適用したテレビジョン受像機の第１の実施の形態の構成例を示している。図１のテレビジョン受像機１１は、それぞれペアとなる左眼用画像および右眼用画像からなる３次元画像の配信を受け、このペアとなる左眼用画像および右眼用画像を利用して多視点の３次元画像を生成して表示する。尚、本実施例においては、３次元画像を表示する装置の一例としてテレビジョン受像機を用いた例について説明するものとするが、何らかの手段により３次元画像のデータを取得し、取得したペアとなる２枚の左眼用画像および右眼用画像から多視点画像を生成して表示するものであれば、テレビジョン受像機以外の構成であってもよいものである。
【００３０】
テレビジョン受像機１１は、ディスパリティ生成部２１、ステレオ画像生成部２２、および表示部２３を備えている。ディスパリティ生成部２１は、配信されたペアとなる２枚の左眼用画像および右眼用画像から、各画素の特性を考慮することにより、時間方向に安定した、画素単位での視差量を示すディスパリティを算出する。さらに、ディスパリティ生成部２１は、その視差量を画素とする視差量画像マップ、すなわち、ディスパリティマップを生成してステレオ画像生成部２２に供給する。ステレオ画像生成部２２は、ディスパリティ生成部２１より供給されてくる、時間方向に安定したディスパリティマップに基づいて、配信された２枚の左眼用画像および右眼用画像から多視点の３次元画像を生成し、表示部２３に出力する。表示部２３は、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence）などからなり、ステレオ画像生成部２２より供給されてくる画像を用いて、タイムシーケンシャル方式、パララックスバリア方式、またはレンチキュラーレンズ方式などにより、多視点で３次元画像が視聴可能な画像を表示する。
【００３１】
ディスパリティ生成部２１は、画像取得部３１、差分絶対値和算出部３２、重み設定部３３、例外処理部３４、IIRフィルタ３５、クリップ処理部３６、補正ディスパリティ記憶部３７、例外判定部３８、ディスパリティ算出部３９、およびディスパリティ記憶部４０を備えている。
【００３２】
画像取得部３１は、図示せぬ放送局や画像データの配信元より配信されてくる左眼用画像および右眼用画像からなる３次元画像のデータを取得して記憶する。また、画像取得部３１は、取得した画像を差分絶対値和算出部３２、例外判定部３８、ディスパリティ算出部３９に供給する。なお、画像取得部３１は、上述した以外の方法で３次元画像のデータを取得するようにしてもよく、例えば、インターネットに代表されるようなネットワークや記録媒体などから読み出して取得するようにしてもよい。
【００３３】
差分絶対値和算出部３２は、画像取得部３１より供給されてくる画像のうち、左眼用画像、または右眼用画像のいずれかのRGBの各画素について、対応して設定される複数の画素からなるブロック単位で空間方向および時間方向の差分絶対値和を算出する。より詳細には、差分絶対値和算出部３２は、空間方向差分絶対値和算出部５１、および時間方向差分絶対値和算出部５２を備えており、それぞれが入力された各画素について、空間方向差分絶対値和、および時間方向差分絶対値和を算出して、それぞれ重み設定部３３に供給する。
【００３４】
重み設定部３３は、差分絶対値和算出部３２より供給されてくる空間方向差分絶対値和、および時間方向差分絶対値和に基づいて、後述するIIRフィルタ３５において使用する重みを算出する。より具体的には、IIRフィルタ３５は、処理対象となるフレームである注目フレームにおける処理対象画素である注目画素ごとに対応するディスパリティと、注目フレームの直前のフレームである過去フレームにおける注目画素に対応する過去画素に対応するディスパリティとに重みを付して積和を求める。重み設定部３３は、このIIRフィルタにおいて注目画素に対応するディスパリティおよび過去画素に対応するディスパリティに付加される重みを設定する。
【００３５】
尚、以降において、処理対象となるフレームについては注目フレームと称するものとし、処理対象フレームより直前のフレームについては過去フレームと称するものとする。また、同様に処理対象となる画素についても注目画素と称するものとし、過去フレームにおける注目画素に対応する画素を過去画素と称するものとする。
【００３６】
より詳細には、重み設定部３３は、重み付加部４１、動き境界画素判定部４２、および重み選択部４３を備えている。重み付加部４１は、RGBの各画素の注目画素の空間方向差分絶対値和、および時間方向差分絶対値和に基づいて、予め設定された２次元のルックアップテーブルに基づいて、RGBの各画素について重みを付加し、重み選択部４３に供給する。
【００３７】
動き境界画素判定部４２は、注目画素のRGBのそれぞれの空間方向差分絶対値和、および時間方向差分絶対値和を所定の閾値と比較し、その比較結果に基づいて、動き境界画素であるか否かを判定し、判定結果を重み選択部４３に供給する。動き境界画素とは、動きのある物体の領域であって、その背景との境界部分に存在する画素である。動き境界画素は、変化が大きい領域に属する画素であるため過去フレームにおける過去画素よりも注目フレームの注目画素に注目して重みを設定する必要がある。
【００３８】
重み選択部４３は、注目画素について、動き境界画素判定部４２の判定結果が動き境界画素である場合、RGBのそれぞれの重みのうち、最大値となる重みを、注目画素に対応するディスパリティに付加する重みとして設定する。逆に、注目画素について、動き境界画素判定部４２の判定結果が動き境界画素ではない場合、重み選択部４３は、RGBのそれぞれの重みのうち、最小値となる重みを、注目画素に対応するディスパリティに付加する重みとして設定する。すなわち、動き境界画素であるときには、注目画素に対応するディスパリティが重要であるので、注目画素に対応したディスパリティの重みが大きく設定され、過去画素に対応したディスパリティの重みが小さく設定される。逆に、動き境界画素でないときには、過去画素に対応するディスパリティが重要であるので、過去画素に対応したディスパリティの重みが大きく設定され、注目画素に対応したディスパリティの重みが小さく設定される。
【００３９】
ディスパリティ算出部３９は、入力される左眼用画像および右眼用画像とから、動的計画法などの一般的に利用されている通常の手法によりディスパリティを算出し、ディスパリティマップとしてディスパリティ記憶部４０に記憶させる。すなわち、ここで生成されるディスパリティには、時間的な安定性が保証されていない。
【００４０】
例外判定部３８は、ヒストグラム判定部６１、およびディスパリティ発散判定部６２を備えており、例外状態が発生したか否かを判定する。すなわち、ヒストグラム判定部６１は、入力されてくる画像のうち、注目フレームと過去フレームとのそれぞれについて画素値のヒストグラムを生成し、生成したヒストグラムとを比較し大きな変化があった場合、シーンチェンジが発生したものとみなし、例外状態であるものとみなす。また、ディスパリティ発散判定部６２は、ディスパリティ記憶部４０に記憶されている注目画素に対応するディスパリティと対応する過去画素におけるディスパリティとを比較し、その差分絶対値が所定の閾値よりも大きい場合、ディスパリティが発散しており、例外状態であるものとみなす。すなわち、例外判定部３８は、ヒストグラム判定部６１、およびディスパリティ発散判定部６２の少なくともいずれかが例外状態であると判定したとき、例外状態になっていることを例外処理部３４に通知する。
【００４１】
例外処理部３４は、例外判定部３８より例外状態が通知されない場合、重み設定部３３より供給されてきた重みを、そのままIIRフィルタ３５に供給する。一方、例外処理部３４は、例外判定部３８より例外状態が検出されたことが通知されると、重み設定部３３により設定された重みを破棄して、注目画素に対応するディスパリティに対しての重みを１に設定し、過去画素に対応するディスパリティに対しての重みを０に設定する。このようにすることで、注目フレームが過去フレームと無関係であるような場合、注目フレームの結果だけを優先的に使用できるように例外処理がなされる。
【００４２】
IIR（Infinite impulse response）フィルタ３５は、ディスパリティ記憶部４０にアクセスして、注目画素に対応するディスパリティを読み出すとともに、補正ディスパリティ記憶部３７に記憶されている注目画素に対応する過去画素のディスパリティを読み出す。そして、IIRフィルタ３５は、例外処理部３４より供給されてくる重みを、それぞれのディスパリティに付加して、積和計算することにより、時間方向にIIRフィルタ処理を実行する。IIRフィルタ３５は、フィルタ処理した結果をクリップ処理部３６に供給する。
【００４３】
クリップ処理部３６は、IIRフィルタ３５より供給されてきたディスパリティが、補正ディスパリティ記憶部３７に記憶されている過去画素に対応するディスパリティに対して所定値を加算した値より大きい場合、過去画素に対応するディスパリティに所定値を加算した値にクリップする。また、クリップ処理部３６は、IIRフィルタ３５より供給されてきたディスパリティが、補正ディスパリティ記憶部３７に記憶されている過去画素に対応するディスパリティに対して所定値を減算した値より小さい場合、過去画素に対応するディスパリティに所定値を減算した値にクリップする。クリップ処理部３６は、処理結果であるディスパリティを補正ディスパリティとして補正ディスパリティ記憶部３７に記憶させる。
【００４４】
補正ディスパリティ記憶部３７は、必要に応じて過去画素に対応するディスパリティとしてIIRフィルタ３５、およびクリップ処理部３６に供給するとともに、全画素が処理されたフレーム単位の補正ディスパリティからなるディスパリティマップをステレオ画像生成部２２に供給する。すなわち、補正ディスパリティ記憶部３７に記憶されているディスパリティが、時間方向に対して安定性が向上されているディスパリティであり、この補正ディスパリティが最終的な生成結果としてステレオ画像生成部２２に供給される。従って、以降においては、通常の手法で生成されたディスパリティに対して、時間的に安定性が向上したディスパリティを、特に区別する必要がある場合、補正ディスパリティとも称するものとする。
【００４５】
［図１のディスパリティ生成部によるディスパリティ生成処理］
次に、図２のフローチャートを参照して、図１のディスパリティ生成部２１によるディスパリティ生成処理について説明する。
【００４６】
ステップＳ１１において、画像取得部３１は、左眼用画像および右眼用画像の２枚のペアの画像を取得し、フレーム番号に対応付けて記憶すると共に、順次差分絶対値和算出部３２、例外判定部３８、およびディスパリティ算出部３９に出力する。通常、この２枚のペア画像は、表示部２３の表示方向に対して中央正面から視聴者が、左右の目で視聴すると立体視できる画像となっている。したがって、視聴者が、表示部２３の表示方向に対して、その他の位置から視聴すると、立体感が低下し、必ずしも適切に３次元画像として視聴することができないことがある。
【００４７】
ステップＳ１２において、ディスパリティ算出部３９は、供給されてきた２枚のペアの左眼用画像および右眼用画像から一般的な、例えば、動的計画法などにより画素毎に視差量を求めて、各画素の画素値を視差量とするディスパリティマップを生成し、ディスパリティ記憶部４０に記憶させる。すなわち、ディスパリティ記憶部４０には、一般的な手法で求められたディスパリティマップが記憶される。ただし、ディスパリティ記憶部４０に記憶されているディスパリティマップは、時間方向に対しての安定性が保証されていないので、そのまま使用すると、ディスパリティの時間方向の変化により、本来は存在しない動物体が存在するかのようなノイズが生じる恐れがある。このため、以降の処理により、順次生成される過去のディスパリティと画像内における画素の特徴を用いて、このディスパリティを補正するようにして時間方向に滑らかに変化する補正ディスパリティが生成される。
【００４８】
ステップＳ１３において、差分絶対値和算出部３２は、画像取得部３１より供給されてくる左眼用画像および右眼用画像のいずれかの画像について、処理対象とする注目フレームにおける画像に含まれる画素のうち、未処理の画素を処理対象とする画素である注目画素p(x,y)に設定する。
【００４９】
ステップＳ１４において、差分絶対値和算出部３２は、時間方向差分絶対値和算出部５２を制御して、注目フレーム中の注目画素p(x,y)に対応する注目ブロックと、過去フレームにおける注目画素p(x,y)に対応する過去画素に対応する過去ブロックとからRGBのそれぞれについて時間方向差分絶対値和を算出する。より詳細には、時間方向差分絶対値和算出部５２は、以下の式（１）を算出することにより、注目画素p(x,y)のRGB成分のそれぞれについて時間方向差分絶対値和を算出し、算出した時間方向差分絶対値和を重み設定部３３に供給する。
【００５０】
【数１】
2013223114.tif 000003
【００５１】
ここで、tempDiffn(x,y)は、注目画素Pn(x,y)における時間方向差分絶対値和である。また、Bn(x,y)は注目画素Pn(x,y)に対応付けて設定される注目ブロックを示し、Bn-1(x,y)は過去画素Pn-1(x,y)に対応付けて設定される過去ブロックを表している。注目画素Pn(x,y)に対応する注目ブロックBn(x,y)とは、例えば、図３の黒丸で示される注目フレームIn上の注目画素Pn(x,y)と、その近傍に存在する画素P1乃至P8の合計９画素からなるブロックである。同様に、過去画素Pn-1(x,y)に対応する過去ブロックBn-1(x,y)とは、例えば、図３の過去フレームIn-1上の過去画素Pn-1(x,y)と、その近傍に存在する画素P31乃至P38の合計９画素からなるブロックである。
【００５２】
さらに、SAD(Bn(x,y),Bn-1(x,y))は、注目ブロックと過去ブロックとのそれぞれ対応する画素位置の画素の画素値の差分絶対値和を示している。すなわち、図３の場合、SAD(Bn(x,y),Bn-1(x,y))は、｜Pn(x,y)−Pn-1(x,y)｜，｜P31−P1｜乃至｜P38−P8｜の合計値となる。
【００５３】
このように、時間方向差分絶対値和算出部５２は、注目ブロックおよび過去ブロックを構成する各画素のRGBのそれぞれについて、対応する位置関係にある画素値の差分絶対値和を算出する。すなわち、ここでは、注目画素について、RGBの３種類の時間方向差分絶対値和が求められることになる。
【００５４】
尚、図３においては、各ブロックは、注目画素、または過去画素と、その近傍に存在する８画素との合計９画素から構成される例について示されている。しかしながら、ブロックを構成する画素数は９画素に限らず、その他の数であってもよいものであり、注目画素、または過去画素と対応付けて予め設定された画素位置に存在する複数の画素から構成されるものであれば、その他の数および画素位置のものでもよい。また、時間方向差分絶対値和については、異なるフレーム間の画素間の差分絶対値和が求められれば良いので、過去画素は時間的に隣接する直前のフレームに限られず、数フレーム前のフレームを過去フレームとするようにしてもよいし、時間方向に異なる３フレーム以上のブロック間で差分絶対値和を求めるようにしてもよい。さらに、時間方向差分絶対値和については、時間方向の変化が算出できればよいので、例えば、注目フレームに対して未来のフレーム、すなわち、注目フレーム以降のフレームにおける注目画素に対応する位置を基準としてブロックを構成し、ブロック間の差分絶対値和を求めるようにしてもよい。
【００５５】
ステップＳ１５において、差分絶対値和算出部３２は、空間方向差分絶対値和算出部５１を制御して、注目フレーム中の注目画素P(x,y)に対して設定される注目ブロックと、注目フレームにおける注目画素P(x,y)に対して空間的に異なる空間ブロックとからRGBのそれぞれについて空間方向差分絶対値和を算出する。より詳細には、空間方向差分絶対値和算出部５１は、以下の式（２）を算出することにより、注目画素P(x,y)のRGB成分のそれぞれについて空間方向差分絶対値和を算出し、算出した時間方向差分絶対値和を重み設定部３３に供給する。
【００５６】
【数２】
2013223114.tif 000004
【００５７】
ここで、spaceDiffn(x,y)は、注目画素Pn(x,y)における空間方向差分絶対値和である。また、Bn(x,y)は注目画素Pn(x,y)に対して設定される注目ブロックを示し、Bn(x+i,y+j)は、注目フレームにおける注目画素Pn(x,y)からx方向にi画素、およびy方向にj画素だけシフトした画素を中心とした空間ブロックを示す。すなわち、過去画素Pn-1(x,y)に対応する過去ブロックBn(x+i,y+j)とは、i,jがそれぞれ+1または-1であるので、例えば、図３の注目フレームIn上の画素P1,P3,P5,P7を中心として構成される４個の空間ブロックBn(x+1,y+1)，Bn(x+1,y-1)，Bn(x-1,y-1)，Bn(x-1,y+1)である。図３においては、Bn(x+1,y+1)，Bn(x+1,y-1)，Bn(x-1,y-1)，Bn(x-1,y+1)を、それぞれ空間ブロックBn’,Bn’’,Bn’’’,Bn’’’’と表現している。
【００５８】
ここで、空間ブロックBn’は、画素P11乃至P13,P26,P1,P2,P25,P8,Pn(x,y)の合計９画素から構成される。また、空間ブロックBn’’は、画素P25,P8,Pn(x,y),P24,P7,P6,P21乃至P23の合計９画素から構成される。さらに、空間ブロックBn’’’は、画素Pn(x,y),P4,P17,P6,P5,P18,P19乃至P21の合計９画素から構成される。また、空間ブロックBn’’’’は、画素P13乃至P15,P2,P3,P16,Pn(x,y),P4,P17の合計９画素から構成される。
【００５９】
さらに、SAD(Bn(x,y),Bn(x+i,y+j))は、空間ブロックの画素の画素値の差分絶対値和を示している。すなわち、図３の空間ブロックＢ’と注目ブロックとの対応する画素間の差分絶対値和SAD(Bn(x,y),Bn(x+1,y+1))は、｜Pn(x,y)−P1｜，｜P11−P1｜乃至｜P13−P3｜，｜P26−P8｜，｜P2−P4｜，｜P25−P7｜，｜P8−P6｜，｜Pn(x,y)−P5｜の合計値となる。
【００６０】
このように、時間方向差分絶対値和算出部５２は、注目ブロックおよび4個の空間ブロックを構成する各画素について、対応する位置関係にある画素値の差分絶対値和をの平均値をRGBのそれぞれについて算出する。すなわち、ここでは、注目画素について、RGBの３種類の空間方向差分絶対値和が求められることになる。
【００６１】
尚、図３においては、空間ブロックは、注目画素の右上、右下、左上、左下に隣接した画素と、その近傍に存在する８画素との合計９画素から構成される例について示されている。しかしながら、空間ブロックを構成する画素数は９画素に限らず、その他の数であってもよいものであり、注目画素、または過去画素との対応する位置関係に存在する複数の画素から構成されるもので数および位置関係はその他のものでもよい。また、空間方向差分絶対値和については、異なるブロック間の画素間の差分絶対値が用いられれば良いので、空間的に隣接する画素を中心としたブロックに限られず、数画素離れた画素を中心としたブロックを空間ブロックとするようにしてもよいし、空間方向に異なる４ブロック以上の空間ブロックの差分絶対値和の平均値を求めるようにしてもよい。
【００６２】
ステップＳ１６において、重み設定部３３は、重み付加部４１を制御して、差分絶対値和算出部３２より供給されてくる注目画素におけるRGBのそれぞれについての空間方向差分絶対値和、および時間方向差分絶対値和に基づいて、IIRフィルタ３５において注目画素に対応するディスパリティおよび過去画素に対応するディスパリティのそれぞれに付加する重みを設定する。尚、重みの総和は１となるものであるので、重み設定部３３は、注目画素に対応するディスパリティおよび過去画素に対応するディスパリティのいずれかの重みを設定すれば、他方の重みは１より減算することで設定できる。また、重み設定部３３は、注目画素についてRGBの３種類の重みをそれぞれに設定することになる。
【００６３】
より具体的には、例えば、重み付加部４１は、図４で示されるような、縦軸に空間方向差分絶対値和（Spatial Differences）をとり、横軸に時間方向差分絶対値和（Temporal Differences）をとる、２次元空間上で設定される空間方向差分絶対値和、および時間方向差分絶対値和で特定される位置が関数Ｌよりも原点側であるか否かにより重みを設定する。すなわち、図４の場合、重み付加部４１は、空間方向差分絶対値和、および時間方向差分絶対値和で特定される２次元空間上の位置が関数Ｌよりも原点側であるとき、注目画素に対応するディスパリティに付加する重みを小さくし、過去画素に対応するディスパリティに付加する重みを大きく設定する。逆に、重み付加部４１は、空間方向差分絶対値和、および時間方向差分絶対値和で特定される２次元空間上の位置が関数Ｌよりも原点側ではないとき、注目画素に対応するディスパリティに付加する重みを大きくし、過去画素に対応するディスパリティに付加する重みを小さく設定する。
【００６４】
関数Ｌで示されるように、重み付加部４１は、注目画素が動きのある物体の境界領域に属するような場合にのみ、注目画素に対応するディスパリティに大きな重みを付加する。これは物体のディスパリティ値は、基本的に突然変化することはないという仮定に基づくものである。時間方向差分絶対値和は、動きの大きさを示すものであると考えることができ、空間方向差分絶対値和は、物体の境界領域の幅を示すものであると考えることができる。このことから、重み付加部４１は、空間方向差分絶対値和、および時間方向差分絶対値和のいずれもが大きい場合、注目画素が動きの大きな境界領域の広い物体に属する画素であり、過去画素に対する相関が小さいので、過去画素に対応するディスパリティに対して小さな重みを設定し、注目画素に対応するディスパリティに大きな重みを付加する。
【００６５】
尚、重み付加部４１は、図４で示されるような関数Ｌに対応する空間方向差分絶対値和、および時間方向差分絶対値和に基づいて設定される重みを特定するための２次元ルックアップテーブル（2D Look-up Table）（不図示）を備えている。このため、重み付加部４１は、空間方向差分絶対値和、および時間方向差分絶対値和から、直ちに注目画素のディスパリティに設定する重み、および過去画素のディスパリティに設定する重みを特定することができる。
【００６６】
ステップＳ１７において、重み設定部３１は、動き境界画素判定部４２を制御して、注目画素におけるRGBのそれぞれについて、空間方向差分絶対値和、および時間方向差分絶対値和から動き境界画素であるか否かを判定する。すなわち、より詳細には、動き境界画素判定部４２は、空間方向差分絶対値和、および時間方向差分絶対値和から、以下の式（３）で示される条件を満たすか否かに基づいて、動き境界画素であるか否かを判定する。
【００６７】
【数３】
2013223114.tif 000005
【００６８】
ここで、spaceDiffn(x,y)は、注目画素Pn(x,y)における空間方向差分絶対値和であり、tempDiffn(x,y)は、注目画素Pn(x,y)における時間方向差分絶対値和である。また、th1、およびth2は、それぞれ所定の閾値である。すなわち、動き境界画素判定部４２は、空間方向差分絶対値和、および時間方向差分絶対値和が、いずれも所定の閾値よりも大きいか否かを判定し、大きいとき動き境界画素とみなす。一方、空間方向差分絶対値和、および時間方向差分絶対値和のいずれかが所定の閾値よりも小さい場合、動き境界画素判定部４２は、注目画素が動き境界画素ではないものとみなす。したがって、動き境界画素判定部４２は、注目画素について、RGBのそれぞれについて動き境界画素であるか否かを示す３個の判定結果を求める。
【００６９】
ステップＳ１８において、動き境界画素判定部４２は、RGBのそれぞれについて求めた動き境界画素であるか否かを示す３個の判定結果のうち、２／３を占める判定結果であるか否かに基づいて、注目画素が動き境界画素であるか否かを判定する。すなわち、RGBのそれぞれについての判定結果のうち、２個以上が動き境界画素であることを示す判定結果であった場合、動き境界画素判定部４２は、注目画素を動き境界画素であるものとみなす。一方、RGBのそれぞれについての判定結果のうち、２個以上が動き境界画素であることを示す判定結果ではない場合、動き境界画素判定部４２は、注目画素を動き境界画素ではないものとみなす。このように、RGBにおけるそれぞれの判定結果を多数決により採用することで、単色による時間方向のノイズを低減させることが可能となる。
【００７０】
ステップＳ１８において、例えば、注目画素が動き境界画素であるとみなされた場合、処理は、ステップＳ１９に進む。
【００７１】
ステップＳ１９において、動き境界画素判定部４２は、判定結果である注目画素が動き境界画素であることを示す情報を重み選択部４３に供給する。重み選択部４３は、重み付加部４１より供給されてくる注目画素のRGBのそれぞれについて設定された重みの情報と、動き境界画素であるか否かを示す情報とから重みを選択し、例外処理部３４に供給する。より詳細には、重み選択部４３は、以下の式（４）で示される計算により、RGBのそれぞれについて設定された重みのうち最大値となるものを注目画素のディスパリティの重みに設定する。
【００７２】
【数４】
2013223114.tif 000006
【００７３】
ここで、wRn(x,y)，wGn(x,y)，wBn(x,y)は、それぞれRGBにおける注目画素のディスパリティに付加された重みを表しており、wn(x,y)は、注目画素のディスパリティに付加される重みを表している。また、関数max［a,b,c］は、a,b,cのうち最大値を選択する関数を表している。すなわち、ステップＳ１８において、注目画素が動き境界画素であると判定された場合、ステップＳ１９において、重み選択部４３がRGBにおける注目画素のディスパリティのうち最大値となる重みを注目画素のディスパリティに設定する重みとして選択する。この結果、注目画素は動き境界画素であるので、過去画素との相関は低いので、注目画素のディスパリティに大きな重みが設定されて、過去画素のディスパリティには小さな重みが設定されることになる。
【００７４】
一方、ステップＳ１８において、例えば、注目画素が動き境界画素ではない、すなわち、動きのない画素であるものとみなされた場合、処理は、ステップＳ２０に進む。
【００７５】
ステップＳ２０において、動き境界画素判定部４２は、判定結果である注目画素が動き境界画素ではないことを示す情報を重み選択部４３に供給する。重み選択部４３は、重み付加部４１より供給されてくる注目画素のRGBのそれぞれについて設定された重みの情報と、動き境界画素であるか否かを示す情報とから重みを選択し、例外処理部３４に供給する。より詳細には、重み選択部４３は、以下の式（５）で示される計算により、RGBのそれぞれについて設定された重みのうち最小値となるものを注目画素のディスパリティの重みに設定する。
【００７６】
【数５】
2013223114.tif 000007
【００７７】
ここで、関数min［a,b,c］は、a,b,cのうち最小値を選択する関数を表している。すなわち、ステップＳ１８において、注目画素が動き境界画素ではないと判定された場合、ステップＳ２０において、重み選択部４３がRGBにおける注目画素のディスパリティのうち最小値となる重みを注目画素のディスパリティに設定する重みとして選択する。この結果、注目画素は動き境界画素ではないので、過去画素との相関は高いので、注目画素のディスパリティに小さな重みが設定されて、過去画素のディスパリティには大きな重みが設定されることになる。
【００７８】
ステップＳ２１において、例外判定部３８は、ディスパリティ発散判定部６２を制御して、注目画素に対応するディスパリティdn(x,y)および過去画素に対応するディスパリティdn-1(x,y)を読み出させ、双方の差分絶対値｜dn(x,y)−dn-1(x,y)｜を算出させる。
【００７９】
ステップＳ２２において、例外判定部３８は、ヒストグラム判定部６１を制御して、注目フレームおよび過去フレームの各画像に含まれる画素の画素値から、それぞれヒストグラムを生成させる。
【００８０】
ステップＳ２３において、例外判定部３８は、ヒストグラム判定部６１およびディスパリティ発散判定部６２を制御して、シーンチェンジが発生しているか、または、ディスパリティが発散しているか否かに基づいて、例外状態が発生しているか否かを判定する。すなわち、ヒストグラム判定部６１は、注目フレームおよび過去フレームの画像のそれぞれヒストグラムの差分絶対値和を算出し、求められた差分絶対値和が所定の閾値よりも大きいときシーンチェンジが生じて、注目フレームおよび過去フレームは全く異なる画像となったためヒストグラムに差分が生じたものとみなす。また、ディスパリティ発散判定部６２は、注目画素に対応するディスパリティdn(x,y)および過去画素に対応するディスパリティdn-1(x,y)の差分絶対値｜dn(x,y)−dn-1(x,y)｜が所定の閾値th3よりも大きいか否か（｜dn(x,y)−dn-1(x,y)｜>th3）を判定し、差分絶対値が所定の閾値より大きいとき、ディスパリティが発散したものとみなす。
【００８１】
ステップＳ２３において、例えば、シーンチェンジやディスパリティの発散の少なくともいずれかが検出された場合、例外状態が発生しているものとみなされて、処理は、ステップＳ２４に進む。
【００８２】
ステップＳ２４において、例外判定部３８は、例外状態になっていることを示す情報を例外処理部３４に通知する。例外処理部３４は、例外判定部３８より供給されてくる例外状態であることを示す通知に基づいて、重み設定部３３より供給されてきた注目画素に対応するディスパリティに設定されている重みを破棄し、注目画素に対応するディスパリティの重みを１に設定してIIRフィルタ３５に供給する。
【００８３】
一方、ステップＳ２３において、例えば、シーンチェンジ、およびディスパリティの発散がいずれも検出されなかった場合、処理は、ステップＳ２５に進む。
【００８４】
ステップＳ２５において、例外判定部３８は、例外状態ではないことを示す情報を例外処理部３４に通知する。例外処理部３４は、例外判定部３８より供給されてくる例外状態ではないことを示す通知に基づいて、重み設定部３３より供給されてきた注目画素に対応するディスパリティに設定されている重みをそのままIIRフィルタ３５に供給する。
【００８５】
すなわち、シーンチェンジやディスパリティが発散するような状態になったとき、例外状態が発生しているものとみなし、例外状態であるとき、注目画素に対応するディスパリティに設定されている重みが１に設定される。換言すると、この場合、過去画素に対応するディスパリティに対しては重みがゼロに設定される。すなわち、シーンチェンジやディスパリティが発散するような例外状態である場合、注目フレームは、過去フレームとは全く異なる画像となっていることが考えられるので、注目画素のディスパリティのみが考慮されるように重みが設定される。逆に、シーンチェンジやディスパリティが発散するような例外状態ではない場合、注目フレームは、過去フレームとの相関があると考えられるので、注目画素のディスパリティに設定された重みをIIRフィルタ３５に供給する。
【００８６】
ステップＳ２６において、IIRフィルタ３５は、注目フレームについて、注目画素に対応するディスパリティをディスパリティ記憶部４０より読み出すとともに、過去フレームの過去画素に対応するディスパリティを補正ディスパリティ記憶部３７より読み出す。さらに、IIRフィルタ３５は、例外処理部３４より供給されてきた重みを注目画素に対応するディスパリティに付加し、さらに、過去画素に対応するディスパリティに、注目画素に対応するディスパリティに付加する重みを１から減算した重みを付加して積和演算することにより、注目画素に対応するディスパリティを算出する。より具体的には、IIRフィルタ３５は、以下の式（６）で示されるような演算を実行することにより、注目画素と過去画素のぞれぞれのディスパリティから、時間方向の安定性を向上させた注目画素のディスパリティを算出する。
【００８７】
【数６】
2013223114.tif 000008
【００８８】
ここで、d’n(x,y)は、IIRフィルタが施された注目画素に対応するディスパリティであり、dn(x,y)は、ディスパリティ記憶部４０より読み出された注目画素のディスパリティであり、d’’n-1(x,y)は、補正ディスパリティ記憶部３７に記憶されている、1フレーム前の過去画素のディスパリティである。また、wn(x,y)は、注目画素のディスパリティに設定される重みであり、(1- wn(x,y))は、過去画素のディスパリティに設定される重みである。
【００８９】
ステップＳ２７において、クリップ処理部３６は、過去画素のディスパリティd’’n-1(x,y)を補正ディスパリティ記憶部３７おり読み出し、IIRフィルタ３５により処理された注目画素のディスパリティd’n(x,y)にクリップ処理が必要であるか否かを判定する。
【００９０】
すなわち、クリップ処理部３６は、注目画素のディスパリティd’n(x,y)が、過去画素のディスパリティd’’n-1(x,y)より所定の閾値th4を減算した値（d’’n-1(x,y)-th4）よりも小さいか否かを判定する。そして、注目画素のディスパリティd’n(x,y)が、過去画素のディスパリティd’’n-1(x,y)より所定の閾値th4を減算した値（d’’n-1(x,y)-th4）よりも小さいとき、クリップ処理が必要であると判定し、処理は、ステップＳ２８に進む。また、クリップ処理部３６は、注目画素のディスパリティd’n(x,y)が、過去画素のディスパリティd’’n-1(x,y)に所定の閾値th5を加算した値（d’’n-1(x,y)+th5）よりも大きいか否かを判定する。そして、注目画素のディスパリティd’n(x,y)が、過去画素のディスパリティd’’n-1(x,y)に所定の閾値th5を加算した値（d’’n-1(x,y)+th5）よりも大きいとき、やはり、クリップ処理が必要であると判定し、処理は、ステップＳ２８に進む。
【００９１】
ステップＳ２８において、注目画素のディスパリティd’n(x,y)が、過去画素のディスパリティd’’n-1(x,y)より所定の閾値th4を減算した値（d’’n-1(x,y)-th4）よりも小さいときには、クリップ処理部３６は、注目画素のディスパリティd’n(x,y)を値（d’’n-1(x,y)-th4）にクリップし、注目画素のディスパリティd’’n(x,y)として、補正ディスパリティ記憶部３７に出力する。さらに、注目画素のディスパリティd’n(x,y)が、過去画素のディスパリティd’’n-1(x,y)に所定の閾値th5を加算した値（d’’n-1(x,y)+th5）よりも大きいとき、クリップ処理部３６は、注目画素のディスパリティd’n(x,y)を値（d’’n-1(x,y)+th5）にクリップし、注目画素のディスパリティd’’n(x,y)として、補正ディスパリティ記憶部３７に出力する。
【００９２】
一方、ステップＳ２７において、注目画素のディスパリティd’n(x,y)が、値（d’’n-1(x,y)-th4）よりも大きく、かつ、値（d’’n-1(x,y)+th5）よりも小さい場合であり、クリップの必要がないと判定された場合、処理は、ステップＳ２９に進む。
【００９３】
ステップＳ２９において、クリップ処理部３６は、IIRフィルタ３５より供給されてきた注目画素のディスパリティd’n(x,y)を、注目画素のディスパリティd’’n(x,y)として、そのまま補正ディスパリティ記憶部３７に出力する。
【００９４】
結果として、クリップ処理部３６の処理により出力される注目画素のディスパリティd’’n(x,y)は、以下の式（７）の条件を満たすことになる。
【００９５】
【数７】
2013223114.tif 000009
【００９６】
このような処理により、時間方向に変化の大きな注目画素のディスパリティについては、クリップされることで、その変動を小さく抑えることが可能となる。
【００９７】
尚、以上においては、クリップ処理の有無を判定する際に、過去画素に対応するディスパリティd’’n-1(x,y)に所定の定数からなる閾値th4,th5を用いる例について説明してきたが、閾値は定数である必要がなく、例えば、ディスパリティ記憶部４０より読み出された注目画素のディスパリティや、注目画素の近傍に存在する画素のディスパリティにより変化する閾値が設定されるようにしてもよい。このような場合、クリップ処理部３６の処理により出力される注目画素のディスパリティd’’n(x,y)は、以下の式（８）の条件を満たすことになる。
【００９８】
【数８】
2013223114.tif 000010
【００９９】
ここで、閾値th6,th7は、例えば、以下の式（９）で示されるようなものでもよい。
【０１００】
【数９】
2013223114.tif 000011
【０１０１】
すなわち、式（９）で示されるように、閾値th6,th7は、注目画素のディスパリティや、注目画素の近傍に存在する画素のディスパリティに比例した値に設定されるようにしてもよい。このようにすることで、ディスパリティの時間方向の変動をさらに小さくすることが可能となり、時間方向の判定性をさらに向上させることができる。
【０１０２】
ステップＳ３０において、補正ディスパリティ記憶部３７は、供給されてくる注目画素のディスパリティd’’n(x,y)を記憶する。
【０１０３】
ステップＳ３１において、差分絶対値和算出部３２は、未処理の画素が存在するか否かを判定し、未処理の画素が存在する場合、処理は、ステップＳ１３に戻り、それ以降の処理が繰り返される。すなわち、未処理の画素が存在しない状態まで、ステップＳ１３乃至Ｓ３１の処理が繰り返される。そして、ステップＳ３１において、全ての画素について処理がなされたと判定された場合、処理は終了する。
【０１０４】
以上の処理により、図５の左部で示されるように、注目画素Pnに対する過去画素Pn-1との時間方向の関係と、注目画素Pnの近傍に存在する空間画素Ps1乃至Ps4との空間方向の関係とを利用して、図５の右部で示されるように、注目画素Pnに対応するディスパリティdn、および過去画素Pn-1に対応するディスパリティd’’n-1に、それぞれの重みを設定して、IIRフィルタ処理することで、画像空間内の画像の特徴を考慮して、ディスパリティマップを補正しながら生成することが可能となる。これにより、時間方向に安定性の高いディスパリティマップを生成することが可能となる。結果として、時間方向に安定的なディスパリティを用いて、適切な多視差画像を生成することが可能となるので、違和感のない多視差の３次元画像を表示することが可能となる。
【０１０５】
＜２．第２の実施の形態＞
［テレビジョン受像機の第２の実施の形態の構成例］
以上においては、過去フレームにおける過去画素は、注目フレームにおける注目画素と対応する画素位置である場合の例を説明してきたが、動物体の動きに対応すると、過去フレームにおける過去画素は、必ずしも注目フレームにおける注目画素と同一の画素位置ではないことも考えられる。このような場合、注目フレームにおける注目画素と対応する過去フレーム上に対応すべき過去画素は、注目画素と類似した特性を持つ画素である方が適切であると考えられる。
【０１０６】
そこで、図６を参照して、過去画素を注目画素の特性に類似した画素にしてディスパリティを生成するようにしたテレビジョン受像機の構成例について説明する。尚、図６のテレビジョン受像機１１において、図１のテレビジョン受像機１１と同一の機能を備えた構成については、同一の名称、および同一の符号を付すものとし、その説明は適宜省略するものとする。すなわち、図６のテレビジョン受像機１１において、図１のテレビジョン受像機１１と異なる構成は、差分絶対値和算出部３２において、新たに類似画素探索部８１が設けられた点、および、例外判定部３８において、新たに類似画素判定部９１が設けられた点である。
【０１０７】
類似画素探索部８１は、過去フレームにおける注目画素P(x,y)に対応する画素位置近傍の複数の画素の中から注目画素P(x,y)と類似する類似画素を探索する。さらに、注目画素P(x,y)に類似する類似画素が探索された場合、類似画素探索部８１は、過去画素を類似画素に置き換えて時間方向差分絶対値和算出部５２に供給する。この場合、時間方向差分絶対値和算出部５２は、以降の処理において、探索された類似画素を過去画素とみなし、時間方向差分絶対値和をそれぞれ算出する。さらに、類似画素探索部８１は、類似画素が探索できたか否かの判定結果と、類似画素が探索できた場合の類似画素、および注目画素との類似の程度を示す情報を例外判定部３８に供給する。
【０１０８】
例外判定部３８の類似画素判定部９１は、類似画素探索部８１からの探索結果に基づいて類似画素が探索できたか否かを判定するとともに、類似画素が探索されていた場合、探索された類似画素と近傍画素との類似の程度を示す情報を例外処理部３４に供給する。従って、図６のテレビジョン受像機１１においては、例外判定部３８は、ディスパリティの発散の有無、およびシーンチェンジの発生の有無に加えて、類似画素が探索できたか否かに基づいて例外状態であるか否かを判定する。
【０１０９】
［図６のディスパリティ生成部によるディスパリティ生成処理］
次に、図７のフローチャートを参照して、図６のディスパリティ生成部２１によるディスパリティ生成処理について説明する。尚、図７のフローチャートにおけるステップＳ４１乃至Ｓ４３，Ｓ４６，Ｓ４８乃至Ｓ５７，Ｓ６１乃至Ｓ６６の処理については、図２のステップＳ１１乃至Ｓ１３，Ｓ１５乃至Ｓ３１の処理と同様であるので、その説明は適宜省略するものとする。
【０１１０】
すなわち、ステップＳ４１乃至Ｓ４３の処理により、画像が取得されて、ディスパリティが生成され、注目画素P(x,y)が設定されると、処理は、ステップＳ４４に進む。
【０１１１】
ステップＳ４４において、類似画素探索部８１は、過去フレームにおける注目画素P(x,y)に対応する画素位置を中心とした所定の範囲内に存在する複数の候補画素と、注目画素P(x,y)とを比較して類似画素を探索する。より具体的には、類似画素探索部８１は、空間方向差分絶対値和算出部５１により空間方向差分絶対値和を求める方法と同様に、注目画素と、過去フレームにおける注目画素に対応する画素位置を中心とした所定の範囲内に存在する複数の候補画素との空間方向差分絶対値和を求め、空間方向差分絶対値和の最小値となる候補画素を選択する。さらに、類似画素探索部８１は、空間方向差分絶対値和の最小値が所定の閾値よりも小さいか否かを判定し、空間方向差分絶対値和の最小値が所定の閾値よりも小さい場合、類似画素が探索できたものとみなし、空間方向差分絶対値和の最小値となる候補画素を類似画素とする。このとき、類似画素探索部８１は、探索できた類似画素を過去画素とみなして時間方向差分絶対値和算出部５２に供給すると共に、探索できたことを示す探索結果と、探索された類似画素と注目画素との時間方向差分絶対値和を類似の程度を示す情報として例外判定部３８に供給する。
【０１１２】
一方、空間方向差分絶対値和の最小値が所定の閾値よりも大きい場合、類似画素探索部８１は、類似画素が探索できなかったものとみなし、類似画素探索部８１は、探索できなかったことを示す探索結果を例外判定部３８に供給する。
【０１１３】
ステップＳ４５において、類似画素探索部８１は、類似画素が探索できたか否かを判定する。ステップＳ４５において、例えば、上述したように複数の候補画素との空間方向差分絶対値和の最小値が所定の閾値よりも大きく、類似画素が探索できなかった場合、処理は、ステップＳ４６に進む。
【０１１４】
ステップＳ４６において、時間方向差分絶対値和算出部５２は、上述した図２のステップＳ１４の処理と同様に、注目フレームにおける注目画素と、過去フレームにおける注目画素と同一の画素位置の画素とから時間方向差分絶対値を算出する。尚、ステップＳ４４の処理において、求められているものであるので、その値をそのまま流用するようにしてもよい。
【０１１５】
一方、ステップＳ４５において、例えば、上述したように複数の候補画素との空間方向差分絶対値和の最小値が所定の閾値よりも小さく、類似画素が探索できた場合、処理は、ステップＳ４７に進む。
【０１１６】
ステップＳ４７において、時間方向差分絶対値和算出部５２は、注目フレームにおける注目画素と、類似画素を過去画素として置換して、注目画素と類似画素との時間方向差分絶対値を算出する。尚、ステップＳ４４の処理において、求められているものであるので、その値をそのまま流用するようにしてもよい。
【０１１７】
以上の処理により注目画素に類似した画素を過去画素として利用することができるので、画像における注目画素の特性に対して、より適した重みを設定することが可能となる。
【０１１８】
さらに、ステップＳ５６において、例外判定部３８は、ディスパリティの発散の有無、およびシーンチェンジの有無に加えて、類似画素判定部９１を制御して、類似画素が存在するか否かを判定させる。類似画素判定部９１は、類似画素探索部８１の探索結果に基づいて、類似画素が存在するか否かを判定する。例外判定部３８は、類似画素が存在しない場合、例外状態であるものとみなし、ディスパリティが発散した、または、シーンチェンジが発生した場合と同様の処理は、ステップＳ５７に進む。すなわち、この場合、例外処理部３４は、重み設定部３３により設定された重みを破棄して、注目画素に対応するディスパリティに対して重みを１に設定する。
【０１１９】
一方、ステップＳ５６において、ディスパリティが発散しておらず、また、シーンチェンジも発生していない状態で、類似画素が存在すると判定された場合、処理は、ステップＳ５８に進む。
【０１２０】
ステップＳ５８において、類似画素判定部９１は、類似画素探索部８１より供給されてきた類似画素と注目画素との類似の程度を示す差分絶対値和の情報を例外処理部３４に供給する。例外処理部３４は、類似の程度を示す差分絶対値和が所定の閾値より高いか否かを判定する。ステップＳ５８において、例えば、類似の程度を示す差分絶対値和が所定の閾値より高い場合、類似画素として探索はされたものの、それほど注目画素とは類似していないものとみなされ、処理は、ステップＳ５９に進む。
【０１２１】
ステップＳ５９において、例外処理部３４は、重み設定部３３により設定された重みを破棄して、注目画素に対応するディスパリティに対して重みを１に近い値に設定する。すなわち、例外処理部３４は、過去画素は類似画素としては扱われていても、注目画素とは異なるものであったものとみなし、注目画素に対応するディスパリティに対する重みを大きくし、処理は、ステップＳ６１に進む。
【０１２２】
一方、ステップＳ５８において、類似の程度を示す差分絶対値和が所定の閾値より高くなく場合、類似画素として探索された過去画素が、注目画素と類似しているとみなした場合、処理は、ステップＳ６０に進む。
【０１２３】
ステップＳ６０において、例外処理部３４は、重み設定部３３により設定された重みをそのままIIRフィルタ３５に出力する。すなわち、十分に類似した過去画素と注目画素とに基づいて設定された重みであれば、適切な重み設定であるものとみなして、そのままIIRフィルタ３５に供給される。
【０１２４】
この結果、ステップＳ９８において、IIRフィルタ３５は、以下の式（１０）で示されるような演算により、IIRフィルタ処理を施すことになる。
【０１２５】
【数１０】
2013223114.tif 000012
【０１２６】
ここで、d’’n-1(i,j)は、注目画素と類似した過去フレーム上の類似画素からなる過去画素Pn-1(i,j)に対応したディスパリティである。
【０１２７】
以上のような処理により、図８の左部で示されるように、注目フレームIn上に存在する注目画素Pnに対して、過去フレームIn-1上の注目画素Pn-1に対応する画素位置の画素Pn-1を中心として設定される複数の候補画素のうち、それぞれとの時間方向差分絶対値和が最小値となる画素P’n-1(a,b)であって、その最小値が所定の閾値よりも小さく、十分に類似している画素が探索されると、その候補画素P’n-1(a,b)を過去画素とみなして処理することにより、図８の右部で示されるように、注目画素と、過去画素とに対応するディスパリティに対して重みを設定して、IIRフィルタ処理をするようにしたので、画像内における注目画素の特性を用いて、より適切にディスパリティを求めることが可能となり、時間方向に、より安定性の高いディスパリティマップを生成することが可能となる。結果として、時間方向に安定的なディスパリティを用いて、より適切な多視差画像を生成することが可能となるので、違和感のない多視差の３次元画像を表示することが可能となる。
【０１２８】
＜３．第３の実施の形態＞
［テレビジョン受像機の第３の実施の形態の構成例］
以上においては、注目画素との関係から類似度の高い類似画素を過去フレーム上から探索して、過去画素として使用する例について説明してきたが、注目画素および過去画素のそれぞれについて信頼性の高い画素をそれぞれ選択して使用するようにしてもよい。また、併せて、注目画素が字幕やOSD（On Screen Display）上の文字の領域に属するような場合や、空などの視差量をある程度特定すべきものについては、注目画素に対するディスパリティに対する重みを例外的に設定するようにしてもよい。
【０１２９】
図９は、注目画素および過去画素のそれぞれについてディスパリティの値の信頼性の高い画素をそれぞれ選択して使用するようにすると共に、注目画素が字幕、OSD、および空などの領域に属している場合、例外処理をするようにしたテレビジョン受像機１１の第３の実施の形態の構成例を示している。尚、図９のテレビジョン受像機１１において、図１，図１のテレビジョン受像機１１における構成と同一の機能を備えた構成については、同一の名称および同一の符号を付しており、その説明は適宜省略するものとする。
【０１３０】
すなわち、図９のテレビジョン受像機１１において、図１のテレビジョン受像機１１と異なる点は、ディスパリティ最大値探索部１０１を設けた点、差分絶対値和算出部３２に新たに信頼画素探索部１１１を設けた点、および例外判定部３８において、字幕判定部１２１、および空判定部１２２を設けた点である。
【０１３１】
信頼画素探索部１１１は、注目画素、および過去画素における信頼性を探索する。より詳細には、信頼画素探索部１１１は、注目画素、および過去画素における画素位置が、画像境界領域に属するか否かに基づいて、対応する画素のディスパリティの信頼性を探索する。すなわち、画像境界領域に存在する画素のディスパリティの信頼性は低いため、信頼画素探索部１１１は、注目画素および過去画素が画像境界領域に存在する場合、その画素位置の近傍の所定範囲内から画像境界領域ではない画素を、ディスパリティの信頼性の高い画素として探索し、探索した画素を注目画素および過去画素に置換して空間方向差分絶対値和算出部５１、および時間方向差分絶対値和算出部５２に供給する。すなわち、以降の処理においては、この置換された画像境界領域に属さないディスパリティの信頼性の高い注目画素および過去画素により処理がなされる。
【０１３２】
字幕判定部１２１は、入力画像に基づいて、注目画素が字幕やOSD上の文字などであるか否かを判定し、字幕やOSD上の文字などであると判定した場合、例外状態であるものとみなす。
【０１３３】
空判定部１２２は、入力画像に基づいて、注目画素の周辺が揃って青い、白い、ねずみ色状であるといった空の特徴を示すものであるか否かを判定し、空を示す領域に属するか否かを判定し、空であると判定した場合、例外状態であるものみなす。
【０１３４】
ディスパリティ最大値探索部１０１は、字幕判定部１２１において注目画素が字幕であるか否かを判定し、例外状態であるとみなした場合、注目画素および過去画素の近傍の範囲の画素位置において、最もディスパリティが大きな画素を探索し、探索したディスパリティを注目画素および過去画素のディスパリティとしてIIRフィルタに供給する。
【０１３５】
［図９のディスパリティ生成部によるディスパリティ生成処理］
次に、図１０のフローチャートを参照して、図９のディスパリティ生成部２１によるディスパリティ生成処理について説明する。尚、図１０のフローチャートにおけるステップＳ８１乃至Ｓ８３，Ｓ８９乃至Ｓ１０３の処理については、図２のステップＳ１１乃至Ｓ１３，Ｓ１６乃至Ｓ２４，Ｓ２６乃至Ｓ３１の処理と同様であるので、その説明は適宜省略するものとする。
【０１３６】
すなわち、ステップＳ８１乃至Ｓ８３の処理により、画像が取得されて、ディスパリティが生成され、注目画素P(x,y)が設定されると、処理は、ステップＳ８４に進む。
【０１３７】
ステップＳ８４において、信頼画素探索部１１１は、注目画素および過去画素が画像境界領域であるか否かを判定する。すなわち、信頼画素探索部１１１は、例えば、注目画素および過去画素の近傍に設定される所定の範囲内の画素における隣接画素間の差分絶対値和を算出し、画像境界領域であるか否かを判定する。すなわち、画像境界領域であれば、この隣接画素間の画素値の差分絶対値和は、大きな値となるため、その判定が可能となる。ステップＳ８４において、例えば、隣接画素間の画素値の差分絶対値和が所定の閾値よりも大きく、注目画素および過去画素が画像境界領域であるとみなされた場合、処理は、ステップＳ８５に進む。
【０１３８】
ステップＳ８５において、信頼画素探索部１１１は、注目画素および過去画素のそれぞれについて、その近傍の所定の範囲内の画素を候補画素として設定し、上述したように候補画素のそれぞれに対して設定される所定の範囲内の隣接画素間の差分絶対値和を算出する。そして、信頼画素探索部１１１は、算出した差分絶対値和が所定の閾値よりも小さく、かつ、注目画素、および過去画素のそれぞれに近い画素を探索する。
【０１３９】
ステップＳ８６において、信頼画素探索部１１１は、探索した画素を注目画素および過去画素に置換する。
【０１４０】
すなわち、このように注目画素および過去画素をディスパリティの値が信頼できる画素に置換することにより、例外状態が検出されなければ、ステップＳ９８の処理において、IIRフィルタ３５は、以下の式（１１）で示されるような演算により、IIRフィルタ処理を施すことになる。
【０１４１】
【数１１】
2013223114.tif 000013
【０１４２】
ここで、dn(i,j)は、注目画素Pn(x,y)の近傍の範囲内であって、ディスパリティの信頼性が高い画素Pn(i,j)に対応するディスパリティであり、d’’n-1(k,l)は、過去画素Pn-1(x,y)の近傍の範囲内であって、ディスパリティの信頼性が高い画素Pn-1(k,l)に対応するディスパリティである。また、ここで重みw1,w2は、それぞれ注目画素および過去画素を画素Pn(i,j)，Pn-1(k,l)としたときに求められる重みを示している。
【０１４３】
尚、ステップＳ８４において、注目画素および過去画素が、ディスパリティの信頼性が高い画素である場合、ステップＳ８５，Ｓ８６の処理はスキップされる。
【０１４４】
すなわち、このように注目画素、および過去画素が、ディスパリティの信頼性の高い画素に置換されてディスパリティが生成されることになるので、時間方向に対して滑らかで、かつ、信頼性の高いディスパリティを生成することが可能となる。
【０１４５】
さらに、ステップＳ８７乃至Ｓ９５の処理がなされた後、ステップＳ９５において、ディスパリティの発散やシーンチェンジがなく、例外状態ではないとみなされた場合、処理は、ステップＳ１０４に進む。
【０１４６】
ステップＳ１０４において、字幕判定部１２１は、注目画素が字幕やOSDにおける文字などの領域であるか否かを判定する。より詳細には、字幕判定部１２１は、注目画素が字幕表示範囲として設定された範囲内であって、発色が白、または黒などであるか否かに基づいて字幕であるか否かを判定する。ステップＳ１０４において、字幕判定部１２１が、注目画素が字幕領域であると判定した場合、処理は、ステップＳ１０５に進む。
【０１４７】
ステップＳ１０５において、字幕判定部１２１は、注目画素が字幕領域であり例外状態であることを例外判定部３８に通知する。例外判定部３８は、注目画素が字幕領域であり、例外状態であることを例外処理部３４に通知すると共に、ディスパリティ最大値探索部１０１にも通知する。ディスパリティ最大値探索部１０１は、ディスパリティ記憶部４０にアクセスし、注目画素および過去画素について、それぞれ近傍の範囲内の画素に対応するディスパリティのうち、最大値となるディスパリティを探索し、探索したディスパリティをIIRフィルタ３５に供給する。
【０１４８】
ステップＳ１０６において、例外処理部３４は、重み設定部３３より供給されてきた重みを破棄し、注目画素に対応するディスパリティに設定する重みを小さくし、過去画素に対応するディスパリティに設定する重みを大きくして、IIRフィルタ３５に供給する。すなわち、字幕やOSDに表示される文字などについては、可能な限りディスパリティを一定の状態に維持することが望ましいとされている。また、字幕などは視聴者にとって最も近くに見えるべきものである。このため、その他の画像よりも極端に近いものとしてディスパリティを最大にしておくことが望ましいとされている。この結果、IIRフィルタ３５においては、以下の式（１２）が演算されることにより、IIRフィルタ処理がなされることになる。
【０１４９】
【数１２】
2013223114.tif 000014
【０１５０】
ここで、dn(i,j)は、注目画素Pn(x,y)の近傍の範囲内であって、ディスパリティが最大値となる画素Pn(i,j)に対応するディスパリティであり、d’’n-1(k,l)は、過去画素Pn-1(x,y)の近傍の範囲内であって、ディスパリティが最大値となる画素Pn-1(k,l)に対応するディスパリティである。wは、注目画素に対応するディスパリティdn(i,j)に設定される重みであり、(1-w)は、過去画素に対応するディスパリティd’’n-1(k,l)に設定される重みである。ここで、重み(1-w)が大きく設定されることにより、実質的に過去画素に対応するディスパリティが順次引き継がれていくことになる。これにより字幕領域のディスパリティが時間方向に対して安定的なものとなるため、３次元画像に含まれる字幕表示も、より違和感のないものとして表示することが可能となる。
【０１５１】
以上のように注目画素が字幕であるような場合、例えば、図１１で示されるような処理がなされる。すなわち、図１１の左部で示されるように、注目フレームInにおける、注目画素Pn(x,y)が字幕であるような場合、図１１の右部で示されるように、注目画素Pn(x,y)の周辺であって、ディスパリティが最も大きな値となる画素Pn(s,t)に対応するディスパリティdn(s,t)と過去画素Pn-1(x,y)に対応するディスパリティd’’n-1とから注目画素の補正されたディスパリティが算出される。
【０１５２】
また、以上においては、注目画素が字幕である場合には、注目画素の近傍にある画素のうち、ディスパリティが最大値となる画素に対応するディスパリティに置換して処理する例について説明してきたが、例えば、図１２で示されるように、注目画素のディスパリティに加えて、ディスパリティが最大となる画素のディスパリティを追加して、それぞれに重みを設定することにより調整するようにしてもよい。すなわち、図１２においては、図中右部で示されるように、ディスパリティとして、注目画素Pn(x,y)、過去画素Pn-1、および注目画素の近傍であってディスパリティが最大となる画素Pn(s,t)にそれぞれ対応するディスパリティdn(x,y)，dn(s,t)，d’’n-1が用いられて、それぞれに重みw1乃至w3を設定する例が示されている。
【０１５３】
ステップＳ１０４において、字幕領域ではないと判定された場合、ステップＳ１０７において、空判定部１２２は、注目画素が空領域に含まれているか否かを判定する。より詳細には、空判定部１２２は、注目画素近傍の範囲内に存在する画素が、空の色として一般的である、青、白、ねずみ色といった色で均質の状態に近いか否かを判定することにより、空の領域であるか否かを判定する。ステップＳ１０７において、例えば、注目画素が空領域に属しているとみなされた場合、処理は、ステップＳ１０９に進む。
【０１５４】
ステップＳ１０９において、空判定部１２２は、注目画素が空領域に属しており、例外状態であることを例外判定部３８に通知する。例外判定部３８は、注目画素が空領域であり、例外状態であることを例外処理部３４に通知する。例外処理部３４は、空領域であることによる例外状態であることが通知されると、重み設定部３３により設定された重みを破棄し、注目画素および過去画素に対応するディスパリティに設定すべき重みをいずれも小さく設定し、小さな定数となるように設定する。すなわち、空は、一般に最も遠くに存在する背景であるため、ディスパリティは小さい定数であることが望ましいとされている。そこで、例外判定部３８は、注目画素および過去画素のいずれにも対応するディスパリティに小さな重みを設定し、別途小さな定数からなる項を設けて、その項における定数に大きな重みを設定する。すなわち、この場合、IIRフィルタ３５においては、以下の式（１３）で示されるような演算により、IIRフィルタ処理が施されることになる。
【０１５５】
【数１３】
2013223114.tif 000015
【０１５６】
ここで、w1,w2は、それぞれ注目画素および過去画素のそれぞれに対応するディスパリティに設定される重みであり、cは定数を示しており、(1-w1-w2)は、定数項に設定される重みを表している。すなわち、ここでは、重みw1,w2は、小さな値に設定されることから、(1-w1-w2)が１に近い大きな値に設定される。これにより、定数cが小さな値に設定されていることから、注目画素に対応するディスパリティは、小さな定数cに近い値に設定され、一般に、空における望ましいディスパリティが設定される。
【０１５７】
尚、ステップＳ１０７において、注目画素が空領域に属していないと判定された場合、ステップＳ１０８において、例外状態ではないとみなされて、例外処理部３４は、重み設定部３３により設定された重みをそのままIIRフィルタ３５に供給する。
【０１５８】
以上の処理により注目画素が字幕領域や空領域に属していても、それぞれ適切にディスパリティが設定されるので、時間方向に対して滑らかに変化するようにさせつつ、字幕や空の画像も適切に表現できるようになるので、時間方向の安定性を向上させて、より適切に３次元画像として視聴可能な多視点画像を生成することが可能となる。
【０１５９】
以上の一連の処理に対応するIIRフィルタ３５の演算処理は以下の式（１４）により表現することができる。
【０１６０】
【数１４】
2013223114.tif 000016
【０１６１】
ここで、dn，dn’’は、それぞれ注目画素および過去画素のRGB成分のディスパリティのからなるベクトルを構成している。また、cはRGB成分における定数からなるベクトルを示している。w1,w2,w3はいずれもRGB成分のディスパリティdn，dn’’,cに設定される重みのベクトルを示しており、それらの絶対値和は１となるものである。
【０１６２】
この式（１４）で表現される演算において必要とされる重みが、空間方向差分絶対値和、および注目画素の時間方向差分絶対値和で表現される時間方向の注目画素の特性に応じて設定されるようにしたので、時間方向および空間方向に対して安定性の高いディスパリティを生成することが可能となる。結果として、多視点画像からなる３次元画像を時間方向にも空間方向にも安定した状態で、かつ、違和感のない適切な画像として視聴可能な画像として生成することが可能となる。
【０１６３】
以上の如く、本技術により３次元画像を構成する左目用画像および右眼用画像より求められるディスパリティの時間方向に対する安定性を向上させ、ディスパリティに基づいて適切な３次元画像を生成することが可能となり、より視聴し易い見栄えの良い３次元画像を生成して表示することが可能となる。
【０１６４】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１６５】
図１３は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１６６】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１６７】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１６８】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１６９】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１７０】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１７１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１７２】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１７３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７４】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１７５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１７６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１７７】
尚、本技術は、以下のような構成も取ることができる。
（１）  左眼用画像、および右眼用画像からなる３Ｄ画像として視聴可能な連続してフレーム単位で供給される画像の処理対象となる注目画素と、前記注目画素に対応して設定される複数の近傍の画素からなるブロック間で、空間方向、および時間方向に画素間の差分絶対値和を算出する差分絶対値和算出部と、
前記左眼用画像、および前記右眼用画像より画素毎にディスパリティを生成するディスパリティ生成部と、
前記差分絶対値和に基づいて、注目画素を含む注目フレームのディスパリティ、および前記注目フレームより過去のフレームである過去フレームにおける、前記注目画素に対応して設定される過去画素のディスパリティに重みを設定する重み設定部と、
前記注目画素のディスパリティ、および前記過去画素のディスパリティに、前記重み設定部により付された重みを付加して積和を求めることにより、前記ディスパリティ生成部により生成された前記注目画素のディスパリティを補正するディスパリティ補正部と
を含む画像処理装置。
（２）  前記差分絶対値和算出部は、
前記左眼用画像、および前記右眼用画像のいずれかの画像における注目画素に対応して設定される近傍の複数の画素からなるブロックと、同一フレーム内において、前記各画素に対応して設定される複数の画素に対応して設定される近傍の複数の画素からなるブロックとの対応する画素間の画素値の差分絶対値和を算出する空間方向差分絶対値和算出部と、
前記左眼用画像、および前記右眼用画像のいずれかの画像における注目画素に対応して設定される複数の近傍の画素からなるブロックと、前記過去フレームであって、前記注目画素の位置に対応して設定される画素と、その近傍の複数の画素からなるブロックとの対応する画素間の画素値の差分絶対値和を算出する時間方向差分絶対値和算出部とをさらに含む
（１）に記載の画像処理装置。
（３）  前記差分絶対値和算出部は、
前記注目画素が画像境界領域に属する画素であるか否かを判定する画像境界領域判定部をさらに含み、
前記注目画素が前記画像境界領域に属する画素であると判定された場合、前記重み設定部は、前記注目フレームにおける前記注目画素の近傍であって、前記画像境界領域に属さない画素である代替注目画素に対応するディスパリティ、および前記過去フレームにおける前記過去画素の近傍であって、前記画像境界領域に属さない画素である代替過去画素に対応するディスパリティに対して、重みを設定し、
前記ディスパリティ補正部は、前記注目画素のディスパリティ、および前記過去画素のディスパリティに代えて、前記代替注目画素のディスパリティ、および前記代替過去画素のディスパリティに、前記重み設定部により付された重みを付加して積和を求めることにより、前記ディスパリティ生成部により生成された前記注目画素のディスパリティを補正する
（１）または（２）に記載の画像処理装置。
（４）  前記画像に基づいて、例外状態が発生しているか否かを判定する例外判定部と、
前記例外判定部の例外判定結果に基づいて、前記重み設定部により設定された重みを例外的に処理する例外処理部とをさらに含む
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）  前記注目画素および前記注目画素に対応して設定される近傍の複数の画素からなるブロックと、前記注目画素に対応して前記過去フレームに設定される複数の過去画素、および前記複数の過去画素のそれぞれに対応して設定される近傍の複数の画素からなる複数のブロックとの対応する画素間の画素値の差分絶対値和のうち、前記差分絶対値和の最小値が所定の閾値よりも高いとき、前記例外処理部は、前記注目画素のディスパリティに設定する重みが、前記過去画素のディスパリティに設定される重みよりも大きくなるように重みを設定し、
前記最小値が所定の閾値よりも小さいとき、前記例外処理部は、前記注目画素のディスパリティに設定する重みが、前記過去画素のディスパリティに設定される重みよりも小さくなるように重みを設定する
（４）に記載の画像処理装置。
（６）  前記例外判定部は、
前記注目画素のディスパリティと、前記過去画素のディスパリティとの差分絶対値が所定値よりも大きいか否かによりディスパリティが発散しているか否かを判定するディスパリティ発散判定部と、
前記注目フレームにおけるカラーヒストグラムと、前記過去フレームにおけるカラーヒストグラムとの差分絶対値よりシーンチェンジの発生の有無を判定するヒストグラム判定部とを含み、
前記ディスパリティ発散判定部によりディスパリティが発散していると判定された場合、または、前記ヒストグラム判定部によりシーンチェンジが発生していると判定された場合、例外状態が発生しているものとみなし、
前記例外処理部は、前記例外判定部により例外状態が発生していると判定された場合、前記注目画素のディスパリティの重みを１として、前記過去画素のディスパリティの重みを０とする
（４）に記載の画像処理装置。
（７）  前記例外判定部は、
前記注目画素が字幕領域に属するか否かを判定する字幕領域判定部をさらに含み、
前記注目画素が前記字幕領域に属していると判定した場合、前記例外判定部により前記例外状態が発生していると判定され、前記例外処理部は、前記注目画素のディスパリティの重みよりも、前記過去画素のディスパリティへの重みが大きくなるように重みを設定する
（４）に記載の画像処理装置。
（８）  前記例外判定部は、
前記注目画素が空領域に属するか否かを判定する空領域判定部をさらに含み、
前記注目画素が前記空領域に属していると判定した場合、前記例外判定部により前記例外状態が発生していると判定され、前記例外処理部は、前記注目画素のディスパリティおよび過去画素ディスパリティの重みをいずれも小さくし、所定の定数に対する重みが大きくなるように重みを設定する
（４）に記載の画像処理装置。
（９）  前記ディスパリティ補正部により補正されたディスパリティを、前記処理対象となるフレームより以前のフレームにおける補正されたディスパリティに対して所定値だけ大きい値、または、所定値だけ小さい値にクリップするクリップ部をさらに含む
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）  前記所定値は、前記ディスパリティ補正部により補正されたディスパリティの値に比例して設定される値である
（９）に記載の画像処理装置。
（１１）  画像処理装置の画像処理方法であって、
前記画像処理装置が、
左眼用画像、および右眼用画像からなる３Ｄ画像として視聴可能な連続してフレーム単位で供給される画像の処理対象となる注目画素と、前記注目画素に対応して設定される複数の近傍の画素からなるブロック間で、空間方向、および時間方向に画素間の差分絶対値和を算出する差分絶対値和算出処理し、
前記左眼用画像、および前記右眼用画像より画素毎にディスパリティを生成するディスパリティ生成処理し、
前記差分絶対値和に基づいて、注目画素を含む注目フレームのディスパリティ、および前記注目フレームより過去のフレームである過去フレームにおける、前記注目画素に対応して設定される過去画素のディスパリティに重みを設定する重み設定処理し、
前記注目画素のディスパリティ、および前記過去画素のディスパリティに、前記重み設定処理により付された重みを付加して積和を求めることにより、前記ディスパリティ生成処理により生成された前記注目画素のディスパリティを補正するディスパリティ補正処理する
ステップを含む画像処理方法。
（１２）  画像処理装置を制御するコンピュータに、
左眼用画像、および右眼用画像からなる３Ｄ画像として視聴可能な連続してフレーム単位で供給される画像の処理対象となる注目画素と、前記注目画素に対応して設定される複数の近傍の画素からなるブロック間で、空間方向、および時間方向に画素間の差分絶対値和を算出する差分絶対値和算出ステップと、
前記左眼用画像、および前記右眼用画像より画素毎にディスパリティを生成するディスパリティ生成ステップと、
前記差分絶対値和に基づいて、注目画素を含む注目フレームのディスパリティ、および前記注目フレームより過去のフレームである過去フレームにおける、前記注目画素に対応して設定される過去画素のディスパリティに重みを設定する重み設定ステップと、
前記注目画素のディスパリティ、および前記過去画素のディスパリティに、前記重み設定ステップの処理により付された重みを付加して積和を求めることにより、前記ディスパリティ生成ステップの処理により生成された前記注目画素のディスパリティを補正するディスパリティ補正ステップと
を含む処理を実行させるプログラム。
【符号の説明】
【０１７８】
１１  テレビジョン受像機，  ２１  ディスパリティ生成部，  ２２  ステレオ画像生成部，  ２３  表示部，  ３１  画像取得部，  ３２  差分絶対値和算出部，  ３３  重み設定部，  ３４  例外処理部，  ３５  IIRフィルタ，  ３６  クリップ処理部，  ３７  補正ディスパリティ記憶部，  ３８  例外判定部，  ３９  ディスパリティ算出部，  ４０  ディスパリティ記憶部，  ４１  重み付加部，  ４２  動き境界画素判定部，  ４３  重み選択部，  ５１  空間方向差分絶対値和算出部，  ５２  時間方向差分絶対値和算出部，  ６１  ヒストグラム判定部，  ６２  ディスパリティ発散判定部，  ８１  類似画素探索部，  ９１  類似画素判定部，  １０１  ディスパリティ最大値探索部，  １１１  信頼画素探索部，  １２１  字幕判定部，  １２２  空判定部
【図１】
2013223114.tif 000017
【図２】
2013223114.tif 000018
【図３】
2013223114.tif 000019
【図４】
2013223114.tif 000020
【図５】
2013223114.tif 000021
【図６】
2013223114.tif 000022
【図７】
2013223114.tif 000023
【図８】
2013223114.tif 000024
【図９】
2013223114.tif 000025
【図１０】
2013223114.tif 000026
【図１１】
2013223114.tif 000027
【図１２】
2013223114.tif 000028
【図１３】
2013223114.tif 000029