(57)【特許請求の範囲】
【請求項１】
左眼用画像と右眼用画像の一方を基準画像、他方を参照画像とし、
前記基準画像を複数のブロックに分割し、
前記基準画像と前記参照画像のブロックマッチングにより対応するブロックを検出し、対応ブロックの画素値の差分絶対値和をゼロブロック誤差値とし、さらに前記ブロックマッチングのサーチ範囲内での全ブロックについてのブロックの画素値の差分絶対値和の最小値を最小ブロック誤差値とする視差評価を行い、
前記ゼロブロック誤差値が第１閾値より小さく、かつ前記ゼロブロック誤差値と前記最小ブロック誤差値との差の絶対値が第２閾値より小さい場合に、視差無し部分と判定し、
前記視差無し部分に属する対応する前記基準画像と前記参照画像の各ブロックにおける周波数解析を行い、前記基準画像と前記参照画像のうちの高周波成分が多く含まれるブロックを補正画像として選択し、前記補正画像として選択されない画像の画素値を、前記補正画像の画素値に近づけるように補正することを特徴とする三次元画像処理方法。
【請求項２】
左眼用画像と右眼用画像の一方を基準画像、他方を参照画像とし、前記基準画像を分割したブロックごとに、前記基準画像と前記参照画像のブロックマッチングにより対応するブロックを検出し、対応ブロックの画素値の差分絶対値和をゼロブロック誤差値とし、さらに前記ブロックマッチングのサーチ範囲内での全ブロックについてのブロックの画素値の差分絶対値和の最小値を最小ブロック誤差値とする視差評価を行い、前記ゼロブロック誤差値が第１閾値より小さく、かつ前記ゼロブロック誤差値と前記最小ブロック誤差値との差の絶対値が第２閾値より小さい場合に、視差無し部分と判定する視差検出・判定部と、
前記視差無し部分に属する対応する前記基準画像と前記参照画像の各ブロックにおける周波数解析を行い、前記基準画像と前記参照画像のうちの高周波成分が多く含まれるブロックを補正画像として選択し、前記補正画像として選択されない画像の画素値を、前記補正画像の画素値に近づけるように補正する補正部と、を備えることを特徴とする三次元画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像処理方法および三次元画像処理装置に関する。
【背景技術】
【０００２】
近年、左眼と右眼にそれぞれ左眼用と右眼用の画像を与えて、三次元（立体視）画像を提供することが行われている。左眼用画像信号と右眼用画像信号は、三次元撮像装置またはコンピュータグラフィックス装置などにより発生される。三次元撮像装置は、視差を生じるように配置された２個の撮像装置を有し、２個の撮像装置が左眼用画像信号と右眼用画像信号を発生する。コンピュータグラフィックス装置は、視差を生じるように左眼用画像信号と右眼用画像信号を生成する。言い換えれば、左眼用画像信号と右眼用画像信号は、２系統の画像信号生成系で発生される。
【０００３】
２系統の画像信号生成系は、視差以外の差が発生しないようにできるだけ特性が一致するように製作されるが、完全に一致させることは容易でなく、何らかの差が発生する。
【０００４】
特に、三次元映像として用いられる右眼用と左眼用の動画像信号は、ＭＰＥＧ２やＨ．２６４などのような動画像符号化規格によって符号化映像データに変換した上で記録または送信される。そして、読み出しまたは受信した符号化映像データを復号して映像信号に再生した上で表示装置に供給する方式が一般的である。
【０００５】
動画像信号の符号化においては、変換後のデータを所定のデータ量（ビットレート）以内におさめるため、一般的に非可逆圧縮となり、再生時の映像には符号化ノイズが含まれている。そのため、一旦符号化した画像データを復号して再生した三次元映像の右眼用と左眼用の映像データには、異なる符号化ノイズが存在することになる。
【０００６】
左右の画像の視差が無く、同一であるべき部分に差が生じた場合、観察者の左右の眼には異なる画像が入力される。これは、立体視の成立を妨害する要因となり、眼精疲労など観察者への負担につながる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０９−２７５５７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
実施形態によれば、三次元画像において、符号化ノイズのような左右の画像信号の食い違いを抑制し、違和感の少ない三次元画像を提供する。
【課題を解決するための手段】
【０００９】
発明の一観点によれば、左眼用画像と右眼用画像の一方を基準画像、他方を参照画像とし、基準画像を複数のブロックに分割し、分割したブロックごとに視差評価を検出し、視差評価が所定の条件を満たすブロックを、視差無し部分と判定し、視差無し部分に属する対応する基準画像の画素値と記参照画像の画素値を近づけるように補正する、ことを特徴とする三次元画像処理方法が提供される。
【００１０】
発明の別の観点によれば、左眼用画像と右眼用画像の一方を基準画像、他方を参照画像とし、基準画像を分割したブロックごとに参照画像との視差評価を検出し、視差評価が所定の条件を満たすブロックを、視差無し部分と判定する視差検出・判定部と、視差無し部分に属する対応する左眼用画像の画素値と右眼用画像の画素値を近づけるように補正する補正部と、を備える三次元画像処理装置が提供される。
【発明の効果】
【００１１】
上記の観点によれば、三次元画像において、左右の画像信号に視差に起因しない差が生じていても、違和感の少ない三次元画像を提供することが可能である。
【図面の簡単な説明】
【００１２】
【図１】図１は、第１実施形態で使用する三次元画像データの発生を説明する図である。
【図２】図２は、第１実施形態の三次元画像処理装置の構成を示すブロック図である。
【図３】図３は、第１実施形態の三次元画像処理装置における処理を示すフローチャートである。
【図４】図４は、基準画像におけるブロックと、参照画像におけるサーチ範囲を説明する図である。
【図５】図５は、ブロックマッチング処理を説明する図である。
【図６】図６は、補正処理を説明する図であり、（Ａ）は視差無しと判定されたブロックを示し、（Ｂ）は補正後の左眼画像を、（Ｃ）は補正後の右眼画像を示す。
【図７】図７は、補正された左眼用画像データおよび右眼用画像データを符号化する場合の構成を示す図である。
【図８】図８は、第２実施形態の画像処理装置の概略構成を示すブロック図である。
【図９】図９は、コンピュータにより実現される第１および第２実施形態の画像処理装置の機能ブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を参照して具体的に説明する。
【００１４】
図１は、第１実施形態で使用する三次元画像データの発生を説明する図である。
【００１５】
図１に示すように、人物２を、遠い山３、近い山４、雲６、空７および一部が雲に隠れた山５を背景として、三次元撮像装置（三次元カメラ）１０で撮影する場合を考える。
【００１６】
三次元撮像装置１０は、視差を生じるように配置された左眼用と右眼用の２つの撮像系を有する。左眼用撮像系は、撮影用レンズ１１Ａと、撮像素子１２Ａと、鏡筒１３Ａと、撮像素子１２Ａの出力を処理して左眼用画像データを出力する信号処理回路１４Ａと、を有する。同様に、右眼用撮像系は、撮影用レンズ１１Ｂと、撮像素子１２Ｂと、鏡筒１３Ｂと、撮像素子１２Ｂの出力を処理して右眼用画像データを出力する信号処理回路１４Ｂと、を有する。三次元撮像装置１０が、静止画用カメラ（デジタルカメラ）または動画像用カメラ（デジタルムービィーカメラ）であり、動画像用カメラの場合には所定のフレームレートで連続して画像を出力する。三次元表示装置は、三次元撮像装置１０の出力する左眼用画像データおよび右眼用画像データを受けて、三次元画像を表示する。
【００１７】
左眼用撮像系と右眼用撮像系は、図１に示すように、光軸がずれており、視差を発生する左眼用画像データと右眼用画像データを出力する。左眼用撮像系と右眼用撮像系は、光軸がずれて視差を発生する以外は、同一の画像データを出力することが望ましい。そこで、左眼用撮像系と右眼用撮像系は、撮影用レンズ１１Ａおよび１１Ｂと、撮像素子１２Ａおよび１２Ｂと、鏡筒１３Ａおよび１３Ｂと、信号処理回路１４Ａおよび１４Ｂの各部ができるだけ同一であるように製作される。しかし、実際にはこれらを完全に同一になるように製作することはできないので、ある程度の差異が生じるのは避けられない。
【００１８】
第１実施形態の三次元画像処理装置は、上記のような左眼用画像データおよび右眼用画像データの処理を行い、処理した左眼用画像データおよび右眼用画像データを三次元表示装置に出力する。また、実施形態の三次元画像処理装置で処理した左眼用画像データおよび右眼用画像データを、三次元画像用デジタルレコーダに記憶するようにしてもよい。
【００１９】
以上のように、第１実施形態で対象とする三次元画像は、両眼視差の原理に基づき生成された右眼用と左眼用の画像データである。
【００２０】
図２は、第１実施形態の三次元画像処理装置の構成を示すブロック図である。第１実施形態の三次元画像処理装置は、例えば後述するように、コンピュータにより実現される。
【００２１】
図２に示すように、第１実施形態の三次元画像処理装置は、画像データ入力部２１と、視差検出・判定部２２と、補正部２３と、画像データ出力部２４と、制御部２５と、メモリコントローラ２６と、メモリ２７と、を有する。メモリ２７は、三次元画像処理装置の外部に設けられていてもよい。
【００２２】
画像データ入力部２１は、外部から入力される左眼用画像データおよび右眼用画像データを受け取り、メモリコントローラ２６を通してメモリ２７に格納する。視差検出・判定部２２は、メモリコントローラ２６を通してメモリ２７から左眼用画像データおよび右眼用画像データを読み出し、視差無しの部分を検出する。補正部２３は、左眼用画像データおよび右眼用画像データの視差無しと判定された部分について補正処理を行い、補正後の左眼用画像データおよび右眼用画像データをメモリ２７に記憶する。画像データ出力部２４は、外部からの要求に応じて、補正後の左眼用画像データおよび右眼用画像データをメモリコントローラ２６を通してメモリ２７から読み出して出力する。制御部２５は、画像データ入力部２１、視差検出・判定部２２、補正部２３、画像データ出力部２４およびメモリコントローラ２６の起動終了制御および外部とのインターフェース制御を行う。
【００２３】
図３は、第１実施形態の三次元画像処理装置における処理を示すフローチャートである。以降の説明では、左右の画像のうち、任意の一方の画像を基準画像、他方の画像を参照画像とする。
【００２４】
ステップＳ１１では、基準画像の画面を複数（Ｋ個）のブロックに分割する。各ブロックは、Ｎ×Ｍ画素を有し、例えばＭ＝Ｎ＝１６である。
【００２５】
ステップＳ１２では、変数ｋにゼロを設定する。変数ｋは、０からＫ−１までの値をとり得る。
【００２６】
ステップＳ１３では、ｋ番目のブロックＢＬｋのマッチング処理を行い、ゼロベクトルの誤差Ｓおよびサーチ範囲内のベクトルの最小誤差Ｓｍｉｎを算出する。
【００２７】
図４は、基準画像におけるブロックと、参照画像におけるサーチ範囲を説明する図である。図４に示すように、基準画像３０の画面を複数個のブロックに分割する。図４では、処理対象のブロック３１が示されている。参照画像４０において、対応ブロック４１は、ブロック３１に対応する位置のブロックである。ここで、基準画像３０のブロックと参照画像４０のブロックとの対応関係をベクトルと称し、基準画像３０のブロック３１と参照画像４０内の対応ブロック４１のベクトルをゼロベクトルと称する。そして、ベクトルで表される２個のブロックの画素値の差分絶対値和をベクトル誤差と称し、ゼロベクトルの誤差をＳで表す。
【００２８】
参照画像４０において、対応ブロック４１を含む長方形４２がサーチ範囲を示す。サーチ範囲４２内で、左上のブロック４３から開始して、ブロック位置を１画素ずつずらしながら、サーチ範囲４２内の全ブロックに対するベクトル誤差の最小値をＳｍｉｎで表す。したがって、Ｓｍｉｎ＝Ｓである場合が存在し、視差の非常に小さい部分ではそのような場合が一般的である。
【００２９】
図５は、ステップＳ１３におけるブロックマッチング処理を説明する図である。
【００３０】
図５の（Ａ）および（Ｂ）は、図１の光景を撮影した場合の左眼用画像および右眼用画像の例を示し、外部から入力される左眼用画像データおよび右眼用画像データから生成した画像である。図の（Ａ）および（Ｂ）において、参照番号２Ａおよび２Ｂは人物２に、３Ａおよび３Ｂは遠い山３に、４Ａおよび４Ｂは近い山４に、５Ａおよび５Ｂは一部が雲に隠れた山５に、６Ａおよび６Ｂは雲６に、７Ａおよび７Ｂは空７に、それぞれ対応する。
【００３１】
図５の（Ｃ）は、図５の（Ａ）および（Ｂ）に示す左眼用画像および右眼用画像を重ねた画像を示す。人物に対応する部分２Ａおよび２Ｂ以外の部分は、遠景であり、視差が無いのでほぼ重なるが、部分２Ａおよび２Ｂは異なる画像が重なる。
【００３２】
視差が無いブロックでは、ゼロベクトルの誤差Ｓは非常に小さな値になり、ゼロベクトルの誤差Ｓとベクトル誤差の最小値Ｓｍｉｎの差も非常に小さな値になる。言い換えれば、この両方の値が小さい場合には、視差が無いブロックであるといえる。
【００３３】
図３のフローチャートに戻り、ステップＳ１４では、対象ブロックが視差無しブロックであるかを判定する。具体的には、ゼロベクトルの誤差Ｓの絶対値が第１の閾値ｓｔｈより小さく、ゼロベクトルの誤差Ｓとベクトル誤差の最小値Ｓｍｉｎの差の絶対値が第２の閾値ｖｔｈより小さいかを判定し、両方を満たせば視差無しブロックと判定し、それ以外の部分は視差ありブロックと判定する。
【００３４】
具体的には、次のような２つの判定式を満たした時に、視差無しブロックと判定する。
【００３５】
Ｓ＜ｓｔｈ
ａｂｓ（Ｓ−Ｓｍｉｎ）＜ｖｔｈ
視差無しブロックと判定された場合にはステップＳ１５に進み、それ以外の場合にはステップＳ１６に進む。
【００３６】
ステップＳ１５では、補正強度α（０≦α≦１．０）を、比較的大きな値Ｄαに設定し、ステップＳ１７に進む。
【００３７】
ステップＳ１６では、補正強度α（０≦α≦１．０）を、比較的小さな値Ｓαに設定し、ステップＳ１７に進む。
【００３８】
ステップＳ１７では、基準画像の対象ブロックＢＬｋと、参照画像の対応ブロックＳＢＬｋ内の画素値を補正する。第１実施形態では、以下のような補正を行う。
【００３９】
上記のようにブロックは、Ｎ×Ｍ個の画素を有するので、ブロック内の画素は画素（ｉ，ｊ）（０≦ｉ＜Ｎ，０≦ｊ＜Ｍ）で表される。補正前の基準画像の画素値をｉｎＳ（ｉ，ｊ）、補正前の参照画像の画素値をｉｎＲ（ｉ，ｊ）、補正後の基準画像の画素値をｏｕｔＳ（ｉ，ｊ）、補正後の参照画像の画素値をｏｕｔＲ（ｉ，ｊ）で表すと、補正式は以下のように表される。
【００４０】
ｏｕｔＳ（ｉ，ｊ）＝α×（ｉｎＳ（ｉ，ｊ）＋ｏｕｔＲ（ｉ，ｊ））／２
＋（１−α）×ｉｎＳ（ｉ，ｊ）
ｏｕｔＲ（ｉ，ｊ）＝α×（ｉｎＳ（ｉ，ｊ）＋ｏｕｔＲ（ｉ，ｊ））／２
＋（１−α）×ｉｎＲ（ｉ，ｊ）
ブロックの視差無しと判定された場合のＤαを１に近い値に設定し、基準画像の対象ブロックと参照画像の対応ブロックの画素値をそれぞれ画素平均値に近づける。α＝１に設定すると、左右の画素は完全に同一値となり、もっとも補正強度が高い処理となる。ブロックの視差無しと判定された場合のＤαは、１に近い値であればどのような値であってもよい。ブロックの視差有りと判定された場合には、α＝０を設定し、入力画素をそのまま出力画素とする。したがって、実質的な補正処理は行われない。
【００４１】
図６は、補正処理を説明する図であり、図６の（Ａ）は、視差無しと判定されたブロックを示し、図６の（Ｂ）は補正後の左眼画像を、図６の（Ｃ）は補正後の右眼画像を示す。人物以外の部分では、対応する位置の左右の画素の画素値は、それぞれ左右の画素の画素値の平均値に近づくように補正されている。
【００４２】
図３に戻り、ステップＳ１８では、処理していないブロックが残っているかを判定し、残っていればステップＳ１９に進み、残っていなければ終了する。
【００４３】
ステップＳ１９では、変数ｋを１増加させてステップＳ１３に戻る。これにより、上記の処理が全ブロックに対して繰り返され、基準画像および参照画像、すなわち左眼および右眼用の画像に対して補正が行われる。
【００４４】
第１実施形態では、ステップＳ１７で上記のような補正が行われたが、補正方法は各種の変形例が可能である。次に変形例の１つを説明する。
【００４５】
この変形例では、基準画像の対象ブロックおよび参照画像の対応ブロックのうち、高周波成分がより多く含まれる方をｓｅｌＳＲ（ｉ，ｊ）で表す。補正式は、次の通りである。
【００４６】
ｏｕｔＳ（ｉ，ｊ）＝α×ｓｅｌＳＲ（ｉ，ｊ）＋（１−α）×ｉｎＳ（ｉ，ｊ）
ｏｕｔＲ（ｉ，ｊ）＝α×ｓｅｌＳＲ（ｉ，ｊ）＋（１−α）×ｉｎＲ（ｉ，ｊ）
上記のように、ｓｅｌＳＲ（ｉ，ｊ）は、基準画像の対象ブロックおよび参照画像の対応ブロックのうち高周波数成分が多く含まれる方である。したがって、背景部分において、画素値の変化がより急激な方に近づくように補正されることになる。
【００４７】
高周波数成分がどれだけ含まれるかについては、ブロックにおけるアクティビティを計算することによって判定する。アクティビティは、Ｎ×Ｍ画素ブロックにおける、水平方向の隣接差分絶対値和および縦方向の隣接差分絶対値和の総和とする。アクティビティの計算方法は以下の通りである。
【００４８】
基準画像の対象ブロックのアクティビティをａｃｔＳ、参照画像の対応ブロックのアクティビティをａｃｔＲとすると、ａｃｔＳおよびａｃｔＲを算出するプログラムは以下の通りである。
【００４９】
／／ａｃｔＳの算出
ａｃｔＳ＝０；
ｆｏｒ（ｊ＝０；ｊ＜Ｍ；ｊ＋＋）｛
ｆｏｒ（ｉ＝０；ｉ＜Ｎ−１；ｉ＋＋）｛
ａｃｔＳ  ＋＝  ａｂｓ（ｉｎＳ［ｉ，ｊ］−ｉｎＳ［ｉ＋１，ｊ］）
｝
｝
ｆｏｒ（ｊ＝０；ｊ＜Ｍ−１；ｊ＋＋）｛
ｆｏｒ（ｉ＝０；ｉ＜Ｎ；ｉ＋＋）｛
ａｃｔＳ  ＋＝  ａｂｓ（ｉｎＳ［ｉ，ｊ］−ｉｎＳ［ｉ，ｊ＋１］）
｝
｝
／／ａｃｔＲの算出
ａｃｔＲ＝０；
ｆｏｒ（ｊ＝０；ｊ＜Ｍ；ｊ＋＋）｛
ｆｏｒ（ｉ＝０；ｉ＜Ｎ−１；ｉ＋＋）｛
ａｃｔＲ  ＋＝  ａｂｓ（ｉｎＲ［ｉ，ｊ］−ｉｎＲ［ｉ＋１，ｊ］）
｝
｝
ｆｏｒ（ｊ＝０；ｊ＜Ｍ−１；ｊ＋＋）｛
ｆｏｒ（ｉ＝０；ｉ＜Ｎ；ｉ＋＋）｛
ａｃｔＲ  ＋＝  ａｂｓ（ｉｎＲ［ｉ，ｊ］−ｉｎＲ［ｉ，ｊ＋１］）
｝
｝
以上のようにして算出したａｃｔＳとａｃｔＲを比較し、ａｃｔＳがａｃｔＲより大きければ、ｓｅｌＳＲ（ｉ，ｊ）はｉｎＳ［ｉ，ｊ］の画素値とする。ａｃｔＳがａｃｔＲ以下の場合には、ｓｅｌＳＲ（ｉ，ｊ）はｉｎＲ［ｉ，ｊ］の画素値とする。
【００５０】
以上のようにして補正された左眼用画像データおよび右眼用画像データは、三次元表示装置に供給されて三次元画像の表示に使用される。また、補正された左眼用画像データおよび右眼用画像データを送信したり記憶する場合には、データ量を圧縮するため符号化処理を行った後、送信または記憶する。
【００５１】
図７は、補正された左眼用画像データおよび右眼用画像データを符号化する場合の構成を示す図である。補正された左眼用画像データおよび右眼用画像データは、それぞれ左眼用符号化部５１Ａおよび右眼用符号化部５１Ｂに供給される。左眼用符号化部５１Ａおよび右眼用符号化部５１Ｂは、公知の符号化方法で左眼用画像データおよび右眼用画像データをそれぞれ符号化して、左眼用符号化画像データおよび右眼用符号化画像データを出力する。左眼用符号化部５１Ａおよび右眼用符号化部５１Ｂは、公知の符号化方法で独立して左眼用画像データおよび右眼用画像データをそれぞれ符号化すればよいが、必要に応じて左眼用画像データと右眼用画像データの相互関係を利用してもよい。
【００５２】
第１実施形態では、三次元撮像装置から出力される左眼用画像データおよび右眼用画像データを補正したが、上記のように、画像データは、符号化した状態で送信または記憶される。そのため、画像処理装置には、左眼用符号化画像データおよび右眼用符号化画像データが供給され、画像処理装置はこれらのデータを復号して処理する場合がある。第２実施形態は、このような場合に使用される画像処理装置である。
【００５３】
図８は、第２実施形態の画像処理装置の概略構成を示すブロック図である。第２実施形態の画像処理装置には、外部からＭＰＥＧ２やＨ．２６４などの符号化手法を使用して符号化した左眼用符号化画像データおよび右眼用符号化画像データが供給される。第２実施形態の画像処理装置は、左眼用符号化画像データおよび右眼用符号化画像データに対して補正処理を行った後、補正後の左眼用画像データおよび右眼用画像データを表示装置などに供給する。
【００５４】
図８に示すように、第２実施形態の画像処理装置は、動画像復号部６１と、視差検出・補正部６２と、画像データ出力部６４と、制御部６５と、メモリコントローラ６６と、メモリ６７と、を有する。第２実施形態の画像処理装置は、画像データ入力部２１の代わりに動画像復号部６１を設けた以外は、第１実施形態の画像処理装置と同じ構成を有する。
【００５５】
動画像復号部６１は、外部から供給される左眼用符号化画像データおよび右眼用符号化画像データに対して、対応する公知の手法で復号処理を行う。視差検出・補正部６２は、第１実施形態で説明したのと同様の手法で、復号された左眼用画像データおよび右眼用画像データに対して、視差無しの部分を検出して補正処理を行う。
【００５６】
第１および第２実施形態の画像処理装置は、例えば、プロセッサまたはＤＳＰとメモリを組み合わせたコンピュータを使用して実現される。
【００５７】
図９は、コンピュータにより実現される第１および第２実施形態の画像処理装置７０の機能ブロック図である。
【００５８】
図９に示すように、実施形態の画像処理装置は、左眼用画像（Ｌ画像）ＲＡＭ７１と、右眼用画像（Ｒ画像）ＲＡＭ７２と、ブロックマッチング算出部７３と、アクティビティ算出部７４と、判定部７５と、補正処理部７６と、内部バス７７と、入出力インターフェース(Read/Write IF)７８と、を有する。第１実施形態の視差検出・判定部２２は、ブロックマッチング算出部７３および判定部７５を合わせた部分に対応し、補正部２３は、アクティビティ算出部７４および補正処理部７６を合わせた部分に対応する。第２実施形態の視差検出・補正部６２は、ブロックマッチング算出部７３、アクティビティ算出部７４、判定部７５および補正処理部７６を合わせた部分に対応する。
【００５９】
Ｌ画像ＲＡＭ７１、Ｒ画像ＲＡＭ７２、ブロックマッチング算出部７３、アクティビティ算出部７４および補正処理部７６は、内部バス７７を介して相互に接続される。
【００６０】
上記のように、左眼用画像および右眼用画像の一方を基準画像に、他方を参照画像にする。例えば、左眼用画像を基準画像に、右眼用画像を参照画像にした場合には、基準画像のブロックはＮ×Ｍ画素であるのに対して、参照画像はＮ×Ｍ画素より広いサーチ範囲分の画素が必要であるので、右眼用画像を格納するＲ画像ＲＡＭ７２は、左眼用画像を格納するＬ画像ＲＡＭ７１に比べて容量を大きくする。
【００６１】
ブロックマッチング算出部７３は、Ｌ画像ＲＡＭ７１およびＲ画像ＲＡＭ７２からそれぞれ画像を読み出して前述のステップ１３におけるブロックマッチング処理を行い、ゼロベクトル誤差Ｓと、最小誤差Ｓｍｉｎを検出して、判定部７５に出力する。
【００６２】
アクティビティ算出部７４は、前述のｓｅｌＳＲ（ｉ，ｊ）を使用した補正を行う変形例を実現する時に設けられる。アクティビティ算出部７４は、Ｌ画像ＲＡＭ７１およびＲ画像ＲＡＭ７２からそれぞれ画像を読み出して、アクティビティａｃｔＳとａｃｔＲを算出し、ａｃｔＳとａｃｔＲのどちらのアクティビティが高いかを補正処理部７６に出力する。
【００６３】
判定部７５は、ステップＳ１４での判定処理を行い、視差有り無しの判定結果を補正処理部７６に出力する。補正処理部７６は、Ｌ画像ＲＡＭ７１およびＲ画像ＲＡＭ７２からそれぞれ画像を読み出して、判定部７５からの判定結果に基づいて補正処理を行い、補正結果ｏｕｔＳおよびｏｕｔＲを入出力インターフェース７８を介して出力する。また、変形例では、補正処理部７６は、アクティビティ算出部７４の判定結果をもとに補正処理を行う。
【００６４】
三次元画像表示では、背景部分など、視差がない部分は静止している場合が多く、動いている物体よりも符号化ノイズが目立ちやすい。第１および第２実施形態、および変形例の画像処理装置により画像処理を行うことにより、視差が無い部分に対して、左右の画素値を同一値に近づけることにより、同一背景や同一物体における左右の映像の食い違いを抑制できる。
【００６５】
以上、実施形態を説明したが、ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではなく、明細書のそのような例の構成は発明の利点および欠点を示すものではない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。
【００６６】
以下、実施形態に関し、更に以下の付記を開示する。
（付記１）
左眼用画像と右眼用画像の一方を基準画像、他方を参照画像とし、
前記基準画像を複数のブロックに分割し、
分割したブロックごとに視差評価を検出し、
前記視差評価が所定の条件を満たすブロックを、視差無し部分と判定し、
前記視差無し部分に属する対応する前記基準画像の画素値と前記参照画像の画素値を近づけるように補正する、ことを特徴とする三次元画像処理方法。
（付記２）
前記補正では、対応する前記基準画像の画素値と前記参照画像の画素値を、平均値に近づける付記１記載の三次元画像処理方法。
（付記３）
前記補正では、前記基準画像と前記参照画像の各ブロックにおける周波数解析を行い、前記前記基準画像と前記参照画像のうちの高周波成分が多く含まれるブロックを、補正画像として選択する付記１記載の三次元画像処理方法。
（付記４）
前記所定の条件は、前記基準画像と前記参照画像の対応するブロックにおけるゼロブロック誤差値が第１閾値より小さく、かつゼロブロック誤差値とブロックマッチング処理によるサーチ範囲内での最小ブロック誤差値との差の絶対値が第２閾値より小さい場合に、視差無し部分と判定する条件である付記１から３のいずれか１項記載の三次元画像処理方法。
（付記５）
左眼用画像と右眼用画像の一方を基準画像、他方を参照画像とし、前記基準画像を分割したブロックごとに前記参照画像との視差評価を検出し、前記視差評価が所定の条件を満たすブロックを、視差無し部分と判定する視差検出・判定部と、
前記視差無し部分に属する対応する前記左眼用画像の画素値と前記右眼用画像の画素値を近づけるように補正する補正部と、を備えることを特徴とする三次元画像処理装置。
（付記６）
前記補正部は、対応する前記左眼用画像の画素値と前記右眼用画像の画素値を、平均値に近づける付記５記載の三次元画像処理装置。
（付記７）
前記補正部は、前記左眼用画像と前記右眼用画像の各ブロックにおける周波数解析を行い、前記左眼用画像と前記右眼用画像のうちの高周波成分が多く含まれるブロックを、補正画像として選択する付記５記載の三次元画像処理装置。
（付記８）
前記所定の条件は、前記左眼用画像と前記右眼用画像の対応するブロックにおけるゼロブロック誤差値が第１閾値より小さく、かつゼロブロック誤差値とブロックマッチング処理によるサーチ範囲内での最小ブロック誤差値との差の絶対値が第２閾値より小さい場合に、視差無し部分と判定する条件である付記５から７のいずれか１項記載の三次元画像処理装置。
【符号の説明】
【００６７】
２１    画像データ入力部
２２    視差検出・判定部
２３    補正部
２４    画像データ出力部
２５    制御部
２６    メモリコントローラ
２７    メモリ
【図１】
0005614269.tif 000002
【図２】
0005614269.tif 000003
【図３】
0005614269.tif 000004
【図４】
0005614269.tif 000005
【図５】
0005614269.tif 000006
【図６】
0005614269.tif 000007
【図７】
0005614269.tif 000008
【図８】
0005614269.tif 000009
【図９】
0005614269.tif 000010