(57)【要約】【課題】入力される視差画像データ間の特徴が異なる場合においても、精度の高い対応点探索を可能にする。【解決手段】入力される複数の視差画像データ間の特徴を解析して、解析データを生成する特徴解析手段と、前記解析データに基づいて、前記複数の視差画像データ間の特徴を揃えるための解像度調整処理を行うことで、調整後の視差画像データを生成する解像度調整手段と、前記調整後の視差画像データに基づいて、前記複数の視差画像データ間における対応点を探索する対応点探索手段とを有することを特徴とする。【選択図】図４
2017151544.tif 000002
【特許請求の範囲】
【請求項１】
入力される複数の視差画像データ間の特徴を解析して、解析データを生成する特徴解析手段と、
前記解析データに基づいて、前記複数の視差画像データ間の特徴を揃えるための解像度調整処理を行うことで、調整後の視差画像データを生成する解像度調整手段と、
前記調整後の視差画像データに基づいて、前記複数の視差画像データ間における対応点を探索する対応点探索手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記特徴解析手段は、前記複数の視差画像データをそれぞれ空間領域から周波数領域に変換することで、空間周波数スペクトルを示すスペクトルデータを取得し、前記スペクトルデータを用いて前記複数の視差画像データ間の特徴を解析することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴解析手段は、前記複数の視差画像データのボケの大きさを揃えるための前記解析データを生成し、
前記解像度調整手段は、前記解析データに基づいて、前記複数の視差画像データのボケの大きさを揃えるように前記解像度調整処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記解析データは、前記複数の視差画像データのうち相対的にボケが小さい視差画像データのボケの大きさを相対的にボケが大きい視差画像データのボケの大きさに合わせるように前記相対的にボケが小さい視差画像データに付加されるボケの大きさを含むことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記特徴解析手段は、前記複数の視差画像データから取得された前記スペクトルデータの間の相関情報に基づいて、前記複数の視差画像データのボケの大きさが揃えられるか否かを判定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記特徴解析手段は、前記複数の視差画像データの信号対雑音比の大きさを揃えるための前記解析データを生成し、
前記解像度調整手段は、前記解析データに基づいて、前記複数の視差画像データの信号対雑音比の大きさを揃えるように前記解像度調整処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記解析データは、前記複数の視差画像データの信号対雑音比の大きさを揃えるために前記複数の視差画像データの両方に付加されるボケの大きさを含むことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記対応点探索手段は、前記調整後の視差画像データに基づいて、前記対応点の探索に用いられる評価値データを算出する評価値算出手段を有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記評価値算出手段は、２つ以上の異なる評価値データを算出し、
前記対応点探索手段は、前記２つ以上の異なる評価値データに対して画像領域ごとに適応的に重みを変えて加算処理を行うことで、加算後評価値データを算出する加算手段をさらに有することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記特徴解析手段は、前記視差画像データのうち相対的にボケが小さい視差画像データの勾配に基づいて重み係数マップデータを算出し、
前記加算手段は、前記重み係数マップデータを用いて前記加算処理を行うことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記対応点探索手段は、前記加算後評価値データに基づいて、視差マップデータを生成する視差算出手段をさらに有することを特徴とする請求項９または１０に記載の画像処理装置。
【請求項１２】
前記対応点探索手段は、
前記複数の視差画像データに基づいて、第１の評価値データを算出する手段と、
前記複数の視差画像データに基づいて、前記第１の評価値データと異なる第２の評価値データを算出する手段と、
前記調整後の視差画像データに基づいて、第３の評価値データを算出する手段と、
前記調整後の視差画像データに基づいて、前記第３の評価値データと異なる第４の評価値データを算出する手段と、
前記相対的にボケが小さい視差画像データに付加する前記ボケの大きさに基づいて、前記第１の評価値データ、前記第２の評価値データ、前記第３の評価値データ及び前記第４の評価値データのそれぞれの算出を行うか否かを決定する手段と
をさらに有することを特徴とする請求項４に記載の画像処理装置。
【請求項１３】
入力される複数の視差画像データ間の特徴を解析して、解析データを生成する特徴解析工程と、
前記解析データに基づいて、前記複数の視差画像データ間の特徴を揃えるための解像度調整処理を行うことで、調整後の視差画像データを生成する解像度調整工程と、
前記調整後の視差画像データに基づいて、前記複数の視差画像データ間における対応点を探索する対応点探索工程と
を含むことを特徴とする画像処理方法。
【請求項１４】
コンピュータを請求項１乃至１２のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差画像データ間の対応点を探索する対応点探索処理技術に関する。
【背景技術】
【０００２】
従来、視差画像データ間において対応点探索処理を行うものとしては、非特許文献１に開示される技術が知られている。非特許文献１では、視差画像データ間において対応点探索処理を行う際に、２つの異なる評価値データを算出する。そして、算出された２つの評価値データを加算することで第３の評価値データを生成し、生成した第３の評価値データを用いて最大評価値探索を行う。
【０００３】
また、特許文献１には、２つの評価値データを画像領域に応じて適応的に加算する方法が開示されている。特許文献１では、視差画像データの一方を解析して該視差画像データの各画像領域の特徴を表す解析データを生成する。生成された解析データに基づき、２つの評価値データに対して画像領域ごとに適応的に重みを変えて加算処理を行う。このように、第３の評価値データを生成する。そして、生成した第３の評価値データを用いて最大評価値探索を行う。これにより、非特許文献１のように、視差画像データを解析しないで、一様に２つの異なる評価値データを加算して第３の評価値データを生成する場合よりも、より精度の高い対応点探索が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１１３３６２号公報
【非特許文献】
【０００５】
【非特許文献１】Mei Xing, et al., "On building an accurate stereo matching system on graphics hardware", Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on. IEEE, 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術では、入力される視差画像データ間の特徴が異なる場合に、対応点探索精度が低いという課題があった。そこで本発明の目的は、視差画像データ間の特徴が異なる場合においても精度の高い対応点探索を可能にする画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、入力される複数の視差画像データ間の特徴を解析して、解析データを生成する特徴解析手段と、前記解析データに基づいて、前記複数の視差画像データ間の特徴を揃えるための解像度調整処理を行うことで、調整後の視差画像データを生成する解像度調整手段と、前記調整後の視差画像データに基づいて、前記複数の視差画像データ間における対応点を探索する対応点探索手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明は、入力される視差画像データ間の特徴が異なる場合においても、精度の高い対応点探索を可能にする。
【図面の簡単な説明】
【０００９】
【図１】実施例１における画像処理システムの概略構成を示す図である。
【図２】実施例１における画像処理装置の詳細構成を示す図である。
【図３】実施例１における画像処理部の詳細構成を示す図である。
【図４】実施例１における画像処理部の処理の手順を示すフローチャートである。
【図５】実施例１における画像間特徴解析部の処理の手順を示すフローチャートである。
【図６】実施例１の画像間特徴解析において用いられる判定値を説明するための図である。
【図７】実施例１における解像度調整処理の効果を説明するための図である。
【図８】実施例１の効果を説明するための図である。
【図９】実施例１の効果を説明するための図である。
【図１０】実施例２における画像間特徴解析部の処理の手順を示すフローチャートである。
【図１１】実施例２の画像間特徴解析において用いられる判定値を説明するための図である。
【図１２】実施例２における解像度調整処理の効果を説明するための図である。
【図１３】実施例２の効果を説明するための図である。
【図１４】実施例３における画像処理部の詳細構成を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を参照して説明する。
【００１１】
［実施例１］
本実施例では、視点の異なる画像データ（以下、視差画像データ）から視差マップデータを生成する例を説明する。入力される視差画像データのボケの程度に差がある場合に、視差画像データ間の特徴を解析して得られる解析データに基づき、視差画像データのうちのいずれか一方にボケを付加することで画像間のボケの程度を揃える解像度調整処理を行う。これにより、解像度調整後の視差画像データを生成する。生成された解像度調整後の視差画像データに基づいて評価値データを算出して、算出した評価値データから高精度な視差マップデータを生成する。
【００１２】
図１は、本実施例における画像処理システムの概略構成を示す図である。本実施例における画像処理装置であるコンピュータ１０１は、後述する詳細構成によって所望のデータの入力・処理・出力を行う。撮像装置１０２は、被写体の光学情報を画像データに変換するカメラである。撮像装置１０３は、撮像装置１０２と同様なカメラである。撮像装置１０２と撮像装置１０３により異なる視点から共通の被写体を撮像することで視点の異なる画像データを取得することができる。これらの画像データはコンピュータ１０１に入力され、コンピュータ１０１は入力される画像データから視差マップデータ（またはデプスマップデータ）を生成する。
【００１３】
表示装置１０４は、画像や文字の表示を行い、例えば、液晶ディスプレイが用いられる。また、表示装置１０４は、タッチスクリーン機能を有していても良い。その場合はタッチスクリーンを用いた撮像指示やズーム指示などのユーザー指示を受け取ってコンピュータ１０１に伝送することも可能である。操作装置１０５は、撮像指示やズーム指示などのユーザーの指示を受け取る。キーボード１０６、マウス１０７が操作装置１０５に含まれる。キーボード１０６は、キーの操作によるユーザー指示をコンピュータ１０１に伝送する。マウス１０７は、マウスの操作によるユーザー指示をコンピュータ１０１に伝送する。
【００１４】
尚、撮像装置１０２、撮像装置１０３、表示装置１０４及び操作装置１０５は、コンピュータ１０１に組み込まれていてもよい。つまり、撮像装置１０２及び撮像装置１０３はコンピュータ１０１の撮像部に、表示装置１０４はコンピュータ１０１の表示部に、操作装置１０５はコンピュータ１０１の操作部に、それぞれなり得る。これによりコンピュータ１０１は、デジタルカメラやデジタルテレビ等、画像データを扱うハードウェアに適応可能である。
【００１５】
図２は、本実施例における画像処理装置（コンピュータ１０１）の詳細構成を示す図である。バス２０１は、各種データの転送経路となる。例えば、撮像装置１０２（及び図２に示されていない撮像装置１０３）によって取得された画像データは、このバス２０１を介して所定の処理部に送られる。中央処理装置（ＣＰＵ）２０２は、以下に述べる各部を統括的に制御する。ＲＡＭ２０３は、ＣＰＵ２０２の主メモリ、ワークエリア等として機能する。ＲＯＭ２０４は、ＣＰＵ２０２で実行される制御プログラム等を格納している。
【００１６】
表示制御部２０５は、表示装置１０４に表示される画像データや文字データの表示制御を行う。操作制御部２０６は、ユーザー指示を受け取る操作装置１０５を制御する。撮像制御部２０７は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなど、ＣＰＵ２０２からの指示に基づいた撮像装置１０２（及び図２に示されていない撮像装置１０３）の制御を行う。
【００１７】
デジタル信号処理部２０８は、バス２０１を介して受け取った画像データに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。エンコード部２０９は、画像データをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部２１０は、コンピュータ１０１を、外部メモリ２１１（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に結合するためのインターフェースである。
【００１８】
画像処理部２１２は、撮像装置１０２（及び図２に示されていない撮像装置１０３）によって取得された画像データ等或いは、デジタル信号処理部２０８から出力される画像データ等から、対応点探索処理などの画像処理を行う。本実施例において、撮像装置１０２及び撮像装置１０３から入力される視差の異なる画像データ（視差画像データ）から、視差マップデータ（またはデプスマップデータ）を生成する例を説明する。
【００１９】
尚、視差画像データは、相対的に左側から撮像されたＬ画像データと、相対的に右側から撮像されたＲ画像データの、少なくとも２枚の画像データから構成される。このような視差画像データは、上記したように撮像装置１０２（及び図２に示されていない撮像装置１０３）によって撮像されたり、デジタル信号処理部２０８から出力されたりすることで取得される。尚、視差画像データの取得方法は、上記の方法に限定されない。例えば、撮像装置１０２により異なる撮像時刻で撮像された複数の画像データを取得してもよい。取得される視差画像データは画像処理部２１２に入力され、画像処理部２１２は入力される視差画像データから、視差マップデータを生成するなどの画像処理を行う。
【００２０】
図３は、本実施例における画像処理部２１２の詳細構成を示す図である。尚、画像処理部２１２の構成要素は図３で示されるもの以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【００２１】
画像間特徴解析部３０１は、入力される視差画像データ間の特徴を解析して、解析データを生成する。生成された解析データは解像度調整部３０２及び評価値加算部３０５に伝送される。解像度調整部３０２は、画像間特徴解析部３０１から伝送された解析データに基づき、入力される視差画像データのうちボケの程度が低い一方にボケを付加する解像度調整処理を行う。これにより、解像度調整後の視差画像データを生成する。
【００２２】
第一評価値算出部３０３は、解像度調整後の視差画像データから、第１の評価値データを算出する。第二評価値算出部３０４は、解像度調整後の視差画像データから、第１の評価値とは異なる第２の評価値データを算出する。
【００２３】
評価値加算部３０５は、画像間特徴解析部３０１から伝送された解析データに基づき、第１の評価値データ及び第２の評価値データに対して画像領域ごとに適応的に重みを変えて加算処理を行う。これにより、加算後評価値データを算出する。視差算出部３０６は、加算後評価値データに基づき視差マップデータ（またはデプスマップデータ）を生成する。
【００２４】
図４は、本実施例における画像処理部２１２の処理の手順を示すフローチャートである。Ｓ４０１において、画像間特徴解析部３０１が、入力される視差画像データ間の特徴を解析して解析データを生成する。Ｓ４０１の処理の詳細については、以下、図５を参照して説明する。
【００２５】
図５は、Ｓ４０１における視差画像データ間の特徴を解析して、解析データを生成する処理の手順を示すフローチャートである。Ｓ５０１において、画像間特徴解析部３０１が、ボケ付加対象を設定する。本実施例では、本ステップにおいてＲ画像データがボケ付加対象として設定される。
【００２６】
Ｓ５０２において、画像間特徴解析部３０１が、入力される視差画像データのうち、ボケ付加対象として設定された一方をｆ1として画像バッファＡに格納し、もう一方をｆ2として画像バッファＢに格納する。
【００２７】
Ｓ５０３において、画像間特徴解析部３０１が、Ｓ５０３からＳ５１０までの繰り返し処理を制御するためのループカウンタＫを更新する。本実施例においては、ループカウンタＫは１から始まり、本ステップで１ずつ増加して、上限値Ｋ＿ＭＡＸ＝１０まで達する変数とする。尚、ループカウンタＫは上記の数値の範囲及び増分に限定されるものではない。
【００２８】
Ｓ５０４において、画像間特徴解析部３０１が、Ｓ５０２で画像バッファＡに格納された視差画像データｆ1に付加するボケの半径σを設定する。ボケの半径σはループカウンタＫに関連付いており、ループカウンタＫが増加するごとにボケの半径σは変化する。これは以下の式（１）で表される。式（１）において、ａ、ｂは定数であり、実数の範囲で取り得る数値データである。本実施例において、ａ＝１、ｂ＝０である。
【００２９】
【数１】
2017151544.tif 000003
【００３０】
Ｓ５０５において、画像間特徴解析部３０１が、Ｓ５０２で画像バッファＡに格納された視差画像データｆ1に、半径σのボケを付加する。ボケの付加方法としては、例えばガウシアンフィルタが適用される。これは以下の式（２）で表される。式（２）において、ｘ、ｙは画像データにおける座標値（以下断りがなければ同様）を、＊はコンボリューション演算を（以下断りがなければ同様）、ｅｘｐ（）は指数関数（以下断りがなければ同様）を、πは円周率（以下断りがなければ同様）をそれぞれ示す。また、ｇAはボケが付加された視差画像データを示す。尚、式（２）で表わされるボケの付加が行われた後に、視差画像データｇAも画像バッファＡに格納される。
【００３１】
【数２】
2017151544.tif 000004
【００３２】
また、本実施例において、Ｓ５０２で画像バッファＢに格納された視差画像データｆ2にボケの付加が行わないので、下述の視差画像データｇBは視差画像データｆ2と同じものとする。
【００３３】
Ｓ５０６において、画像間特徴解析部３０１が、画像バッファＡ、Ｂに格納されている視差画像データｇA、ｇBをそれぞれ空間領域から周波数領域へ変換して、空間周波数スペクトルを示すスペクトルデータＧA、ＧBを算出する。本実施例において、空間領域から周波数領域への変換としてフーリエ変換を適用するが、それ以外にも離散コサイン変換や離散ウェーブレット変換を適用することも可能である。また、本実施例において、フーリエ級数で表されるスペクトルデータＧA、ＧBが算出される。これは以下の式（３）で表される。式（３）において、ｉは虚数単位を（以下、断りがなければ同様）、Ｍ、Ｎは画像バッファＡ、Ｂの幅と高さを表している（以下断りがなければ同様）。ｕ、ｖはスペクトルデータ上の座標値を表している（以下断りがなければ同様）。
【００３４】
【数３】
2017151544.tif 000005
【００３５】
2017151544.tif 000006
【００３６】
【数４】
2017151544.tif 000007
【００３７】
Ｓ５０８において、画像間特徴解析部３０１が、画像間特徴解析部３０１がＩの総和ｔ＿ｓｕｍ＿ｓｐｅｃを算出する。これは以下の式（５）で表される。
【００３８】
【数５】
2017151544.tif 000008
【００３９】
図６を参照してｔ＿ｓｕｍ＿ｓｐｅｃの性質について説明する。図６の横軸はループカウンタＫ、縦軸はｔ＿ｓｕｍ＿ｓｐｅｃの値である。Ｋ＝１、２のとき、視差画像データｇAが視差画像データｇBよりもボケの程度が小さく、ＧAがＧBよりも高周波領域までスペクトル成分がある。ＧAのみにスペクトル成分のある高周波領域において、ＧAが負値を取ると、Ｉも負値を取る。このため、Ｉの総和であるｔ＿ｓｕｍ＿ｓｐｅｃの値は小さくなる。一方、Ｋ＝３のとき、ｇAとｇBのボケの程度がほぼ同じとなり、Ｋ＝４〜１０のとき、ｇAがｇBよりもボケの程度が大きくなる。このとき、ＧAのみにスペクトル成分のある高周波領域が減少するため、負値を取るＩが少なくなり、Ｉの総和であるｔ＿ｓｕｍ＿ｓｐｅｃの値は大きくなる。
【００４０】
以上のように視差画像データｇAとｇBのボケの程度の違いによりｔ＿ｓｕｍ＿ｓｐｅｃは変動し、特に視差画像データｇAに一定以上のボケを加えると、ｔ＿ｓｕｍ＿ｓｐｅｃの値は一定値に収束するという性質がある。本実施例において、上記のｔ＿ｓｕｍ＿ｓｐｅｃの性質を利用して、視差画像データｇAとｇBのボケの程度が揃ったか否かを判定する。
【００４１】
Ｓ５０９において、画像間特徴解析部３０１が、算出されたｔ＿ｓｕｍ＿ｓｐｅｃと閾値ｔｈ０１の大小関係を判定する。ｔ＿ｓｕｍ＿ｓｐｅｃが所定の閾値ｔｈ０１よりも小さければ、Ｓ５１０へ処理を進めて、そうでなければＳ５１３へ処理を進める。本実施例においてｔｈ０１＝８×１０4とする。これによりループカウンタＫ＝３のときにＳ５１３に処理を進める。尚、ｔｈ０１には、上記以外の値を設定してもよい。
【００４２】
尚、視差画像データｇAとｇBのボケの程度が揃ったか否かについての判定は、ｔ＿ｓｕｍ＿ｓｐｅｃの変化量であるΔｔ＿ｓｕｍ＿ｓｐｅｃに基づいて行ってもよい。Δｔ＿ｓｕｍ＿ｓｐｅｃは以下の式（６）で表される。
【００４３】
【数６】
2017151544.tif 000009
【００４４】
Δｔ＿ｓｕｍ＿ｓｐｅｃは、ｇAがｇBよりもボケの程度が小さいとき（Ｋ＝２、３のとき）に大きな値を取り、ｇAがｇBよりもボケの程度が同じまたは大きいとき（Ｋ＝４〜１０のとき）に小さな値を取る。そのため、Δｔ＿ｓｕｍ＿ｓｐｅｃに基づいて判定を行う場合、Δｔ＿ｓｕｍ＿ｓｐｅｃが所定の閾値ｔｈ０２よりも大きければ、Ｓ５１０へ処理を進めて、そうでなければＳ５１３へ処理を進める。
【００４５】
Ｓ５１０において、画像間特徴解析部３０１が、ループカウンタＫが上限値Ｋ＿ＭＡＸに達したか否かを判定する。ループカウンタＫが上限値Ｋ＿ＭＡＸに達しない場合は、設定されたボケ付加対象に基づくｔ＿ｓｕｍ＿ｓｐｅｃの算出処理を続行するためにＳ５０３へ処理を進める。ループカウンタＫが上限値Ｋ＿ＭＡＸに達した場合、設定されたボケ付加対象に基づくｔ＿ｓｕｍ＿ｓｐｅｃの算出処理を終了し、Ｓ５１１へ処理を進める。図６の説明でｔ＿ｓｕｍ＿ｓｐｅｃの性質を明らかにしたように、ボケを付加することで、２つの視差画像データのボケの程度が揃わないと、ｔ＿ｓｕｍ＿ｓｐｅｃの値は一定値に達しない。このため、Ｒ画像データとＬ画像データの両方にボケを付加して、それぞれの場合でｔ＿ｓｕｍ＿ｓｐｅｃを算出する。
【００４６】
Ｓ５１１において、画像間特徴解析部３０１が、視差画像データの両方（Ｌ画像データとＲ画像データ）がボケ付加対象となったことがあるか否かを判定する。Ｌ画像データとＲ画像データの両方がボケ付加対象となったことがあると判定した場合はＳ５１３に処理を進める。そうでない場合は、Ｓ５１２へ処理を進める。
【００４７】
Ｓ５１２において、画像間特徴解析部３０１が、入力される視差画像データ（Ｌ画像データとＲ画像データ）のうち、ボケ付加対象となったことがない一方をボケ付加対象として設定する。そして、変更後のボケ付加対象に基づくｔ＿ｓｕｍ＿ｓｐｅｃの算出処理を行うためにＳ５０２へ処理を進める。本ステップは、入力される視差画像データのうちの一方にボケを付加することで２つの視差画像データのボケの程度が揃うことができない場合のみに実行される。本ステップからＳ５０２へ処理を進めることで、入力される視差画像データのうちのもう一方にボケを付加してｔ＿ｓｕｍ＿ｓｐｅｃの算出を行う。
【００４８】
次に、Ｓ５１３において、画像間特徴解析部３０１が、解析データの構成要素の１つである解像度調整要素σKを算出する。解像度調整要素σKは、Ｓ５０９またはＳ５１１においてＳ５１３へ処理を進めた際に、設定されていたボケの半径σである。本実施例においてはループカウンタＫ＝３のときのσ（Ｋ）が解像度調整要素σKとして算出される。これは以下の式（７）で表される。
【００４９】
【数７】
2017151544.tif 000010
【００５０】
また、画像間特徴解析部３０１が、解析データの構成要素の１つである調整対象選択要素ＬＲを設定する。具体的に、Ｓ５０９またはＳ５１１においてＳ５１３へ処理を進めた際に設定されていたボケ付加対象に基づいて、調整対象選択要素ＬＲを設定する。調整対象選択要素ＬＲは、Ｌ画像データとＲ画像データのどちらの解像度を調整するかを示すデータである。Ｌ画像データの解像度を調整する場合はＬＲ＝Ｌ、Ｒ画像データの解像度を調整する場合はＬＲ＝Ｒが設定されるものとする。本実施例においては、ＬＲ＝Ｒが設定される。
【００５１】
Ｓ５１４において、画像間特徴解析部３０１が、調整対象選択要素ＬＲに基づいて視差画像データを選択し、選択した視差画像データに基づいて、解析データの構成要素の１つである重み係数マップデータＷを算出する。調整対象選択要素ＬＲに基づいて選択された視差画像データは、画像バッファＡに格納されていた視差画像データｆ1であり、本実施例では入力されるＲ画像データである。
【００５２】
2017151544.tif 000011
【００５３】
【数８】
2017151544.tif 000012
【００５４】
なお、重み係数マップデータＷの算出方法は式（８）に限らず、勾配データＧｒａｄ以外にも、隣接画素値間の差分の総和の数値データを算出してもよい。また、勾配データＧｒａｄに対してモルフォロジー変換を行わずに、非線形フィルタを適用して重み係数マップデータＷ（ｘ，ｙ）を算出してもよい。そのような非線形フィルタとして、メディアンフィルタ及びそれらに類似するフィルタがある。
【００５５】
以上のように、図５のフローチャートに示す処理では、視差画像データ間の特徴を解析して解析データを生成する。解析データは３つで構成されている。具体的には、１つ目は調整対象選択要素ＬＲであり、これは、Ｌ画像データとＲ画像データのどちらの解像度を調整するかを示すデータである。２つ目は解像度調整要素σKであり、これはＬ画像データとＲ画像データのボケの大きさの差を示す分散値データである。３つ目は重み係数マップデータＷであり、これはＬ画像データとＲ画像データのうち、より解像感の高い（ボケの程度が低い）方の画像データを用いて算出した重み係数マップデータである。尚、解析データは後述する処理（Ｓ４０２、Ｓ４０５）にて使用される。
【００５６】
図４の説明に戻る。Ｓ４０２において、解像度調整部３０２が、ステップＳ４０１で生成された解析データに基づき、画像間のボケの程度を揃えるように解像度調整処理を行う。具体的には、調整対象選択要素ＬＲに基づき視差画像データのうち一方を選択して、選択された視差画像データに対して、解像度調整要素σKのボケを付加する。本実施例においては、式（２）で示したガウシアンフィルタを用いてボケを付加する。尚、ボケの付加方法としては、これに限定されず、注目画素に対する複数の隣接画素の平均値を算出する平均値フィルタを用いてもよい。
【００５７】
Ｓ４０２の解像度調整処理の効果について、図７を参照して説明する。図７は、入力される視差画像データとＳ４０２により生成される解像度調整後の視差画像データの例を示している。図７（ａ）は、入力される視差画像データのうちＬ画像データを示している。図７（ｂ）は、入力される視差画像データのうちＲ画像データを示している。図７（ａ）と図７（ｂ）を比較すると、視差が付いていることに加えて、ボケの程度（または解像感）が異なることがわかる。
【００５８】
Ｓ４０２の解像度調整処理により、Ｒ画像データ（ｆ1）は解像度が調整され、解像度調整後の視差画像データｆ3となる。図７（ｃ）は、解像度調整後の視差画像データｆ3を示している。また、Ｌ画像データ（ｆ2）の解像度が調整されないので、解像度調整後の視差画像データｆ4は図７（ａ）に示されるＬ画像データ（ｆ2）と同じものとなる。図７（ａ）と図７（ｃ）を比較すると、視差が付いているが、ボケの程度（または解像感）は一致していることがわかる。このように、Ｓ４０２ではボケの程度が低い（解像感が高い）方の視差画像の解像度を下げることで、視差画像データ間のボケの程度を近付けるまたは一致させる効果を奏する。
【００５９】
次にＳ４０３において、解像度調整後の視差画像データ（ｆ3、ｆ4）を用いて複数の評価値データを算出する。本実施例において、第一評価値算出部３０３及び第二評価値算出部３０４はそれぞれ第１の評価値データ及び第２の評価値データを算出する。
【００６０】
第１の評価値データとして、ＡＤ（Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）が算出される。ＡＤは以下の式（９）で表される。式（９）において、ｄ1、ｄ2は視差を表す。
【００６１】
【数９】
2017151544.tif 000013
【００６２】
第２の評価値データとして、Ｃｅｎｓｕｓが算出される。Ｃｅｎｓｕｓは以下の式（１０）で表される。
【００６３】
【数１０】
2017151544.tif 000014
【００６４】
２つの評価値データを比べると、ＡＤは、解像度調整後の視差画像データ間において、注目画素ｆ3（ｘ，ｙ）と隣接画素ｆ4（ｘ＋ｄ1，ｙ＋ｄ2）の画素単位の比較を行うことで算出される評価値データである。このため、対応点の探索精度は高いが、照明変動やノイズ等の高周波変動に脆弱だという性質がある。
【００６５】
一方Ｃｅｎｓｕｓは、画像の構造同士の比較を行うことで算出される評価値データである。具体的に、注目画素ｆ3（ｘ，ｙ）と隣接画素ｆ3（ｘ＋ｍ，ｙ＋ｎ）の大小関係に基づきビット（０もしくは１）を割り当てることで、注目画素ｆ3（ｘ，ｙ）におけるビットストリームを得る。このビットストリームは画像の構造を表す。そして、視差画像データ間において、画像の構造同士の比較を行うことで、Ｃｅｎｓｕｓを算出する。Ｃｅｎｓｕｓは、注目画素に対する隣接画素ｆ3（ｘ＋ｍ，ｙ＋ｎ）を用いた評価値データのため、対応点の探索精度はＡＤよりも低くなる。しかし、構造による比較のため、照明変動やノイズ等の高周波変動に頑健だという性質がある。
【００６６】
尚、本実施例では性質の異なる２つの評価値データを生成する例を説明したが、生成される評価値データの数は上記に限定されず、３つ以上の評価値データを生成してもよい。また、評価値データは上記のＡＤ、Ｃｅｎｓｕｓに限定せずに他の評価値データを適用することも可能である。そのような評価値データとして、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）とＭＡＤ（Ｍｅａｎ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）があげられる。また同様にＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）とＮＣＣ（Ｎｏｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ）も評価値データの例としてあげることができる。
【００６７】
Ｓ４０４において、全ての評価値データが算出されたかについて判定が行われる。本実施例においては、ＡＤとＣｅｎｓｕｓの２つの評価値データが全て算出されたらＳ４０５へ処理を進めて、そうでなければＳ４０３に処理を進める。
【００６８】
Ｓ４０５において、評価値加算部３０５が、複数の評価値データを視差画像データの画像領域に応じて適応的に加算することで、加算後評価値データを算出する。これは以下の式（１１）で表される。式（１１）において、Ｃ3,4は加算後評価値データを表す。λAD、λCensusは重み係数を表し、それぞれ０より大きい実数が設定される。
【００６９】
【数１１】
2017151544.tif 000015
【００７０】
Ｓ４０６において、視差算出部３０６が、加算後評価値データＣ3,4に基づき視差マップデータを生成する。これは以下の式（１２）で表される。式（１２）において、ａｒｇｍｉｎ（Ｃ3,4）は、Ｃ3,4を最小にするｄ1，ｄ2を出力する関数である。また、ｄｉｓｐａｒｉｔｙ＿１は視差マップデータを表す。
【００７１】
【数１２】
2017151544.tif 000016
【００７２】
尚、式（１２）におけるｄ１及びｄ２の範囲は、ステレオ幾何の考え方に基づいて決定することができる。具体的には、視差画像を撮像する際のカメラ間基線長、カメラの焦点距離、主被写体距離、撮像センサーの寸法、及び撮像センサーのピクセル解像度を用いて決定することができる。
【００７３】
尚、上記の説明ではＳ４０３において解像度調整後の視差画像データ（ｆ3、ｆ4）を用いて複数の評価値データを算出するものとしたが、Ｓ４０３において解像度調整後の視差画像データ（ｆ3、ｆ4）を用いて単一の評価値データを算出してもよい。単一の評価値データを算出する場合に、Ｓ４０４及びＳ４０５の処理をスキップし、Ｓ４０６において単一の評価値データに基づき視差マップデータを生成する。これにより、解像度調整処理をせずに入力される視差画像データ（ｆ1、ｆ2）を用いて単一の評価値データを生成する場合よりも高精度な視差マップデータを得ることができる。上記の効果については、図８を参照して説明する。図８は、単一の評価値データに基づき算出した視差マップデータを示している。
【００７４】
図８（ａ）は、入力される視差画像データ（ｆ1、ｆ2）を用いて算出した評価値データＡＤに基づき生成した視差マップデータを示している。この視差マップデータの算出方法は以下の式（１３）により表される。
【００７５】
【数１３】
2017151544.tif 000017
【００７６】
図８（ｂ）は、入力される視差画像データ（ｆ1、ｆ2）を用いて算出した評価値データＣｅｎｓｕｓに基づき生成した視差マップデータを示している。この視差マップデータの算出方法は以下の式（１４）により表される。
【００７７】
【数１４】
2017151544.tif 000018
【００７８】
図８（ｃ）は、解像度調整後の視差画像データ（ｆ3、ｆ4）を用いて算出した評価値データＡＤに基づき生成した視差マップデータを示している。この視差マップデータの算出方法は式（９）と以下の式（１５）により表される。
【００７９】
【数１５】
2017151544.tif 000019
【００８０】
図８（ｄ）は、解像度調整後の差画像データ（ｆ3、ｆ4）を用いて算出した評価値データＣｅｎｓｕｓに基づき生成した視差マップデータを示している。この視差マップデータの算出方法は式（１０）と以下の式（１６）により表される。
【００８１】
【数１６】
2017151544.tif 000020
【００８２】
図８（ａ）と図８（ｃ）を比較すれば明らかなように、図８（ｃ）の方が視差の変化が滑らかであり、精度が高いことがわかる。すなわち、解像度調整後の視差画像データを用いて算出した評価値データＡＤ3,4に基づき生成した視差マップデータの方が精度が高いことがわかる。また、図８（ｂ）と図８（ｄ）を比較すれば明らかなように、図８（ｄ）の方が視差の変化が滑らかであり、精度が高いことがわかる。すなわち、解像度調整後の視差画像データを用いて算出した評価値データＣｅｎｓｕｓ3,4に基づき生成した視差マップデータの方が精度が高いことがわかる。これより、ボケの程度が異なる視差画像データが入力される場合は、２つの視差画像データのボケの程度を揃えた後に評価値データを算出した方が、ボケの程度を揃えずに評価値データを算出するよりも、生成される視差マップデータの精度が向上することがわかる。
【００８３】
図４のフローチャートに示す処理では、解像度調整後の視差画像データを用いて複数の評価値データを算出する。算出した複数の評価値データを視差画像データの画像領域に応じて適応的に加算して、得られた加算後評価値データに基づき視差マップデータを生成する。これより、解像度調整後の視差画像データを用いて算出した単一の評価値データに基づき生成した視差マップデータ（図８（ｃ）、図８（ｄ））よりも、さらに精度の高い視差マップデータを生成することができる。
【００８４】
さらに、図４のフローチャートに示す処理では、解析データに基づき重み係数マップデータを算出する。すなわち、調整対象選択要素ＬＲに基づき、入力される視差画像データのうちボケの程度が低い（解像感の高い）一方を選択して、重み係数マップデータの算出に用いる。これにより、最終的に生成される視差マップデータの精度がさらに向上することができる。上記の効果については、図９を参照して説明する。図９は、重み係数マップデータの算出に用いた視差画像データの違いにより、生成される視差マップデータの精度の違いを示している。
【００８５】
図９（ａ）は、調整対象選択要素ＬＲに基づき選択された視差画像データｆ1（図７（ｂ）に示される解像感の高いＲ画像データ）を重み係数マップデータの算出に用いた場合に生成された視差マップデータを示している。すなわち、式（８）、式（１１）及び式（１２）で示される方法で加算後評価値データＣ3,4に基づき生成した視差マップデータｄｉｓｐａｒｉｔｙ＿１である。
【００８６】
図９（ｂ）は、調整対象選択要素ＬＲに基づき選択されなかった視差画像データｆ2（図７（ａ）に示される解像感の低いＬ画像データ）を重み係数マップデータの算出に用いた場合に生成された視差マップデータを示している。これは以下の式（１７）で表される。式（１７）において、Ｗ′は調整対象選択要素ＬＲに基づき選択されなかった視差画像データｆ2を用いて算出した重み係数マップデータを表す。また、Ｃ3,4′はＷ′を用いて加算することで得られた加算後評価値データを、ｄｉｓｐａｒｉｔｙ＿７はＣ3,4′に基づき生成した視差マップデータを表す。
【００８７】
【数１７】
2017151544.tif 000021
【００８８】
図９（ａ）と図９（ｂ）を比較すれば明らかなように、点線で示した領域において、図９（ａ）の方が視差の変化が滑らかであり、精度が高いことがわかる。これより、重み係数マップデータを算出するための視差画像データは、調整対象選択要素ＬＲに基づき、よりボケの程度が低い（解像感の高い）方の視差画像データを選択することで、最終的に生成される視差マップデータの精度が向上することがわかる。
【００８９】
上記の説明で明らかなように、本実施例において、入力される視差画像データ間の特徴を解析して、得られる解析データに基づき適応的に視差画像データの解像度を調整して、解像度調整後の視差画像データに基づき複数の評価値データを算出する。また、解析データに基づき重み係数マップデータを算出し、算出した重み係数マップデータを用いて領域適応的に複数の評価値データを加算する。得られた加算後評価値データに基づき視差マップデータを生成する。これらの一連の処理により、精度の高い対応点探索が可能となる。
【００９０】
［実施例２］
本実施例では、入力される視差画像データの信号対雑音比（以下、Ｓ／Ｎ比）に差がある場合に、視差画像データ間の特徴を解析して得られる解析データに基づき、画像間のＳ／Ｎ比の差が一定値以下になるように、両方の視差画像データにボケを付加する。このように、解像度調整後の視差画像データが生成される。生成された解像度調整後の視差画像データに基づいて評価値データを算出して、算出した評価値データから高精度な視差マップデータを生成する。
【００９１】
本実施例において、画像処理システム、画像処理装置及び画像処理部２１２の構成は実施例１と同じであり、簡略化のため説明を省略する。また、以下の本実施例の説明においても、実施例１と処理が同じである場合は簡略化のため説明を省略する。
【００９２】
本実施例における画像処理部２１２の処理の手順については、実施例１で説明した図４と比較して説明を行う。実施例１のＳ４０１では、視差画像データ間のボケの程度を揃えるための解析データを生成するが、本実施例において、視差画像データ間のＳ／Ｎ比の差を一定値以下にするための解析データを生成する。以下、本実施例において解析データを生成するステップＳ４０１′を説明する。
【００９３】
図１０は、本実施例のＳ４０１′で行われる処理の手順を示すフローチャートである。尚、本フローチャートの処理を開始するにあたって、画像バッファＡ及び画像バッファＢに、視差画像データがそれぞれ格納されるものとする。画像バッファＡに格納されている視差画像データをｆ1とし、画像バッファＢに格納されている視差画像データをｆ2とする。
【００９４】
Ｓ１００１において、画像間特徴解析部３０１が、Ｓ１００１からＳ１０１２までの繰り返し処理を制御するためのループカウンタＫＡを更新する。本実施例においては、ループカウンタＫＡは１から始まり、本ステップにおいて１ずつ増加して、上限値ＫＡ＿ＭＡＸ＝１０まで達する変数とする。尚、ループカウンタＫＡは上記の数値の範囲及び増分に限定されるものではない。
【００９５】
Ｓ１００２において、画像間特徴解析部３０１が、画像バッファＡに格納されている視差画像データｆ1に付加するボケの半径σAを設定する。ボケの半径σAはループカウンタＫＡに関連付いており、ループカウンタＫＡが増加するごとにボケの半径σAも変化する。これは以下の式（１８）で表される。式（１８）において、ａA、ｂAは定数であり、実数の範囲で取り得る数値データである。本実施例において、ａA＝１、ｂA＝０である。
【００９６】
【数１８】
2017151544.tif 000022
【００９７】
Ｓ１００３において、画像間特徴解析部３０１が、画像バッファＡに格納されている視差画像データｆ1に、半径σAのボケを付加する。ボケの付加方法としては、例えばガウシアンフィルタが適用される。これは以下の式（１９）で表される。式（１９）において表わされるボケの付加が行われた後に、視差画像データｇAも画像バッファＡに格納される。
【００９８】
【数１９】
2017151544.tif 000023
【００９９】
Ｓ１００４において、画像間特徴解析部３０１が、Ｓ１００４からＳ１０１１までの繰り返し処理を制御するためのループカウンタＫＢを更新する。本実施例においては、ループカウンタＫＢは１から始まり、本ステップで１ずつ増加して、上限値ＫＢ＿ＭＡＸ＝１０まで達する変数とする。尚、ループカウンタＫＢは上記の数値の範囲及び増分に限定されるものではない。
【０１００】
Ｓ１００５において、画像間特徴解析部３０１が、画像バッファＢに格納されている視差画像データｆ2に付加するボケの半径σBを設定する。ボケの半径σBはループカウンタＫＢに関連付いており、ループカウンタＫＢが増加するごとにボケの半径σBも変化する。これは以下の式（２０）で表される。式（２０）において、ａB、ｂBは定数であり、実数の範囲で取り得る数値データである。本実施例において、ａB＝１、ｂB＝０である。
【０１０１】
【数２０】
2017151544.tif 000024
【０１０２】
Ｓ１００６において、画像間特徴解析部３０１が、画像バッファＢに格納されている視差画像データｆ2に、ボケの半径σBのボケを付加する。ボケの付加方法としては、例えばガウシアンフィルタが適用される。これは以下の式（２１）で表される。式（２１）で表わされるボケの付加が行われた後に、視差画像データｇBも画像バッファＢに格納される。
【０１０３】
【数２１】
2017151544.tif 000025
【０１０４】
Ｓ１００７において、画像間特徴解析部３０１が、画像バッファＡ、Ｂに格納されている視差画像データｇA、ｇBをそれぞれ空間領域から周波数領域へ変換して、空間周波数スペクトルを示すスペクトルデータＧA、ＧBを生成する。本実施例において、空間領域から周波数領域への変換としてフーリエ変換を適用する。また、本実施例において、フーリエ級数で表されるスペクトルデータＧA、ＧBが算出される。
【０１０５】
Ｓ１００８において、画像間特徴解析部３０１が、スペクトルデータＧA、ＧBからスペクトル絶対差分ｄｉｆｆＡとスペクトル絶対差分ｄｉｆｆＢを算出する。これは、以下の式（２２）で表わされる。式（２２）において、ｌｏｇ（）は、自然対数を返す関数であり、Ｒｅ（）は複素数の実部を返す関数である。
【０１０６】
【数２２】
2017151544.tif 000026
【０１０７】
Ｓ１００９において、画像間特徴解析部３０１が、スペクトル絶対差分ｄｉｆｆＡとｄｉｆｆＢの絶対差分和であるｔ＿ｓａｄ＿ｓｐｅｃを算出する。これは以下の式（２３）で表わされる。
【０１０８】
【数２３】
2017151544.tif 000027
【０１０９】
図１１を参照してｔ＿ｓａｄ＿ｓｐｅｃの性質について説明する。図１１の横軸はループカウンタＫＢ、縦軸はｔ＿ｓａｄ＿ｓｐｅｃの値である。実線と十字のプロット示されるデータは、ループカウンタＫＡ＝１のときのデータである。一点鎖線と四角のプロットで示されるデータは、ループカウンタＫＡ＝２のときのデータである。点線と丸のプロットで示されるデータはループカウンタＫＡ＝３のときのデータである。
【０１１０】
ループカウンタＫＢ＝３において、ループカウンタＫＡ＝１、２のときのｔ＿ｓａｄ＿ｓｐｅｃは、相対的に大きな値となる。これは、スペクトルデータＧA、ＧBの差が、特に高周波領域において顕著だからである。この差は、２つの視差画像データの高周波ノイズの差に起因する。
【０１１１】
一方、ループカウンタＫＢ＝３において、ループカウンタＫＡ＝３のときのｔ＿ｓａｄ＿ｓｐｅｃは、相対的に小さな値となる。これは、スペクトルデータＧA、ＧBの差が、空間周波数スペクトルの全領域において小さいからである。つまり、２つの視差画像データの高周波ノイズの差が小さいことを表している。
【０１１２】
上記のように、ｔ＿ｓａｄ＿ｓｐｅｃは、２つの視差画像データのそれぞれに付加するボケの量により、値が変動する性質がある。本実施例において、上記のｔ＿ｓａｄ＿ｓｐｅｃの性質を利用して、視差画像データｇAとｇBのＳ／Ｎ比の大きさが揃ったか否かを判定する。
【０１１３】
Ｓ１０１０において、画像間特徴解析部３０１が、絶対差分和ｔ＿ｓａｄ＿ｓｐｅｃが閾値ｔｈ０３を下回ったか否かを判定する。絶対差分和ｔ＿ｓａｄ＿ｓｐｅｃが閾値ｔｈ０３を下回ったと判定した場合はＳ１０１３へ処理を進める。そうでない場合はＳ１０１１へ処理を進める。本実施例において、ｔｈ０３＝１×１０5とする。これによりＫＡ＝３、ＫＢ＝３のときにＳ１０１３に処理を進める。尚、ｔｈ０３には、上記以外の値を設定してもよい。
【０１１４】
Ｓ１０１１において、画像間特徴解析部３０１が、ループカウンタＫＢが上限値ＫＢ＿ＭＡＸに達したか否かを判定する。ループカウンタＫＢが上限値ＫＢ＿ＭＡＸに達した場合、Ｓ１０１２へ処理を進める。ループカウンタＫＢが上限値ＫＢ＿ＭＡＸに達しない場合は、Ｓ１００４へ処理を進める。
【０１１５】
Ｓ１０１２において、画像間特徴解析部３０１が、ループカウンタＫＡが上限値ＫＡ＿ＭＡＸに達したか否かを判定する。ループカウンタＫＡが上限値ＫＡ＿ＭＡＸに達した場合、Ｓ１０１３へ処理を進める。ループカウンタＫAが上限値ＫＡ＿ＭＡＸに達しない場合は、Ｓ１００１へ処理を進める。
【０１１６】
Ｓ１０１３において、画像間特徴解析部３０１が、解析データの構成要素の１つである解像度調整要素σA_KAとσB_KBを算出する。解像度調整要素σA_KAは、Ｓ１０１０においてＳ１０１３へ処理を進めた際に、設定されていたボケの半径σAである。また、解像度調整要素σB_KBは、Ｓ１０１０においてＳ１０１３へ処理を進めた際に、設定されていたボケの半径σBである。本実施例においてはループカウンタＫＡ＝３のときのσA（ＫＡ）が解像度調整要素σA_KAとして、ループカウンタＫＢ＝３のときのσB（ＫＢ）が解像度調整要素σB_KBとして算出される。これは以下の式（２４）で表される。
【０１１７】
【数２４】
2017151544.tif 000028
【０１１８】
以上のように、図１０のフローチャートに示す処理では、視差画像データ間の特徴を解析して、解析データを生成する。本実施例において、解析データは解像度調整要素σA_KAとσB_KBから構成される。尚、解析データは後述する処理（Ｓ４０２′）にて使用される。
【０１１９】
本実施例における画像処理部２１２の処理の手順の説明に戻る。実施例１のＳ４０２では、Ｓ４０１で生成された解析データに基づき、入力される視差画像データのうち一方にボケを付加するが、本実施例のＳ４０２′において、Ｓ４０１′で生成された解析データに基づき、入力される視差画像データの両方にボケを付加する。具体的には、解像度調整要素σA_KAに基づいて画像バッファＡに格納された視差画像データｆ1にボケを付加する。また、解像度調整要素σB_KBに基づいて画像バッファＢに格納された視差画像データｆ2にボケを付加する。本実施例においては、実施例１と同様にガウシアンフィルタを用いてボケを付加する。尚、ボケの付加の手段としては、これに限定されず、注目画素に対する複数の隣接画素の平均値を算出する平均値フィルタを用いてもよい。
【０１２０】
Ｓ４０２′の解像度調整処理の効果において、図１２を参照して説明する。図１２は、入力される視差画像データとＳ４０２′により生成される解像度調整後の視差画像データの例を示している。図１２（ａ）は、入力される視差画像データのうちＬ画像データを示している。図１２（ｂ）は、入力される視差画像データのうちＲ画像データを示している。図１２（ａ）と図１２（ｂ）を比較すると、視差が付いていることに加えて、図１２（ａ）の方が図１２（ｂ）よりもＳ／Ｎ比が低いことがわかる。
【０１２１】
Ｓ４０２′において、Ｒ画像データ（ｆ1）は解像度が調整され、解像度調整後の視差画像データｆ5となる。図１２（ｄ）は、解像度調整後の視差画像データｆ5を示している。また、Ｌ画像データ（ｆ2）は解像度が調整され、解像度調整後の視差画像データｆ6となる。図１２（ｃ）は、解像度調整後の視差画像データｆ6を示している。図１２（ｃ）と図１２（ｄ）を比較すると、視差が付いているが、Ｓ／Ｎ比はほぼ一致していることがわかる。このように、Ｓ４０２′では視差画像データの解像度を下げることで、視差画像データ間のＳ／Ｎ比を近付けるまたは一致させる効果を奏する。
【０１２２】
本実施例において、Ｓ４０２′の次に、実施例１と同様にＳ４０３からＳ４０６を実行する。尚、本実施例では、Ｓ４０３において解像度調整後の視差画像データ（ｆ5、ｆ6）を用いて単一の評価値データを算出してもよい。単一の評価値データを算出する場合に、Ｓ４０４及びＳ４０５の処理をスキップし、Ｓ４０６において単一の評価値データに基づき視差マップデータを生成する。これにより、解像度調整処理をせずに入力される視差画像データ（ｆ1、ｆ2）を用いて単一の評価値データを生成する場合よりも高精度な視差マップデータを得ることができる。上記の効果については、図１３を参照して説明する。図１３は、単一の評価値データに基づき算出した視差マップデータを示している。
【０１２３】
図１３（ａ）は、入力される視差画像データ（ｆ1、ｆ2）を用いて算出した評価値データＡＤに基づき生成した視差マップデータを示している。図１３（ｂ）は、入力される視差画像データ（ｆ1、ｆ2）を用いて算出した評価値データＣｅｎｓｕｓに基づき生成した視差マップデータを示している。図１３（ｃ）は、解像度調整後の視差画像データ（ｆ5、ｆ6）を用いて算出した評価値データＡＤに基づき生成した視差マップデータを示している。図１３（ｄ）は、解像度調整後の視差画像データ（ｆ5、ｆ6）を用いて算出した評価値データＣｅｎｓｕｓに基づき生成した視差マップデータを示している。
【０１２４】
図１３（ａ）と図１３（ｃ）を比較すれば明らかなように、図１３（ｃ）の方が視差の変化が滑らかであり、精度が高いことがわかる。すなわち、解像度調整後の視差画像データを用いて算出した評価値データＡＤに基づき生成した視差マップデータの方が精度が高いことがわかる。また、図１３（ｂ）と図１３（ｄ）を比較すれば明らかなように、図１３（ｄ）の方が視差の変化が滑らかであり、精度が高いことがわかる。解像度調整後の視差画像データを用いて算出した評価値データＣｅｎｓｕｓに基づき生成した視差マップデータの方が精度が高いことがわかる。これより、Ｓ／Ｎ比が異なる視差画像データが入力される場合は、２つの視差画像データのＳ／Ｎ比を揃えた後に評価値データを算出した方が、Ｓ／Ｎ比を揃えずに評価値データを算出するよりも、生成される視差マップデータの精度が向上することがわかる。
【０１２５】
また、本実施例のＳ４０３及びＳ４０４の処理で解像度調整後の視差画像データ（ｆ5、ｆ6）を用いて複数の評価値データを算出する場合、Ｓ４０５の処理では、算出された複数の評価値データを視差画像データの画像領域に応じて適応的に加算する。そして、Ｓ４０６の処理では、得られた加算後評価値データに基づき視差マップデータを生成する。これにより、解像度調整後の視差画像データを用いて算出した単一の評価値データに基づき生成した視差マップデータ（図１３（ｃ）、図１３（ｄ））よりも、さらに精度の高い視差マップデータを生成することができる。
【０１２６】
［実施例３］
本実施例では、入力される視差画像データの解像度に差がある場合に、視差画像データ間の特徴を解析して得られる解析データに基づき、２つよりも多い複数の評価値データ算出部を選択的に機能させて評価値データを算出する。算出した評価値データから視差マップデータを生成する。これにより、２つよりも多い複数の評価値データ算出する場合において、実施例１よりも高速に視差マップデータを生成することができる。
【０１２７】
本実施例は、画像処理システム及びコンピュータ１０１の構成は実施例１と同じであり、簡略化のため説明を省略する。また、以下の本実施例の説明においても、実施例１と処理が同じである場合は簡略化のため説明を省略する。
【０１２８】
図１４は、本実施例に係る画像処理部２１２′の詳細構成を示す図である。尚、画像処理部２１２′の構成要素は図１４で示されるもの以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【０１２９】
画像間特徴解析部１４０１は、入力される視差画像データ間の特徴を解析して、解析データを生成する。生成された解析データは、第一評価値算出部１４０２、第二評価値算出部１４０３、第三評価値算出部１４０４、第四評価値算出部１４０５及び評価値加算部１４０６に伝送される。尚、解析データの詳細は実施例１と同じである。即ち、解析データは図５のフローチャートで示す処理により算出される。また、解析データは、調整対象選択要素ＬＲ、解像度調整要素σK及び重み係数マップデータＷの３つの要素により構成される。
【０１３０】
第一評価値算出部１４０２は、解析データに基づいて第１の評価値データを算出するか否かを判定して、判定結果に応じて第１の評価値データを算出する。本実施例においては、解像度調整要素σK≦２の場合は、第１の評価値データを算出して、解像度調整要素σK＞２の場合は、第１の評価値データを算出しないものとする。尚、第１の評価値データは入力される視差画像データ（ｆ1、ｆ2）を用いて算出したＡＤである。ＡＤの算出方法は実施例１と同じである。具体的には、式（１３）で示される方法によりＡＤは算出される。尚、ＡＤが算出されない場合、ＡＤ＝０である。
【０１３１】
第二評価値算出部１４０３は、解析データに基づいて第２の評価値データを算出するか否かを判定して、判定結果に応じて第２の評価値データを算出する。本実施例においては、解像度調整要素σK≦２の場合は、第２の評価値データを算出して、解像度調整要素σK＞２の場合は、第２の評価値データを算出しないものとする。尚、第２の評価値データは入力される視差画像データ（ｆ1、ｆ2）を用いて算出したＣｅｎｓｕｓである。Ｃｅｎｓｕｓの算出方法は実施例１と同じである。具体的には、式（１４）で示される方法によりＣｅｎｓｕｓは算出される。尚、Ｃｅｎｓｕｓが算出されない場合、Ｃｅｎｓｕｓ＝０である。
【０１３２】
第三評価値算出部１４０４は、解析データに基づいて第３の評価値データを算出するか否かを判定して、判定結果に応じて第３の評価値データを算出する。本実施例においては、解像度調整要素σK≦２の場合は、第３の評価値データを算出せず、解像度調整要素σK＞２の場合は、第３の評価値データを算出するものとする。尚、第３の評価値データは、解像度調整後の視差画像データ（ｆ3、ｆ4）を用いて算出したＡＤである（以下、ＡＤ＿Ｔとも言う）。解像度調整後の視差画像データ（ｆ3、ｆ4）は実施例１のＳ４０２と同じ処理により生成される。また、ＡＤの算出方法は実施例１と同じである。具体的には式（９）で表わされる方法によりＡＤ＿Ｔが算出される。尚、ＡＤ＿Ｔが算出されない場合、ＡＤ＿Ｔ＝０である。
【０１３３】
第四評価値算出部１４０５は、解析データに基づいて第４の評価値データを算出するか否かを判定して、判定結果に応じて第４の評価値データを算出する。本実施例においては、解像度調整要素σK≦２の場合は、第４の評価値データを算出せず、解像度調整要素σK＞２の場合は、第４の評価値データを算出するものとする。尚、第４の評価値データは、解像度調整後の視差画像データ（ｆ3、ｆ4）を用いて算出したＣｅｎｓｕｓである（以下、Ｃｅｎｓｕｓ＿Ｔとも言う）。Ｃｅｎｓｕｓの算出方法は実施例１と同じである。具体的には式（１０）で表わされる方法によりＣｅｎｓｕｓ＿Ｔが算出される。尚、Ｃｅｎｓｕｓ＿Ｔが算出されない場合、Ｃｅｎｓｕｓ＿Ｔ＝０である。
【０１３４】
評価値加算部１４０６は、画像間特徴解析部１４０１から伝送された解析データに基づき、第１の評価値データ、第２の評価値データ、第３の評価値データ及び第４の評価値データに対して画像領域ごとに適応的に重みを変えて加算処理を行う。これにより、加算後評価値データを算出する。これは以下の式（２５）で表わされる。式（２５）において、Ｃが加算後評価値データを表している。
【０１３５】
【数２５】
2017151544.tif 000029
【０１３６】
視差算出部３０６は、実施例１と同様であるため説明を省略する。
【０１３７】
実施例１と比較して、本実施例は複数の評価値データを算出する際に、加算後評価値データの算出においてより重く、重み付けされる評価値データを優先して算出処理を行う。これにより、複数の評価値データに基づき視差マップを生成する際に、実施例１よりも高速に処理を行うことが可能となる。
【０１３８】
（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2017151544.tif 000030
【図２】
2017151544.tif 000031
【図３】
2017151544.tif 000032
【図４】
2017151544.tif 000033
【図５】
2017151544.tif 000034
【図６】
2017151544.tif 000035
【図７】
2017151544.tif 000036
【図８】
2017151544.tif 000037
【図９】
2017151544.tif 000038
【図１０】
2017151544.tif 000039
【図１１】
2017151544.tif 000040
【図１２】
2017151544.tif 000041
【図１３】
2017151544.tif 000042
【図１４】
2017151544.tif 000043