(57)【要約】【課題】ステレオ立体視の際の色再現結果の精度を向上させる。【解決手段】画像入力部２１、２２によって、分光特性及び視点が異なるカメラの各々により撮像された画像を取得し、画像平行化処理部２３によって、画像の各々に対し、平行化画像の各々を生成する。対応点探索部２８によって、基準画像の各々について、他の平行化画像上における各対応点を探索する。画像変形処理部３０、３１によって、基準画像の各々について、各対応点の位置と一致するように他の平行化画像を変形した変形結果画像を各々生成する。色再現処理部３４、３５によって、基準画像の各々について、変形結果画像と、基準画像とを用いて色再現処理を行って、色再現画像を各々生成する。【選択図】図１
2015033058.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つのカメラが、他のカメラとは異なる分光特性で撮像し、かつ、視点が異なる複数のカメラの各々により撮像された画像を取得する画像入力部と、
予め定められた前記複数のカメラに関するパラメータ、及び予め定められた前記複数のカメラ間の撮影位置及び姿勢に関するパラメータに基づいて、前記画像入力部によって取得された前記画像の各々に対し、各視点から平行に見たときの平行化画像の各々を生成する画像平行化処理部と、
前記平行化画像の各々のうち予め定められた数の平行化画像を各々基準画像とし、前記基準画像の各々について、前記基準画像上の各基準点に対する、前記基準画像とは異なる前記平行化画像上における各対応点を探索する対応点探索部と、
前記基準画像の各々について、前記対応点探索部によって検出された前記基準画像上の各基準点に対する前記平行化画像の各対応点に基づいて、各々対応する各基準点の位置と各対応点の位置とが一致するように前記平行化画像を変形した変形結果画像を各々生成する画像変形処理部と、
前記基準画像の各々について、前記画像変形処理部により前記基準画像に対して生成された変形結果画像と、前記基準画像とを用いて色再現処理を行って、色再現画像を各々生成する色再現処理部と、
を含む画像処理装置。
【請求項２】
前記画像変形処理部は、
前記基準画像の各々について、前記対応点探索部によって探索された前記基準画像上の各基準点に対する前記平行化画像上の各対応点に基づいて、各基準点間の距離、及び各対応点間の距離を各々算出する対応点間距離算出部と、
前記基準画像の各々について、前記対応点間距離算出部によって算出された各基準点間の距離と各対応点間の距離とに基づいて、各対応点間の拡大縮小率を各々算出する拡大縮小率算出部と、を含み、
前記基準画像の各々について、前記拡大縮小率算出部によって算出された各対応点間の拡大縮小率に基づいて、前記平行化画像上の各対応点間の距離を拡大又は縮小するように変形した前記変形結果画像を各々生成する請求項１記載の画像処理装置。
【請求項３】
前記画像変形処理部は、
前記基準画像上の各基準点について、前記対応点探索部によって前記基準画像上の前記基準点に対する前記平行化画像上の対応点が検出される毎に、前記基準点と一つ前の基準点との間の距離、及び前記対応点と一つ前の対応点との間の距離を算出する対応点間距離算出部と、
前記基準画像上の各基準点について、前記対応点探索部によって前記基準画像上の前記基準点に対する前記平行化画像上の対応点が検出される毎に、前記対応点間距離算出部によって算出された前記基準点間の距離と前記対応点間の距離とに基づいて、前記対応点間の拡大縮小率を算出する拡大縮小率算出部と、を含み、
前記基準画像上の各基準点について、前記対応点探索部によって前記基準画像上の前記基準点に対する前記平行化画像上の対応点が検出される毎に、前記拡大縮小率算出部によって算出された前記対応点間の拡大縮小率に基づいて、前記平行化画像上の前記対応点間の距離を拡大又は縮小するように変形した小領域画像を生成することにより、前記変形結果画像を生成する請求項１記載の画像処理装置。
【請求項４】
前記画像変形処理部は、
前記基準画像の各々について、前記対応点探索部によって検出された前記基準画像上の各基準点に対する前記平行化画像上の各対応点に基づいて、各基準点間の輝度勾配画像、及び各対応点間の輝度勾配画像を各々算出する輝度勾配画像算出部と、
前記基準画像の各々について、前記輝度勾配画像算出部によって算出された各基準点間の輝度勾配画像と各対応点間の輝度勾配画像とを比較して、前記輝度勾配画像上における各基準点に対して前記輝度勾配画像上の各対応点を各々探索する輝度勾配照会部と、
前記基準画像の各々について、前記輝度勾配照会部によって検出された前記輝度勾配画像上の各基準点に対する前記輝度勾配画像上の各対応点に基づいて、各基準点間の距離、及び各対応点間の距離を算出し、前記算出された各基準点間の距離及び各対応点間の距離に基づいて、各対応点間の拡大縮小率を算出し、前記算出された各対応点間の拡大縮小率に基づいて、前記平行化画像上における各対応点間の距離を拡大又は縮小するように変形した前記変形結果画像を各々生成する請求項１記載の画像処理装置。
【請求項５】
前記画像変形処理部は、
前記基準画像上の各基準点について、前記対応点探索部によって前記基準画像上の前記基準点に対する前記平行化画像上の対応点が検出される毎に、前記基準点と一つ前の基準点との間の輝度勾配画像、及び前記対応点と一つ前の対応点との間の輝度勾配画像を各々算出する輝度勾配画像算出部と、
前記基準画像上の各基準点について、前記対応点探索部によって前記基準画像上の前記基準点に対する前記平行化画像上の対応点が検出される毎に、前記輝度勾配画像算出部によって算出された前記基準点間の輝度勾配画像と前記対応点間の輝度勾配画像とを比較して、前記輝度勾配画像上における前記基準点に対して前記輝度勾配画像上の前記対応点を探索する輝度勾配照会部と、
前記基準画像上の各基準点について、前記対応点探索部によって前記基準画像上の前記基準点に対する前記平行化画像上の対応点が検出される毎に、前記輝度勾配照会部によって検出された前記輝度勾配画像上の前記基準点に対する前記輝度勾配画像上の前記対応点に基づいて、前記基準点間の距離、及び前記対応点間の距離を算出し、前記算出された前記基準点間の距離及び前記対応点間の距離に基づいて、前記対応点間の拡大縮小率を算出し、前記算出された前記対応点間の拡大縮小率に基づいて、前記平行化画像上における前記対応点間の距離を拡大又は縮小するように変形した小領域画像を生成することにより、前記変形結果画像を生成する請求項１記載の画像処理装置。
【請求項６】
画像入力部によって、少なくとも一つのカメラが、他のカメラとは異なる分光特性で撮像し、かつ、視点が異なる複数のカメラの各々により撮像された画像を取得し、
画像平行化処理部によって、予め定められた前記複数のカメラに関するパラメータ、及び予め定められた前記複数のカメラ間の撮影位置及び姿勢に関するパラメータに基づいて、前記画像入力部によって取得された前記画像の各々に対し、各視点から平行に見たときの平行化画像の各々を生成し、
対応点探索部によって、前記平行化画像の各々のうち予め定められた数の平行化画像を各々基準画像とし、前記基準画像の各々について、前記基準画像上の各基準点に対する、前記基準画像とは異なる前記平行化画像上における各対応点を探索し、
画像変形処理部によって、前記基準画像の各々について、前記対応点探索部によって検出された前記基準画像上の各基準点に対する前記平行化画像の各対応点に基づいて、各々対応する各基準点の位置と各対応点の位置とが一致するように前記平行化画像を変形した変形結果画像を各々生成し、
色再現処理部によって、前記基準画像の各々について、前記画像変形処理部により前記基準画像に対して生成された変形結果画像と、前記基準画像とを用いて色再現処理を行って、色再現画像を各々生成する
画像処理方法。
【請求項７】
請求項１〜請求項５の何れか１項に記載の画像処理装置を構成する各部として、コンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法、及びプログラムに係り、特に、分光特性が異なるカメラが撮像した画像を用いて色再現処理を行う画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
一般的な２眼ステレオ立体視システムが知られている（例えば、非特許文献１）。非特許文献１に記載の２眼ステレオ立体視システムでは、例えば、図１２に示すように、画像入力装置１および画像入力装置２から構成される画像撮影部で取得された各カメラの視点の画像が直接、もしくは画像記憶装置を経由して画像表示装置に入力される。
【０００３】
また、画像補正処理有りの２眼ステレオ立体視システムが知られている（例えば、非特許文献２）。非特許文献２の２眼ステレオ立体視システムは、例えば、図１３に示すように、画像入力装置１および画像入力装置２からなる画像撮影部と、画像入力部１、画像入力部２、画像平行化処理部、画像出力部からなるステレオ画像生成部、および撮影条件記憶部から構成される。撮影条件記憶部には各画像入力装置の姿勢、光学パラメータ、もしくはそれらを推定するための画像群が記憶されている。画像平行化処理部では画像撮影部で得られた各カメラの視点（以下、「視点」と記載する）の画像を、各画像入力装置の姿勢および光学パラメータを基に各画像入力装置の光軸が平行なときに得られるであろう画像（平行化画像）を生成する。得られた平行化画像は画像出力部を通り画像記憶装置もしくは画像表示装置へ出力される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】「立体写真のみかた・とりかた・つくりかた」、日本写真測量学会（技報堂出版株式会社）、pp.41、1980年
【非特許文献２】服部寛、「車載向けステレオ画像処理技術」、東芝レビュー、Vol.63、No.5、pp. 48-51、2008年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記非特許文献１では、画像撮像部の全てのカメラの光軸が平行であることが前提条件となっているため、光軸のずれが、ステレオ立体視の際の観察像の歪や、観察者の疲労につながる。
【０００６】
また、上記非特許文献２では、画像撮像部の全てのカメラの分光感度が等しいことが前提条件となっているため、各カメラの分光感度にずれが存在する場合、ステレオ立体視の際に立体感の喪失・色彩知覚のずれが生じ、観察者の疲労につながる。
さらに、画像撮影部においてカラーカメラを使用した場合、現在普及している３バンド（赤、緑、青の３色）カメラでは十分な色再現精度が得られない場合があり、観察画像から得られる質感や立体感の低下を招く。特に画像撮影時と異なる照明光下における被写体の色の見えや質感を画像として再現する場合には、バンド数が３のカメラでは色再現精度の低下を招く。
【０００７】
本発明は、上記の事情を鑑みてなされたもので、ステレオ立体視の際の色再現結果の精度が向上する画像処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の画像処理装置は、少なくとも一つのカメラが、他のカメラとは異なる分光特性で撮像し、かつ、視点が異なる複数のカメラの各々により撮像された画像を取得する画像入力部と、予め定められた前記複数のカメラに関するパラメータ、及び予め定められた前記複数のカメラ間の撮影位置及び姿勢に関するパラメータに基づいて、前記画像入力部によって取得された前記画像の各々に対し、各視点から平行に見たときの平行化画像の各々を生成する画像平行化処理部と、前記平行化画像の各々のうち予め定められた数の平行化画像を各々基準画像とし、前記基準画像の各々について、前記基準画像上の各基準点に対する、前記基準画像とは異なる前記平行化画像上における各対応点を探索する対応点探索部と、前記基準画像の各々について、前記対応点探索部によって検出された前記基準画像上の各基準点に対する前記平行化画像の各対応点に基づいて、各々対応する各基準点の位置と各対応点の位置とが一致するように前記平行化画像を変形した変形結果画像を各々生成する画像変形処理部と、前記基準画像の各々について、前記画像変形処理部により前記基準画像に対して生成された変形結果画像と、前記基準画像とを用いて色再現処理を行って、色再現画像を各々生成する色再現処理部と、を含んで構成されている。
【０００９】
本発明の画像処理方法は、画像入力部によって、少なくとも一つのカメラが、他のカメラとは異なる分光特性で撮像し、かつ、視点が異なる複数のカメラの各々により撮像された画像を取得し、画像平行化処理部によって、予め定められた前記複数のカメラに関するパラメータ、及び予め定められた前記複数のカメラ間の撮影位置及び姿勢に関するパラメータに基づいて、前記画像入力部によって取得された前記画像の各々に対し、各視点から平行に見たときの平行化画像の各々を生成し、対応点探索部によって、前記平行化画像の各々のうち予め定められた数の平行化画像を各々基準画像とし、前記基準画像の各々について、前記基準画像上の各基準点に対する、前記基準画像とは異なる前記平行化画像上における各対応点を探索し、画像変形処理部によって、前記基準画像の各々について、前記対応点探索部によって検出された前記基準画像上の各基準点に対する前記平行化画像の各対応点に基づいて、各々対応する各基準点の位置と各対応点の位置とが一致するように前記平行化画像を変形した変形結果画像を各々生成し、色再現処理部によって、前記基準画像の各々について、前記画像変形処理部により前記基準画像に対して生成された変形結果画像と、前記基準画像とを用いて色再現処理を行って、色再現画像を各々生成する。
このように、変形結果画像の生成及び色再現処理が、複数の視点における画像を基準画像として繰り返される。例えば、カメラが２台の場合、初めは視点１を基準画像に視点２の画像を変形させ色再現処理を行い、次に視点２を基準画像に視点１の画像を変形させ色再現処理を行う。
【００１０】
なお、色再現処理は、被写体の色（例えば、スペクトル、分光反射率、色、ＲＧＢ/多原色画素値等）を計算（推定）し、計算した値を画素値とする色再現結果画像(例えば、スペクトル画像、分光反射率画像、ＲＧＢ画像等々)を生成する処理をいう。
【００１１】
また、本発明のプログラムは、コンピュータを、上記の画像処理装置を構成する各部として機能させるための画像処理プログラムである。
【発明の効果】
【００１２】
以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、異なる分光特性で撮像し、かつ、視点が異なる複数のカメラの各々により撮像された画像の各々について、平行化画像を各々生成し、基準画像となる平行化画像の各々に対し、異なる平行化画像を、前記基準画像上の各基準点に対する前記平行化画像の対応点が一致するように変形した変形結果画像を生成し、基準画像となる平行化画像の各々に対し、変形結果画像を用いて色再現処理を行って色再現画像を各々生成することにより、ステレオ立体視の際の色再現結果の精度が向上する、という効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態に係る画像処理装置の構成を示す概略図である。
【図２】マルチバンド画像を入力する画像入力装置の一例を示す図である。
【図３】カラーフィルタの透過波長の一例、及びカラーフィルタにより得られるバンドの一例を示す図である。
【図４】第１の実施の形態に係る画像処理装置における画像変形処理部の構成の一例を示す図である。
【図５】画像変形処理の内容を説明するための図である。
【図６】第１の実施の形態に係る画像処理装置におけるステレオ画像生成処理ルーチンの内容を示すフローチャートである。
【図７】第１の実施の形態に係る画像処理装置における色再現画像生成処理ルーチンの内容を示すフローチャートである。
【図８】第２の実施の形態に係る画像処理装置における画像変形処理部の構成の一例を示す概略図である。
【図９】第２の実施の形態に係る画像処理装置における色再現画像生成処理ルーチンの内容を示すフローチャートである。
【図１０】第３の実施の形態に係る画像処理装置における色再現画像生成処理ルーチンの内容を示すフローチャートである。
【図１１】第４の実施の形態に係る画像処理装置における色再現画像生成処理ルーチンの内容を示すフローチャートである。
【図１２】従来の画像処理装置の構成を示す概略図である。
【図１３】従来の画像処理装置の構成を示す概略図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１５】
＜発明の概要＞
従来の技術では、ステレオカメラと画像表示装置とを直結している（画像記憶装置への出力、または画像記憶装置を経由する場合もある）。また、ステレオカメラからの入力画像に対し、幾何補正を施した後に画像表示装置へ出力する方法も知られている（画像記憶装置への出力、または画像記憶装置を経由する場合もある）。また、画像を平行化する方法が知られている。（非特許文献３（A. Fusiello, et al.,“A compact algorithm for rectification of stereo pairs”, Machine Vision and Applications, vol.12, pp.16-22, 2000）参照）。
【００１６】
また、ステレオ式マルチバンド画像入力システムが知られている（例えば、特許文献１（特開2011-244184号公報）、特許文献２（特開2012-029047号公報））。
【００１７】
また、対応点検出手法が知られている（例えば、非特許文献４（長嶋聖  他、“位相限定相関法に基づくサブピクセル画像マッチングの高性能化”,計測自動制御学会東北支部 第218回研究集会, 資料番号 218-15, (2004.10.9).）、非特許文献５（M. Shimizu, and M. Okutomi“Sub-pixel estimation error cancellation on area-based matching”,  International Journal of Computer Vision, 63, 3, pp. 207−224, 2005）、非特許文献６（伊藤康一, 高橋徹, 青木孝文，“高精度な画像マッチング手法の検討”, 第25回 信号処理シンポジウム, No. C5−1, pp. 547 − 552, Nov., 2010.））。
【００１８】
従来の技術の課題として、現状のステレオ立体視システムの入力装置にはＲＧＢ（３バンド）カメラが使用されており、そのため被写体の色や質感、立体感の再現精度が十分でない場合がある。
【００１９】
また、マルチバンド（４バンド以上）のステレオ画像を入力としたステレオ立体視を実現するためには、２台以上のマルチバンドカメラが必要であり、現状のシステムと比較してハードウェアの導入コストが非常に高い。また、カメラ間で分光感度の差がある場合には、観察される立体像の画質低下につながってしまう。また、既存のシステムでは、撮影時とは異なる照明光下における色の見えの再現が困難である。
【００２０】
そこで、本発明に係る実施の形態では、分光感度が異なる複数のＲＧＢカメラからの画像を入力画像とし、各画像間で対応点を探索し、その対応点検出結果を基に、画像変形処理部にて各入力画像を変形させ、色再現処理部において、それぞれのカメラの視点におけるマルチバンド画像を生成する。マルチバンド画像を用いることで、撮影時とは異なる環境下での色再現精度が、通常のＲＧＢカメラで撮影した画像を使用した場合より格段に向上する。
【００２１】
また、本発明に係る実施の形態では、被写体の奥行情報（形状情報）を用いずに、上述の画像変形を実現する。
【００２２】
また、既存のＲＧＢカメラのセンサ、もしくはレンズの前にカラーフィルタを設置することで、元々のＲＧＢカメラに付属するＲＧＢフィルタを透過する光の一部の波長帯域を遮光する。すなわち前述のカラーフィルタを装着することでカメラ付属のＲＧＢフィルタよりも狭帯域の光を記録する事が可能となり、カラーフィルタを装着して撮影した画像とカラーフィルタを装着しないで撮影した画像と組み合わせることで、既存のＲＧＢカメラを使用した比較的安価なマルチバンド画像入力システムを構築する。
【００２３】
また、カメラの姿勢パラメータ等を用いた画像平行化処理を経ることにより、各カメラからの画像における対応点の垂直方向の位置が等しくなり、水平方向への一次元の探索で対応点検出を行う。これにより、従来の水平・垂直の二方向での対応点探索と比較して計算量、必要なメモリ量が抑制できる。
【００２４】
また、分光感度が異なる複数のカメラからの画像を入力し、それぞれのカメラの視点において同一の撮影条件（同じ分光感度のカメラ、同じ照明光源）下で撮影した時の画像を、色再現処理部においてそれぞれ生成する。これにより、ステレオ立体視した際に観察される立体像の画質が向上する。また立体視の際の観察者の眼の疲労抑制につながる。
【００２５】
［第１の実施の形態］
＜システム構成＞
第１の実施の形態に係る画像処理装置について説明する。
【００２６】
第１の実施の形態に係る画像処理装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述するステレオ画像生成処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、撮影条件記憶部１４と、ステレオ画像生成部１５と、画像記憶装置１６と、画像表示装置１７とを含んだ構成で表すことができる。
【００２７】
画像処理装置１０には、画像撮像部１１の画像入力装置１１１で撮影されて得られた視点１での画像と、画像入力装置１１２で撮影されて得られた視点２での画像とが入力される。図２に示すように、画像入力装置１１１は、ＲＧＢカメラ１１ａを有しており、画像入力装置１１２は、ＲＧＢカメラ１１ｂを有している。ＲＧＢカメラ１１ａ及びＲＧＢカメラ１１ｂは、共にＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor )等のセンサ及びＲＧＢ各色のフィルタを備えたデジタルカメラである。図２に示すように、画像入力装置１１２は、ＲＧＢカメラ１１ｂの他、該ＲＧＢカメラ１１ｂが有する本来のＲ、Ｇ、Ｂの各色に対応するフィルタの透過波長の一部のみを透過するカラーフィルタ１１ｃを備えている（図３参照）。画像入力装置１１１及び画像入力装置１１２により、６つのバンドの各々のデジタル信号値が、６バンド画像の画素値として得られる。以下では、マルチバンド画像の一例として６バンド画像を例に挙げて説明するが、マルチバンド画像を６バンド画像に限定するものではない。
【００２８】
なお、上記図２の例では、レンズ（光学系）の前に、カラーフィルタ１１ｃを設けた場合について記載したが、これに限定されるものではなく、レンズ（光学系）と画像素子（センサ）との間にカラーフィルタ１１ｃを設けてもよい。また、各カメラのセンサに付いているカラーフィルタも、ＲＧＢ３色である必要は無い。また、カメラ１１ａとカメラ１１ｂのセンサに付いているフィルタの特性が異なる場合には、カラーフィルタ１１ｃが不要となる場合もある。
【００２９】
撮影条件記憶部１４は、各画像入力装置１１１、１１２の位置・姿勢パラメータおよび光学系パラメータ（もしくは画像平行化行列）を記憶している。また、撮影条件記憶部１４は、各画像入力装置１１１、１１２の分光特性（光学系やカラーフィルタの分光透過率、センサの分光感度）、照明光の分光スペクトル、各分光特性補正用の画像データセット（色票の画像や白色板の画像など）、被写体の反射特性に関する統計情報を含む各種情報を記憶している。
【００３０】
なお、撮影条件記憶部１４に、各画像入力装置１１１、１１２の位置・姿勢パラメータおよび光学系パラメータを算出するための画像データセットを記憶しておいてもよい。この場合には、記憶された画像データセットから、各画像入力装置１１１、１１２の位置・姿勢パラメータおよび光学系パラメータ、もしくは画像平行化行列が算出される。また、各画像入力装置１１１、１１２の分光特性や照明光の分光スペクトルの補正を行うようにしてもよい。
【００３１】
ステレオ画像生成部１５は、画像入力部２１、２２、画像平行化処理部２３、平行化画像記憶部２４、２５、小領域画像生成部２６、２７、対応点探索部２８、対応点座標記憶部２９、画像変形処理部３０、３１、変形結果画像記憶部３２、３３、色再現処理部３４、３５、観察条件入力部３６、及び画像出力部３８を含んだ構成で表すことができる。
【００３２】
画像入力部２１は、画像入力装置１１１から、視点１での撮像画像を取得する。画像入力部２２は、画像入力装置１１２から、視点２での撮像画像を取得する。
【００３３】
画像平行化処理部２３は、各画像入力装置１１１、１１２で得られた撮影画像と、撮影条件記憶部１４に記憶された各画像入力装置１１１、１１２の位置・姿勢パラメータおよび光学系パラメータと、を入力とし、各画像入力装置１１１、１１２の位置・姿勢パラメータおよび光学系パラメータに基づいて画像平行化行列を算出し、各撮影画像と掛け合わせて、各視点１、２での平行化画像を生成し、視点１での平行化画像を平行化画像記憶部２４に格納し、視点２での平行化画像を平行化画像記憶部２５に格納する。
【００３４】
なお、平行化処理は、従来既知の手法を用いればよく、例えば、上記の非特許文献３に記載の手法を用いればよい。
【００３５】
小領域画像生成部２６は、小領域画像として平行化画像から切り出すように指定された各範囲（座標）について、平行化画像記憶部２４に記憶されている視点１での平行化画像から、当該指定された範囲の画像を小領域画像（1次元画像もしくは2次元画像）として切り出して、対応点探索部２８へ出力する。対応点探索部２８により対応点が検出された場合にはその座標を対応点座標記憶部２９に出力する。対応点探索が実施された後は、小領域画像の中心点の座標の移動間隔に基づき、視点１及び視点２での平行化画像からの切出し指定範囲をずらし、小領域画像生成部２６および２７において当該指定された範囲の画像を、新たな小領域画像として切り出す。
【００３６】
なお、小領域画像として切り出す範囲の座標（小領域画像のサイズと、小領域画像の中心点の座標の移動間隔）は予め設定しておけばよい。
【００３７】
小領域画像生成部２７は、小領域画像生成部２６と同様に、小領域画像として平行化画像から切り出すように指定された各範囲（座標）について、平行化画像記憶部２５に記憶されている視点２での平行化画像から、当該指定された範囲の画像を小領域画像（1次元画像もしくは2次元画像）として切り出して、対応点探索部２８へ出力する。
【００３８】
対応点探索部２８は、視点１での平行化画像に対して、所定間隔で基準点を定め、小領域画像生成部２６で切り出された視点１の小領域画像、及び小領域画像生成部２７で切り出された視点２の小領域画像に基づいて、視点１の小領域画像の各々について順次、当該視点１の小領域画像と視点２の小領域画像とを比較し、当該視点１の小領域画像上の基準点に対応する、視点２の小領域画像上の対応点の有無を判別する。対応点が存在する場合には、対応点の座標を算出する。座標系については、まず小領域画像内での座標系で対応点の座標が算出され、その後、平行化画像上での座標に変換される。対応点の有無の判別（対応点の検出）方法は、上記の非特許文献４や非特許文献５、非特許文献６などの手法を用いても良い。
【００３９】
対応点探索が実施された後は、小領域画像の中心点の座標の移動間隔に基づき、視点１および視点２での平行化画像からの切出し指定範囲をずらし、小領域画像生成部２６および２７において当該指定された範囲の画像を、新たな小領域画像として切り出す。
【００４０】
また、対応点探索部２８は、視点２での平行化画像に対しても同様に、所定間隔で基準点を定め、視点２の小領域画像の各々について、当該視点２の小領域画像と視点１の小領域画像とを比較し、当該視点２の小領域画像上の基準点に対応する、視点１の小領域画像上の対応点の有無を判別する。
【００４１】
対応点探索部２８によって検索された対応点の座標は、基準点の座標と対応付けて、対応点座標記憶部２９に格納される。
【００４２】
なお、本実施の形態では画像の平行化処理を行っているため、基準画像上の座標（x,y）の対応点は、変形対象画像上で同じ高さ（座標y）で水平方向に存在し、対応点座標が（x’ , y）となる。従って、小領域画像の更新においては、１次元方向に対応点を探索するように、次の小領域画像を平行化画像から切り出す。
【００４３】
画像変形処理部３０は、対応点座標記憶部２９に記憶された基準点と対応点の座標を用いて、平行化画像記憶部２５に記憶されている視点２での平行化画像を変形させて、視点２での変形結果画像を生成し、変形結果画像記憶部３２に格納する。
【００４４】
ここで、視点１での色再現画像を生成する場合には視点１の画像を「基準画像」とし、視点２の画像を「変形対象画像」とする。また視点２での画像を生成する場合には視点２の画像を「基準画像」とし、視点１の画像を「変形対象画像」とする    
【００４５】
画像変形処理部３０による変形処理では、基準点と対応点の座標を用いて、視点１での平行化画像上の基準点と視点２での平行化画像上の対応点の座標が一致するよう、画像変形パラメータ（線形モデルに基づいた射影変換の場合には水平/垂直方向のずれ量、回転角度、倍率。TPS (Thin-Plate Spline)モデル等の非線形手法に基づく場合には、そのモデルパラメータ）を算出し、算出した画像変形パラメータを仮定した変形モデル（射影変換や非線形変換）に適用して、視点１での平行化画像の基準点と視点２での平行化画像の各対応点の位置が一致するように視点２での平行化画像に対して変形処理を施し、視点２の変形結果画像を生成する。
【００４６】
画像変形処理部３１は、画像変形処理部３０と同様に、対応点座標記憶部２９に記憶された基準点と対応点の座標を用いて、平行化画像記憶部２４に記憶されている視点１での平行化画像を変形させて、視点１の変形結果画像を生成し、変形結果画像記憶部３３に格納する。
【００４７】
画像変形処理部３１は、図４に示すように、対応点間距離算出部３１１、拡大縮小率算出部３１２、及び画像サイズ変更処理部３１３を含んで構成されている。
【００４８】
対応点間距離算出部３１１は、対応点座標記憶部２９に記憶されている視点２の平行化画像のk番目および(k+1)番目の基準点の座標と、k番目および(k+1)番目の基準点に対する視点１の平行化画像上の対応点の座標とに基づいて、k番目および(k+1)番目の基準点の座標の引き算、並びに、k番目および(k+1)番目の基準点に対する対応点の座標の引き算を行い、k番目および(k+1)番目の基準点間の距離、及びk番目および(k+1)番目の基準点に対する対応点間の距離を算出する（図５参照）。ｋ番目（k＝１，２，３…）の基準点及びそれに対する対応点について、同様に、k番目および(k+1)番目の基準点間の距離、及びk番目および(k+1)番目の基準点に対する対応点間の距離を各々算出する。
【００４９】
拡大縮小率算出部３１２は、対応点間距離算出部３１１によって算出された、k番目および(k+1)番目の基準点間の距離、並びに、k番目および(k+1)番目の基準点に対する対応点間の距離に基づいて、k番目および(k+1)番目の基準点間の距離とk番目および(k+1)番目の基準点に対する対応点間の距離との割り算を行い、拡大縮小率を算出する。ｋ番目（k＝１，２，３…）の基準点及びそれに対する対応点について、同様に、拡大縮小率を各々算出する。
【００５０】
画像サイズ変更処理部３１３は、平行化画像記憶部２４に記憶されている視点１の平行化画像から、k番目および(k+1)番目の基準点に対する対応点に挟まれた小領域画像（対応点を含む）を切り出し、拡大縮小率算出部３１２によって算出された拡大縮小率に従って、切り出した小領域画像を拡大又は縮小する。ｋ番目（k＝１，２，３…）の基準点に対する対応点について、同様に、切り出した小領域画像を各々拡大又は縮小し、拡大又は縮小した小領域画像の各々を、対応する基準点の座標に応じて貼り合わせた画像を、変形結果画像として生成し、変形結果画像記憶部３３に格納する。
【００５１】
なお、本実施の形態では、単純に線形的な拡大縮小（拡大縮小率を掛けること）により画像を変形する場合を例に説明したが、これに限定されるものではなく、複数の基準点とそれに対応する対応点を用いての非線形モデルに基づいた処理（スプライン補間など）により、画像を変形してもよい。また、k番目の基準点に対する対応点が検出された場合であっても、(k+1)番目の基準点に対する対応点が検出されなかった場合には、(k+1)番目の基準点及びそれに対する対応点を、(k+2)番目の基準点以降で対応点を検出できた基準点及びそれに対する対応点に置き換えればよい。
【００５２】
上記の対応点間距離算出部３１１、拡大縮小率算出部３１２、及び画像サイズ変更処理部３１３による各処理は、垂直方向の座標値yを固定した状態で、水平方向に基準点及び対応点を変えながら行われる。その後、座標値yを１ステップ分変更し、再び、水平方向に基準点及び対応点を変えながら、上記の対応点間距離算出部３１１、拡大縮小率算出部３１２、及び画像サイズ変更処理部３１３による各処理が行われる。このように、画像全体に対して順次、各処理が行われる。
【００５３】
画像変形処理部３０は、画像変形処理部３１と同様に、対応点間距離算出部３１１、拡大縮小率算出部３１２、及び画像サイズ変更処理部３１３と同様の構成を含み、画像変形処理部３１における対応点間距離算出部３１１、拡大縮小率算出部３１２、及び画像サイズ変更処理部３１３の各処理と同様の処理を行う。
【００５４】
観察条件入力部３６は、観察時の照明条件（照明光スペクトルなど）、及び画像表示装置１７の特性データ（各原色の色度値・スペクトルやトーンカーブなど）の入力を受け付ける。観察時の照明条件（照明光スペクトルのデータなど）、画像表示装置１７の特性データは、予め、計測装置を用いて、もしくは計測データから推定又は算出される。
【００５５】
なお、デバイス非依存もしくはある規則に基づき決められた色空間で表現された画像を生成する場合には、画像表示装置１７の特性データ出力は不要である。また、色再現処理部３４、３５で分光反射率画像が生成される場合には、観察時の照明光スペクトルの出力は不要である。
【００５６】
色再現処理部３４は、基準となる視点１の平行化画像、視点２の平行化画像から生成された変形結果画像、撮影条件記憶部１４に記憶された被写体の反射特性に関する統計データ、及び観察条件入力部３６から入力された観察時の照明条件（照明光スペクトルなど）と画像表示装置１７の特性データに基づいて、画像の各画素に対応する被写体の分光反射率を推定すると共に、再現したい環境での色信号を算出し、視点１の色再現画像（ＲＧＢ画像、多原色画像、スペクトル画像や分光反射率画像）を生成する
【００５７】
なお、デバイス非依存もしくはある規則に基づき決められた色空間で表現された画像を生成する場合には、その色空間を表現するために必要なデータ（各原色の測色値や分光スペクトル）を更に用いるようにすればよい。
【００５８】
分光反射率の推定方法としては、ウィナー推定法やPLS法などの従来技術を用いても良い。各画素において推定された分光反射率に対し、観察条件入力部３６で入力された観察時の照明光スペクトル、等色関数を掛け合わせ、デバイスに依存しない３バンド色信号を算出する（以降、例としてCIE-XYZ測色値を用いる）。得られたXYZ測色値と観察条件入力部３６で入力された画像表示装置１７の各原色の測色値もしくはスペクトルデータを用いて画像表示装置１７における各原色の信号値（画像表示装置１７がＲＧＢモニタであればＲＧＢ値。４色以上の原色を持つ表示装置の場合には各原色の信号値）を算出し、さらに画像表示装置１７のトーンカーブを用いて補正を掛けることで、再現したい環境（照明環境や画像出力装置）での色信号が算出される。
【００５９】
色再現処理部３５は、基準となる視点２の平行化画像、視点１の平行化画像から生成された変形結果画像、撮影条件記憶部１４に記憶された被写体の反射特性に関する統計データ、及び観察条件入力部３６から入力された観察時の照明条件（照明光スペクトルなど）と画像表示装置１７の特性データに基づいて、色再現処理部３４と同様に、画像の各画素に対応する被写体の分光反射率を推定すると共に、再現したい環境（照明環境や画像出力装置）での色信号を算出し、視点２の色再現画像を生成する
【００６０】
色再現処理部３４、３５により生成された視点１、２の色再現画像は、画像出力部３８により、画像記憶装置１６に格納されると共に、画像表示装置１７へ出力され、画像表示装置１７により視点１、２の色再現画像が立体視表示される。
【００６１】
＜画像処理装置の作用＞
次に、第１の実施の形態に係る画像処理装置１０の作用について説明する。まず、画像入力装置１１１及び画像入力装置１１２により、視点１の撮像カラー画像１及び視点２の撮像カラー画像が撮影された後、画像処理装置１０によって、図６に示すステレオ画像生成処理ルーチンが実行される。
【００６２】
ステップＳ１０１において、画像入力装置１１１で撮影された視点１の撮像カラー画像のデータ及び画像入力装置１１２で撮影された視点２の撮像カラー画像のデータを取得する。
【００６３】
ステップＳ１０２において、上記ステップＳ１０１で取得した視点１の撮像カラー画像及び視点２の撮像カラー画像に対して、平行化処理を行い、視点１の平行化画像及び視点２の平行化画像を生成する。
【００６４】
ステップＳ１０３では、上記ステップＳ１０２で生成した視点１の平行化画像及び視点２の平行化画像に基づいて、視点１の色再現画像を生成する。
【００６５】
ステップＳ１０４では、上記ステップＳ１０２で生成した視点１の平行化画像及び視点２の平行化画像に基づいて、視点２の色再現画像を生成する。
【００６６】
そして、ステップＳ１０５において、上記ステップＳ１０３で生成した視点１の色再現画像、及び上記ステップＳ１０４で生成した視点２の色再現画像を、画像記憶装置１６に記憶させると共に、ステレオ画像として画像表示装置１７により表示させて、ステレオ画像生成処理ルーチンを終了する。
【００６７】
上記ステップＳ１０３は、図７に示す色再現画像生成処理ルーチンによって実現される。
【００６８】
ステップＳ１１０において、上記ステップＳ１０２で生成した視点１の平行化画像から、予め指定された範囲に従って小領域画像を切り出す。ステップＳ１１１では、上記ステップＳ１１０で切り出された小領域画像について、上記ステップＳ１０２で生成した視点２の平行化画像から切り出される小領域画像の各々と比較して、上記ステップＳ１１０で切り出された小領域画像上の基準点の各々について、視点２の平行化画像から切り出される小領域画像上から対応点を探索する。
【００６９】
ステップＳ１１２において、視点１の平行化画像から切り出されるすべての小領域画像について、上記ステップＳ１１０〜Ｓ１１１の処理を実行したか否かを判定する。上記ステップＳ１１０〜Ｓ１１１の処理を実行していない小領域画像が存在する場合には、上記ステップＳ１１０へ戻り、視点１の平行化画像から当該小領域画像を切り出す。
【００７０】
一方、視点１の平行化画像から切り出されるすべての小領域画像について、上記ステップＳ１１０〜Ｓ１１１の処理を実行した場合には、ステップＳ１１３へ移行する。
【００７１】
ステップＳ１１３では、ｋ番目の基準点と（ｋ＋１）番目の基準点との距離を算出すると共に、ｋ番目の基準点に対する対応点と（ｋ＋１）番目の基準点に対する対応点との距離を算出する。そして、ステップＳ１１４において、上記ステップＳ１１３で算出されたｋ番目の基準点と（ｋ＋１）番目の基準点との距離、及びｋ番目の基準点に対する対応点と（ｋ＋１）番目の基準点に対する対応点との距離に基づいて、拡大縮小率を算出する。
【００７２】
次のステップＳ１１５において、上記ステップＳ１１４で算出された拡大縮小率に基づいて、視点２の平行化画像のうちの、ｋ番目の基準点に対する対応点と（ｋ＋１）番目の基準点に対する対応点で挟まれた小領域画像を拡大または縮小して変形させる。
【００７３】
ステップＳ１１６では、全ての基準点及び対応点について、ステップＳ１１３〜Ｓ１１５の処理を実行したか否かを判定する。ステップＳ１１３〜Ｓ１１５の処理を実行していない基準点及び対応点が存在する場合には、上記ステップＳ１１３へ戻り、当該基準点及び対応点について処理を繰り返す。一方、全ての基準点及び対応点について、ステップＳ１１３〜Ｓ１１５の処理を実行した場合には、ステップＳ１１７へ移行する。
【００７４】
ステップＳ１１７では、上記ステップＳ１１５で変形された小領域画像の各々を貼り合せた画像を、変形結果画像として生成し、変形結果画像記憶部３２に格納する。
【００７５】
そして、ステップＳ１１８において、上記ステップＳ１０２で生成した視点１の平行化画像と、上記ステップＳ１１７で生成された視点２の変形結果画像とに基づいて、色再現処理を行い、色再現画像を生成して、色再現画像生成処理ルーチンを終了する。
【００７６】
また、上記ステップＳ１０４は、上記図７に示す色再現画像生成処理ルーチンと同様の処理ルーチンによって実現される。
【００７７】
以上説明したように、第１の実施の形態の画像処理装置によれば、異なる分光特性で撮像し、かつ、視点が異なる２つのカメラの各々により撮像された画像の各々について、平行化画像を各々生成し、基準画像となる平行化画像の各々に対し、他の平行化画像を、対応点が一致するように変形した変形結果画像を生成し、基準画像となる平行化画像の各々に対し、変形結果画像を用いて色再現処理を行って色再現画像を各々生成することにより、ステレオ立体視の際の、被写体の色や質感、立体感の色再現結果の精度が向上する。
【００７８】
また、既存のＲＧＢカメラが利用できるため、ハードウェアの導入コストが抑制できる。また、カメラ間の分光感度の違いが補正でき、観察される立体像の画質低下が抑制できる。また、撮影時とは異なる照明光下の色の再現精度が向上する。
【００７９】
［第２の実施の形態］
＜システム構成＞
次に、第２の実施の形態について説明する。なお、第２の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。
【００８０】
第２の実施の形態の画像処理装置は、画像処理装置１０を構成するコンピュータの画像変形処理部３１を画像変形処理部２３１に置き換えたものである。画像変形処理部２３１は、図８に示すように、輝度勾配画像算出部２３２、２３３、輝度勾配照会部２３４、及び画像変形部２３５を含んだ構成で表すことができる。
【００８１】
輝度勾配画像算出部２３２は、対応点座標記憶部２９に記憶されている視点１の平行化画像のk番目および(k+1)番目の基準点に対する対応点の座標に基づいて、平行化画像記憶部２４に記憶されている視点１の平行化画像のうちの、k番目および(k+1)番目の基準点に対する対応点に挟まれた小領域画像（対応点を含む）を切り出し、切り出した小領域画像に基づいて、各画素の輝度勾配を計算し、k番目および(k+1)番目の対応点に挟まれた小領域画像の輝度勾配画像（対応点を含む）を算出する。
【００８２】
例えば、座標（u−1, v）と座標（u, v）の各画素値の差分を、座標（u, v）における輝度勾配値とする。なお、視点１の平行化画像中の最大画素値で各画素値を割ることにより、視点１の平行化画像の規格化を行うと共に、視点２の平行化画像中の最大画素値で各画素値を割ることにより、視点２の平行化画像の規格化を行った後に、上記の方法で輝度勾配値を算出しても良い。
【００８３】
輝度勾配画像算出部２３３は、対応点座標記憶部２９に記憶されている視点２の平行化画像のk番目および(k+1)番目の基準点の座標に基づいて、平行化画像記憶部２５に記憶されている視点２の平行化画像のうちの、k番目および(k+1)番目の基準点に挟まれた小領域画像（基準点を含む）を切り出し、切り出した小領域画像に基づいて、各画素の輝度勾配を計算し、k番目および(k+1)番目の基準点に挟まれた小領域画像の輝度勾配画像（基準点を含む）を算出する。
【００８４】
輝度勾配照会部２３４は、輝度勾配画像算出部２３２によって算出された、k番目および(k+1)番目の基準点に対する対応点に挟まれた小領域画像の輝度勾配画像と、輝度勾配画像算出部２３３によって算出された、k番目および(k+1)番目の基準点に挟まれた小領域画像の輝度勾配画像とに基づいて、小領域画像の輝度勾配画像同士で輝度勾配分布を比較し、視点２の輝度勾配画像における基準点に対応する、視点１の輝度勾配画像における対応点を探索し、輝度勾配画像上における基準点と対応点の座標を出力する。対応点の有無の判別（対応点の検出）方法は、上記非特許文献４や非特許文献５、非特許文献６などの手法を用いても良い。
【００８５】
画像変形部２３５は、輝度勾配照会部２３４により出力された、輝度勾配画像上における基準点と対応点の座標に基づいて、輝度勾配画像上における基準点間の距離を算出すると共に、対応点間の距離を算出し、算出した基準点間の距離及び対応点間の距離に基づいて、拡大縮小率を求める。画像変形部２３５は、平行化画像記憶部２４に記憶されている、視点１の平行化画像のうちの、k番目および(k+1)番目の基準点に対する対応点に挟まれた小領域画像に基づいて、当該小領域画像を、先に算出した拡大縮小率を用いて変形させる。
【００８６】
上記の輝度勾配画像算出部２３２、２３３、輝度勾配照会部２３４、及び画像変形部２３５による各処理は、垂直方向の座標値yを固定した状態で、水平方向に基準点及び対応点を変えながら行われる。その後、座標値yを１ステップ分変更し、再び、水平方向に基準点及び対応点を変えながら、上記の輝度勾配画像算出部２３２、２３３、輝度勾配照会部２３４、及び画像変形部２３５による各処理が行われる。このように、画像全体に対して順次、各処理が行われる。
【００８７】
画像変形処理部３０は、画像変形処理部２３１と同様に、輝度勾配画像算出部２３２、２３３、輝度勾配照会部２３４、及び画像変形部２３５の構成を含み、輝度勾配画像算出部２３２、２３３、輝度勾配照会部２３４、及び画像変形部２３５の各処理と同様の処理を行う。
【００８８】
＜画像処理装置の作用＞
次に、第２の実施の形態の画像処理装置１０は、上記の第１の実施の形態で説明した色再現処理ルーチンと同様の処理を行う。
【００８９】
上記ステップＳ１０３は、図９に示す色再現画像生成処理ルーチンによって実現される。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【００９０】
ステップＳ１１０において、上記ステップＳ１０２で生成した視点１の平行化画像から、予め指定された範囲に従って小領域画像を切り出す。ステップＳ１１１では、上記ステップＳ１１０で切り出された小領域画像上の基準点の各々について、視点２の平行化画像から切り出される小領域画像から対応点を探索する。
【００９１】
ステップＳ１１２において、視点１の平行化画像から切り出されるすべての小領域画像について、上記ステップＳ１１０〜Ｓ１１１の処理を実行したか否かを判定し、視点１の平行化画像から切り出されるすべての小領域画像について、上記ステップＳ１１０〜Ｓ１１１の処理を実行した場合には、ステップＳ２１３へ移行する。
【００９２】
ステップＳ２１３では、ｋ番目の基準点と（ｋ＋１）番目の基準点とに挟まれた小領域画像の輝度勾配画像を算出すると共に、ｋ番目の基準点に対する対応点と（ｋ＋１）番目の基準点に対する対応点とに挟まれた小領域画像の輝度勾配画像を算出する。そして、ステップＳ２１４において、上記ステップＳ２１３で算出された輝度勾配画像同士を比較して、輝度勾配画像上におけるｎ番目の基準点及び（ｎ＋１）番目の基準点に対応する対応点を探索する。
【００９３】
そして、ステップＳ２１５では、輝度勾配画像におけるｎ番目の基準点及び（ｎ＋１）番目の基準点の距離、及び輝度勾配画像におけるｎ番目の基準点に対する対応点と（ｎ＋１）番目の基準点に対する対応点との距離に基づいて、拡大縮小率を算出し、算出された拡大縮小率に基づいて、視点２の平行化画像のうちの、上記ステップＳ２１４で検出されたｎ番目の対応点と（ｎ＋１）番目の対応点で挟まれた小領域画像を、拡大または縮小して変形させる。
【００９４】
ステップＳ２１６では、全ての基準点及び対応点について、ステップＳ２１３〜Ｓ２１５の処理を実行したか否かを判定する。ステップＳ２１３〜Ｓ２１５の処理を実行していない基準点及び対応点が存在する場合には、上記ステップＳ２１３へ戻り、当該基準点及び対応点について処理を繰り返す。一方、全ての基準点及び対応点について、ステップＳ２１３〜Ｓ２１５の処理を実行した場合には、ステップＳ１１７へ移行する。
【００９５】
ステップＳ１１７では、上記ステップＳ２１５で変形された小領域画像の各々を貼り合せた画像を、変形結果画像として生成し、変形結果画像記憶部３２に格納する。
【００９６】
そして、ステップＳ１１８において、上記ステップＳ１０２で生成した視点１の平行化画像と、上記ステップＳ１１７で生成された視点２の変形結果画像とに基づいて、色再現処理を行い、色再現画像を生成し、色再現画像生成処理ルーチンを終了する。
【００９７】
また、上記ステップＳ１０４は、上記図９に示す色再現画像生成処理ルーチンと同様の処理ルーチンによって実現される。
【００９８】
なお、第２の実施の形態に係る画像処理装置１０の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００９９】
以上説明したように、第２の実施の形態の画像処理装置によれば、平行化画像の小領域画像同士を比較して、対応点を探索した後に、輝度勾配画像同士を比較して、対応点を探索するため、対応点の探索精度が向上する。したがって、ステレオ立体視の際の、被写体の色や質感、立体感の色再現結果の精度が更に向上する。
【０１００】
［第３の実施の形態］
＜システム構成＞
次に、第３の実施の形態について説明する。なお、第３の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成であるため、同一符号を付して詳細な説明を省略する。
【０１０１】
第３の実施の形態では、基準点に対応する対応点が探索される毎に、画像変形処理を行っている点が、第１の実施の形態と異なっている。
【０１０２】
＜画像処理装置の作用＞
第３の実施の形態の画像処理装置によって、上記図６に示すステレオ画像生成処理ルーチンが実行される。
また、上記ステップＳ１０３は、図１０に示す色再現画像生成処理ルーチンによって実現される。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【０１０３】
ステップＳ１１０において、上記ステップＳ１０２で生成した視点１の平行化画像から、予め指定された範囲に従って小領域画像を切り出す。ステップＳ３１１では、上記ステップＳ１１０で切り出された小領域画像について、上記ステップＳ１０２で生成した視点２の平行化画像から切り出される小領域画像の各々と比較して、上記ステップＳ１１０で切り出された小領域画像上のｋ番目の基準点について、視点２の平行化画像から切り出される小領域画像上から対応点を探索する。
【０１０４】
ステップＳ３１２において、視点１の小領域画像のｋ番目の基準点について、視点２の小領域画像上から対応点が検出されたか否かを判定する。ｋ番目の基準点に対する対応点が検出された場合には、ステップＳ１１３へ進む。一方、ｋ番目の基準点に対する対応点が検出されなかった場合には、上記ステップＳ３１１へ戻り、次の基準点に対する対応点を探索する。
【０１０５】
ステップＳ１１３では、ｋ−１番目の基準点とｋ番目の基準点との距離を算出すると共に、ｋ−１番目の基準点に対する対応点とｋ番目の基準点に対する対応点との距離を算出する。そして、ステップＳ１１４において、上記ステップＳ１１３で算出されたｋ−１番目の基準点とｋ番目の基準点との距離、及びｋ−１番目の基準点に対する対応点とｋ番目の基準点に対する対応点との距離に基づいて、拡大縮小率を算出する。
【０１０６】
次のステップＳ１１５において、上記ステップＳ１１４で算出された拡大縮小率に基づいて、視点２の平行化画像のうちの、ｋ−１番目の基準点に対する対応点とｋ番目の基準点に対する対応点で挟まれた小領域画像を拡大または縮小して変形させる。
【０１０７】
ステップＳ３１６では、上記ステップＳ１１５で変形された小領域画像を、変形結果画像の一部として貼り合わせるように、変形結果画像記憶部３２に格納する。
【０１０８】
ステップＳ３１７では、全ての基準点について、ステップＳ３１１、Ｓ３１２、Ｓ１１３〜Ｓ１１５、Ｓ３１６の処理を実行したか否かを判定する。ステップＳ３１１、Ｓ３１２、Ｓ１１３〜Ｓ１１５、Ｓ３１６の処理を実行していない基準点が存在する場合には、上記ステップＳ３１１へ戻り、当該基準点について処理を繰り返す。一方、全ての基準点について、ステップＳ３１１、Ｓ３１２、Ｓ１１３〜Ｓ１１５、Ｓ３１６の処理を実行した場合には、ステップＳ３１８へ移行する。
【０１０９】
ステップＳ３１８において、視点１の平行化画像から切り出されるすべての小領域画像について、上記ステップＳ１１０、Ｓ３１１、Ｓ３１２、Ｓ１１３〜Ｓ１１５、Ｓ３１６、Ｓ３１７の処理を実行したか否かを判定する。上記ステップＳ１１０、Ｓ３１１、Ｓ３１２、Ｓ１１３〜Ｓ１１５、Ｓ３１６、Ｓ３１７の処理を実行していない小領域画像が存在する場合には、上記ステップＳ１１０へ戻り、視点１の平行化画像から当該小領域画像を切り出す。
【０１１０】
一方、視点１の平行化画像から切り出されるすべての小領域画像について、上記ステップＳ１１０、Ｓ３１１、Ｓ３１２、Ｓ１１３〜Ｓ１１５、Ｓ３１６、Ｓ３１７の処理を実行した場合には、ステップＳ１１８へ移行する。
【０１１１】
そして、ステップＳ１１８において、上記ステップＳ１０２で生成した視点１の平行化画像と、上記ステップＳ３１６で変形結果画像記憶部３２に格納された視点２の変形結果画像とに基づいて、色再現処理を行い、視点１の色再現画像を生成して、色再現画像生成処理ルーチンを終了する。
【０１１２】
また、視点２の色再現画像を生成する処理が、上記図１０に示す色再現画像生成処理ルーチンと同様の処理ルーチンによって実現される。
【０１１３】
なお、第３の実施の形態に係る画像処理装置における他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１１４】
［第４の実施の形態］
＜システム構成＞
次に、第４の実施の形態について説明する。なお、第４の実施の形態の画像処理装置について、第２の実施の形態の画像処理装置１０と同様の構成であるため、同一符号を付して詳細な説明を省略する。
【０１１５】
第４の実施の形態では、基準点に対応する対応点が探索される毎に、画像変形を行っている点が、第２の実施の形態と異なっている。
【０１１６】
＜画像処理装置の作用＞
第３の実施の形態の画像処理装置によって、上記図６に示すステレオ画像生成処理ルーチンが実行される。
また、上記ステップＳ１０３は、図１１に示す色再現画像生成処理ルーチンによって実現される。なお、第２の実施の形態及び第３の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【０１１７】
ステップＳ１１０において、上記ステップＳ１０２で生成した視点１の平行化画像から、予め指定された範囲に従って小領域画像を切り出す。ステップＳ３１１では、上記ステップＳ１１０で切り出された小領域画像について、上記ステップＳ１０２で生成した視点２の平行化画像から切り出される小領域画像の各々と比較して、上記ステップＳ１１０で切り出された小領域画像上のｋ番目の基準点について、視点２の平行化画像から切り出される小領域画像上から対応点を探索する。
【０１１８】
ステップＳ３１２において、視点１の小領域画像のｋ番目の基準点について、視点２の小領域画像上から対応点が検出されたか否かを判定する。ｋ番目の基準点に対する対応点が検出された場合には、ステップＳ１１３へ進む。一方、ｋ番目の基準点に対する対応点が検出されなかった場合には、上記ステップＳ３１１へ戻り、次の基準点に対する対応点を探索する。
【０１１９】
ステップＳ２１３では、ｋ−１番目の基準点とｋ番目の基準点とに挟まれた小領域画像の輝度勾配画像を算出すると共に、ｋ−１番目の基準点に対する対応点とｋ番目の基準点に対する対応点とに挟まれた小領域画像の輝度勾配画像を算出する。そして、ステップＳ２１４において、上記ステップＳ２１３で算出された輝度勾配画像同士を比較して、輝度勾配画像上の基準点及び基準点に対応する対応点を探索する。
【０１２０】
そして、ステップＳ２１５では、輝度勾配画像におけるｎ番目の基準点及びｎ＋１番目の基準点の距離、及び輝度勾配画像におけるｎ番目の基準点に対する対応点とｎ＋１番目の基準点に対する対応点との距離に基づいて、拡大縮小率を算出し、算出された拡大縮小率に基づいて、視点２の平行化画像のうちの、上記ステップＳ２１４で探索されたｎ番目の基準点に対する対応点とｎ＋１番目の基準点に対する対応点で挟まれた小領域画像を、拡大または縮小して変形させる。
【０１２１】
ステップＳ４１６では、上記ステップＳ２１５で変形された小領域画像を、変形結果画像の一部として貼り合わせるように、変形結果画像記憶部３２に格納する。
【０１２２】
ステップＳ４１７では、全ての基準点について、ステップＳ３１１、Ｓ３１２、Ｓ２１３〜Ｓ２１５、Ｓ４１６の処理を実行したか否かを判定する。ステップＳ３１１、Ｓ３１２、Ｓ２１３〜Ｓ２１５、Ｓ４１６の処理を実行していない基準点が存在する場合には、上記ステップＳ３１１へ戻り、当該基準点について処理を繰り返す。一方、全ての基準点について、ステップＳ３１１、Ｓ３１２、Ｓ２１３〜Ｓ２１５、Ｓ４１６の処理を実行した場合には、ステップＳ４１８へ移行する。
【０１２３】
ステップＳ４１８において、視点１の平行化画像から切り出されるすべての小領域画像について、上記ステップＳ１１０、Ｓ３１１、Ｓ３１２、Ｓ２１３〜Ｓ２１５、Ｓ４１６、Ｓ４１７の処理を実行したか否かを判定する。上記ステップＳ１１０、Ｓ３１１、Ｓ３１２、Ｓ２１３〜Ｓ２１５、Ｓ４１６、Ｓ４１７の処理を実行していない小領域画像が存在する場合には、上記ステップＳ１１０へ戻り、視点１の平行化画像から当該小領域画像を切り出す。
【０１２４】
一方、視点１の平行化画像から切り出されるすべての小領域画像について、上記ステップＳ１１０、Ｓ３１１、Ｓ３１２、Ｓ２１３〜Ｓ２１５、Ｓ４１６、Ｓ４１７の処理を実行した場合には、ステップＳ１１８へ移行する。
【０１２５】
そして、ステップＳ１１８において、上記ステップＳ１０２で生成した視点１の平行化画像と、上記ステップＳ４１６で変形結果画像記憶部３２に格納された視点２の変形結果画像とに基づいて、視点１の色再現処理を行い、色再現画像を生成して、色再現画像生成処理ルーチンを終了する。
【０１２６】
また、視点２の色再現画像を生成する処理が、上記図１１に示す色再現画像生成処理ルーチンと同様の処理ルーチンによって実現される。
【０１２７】
なお、第４の実施の形態に係る画像処理装置における他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１２８】
上記の第１の実施の形態〜第４の実施の形態では、２つの３バンド画像（計６バンド画像）が画像処理装置に入力される例について説明したが、画像処理装置への入力がマルチバンド画像であれば、これに限定されないのはもちろんである。
【０１２９】
また、上記の実施の形態では、マルチバンド画像を入力する画像入力装置として、ＲＧＢカメラ１１ａを有する画像入力装置１１１と、ＲＧＢカメラ１１ｂ及びカラーフィルタ１１ｃを有する画像入力装置１１２と、を例に挙げて説明したが、これに限定されない。例えば、ＲＧＢカメラと、単色カラーフィルタを備えた単色（白黒）カメラを複数台組み合わせた多眼式カメラシステムにも適用可能である。
【０１３０】
また、上記の実施の形態では、２つの画像入力装置により視点１の撮像カラー画像及び視点２の撮像カラー画像が撮像される場合を例に説明したが、これに限定されるものではなく、３つ以上の画像入力装置を有していても構わない。この場合、得られる複数の画像から、出力するマルチバンド画像の数分の基準画像を選び、それぞれの画像を基準画像として、他の画像を対応点に基づいて変形処理し、それぞれの基準画像とこの変形された画像から色再現処理により色再現画像を生成すればよい。このとき、出力する色再現画像の数は、画像表示装置１７が表示可能な視差数により決定される。
【０１３１】
また、上述の画像処理装置は、内部にコンピュータシステムを有しているが、コンピュータシステムは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１３２】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１３３】
１０   画像処理装置
１１   画像撮像部
１１ａ、１１ｂカメラ
１１ｃ カラーフィルタ
１４   撮影条件記憶部
１５   ステレオ画像生成部
１６   画像記憶装置
１７   画像表示装置
２１、２２    画像入力部
２３   画像平行化処理部
２４、２５    平行化画像記憶部
２６、２７    小領域画像生成部
２８   対応点探索部
２９   対応点座標記憶部
３０、３１    画像変形処理部
３２、３３    変形結果画像記憶部
３４、３５    色再現処理部
１１１、１１２画像入力装置
２３１ 画像変形処理部
２３２、２３３輝度勾配画像算出部
２３４ 輝度勾配照会部
２３５ 画像変形部
３１１ 対応点間距離算出部
３１２ 拡大縮小率算出部
３１３ 画像サイズ変更処理部
【図１】
2015033058.tif 000003
【図４】
2015033058.tif 000004
【図６】
2015033058.tif 000005
【図７】
2015033058.tif 000006
【図８】
2015033058.tif 000007
【図９】
2015033058.tif 000008
【図１０】
2015033058.tif 000009
【図１１】
2015033058.tif 000010
【図１２】
2015033058.tif 000011
【図１３】
2015033058.tif 000012
【図２】
2015033058.tif 000013
【図３】
2015033058.tif 000014
【図５】
2015033058.tif 000015