"複数の視点から同一被写体を撮影した複数の画像を取得する画像取得手段と、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像から複数の特徴点を、前記対象画像から対応点を検出して、同じ組に含まれる特徴点と対応点の特徴が略一致するような特徴点と対応点の組を生成する対応点検出手段と、前記同じ組に含まれる特徴点と対応点の、前記複数の視点の視差方向と直交する方向のy座標のみが略一致するように前記対象画像を幾何変形する画像変形手段と、を備える立体画像処理装置。複数の視点から同一被写体を撮影した複数の画像を取得する画像取得工程と、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像から複数の特徴点を、前記対象画像から対応点を検出して、同じ組に含まれる特徴点と対応点の特徴が略一致するような特徴点と対応点の組を生成する対応点検出工程と、前記同じ組に含まれる特徴点と対応点の、前記複数の視点の視差方向と直交する方向のy座標のみが略一致するように前記対象画像を幾何変形する画像変形工程と、を備える立体画像処理方法。複数の視点から同一被写体を撮影した複数の画像を取得し、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像から複数の特徴点を、前記対象画像から対応点を検出して、同じ組に含まれる特徴点と対応点の特徴が略一致するような特徴点と対応点の組を生成し、前記同じ組に含まれる特徴点と対応点の、前記複数の視点の視差方向と直交する方向のy座標のみが略一致するように前記対象画像を幾何変形する、立体画像処理プロセスをコンピュータに実行させるための立体画像処理プログラム。複数の視点から同一被写体を撮影した複数の画像を取得し、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像から複数の特徴点を、前記対象画像から対応点を検出して、同じ組に含まれる特徴点と対応点の特徴が略一致するような特徴点と対応点の組を生成し、前記同じ組に含まれる特徴点と対応点について、前記複数の視点の視差方向と直交する方向のy座標のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定し、前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する、立体画像処理プロセスをコンピュータに実行させるための立体画像処理プログラム。請求項1に記載の立体画像処理装置と、複数の視点位置にそれぞれ配置され、前記視差方向に沿う視点位置から同一被写体をそれぞれ撮像する複数の撮像ユニットと、を備え、前記画像取得手段は、前記複数の撮像ユニットによってそれぞれ撮像された複数の画像を取得する、立体撮像装置。しかしながら、特許文献1に記載の方法は、各画像を強制的に同一平面上に投影する画像処理を行うため、投影後の画像間に生じる視差は、意図しない不適切なものとなる問題がある。一方、特許文献2に記載の方法は、2つの画像間の対応点が一致するように画像を変形させるため、本来残したい視差に起因する画角ずれも補正されてしまい、視差の情報が失われるという問題がある。本発明はこのような事情に鑑みてなされたもので、複数の撮像ユニットの設置姿勢、ズーム率等のばらつきに起因する複数の画像間の画角のばらつきを幾何変形により吸収する際に、本来画像間に生じるべき視差による画角ずれを残すように幾何変形することができ、これにより理想的な視差画像を得ることができる立体画像処理装置、方法及びプログラム並びに立体撮像装置を提供することを目的とする。前記目的を達成するために本発明の一の態様に係る立体画像処理装置は、複数の視点から同一被写体を撮影した複数の画像を取得する画像取得手段と、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出手段と、前記同じ組に含まれる特徴点と対応点の、前記複数の視点の視差方向と直交する方向のy座標のみが略一致するように前記対象画像を幾何変形する画像変形手段と、を備えたことを特徴としている。本発明の一の態様に係る発明によれば、複数の視点から同一被写体を撮影した複数の画像のうちの所定の画像基準画像と前記基準画像以外の画像対象画像のそれぞれの対応点間の変位のうち、前記複数の視点の視差方向と直交する方向の成分を略ゼロにするという拘束条件を設けている。即ち、前記検出した複数の組の対応点のうちの一方の対応点のxy座標値と、他方の対応点のxy座標値とのうち、前記複数の視点の視差方向と直交する方向のy座標のみが略一致するように前記対象画像を幾何変形することで、本来、基準画像と対象画像間に生じるべき視差による画角ずれを残しつつ、視差方向と直交する方向の画角ずれを補正することができ、理想的な視差画像を得ることができる。本発明の他の態様に係る立体画像処理方法は、複数の視点から同一被写体を撮影した複数の画像を取得する画像取得工程と、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出工程と、前記同じ組に含まれる特徴点と対応点の、前記複数の視点の視差方向と直交する方向のy座標のみが略一致するように前記対象画像を幾何変形する画像変形工程と、を含むことを特徴としている。本発明の更に他の態様に係る立体画像処理プログラムは、複数の視点から同一被写体を撮影した複数の画像を取得する画像取得機能と、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出機能と、前記同じ組に含まれる特徴点と対応点の、前記複数の視点の視差方向と直交する方向のy座標のみが略一致するように前記対象画像を幾何変形する、立体画像処理プロセスをコンピュータに実行させることを特徴としている。本発明の更に他の態様に係る立体画像処理プログラムは、複数の視点から同一被写体を撮影した複数の画像を取得し、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像から複数の特徴点を、前記対象画像から対応点を検出して、同じ組に含まれる特徴点と対応点の特徴が略一致するような特徴点と対応点の組を生成し、前記同じ組に含まれる特徴点と対応点について、前記複数の視点の視差方向と直交する方向のy座標のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定し、前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する、立体画像処理プロセスをコンピュータに実行させることを特徴としている。本発明の更に他の態様に係る立体撮像装置は、上記立体画像処理装置と、複数の視点位置にそれぞれ配置され、該視点位置から同一被写体をそれぞれ撮像する複数の撮像ユニットと、を備え、前記画像取得手段は、前記複数の撮像ユニットによってそれぞれ撮像された複数の画像を取得することを特徴としている。本発明によれば、複数の視点から同一被写体を撮影した複数の画像のうちの所定の画像基準画像と前記基準画像以外の画像対象画像のそれぞれの対応点間の変位のうち、前記複数の視点の視差方向と直交する方向の成分を略ゼロにするという拘束条件を設けた上で、対象画像を幾何変形するようにしたため、本来画像間に生じるべき視差による画角ずれを残しつつ、視差方向と直交する方向の画角ずれを補正することができ、理想的な視差画像を得ることができる。以下、添付図面に従って本発明に係る立体画像処理装置、方法及びプログラム並びに立体撮像装置の好ましい実施の形態について説明する。[立体撮像装置の全体構成]図1は本発明に係る立体撮像装置の全体構成を示すブロック図である。同図に示すように立体撮像装置10は、6台の撮像ユニット1~6を備えており、同一の被写体を6視点から撮影した6枚の画像視差画像を取得し、所定の形式の記録用画像データとして記録する装置である。中央処理装置CPU12には、制御バス16を介して撮像ユニット1~6及び発光部18が接続されるとともに、メインメモリ20、デジタル信号処理部22、積算部24、圧縮伸張処理部26、外部記録部28、表示部30、対応点検出部32、幾何変形部34、及び幾何変形パラメータ推定部36が接続されており、CPU12は、操作部14からの操作入力に基づき所定の制御プログラムに従って立体撮像装置10全体の動作を統括制御する制御手段として機能する。また、撮像ユニット1~6、メインメモリ20、デジタル信号処理部22、積算部24、圧縮伸張処理部26、外部記録部28、表示部30、対応点検出部32、幾何変形部34、及び幾何変形パラメータ推定部36は、それぞれデータバス38を介して接続されている。撮像ユニット1~6は、それぞれ図2に示すように同一の構成を有するものであり、撮影レンズ40、絞り41、IRカットフィルタ42、光学ローパスフィルタ43、撮像素子CCD44、A/D変換器45、レンズ駆動部46、絞り駆動部47、及びCCD駆動部48から構成されている。撮影レンズ40は、フォーカスレンズ、ズームレンズ等を含み、レンズ駆動部46に駆動されて光軸に沿って前後に移動する。CPU12は、レンズ駆動部46の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行うとともに、操作部14からのズーム指令に応じてズームレンズの位置を制御してズーミングを行う。絞り41は、例えば、アイリス絞りで構成されており、絞り駆動部47に駆動されて動作する。CPU12は、絞り駆動部47を介して絞り41の開口量絞り値を制御し、CCD44への入射光量を制御する。CCD44は、2次元のカラーCCD固体撮像素子により構成されている。CCD44の受光面には、多数のフォトダイオードが2次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。撮影レンズ40、絞り41、IRカットフィルタ42、及び光学ローパスフィルタ43を介してCCD受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、CPU12の指令に従ってCCD駆動部48から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号画像信号としてCCD44から順次読み出される。CCD44は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間シャッタ速度が制御される。尚、本実施形態では、撮像素子としてCCD44を用いているが、CMOSセンサ等の他の構成の撮像素子を用いることもできる。CCD44から読み出された画像信号は、A/D変換器45によりデジタル信号に変換された後、データバス38を介して一旦、メインメモリ20に格納される。上記構成の撮像ユニット1~6は、図3に示すように立体撮像装置10の装置本体に対して水平方向に、かつ所定の間隔所定の基線長で配置されており、更に各撮像ユニット1~6の撮影レンズの光軸が一点で交差するように輻輳角各光軸のなす角度が調整されて配置されている。CPU12は、各撮像ユニット1~6を同期させて駆動する。即ち、各撮影レンズ40は、常に同じ被写体にピントが合うように焦点調整が行われ、常に同じ焦点距離ズーム倍率に設定される。また、常に同じ入射光量絞り値となるように絞り41が調整される。操作部14は、シャッタボタン、電源スイッチ、モードダイヤル、十字ボタン、ズームボタン等の公知の操作入力手段を含んでいる。シャッタボタンは、いわゆる半押しと全押しとからなる2段ストローク式のスイッチで構成されている。撮影モード時には、シャッタボタンが半押しされると、撮影準備処理即ち、AEAutomaticExposure:自動露出、AFAutoFocus:自動焦点合わせ、AWBAutomaticWhiteBalance:自動ホワイトバランスが行われ、シャッタボタンが全押しされると、画像の撮影記録処理が行われる。発光部18は、例えば、放電管キセノン管により構成され、暗い被写体を撮影する場合や逆光時等に必要に応じて発光される。メインメモリ20は、CPU12によるプログラムの実行時におけるワークエリアとして、また、撮像ユニット1~6により撮像され取得されたデジタル画像信号を一時保持する記憶手段として使用される。デジタル信号処理部22は、ホワイトバランス調整回路、階調変換処理回路例えば、ガンマ補正回路、同時化回路単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路、輪郭補正回路、輝度色差信号生成回路等を含む画像処理手段として機能し、メインメモリ20に格納されたR、G、Bの画像データに対して所定の信号処理を行う。即ち、R、G、Bの画像信号は、デジタル信号処理部22において輝度信号Y信号及び色差信号Cr、Cb信号からなるYUV信号に変換されるとともに、階調変換処理例えば、ガンマ補正等の所定の処理が施される。デジタル信号処理部22により処理された画像信号はメインメモリ20に格納される。積算部24は、シャッタボタンの半押し時に取り込まれる画像信号に基づいてAF制御に必要な焦点評価値を算出したり、AE制御に必要な被写体輝度を算出する。CPU12は、AF制御時には積算部24により算出される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズを移動させることにより、被写体主要被写体への焦点合わせを行い、AE制御時には積算部24により算出された被写体輝度に基づいて適正な露光量を得るための露出設定を行う。即ち、撮影感度、絞り値、シャッタ速度、フラッシュ発光の要否を設定する。圧縮伸張処理部26は、CPU12からの指令に従い、入力された画像データに圧縮処理を施し、所定形式の圧縮画像データを生成する。例えば、静止画に対してはJPEG規格に準拠した圧縮処理が施され、動画に対してはMPEG2やMPEG4、H.264規格に準拠した圧縮処理が施される。また、圧縮伸張処理部26は、CPU12からの指令に従い、入力された圧縮画像データに伸張処理を施し、非圧縮の画像データを生成する。外部記録部28は、上記圧縮伸張処理部26により生成されたJPEG形式等の画像データを格納した画像ファイルをメモリカード等の着脱自在な外部記録媒体に記録し、又は外部記録媒体から画像ファイルの読み出しを行う。表示部30は、例えば、カラー液晶パネルを備えた表示装置により構成され、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にGUIとして使用される。また、表示部30は、撮影モード時に画角を確認するための電子ファインダとして利用される。表示部30の表面には、かまぼこ状のレンズ群を有したいわゆるレンチキュラレンズが配置されており、複数の視点の画像視差画像による3次元画像3D画像の再生モード時には、外部記録部28から読み出された視差画像が表示され、ユーザは立体視が可能となる。図4Aに示すように撮像ユニット1~6から得られる6枚の画像は、理想的には各画像間には視差のみによる被写体のずれが生じるが、実際は、図4Bに示すように視差に加えて撮像ユニット1~6の姿勢やズーム倍率のばらつきに因って被写体のずれが生じる。対応点検出部32、幾何変形部34、及び幾何変形パラメータ推定部36は、画像を幾何変形させて上記被写体のずれを補正する本発明の特徴部分であり、以下、図5に示すフローチャートを参照しながら説明する。<立体画像処理の全体的な流れ>図5は本発明に係る立体画像処理の全体の流れを示すフローチャートである。[ステップS10]視差画像の撮像時には、6台の撮像ユニット1~6により同一被写体が撮像され、得られた6枚の画像が記録される。この際、各画像はデジタル信号処理部22により前述した各種の信号処理が施された後、メインメモリ20に一時的に格納される。尚、外部記録部28により外部記録媒体に記録するようにしてもよい。[ステップS12]メインメモリ20に格納された6枚の画像のうち、所定の1枚の画像この実施の形態では、撮像ユニット3から得られた画像が基準画像として設定され、その設定された基準画像がメインメモリ20から読み出される。尚、この実施の形態では、撮像ユニット3から得られた画像を基準画像として設定するようにしたが、これに限らず、6枚の画像のうち、いずれの画像を基準画像に設定してもよい。[ステップS14]前記設定された基準画像以外の5画像のうち所定の1画像が対象画像として選択され、その選択された対象画像がメインメモリ20から読み出される。[ステップS16]対応点検出部32は、前記設定された基準画像と前記選択された対象画像との間で特徴が略一致する複数の組の対応点を検出する。対応点検出部32による対応点検出については、従来から様々な手法が提案されている。本発明はその手法には限定されないが、例えば、ブロックマッチング法、KLT法、SIFTなどの従来技術を用いることができる。尚、この実施の形態では、便宜上、対応点検出部32により検出された各組ペアの対応点のうち、基準画像から検出された対応点を特徴点と称す。[ステップS18]幾何変形パラメータ推定部36は、前記特徴点と対応点の複数の組の座標値に基づいて射影変換パラメータを推定算出する。尚、このステップS18の詳細については後述する。[ステップS20]前記射影変換パラメータが正常なものとして推定されたかを判別し、正常の場合yesの場合には、ステップS22に遷移し、正常でない場合noの場合には、ステップS22を飛ばしてステップS24に遷移する。[ステップS22]幾何変形部34は、正常に推定された射影変換パラメータに基づいて対象画像を射影変換する。射影変換後の画像は、外部記録部28にて外部記録媒体に記録される。[ステップS24]前記基準画像と5枚の対象画像の全ての画像間において、上記ステップS14~S22の処理が終了したか否かが判別される。終了していない場合にはステップS14に遷移し、ここで他の対象画像の選択が行われ、終了した場合には、本立体画像処理を終了させる。<射影変換パラメータ推定の流れ>次に、複数の特徴点と対応点の組に基づいて射影変換パラメータを推定する手順について説明する。ここで、射影変換式は、次式の通りである。射影変換パラメータは、[数1]式中のa、b、s、c、d、t、p、qの8個のパラメータを指す。また、、は、それぞれ射影変換前後の座標値を示す。図6Aは基準画像から抽出された特徴点●を基準画像上に重畳した図であり、図6Bは対象画像から検出された対応点○を対象画像上に重畳した図である。また、図6Cには、それぞれ対応する特徴点と対応点とを結ぶベクトルが示されている。尚、図6において、特徴点Aと対応点A’とは、ある1組の特徴点と対応点を示している。本来、特徴点と対応点は、同じ高さ=y座標値が略同じになるはずであるが、撮像ユニット1~6の姿勢、ズーム率のばらつきに起因して被写体のずれが生じているため、特徴点Aと対応点A’の高さy座標値は一致していない。そこで、本発明は射影変換パラメータを推定するに当たっては、特徴点と対応点を結ぶ線分以下、ベクトルというが略水平になるつまり、特徴点と対応点のy座標値が略一致することを1つの拘束条件とする。この拘束条件は、6つの撮像ユニット1~6が装置本体に水平に設置されていることに基づく。もし、複数の撮像ユニットが垂直に設置されている場合には、ベクトルが垂直になるという仮定を置く必要がある。要は、複数の視点の視差方向と直交する方向の座標値が略一致するという拘束条件を設ける。図7は本発明に係るパラメータ推定の概念を示す図である。図7に示すように、特徴点と対応点のずれ同図の複合ベクトルを生じさせる要因を分離して考えると、視差と撮像ユニットの姿勢等のばらつきとがある。同図からも分かるように、複合ベクトルのy成分には、視差の影響はなく、撮像ユニットの姿勢等のばらつきによる成分のみが現れる。そこで、本発明はベクトルのy成分からカメラ姿勢等に関連する射影変換パラメータを推定算出する。<射影変換パラメータ推定の処理フロー>図8及び図9は本発明に係る射影変換パラメータの推定手順の一例を示すフローチャートである。[ステップS100]基準画像から抽出した特徴点と対象画像から検出した各特徴点に対応する対応点のペア組の全ての組数をN組とした場合、このN組の特徴点の座標xyと対応点の座標を読み込む。i番目1≦i≦Nの組の特徴点の座標を、対応点の座標をとする。[ステップS102]対応点検出部32によって得られた特徴点と対応点の組の数が少ない場合は、射影変換パラメータの推定ができないため、ペア数Nに対する閾値処理を行う。即ち、特徴点と対応点の組の数Nに対する閾値TH1を設け、以下の条件分岐を行う。IFN<TH1→パラメータの推定に失敗したというフラグを立て推定を終了する図9のステップS124。ELSE→パラメータの推定を続行する。尚、射影変換パラメータを推定するためには、最低5つの組の座標値が必要であるため、前記閾値TH1は、5以上の所定の値とする。[ステップS104]反復回数irandとパラメータ信頼度の最大値nvotemaxを初期化する両者ともに0にする。[ステップS106]特徴点と対応点のN組のうち、5つの組をランダムに選択する。5組のランダムな選択は、乱数を使用して行うことができる。[ステップS108]ステップS106で選択された5組の特徴点と対応点の座標値5つの特徴点のxy座標値と、5つの対応点のy座標値に基づいて、5組の特徴点と対応点のy座標値を一致させるための射影変換パラメータを算出する。前述の[数1]式に示したように、y方向に関する射影変換パラメータは、c、d、t、p、qの5つであるため、5つの点の座標値を[数1]式に代入して得られる5つ式による連立方程式を解けば、一意にパラメータc、d、t、p、qを算出することができる。[ステップS110]前記算出されたパラメータc、d、t、p、qを代入した射影変換式に、全ての点の組N組を当てはめ、以下の条件式1を満たす点の数nvoteを計数する。この条件式1の意図するところは、5つの点の組から定めた射影変換パラメータにより、その他の点の組のy座標値が一致したかどうかを判断することにある。つまり、N本あるベクトルのうち、いくつのベクトルが水平になったかを表すのが、nvoteの値である。このnvoteが大きければ大きいほど、該射影変換パラメータの信頼度が高いと判断できる。[ステップS112]ステップS110で算出した数nvoteと、信頼度最大値nvotemaxとを比較し、nvoteがnvotemaxよりも大きい場合nvote>nvotemaxには、ステップS114に遷移し、小さい場合nvote≦nvotemaxには、ステップS118に遷移する。[ステップS114]前記算出されたパラメータc、d、t、p、qを、中間パラメータctmp、dtmp、ttmp、ptmp、qtmpとして一時記憶するとともに、nvoteを最大値nvotemaxとして一時記憶する。射影変換パラメータを推定する際は、以下に説明するようにステップS106からステップS118の処理を既定回数nrand繰り返し行うが、そのうち最もnvoteが大きくなったときのパラメータが、最も信頼度が高いと考えられる。そのため、前回の信頼度nvoteをnvotemaxとして保持しておき、今回の信頼度が前回の信頼度よりも大きくなる場合に、各パラメータを更新していく。[ステップS116]信頼度最大値nvotemaxの全ての組の数Nに対する比率nvotemax/Nを求め、この比率に対する閾値処理を行う。即ち、予め設定した閾値TH2により、以下の条件分岐を行う。IFnvotemax/N<TH2→パラメータの推定を続行する。ELSE→パラメータの反復推定を終了し、最終の射影変換パラメータの算出に遷移する図9のステップS126。尚、前記閾値TH2は、1よりも小さい1近傍の値として設定することができる。信頼度最大値nvotemaxは、N個の点の組のうち、推定されたパラメータによる射影変換によりy座標値が略一致する点の組の数であるから、nvotemax/Nは、全ての点の組の数Nに対する適正に補正される点の数の割合を示す。従ってnvotemax/NがTH2以上の場合は、推定されたパラメータは十分信頼できるとして、パラメータの反復推定を終了し、最終の射影変換パラメータの算出に移行する。一方、nvotemax/NがTH2未満の場合は、パラメータの反復推定を続行する。[ステップS118]パラメータを反復推定した反復回数irandが、既定回数nrandより大きいか否かを判別する。反復回数irandが既定回数nrand以下の場合noの場合には、ステップS120に遷移し、既定回数nrandよりも大きい場合yesの場合には、ステップS122に遷移する。既定回数nrandとしては、画像中の特徴点と対応点の組の数Nにもよるが、1000から10000回程度が考えられる。[ステップS120]反復回数irandを1だけインクリメントし、ステップS106に遷移する。[ステップS122]反復回数irandが既定回数nrandよりも大きくなった場合には、ステップS114にて保持されている現在の信頼度最大値nvotemaxの全ての組の数Nに対する比率nvotemax/Nを求め、この比率に対する閾値処理を行う。即ち、予め設定した閾値TH3により、以下の条件分岐を行う。IFnvotemax/N<TH3→パラメータの推定に失敗したというフラグを立て推定を終了する図9のステップS124。ELSE→パラメータの反復推定を終了し、最終の射影変換パラメータを算出するためのステップ図9のステップS126に遷移する。尚、前記閾値TH3は、ステップS114の閾値TH2よりも小さい値であることは言うまでもない。[ステップS124図9]前述したように、特徴点と対応点の組の数Nが閾値TH1未満の場合ステップS102、又は推定したパラメータの信頼度が低い場合nvotemax/N<TH3に、射影変換パラメータの推定に失敗したという推定失敗フラグを立て、射影変換パラメータの推定を終了させる。[ステップS126]ステップS114で保持した中間パラメータctmp、dtmp、ttmp、ptmp、qtmpを代入した射影変換式に、全ての点の組N組を当てはめ、N組から以下の条件式2を満たす組のみを残す条件式2を満たさない組を排除する。これにより、信頼度の高い特徴点と対応点の組のみを残すことができる。[ステップS128]上記条件式2を満たした点の組のみを用い、最小自乗法による最終的なパラメータの推定を行う。ここで、条件式2を満たした点の組の数をnとすると、最小自乗法によるパラメータ推定は、次式の評価関数J2が最小となるようにパラメータを推定する。尚、評価関数J2は、評価関数J1と等価なものである。具体的には、次式に示すように、評価関数J2を各パラメータc、d、t、p、qで偏微分して得られる5つの式それぞれを0とおき、これら5つの式により連立方程式を解けば、パラメータc、d、t、p、qが求められる。以上の連立方程式を解くことで、最終のパラメータc、d、t、p、qが得られる。[ステップS130]次に、8個の射影変換パラメータa、b、s、c、d、t、p、qのうち、前記推定したパラメータc、d、t、p、q以外の射影変換先のx座標値を決定するために必要な残りのパラメータa,b,sを決定する。ここで、パラメータsは、x方向視差の生じる方向の平行移動量に相当するパラメータである。視差量が未知で、sを一意に定めることはできないため、s=0とする。一方、パラメータa,bの算出は、例えば、次のようにする。今、図10に示すような座標系を考える。原点Oから距離1のところに画像面があるとし、画像面上の各点を、射影面上に射影する、つまり、P1の点をP2に写すことを考える。ここで、画像面と射影面のなす角度をθ、射影面をx’軸上にとる。また、射影面とz軸画像の奥行き方向の交点をO’とし、x’軸上の原点とする。P1のx座標値をx、x’軸で考えたときのP2のx座標値をx’とすると、以下の式が成り立つ。これを一般化し、射影面がx軸となす角度をθx,y軸図10上で紙面と直交する方向の軸となす角度をθyとすれば、以下の式が得られる。上記[数7]式上で、は画像面上の座標値、は射影面上での座標値である。また、wとhはそれぞれ画像の幅と高さを表しており、画像の幅と高さについて規格化している。この操作は、撮像ユニットの光軸の方向を調整していることに該当する。続いて、射影面上に射影された画像に対して、回転とスケール変化、平行移動を行う。この操作は、撮像ユニットのズーム率や、光軸の回転を調整していることに該当する。ここで、回転角度をθ0、ズームに起因するスケール変化率をk、平行移動量をとすると、以下の式が成り立つ。上記[数8]式に[数7]式を代入すると、以下の式が得られる。これを射影変換式[数1]式と比較すると、以下の関係が導かれる。上記[数10]式において、既にc、d、t、p、qは既知であるため、これらの式からθx、θy、θ0、kを求めることができ、これらのθx、θy、θ0、kからa,bを算出することができる。ただし、上述したようにs=s’=0としてa、bを算出する。[ステップS132]以上の手順により、8個の射影変換パラメータa、b、s、c、d、t、p、qの推定算出が終了すると、推定成功フラグを立て、射影変換パラメータの推定を終了させる。尚、この実施の形態では、[数3]式に示した条件を満たした点の組のみを用い、最小自乗法により最終的なパラメータの推定を行うようにしたが、これに限らず、前記中間パラメータをそのまま使用するようにしてもよい。<その他>以上の推定手法によれば、特徴点を射影変換するための射影変換パラメータが算出される。つまり、得られた射影変換パラメータは、基準画像を変形させるためのものと言える。本来、算出すべきパラメータは、対象画像を変形させるためのパラメータであるが、そうしていないことには以下の理由がある。通常、入力された画像を変形して出力する際には、出力画像の各画素位置が入力画像上でどこに位置するかを計算する。これは、入力画像の各画素が出力画像上でどこに位置するかを計算していくと、データのない領域が発生してしまうことを回避するための一般的な手法である。つまり、対象画像を変形するために必要となるパラメータは、実際のところ、特徴点を変換するためのパラメータで良い。また、この実施の形態では、画像の幾何変形の手法として、射影変換を用いたが、ヘルマート変換や、アフィン変換などの幾何変形を用いることも当然可能である。その場合、パラメータの推定方法が射影変換の場合と比較して若干異なる。例えば、ヘルマート変換式は、次式のように表される。射影変換パラメータの推定方法と同様の考え方をするならば、Yを求める5つのパラメータc、d、t、p、qを5組の特徴点と対応点を用いて算出していたところを、3組の特徴点と対応点を用いて、[数11]式のYを求めるためのパラメータa、b、tを推定するように変更すればよい。また、最小自乗法による最終的なパラメータの推定を行う場合には、評価関数Jを次式のようにすればよい。尚、ヘルマート変換式では、[数11]式に示したように、Xを求めるパラメータにもa、bが含まれているため、Yを定めるパラメータを推定しさえすれば、Xを定めるパラメータも必然と得られることになる。また、射影変換の場合と同様、Xに対する平行移動成分であるパラメータsについては、s=0として考えればよい。その他の幾何変形を行う場合も同様の考え方でその幾何変形用のパラメータを推定することが可能である。また、この実施の形態の立体撮像装置は、6つの撮像ユニットを有する複眼カメラであるが、撮像ユニットの数は2以上あればよく、この実施の形態のものに限定されず、更に撮像ユニットが複数備わった複眼カメラに限らず、単眼のカメラが複数台備わったカメラシステムにおいても本発明を適用することができる。更に、本発明に係る立体画像処理は、立体撮像装置によって行う場合に限らず、視差画像の撮影機能を持たないパーソナルコンピュータ等で行うようにしてもよい。この場合、従来の複眼カメラ等によって撮影された複数の画像視差画像をパーソナルコンピュータ等に取り込むようにすればよい。また、本発明は、理想的な視差画像を得るための幾何変形処理を行う機能を、パーソナルコンピュータに実現させるプログラムとして提供することも可能である。また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。"