"同じ被写体が描かれた第1の画像及び第2の画像のうち、前記第2の画像を構成する第2の画素を、前記第1の画像を構成する画素のうち、前記第2の画素に対応する第1の画素が近接するエピポーラ線に変換する変換行列をフレーム毎に算出し、かつ、現フレームの前記変換行列を前フレームの前記変換行列に拘束させる変換行列算出部を備える、画像処理装置。前記変換行列算出部は、前記第1の画素の座標を成分とする第1のベクトルと、前記第2の画素の座標を成分とする第2のベクトルを現フレームの前記変換行列で変換することで得られるエピポーラベクトルとの内積の最小二乗問題を解くことで、現フレームの前記変換行列を算出する、請求項1記載の画像処理装置。前記変換行列算出部は、前記第1のベクトルと前記エピポーラベクトルとの内積の最小二乗問題である第1の最小二乗問題を解き、かつ、現フレームの前記変換行列と、前フレームの前記変換行列の直交ベクトル群との相関の最小二乗問題である第2の最小二乗問題を解くことで、現フレームの前記変換行列を算出する、請求項2記載の画像処理装置。前記変換行列は、前記第1の画素を変換する第1のホモグラフィー行列と、固定値で構成される固定値行列と、前記第2の画素を変換する第2のホモグラフィー行列との積であり、前記変換行列算出部は、前記第1のベクトルを前フレームの前記第1のホモグラフィー行列で変換することで第1の変換ベクトルを算出し、前記第2のベクトルを前フレームの前記第2のホモグラフィー行列で変換することで第2の変換ベクトルを算出し、現フレームの前記変換行列のうち、前記固定値行列に相当する固定値相当ベクトルと、前フレームの固定値ベクトルの直交ベクトル群との相関の最小二乗問題を前記第2の最小二乗問題として解くことで、前記固定値相当ベクトルを算出し、前記固定値相当ベクトルと、前フレームの前記第1のホモグラフィー行列及び前記第2のホモグラフィー行列と、に基づいて、現フレームの前記変換行列を算出する、請求項3記載の画像処理装置。前記変換行列算出部は、現フレームの前記変換行列を前フレームの前記変換行列に所定の重みを乗じた行列に拘束させる、請求項1記載の画像処理装置。前記変換行列算出部は、前記第1の画像及び前記第2の画像の状況に基づいて、前記重みの値を調整する、請求項5記載の画像処理装置。前記変換行列算出部は、前記第1の画素及び前記第2の画素の状況に基づいて調整された前記重みの値を基準として、前記重みの値を再調整する、請求項6記載の画像処理装置。前記第1の画像及び前記第2の画像をそれぞれ複数の第1の画素ブロック及び第2の画素ブロックに分割し、前記第1の画素ブロックから特徴量が所定値以上の第1の特徴点を抽出し、前記第2の画素ブロックから前記第1の特徴点に対応する第2の特徴点を抽出する特徴量マッチング部と、前記第1の特徴点と前記第2の特徴点との組である特徴点ペアのうち、前記第1の特徴点と前記第2の特徴点とを連結する特徴量ベクトルの頻度が所定値以上となる特徴点ペアである代表点ペアを、前記第1の画素ブロック毎に抽出する対応点リファインメント部と、を備え、前記変換行列算出部は、前記対応点リファインメント部により抽出された前記代表点ペアに基づいて、現フレームの前記変換行列を算出する、請求項1記載の画像処理装置。前記変換行列算出部は、現フレームの前記変換行列を成分ごとに算出する、請求項1記載の画像処理装置。前記変換行列算出部は、前記変換行列の各成分が格納された更新テーブルからいずれかの成分を抽出し、抽出された成分を用いて前フレームの前記変換行列を更新することで、現フレームの前記変換行列を算出する、請求項1記載の画像処理装置。前記第1の画素から前記エピポーラ線に下ろした垂線と、前記エピポーラ線との交点を算出し、前記第1の画素の周辺パッチと、前記交点の周辺パッチとの相関が最大となるように、現フレームの前記変換行列を調整する変換行列調整部を備える、請求項1記載の画像処理装置。同じ被写体が描かれた第1の画像及び第2の画像のうち、前記第2の画像を構成する第2の画素を、前記第1の画像を構成する画素のうち、前記第2の画素に対応する第1の画素が近接するエピポーラ線に変換する変換行列をフレーム毎に算出し、かつ、現フレームの前記変換行列を前フレームの前記変換行列に拘束させるステップを含む、画像処理方法。コンピュータに、同じ被写体が描かれた第1の画像及び第2の画像のうち、前記第2の画像を構成する第2の画素を、前記第1の画像を構成する画素のうち、前記第2の画素に対応する第1の画素が近接するエピポーラ線に変換する変換行列をフレーム毎に算出し、かつ、現フレームの前記変換行列を前フレームの前記変換行列に拘束させる変換行列算出機能を実現させる、プログラム。しかし、既知パターンはあらゆる画像に適用できるわけではないので、特許文献1記載の技術には、既知パターンが適用できない画像に対して補正を行うことができないという問題があった。また、DLT法による変換パラメータは、時間的なロバスト性が低い即ち、時間の経過によりパラメータの値がばらつくので、非特許文献1記載の技術には、安定した補正を行うことができないという問題があった。そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、従来よりも多様な画像に適用でき、かつ、時間的なロバスト性が従来よりも高い幾何補正用情報を生成することが可能な、新規かつ改良された画像処理装置、画像処理方法、及びプログラムを提供することにある。上記課題を解決するために、本発明のある観点によれば、同じ被写体が描かれた第1の画像及び第2の画像のうち、第2の画像を構成する第2の画素を、第1の画像を構成する画素のうち、第2の画素に対応する第1の画素が近接するエピポーラ線に変換する変換行列をフレーム毎に算出し、かつ、現フレームの変換行列を前フレームの変換行列に拘束させる変換行列算出部を備える、画像処理装置が提供される。ここで、変換行列算出部は、第1の画素の座標を成分とする第1のベクトルと、第2の画素の座標を成分とする第2のベクトルを現フレームの変換行列で変換することで得られるエピポーラベクトルとの内積の最小二乗問題を解くことで、現フレームの変換行列を算出するようにしてもよい。また、変換行列算出部は、第1のベクトルとエピポーラベクトルとの内積の最小二乗問題である第1の最小二乗問題を解き、かつ、現フレームの変換行列と、前フレームの変換行列の直交ベクトル群との相関の最小二乗問題である第2の最小二乗問題を解くことで、現フレームの変換行列を算出するようにしてもよい。また、変換行列は、第1の画素を変換する第1のホモグラフィー行列と、固定値で構成される固定値行列と、第2の画素を変換する第2のホモグラフィー行列との積であり、変換行列算出部は、第1のベクトルを前フレームの第1のホモグラフィー行列で変換することで第1の変換ベクトルを算出し、第2のベクトルを前フレームの第2のホモグラフィー行列で変換することで第2の変換ベクトルを算出し、現フレームの変換行列のうち、固定値行列に相当する固定値相当ベクトルと、前フレームの固定値ベクトルの直交ベクトル群との相関の最小二乗問題を第2の最小二乗問題として解くことで、固定値相当ベクトルを算出し、固定値相当ベクトルと、前フレームの第1のホモグラフィー行列及び第2のホモグラフィー行列と、に基づいて、現フレームの変換行列を算出するようにしてもよい。また、変換行列算出部は、現フレームの変換行列を前フレームの変換行列に所定の重みを乗じた行列に拘束させるようにしてもよい。また、変換行列算出部は、第1の画像及び第2の画像の状況に基づいて、重みの値を調整するようにしてもよい。また、変換行列算出部は、第1の画素及び第2の画素の状況に基づいて調整された重みの値を基準として、重みの値を再調整するようにしてもよい。また、第1の画像及び第2の画像をそれぞれ複数の第1の画素ブロック及び第2の画素ブロックに分割し、第1の画素ブロックから特徴量が所定値以上の第1の特徴点を抽出し、第2の画素ブロックから第1の特徴点に対応する第2の特徴点を抽出する特徴量マッチング部と、第1の特徴点と第2の特徴点との組である特徴点ペアのうち、第1の特徴点と第2の特徴点とを連結する特徴量ベクトルの頻度が所定値以上となる特徴点ペアである代表点ペアを、第1の画素ブロック毎に抽出する対応点リファインメント部と、を備え、変換行列算出部は、対応点リファインメント部により抽出された代表点ペアに基づいて、現フレームの変換行列を算出するようにしてもよい。また、変換行列算出部は、現フレームの変換行列を成分ごとに算出するようにしてもよい。また、変換行列算出部は、変換行列の各成分が格納された更新テーブルからいずれかの成分を抽出し、抽出された成分を用いて前フレームの変換行列を更新することで、現フレームの変換行列を算出するようにしてもよい。また、第1の画素からエピポーラ線に下ろした垂線と、エピポーラ線との交点を算出し、第1の画素の周辺パッチと、交点の周辺パッチとの相関が最大となるように、現フレームの変換行列を調整する変換行列調整部を備えるようにしてもよい。本発明の他の観点によれば、同じ被写体が描かれた第1の画像及び第2の画像のうち、第2の画像を構成する第2の画素を、第1の画像を構成する画素のうち、第2の画素に対応する第1の画素が近接するエピポーラ線に変換する変換行列をフレーム毎に算出し、かつ、現フレームの変換行列を前フレームの変換行列に拘束させるステップを含む、画像処理方法が提供される。本発明の他の観点によれば、コンピュータに、同じ被写体が描かれた第1の画像及び第2の画像のうち、第2の画像を構成する第2の画素を、第1の画像を構成する画素のうち、第2の画素に対応する第1の画素が近接するエピポーラ線に変換する変換行列をフレーム毎に算出し、かつ、現フレームの変換行列を前フレームの変換行列に拘束させる変換行列算出機能を実現させる、プログラムが提供される。以上説明したように本発明は、幾何補正用情報として変換行列を算出する。この変換行列は、エピポーラ拘束条件、即ち、第2の画素を変換行列によって変換することで得られるエピポーラ線に第1の画素が近接するという条件をみたすので、従来の既知パターンよりも多様な画像に適用可能である。また、変換行列は、前フレームの変換行列に拘束されるので、従来よりも時間的なロバスト性が高くなる。以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。なお、説明は以下の順序で行うものとする。1.裸眼立体視表示装置が行なう処理の概要2.画像処理装置の構成2-1.カラーキャリブレーション部の構成2-2.幾何キャリブレーション部の構成2-3.視差検出部の構成3.画像処理装置が行なう処理<1.裸眼立体視表示装置が行なう処理の概要>本願の発明者は、立体視専用の眼鏡がなくても、画像の立体視表示が可能な裸眼立体視表示装置について鋭意研究を重ね、その過程において、本実施の形態に係る画像処理装置を発明するに至った。ここで、立体視表示とは、視認者に両眼視差を生じさせることで、画像を立体的に表示することを意味する。そこで、まず、画像処理装置を含む裸眼立体視表示装置が行なう処理について、図1に示すフローチャートに沿って説明する。ステップS1において、裸眼立体視表示装置は、現フレームの入力画像VL、VRを取得する。図2、図3に入力画像VL、VRの一例を示す。なお、本実施の形態では、入力画像VL、VRの左上端の画素を原点とし、水平方向をx軸、垂直方向をy軸とする。右方向がx軸の正方向であり、下方向がy軸の正方向である。各画素は、座標情報x、yと、色情報輝度明度、彩度、色相とを有している。以下、入力画像VL及び入力画像VLに各キャリブレーションを行なうことで得られる画像上の画素を左側座標点とも称し、入力画像VR及び入力画像VRに各キャリブレーションを行なうことで得られる画像上の画素を右側座標点とも称する。図2、図3に示すように、入力画像VL、VRには同じ被写体例えば海、魚、ペンギンが互いに異なる水平位置x座標に描かれている。図2に示す入力画像VL、VRは、互いに色ズレが起こっている。すなわち、同じ被写体が入力画像VLと入力画像VRとで異なる色で描かれている。例えば、被写体画像VL1と被写体画像VR1とはいずれも同じ海を示すが、色が互いに異なっている。一方、図3に示す入力画像VL、VRは、互いに幾何ズレが起こっている。すなわち、同じ被写体が異なる高さ位置y座標に描かれている。例えば、被写体画像VL2と被写体画像VR2とはいずれも同じペンギンを示すが、被写体画像VL2のy座標と被写体画像VR2のy座標とは互いに異なっている。図3には、幾何ズレの理解を容易にするために、直線L1、L2が描かれている。そこで、裸眼立体視表示装置は、カラーキャリブレーション及び幾何キャリブレーションを行なうことで、これらのズレを低減する。すなわち、カラーキャリブレーションは、入力画像VL、VRの色ズレを補正する処理であり、幾何キャリブレーションは、入力画像VL、VRの幾何ズレを補正する処理である。ステップS2において、裸眼立体視表示装置は、カラーキャリブレーション及び幾何キャリブレーション済みの入力画像VL、VRであるキャリブレーション済み画像VL-2、VR-2に基づいて、視差検出を行なう。視差検出の様子を図4に示す。図4に示すように、裸眼立体視表示装置は、キャリブレーション済み画像VL-2上の座標点PL-21と、エピポーラ線EPR-21上の各点との水平視差d1x座標の差を算出し、これらのうち最適なもの、即ち座標点PR-21との水平視差d1を座標点PL-21の水平視差d1とする。ここで、エピポーラ線EPR-21は、キャリブレーション済み画像VR-2上に描かれ、座標点PL-21と同じy座標を有し、水平方向に伸びる直線である。このような探索が可能になるのは、裸眼立体視表示装置が予め幾何キャリブレーションを行なうことで、キャリブレーション済み画像VL-2とキャリブレーション済み画像VR-2との幾何ズレが低減されているからである。裸眼立体視表示装置は、キャリブレーション済み画像VL-2上のすべての画素について水平視差d1を算出することで、視差マップディスパリティマップDMを生成する。視差マップDMには、キャリブレーション済み画像VL-2上のすべての画素について水平視差d1が記述されている。図4では、水平視差d1の程度がハッチングの濃淡で示されている。ステップS3において、裸眼立体視表示装置は、視差マップDMと、キャリブレーション済み画像VL-2、VR-2とに基づいて、多視点画像VVを複数生成する。例えば、図4に示す多視点画像VVは、キャリブレーション済み画像VL-2とキャリブレーション済み画像VR-2との間を補間する画像である。したがって、画素PL-21が示す被写体上の点と同じ点を示す画素PV1は、画素PL-21と画素PR-21との間に存在する。ここで、各多視点画像VVは、裸眼立体視表示装置によって立体視表示される画像であり、それぞれ異なる視点視認者の目の位置に対応する。すなわち、視認者の目が視認する多視点画像VVは、視認者の目の位置に応じて異なる。例えば、視認者の右目と左目とは異なる位置に存在するので、互いに異なる各多視点画像VVを視認する。これにより、視認者は、多視点画像VVを立体視することができる。また、視認者が移動することによって、視認者の視点が変わっても、その視点に対応する多視点画像VVがあれば、視認者は多視点画像VVを立体視することができる。このように、多視点画像VVの数が多いほど、視認者はより多くの位置で多視点画像VVを立体視することができる。また、多視点画像VVが多いほど、逆視、即ち視認者が本来右目で視認すべき多視点画像VVを左目で視認するという現象が生じにくくなる。また、多視点画像VVを複数生成することによって、運動視差の表現が可能となる。ステップS4において、裸眼立体視表示装置は、フォールバックを行なう。この処理は、概略的には、各多視点画像VVをその内容に応じて再度補正する処理である。ステップS5において、裸眼立体視表示装置は、各多視点画像VVを立体視表示する。<2.画像処理装置の構成>次に、本実施の形態に係る画像処理装置1の構成を図面に基づいて説明する。図5に示すように、画像処理装置1は、カラーキャリブレーション部2と、幾何キャリブレーション部3と、視差検出部4とを備える。カラーキャリブレーション部2は、現フレームの入力画像VL、VRに対して上述したカラーキャリブレーションを行い、幾何キャリブレーション部3は、カラーキャリブレーション済みの入力画像VL、VRであるカラーキャリブレーション済み画像VL-1、VR-1に対して上述した幾何キャリブレーションを行う。視差検出部4は、キャリブレーション済み画像VL-2、VR-2に対して上述した視差検出を行なう。したがって、画像処理装置1は、裸眼立体視表示装置が行う処理のうち、上述したステップS1~S2の処理を行う。<2-1.カラーキャリブレーション部の構成>次に、カラーキャリブレーション部2の構成を図6に基づいて説明する。図6に示すように、カラーキャリブレーション部2は、ヒストグラムマッチング部201と、線形カラーパラメータフィッティング部202と、特徴量マッチング部203と、非線形カラーパラメータフィッティング部204と、評価部205と、カラーキャリブレーション実行部206とを備える。[ヒストグラムマッチング部の構成]ヒストグラムマッチング部201は、図7に示すように、ブロック分割部207と、ヒストグラム生成部208と、DPDynamicProgramingマッチング部209と、カラーペア算出部210とを備える。ブロック分割部207は、図8aに示すように、入力画像VLを8つの画素ブロックBL-1に分割する。ここで、各画素ブロックBL-1は矩形となっており、すべて同じ大きさである。また、ブロック分割部207は、各画素ブロックBL-1の中心点となる画素を抽出し、抽出された画素の座標を各画素ブロックBL-1の座標とする。同様に、ブロック分割部207は、図8bに示すように、入力画像VRを8つの画素ブロックBR-1に分割する。ここで、各画素ブロックBR-1は画素ブロックBL-1と同じ大きさ、形状となっている。また、ブロック分割部207は、各画素ブロックBR-1の中心点となる画素を抽出し、抽出された画素の座標を各画素ブロックBR-1の座標とする。したがって、各画素ブロックBL-1には、同じ座標を有する画素ブロックBR-1が存在する。言い換えれば、画素ブロックBL-1と画素ブロックBR-1とは1対1で対応する。そこで、ブロック分割部207は、画素ブロックBL-1と画素ブロックBR-1とを対応付ける。なお、画素ブロックBL-1、BR-1の数は8に限定されない。そして、ブロック分割部207は、各画素ブロックBL-1、BR-1内の階調を64階調に落とす。なお、各画素ブロックBL-1、BR-1内の階調は64階調に限定されない。元の入力画像VL、VRの階調も特に限定されるものではないが、例えば1024階調となる。そして、ブロック分割部207は、各画素ブロックBL-1、BR-1に関するブロック情報をヒストグラム生成部208に出力する。ヒストグラム生成部208は、ブロック情報に基づいて、以下の処理を行う。すなわち、ヒストグラム生成部208は、画素ブロックBL-1毎に、図9aに示すようなカラーヒストグラムCHLを生成する。このカラーヒストグラムCHLは、画素ブロックBL-1内の輝度分布、即ち、輝度と、その輝度を有する画素の数頻度との対応関係を示す。ここでは、輝度は0~63の整数値で与えられる。同様に、ヒストグラム生成部208は、画素ブロックBR-1毎に、図9bに示すようなカラーヒストグラムCHRを生成する。このカラーヒストグラムCHRは、画素ブロックBR-1内の輝度分布、即ち、輝度と、その輝度を有する画素の数頻度との対応関係を示す。画素ブロックBL-1と画素ブロックBR-1とが1対1で対応するので、カラーヒストグラムCHLとカラーヒストグラムCHRとは1対1で対応する。そこで、ヒストグラム生成部208は、カラーヒストグラムCHLとカラーヒストグラムCHRとを対応付ける。そして、ヒストグラム生成部208は、カラーヒストグラムCHL、CHRに関するカラーヒストグラム情報を生成し、DPマッチング部209に出力する。DPマッチング部209マッチング部は、カラーヒストグラム情報に基づいて、画素ブロックBL-1と、画素ブロックBL-1に対応する画素ブロックBR-1との組毎に、以下の処理を行なう。すなわち、DPマッチング部209は、まず、図10に示すような色対応検出用DPマップを生成する。色対応検出用DPマップの縦軸は、画素ブロックBL-1内の輝度毎の頻度を示す。たとえば、FLnLは、輝度nLnLは0~63の整数の頻度を示す。一方、色対応検出用DPマップの横軸は、画素ブロックBR-1内の輝度毎の頻度を示す。たとえば、FLnRは、輝度nRnRは0~63の整数の頻度を示す。また、頻度FLnL、頻度FLnRを示すノードは、PnL、nRで表される。そして、DPマッチング部209は、ノードP0、0を始点、ノードP63、63を終点とし、始点からノードPnL、nRに至るまでの累積コストを以下のように定義する。ここで、DFInL、nR0は、経路PAC0を通ってノードPnL、nRに至るときの累積コストであり、DFInL、nR1は、経路PAC1を通ってノードPnL、nRに至るときの累積コストであり、DFInL、nR2は、経路PAC2を通ってノードPnL、nRに至るときの累積コストである。また、DFInL、nR-1は始点からノードPnL、nR-1に至るまでの累積コストである。DFInL-1、nRは始点からノードPnL-1、nRに至るまでの累積コストである。DFInL-1、nR-1は始点からノードPnL-1、nR-1に至るまでの累積コストである。DPマッチング部209は、始点から終点を含む各ノードまでの累積コストを計算し、最小の累積コストとなる経路を終点から始点に向かって逆にたどることで、最短経路、即ち始点から終点までの累積コストが最小となる経路を算出する。この最短経路上のノードは、互いに類似する輝度のペアを示す。例えば、最短経路がノードPnL、nRを通る場合、輝度nLと輝度nRとが類似することになる。DPマッチング部209は、画素ブロックBL-1、BR-1の組毎に算出された最短経路に関する最短経路情報を生成し、カラーペア算出部210に出力する。カラーペア算出部210は、最短経路情報に基づいて、画素ブロックBL-1、BR-1の組毎にカラーペアを算出する。即ち、カラーペア算出部210は、最短経路上のノードが示す輝度のペア、即ち互いに類似する輝度のペアをカラーペアとして算出する。カラーペア算出部210は、1つの画素ブロックBL-1あたり250個程度のカラーペアを算出し、合計で2000個程度のカラーペアを算出する。カラーペア算出部210は、算出されたカラーペアに関するカラーペア情報を生成し、線形カラーパラメータフィッティング部202及び非線形カラーパラメータフィッティング部204に出力する。したがって、ヒストグラムマッチング部201は、画素ブロックBL-1、BR-1内の階調を入力画像VL、VRの階調よりも落とすので、ヒストグラムCHL、CHR等のデータ量を低減することができる。なお、階調が落ちることによって、入力画像VL、VRの複数種類の輝度が1つの輝度に分類されることになるので、カラーキャリブレーションの精度が低下することが想定される。そこで、ヒストグラムマッチング部201は、精度の低下を、複数の画素ブロックBL-1、BR-1でカラーペアを算出する、即ちカラーペアの数を増やすことで賄っている。[線形カラーパラメータフィッティング部の構成]線形カラーパラメータフィッティング部202は、図11に示すように、足し込み行列算出部211と、係数算出部212と、フィルタ部213と、係数保持部214とを備える。線形カラーパラメータフィッティング部202は、カラーペア情報に基づいて、入力画像VLの輝度と入力画像VRの輝度との対応関係を示すモデル式を線形演算により算出する。そこで、まず、このモデル式について説明する。入力画像VL、VRのガンマ値が1近傍であると仮定すると、入力画像VLの輝度は、入力画像VRの輝度を用いて以下のように表される。ここで、Lは入力画像VLの輝度であり、Rは入力画像VRの輝度である。αは裸眼立体視表示装置のゲインであり、γは裸眼立体視表示装置のガンマ値である。即ち、入力画像VL、VRの輝度がゲイン及びガンマ値で拘束されている。このようにすることで、くすみのない画像が得られる。式4をテイラー展開すると、以下の式6が得られる。ここで、wiiは0以上の整数は係数、即ちカラー補正係数である。式6がモデル式となる。なお、式6にオフセット項waを加えた以下の式7は、式6よりも入力画像VL、VRの輝度の変化に正確に追従することができる。そこで、線形カラーパラメータフィッティング部202は、式6または式7をモデル式即ち近似式とする。ここで、coefwはカラー補正係数wi、waを示す。次に、各構成要素が行う処理について説明する。足し込み行列算出部211は、以下の式8で表される行列をすべてのカラーペアについて算出する。ここで、n1は2以上の任意の整数であり、n1の値が大きいほど、算出される係数の数が大きくなり、モデル式の精度が向上する。n1の値は、要求される精度、及び処理速度等に応じて決定され、例えば2~5となる。次に、足し込み行列算出部211は、算出された行列をすべて足し込むことで、以下の式9で示される足し込み行列M1を算出する。足し込み行列算出部211は、算出された足し込み行列M1に関する足し込み行列情報を生成し、カラーペア情報と共に係数算出部212に出力する。係数算出部212モデル式算出部は、カラーペア情報に基づいて、以下の式10で表される行列をすべてのカラーペアについて算出する。係数算出部212は、算出された行列をすべて足し込むことで、以下の式11で示される係数算出用行列Aを算出する。次に、係数算出部212は、以下の式12に基づいて、カラー補正係数wi、waの第1初期値coefw1を算出する。係数算出部212は、算出された第1初期値coefw1に関する第1初期値情報を生成し、フィルタ部213に出力する。フィルタ部213は、係数算出部212から与えられた第1初期値情報と、係数保持部214から与えられた前フレーム現フレームよりも1つ前のフレームの線形補正係数情報と、以下の式13とに基づいて、カラー補正係数wi、waの第2初期値coefw2を算出する。ここで、oldcoeflinearは、前フレームの線形補正係数、即ち前フレームのカラー補正係数wi、waであり、wbは前フレームの線形補正係数oldcoeflinearを第2初期値coefw2にどの程度作用させるかを示す重みである。重みwbの値が大きい重みが大きいほど、第2初期値coefw2に前フレームの線形補正係数oldcoeflinearが大きく作用することになる。重みwbの値は、例えば0.5~0.9となる。次いで、フィルタ部213は、第2初期値coefw2にIIRフィルタを作用させる。フィルタ部213は、これにより得られたカラー補正係数wi、waを線形補正係数coeflinearとし、線形補正係数coeflinearに関する線形補正係数情報を係数保持部214、非線形カラーパラメータフィッティング部204、評価部205、カラーキャリブレーション実行部206に出力する。係数保持部214は、フィルタ部213から与えられた線形補正係数情報を保持し、次フレームの第2初期値coefw2が算出される際に、当該保持された線形補正係数情報を前フレームの線形補正係数情報としてフィルタ部213に出力する。図12に、線形補正係数coeflinearによって補正された入力画像VL、VRのガンマ曲線L1と、補正を行わなかった時の入力画像VL、VRのガンマ曲線L2とをガンマ値毎に対比して示す。即ち、図12aではγ=0.6、図12bではγ=0.8、図12cではγ=1.2、図12dではγ=1.4となっている。なお、図12では、式6がモデル式となっており、n1=2となっている。図12によれば、カラーキャリブレーション部2は、線形補正係数coeflinearを用いてカラーキャリブレーションを行なうことで、入力画像VL、VRの明るさや鮮やかさを実質的に維持しつつ、輝度の補正を行うことができる。[特徴量マッチング部の構成]図6に示す特徴量マッチング部203は、現フレームの入力画像VL、VRの輝度をマッチングさせることで、カラーペアを抽出する。具体的には、特徴量マッチング部203は、入力画像VL、VRから、所定値例えば、32~1024以上の輝度を有する特徴点を抽出する。次いで、特徴量マッチング部203は、入力画像VLの各特徴点について、以下の処理を行なう。すなわち、特徴量マッチング部203は、入力画像VLの特徴点の近傍に存在するすなわち、x座標の差分の絶対値が64~256以下で、かつ、y座標の差分の絶対値が8~64以下となる入力画像VRの特徴点のうち、輝度が最も類似する即ち、輝度の差分の絶対値が最も小さい特徴点を抽出し、この特徴点と入力画像VLの特徴点とを特徴点のペア、すなわちカラーペアとする。ついで、特徴量マッチング部203は、抽出されたカラーペアに関するカラーペア情報を生成し、非線形カラーパラメータフィッティング部204及び評価部205に出力する。[非線形カラーパラメータフィッティング部の構成]非線形カラーパラメータフィッティング部204は、ヒストグラムマッチング部201及び特徴量マッチング部203から与えられたカラーペア情報と、線形カラーパラメータフィッティング部202から与えられた線形補正係数情報とに基づいて、カラー補正係数wi、waを非線形演算により算出する。具体的には、非線形カラーパラメータフィッティング部204は、図13に示すように、ヤコビ行列算出部215と、ヘッセ行列算出部216と、係数更新部217とを備える。ヤコビ行列算出部215は、線形カラーパラメータフィッティング部202から与えられた線形補正係数情報と、ヒストグラムマッチング部201及び特徴量マッチング部203から与えられたカラーペア情報とに基づいて、以下の式14で表されるヤコビ行列J1を算出する。ここで、Lは入力画像VLの輝度であり、Rは入力画像VRの輝度であり、coefwはカラー補正係数wi、waを示す。fe1L,R,coefwは、いわゆるエラー関数であり、以下の式15で表される。fe10~fe1mは、エラー関数fe1L,R,coefwにそれぞれ異なるカラーペア情報を代入したものである。ここで、g1R,coefwは、式7に示すように、入力画像VLの輝度を入力画像VRの輝度及びカラー補正係数wi、waで近似した式であるので、L-g1R,coefwの値は、入力画像VLの実際の値と近似値との誤差errorを示す。また、RobustFuncは誤差を0~1の範囲内の値に正規化する関数であり、例えば以下の式16で表される。ここで、wcは係数重みであり、例えば0.1~8.0となる。なお、式15では、誤差がL-g1R,coefwとされているが、誤差は他の値、例えばg1L,coefw-g1R,coefwであってもよい。ここで、g1L,coefwは、入力画像VRの輝度を入力画像VLの輝度及びカラー補正係数wi、waで近似した値であり、以下の式7-1及び7-2で表される。そして、ヤコビ行列算出部215は、算出されたヤコビ行列J1に関するヤコビ行列情報を生成し、ヘッセ行列算出部216に出力する。また、ヤコビ行列算出部215は、後述する係数更新部216から非線形補正係数情報を与えられた場合には、当該非線形補正係数情報が示す非線形補正係数coefnonlinearと、カラーペア情報とに基づいて、上述したヤコビ行列J1を算出する。そして、ヤコビ行列算出部215は、算出されたヤコビ行列J1に関するヤコビ行列情報を生成し、ヘッセ行列算出部216に出力する。ヘッセ行列算出部216は、ヤコビ行列算出部216から与えられた情報に基づいて、以下の式17で示されるヘッセ行列H1を算出する。次いで、ヘッセ行列算出部216は、算出されたヘッセ行列H1に関するヘッセ行列情報を生成し、ヤコビ行列算出部215から与えられた情報と共に係数更新部217に出力する。係数更新部217は、ヘッセ行列算出部216から与えられた情報と、以下の式18とに基づいて、カラー補正係数wi、waを非線形補正係数coefnonlinearとして算出する。ここで、Iは単位行列である。wdは係数重みであり、例えば1.0~0.0となる。次いで、係数更新部217は、算出された非線形補正係数coefnonlinearに関する非線形補正係数情報を生成し、非線形補正係数coefnonlinearが一定の値に収束したかを判定する。係数更新部217は、非線形補正係数coefnonlinearが収束したと判定した場合には、非線形補正係数情報を評価部205及びカラーキャリブレーション実行部206に出力し、非線形補正係数coefnonlinearが収束していないと判定した場合には、非線形補正係数情報をヤコビ行列算出部215に出力する。その後、非線形補正係数coefnonlinearが再計算される。したがって、非線形カラーパラメータフィッティング部204は、線形補正係数coeflinearを初期値として非線形補正係数coefnonlinearを算出し、非線形補正係数coefnonlinearが一定の値に収束するまで非線形補正係数coefnonlinearの算出を繰り返す。[評価部の構成]評価部14補正信頼度算出部は、図14に示すように、カラーコンバート部218と、ヒストグラムベース信頼度算出部219と、特徴点ベース信頼度算出部220と、信頼度マップ生成部221とを備える。カラーコンバート部218は、現フレームの入力画像VL、VRを取得する。カラーコンバート部218は、入力画像VL、VRと、線形カラーパラメータフィッティング部202から与えられた線形補正係数情報と、に基づいて、入力画像VRの輝度を補正する。具体的には、カラーコンバート部218は、入力画像VRの輝度と、線形補正係数coeflinearとを式7のg1R,coefに代入することで、g1R,coefの値を算出する。算出された値は、入力画像VRの輝度に対応する入力画像VLの輝度を示すので、カラーコンバート部218は、この値を新たな入力画像VRの輝度とする。これにより、入力画像VLの輝度と入力画像VRの輝度との差分が低減される。カラーコンバート部218は、入力画像VLと補正後の入力画像VRとを線形カラーキャリブレーション済み画像VL-1a、VR-1aとしてヒストグラムベース信頼度算出部219に出力する。ヒストグラムベース信頼度算出部219は、線形カラーキャリブレーション済み画像VL-1a、VR-1aをそれぞれ8つの画素ブロックBL-1、BR-1に分割する。ここで、画素ブロックBL-1、BR-1は、ヒストグラムマッチング部201が生成したものと同じである。そして、ヒストグラムベース信頼度算出部219は、輝度と、その輝度を有する画素の数頻度との対応関係を示す補正後カラーヒストグラムを、画素ブロックBL-1、BR-1毎に生成する。そして、ヒストグラムベース信頼度算出部219は、画素ブロックBL-1の補正後カラーヒストグラムと、画素ブロックBR-1の補正後カラーヒストグラムとの類似度を、正規化相互相関NCCを用いて算出する。なお、類似度の算出手法は特に限定されず、例えばインターセクションやBhattacharyya等を用いてもよい。ヒストグラムベース信頼度算出部219は、画素ブロックBL-1毎に類似度を算出し、これらの類似度を例えば上述した式16のerrorに代入することで、類似度を0~1の範囲内の値に正規化する。そして、ヒストグラムベース信頼度算出部219は、正規化された値を線形補正係数coeflinearの信頼度とする。そして、ヒストグラムベース信頼度算出部219は、算出された各画素ブロックBL-1の信頼度に関する線形補正係数信頼度情報を生成し、信頼度マップ生成部221に出力する。特徴点ベース信頼度算出部220は、特徴量マッチング部203から与えられたカラーペア情報に基づいて、入力画像VL内の特徴点を8つの画素ブロックBL-1のそれぞれに分類する。ここで、画素ブロックBL-1はヒストグラムマッチング部201が生成したものと同じである。そして、特徴点ベース信頼度算出部220は、非線形カラーパラメータフィッティング部204から与えられた非線形補正係数情報に基づいて、画素ブロックBL-1毎に非線形補正係数coefnonlinearの信頼度を算出する。すなわち、特徴点ベース信頼度算出部220は、画素ブロックBL-1内の各特徴点について、上述したエラー関数fe1L、R、coefを用いて誤差を算出する。すなわち、特徴点ベース信頼度算出部220は、fe1L、R、coefのL、Rにカラーペア情報の値を、coefに非線形補正係数coefnonlinearの値を代入して演算することで、誤差を算出する。そして、特徴点ベース信頼度算出部220は、誤差が所定値例えば0.5~8.0以下となる特徴点を抽出し、抽出した特徴点について、誤差の平均値を算出する。そして、特徴点ベース信頼度算出部220は、算出された平均値を非線形補正係数coefnonlinearの信頼度とする。なお、特徴点ベース信頼度算出部220は、誤差が所定値以下となる特徴点の数が所定値例えば、0~8以下となる場合には、信頼度をゼロとする。これにより、特徴点ベース信頼度算出部220は、画素ブロックBL-1毎に非線形補正係数coefnonlinearの信頼度を算出する。特徴点ベース信頼度算出部220は、算出された各画素ブロックBL-1の信頼度に関する非線形補正係数信頼度情報を生成し、信頼度マップ生成部221に出力する。信頼度マップ生成部221は、ヒストグラムベース信頼度算出部219及び特徴点ベース信頼度算出部220から与えられた情報に基づいて、カラーキャリブレーション用信頼度マップを生成する。具体的には、信頼度マップ生成部221は、画素ブロックBL-1毎に、線形補正係数coeflinearの信頼度と非線形補正係数coefnonlinearの信頼度とを比較し、大きい方の信頼度をその画素ブロックBL-1の信頼度とする。また、信頼度マップ生成部221は、大きい信頼度を有する補正係数をその画素ブロックBL-1に関連付ける。これにより、信頼度マップ生成部221は、各画素ブロックBL-1に信頼度及び補正係数が関連付けられたカラーキャリブレーション用信頼度マップを生成する。そして、信頼度マップ生成部221は、生成されたカラーキャリブレーション用信頼度マップに関する信頼度マップ情報を生成し、カラーキャリブレーション実行部206及び視差検出部4に出力する。[カラーキャリブレーション実行部の構成]図6に示すカラーキャリブレーション実行部206補正実行部は、現フレームの入力画像VL、VRを取得する。さらに、カラーキャリブレーション実行部206は、信頼度マップ情報に基づいて、画素ブロックBL-1毎にどちらの補正係数を使用するかを決定する。そして、カラーキャリブレーション実行部206は、線形補正係数情報と、非線形補正係数情報とに基づいて、画素ブロックBL-1毎にカラーキャリブレーションを実行する。具体的には、カラーキャリブレーション実行部206は、画素ブロックBR-1から画素を抽出し、抽出された画素の輝度と、決定された補正係数とを上述した近似式g1R,coefに代入して演算し、これにより得られた値を、当該画素の輝度とする。カラーキャリブレーション実行部206は、入力画像VRを構成するすべての画素についてこの処理を行なうことで、カラーキャリブレーションを実行する。カラーキャリブレーション実行部206は、カラーキャリブレーション済みの入力画像VL、VRをカラーキャリブレーション済み画像VL-1、VR-1とし、図5に示す幾何キャリブレーション部3に出力する。図15aに、裸眼立体視表示装置がカラーキャリブレーションを実行せずに生成した多視点画像VV1を示す。同様に、図15bに、裸眼立体視表示装置がカラーキャリブレーションを実行した後に生成した多視点画像VV2を示す。多視点画像VV1では、被写体画像VV11が破綻しているが、多視点画像VV2では、被写体画像VV12が破綻していない。したがって、裸眼立体視表示装置は、カラーキャリブレーションを実行することで、破綻のない多視点画像を生成することができる。[カラーキャリブレーション部による効果]次に、カラーキャリブレーション部2による効果について説明する。なお、以下の説明では、一部の効果を、特表2007-535829号公報、特開2009-122842号公報と対比して説明する。特表2007-535829号公報記載の技術は、色の分布を示すヒストグラムを画像毎に生成し、これらのヒストグラムをDPマッチングによりマッチングさせることで、色対応テーブルを生成する。そして、特表2007-535829号公報記載の技術は、色対応テーブルに基づいて、各画像の色を補正する。一方、特開2009-122842号公報記載の技術は、複数の画像から特徴点例えば、人物の肩が描かれた点を抽出し、特徴点同士の色の対応関係に基づいて、色変換用のモデル式を算出する。そして、特開2009-122842号公報記載の技術は、算出されたモデル式に基づいて、各画像の色を補正する。カラーキャリブレーション部2は、カラーペア情報に基づいて、入力画像VRの輝度を入力画像VLの輝度に変換するためのモデル式を算出する。ここで、カラーペア情報には、特徴点以外の画素が有する輝度情報も含まれている。そして、カラーキャリブレーション部2は、このモデル式にIIRフィルタをかけるので、ロバストなモデル式、特に時間的にロバストなモデル式を算出することができる。このため、カラーキャリブレーション部2は、従来よりもロバスト性の高い色情報の補正を行なうことができる。また、特開2009-122842号公報記載の技術は、色変換パラメータが単純なゲインや多項式で表されるものであったので、補正の精度が低いという問題があった。例えば、色変換パラメータは、ガンマ値の変化を表現しきれていなかった。これに対し、本実施形態のモデル式は、パラメータとして少なくともゲイン、及びガンマ値を含むので、カラーキャリブレーション部2は、精度良くカラーキャリブレーション、即ち色情報の補正を行なうことができる。特に、式7は、パラメータとしてこれらの他にオフセット項も含まれるので、より正確な色情報の補正を行うことができる。また、カラーキャリブレーション部2は、入力画像VL、VRを複数の画素ブロックBL-1、BR-1に分割し、画素ブロックBL-1、BR-1の階調を落とす。そして、カラーキャリブレーション部2は、画素ブロックBL-1、BR-1毎にカラーヒストグラムCHL、CHRを生成し、これらのカラーヒストグラムCHL、CHRに基づいて、カラーペア情報を生成する。したがって、カラーキャリブレーション部2は、階調を落とした画素ブロックBL-1、BR-1に基づいて、カラーペア情報を生成するので、処理負荷の軽いカラーキャリブレーション色情報の補正を行なうことができる。また、カラーキャリブレーション部2は、カラーヒストグラムCHL、CHRをマッチングさせ、この結果に基づいてカラーペア情報を算出するので、より精度の高いカラーペア情報を算出することができる。特に、カラーキャリブレーション部2は、カラーヒストグラムCHL、CHRをDPマッチングによりマッチングさせるので、より精度の高いマッチングを行うことができる。また、特表2007-535829号公報記載の技術は、画像全体の色分布を示すヒストグラムを生成していたので、画像の解像度が高くなるに従ってヒストグラムのデータ量が大きくなり、処理負荷が重くなるという問題があった。これに対し、カラーキャリブレーション部2は、画素ブロックBL-1、BR-1の階調を落とすので、入力画像VL、VRの解像度によらず、処理負荷の軽いカラーキャリブレーション色情報の補正を行なうことができる。また、カラーキャリブレーション部2は、画素ブロックBL-1、BR-1の階調を落とすことによる精度の低下を、画素ブロックBL-1毎にカラーペア情報を生成することでカバーすることができる。さらに、カラーキャリブレーション部2は、線形演算で算出したパラメータ、即ちカラー補正係数wi、waを初期値として、非線形演算を行うので、より精度の高いパラメータ、即ちモデル式を算出することができる。さらに、カラーキャリブレーション部2は、線形演算で算出されたパラメータと、非線形演算で算出されたパラメータとのそれぞれについて信頼度を算出し、信頼度が高い方のパラメータに基づいてカラーキャリブレーションを行うので、精度の高い色情報の補正を行うことができる。<2-2.幾何キャリブレーション部の構成>次に、幾何キャリブレーション部3の構成を図面に基づいて説明する。図16に示すように、幾何キャリブレーション部3は、特徴量マッチング部301と、対応点リファインメント部302と、線形幾何パラメータフィッティング部303と、非線形幾何パラメータフィッティング部304と、パラメータ選択部305と、幾何キャリブレーション実行部306とを備える。[特徴量マッチング部の構成]特徴量マッチング部301は、カラーキャリブレーション済み画像VL-1、VR-1の輝度をマッチングさせることで、特徴量ベクトルを算出する。具体的には、特徴量マッチング部301は、カラーキャリブレーション済み画像VL-1、VR-1をそれぞれ64個の画素ブロックBL-2、BR-2に分割する。ここで、各画素ブロックBL-2、BR-2は矩形となっており、すべて同じ大きさである。また、特徴量マッチング部301は、各画素ブロックBL-2、BR-2の中心点となる画素を抽出し、抽出された画素の座標を各画素ブロックBL-2、BR-2の座標とする。したがって、各画素ブロックBL-2、と、各画素ブロックBR-2とは1対1で対応する。特徴量マッチング部301は、画素ブロックBL-2、BR-2毎に、所定値例えば、32~1024以上の輝度を有する特徴点を抽出する。以下、カラーキャリブレーション済み画像VL-1の特徴点を左側特徴点とも称し、カラーキャリブレーション済み画像VR-1の特徴点を右側特徴点とも称する。次いで、特徴量マッチング部301は、各左側特徴点について、以下の処理を行なう。すなわち、特徴量マッチング部301は、左側特徴点の近傍に存在するすなわち、x座標の差分の絶対値が64~256以下で、かつ、y座標の差分の絶対値が8~64以下となる右側特徴点のうち、輝度が最も類似する即ち、輝度の差分の絶対値が最も小さい特徴点を抽出し、この右側特徴点と左側特徴点とを特徴点ペアとする。そして、特徴量マッチング部301は、特徴点ペアに基づいて、特徴量ベクトルVE1を算出する。ここで、特徴量ベクトルVE1の始点は、左側特徴点の座標uL、vLであり、成分は、uR-uL、vR-vLである。uRは右側特徴点のx座標であり、vRは右側特徴点のy座標である。図17に、特徴量ベクトルVE1及び画素ブロックBL-2の一例を示す。なお、ここでは、画素ブロックBL-2はカラーキャリブレーション済み画像VL-1を4つに分割している。図17に示されるように、何らかのオブジェクトが描かれている部分には、同じ成分を有する多数の特徴量ベクトルVE1が存在する。特徴量マッチング部301は、画素ブロックBL-2、BR-2及び特徴量ベクトルVE1に関する特徴量ベクトル情報を生成し、対応点リファインメント部302及び非線形幾何パラメータフィッティング部304に出力する。なお、本実施の形態では、カラーキャリブレーションの後に幾何キャリブレーションを行うので、特徴量マッチング部301は、精度良く輝度のマッチングを行なうことができる。このため、幾何キャリブレーションの精度が向上する。もちろん、幾何キャリブレーションをカラーキャリブレーションの前に行ってもよい。この場合、カラーキャリブレーションにおいて、精度良く輝度のマッチングを行なうことができ、ひいては、カラーキャリブレーションの精度が向上する。[対応点リファインメント部の構成]対応点リファインメント部302は、図18に示すように、ヒストグラム生成部307と、フィルタ部308と、最大頻度検出部309と、座標付与部310と、対応点選択部311とを備える。ヒストグラム生成部307は、特徴量ベクトル情報に基づいて、特徴量ベクトルVE1の成分毎の頻度を示すベクトル成分ヒストグラムを画素ブロックBL-2毎に生成する。図19に、ベクトル成分ヒストグラムの例を示す。x軸、y軸はそれぞれ特徴量ベクトルVE1のx成分、y成分を示し、z軸は、成分ごとの頻度を示す。画素ブロックBL-2内に何らかのオブジェクトが描かれている場合、そのオブジェクトが描かれている部分には、同じ成分を有する多数の特徴量ベクトルVE1が存在する。したがって、この場合、ベクトル成分ヒストグラムは大きなピークを有する。ヒストグラム生成部307は、ベクトル成分ヒストグラムに関するベクトル成分ヒストグラム情報を生成し、フィルタ部308に出力する。フィルタ部308は、ベクトル成分ヒストグラム情報にガウシアンフィルタを複数回作用させることで、ベクトル成分ヒストグラムを平滑化させる。フィルタ部308は、平滑化されたベクトル成分ヒストグラムに関する平滑化ヒストグラム情報を生成し、最大頻度検出部309及び対応点選択部311に出力する。最大頻度検出部309は、平滑化ヒストグラム情報に基づいて、各ベクトル成分ヒストグラムから、頻度が最大となるx成分、y成分を特定する。そして、このようなx成分、y成分を有する特徴量ベクトルVE1を、当該特徴量ベクトルVE1が属する画素ブロックBL-2の代表ベクトルVE2とする。これにより、最大頻度検出部309は、画素ブロックBL-2毎に代表ベクトルVE2を算出する。最大頻度検出部309は、代表ベクトルVE2の成分に関する代表ベクトル成分情報を生成し、座標付与部310に出力する。座標付与部310は、代表ベクトル成分情報に基づいて、各代表ベクトルVE2の座標始点の座標を決定する。すなわち、代表ベクトルVE2は、ベクトル成分ヒストグラムから算出されるものであるが、ベクトル成分ヒストグラムは、各特徴量ベクトルVE1の座標情報を持っていないので、最大頻度検出部309が代表ベクトルVE2を算出した時点では、代表ベクトルVE2は座標情報を有していない。そこで、座標付与部310は、代表ベクトル情報に基づいて、各代表ベクトルVE2の座標始点の座標を決定する。具体的には、座標付与部310は、図20に示すように、画素ブロックBL-2の中心点PL-111を代表ベクトルVE2の座標の初期値とし、ミーンシフト処理を繰り返し行なう。ここで、ミーンシフト処理は、代表ベクトルVE2の座標と、代表ベクトルVE2と同じ成分を有する特徴量ベクトルVE1の座標との平均値を算出し、この平均値を代表ベクトルVE2の新たな座標とする処理である。したがって、ミーンシフト処理が繰り返されることで、代表ベクトルVE2の座標は、代表ベクトルVE2と同じ成分を有する特徴量ベクトルVE1が密集している領域、すなわち密集領域に移動していく。座標付与部310は、代表ベクトルVE2の座標が収束するまでミーンシフト処理を繰り返し行なう例えば10回程度。これにより、座標付与部310は、代表ベクトルVE2の座標を決定する。このとき、代表ベクトルVE2の座標は、密集領域の中心PL-121となっている。そして、座標付与部310は、代表ベクトルVE2の成分及び座標に関する代表ベクトル情報を生成し、対応点選択部311に出力する。対応点選択部311は、代表ベクトル情報及び平滑化ヒストグラム情報に基づいて、複数の代表ベクトルVE2のうち、最大頻度が所定値例えば,0.1~0.4未満となるものを消去するすなわち、足切りを行なう。これにより、対応点選択部311は、信頼性の低い代表ベクトルVE2、例えばオブジェクトが何ら描かれていない画素ブロックBL-2から算出された代表ベクトルVE2を除外することができる。そして、対応点選択部311は、選択された代表ベクトルVE2を構成する特徴点ペア、すなわち代表点ペアに関する対応点選択情報を生成し、線形幾何パラメータフィッティング部303に出力する。以下、代表点ペアを構成する座標点のうち、左側座標点を左側代表点、右側座標点を右側代表点とも称する。左側代表点の座標は代表ベクトルの始点uL、vLであり、右側代表点の座標は、代表ベクトルの成分に始点の座標を加えたuR、vRである。このように、特徴量ベクトルVE1から代表ベクトルVE2を抽出するようにしたのは、線形演算がアウトライヤに弱いからである。すなわち、後述するように、線形幾何パラメータフィッティング部303は、代表ベクトルVE2を用いた線形演算を行なうことで、変換行列Fを算出する。この変換行列Fは、カラーキャリブレーション済み画像VL-1、VR-1の座標変換に使用されるものである。一方、特徴量ベクトルVE1は、単に特徴点同士を連結したものであるので、値成分があばれやすい即ち、ばらつきやすい。したがって、仮に特徴量ベクトルVE1を用いた線形演算が行われた場合、線形演算によって得られる変換行列Fの各成分もあばれやすくなってしまう。そこで、本実施の形態では、特徴量ベクトルVE1から代表ベクトルVE2を抽出するようにした。[線形幾何パラメータフィッティング部の構成]線形幾何パラメータフィッティング部303変換行列算出部は、初期化部312と、重み算出部313と、線形幾何パラメータ算出部314とを備える。まず、線形幾何パラメータフィッティング部303が行う処理の概要について説明する。線形幾何パラメータフィッティング部303は、エピポーラ拘束条件及び時間軸拘束条件を満たす変換行列Fを算出し、変換行列Fを分解することで、ホモグラフィー行列HL、HRを算出する。ここで、変換行列Fは、3×3の行列であり、ホモグラフィー行列HL、HRを含む。ホモグラフィー行列HLは、カラーキャリブレーション済み画像VL-1の座標変換を行なうための行列であり、ホモグラフィー行列HRは、カラーキャリブレーション済み画像VR-1の座標変換を行なうための行列である。エピポーラ拘束条件は、右側座標点を変換行列Fによって変換したエピポーラ線上に左側座標点が近接する好ましくは、乗るという拘束、言い換えれば、ベクトルu’uR、vR、1に変換行列Fを乗じることで得られるエピポーラベクトルと、ベクトルuuL、vL、1との内積がゼロになるという拘束である。ここで、uL、vLは左側座標点の座標であり、uR、vRは右側座標点の座標である。エピポーラ拘束条件は、以下の式19で表される。ここで、f0~f8は変換行列Fの各成分である。線形幾何パラメータフィッティング部303は、式19を裂くことで、エピポーラ拘束条件を以下の式20で表される最小二乗問題に変換する。ここで、Mは演算行列であり、以下の式21で表される。演算行列Mの各行のuL、vL、uR、vRには、それぞれ異なる代表点ペアの座標が代入される。一方、時間軸拘束条件は、現フレームの変換行列Fnを、前フレームの変換行列Fn-1に拘束させるという拘束、すなわち、現フレームの変換行列Fnと、前フレームの変換行列Fn-1との相関を最大にするという拘束である。変換行列Fは単位ベクトルなので、これらの内積がそのまま相関となる。このような時間軸拘束条件を用いないで算出された変換行列Fは、時間軸方向にばたつく各時点によって値がまちまちとなる場合が多いので、本実施の形態では、時間軸拘束条件を用いて変換行列Fを算出することで、変換行列Fの時間軸方向のばたつきを低減している。これにより、変換行列Fの精度が向上する。時間軸拘束条件は、以下の式22で表される。この時間軸拘束条件の式22は、以下の式23で表される最大二乗問題に置き換えられる。したがって、線形幾何パラメータフィッティング部303は、式20で表される最小二乗問題と、式23で表される最大二乗問題との混合問題を解くことになるが、このような混合問題を線形演算で解くことはできない。一方、変換行列Fnと変換行列Fn-1との内積が1であるということは、変換行列Fnと変換行列Fn-1の直交ベクトル群F’n-1との内積が0になることと同義である。したがって、式23の最大二乗問題は、以下の式24で表される最小二乗問題に置き換えられる。したがって、エピポーラ拘束条件及び時間軸拘束条件は、以下の式25で示される最小二乗問題にまとめられる。しかし、変換行列Fn-1はランダムな値なので、変換行列Fn-1の直交ベクトル群F’n-1を直接算出することは容易でない。一方、変換行列Fは、ホモグラフィー行列HL、HRを用いて、以下のように表される。ここで、行列F0は固定値のみで構成されるベクトルであり、以下の式27で表される。式19において、ホモグラフィー行列HL、HRをそれぞれ代表点ペアの3次元座標uL、vL、1、uR、vR、1に乗じると、式19は以下のように変換される。ここで、u’L、v’L、1、u’R、v’R、1は、代表点ペアの3次元座標uL、vL、1、uR、vR、1にホモグラフィー行列HL、HRを乗じる即ち、ホモグラフィー行列HL、HRで座標変換することで得られる座標変換ベクトルである。式28を用いて式25を書き換えると、以下のようになる。ここで、M’は、上述した演算行列Mの各成分を、座標変換後の値に変更したものであり、具体的には以下の式30で表される。また、行列F’0は行列F0の直交ベクトル群である。行列F0は9成分の行列なので、行列F0の直交ベクトルは8つ存在する。なお、行列F0は固定値なので、直交ベクトル群も固定値となる。したがって、線形幾何パラメータフィッティング部303は、行列F’0を算出する必要がない。具体的には、線形幾何パラメータフィッティング部303は、予め行列F’0を記憶しておく。また、線形幾何パラメータフィッティング部303は、時間軸拘束条件をそのまま用いるのではなく、時間軸拘束条件に重みweを乗じたものを用いる。この重みweによって、式29は以下のように書き換えられる。したがって、線形幾何パラメータフィッティング部303は、式31の最小二乗問題を解くことで、行列F’n固定値相当ベクトルを算出し、ひいては、変換行列Fを算出する。線形幾何パラメータフィッティング部303は、変換行列Fを分解することで、ホモグラフィー行列HL、HRを算出する。カラーキャリブレーション済み画像VL-1の左側座標点をホモグラフィー行列HLで座標変換し、カラーキャリブレーション済み画像VR-1の右側座標点をホモグラフィー行列HRで座標変換することで、幾何ズレが低減される。このように、本実施の形態では、エピポーラ拘束条件及び時間軸拘束条件を満たす変換行列Fを算出するが、他の拘束条件、例えば入力画像VL、VRが互いに平行になっているという拘束を拘束条件として追加してもよい。以下、線形幾何パラメータフィッティング部303の各構成を詳細に説明する。[初期化部の構成]初期化部312は、図22に示すように、エラー計算部315と、初期パラメータ選択部316と、座標ペア保持部317と、座標ペア統合部318とを備える。エラー計算部315は、対応点選択情報と、後述するパラメータ選択部305から与えられたパラメータ情報とに基づいて、エラー計算を行う。ここで、パラメータ情報には、前フレームで算出されたホモグラフィー行列HLn-1、HRn-1に関する情報が含まれる。具体的には、エラー計算部315は、以下の式32、33により、エラー値e1、e2を算出する。ここで、u、u’は代表点ペアの座標を3次元表記したもの、即ちuL、vL、1、uR、vR、1であり、Iは単位行列である。Σは、すべての代表点ペアについて値を合計することを意味する。式32、33は、エピポーラ拘束条件の式19において、変換行列Fのホモグラフィー行列HL、HRをそれぞれ前フレームのホモグラフィー行列HLn-1、HRn-1または単位行列Iに置き換えたものに対応している。したがって、エラー値e1、e2が小さいほど、ホモグラフィー行列HLn-1、HRn-1及び単位行列Iのホモグラフィー行列HL、HRとしての精度が良いこととなる。一般的に、同じシーンが連続している場合には、エラー値e1の方がエラー値e2よりも小さくなるが、シーンチェンジが起こると、エラー値e2の方がエラー値e1よりも小さくなる。そして、エラー計算部315は、算出されたエラー値e1、e2に関するエラー値情報を生成し、対応点選択情報と共に初期パラメータ選択部316に出力する。また、エラー計算部315は、エラー値のうち、値が小さいものを選択し、選択されたエラー値に関する最小エラー値情報を生成する。そして、エラー計算部315は、最小エラー値情報及び対応点選択情報を重み算出部313に出力する。初期パラメータ選択部316は、エラー値情報に基づいて、初期パラメータとして前フレームのホモグラフィー行列HLn-1、HRn-1及び単位行列Iのうちどちらを使用するのかを決定する。具体的には、初期パラメータ選択部316は、エラー値が小さい方の行列を初期パラメータのホモグラフィー行列とする。初期パラメータ選択部316は、選択された初期パラメータに関する初期パラメータ情報を生成し、線形幾何パラメータ算出部314に出力する。また、初期パラメータ選択部316は、対応点選択情報を座標ペア保持部317及び座標ペア統合部318に出力する。また、初期パラメータ選択部316は、初期パラメータとして単位行列を選択した場合には、リセット情報を座標ペア保持部317に出力する。座標ペア保持部317は、初期パラメータ選択部316から与えられた対応点選択情報を保持し、保持された対応点選択情報のうち、過去4フレーム分の対応点選択情報を座標ペア統合部318に出力する。座標ペア保持部317は、初期パラメータ選択部316からリセット情報が与えられた場合に、対応点選択情報を消去する。初期パラメータ選択部316からリセット情報が与えられた場合には、シーンチェンジがあった可能性が高いので、過去フレームの対応点選択情報は使用されないほうが好ましいからである。座標ペア統合部318は、初期パラメータ選択部316及び座標ペア保持部317から与えられた対応点選択情報を統合する。これにより、座標ペア統合部318は、最大で5フレーム分の対応点選択情報を統合する。座標ペア統合部318は、統合された対応点選択情報を重み算出部313及び線形幾何パラメータ算出部314に出力する。[重み算出部の構成]重み算出部313は、エラー計算部315から与えられた最小エラー値情報及び対応点選択情報に基づいて、変換行列Fの算出の際に時間軸拘束条件をどの程度考慮するかを示す重み、即ち時間軸拘束条件の重みweを算出する。具体的には、重み算出部313は、エラー値フレーム内初期値誤差、代表ベクトルVE2の数サンプル数、及び代表ベクトルVE2の分散が0.0~3.0の範囲第1の範囲内となる場合には、時間軸拘束条件の重みweを第1の重みwe1に決定し、エラー値、代表ベクトルVE2の数、及び代表ベクトルVE2の分散が3.0~16.0の範囲第2の範囲内となる場合には、重みweを第2の重みweに決定し、エラー値、代表ベクトルVE2の数、及び代表ベクトルVE2の分散が16.0~の範囲第3の範囲内となる場合には、重みweを第3の重みwe3に決定する。各重みの大小関係は、we1>we3>we2となる。第1の重みwe1の値は例えば10.0~1.0であり、第2の重みwe2の値は例えば1.0~0.1であり、第3の重みwe3の値は例えば0.1~0.01である。なお、このように決定することが可能な理由を図23に基づいて説明する。図23は、エラー値、代表ベクトルVE2の数、及び代表ベクトルVE2の分散と、時間軸拘束条件の重みと、算出される変換行列Fの精度との対応関係を示すグラフである。即ち、グラフ中の各点は、エラー値、代表ベクトルVE2の数、及び代表ベクトルVE2の分散の対応関係を示す。また、これらの点は、重みが高い例えば1方が変換行列Fの精度が良かった場合には、点Pw1で示され、重みが低い例えば0.01方が変換行列Fの精度が良かった場合には、点Pw2で示される。図23によれば、エラー値、代表ベクトルVE2の数、及び代表ベクトルVE2の分散によって、変換行列Fの算出に適した重みが異なっている。また、点Pw1は領域AR1、AR2に分布しており、点Pw4は領域AR3に分布している。なお、点Pw1は、領域AR1、AR2から離れた領域AR4にも分布しているが、これはレンズ歪みblow-fishによるものである。領域AR1、AR2は、上述した第1の範囲を示し、領域AR3は、上述した第2の範囲を示す。そこで、重み算出部313は、エラー値、代表ベクトルVE2の数、及び代表ベクトルVE2の分散が領域AR1または領域AR2に属する場合、即ち第1の範囲内となる場合には、時間軸拘束条件の重みweを最も重い第1の重みwe1に決定する。また、重み算出部313は、エラー値、代表ベクトルVE2の数、及び代表ベクトルVE2の分散が領域AR3に属する場合、即ち第2の範囲内となる場合には、時間軸拘束条件の重みweを最も軽い第2の重みwe2に決定する。なお、例えば領域AR1に含まれる点は、小さいエラー値、すなわち前フレームのホモグラフィー行列HLn-1、HRn-1によって現フレームの代表点が精度良く幾何補正されることを示す。したがって、エラー値、代表ベクトルVE2の数、及び代表ベクトルVE2の分散が領域AR1に属する場合、現フレームの変換行列Fnが前フレームの変換行列Fn-1に近付いている即ち、変換行列Fが収束しているといえる。一方、領域AR3に含まれる点は、大きなエラー値、すなわち前フレームのホモグラフィー行列HLn-1、HRn-1によって現フレームの特徴点を幾何補正しても精度が悪いことを示す。したがって、エラー値、代表ベクトルVE2の数、及び代表ベクトルVE2の分散が領域AR3に属する場合、現フレームの変換行列Fnが前フレームの変換行列Fn-1に近付いていない即ち、変換行列Fが収束していないといえる。一方、エラー値、代表ベクトルVE2の数、及び代表ベクトルVE2の分散が領域AR4に属する場合には、レンズ歪みが生じているので、時間軸拘束条件の重みweを第1の重みwe1及び第2の重みwe2と異なるものにすることが望ましいと思われる。そこで、重み算出部313は、エラー値、代表ベクトルVE2の数、及び代表ベクトルVE2の分散が領域AR4に属する場合、即ち第3の範囲内となる場合には、時間軸拘束条件の重みweを第1の重みwe1と第2の重みwe2との中間である第3の重みwe3に決定する。重み算出部313は、決定された時間軸拘束条件の重みweに関する時間軸拘束重み情報を生成し、線形幾何パラメータ算出部314に出力する。[線形幾何パラメータ算出部の構成]線形幾何パラメータ算出部314は、図24に示すように、座標変換部319と、マトリックス算出部320と、F行列算出部321と、F行列分解部322とを備える。座標変換部319は、初期化部315から与えられた情報に基づいて、各代表点ペアを座標変換する。具体的には、座標変換部319は、左側代表点を初期パラメータ、即ち前フレームのホモグラフィー行列HLn-1または単位行列Iで座標変換し、右側代表点を初期パラメータ、即ち前フレームのホモグラフィー行列HRn-1または単位行列Iで座標変換する。なお、単位行列Iでは、実質的には座標変換は行われない。なお、このような座標変換により、カラーキャリブレーション済み画像VL-1、VR-1の中心点、及び座標範囲がずれる場合がある。そこで、座標変換部319は、座標変換後の代表点ペアの座標及び初期パラメータを正規化する。具体的には、例えば、座標変換部319は、各代表点ペアの3次元座標及び初期パラメータに、正規化のための変換行列を乗じる。以下、正規化された3次元座標を正規化座標とも称し、正規化された初期パラメータを、正規化ホモグラフィー行列WL、WRとも称する。座標変換部319は、各代表点ペアの正規化座標及び正規化ホモグラフィー行列WL、WRに関する座標変換情報を生成し、マトリックス算出部320に出力する。マトリックス算出部320は、座標変換情報に基づいて、以下の式34で表される演算行列M2を算出する。ここで、Σはすべての代表点ペアについて合計することを意味し、行列Cは上述した直交ベクトル群F’0を合成したものであり、以下の式35で表される。マトリックス算出部320は、算出された演算行列M2に関する演算行列情報を生成し、F行列算出部321に出力する。F行列算出部321は、演算行列情報に基づいて、演算行列M2の最小固有ベクトルvminを算出する。なお、最小固有ベクトルvminの算出法は特に限定されないが、例えば特異値分解等が好ましい。さらに、F行列算出部321は、最小固有ベクトルvminの最小特異値が0に落ちるように、最小固有ベクトルvminを3×3の行列に特異値分解する。そして、F行列算出部321は、算出された行列SVDvminと、以下の式36とに基づいて、変換行列Fを算出する。さらに、F行列算出部321は、重みweの値をいくつかの値、例えば22×we、2×we、2-1×we、2-2×weに振って、変換行列Fを算出する。そして、F行列算出部321は、算出された変換行列Fの各々について、上述した式32を用いてエラー値を算出する。そして、F行列算出部321は、エラー値の最も小さいものを選択し、選択された変換行列Fに関する変換行列情報を生成し、座標変換情報と共にF行列分解部322に出力する。F行列分解部322は、変換行列情報に基づいて、変換行列Fをホモグラフィー行列HL、HR、行列F0に分解する。実質的には、F行列分解部322は、エピポーラ線を平行にする行列をホモグラフィー行列HL、HRとして算出する。具体的には、F行列分解部322は、まず、エピポール計算を行うことで、エピポール点の座標を算出する。エピポール点は、エピポーラ線の交点である。撮像装置に入射される光線が1点に集約されると仮定すると、これらの光線をカラーキャリブレーション済み画像VL-1、VR-1に射影した直線、即ちエピポーラ線同士も1つのエピポール点で交わることになる。エピポール点は、任意のエピポーラ線上に乗るので、任意のエピポーラ線に対する内積が0になる。そこで、F行列分解部322は、エピポーラ線と、エピポール点の座標との内積の二乗が最小となるようなエピポール点の座標を算出する。具体的には、F行列分解部322は、変換行列Fの二乗を算出する。ついで、F行列分解部322は、算出された行列の最小固有ベクトルをエピポール点の座標とする。なお、エピポール点は、カラーキャリブレーション済み画像VL-1、VR-1のそれぞれに存在するので、これらのエピポール点の座標を算出する。すなわち、F行列分解部322は、以下の式37で表される行列FLの最小固有ベクトルelを算出し、これをカラーキャリブレーション済み画像VL-1上のエピポール点、即ち左側エピポール点の座標とする。ここで、tは転置である。同様に、F行列分解部322は、以下の式38で表される行列FRの最小固有ベクトルeRを算出し、これをカラーキャリブレーション済み画像VR-1上のエピポール点、即ち右側エピポール点の座標とする。そして、F行列分解部322は、左側エピポール点を無限遠に飛ばす即ち、カラーキャリブレーション済み画像VL-1上のエピポーラ線を平行にする行列をホモグラフィー行列HLとして算出し、右側エピポール点を無限遠に飛ばす即ち、カラーキャリブレーション済み画像VR-1上のエピポーラ線を平行にする行列をホモグラフィー行列HRとして算出する。具体的には、F行列分解部322は、ホモグラフィー行列HL、HRの射影成分行列Hpを、以下の式39、40により算出する。ここで、e2はエピポールのx座標であり、e0はエピポールのz座標である。そして、F行列分解部322は、Rectification.cppのcalcRotationOfRectifyを用いて、ホモグラフィー行列HL、HRの回転成分行列Hrを算出し、Rectification.cppのcalcShearingOfRectifyを用いて、ホモグラフィー行列HL、HRの歪み並進成分行列Hshを算出する。そして、F行列分解部322は、以下の式41、42に基づいて、ホモグラフィー行列HL、HRの垂直スケール成分行列Hsを算出する。ここで、VerticalToreranceは、水平の並進移動量であり、AverageErrorは、移動量に対する差分平均であり、σは、標準偏差である。そして、F行列分解部322は、ホモグラフィー行列HLの射影成分行列Hp、回転成分行列Hr、歪み成分行列Hsh、及び垂直スケール成分行列Hsをかけ合わせることで、ホモグラフィー行列HLを算出する。同様に、F行列分解部322は、ホモグラフィー行列HRの射影成分行列Hp、回転成分行列Hr、歪み成分行列Hsh、及び垂直スケール成分行列Hsをかけ合わせることで、ホモグラフィー行列HRを算出する。次いで、F行列分解部322は、算出されたホモグラフィー行列HL、HRに関する線形補正係数情報を生成し非線形幾何パラメータフィッティング部304及びパラメータ選択部305に出力する。[非線形幾何パラメータフィッティング部の構成]非線形幾何パラメータフィッティング部304は、図25に示すように、ヤコビ行列算出部323と、ヘッセ行列算出部324と、係数更新部325とを備える。ヤコビ行列算出部323は、特徴量マッチング部301から与えられた特徴量ベクトル情報及び線形幾何パラメータフィッティング部303から与えられた線形補正係数情報に基づいて、以下の式43で表されるヤコビ行列J2を算出する。ここで、uは左側特徴点の3次元座標を示すベクトルであり、u’は右側特徴点の3次元座標を示すベクトルであり、coefFは変換行列Fの各成分を示す。fe2u,u’,coefFは、いわゆるエラー関数であり、以下の式44で表される。fe20~fe2mは、エラー関数fe2u,u’,coefFにそれぞれ異なる特徴量ベクトル情報を代入したものである。ここで、g2u,coefFは、左側特徴点の3次元座標に変換行列Fを乗じた値であり、g2u’,coefFは、右側特徴点の3次元座標に変換行列Fを乗じた値である。また、RobustFuncは上述した式16で表される関数である。そして、ヤコビ行列算出部323は、算出されたヤコビ行列J2に関するヤコビ行列情報を生成し、ヘッセ行列算出部324に出力する。また、ヤコビ行列算出部323は、後述する係数更新部325から非線形補正係数情報を与えられた場合には、当該非線形補正係数情報が示す非線形補正係数coefnonlinearと、特徴量ベクトル情報とに基づいて、上述したヤコビ行列J2を算出する。そして、ヤコビ行列算出部323は、算出されたヤコビ行列J2に関するヤコビ行列情報を生成し、ヘッセ行列算出部324に出力する。ヘッセ行列算出部324は、ヤコビ行列算出部323から与えられた情報に基づいて、以下の式45で示されるヘッセ行列H2を算出する。次いで、ヘッセ行列算出部324は、算出されたヘッセ行列H2に関するヘッセ行列情報を生成し、ヤコビ行列算出部323から与えられた情報と共に係数更新部325に出力する。係数更新部325は、ヘッセ行列算出部324から与えられた情報と、以下の式46とに基づいて、変換行列Fの各成分を非線形補正係数coefnonlinearとして算出する。ここで、Iは単位行列である。wfは係数重みであり、例えば0.1となる。次いで、係数更新部325は、非線形補正係数coefnonlinearを上述したF行列分解部322の処理と同様の処理により分解することでホモグラフィー行列HL、HRを算出する。そして、係数更新部325は、算出されたホモグラフィー行列HL、HRに関する非線形補正係数情報を生成する。そして、係数更新部325は、ホモグラフィー行列HL、HRが一定の値に収束したかを判定し、ホモグラフィー行列HL、HRが一定の値に収束した場合には、非線形補正係数情報をパラメータ選択部306に出力し、ホモグラフィー行列HL、HRが収束していないと判定した場合には、非線形補正係数情報をヤコビ行列算出部323に出力する。その後、ホモグラフィー行列HL、HRが再計算される。したがって、非線形幾何パラメータフィッティング部304は、線形幾何パラメータフィッティング部303が算出したホモグラフィー行列HL、HRを初期値として、ホモグラフィー行列HL、HRを非線形の演算手法により算出し、ホモグラフィー行列HL、HRが一定の値に収束するまで、非線形の演算を繰り返す。[パラメータ選択部の構成]図16に示すパラメータ選択部305は、線形幾何パラメータフィッティング部303から与えられた線形補正係数情報と、非線形幾何パラメータフィッティング部304から与えられた非線形補正係数情報とのそれぞれについて、上述した式32を用いて、画素ブロックBL-2、BR-2の組毎にエラー値を算出する。そして、パラメータ選択部305は、エラー値が小さい方の情報をパラメータ情報として選択する。パラメータ選択部305は、画素ブロックBL-2、BR-2の組毎に、パラメータ情報を選択し、幾何キャリブレーション実行部306及び線形幾何パラメータフィッティング部303に出力する。[幾何キャリブレーション実行部306の構成]幾何キャリブレーション実行部306は、パラメータ情報に基づいて、カラーキャリブレーション済み画像VL-1、VR-1に対して幾何キャリブレーションを行なう。具体的には、幾何キャリブレーション実行部306は、カラーキャリブレーション済み画像VL-1の各座標点をホモグラフィー行列HLで座標変換し、カラーキャリブレーション済み画像VR-1の各座標点をホモグラフィー行列HRで座標変換する。幾何キャリブレーション実行部306は、幾何キャリブレーション後の各画像をそれぞれキャリブレーション済み画像VL-2、VR-2として、図5に示す視差検出部4に出力する。図26に、時間軸拘束条件を用いることで変換行列Fのあばれが低減される様子を示す。図26aの曲線L3は、時間軸拘束条件を用いずに算出された変換行列Fの成分が変動する様子を示し、図26bの曲線L4は、時間軸拘束条件を用いて算出された変換行列Fの成分が変動する様子を示す。図26に示されるように、時間軸拘束条件を用いて算出された変換行列Fは、値のあばれが大きく低減されている。図27は、変換行列Fが時間の経過に応じて収束していく様子を示す。曲線L5、L6は、式32のエラー値が時間の経過に応じて収束していく様子を示す。なお、曲線L5は、1フレーム分の対応点選択情報を用いて変換行列Fが算出された場合を示し、曲線L6は、5フレーム分の対応点選択情報を用いて変換行列Fが算出された場合を示す。曲線L7は、式33のエラー値を示す。図27に示されるように、変換行列Fは時間の経過に応じて大きく収束していく。また、5フレーム分の対応点選択情報を用いて算出された変換行列Fは、1フレーム分の対応点選択情報を用いて算出された変換行列Fよりも大きく収束し、かつ、エラー値も安定しているといえる。[幾何キャリブレーション部3による効果]次に、幾何キャリブレーション部3による効果について説明する。幾何キャリブレーション部3は、変換行列Fを算出し、この変換行列Fに基づいて幾何キャリブレーション幾何補正を行うので、既知パターン既知モデルがなくても幾何キャリブレーションを行なうことができる。また、変換行列Fはエピポーラ拘束条件をみたすので、既知パターンよりも多様な画像に適用可能である。幾何キャリブレーション部3は、上述した式19を用いてエピポーラ拘束条件を解くので、変換行列Fを精度良く算出することができる。また、幾何キャリブレーション部3は、エピポーラ拘束条件の他、時間軸拘束条件をも満たす変換行列Fを算出するので、高精度かつ時間軸方向にロバストな時間的なロバスト性の高い変換行列Fを算出することができる。このため、幾何キャリブレーション部3は、時間的にロバストな幾何キャリブレーションを行なうことができる。なお、本発明者は、幾何キャリブレーションの手法として、RANSAC推定及びM推定といった非線形の推定方法これらの推定方法の詳細については、例えば、MahamudandHebert2000,’’Iterativeprojectivereconstructionfrommultipleviews’’、及びHartleyandZisserman2000,’’Multipleviewgeometryincomputervision’’等を参照についても検討した。この結果、RANSAC推定では、変換行列Fのパラメータが時間軸方向であばれやすいばたつきやすいことが判明した。また、M推定では、画像処理装置の処理負荷が非常に重くなることが判明した。これに対し、本実施の形態で算出される変換行列Fは、時間軸方向にあばれにくく、かつ、処理負荷も軽くなっている。また、幾何キャリブレーション部3は、前フレームで算出された変換行列Fとの相関を時間軸拘束とするので、変換行列Fを精度良く算出することができ、ひいては、幾何キャリブレーションを精度良く行なうことができる。また、幾何キャリブレーション部3は、前フレームで算出された変換行列Fn-1との相関を最大化するという最大二乗問題を、前フレームで算出された変換行列Fn-1の直交ベクトル群F’n-1と相関を最小にする最小二乗問題に変換するので、エピポーラ拘束条件及び時間軸拘束を単一の最小二乗問題として解くことができる。また、幾何キャリブレーション部3は、時間軸拘束を重み付けし、時間軸拘束の重みweを、代表点ペアの状況サンプル数等に応じて変更するので、変換行列Fを精度良く算出することができ、ひいては、変換行列Fの収束を早めることができる。また、幾何キャリブレーション部3は、時間軸拘束の重みweをいくつか振り、それぞれの重みweを用いて変換行列Fを算出し、エラー値が最小となる変換行列Fを選択するので、変換行列Fを精度良く算出することができる。また、幾何キャリブレーション部3は、特徴点ペアのうち、特に頻度が高い特徴点ペアを代表点ペアとし、この代表点ペアに基づいて変換行列Fを算出するので、変換行列Fを精度良く算出することができる。また、幾何キャリブレーション部3は、代表ベクトルVE2の座標をミーンシフト処理により算出するので、代表ベクトルVE2の座標を精度良く算出することができる。また、幾何キャリブレーション部3は、変換行列Fを算出する前に、左側代表点及び右側座標点の座標を初期パラメータ、例えばホモグラフィー行列HLn-1、HRn-1で座標変換するので、変換行列Fを容易に算出することができる。具体的には、幾何キャリブレーション部3は、上記の直交ベクトル群F’n-1を固定値に変換することができる。また、幾何キャリブレーション部3は、線形演算で算出された変換行列Fのパラメータを初期値として非線形演算を行うので、変換行列Fを精度良く算出することができる。また、幾何キャリブレーション部3は、線形演算で算出された変換行列Fと非線形演算で算出された変換行列Fとのそれぞれについてエラー値を算出し、エラー値の小さい方の変換行列Fを用いて幾何キャリブレーションを行うので、幾何キャリブレーションを精度良く行なうことができる。[線形幾何パラメータフィッティング部の第1の変形例]次に、線形幾何パラメータフィッティング部の第1の変形例を説明する。図28に示すように、線形幾何パラメータフィッティング部326は、初期化部327と、重み算出部328と、座標変換部329と、射影成分算出部330と、回転成分算出部331と、並進成分算出部332と、F行列分解部333とを備える。線形幾何パラメータフィッティング部326は、概略的には、変換行列Fを成分毎、即ち射影成分、回転成分、及び並進成分毎に算出する点と、各成分を算出する際に、算出済みの他の成分を考慮する点とが上述した線形幾何パラメータフィッティング部303と異なる。初期化部327、重み算出部328、及び座標変換部329は、上述した初期化部312、重み算出部313、及び座標変換部319と同様の処理を行なう。ただし、重み算出部328は、上述した時間軸拘束重み情報を射影成分算出部330と、回転成分算出部331と、並進成分算出部332とに出力する。射影成分算出部330は、図29に示すように、マトリックス算出部334と、F行列算出部335とを備える。マトリックス算出部334は、上述したマトリックス算出部320と同様の処理を行なう。ただし、マトリックス算出部334は、以下の式47で示される演算行列M3を算出する。ここで、Σはすべての代表点ペアについて合計することを意味し、行列C1は上述した直交ベクトル群F’0の一部を合成したものであり、以下の式48で表される。マトリックス算出部334は、算出された演算行列M3に関する演算行列情報を生成し、F行列算出部335に出力する。F行列算出部335は、演算行列情報に基づいて、上述したF行列算出部321と同様の処理を行う。これにより、以下の式49で示される射影成分の変換行列Fpを算出する。ここで、Pj1~Pj5は任意の数値を示す。F行列算出部335は、射影成分の変換行列Fpに関する射影成分変換行列情報を生成し、座標変換情報と共に回転成分算出部331に出力する。回転成分算出部331は、図30に示すように、マトリックス算出部336と、F行列算出部336とを備える。マトリックス算出部336は、上述したマトリックス算出部320と同様の処理を行なう。ただし、マトリックス算出部336は、以下の式50で示される演算行列M4を算出する。ここで、Σはすべての代表点ペアについて合計することを意味し、行列C2は上述した直交ベクトル群F’0の一部を合成したものであり、以下の式51で表される。マトリックス算出部336は、算出された演算行列M4に関する演算行列情報を生成し、F行列算出部337に出力する。式50に示すように、演算行列M4には、射影成分の変換行列FPが含まれている。即ち、演算行列M4は、射影成分の変換行列FPを考慮したものになっている。F行列算出部337は、演算行列情報に基づいて、上述したF行列算出部321と同様の処理を行う。これにより、以下の式52で示される回転成分の変換行列FRを算出する。ここで、演算行列M4には、射影成分の変換行列FPが含まれているので、F行列算出部337は、射影成分の変換行列FPに拘束された変換行列FRを算出することができる。ここで、Rot1~Rot4は任意の数値を示す。F行列算出部335は、回転成分の変換行列FRに関する回転成分変換行列情報を生成し、座標変換情報と共に並進成分算出部332に出力する。並進成分算出部331は、図31に示すように、マトリックス算出部338と、F行列算出部339とを備える。マトリックス算出部338は、上述したマトリックス算出部320と同様の処理を行なう。ただし、マトリックス算出部338は、以下の式53で示される演算行列M5を算出する。ここで、Σはすべての代表点ペアについて合計することを意味し、行列C3は上述した直交ベクトル群F’0の一部を合成したものであり、以下の式54で表される。マトリックス算出部336は、算出された演算行列M5に関する演算行列情報を生成し、F行列算出部339に出力する。式53に示すように、演算行列M5には、回転成分の変換行列FRが含まれている。即ち、演算行列M5は、回転成分の変換行列FRを考慮したものになっている。なお、変換行列FRは、射影成分の変換行列FPに拘束されているので、演算行列M5は、実質的には、射影成分の変換行列FPをも考慮したものになっている。F行列算出部339は、演算行列情報に基づいて、上述したF行列算出部321と同様の処理を行う。これにより、以下の式55で示される並進成分の変換行列FShを算出する。ここで、演算行列M5は、射影成分及び回転成分の変換行列FP、FRを考慮したものになっているので、F行列算出部339は、射影成分及び回転成分の変換行列FP、FRに拘束された変換行列FShを算出することができる。ここで、v1~v4は任意の数値を示す。F行列算出部339は、射影成分、回転成分、及び並進成分の変換行列FP、FR、FShをかけ合わせることで、変換行列Fを算出する。そして、算出された変換行列Fに関する変換行列情報を生成し、座標変換情報と共にF行列分解部322に出力する。図28に示すF行列分解部333は、上述したF行列分解部322と同様の処理を行なう。この変形例に係る線形幾何パラメータフィッティング部326は、変換行列Fを成分毎に算出するので、変換行列Fをロバストかつ精度良く算出することができる。また、線形幾何パラメータフィッティング部326は、各成分を算出する際に、すでに算出された成分を考慮する拘束条件として用いるので、この点でも、変換行列Fを精度良く算出することができる。[線形幾何パラメータフィッティング部の第2の変形例]次に、線形幾何パラメータフィッティング部の第2の変形例を説明する。図32に示すように、第2の変形例に係る線形幾何パラメータフィッティング部340は、初期化部341と、座標変換部342と、線形幾何パラメータ更新部343とを備える。線形幾何パラメータフィッティング340は、概略的には、変換行列Fを算出する過程を簡略化した点が、線形幾何パラメータフィッティング部303と異なる。初期化部341及び座標変換部342は、上述した初期化部312及び座標変換部319と同様の処理を行なう。線形幾何パラメータ更新部343は、並進成分更新用テーブルと、回転成分更新用テーブルと、射影成分更新用テーブルとを記憶する。並進成分更新用テーブルには、-5から5までの値が0.5刻みで格納されている。回転成分更新用テーブル及び射影成分更新用テーブルは、図33に示すように、5×5のマトリックス形状となっている。回転成分更新用テーブル及び射影成分更新用テーブルの各ブロックには、カラーキャリブレーション済み画像VL-1、VR-1を変換するために必要なパラメータの組み合わせTa、Tbが格納されている。ここで、Taは0、S、またはJであり、Tbは0、s、またはjである。s及びSは、0近傍の値刻みを示し、j及びJは、0から離れた値ジャンプを示す。即ち、sまたはSとjまたはJとの差分は、0とsまたはSとの差分よりも大きい。具体的には、回転成分更新用テーブルにおいては、Taはカラーキャリブレーション済み画像VL-1の回転角度を示し、Tbはカラーキャリブレーション済み画像VR-1の回転角度を示す。即ち、Sは、例えばカラーキャリブレーション済み画像VL-1を右回転方向に0.01度回転することを示し、Jは、例えばカラーキャリブレーション済み画像VL-1を右回転方向に0.1度回転することを示す。-は左回転を示す。同様に、sは、例えばカラーキャリブレーション済み画像VR-1を右回転方向に0.01度回転することを示し、jは、例えばカラーキャリブレーション済み画像VR-1画像を右回転方向に0.1度回転することを示す。-は左回転を示す。一方、射影成分更新用テーブルにおいては、Taはカラーキャリブレーション済み画像VL-1を射影変換する大きさを示し、Tbはカラーキャリブレーション済み画像VR-1を射影変換する大きさを示す。即ち、Sは、上述した式49のPj1、Pj2の組み合わせまたはそれに相当する値を示し、Jも、上述した式49のPj1、Pj2の組み合わせまたはそれに相当する値を示す。ただし、Jが示すPj1、Pj2の値は、Sが示すPj1、Pj2の値よりも大きくなっている。同様に、sは、上述した式49のPj3、Pj4の組み合わせまたはそれに相当する値を示し、jも、上述した式49のPj3、Pj4の組み合わせまたはそれに相当する値を示す。ただし、jが示すPj3、Pj4の値は、sが示すPj3、Pj4の値よりも大きくなっている。なお、ホモグラフィー行列HL、HRの各成分、即ち並進成分、回転成分、及び射影成分がとりうる値をすべてテーブルに格納しようとすると、テーブルの大きさが爆発してしまう。そこで、本実施の形態では、各テーブルの大きさを上記のように制限している。なお、上記の大きさはあくまで一例であり、各テーブルは他の大きさであってもよいことはもちろんである。線形幾何パラメータ更新部343は、並進成分更新用テーブルの値と、回転成分更新用テーブルの値と、射影成分更新用テーブルの値とのすべての組み合わせについて、以下の式56、57で表されるホモグラフィー更新用行列DL、DRを算出する。ここで、vL、vRは、それぞれ並進成分更新用テーブルに格納された値を示す。rLは、回転成分更新用テーブルのTaを示し、vRは回転成分更新用テーブルのTbを示す。pLは、射影成分更新用テーブルのTaを示し、pRは射影成分更新用テーブルのTbを示す。そして、線形幾何パラメータ更新部343は、以下の式58、59に基づいて、ホモグラフィー行列HL、HRを更新する。そして、線形幾何パラメータ更新部343は、算出されたすべてのホモグラフィー行列HL、HRについて、上述した式32を用いてエラー値を算出し、このエラー値が最も小さいホモグラフィー行列HL、HRを選択する。そして、線形幾何パラメータ更新部343は、選択されたホモグラフィー行列HL、HRに関する線形補正係数情報を生成し非線形幾何パラメータフィッティング部304及びパラメータ選択部305に出力する。図34に、ホモグラフィー行列HL、HRが収束する様子を示す。曲線L8は、式33のエラー値が時間の経過に応じて変動する様子を示し、曲線L9は、ホモグラフィー行列HL、HRの並進成分だけ更新したときのエラー値が時間の経過に応じて変動する様子を示し、曲線L10は、ホモグラフィー行列HL、HRの並進成分及び回転成分を更新したときのエラー値が時間の経過に応じて変動する様子を示す。図34に示されるように、ホモグラフィー行列HL、HRの並進成分及び回転成分を更新することで、ホモグラフィー行列HL、HRが非常に小さい値に収束する。図35は、ホモグラフィー行列HL、HRが収束したときの値を示す。棒グラフL11は、式33のエラー値が収束した値を示し、棒グラフL12は、ホモグラフィー行列HL、HRの並進成分だけ更新したときのエラー値が収束した値を示す。棒グラフL13は、ホモグラフィー行列HL、HRの並進成分及び回転成分を更新したときのエラー値が収束した値を示し、棒グラフL14は、ホモグラフィー行列HL、HRの並進成分、回転成分、及び射影成分を更新したときのエラー値が収束した値を示す。また、閾値Th1は、後述する視差検出が良好に行われるときのエラー値の上限を示す。即ち、後述する視差検出が良好に行われるためには、エラー値がこの閾値Th1以下となる必要がある。図35に示されるように、少なくともホモグラフィー行列HL、HRの並進成分及び回転成分を更新することで、視差検出が良好に行われる。第2の変形例に係る線形幾何パラメータフィッティング部340は、更新テーブルを用いて変換行列Fを算出する。このため、線形幾何パラメータフィッティング部340は、変換行列F算出の際の処理負担を軽くすることができる。また、処理負担が軽くなる結果、パラメータのあばれが抑えられるので、線形幾何パラメータフィッティング部340は、ロバストな変換行列Fを算出することができる。また、線形幾何パラメータフィッティング部340は、更新テーブルの大きさを制限しているので、更新テーブルの大きさが爆発することを防止することができる。[パラメータ選択部の変形例]次に、パラメータ選択部305の変形例変換行列調整部を説明する。この変形例に係るパラメータ選択部305は、上述した処理によってホモグラフィー行列HL、HRを選択した後、さらに以下の画像擦り合わせ処理を行なう。即ち、図36に示されるように、パラメータ選択部305は、ホモグラフィー行列HL、HRに基づいて変換行列Fを算出し、左側代表点を変換行列Fで変換してエピポーラ線EPR-12とする。そして、パラメータ選択部305は、右側代表点PR-12からエピポーラ線EPR-12に垂線をおろし、交点PR-13を求める。そして、パラメータ選択部305は、右側代表点PR-12を中心とした第1周辺パッチ例えば、10×10画素のパッチPat1と、交点PR-13を中心とした第2周辺パッチ例えば、10×10画素のパッチPat2とを抽出する。そして、パラメータ選択部305は、これらのパッチの相関が最大となるように、ホモグラフィー行列HL、HRを調整する。具体的には、パラメータ選択部305は、以下の式60の値が最小となるように、ホモグラフィー行列HL、HRを調整する。ここで、aj、aiは第1パッチPat1内の各画素の輝度を示し、bi、bkは第2パッチPat2内の各画素の輝度を示す。そして、パラメータ選択部305は、調整後のホモグラフィー行列HL、HRと、他の代表的ペアと、を用いて上述した処理を繰り返す。そして、パラメータ選択部305は、すべての代表的ペアについて上述した処理を行った後、ホモグラフィー行列HL、HRに関するパラメータ情報を生成し、線形幾何パラメータフィッティング部303及び幾何キャリブレーション実行部306に出力する。したがって、パラメータ選択部305は、ホモグラフィー行列HL、HR、ひいては変換行列Fをより精度良く算出することができる。なお、上述した変形例を任意に組み合わせてもよい。例えば、すべての変形例を組み合わせてもよい。この場合、線形幾何パラメータフィッティング部303は、複数の手法によってホモグラフィー行列HL、HRをそれぞれ生成する。そして、パラメータ選択部305は、これらのホモグラフィー行列HL、HR及び非線形幾何パラメータフィッティング部304により生成されたホモグラフィー行列HL、HRのうち、最適なものを選択し、さらに、上述した第3変形例の処理によって、ホモグラフィー行列HL、HRの精度を向上する。このホモグラフィー行列HL、HRは、次のフレームでの演算における初期パラメータとされる。<2-3.視差検出部の構成>次に、図5に示す視差検出部4の構成について説明する。視差検出部4は、図37に示すように、グローバルマッチング部401と、ローカルマッチング部402と、ディスパリティマップ統合部403とを備える。すなわち、視差検出部4は、グローバルマッチングと、ローカルマッチングとを並行して行う。ここで、ローカルマッチングは、精度の良否が上述したキャリブレーションの結果やモデル例えば、入力画像VLの輝度と入力画像VRの輝度との対応関係を示すモデル式や、変換行列Fに依存しないという長所があるものの、オクルージョンに弱い、安定性が悪い精度がばらつきやすいといった短所もある。一方、グローバルマッチングは、オクルージョンに強い、安定しているという長所があるものの、精度の良否がキャリブレーションの結果やモデルに依存しやすいという短所もある。そこで、視差検出部4は、両者を並行して行い、結果として得られる視差マップを対比し、良好な視差マップを選択するようにしている。[グローバルマッチング部の構成]グローバルマッチング部401第1の水平視差検出部は、図38に示すように、DSADDynamicSumOfAbsoluteDifference算出部404と、最小値選択部405と、モーション記述部406と、アンカーベクトル構築部407と、コスト算出部408と、経路構築部409と、バックトラック部410とを備える。[DSAD算出部の構成]DSAD算出部404は、キャリブレーション済み画像VL-2、VR-2と、カラーキャリブレーション部2から与えられた信頼度マップ情報と基づいて、左側座標点毎に以下の処理を行なう。即ち、DSAD算出部404は、左側座標点を基準座標点とし、左側座標点と同じ高さ同じy座標の右側座標点を参照座標点としてすべて抽出する。そして、DSAD算出部404は、各参照座標点のx座標から基準座標点のx座標を減算し、これにより得られた値をそれぞれ基準座標点の水平視差d1とする。そして、DSAD算出部404は、基準座標点のすべての水平視差d1即ち、すべての参照座標点について、以下の式61で示されるDSADjjは-2~2の整数を算出する。ここで、iは-2~2の整数であり、Li,jは、基準座標点とy座標がij異なる左側座標点の輝度であり、Ri,jは、参照座標点とy座標がij異なる右側座標点の輝度である。また、α1は、カラーキャリブレーション用信頼度マップが示す基準座標点の信頼度を、0~1の値に正規化したものであり、信頼度が大きいほど1に近くなる。このように、DSADの算出にカラーキャリブレーション用信頼度マップの値を利用することで、色ズレに強い視差検出が可能となる。正規化は、信頼度を上述した式16に代入することで得られる。したがって、DSAD算出部404は、基準座標点及び参照座標点のy座標を振ることで、いくつかのDSADを算出することとなる。これにより、視差検出部3は、左側座標点と右側座標点との垂直ずれを考慮した視差マップを生成することができる。DSAD算出部404は、参照座標点のy座標を振る量を、基準座標点のy座標に対して上下2画素としたが、この範囲は、ロバスト性と精度とのバランスに応じて任意に変更される。DSAD算出部404は、算出されたDSAD-2~DSAD2に関するDSAD情報を生成し、最小値選択部405に出力する。[最小値選択部の構成]最小値選択部405は、DSAD情報に基づいて、すべての左側座標点及び水平視差d1について、最小のDSADを選択する。そして、最小値選択部405は、選択されたDSADを図43に示す視差検出用DPマップの各ノードPx、dに格納する。したがって、最小のDSADがノードPx、dのスコアとなる。視差検出用DPマップは、横軸が左側座標点のx座標、縦軸が水平視差d1となっており、複数のノードPx、dを有している。視差検出用DPマップは、左側座標点の水平視差d1を算出する際に使用される。また、視差検出用DPマップは、左側座標点のy座標毎に生成される。したがって、いずれかの視差検出用DPマップ内のいずれかのノードPx、dは、いずれかの左側座標点に対応する。[モーション記述部の構成]モーション記述部406は、図39に示すように、水平差分算出部411と、垂直差分算出部412と、時間差分算出部413と、フィルタ部414と、モーションスコア算出部415とを備える。水平差分算出部411は、キャリブレーション済み画像VL-2を取得し、キャリブレーション済み画像VL-2の画素、即ち左側座標点毎に、以下の処理を行なう。すなわち、水平差分算出部411は、左側座標点を基準座標点とし、基準座標点の輝度から、基準座標点よりx座標が1大きい参照座標点の輝度を減算する。水平差分算出部411は、これにより得られた値を水平差分dxとし、水平差分dxに関する水平差分情報を生成し、フィルタ部414に出力する。垂直差分算出部412は、キャリブレーション済み画像VL-2を取得し、キャリブレーション済み画像VL-2の画素、即ち左側座標点毎に、以下の処理を行なう。即ち、垂直差分算出部412は、左側座標点を基準座標点とし、基準座標点の輝度から、基準座標点よりy座標が1大きい参照座標点の輝度を減算する。垂直差分算出部412は、これにより得られた値を垂直差分dyとし、算出された垂直差分dyに関する垂直差分情報を生成し、フィルタ部414に出力する。時間差分算出部413は、キャリブレーション済み画像VL-2と、前フレームのキャリブレーション済み画像V’L-2とを取得し、キャリブレーション済み画像VL-2の画素、即ち左側座標点毎に、以下の処理を行なう。即ち、時間差分算出部413は、左側座標点を基準座標点とし、前フレームのキャリブレーション済み画像V’L-2の各画素のうち、基準座標点と同じ座標を有する画素を参照座標点とする。そして、時間差分算出部413は、基準座標点の輝度から参照座標点の輝度を減算する。時間差分算出部413は、これにより得られた値を時間差分dtとし、算出された時間差分dtに関する時間差分情報を生成し、フィルタ部414に出力する。フィルタ部414は、水平差分情報、垂直差分情報、及び時間差分情報にローパスフィルタを掛ける。その後、フィルタ部414は、これらの情報をモーションスコア算出部415に出力する。モーションスコア算出部415は、水平差分情報、垂直差分情報、及び時間差分情報に基づいて、左側座標点毎に静動判定を行い、この結果に応じたモーションスコアを決定する。具体的には、モーションスコア算出部415は、左側座標点毎に、輝度変化量の時間微分値dx/dtdy/dt単位時間あたりの輝度変化量を算出し、算出された微分値をシグモイド関数に代入することで、0~1の値に正規化する。モーションスコア算出部415は、正規化された値をモーションスコアとし、モーションスコアに関するモーションスコア情報をアンカーベクトル構築部407に出力する。モーションスコアは、左側座標点の輝度の変動が激しくなるほど即ち、画像の動きが激しくなるほど小さくなる。なお、モーションスコア算出部415は、以下のようにモーションスコアを算出するようにしてもよい。すなわち、モーションスコア算出部415は、キャリブレーション済み画像VL-2の解像度を落とすことでモザイク画像V’’L-2を生成する。モーションスコア算出部415は、キャリブレーション済み画像VL-2の左側座標点を基準座標点とし、モザイク画像V’’L-2のうち、基準座標点と同じ座標を有する座標点を参照座標点とする。モーションスコア算出部415は、基準座標点の輝度から参照座標点の輝度を減算する。モーションスコア算出部415は、算出された差分値をシグモイド関数に代入することで、0~1の値に正規化する。モーションスコア算出部415は、正規化された値をモーションスコアとする。この場合、モーションスコアは、キャリブレーション済み画像VL-2のうち、プレーンな部分で大きくなる。この手法では、処理負担が軽くなり、かつ、ロバストなモーションスコアが得られる。[アンカーベクトル構築部の構成]図38に示すアンカーベクトル構築部407は、図40に示すように、ローカルヒストグラム作成部416と、アンカーベクトル算出部417とを備える。ローカルヒストグラム作成部416は、前フレームで作成された視差マップDMn-1を取得する。ローカルヒストグラム作成部416は、視差マップの座標点これらの座標点は、左側座標点に対応する毎に以下の処理を行なう。具体的には、ローカルヒストグラム作成部416は、視差マップのいずれかの座標点を基準座標点とし、基準座標点の周辺領域例えば、基準座標点を中心とした5×5画素の領域から水平視差情報を抽出する。そして、ローカルヒストグラム作成部416は、これらの水平視差情報に基づいて、図41に示すローカルヒストグラムDHを生成する。ローカルヒストグラムDHは、水平視差d1の値と、視差の値を有する画素の数頻度との対応関係を示す。ローカルヒストグラム作成部416は、ローカルヒストグラムDHに関するローカルヒストグラム情報を生成し、アンカーベクトル算出部417に出力する。アンカーベクトル算出部417は、ローカルヒストグラム情報に基づいて、左側座標点毎に以下の処理を行なう。即ち、アンカーベクトル算出部417は、図41に示すように、頻度が所定の閾値Th2以上となる水平視差d1、即ち高頻度視差d1’を検索する。アンカーベクトル算出部417は、モーションスコアに所定値を乗じたボーナス値と、高頻度視差d1’とを示すアンカーベクトル情報を生成し、コスト算出部408に出力する。なお、アンカーベクトル情報は、例えば以下の式67で表される。ここで、α2はボーナス値を示し、行列Mdは、高頻度視差d1’の位置を示す。即ち、行列Mdの各列は、それぞれ異なる水平視差d1を示し、成分が1となっている列は、その列に対応する水平視差d1が高頻度視差d1’であることを示す。高頻度視差d1’が存在しない場合、行列Mdのすべての成分が0になる。[コスト算出部の構成]図38に示すコスト算出部408は、アンカーベクトル情報に基づいて、視差検出用DPマップの各ノードPx、dの値を更新する。即ち、コスト算出部408は、左側座標点毎に、高頻度視差d1’に対応するノードx、d=d1’を特定し、このノードのスコアから、ボーナス値α2を減算する。これにより、前フレームでの頻度が大きい視差と同じ視差を有するノードは、最短経路を通りやすくなる。言い換えれば、前フレームでの頻度が大きい視差は、現フレームにおいても選択されやすくなる。[経路構築部の構成]図38に示す経路構築部409は、図42に示すように、左目用画像水平差分算出部418と、右目用画像水平差分算出部419と、重み算出部420と、経路算出部421とを備える。左目用画像水平差分算出部418は、上述した水平差分算出部411と同様の処理を行なう。そして、左目用画像水平差分算出部418は、この処理により生成された水平差分情報を重み算出部420に出力する。右目用画像水平差分算出部419は、キャリブレーション済み画像VR-2を取得する。そして、右目用画像水平差分算出部419は、キャリブレーション済み画像VR-2に対して上述した水平差分算出部411と同様の処理を行なう。そして、右目用画像水平差分算出部419は、この処理により生成された水平差分情報を重み算出部420に出力する。重み算出部420は、水平差分情報に基づいて、左側座標点の重みwtL、右側座標点のwtRをすべての座標点について算出する。具体的には、重み算出部420は、左側座標点の水平差分dwLをシグモイド関数に代入することで、水平差分dwLを0~1の値に正規化し、これを重みwtLとする。同様に、重み算出部420は、右側座標点の水平差分dwRをシグモイド関数に代入することで、水平差分dwRを0~1の値に正規化し、これを重みwtRとする。そして、重み算出部420は、算出された重みwtL、wtRに関する重み情報を生成し、経路算出部421に出力する。重みwtL、wtRは画像のエッヂ輪郭の部分で小さくなり、平坦部分で大きくなる。経路算出部421は、重み算出部420から与えられた重み情報に基づいて、視差検出用DPマップの各ノードPx、dに至るまでの累積コストを計算する。具体的には、経路算出部421は、ノード0、0を始点、ノードxmaz、0を終点とし、始点からノードPx、dに至るまでの累積コストを以下のように定義する。ここで、xmaxは、左側座標点のx座標の最大値である。ここで、DFIx、d0は、経路PAd0を通ってノードPx、dに至るときの累積コストであり、DFIx、d1は、経路PAd1を通ってノードPx、dに至るときの累積コストであり、DFIx、d2は、経路PAd2を通ってノードPx、dに至るときの累積コストである。また、DFIx、d-1は始点からノードPx、d-1に至るまでの累積コストである。DFIx-1、dは始点からノードPx-1、dに至るまでの累積コストである。DFIx-1、d1は始点からノードPx-1、d1に至るまでの累積コストである。また、occCost0、occCost1は、それぞれコストの値を示す所定値であり、例えば4.0である。wtLは、ノードPx、dに対応する左側座標点の重みであり、wtRは、この左側座標点と同じ座標を有する右側座標点の重みである。そして、経路算出部421は、算出された累積コストDFIx、d0~DFIx、d2のうち、最小のものを選択し、選択されたものをノードPx、dの累積コストDFIx、dとする。経路算出部421は、すべてのノードPx、dについて累積コストDFIx、dを算出し、視差検出用DPマップに格納する。バックトラック部410は、累積コストが最小となる経路を終点から始点に向かって逆にたどることで、最短経路、即ち始点から終点までの累積コストが最小となる経路を算出する。この最短経路上のノードは、対応する左側座標点の水平視差d1となる。バックトラック部410は、算出された最短経路と、後述するローカルマッチング部から与えられた垂直視差情報とに基づいて、視差マップDM1を生成する。視差マップDM1は、左側座標点毎に水平視差d1及び垂直視差d2を示す。バックトラック部410は、生成された視差マップDM1に関する視差マップ情報を生成し、図37に示すディスパリティマップ統合部403に出力する。ここで、視差マップDM1には、左側座標点のy座標と、左側座標点と同じx座標を有する右側座標点のy座標との差分、即ち垂直視差d2のうち、ローカルマッチング部402により最適であると判断されたものが格納される。[ローカルマッチング部の構成]ローカルマッチング部402第2の水平視差検出部は、いわゆるブロックマッチングを行なうことで、画素ブロックごとに視差マップDM2を算出する。視差マップDM2も、左側座標点毎に水平視差d1及び垂直視差d2を示す。具体的には、ローカルマッチング部402は、キャリブレーション済み画像VL-2、VR-2をそれぞれ複数の画素ブロックに分割する。例えば、ローカルマッチング部402は、上述した幾何キャリブレーション部3のように、キャリブレーション済み画像VL-2、VR-2をそれぞれ64個の画素ブロックに分割する。そして、ローカルマッチング部402は、キャリブレーション済み画像VL-2の画素ブロック以下、左側画素ブロックとも称するごとに、上述したグローバルマッチング部401と同様の処理を行う。ここで、ローカルマッチング部402は、左側座標点毎に垂直視差d2も算出する。垂直視差d2の算出方法は、上述したグローバルマッチング部401の処理と同様である。例えば、ローカルマッチング部402は、上述したDSADを算出する処理において、基準座標点とx座標が同じ右側座標点を参照座標点とすることで、y軸方向にもDSADを算出する。その後、ローカルマッチング部402は、算出されたDSAD等に基づいて、垂直視差d2を算出するための視差検出用DPマップを生成し、この視差検出用DPマップの最短経路を算出し、この最短経路に基づいて、垂直視差d2を左側座標点毎に算出する。ローカルマッチング部402は、生成された視差マップDM2に関する視差マップ情報をディスパリティマップ統合部403に出力する一方で、垂直視差d2に関する垂直視差情報を生成し、グローバルマッチング部401に出力する。[ディスパリティマップ統合部の構成]ディスパリティマップ統合部403は、まず、視差マップ情報に基づいて、グローバルマッチング部401が生成した視差マップDM1、及びローカルマッチング部402が生成した視差マップDM2を評価する。具体的には、ディスパリティマップ統合部403は、現フレームの視差マップDM1と、前フレームの視差マップDM1との差分を示す第1の差分マップを生成する。第1の差分マップは、現フレームの視差マップDM1の水平視差d1から前フレームの視差マップDM1の水平視差d1を減算した値を、左側座標点毎に示すものである。次いで、ディスパリティマップ統合部403は、第1の差分マップを2値化することで、第1の2値化差分マップを生成する。そして、ディスパリティマップ統合部402は、第1の2値化差分マップの各値に所定の重み例えば8を乗じることで、第1の差分スコアマップを生成する。さらに、ディスパリティマップ統合部403は、現フレームの視差マップDM1と、現フレームのキャリブレーション済み画像VL-2とのエッジ画像を生成し、これらの相関を示す相関マップを生成する。現フレームの視差マップDM1のエッジ画像は、現フレームの視差マップDM1のエッジ部分現フレームの視差マップDM1に描かれた各画像の輪郭部分を示す。同様に、キャリブレーション済み画像VL-2のエッジ画像は、キャリブレーション済み画像VL-2のエッジ部分キャリブレーション済み画像VL-2に描かれた各画像の輪郭部分を示す。エッジ画像同士の相関を算出する手法としては、例えば、NCC等のような相関関係を算出する手法が任意に用いられる。そして、ディスパリティマップ統合部403は、相関マップを2値化することで、2値化相関マップを生成する。そして、ディスパリティマップ統合部402は、2値化相関マップの各値に所定の重み例えば26を乗じることで、相関スコアマップを生成する。そして、ディスパリティマップ統合部403は、第1の差分スコアマップと相関スコアマップとを統合し、IIRフィルタを掛けることで、グローバルマッチング用信頼度マップEMGを生成する。グローバルマッチング用信頼度マップEMGの各左側座標点の値は、第1の差分スコアマップと相関スコアマップとの値のうち、大きい方の値を示す。一方、ディスパリティマップ統合部403は、現フレームの視差マップDM2と、前フレームの視差マップDM2との差分を示す第2の差分マップを生成する。差分マップは、現フレームの視差マップDM1の水平視差d1から前フレームの視差マップDM1の水平視差d1を減算した値を、左側座標点毎に示すものである。次いで、ディスパリティマップ統合部403は、第2の差分マップを2値化することで、第2の2値化差分マップを生成する。そして、ディスパリティマップ統合部402は、第2の2値化差分マップの各値に所定の重み例えば16を乗じることで、第2の差分スコアマップを生成する。さらに、ディスパリティマップ統合部403は、現フレームのキャリブレーション済み画像VL-2のエッジ画像を生成する。このエッジ画像は、キャリブレーション済み画像VL-2のエッジ部分キャリブレーション済み画像VL-2に描かれた各画像の輪郭部分を示す。ディスパリティマップ統合部403は、このエッジ画像を2値化することで、2値化エッジマップを生成する。そして、ディスパリティマップ統合部402は、2値化エッジマップの各値に所定の重み例えば8を乗じることで、エッジスコアマップを生成する。そして、ディスパリティマップ統合部403は、第2の差分スコアマップとエッジスコアマップとを統合し、IIRフィルタを掛けることで、ローカルマッチング用信頼度マップEMLを生成する。ローカルマッチング用信頼度マップEMLの各左側座標点の値は、第2の差分スコアマップとエッジスコアマップとの値のうち、大きい方の値を示す。このように、ディスパリティマップ統合部403は、グローバルマッチング部401により生成された視差マップDM1を異なる評価手法により評価し、それらの結果を統合することで、グローバルマッチング用信頼度マップEMGを生成する。同様に、ディスパリティマップ統合部403は、ローカルマッチング部402により生成された視差マップDM2を異なる評価手法により評価し、それらの結果を統合することで、ローカルマッチング用信頼度マップEMLを生成する。ここで、視差マップDM1の評価手法と視差マップDM2の評価手法とは互いに異なっている。また、評価手法によりことなる重み付けが行われている。そして、ディスパリティマップ統合部403は、グローバルマッチング用信頼度マップEMGと、ローカルマッチング用信頼度マップEMLとを対比することで、左側座標点毎に、視差マップDM1と視差マップDM2とのどちらの信頼度が高いかを判定する。ディスパリティマップ統合部403は、判定の結果に基づいて、信頼度の高い視差マップを左側座標点毎に示す視差検出用信頼度マップEMを生成する。図44に、視差検出用信頼度マップEMの一例を示す。即ち、図44aは、幾何キャリブレーションが行われなかった場合に生成された視差検出用信頼度マップEM1を示し、図44bは、幾何キャリブレーションが行われた場合に生成された視差検出用信頼度マップEM2を示す。領域EM11は、視差マップDM1の方が視差マップDM2よりも信頼度が高い領域を示し、領域EM12は、視差マップDM2の方が視差マップDM1よりも信頼度が高い領域を示す。ローカルマッチングは、上述したように、キャリブレーションの結果に依存しないので、視差検出用信頼度マップEM1内の領域EM12の方が視差検出用信頼度マップEM2内の領域EM12よりも広い。これに対し、グローバルマッチングは、本実施形態のように精度の良い幾何キャリブレーションが行われた場合には、良好な視差検出を行なうことができるので、視差検出用信頼度マップEM2内の領域EM11の方が視差検出用信頼度マップEM1内の領域EM11よりも広い。ディスパリティマップ統合部403は、生成された視差検出用信頼度マップに基づいて、視差マップDMを生成する。ここで、視差マップDMの各左側座標点の水平視差d1は、視差マップDM1及び視差マップDM2のうち信頼度が高い方の値を示す。図45は、視差検出用3による効果を説明するための図である。図45aは、視差マップDM1に基づいて生成された多視点画像VV1を示し、図45bは、視差マップDM2に基づいて生成された多視点画像VV2を示し、図45cは、視差マップDMに基づいて生成された多視点画像VV3を示す。多視点画像VV1~VV3には、被写体画像VV10~VV30が描かれている。被写体画像VV10~VV30の先端部VV11~VV31は、上述したモデルが当てはまらない領域となっている。グローバルマッチングは、精度の良否がモデルに依存するので、端部VV11が破綻している。しかし、しかし、ローカルマッチングは精度の良否がモデルに依存しないので、端部VV21は破綻していない。視差マップDMは視差マップDM1及び視差マップDM2のうち信頼度が高い方の値を示すので、端部VV31の領域では、視差マップDM2の値を示す。したがって、端部VV31は、視差マップDM2に基づいて生成されている。このため、端部VV31も破綻していない。[視差検出部による効果]次に、視差検出部4による効果を説明する。視差検出部4は、DSADの算出の際に、y軸方向の視差も考慮するので、幾何ズレ垂直ズレに強い視差検出を行なうことができる。即ち、視差検出部4は、従来よりもロバスト性及び制度の高い水平視差の検出を行うことができる。また、視差検出部4は、y軸方向の視差を考慮する範囲を制限するのでここでは、基準座標点に対して上下2画素、最適化問題の爆発が起こることを防止することができる。また、視差検出部4は、DSADを算出する際に、カラーキャリブレーションにおいて算出された信頼度を考慮するので、ロバスト性と精度とのバランスを考慮した視差検出を行うことができる。また、視差検出部4は、DSADを視差検出用DPマップのスコアとするので、単にSADのみをスコアとする場合よりも、視差検出用DPマップのスコアを精度良く算出することができ、ひいては、視差検出を精度良く行なうことができる。また、視差検出部4は、静動判定の結果に基づいて、視差検出用DPマップの各スコアにボーナスを付与するので、視差検出用DPマップのスコアを精度良く算出することができる。また、視差検出部4は、キャリブレーション済み画像VL-2の解像度を落とすことでモザイク画像V’’L-2を生成し、モザイク画像V’’L-2に基づいてモーションスコアを算出してもよい。この場合、処理負担が軽くなり、かつ、ロバストなモーションスコアが得られる。また、視差検出部4は、各ノードPx、dの累積コストを算出する際に、水平差分に応じた重みwtL、wtRを考慮するので、累積コストを精度良く算出することができる。この重みwtL、wtRは、エッジ部では小さくなり、平坦部では大きくなるので、スムージングが画像に応じて適切に行われるようになる。また、視差検出部4は、グローバルマッチングにより算出された視差マップDM1に、ローカルマッチングにより算出された垂直視差d2を含ませるので、視差マップDM1の精度を向上させることができる。例えば、この視差マップDM1は、入力画像VL、VRのアライメントが取れていなくても、ロバストになる。また、視差検出部4は、視差マップDM1とキャリブレーション済み画像VL-2とのエッジ画像の相関を示す相関マップを生成し、この相関マップに基づいて視差マップDM1の信頼度を算出するので、視差マップDM1のいわゆるストリーキング領域での信頼度を算出することができる。このため、視差検出部4は、ストリーキング領域において、視差検出を精度良く行うことができる。また、視差検出部4は、視差マップDM1と視差マップDM2とを評価する際に、それぞれ異なる評価手法にて視差マップDM1と視差マップDM2とを評価するので、これらの特性を考慮した評価を行うことができる。また、視差検出部4は、それぞれの評価手法により得られたマップにIIRフィルタを掛けることで、グローバルマッチング用信頼度マップEMGと、ローカルマッチング用信頼度マップEMLとを生成するので、時間的に安定した信頼度マップを生成することができる。また、視差検出部4は、視差マップDM1と視差マップDM2とのうち、信頼度の高い方を用いて視差マップDMを生成するので、グローバルマッチングでは正確な視差が検出されにくい領域、及びローカルマッチングでは正確な視差が検出されにくい領域において、正確な視差を検出することができる。また、視差検出部4は、生成された視差マップDMを次フレームで考慮するので、単に複数のマッチング手法を並行して行う場合よりも、視差検出を精度良く行なうことができる。<3.画像処理装置による処理>次に、画像処理装置1による処理を説明する。[カラーキャリブレーション部による処理]まず、図46に示すフローチャートに沿って、カラーキャリブレーション部2が行う処理について説明する。ステップS10において、ブロック分割部207は、図8aに示すように、入力画像VLを8つの画素ブロックBL-1に分割する。同様に、ブロック分割部207は、図8bに示すように、入力画像VRを8つの画素ブロックBR-1に分割する。次いで、ブロック分割部207は、各画素ブロックBL-1、BR-1内の階調を64階調に落とす。ブロック分割部207は、各画素ブロックBL-1、BR-1に関するブロック情報をヒストグラム生成部208に出力する。次いで、ヒストグラム生成部208は、ブロック情報に基づいて、画素ブロックBL-1毎に、図9aに示すようなカラーヒストグラムCHLを生成する。同様に、ヒストグラム生成部208は、画素ブロックBR-1毎に、図9bに示すようなカラーヒストグラムCHRを生成する。次いで、ヒストグラム生成部208は、カラーヒストグラムCHLとカラーヒストグラムCHRとを対応付ける。次いで、ヒストグラム生成部208は、カラーヒストグラムCHL、CHRに関するカラーヒストグラム情報を生成し、DPマッチング部209に出力する。次いで、DPマッチング部209は、カラーヒストグラム情報に基づいて、画素ブロックBL-1、BR-1の組毎に、以下の処理を行なう。すなわち、DPマッチング部209は、まず、図10に示すような色対応検出用DPマップを生成する。そして、DPマッチング部209は、ノードP0、0を始点、ノードP63、63を終点とし、始点からノードPnL、nRに至るまでの累積コストを上記の式1~3のように定義する。次いで、DPマッチング部209は、始点から終点を含む各ノードまでの累積コストを計算し、最小の累積コストとなる経路を終点から始点に向かって逆にたどることで、最短経路、即ち始点から終点までの累積コストが最小となる経路を算出する。DPマッチング部209は、画素ブロックBL-1、BR-1の組毎に算出された最短経路に関する最短経路情報を生成し、カラーペア算出部210に出力する。次いで、カラーペア算出部210は、最短経路情報に基づいて、画素ブロックBL-1、BR-1の組毎にカラーペアを算出する。カラーペア算出部210は、1つの画素ブロックBL-1あたり250個程度のカラーペアを算出し、合計で2000個程度のカラーペアを算出する。カラーペア算出部210は、算出されたカラーペアに関するカラーペア情報を生成し、線形カラーパラメータフィッティング部202及び非線形カラーパラメータフィッティング部204に出力する。ステップS20において、線形カラーパラメータフィッティング部202は、カラーペア情報に基づいて、入力画像VLの輝度と入力画像VRの輝度との対応関係を示すモデル式を算出する。このモデル式は、上述した式7で表される。具体的には、まず、足し込み行列算出部211は、上述した式8で表される行列をすべてのカラーペアについて算出する。足し込み行列算出部211は、算出された行列をすべて足し込むことで、上述した式9で示される足し込み行列M1を算出する。次いで、足し込み行列算出部211は、算出された足し込み行列M1に関する足し込み行列情報を生成し、カラーペア情報と共に係数算出部212に出力する。次いで、係数算出部212は、カラーペア情報に基づいて、上述した式10で表される行列をすべてのカラーペアについて算出する。係数算出部212は、算出された行列をすべて足し込むことで、上述した式11で示される係数算出用行列Aを算出する。次いで、係数算出部212は、上述した式12に基づいて、カラー補正係数wi、waの第1初期値coefw1を算出する。次いで、係数算出部212は、算出された第1初期値coefw1に関する第1初期値情報を生成し、フィルタ部213に出力する。次いで、フィルタ部213は、係数算出部212から与えられた第1初期値情報と、係数保持部214から与えられた前フレームの線形補正係数情報と、上述した式13とに基づいて、カラー補正係数wi、waの第2初期値coefw2を算出する。次いで、フィルタ部213は、第2初期値coefw2にIIRフィルタを作用させることで、カラー補正係数wi、waを線形補正係数coeflinearとして算出する。フィルタ部213は、算出された線形補正係数coeflinearに関する線形補正係数情報を係数保持部214、非線形カラーパラメータフィッティング部204、評価部205、カラーキャリブレーション実行部206に出力する。一方、特徴量マッチング部203は、現フレームの入力画像VL、VRの輝度をマッチングさせることで、カラーペアを抽出する。ついで、特徴量マッチング部203は、抽出されたカラーペアに関するカラーペア情報を生成し、非線形カラーパラメータフィッティング部204及び評価部205に出力する。ステップS30において、非線形カラーパラメータフィッティング部204は、カラーペア情報と、線形補正係数情報または非線形補正係数情報とに基づいて、カラー補正係数wi、waを非線形補正係数coefnonlinearとして算出する。具体的には、まず、ヤコビ行列算出部215は、線形補正係数情報または非線形補正係数情報と、ヒストグラムマッチング部201及び特徴量マッチング部203から与えられたカラーペア情報とに基づいて、上述した式14で表されるヤコビ行列J1を算出する。そして、ヤコビ行列算出部215は、算出されたヤコビ行列J1に関するヤコビ行列情報を生成し、ヘッセ行列算出部216に出力する。次いで、ヘッセ行列算出部216は、ヤコビ行列算出部216から与えられた情報に基づいて、上述した式17で示されるヘッセ行列H1を算出する。次いで、ヘッセ行列算出部216は、算出されたヘッセ行列H1に関するヘッセ行列情報を生成し、ヤコビ行列算出部215から与えられた情報と共に係数更新部217に出力する。次いで、係数更新部217は、ヘッセ行列算出部216から与えられた情報と、上述した式18とに基づいて、カラー補正係数wi、waを非線形補正係数coefnonlinearとして算出する。次いで、係数更新部217は、算出された非線形補正係数coefnonlinearに関する非線形補正係数情報を生成し、非線形補正係数coefnonlinearが一定の値に収束したかを判定する。係数更新部217は、非線形補正係数coefnonlinearが収束したと判定した場合には、非線形補正係数情報を評価部205及びカラーキャリブレーション実行部206に出力し、非線形補正係数coefnonlinearが収束していないと判定した場合には、非線形補正係数情報をヤコビ行列算出部215に出力する。その後、ステップS30の処理が再度行われる。ステップS40において、カラーコンバート部218は、現フレームの入力画像VL、VRを取得する。カラーコンバート部218は、入力画像VL、VRと、線形カラーパラメータフィッティング部202から与えられた線形補正係数情報と、に基づいて、入力画像VRの輝度を補正する。カラーコンバート部218は、補正後の値を新たな入力画像VRの輝度とする。カラーコンバート部218は、入力画像VLと補正後の入力画像VRとを線形カラーキャリブレーション済み画像VL-1a、VR-1aとしてヒストグラムベース信頼度算出部219に出力する。次いで、ヒストグラムベース信頼度算出部219は、線形カラーキャリブレーション済み画像VL-1a、VR-1aをそれぞれ8つの画素ブロックBL-1、BR-1に分割する。そして、ヒストグラムベース信頼度算出部219は、輝度と、その輝度を有する画素の数頻度との対応関係を示す補正後カラーヒストグラムを、画素ブロックBL-1、BR-1毎に生成する。次いで、ヒストグラムベース信頼度算出部219は、画素ブロックBL-1の補正後カラーヒストグラムと、画素ブロックBR-1の補正後カラーヒストグラムとの類似度を、正規化相互相関NCCを用いて算出する。ヒストグラムベース信頼度算出部219は、画素ブロックBL-1毎に類似度を算出し、これらの類似度を例えば上述した式16のerrorに代入することで、類似度を0~1の範囲内の値に正規化する。そして、ヒストグラムベース信頼度算出部219は、正規化された値を線形補正係数coeflinearの信頼度とする。そして、ヒストグラムベース信頼度算出部219は、算出された各画素ブロックBL-1の信頼度に関する線形補正係数信頼度情報を生成し、信頼度マップ生成部221に出力する。一方、特徴点ベース信頼度算出部220は、特徴量マッチング部203から与えられたカラーペア情報に基づいて、入力画像VL内の特徴点を8つの画素ブロックBL-1にそれぞれ分類する。そして、特徴点ベース信頼度算出部220は、非線形カラーパラメータフィッティング部204から与えられた非線形補正係数情報に基づいて、画素ブロックBL-1毎に非線形補正係数coefnonlinearの信頼度を算出する。特徴点ベース信頼度算出部220は、算出された各画素ブロックBL-1の信頼度に関する非線形補正係数信頼度情報を生成し、信頼度マップ生成部221に出力する。次いで、信頼度マップ生成部221は、ヒストグラムベース信頼度算出部219及び特徴点ベース信頼度算出部220から与えられた情報に基づいて、カラーキャリブレーション用信頼度マップを生成する。そして、信頼度マップ生成部221は、生成されたカラーキャリブレーション用信頼度マップに関する信頼度マップ情報を生成し、カラーキャリブレーション実行部206及び視差検出部4に出力する。ステップS50において、カラーキャリブレーション実行部206は、現フレームの入力画像VL、VRを取得する。さらに、カラーキャリブレーション実行部206は、信頼度マップ情報に基づいて、画素ブロックBL-1毎にどちらの補正係数を使用するかを決定する。そして、カラーキャリブレーション実行部206は、線形補正係数情報と、非線形補正係数情報とに基づいて、画素ブロックBL-1毎にカラーキャリブレーションを実行する。[幾何キャリブレーション部による処理]次に、幾何キャリブレーション部3による処理の手順を、図47に示すフローチャートに沿って説明する。ステップS60において、特徴量マッチング部301は、カラーキャリブレーション済み画像VL-1、VR-1の輝度をマッチングさせることで、特徴量ベクトルVE1を算出する。次いで、特徴量マッチング部301は、画素ブロックBL-2、BR-2及び特徴量ベクトルVE1に関する特徴量ベクトル情報を生成し、対応点リファインメント部302及び非線形幾何パラメータフィッティング部304に出力する。ステップS70において、ヒストグラム生成部307は、特徴量ベクトル情報に基づいて、特徴量ベクトルVE1の成分毎の頻度を示すベクトル成分ヒストグラムを画素ブロックBL-2毎に生成する。ヒストグラム生成部307は、ベクトル成分ヒストグラムに関するベクトル成分ヒストグラム情報を生成し、フィルタ部308に出力する。次いで、フィルタ部308は、ベクトル成分ヒストグラム情報にガウシアンフィルタを複数回作用させることで、ベクトル成分ヒストグラムを平滑化させる。フィルタ部308は、平滑化されたベクトル成分ヒストグラムに関する平滑化ヒストグラム情報を生成し、最大頻度検出部309及び対応点選択部311に出力する。次いで、最大頻度検出部309は、平滑化ヒストグラム情報に基づいて、各ベクトル成分ヒストグラムから、頻度が最大となるx成分、y成分を特定する。そして、このようなx成分、y成分を有する特徴量ベクトルVE1を、当該特徴量ベクトルVE1が属する画素ブロックBL-2の代表ベクトルVE2とする。これにより、最大頻度検出部309は、画素ブロックBL-2毎に代表ベクトルVE2を算出する。最大頻度検出部309は、代表ベクトルVE2の成分に関する代表ベクトル成分情報を生成し、座標付与部310に出力する。次いで、座標付与部310は、代表ベクトル成分情報に基づいて、各代表ベクトルVE2の座標始点の座標をミーンシフト処理により決定する。そして、座標付与部310は、代表ベクトルVE2の成分及び座標に関する代表ベクトル情報を生成し、対応点選択部311に出力する。次いで、対応点選択部311は、代表ベクトル情報及び平滑化ヒストグラム情報に基づいて、複数の代表ベクトルVE2のうち、最大頻度が所定値未満となるものを消去するすなわち、足切りを行なう。そして、対応点選択部311は、選択された代表ベクトルVE2を構成する特徴点ペア、すなわち代表点ペアに関する対応点選択情報を生成し、線形幾何パラメータフィッティング部303に出力する。ステップS80において、エラー計算部315は、対応点選択情報と、パラメータ選択部305から与えられたパラメータ情報とに基づいて、上述した式32、33に示されるエラー値e1、e2を算出する。次いで、エラー計算部315は、算出されたエラー値e1、e2に関するエラー値情報を生成し、対応点選択情報と共に初期パラメータ選択部316に出力する。また、エラー計算部315は、エラー値のうち、値が小さいものを選択し、選択されたエラー値に関する最小エラー値情報を生成する。そして、エラー計算部315は、最小エラー値情報及び対応点選択情報を重み算出部313に出力する。次いで、初期パラメータ選択部316は、エラー値情報に基づいて、初期パラメータとして前フレームのホモグラフィー行列HLn-1、HRn-1及び単位行列Iのうちどちらを使用するのかを決定する。具体的には、初期パラメータ選択部316は、エラー値が小さい方の行列を初期パラメータのホモグラフィー行列とする。次いで、初期パラメータ選択部316は、選択された初期パラメータに関する初期パラメータ情報を生成し、線形幾何パラメータ算出部314に出力する。また、初期パラメータ選択部316は、対応点選択情報を座標ペア保持部317及び座標ペア統合部318に出力する。また、初期パラメータ選択部316は、初期パラメータとして単位行列を選択した場合には、リセット情報を座標ペア保持部317に出力する。次いで、座標ペア統合部318は、初期パラメータ選択部316及び座標ペア保持部317から与えられた対応点選択情報を統合する。座標ペア統合部318は、統合された対応点選択情報を重み算出部313及び線形幾何パラメータ算出部314に出力する。次いで、重み算出部313は、変換行列Fの算出の際に時間軸拘束をどの程度考慮するかを示す重み、即ち時間軸拘束の重みweを算出する。重み算出部313は、決定された時間軸拘束の重みweに関する時間軸拘束重み情報を生成し、線形幾何パラメータ算出部314に出力する。次いで、座標変換部319は、初期化部315から与えられた情報に基づいて、各代表点ペアを座標変換する。具体的には、座標変換部319は、左側代表点を前フレームのホモグラフィー行列HLn-1または単位行列Iで座標変換し、右側代表点を前フレームのホモグラフィー行列HRn-1または単位行列Iで座標変換する。次いで、座標変換部319は、座標変換後の代表点ペアの座標及び初期パラメータを正規化する。次いで、座標変換部319は、各代表点ペアの正規化座標及び正規化ホモグラフィー行列WL、WRに関する座標変換情報を生成し、マトリックス算出部320に出力する。次いで、マトリックス算出部320は、座標変換情報に基づいて、上述した式34で表される演算行列M2を算出する。マトリックス算出部320は、算出された演算行列M2に関する演算行列情報を生成し、F行列算出部321に出力する。次いで、F行列算出部321は、演算行列情報に基づいて、演算行列M2の最小固有ベクトルvminを算出する。さらに、F行列算出部321は、最小固有ベクトルvminの最小特異値が0に落ちるように、最小固有ベクトルvminを3×3の行列に特異値分解する。そして、F行列算出部321は、算出された行列SVDvminと、上述した式36とに基づいて、変換行列Fを算出する。さらに、F行列算出部321は、重みweの値をいくつかの値、例えば22×we、2×we、2-1×we、2-2×weに振って、変換行列Fを算出する。そして、F行列算出部321は、算出された変換行列Fの各々について、上述した式32を用いてエラー値を算出する。そして、F行列算出部321は、エラー値の最も小さいものを選択し、選択された変換行列Fに関する変換行列情報を生成し、座標変換情報と共にF行列分解部322に出力する。次いで、F行列分解部322は、変換行列情報に基づいて、変換行列Fをホモグラフィー行列HL、HR、行列F0に分解する。実質的には、F行列分解部322は、エピポーラ線を平行にする行列をホモグラフィー行列HL、HRとして算出する。次いで、F行列分解部322は、算出されたホモグラフィー行列HL、HRに関する線形補正係数情報を生成し非線形幾何パラメータフィッティング部304及びパラメータ選択部305に出力する。ステップS90において、ヤコビ行列算出部323は、特徴量ベクトル情報と、線形補正係数情報または非線形補正係数情報とに基づいて、上述した式43で表されるヤコビ行列J2を算出する。そして、ヤコビ行列算出部323は、算出されたヤコビ行列J2に関するヤコビ行列情報を生成し、特徴量ベクトル情報及び線形補正係数情報と共にヘッセ行列算出部324に出力する。そして、ヤコビ行列算出部323は、算出されたヤコビ行列J2に関するヤコビ行列情報を生成し、ヘッセ行列算出部324に出力する。次いで、ヘッセ行列算出部324は、ヤコビ行列算出部323から与えられた情報に基づいて、上述した式45で示されるヘッセ行列H2を算出する。次いで、ヘッセ行列算出部324は、算出されたヘッセ行列H2に関するヘッセ行列情報を生成し、ヤコビ行列算出部323から与えられた情報と共に係数更新部325に出力する。次いで、係数更新部325は、ヘッセ行列算出部324から与えられた情報と、上述した式46とに基づいて、変換行列Fの各成分を非線形補正係数coefnonlinearとして算出する。次いで、係数更新部325は、非線形補正係数coefnonlinearを上述したF行列分解部322の処理と同様の処理により分解することでホモグラフィー行列HL、HRを算出する。そして、係数更新部325は、算出されたホモグラフィー行列HL、HRに関する非線形補正係数情報を生成する。そして、係数更新部325は、ホモグラフィー行列HL、HRが一定の値に収束したかを判定し、ホモグラフィー行列HL、HRが一定の値に収束した場合には、非線形補正係数情報をパラメータ選択部306に出力し、ホモグラフィー行列HL、HRが収束していないと判定した場合には、非線形補正係数情報をヤコビ行列算出部323に出力する。その後、ステップS90の処理が再度行われる。ステップS100において、図16に示すパラメータ選択部305は、線形幾何パラメータフィッティング部303から与えられた線形補正係数情報と、非線形幾何パラメータフィッティング部304から与えられた非線形補正係数情報とのそれぞれについて、上述した式32を用いて、エラー値を算出する。そして、パラメータ選択部305は、エラー値が小さい方の情報をパラメータ情報として選択し、幾何キャリブレーション実行部306及び線形幾何パラメータフィッティング部303に出力する。ステップS110において、幾何キャリブレーション実行部306は、パラメータ情報に基づいて、カラーキャリブレーション済み画像VL-1、VR-1に対して幾何キャリブレーションを行なう。具体的には、幾何キャリブレーション実行部306は、カラーキャリブレーション済み画像VL-1の各座標点をホモグラフィー行列HLで座標変換し、カラーキャリブレーション済み画像VR-1の各座標点をホモグラフィー行列HRで座標変換する。幾何キャリブレーション実行部306は、幾何キャリブレーション後の各画像をそれぞれキャリブレーション済み画像VL-2、VR-2として、図5に示す視差検出部4に出力する。[視差検出部による処理]次に、視差検出部4による処理の手順を、図48に示すフローチャートに沿って説明する。ステップS120において、DSAD算出部404は、キャリブレーション済み画像VL-2、VR-2と、カラーキャリブレーション部2から与えられた信頼度マップ情報と基づいて、左側座標点及び水平視差d1毎にDSAD-2~DSAD2を算出し、算出されたDSAD-2~DSAD2に関するDSAD情報を生成し、最小値選択部405に出力する。ステップS130において、最小値選択部405は、DSAD情報に基づいて、すべての左側座標点及び水平視差d1について、最小のDSADを選択する。そして、最小値選択部405は、選択されたDSADを図43に示す視差検出用DPマップの各ノードPx、dに格納する。一方、水平差分算出部411は、キャリブレーション済み画像VL-2を取得し、キャリブレーション済み画像VL-2の画素、即ち左側座標点毎に水平差分dxを算出し、算出された水平差分dxに関する水平差分情報を生成し、フィルタ部414に出力する。一方、垂直差分算出部412は、キャリブレーション済み画像VL-2を取得し、キャリブレーション済み画像VL-2の画素、即ち左側座標点毎に垂直差分dyを算出し、算出された垂直差分dyに関する垂直差分情報を生成し、フィルタ部414に出力する。一方、時間差分算出部413は、キャリブレーション済み画像VL-2と、前フレームのキャリブレーション済み画像V’L-2とを取得し、キャリブレーション済み画像VL-2の画素、即ち左側座標点毎に時間差分dtを算出し、算出された時間差分dtに関する時間差分情報を生成し、フィルタ部414に出力する。次いで、フィルタ部414は、水平差分情報、垂直差分情報、及び時間差分情報にローパスフィルタを掛ける。その後、フィルタ部414は、これらの情報をモーションスコア算出部415に出力する。次いで、モーションスコア算出部415は、水平差分情報、垂直差分情報、及び時間差分情報に基づいて、左側座標点毎に静動判定を行い、この結果に応じたモーションスコアを決定する。モーションスコア算出部415は、モーションスコアに関するモーションスコア情報をアンカーベクトル構築部407に出力する。モーションスコアは、左側座標点の輝度の変動が激しくなるほど即ち、画像の動きが激しくなるほど小さくなる。次いで、ローカルヒストグラム作成部416は、前フレームで作成された視差マップDMn-1を取得する。ローカルヒストグラム作成部416は、視差マップの座標点これらの座標点は、左側座標点に対応する毎に図41に示すローカルヒストグラムDHを生成する。ローカルヒストグラム作成部416は、ローカルヒストグラムDHに関するローカルヒストグラム情報を生成し、アンカーベクトル算出部417に出力する。次いで、アンカーベクトル算出部417は、ローカルヒストグラム情報に基づいて、左側座標点毎に以下の処理を行なう。即ち、アンカーベクトル算出部417は、図41に示すように、頻度が所定の閾値Th2以上となる水平視差d1、即ち高頻度視差d1’を検索する。アンカーベクトル算出部417は、モーションスコアに所定値を乗じたボーナス値と、高頻度視差d1’とを示すアンカーベクトル情報を生成し、コスト算出部408に出力する。ステップS140において、図48に示すコスト算出部408は、アンカーベクトル情報に基づいて、視差検出用DPマップの各ノードPx、dの値を更新する。即ち、コスト算出部408は、左側座標点毎に、高頻度視差d1’に対応するノードx、d=d’を特定し、このノードのスコアから、ボーナス値α2を減算する。ステップS150において、左目用画像水平差分算出部418は、上述した水平差分算出部411と同様の処理を行なう。そして、左目用画像水平差分算出部418は、この処理により生成された水平差分情報を重み算出部420に出力する。一方、右目用画像水平差分算出部419は、キャリブレーション済み画像VR-2を取得する。そして、右目用画像水平差分算出部419は、キャリブレーション済み画像VR-2に対して上述した水平差分算出部411と同様の処理を行なう。そして、右目用画像水平差分算出部419は、この処理により生成された水平差分情報を重み算出部420に出力する。次いで、重み算出部420は、水平差分情報に基づいて、左側座標点の重みwtL、右側座標点のwtRをすべての座標点について算出する。重み算出部420は、算出された重みwtL、wtRに関する重み情報を生成し、経路算出部421に出力する。重みwtL、wtRは画像のエッヂ輪郭の部分で小さくなる。次いで、経路算出部421は、重み算出部420から与えられた重み情報に基づいて、視差検出用DPマップの各ノードPx、dに至るまでの累積コストを計算する。具体的には、経路算出部421は、ノード0、0を始点、ノードxmaz、0を終点とし、始点からノードPx、dに至るまでの累積コストを上述した式68~70のように定義する。次いで、経路算出部421は、算出された累積コストDFIx、d0~DFIx、d2のうち、最小のものを選択し、選択されたものをノードPx、dの累積コストDFIx、dとする。経路算出部421は、すべてのノードPx、dについて累積コストDFIx、dを算出し、視差検出用DPマップに格納する。次いで、バックトラック部410は、累積コストが最小となる経路を終点から始点に向かって逆にたどることで、最短経路、即ち始点から終点までの累積コストが最小となる経路を算出する。一方、ローカルマッチング部402は、視差マップDM2を生成し、生成された視差マップDM2に関する視差マップ情報をディスパリティマップ統合部403に出力する。さらに、ローカルマッチング部402は、垂直視差d2に関する垂直視差情報を生成し、グローバルマッチング部401に出力する。ステップS160において、バックトラック部410は、算出された最短経路と、ローカルマッチング部402から与えられた垂直視差情報とに基づいて、視差マップDM1を生成する。バックトラック部410は、生成された視差マップDM1に関する視差マップ情報を生成し、図37に示すディスパリティマップ統合部403に出力する。ステップS170において、ディスパリティマップ統合部403は、まず、視差マップ情報に基づいて、グローバルマッチング部401が生成した視差マップDM1、及びローカルマッチング部402が生成した視差マップDM2を評価する。即ち、ディスパリティマップ統合部403は、グローバルマッチング部401により生成された視差マップDM1を異なる評価手法により評価し、それらの結果を統合することで、グローバルマッチング用信頼度マップEMGを生成する。同様に、ディスパリティマップ統合部403は、ローカルマッチング部402により生成された視差マップDM2を異なる評価手法により評価し、それらの結果を統合することで、ローカルマッチング用信頼度マップEMLを生成する。次いで、ディスパリティマップ統合部403は、グローバルマッチング用信頼度マップEMGと、ローカルマッチング用信頼度マップEMLとを対比することで、左側座標点毎に、視差マップDM1と視差マップDM2とのどちらの信頼度が高いかを判定する。ディスパリティマップ統合部403は、判定の結果に基づいて、信頼度の高い視差マップを左側画素ブロック毎に示す視差検出用信頼度マップEMを生成する。ディスパリティマップ統合部403は、生成された視差検出用信頼度マップに基づいて、視差マップDMを生成する。ここで、視差マップDMの各左側座標点の水平視差d1は、視差マップDM1及び視差マップDM2のうち信頼度が高い方の値を示す。以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。"