"複数の撮像部によって構成される、回転機構によって回転可能な撮像部群と、前記撮像部の不良を検知する不良撮像部検知手段と、を備える多眼方式の撮像装置であって、前記不良撮像部検知手段で不良が検知された撮像部の位置に不良が検知されなかった撮像部がくるように前記撮像部群を回転させ、不良が検知された撮像部によって取得されるべき画像を不良が検知されなかった撮像部を用いて撮影することを特徴とする撮像装置。前記不良撮像部検知手段は、前記撮像部で撮影された画像について、i画素値が0の画素の割合ii平均明度iii無効画素の数のうちの少なくとも1つを用いて、前記撮像部の不良を検知することを特徴とする請求項1に記載の撮像装置。前記撮像部群が複数であることを特徴とする請求項1又は2に記載の撮像装置。前記不良撮像部検知手段で不良が検知された撮像部に関する情報を用いて、前記撮像部群の回転量を算出する回転量算出手段と、前記算出された回転量に応じて、前記撮像部群を回転させる撮像部群回転制御手段とをさらに備えたことを特徴とする請求項1~3のいずれか1項に記載の撮像装置。複数の撮像部によって構成される、回転機構によって回転可能な撮像部群と、前記撮像部の不良を検知する不良撮像部検知手段と、を備える多眼方式の撮像装置における撮影方法であって、前記不良撮像部検知手段で不良が検知された撮像部の位置に不良が検知されなかった撮像部がくるように前記撮像部群を回転させ、不良が検知された撮像部によって取得されるべき画像を不良が検知されなかった撮像部を用いて撮影することを特徴とする撮影方法。コンピュータを請求項1乃至4の何れか1項に記載の撮像装置として機能させるためのプログラム。しかしながら、例えば、特許文献1の技術では、他のカメラ不良の生じたカメラに隣接する正常なカメラで取得される画像に補間の精度が依存することになるが、隣り合う複数のカメラの双方に動作不良が生じている場合には対応できないことになる。また、特許文献2の技術のように、カメラの方向を変更するだけでは、動作不良の生じたカメラの撮影領域を適切にカバーできない場合もある。本発明に係る撮像装置は、複数の撮像部によって構成される、回転機構によって回転可能な撮像部群と、前記撮像部の不良を検知する不良撮像部検知手段と、を備える多眼方式の撮像装置であって、前記不良撮像部検知手段で不良が検知された撮像部の位置に不良が検知されなかった撮像部がくるように前記撮像部群を回転させ、不良が検知された撮像部によって取得されるべき画像を不良が検知されなかった撮像部を用いて撮影することを特徴とする。本発明によれば、多眼方式の撮像装置において一部の撮像部に動作不良が生じても、簡易かつ精度よく当該動作不良の生じた撮像部の撮影領域をカバーすることができる。[実施例1]図1は、本実施例に係る計25個の撮影部を備えた多眼方式の撮像装置における各撮像部の配置を示す図である。101~125は撮像部をそれぞれ示しており、撮像部101~108、撮像部109~116、撮像部117~124が、それぞれ異なる直径の円周上に配置されている。以下、各円周上に配置された複数の撮像部を円形撮像部群と呼ぶこととする。各円形撮像部群には、それぞれ8個の撮像部が円周上に均等な間隔で配置される。各円形撮像部群は、その中心撮像部125を軸として、不図示の回転機構により時計/反時計方向に回転可能である破線の矢印130、140、150を参照。この回転動作は、後述の撮像部群回転制御部の制御下で自動的になされるが、手動による回転にも対応できる。なお、本実施例では各円形撮像部群の円周上に各撮像部が均等な間隔で配置されているが、不均等に配置してもよい。また、撮像部群は円形でなくてもよい。図2は、本実施例に係る多眼方式の撮像装置の主要な構成要素を示す機能ブロック図である。撮像部101~125は、被写体の光情報をセンサで受光し、A/D変換を施して、データ転送経路であるバス215に画像データを出力する。126はフラッシュであり、撮影時に被写体に対して光を照射する。201はROMであり、CPU203で実行される制御プラグラム等を格納している。202はRAMであり、CPU203の主メモリ、ワークエリア等として機能する。203はCPUであり、各部を統括的に制御するプロセッサである。204は撮像部制御部であり、各撮像部のフォーカスを合わせる、シャッターを開く、絞りを調節するなど、CPU203から指示された撮像系の制御を行う。205は操作部であり、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザ指示を受け取る。206はCG生成部であり、文字やグラフィックなどを生成する。207は表示制御部であり、表示部208の表示制御を行う。208は表示部であり、一般的には液晶ディスプレイが広く用いられる。CG生成部206、後述のデジタル信号処理部209や画像処理部213から受け取った撮影画像データや文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザ指示を操作部205の入力として扱うことも可能である。209はデジタル信号処理部であり、デジタル値にホワイトバランス処理、ガンマ処理、ノイズ低減処理などを行い、デジタル画像データを生成する。210は圧縮伸張部であり、上記デジタル値をJpegやMpegなどのファイルフォーマットに変換する処理を行う。211は、外部メモリ212とのインターフェースを行う外部メモリ制御部である。212は外部メモリであり、例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリなどである。213は画像処理部であり、撮像部101~125によって撮影された画像データ或いはデジタル信号処理部209から出力される画像データを用いて画像合成処理を行い、新たな画像データを生成する。その結果はバス215に出力される。さらに画像処理部213は、撮像部制御部204で撮影された画像データを用いて、動作不良の生じた撮像部以下、単に不良撮像部と呼ぶ。の存否、不良撮像部の特定、円形撮像部群の回転量の算出などの処理も行う。画像処理部213については後でさらに詳しく説明する。撮像部群回転制御部214は、画像処理部213での処理結果に基づいて、所定の回転方向及び回転量で各円形撮像部群が回転するように回転機構を駆動制御する。図3は、撮像部の内部構成を説明する図である。各撮像部は、レンズ301~303、絞り304、シャッター305、光学ローパスフィルタ306、iRカットフィルタ307、カラーフィルタ308、センサ309及びA/D変換部310で構成される。レンズ301~303は夫々、ズームレンズ301、フォーカスレンズ302、ぶれ補正レンズ303である。センサ309は、例えばCMOSやCCDなどのセンサである。センサ309で被写体の光量を検知すると、検知された光量がA/D変換部310によってデジタル値に変換され、デジタルデータとなってバス215に出力される。図4は、本実施例に係る多眼方式の撮像装置における、多視点画像の撮影から合成画像データの出力に至るまでの一連の処理の流れを示すフローチャートである。ステップ401において、撮像部101~125によって、視差のある複数の画像が撮影され、視差の異なる多視点の画像データが取得される。ステップ402において、画像処理部213は、取得された多視点画像データを用いて、不良撮像部の有無の判定及び不良撮像部があると判定された場合の当該不良撮像部の特定を行う。ステップ403において、画像処理部213は、特定された不良撮像部の属する円形撮像部群の回転量及び回転回数を算出する。ステップ404において、撮像部群回転制御部214は、算出された回転量に従って対象となる円形撮像部群を回転させる。ステップ405において、撮像部制御部204は、回転により不良撮像部の位置に移動した撮像部によって再撮影を行う。ステップ406において、撮像部群回転制御部214は、円形撮像部群を回転させた回数が、ステップ403で算出された回転回数に到達しているかどうかを判定する。算出された回転回数に到達していればステップ407に進む。一方、算出された回転回数に到達していなければステップ404に戻る。ステップ407において、画像処理部213は、ステップ401で撮影された画像データ及びステップ405で再撮影された画像データを用いて画像の合成処理を行う。すなわち、任意のピント位置における仮想のセンサが得る画像データ合成画像データが生成される。ステップ408において、生成された合成画像データが出力される。図5は、画像処理部213の内部構成を示すブロック図である。画像処理部213は、回転フラグ処理部501、不良撮像部検知部502、回転量算出部503、回転フラグ生成部504、画像保存部505、画像合成部506で構成される。回転フラグ処理部501は、回転フラグ生成部504で生成される回転フラグに従って、不良撮像部の検知を行うか、画像合成を行うかを切り替える。回転フラグの初期値は0であり、回転フラグの値が0の場合、不良撮像部検知部502が動作するように信号が与えられる。回転フラグの値が1の場合は、画像合成部506が動作するように信号が与えられる。不良撮像部検知部502は、入力された画像データを用いて不良撮像部の位置不良撮像部が、どの円形撮像部群のどの角度に配置されているのかを特定する。回転量算出部503は、特定された不良撮像部の位置情報本実施例では、不良撮像部の配置角度θ及び当該不良撮像部の属する円形撮像部群の半径rの情報を受け取り、円形撮像部群をどの程度回転させればよいかを算出する。画像保存部505は、入力された画像データを一時的に格納する。画像処理部213に入力される画像データは、この画像保存部505にすべて一旦格納され、画像合成部506に送られる。ただし、円形撮像部群を回転させた後の再撮影に係る画像データについては、画像合成部506に直接送るようにしてもよい図5中の破線を参照。画像合成部506は、画像保存部505から多視点の画像データを受け取り、所望の画像を得るための画像合成を行う。次に、画像処理部213で行われる処理の詳細を説明する。図6は、画像処理部213で実行される各処理の流れを示すフローチャートである。ステップ601において、画像処理部213は、撮像部101~125で撮影された画像のデータを取得する。ステップ602において、画像処理部213は、回転フラグの値を取得する。ステップ603において、画像処理部213は、撮像部101~125の配置を特定するためのパラメータを取得する。具体的には、各撮像部の属する円周の半径及び各撮像部が配置されている角度を取得する。ステップ604において、画像処理部213は、取得した回転フラグの値が0であるかどうかを判定する。回転フラグの値が0と判定されれば、ステップ605に進む。一方、回転フラグの値が1と判定されれば、ステップ608に進む。ステップ605において、画像処理部213は、不良撮像部検知処理を行う。具体的には、不良撮像部の有無をチェックし、不良撮像部があればその位置及びその数を特定する。不良撮像部検知処理の詳細については後述する。ステップ606において、画像処理部213は、ステップ605で検知された不良撮像部の位置及びその数の情報を利用して、当該不良撮像部の属する円形撮像部群をどれだけ回転させればよいかを決定する。この回転量算出処理の詳細については後述する。ステップ607において、画像処理部213は、回転フラグの値を0から1に変更する。ステップ608において、画像処理部213は、ステップ601で取得した画像データを用いて画像を合成する処理を行う。ステップ609において、画像処理部213は、回転フラグの値を1から0に変更する。以上が、画像処理部213における処理の大まかな流れである。<不良撮像部検知処理>次に、不良撮像部検知処理について説明する。撮像部に生じ得る不良のバリエーションとしては大きく分けて三つのタイプが考えられる。1つは、画像値画像を表すデジタル信号の値が全く取得できないようなハードウェアの異常故障である。次に、画像値が部分的に取得できなくなる、例えば撮像センサに欠損が生じたような場合が考えられる。もう1つは、光学系の異常によって画像に歪みやボケが発生するような場合である。以下では、この三つのタイプのそれぞれに応じた不良撮像部の検知処理について説明する。図7は、画像値がまったく取得できないタイプの不良撮像部の検知に適した処理の流れを示すフローチャートである。ステップ701において、不良撮像部検知部502は、画像データIを取得する。ここで、riは当該画像を撮影した撮像部の属する円周の半径、θjはその円周上のどの位置に配置された撮像部であるかを特定するための角度を示す。この場合においてiは当該円周が中心点から見て何番目の円周上であるかを表す値正の整数である。例えば、図1に示した25個の撮影部を備えた撮像装置の場合、最も外側に位置する円周上の撮像部101で撮影された画像であれば、i=3となる。なお、円周の中心点に位置する撮像部125で撮影された画像であればi=0となる。そして、jは、円周の中心点と円周上の基準となる点とを結んだ軸を基準とした場合に、θが何番目の角度に該当するのかを示す値正の整数である。例えば図1の場合、円周は8つに分割されているからjは0から7の値を取ることになる。そして、撮像部108の配置される点を基準点とすると、仮に画像を撮影したのが撮像部102であったとすれば、角度θは90度、jは2となる。このように、各撮像部で撮影された画像データにriθjの情報を含むことによって、どの撮像部によって撮影された画像であるかが特定される。ステップ702において、不良撮像部検知部502は、取得した画像における画素値が0の画素の割合以下、画素値0率と呼ぶを算出する。具体的には、取得した画像において、画素値が0の画素をカウントし、カウントされた画素数を当該画像の総画素数で割ることにより、取得された画像における画素値0率を求める。ステップ703において、不良撮像部検知部502は、各撮像部で撮影されたすべての画像に対して、画素値0率の算出が完了したかどうかを判定する。すべての画像について画素値0率の算出が完了していればステップ704に進む。一方、未だ画素値0率を算出していない画像がある場合には、ステップ701に戻る。ステップ704において、不良撮像部検知部502は、不良撮像部を決定する。具体的には、画素値0率が所定の閾値例えば、95を超える画像を抽出し、当該抽出された画像を撮影した撮像部を不良撮像部であると決定する。このようにして決定された不良撮像部を特定する情報は、回転量算出部503へと送られる。以上が、画像値がまったく取得できないタイプの不良撮像部を検知する処理である。図8は、撮像センサに欠損が生じるタイプの不良撮像部の検知に適した処理の流れを示すフローチャートである。なお、上述した図7のフローチャートと共通する部分については説明を簡略化ないしは省略することとする。ステップ801において、不良撮像部検知部502は、画像データIを取得する。ステップ802において、不良撮像部検知部502は、取得した画像の明度Bを求める。例えば、取得された画像がRGB色空間の画像信号データであれば、各画素の信号値をLab表色系の色に変換し、各画素のL値の平均値を取ることによってこの明度は求められる。なお、Lab表色系に代えてLuv表色系など、他の表色系を用いることができることはいうまでもない。ステップ803において、不良撮像部検知部502は、各撮像部で撮影されたすべての画像について、明度Bが求められたかどうかを判定する。すべての画像について明度が求められていればステップ804に進む。一方、未だ明度が求められていない画像がある場合には、ステップ801に戻る。ステップ804において、不良撮像部検知部502は、すべての画像の明度の平均値Baveを算出する。この平均明度Baveは、各画像における全画素のL値をすべて加算し、それをすべての画像の画素数の合計値総画素数で割ったものと等しい。ステップ805において、不良撮像部検知部502は、不良撮像部を決定する。具体的には、算出された平均明度Baveと各撮像部で撮影された画像の明度とを比較して差分を算出し、当該差分と予め定めた閾値とを比較して、当該差分の値が閾値よりも小さければ、当該画像を撮影した撮像部を不良撮像部であると決定する。このようにして決定された不良撮像部を特定する情報は、回転量算出部503へと送られる。以上が、撮像センサに欠損が生じるタイプの不良撮像部を検知する処理である。図9は、光学系の異常によって画像に歪みやボケが発生するタイプの不良撮像部の検知に適した処理の流れを示すフローチャートである。本実施例では、画像の歪みやボケの有無を、位置合せ処理を行うことによって間接的に検知する手法について説明する。ステップ901において、不良撮像部検知部502は、すべての撮像部で撮影された全画像データI及び画像データIを取得する。ステップ902において、不良撮像部検知部502は、位置合わせ処理を行い、各画像内の無効画素の数Invalidnumを求める。具体的には、無効画素の画像Iと同円周で角度数が次の画像Iを用いて位置合わせ処理して無効画素数を算出する。この位置合わせ処理の詳細については、後述する。ステップ903において、不良撮像部検知部502は、無効画素の数が所定値例えば、全画素数の半分以上であるかどうかを判定する。無効画素の数が所定値より少ない場合は、歪みやボケがないと判断し、ステップ904に進む。一方、無効画素の数が所定値以上であれば、歪みやボケがあると判断し、ステップ905に進む。ステップ904において、不良撮像部検知部502は、両方の画像にフラグ値1をセットする。ステップ905において、不良撮像部検知部502は、両方の画像にフラグ値-1をセットする。ステップ906において、不良撮像部検知部502は、未処理の画像があるかどうかを判定する。未処理の画像があれば、ステップ901に戻る。一方、すべての画像についての処理が終了していれば、ステップ907に進む。ステップ907において、不良撮像部検知部502は、フラグ値が-1である画像を撮影した撮像部を不良撮像部として決定する。以上が、光学系の異常によって画像に歪みやボケが発生するタイプの不良撮像部を検知する処理である。<回転量算出処理>図10は、回転量算出処理の流れを示すフローチャートである。ステップ1001において、回転量算出部503は、すべての不良撮像部に関する、不良撮像部を特定する情報EN=を取得する。ステップ1002において、回転量算出部503は、不良撮像部の数が複数であるかどうかを判定する。複数であれば、ステップ1003に進む。一方、複数でなければ、ステップ1006に進む。ステップ1003において、回転量算出部503は、当該複数の不良撮像部が同一の円周上に存在するかどうかを判定する。同じ円周上に複数の不良撮像部が存在すれば、ステップ1004に進む。一方、同じ円周上には存在していない場合には、ステップ1006に進む。ステップ1004において、回転量算出部503は、当該同一円周上に存在する複数の不良撮像部が、互いに隣接しているかどうか連続性を判定する。互いに隣接していれば、ステップ1005に進む。一方、隣接しておらず互いに離れて位置している場合には、ステップ1006に進む。ステップ1002~ステップ1004によって、不良撮像部の数、位置、連続性を確認すると、ステップ1005及びステップ1006において、回転量算出部503は、回転角度を決定する。ステップ1005の場合には、回転量は、以下の式1によって求められる。回転角度=単位角度×隣接する不良撮像部の数式1なお、本実施例図1の場合、単位角度は45度である。ステップ1006の場合には、単位角度がそのまま回転角度として決定される。なお、回転角度の決定に際しては、回転後に正常な撮像部による再撮影が担保されるように回転方向が決定される。ステップ1007において、回転量算出部503は、回転回数カウンタの値をインクリメント1する。ステップ1008において、回転量算出部503は、未処理の不良撮像部があるかどうか、すなわち、代替の撮像部が決定できていない不良撮像部があるかどうかを判定する。未処理の不良撮像部があれば、ステップ1002に戻る。一方、すべての不良撮像部について代替の撮像部が決定されていれば、本処理を終える。例えば、図1において、撮像部101、102及び119が不良撮像部として検知されていた場合、上記回転量算出処理によって以下のように回転量回転角度と回転回数が算出されることになる。まず、不良撮像部の数は3個であり、そのうちの2個は同じ円周上に隣接して配置されているので、ステップ1002~ステップ1004ですべてYesとなり、ステップ1005で単位角度45度×2が回転角度として決定される。これにより、まず撮像部107及び108が、不良撮像部101及び102の代替の撮像部として決定され、回転回数カウンタの値が初期値の0から1に変わる。この段階では、まだ不良撮像部119についての代替の撮像部が決定していないので、ステップ1002に戻るステップ1008でNo。2度目のステップ1002ではNoと判定されてステップ1006に進み、そこで、単位角度が回転角度として決定され、撮像部120が不良撮像部119の代替の撮像部として決定される。このようにして、必要な回転量が算出される。<位置合せ処理>図11は、光学系の異常によって画像に歪みやボケが発生するタイプの不良撮像部検知処理を説明した図9のフローチャートのステップ902における位置合せ処理の流れを示すフローチャートである。ステップ1101において、不良撮像部検知部502は、ブロック毎の動きベクトルを求める際にその前処理として有効ブロック判定を行う。ブロックマッチングによりブロック間の相関を求めようとする場合、ブロック内の画像が何らかの特徴量を持っている必要がある水平方向や垂直方向にエッジを含んでいるとマッチングがとりやすい。平坦でほとんど直流成分しか含んでいないブロックでは正しい動きベクトルを求めることはできないので、そのような可能性のあるブロックを本ステップにおいて除外する。図12は、平坦部のブロックを除外する処理の流れを示すフローチャートである。ここでは1つのブロックに対する処理を説明する。ステップ1201において、ブロック内にある水平方向の1つのラインに対し、最大値と最小値の差分値を算出する。例えば、ブロックのサイズが50×50の画素で構成されているとすると、ブロック内における水平方向の50の画素から最大値と最小値を求め、その差分値を算出する。これを水平ライン数分、すなわち50回繰り返すステップ1202。ステップ1203において、50の差分値の中から最大の差分値を求める。ステップ1204において、あらかじめ設定した閾値Txと最大差分値との比較を行う。最大差分値が閾値Txよりも小さければ、水平方向には特徴量を持たないブロックであるとみなしステップ1205にて、無効ブロックと判定する。一方、最大差分値が閾値Txよりも大きければ、水平方向に特徴量を持つブロックであるとみなし、垂直方向で同様の検証を行う。すなわち、ステップ1206において、ブロック内にある垂直方向の1つのライン50の画素に対し、最大値と最小値の差分値を算出する。これを垂直ライン数分、すなわち50回繰り返すステップ1207。そして、ステップ1208で50の差分値の中から最大の差分値を求めると、ステップ1209で予め設定した閾値Tyと最大差分値との比較を行う。最大差分値が閾値Tyよりも小さければ、垂直方向には特徴量を持たないブロックであるとみなし、ステップ1205で無効ブロックと判定する。一方、最大差分値が閾値Tyよりも大きければ、水平垂直両方向に特徴を持つブロックとなり、正確なブロックマッチングが行われることが期待できるので、ステップ1210で有効ブロックと判定する。図11のフローチャートの説明に戻る。ステップ1102において、不良撮像部検知部502は、ブロックの動きベクトルを算出する。ここでは一般的なブロックマッチング方法について説明する。ブロックマッチング法では、マッチングの評価値としてブロック内の画素間の差分二乗和もしくは差分絶対値和を用いる。ベクトルを求める対象ブロックを基準画像のサーチ範囲内で順次動かしなら評価値を求めていく。サーチ範囲内で求めた全ての評価値の中から最小の評価値を持つ位置が対称ブロックと最も相関の高い位置であり、その移動量が動きベクトルとなる。サーチ範囲を1画素ずつ求めていくのがフルサーチ、サーチ範囲を間引きながら最小の評価値を求めてその近傍に対して細かくサーチするのがステップサーチである。ステップサーチは高速に動きベクトルを求める方法としてよく知られている。ステップ1103において、不良撮像部検知部502は、未処理のブロックがあるかどうかを判定する。未処理のブロックがあれば、ステップ1101に戻る。一方、すべてのブロックについて処理が完了していれば、ステップ1104に進む。ステップ1104において、不良撮像部検知部502は、有効動きベクトル判定を行う。これは、求めた動きベクトルのうち、算出結果が正しくないと判断されるものを除外する処理である。図13は、有効動きベクトル判定処理の流れを示すフローチャートである。ステップ1301で動きベクトルを入力し、ステップ1302でその発生頻度を算出する。全ての動きベクトルの発生頻度が求まるまでこの処理を繰り返した後ステップ1303、ステップ1304にて、最大発生頻度の動きベクトルを求める。次に、ステップ1305にて動きベクトルを再び入力し、ステップ1306で、この動きベクトルが最大発生頻度の動きベクトル、もしくはその近傍の動きベクトルであるかどうかの判定を行う。画面全体のぶれが、シフトのみである場合、各ブロックの動きベクトルは、最大発生頻度の動きベクトルにほぼ一致するはずであり、ロールぶれを伴う場合は、最大発生頻度の動きベクトルの近傍に多くの動きベクトルが発生すると考えられる。したがって、これらの値に含まれる動きベクトルは、ステップ1307にて、有効動きベクトルと判定する。一方、これらの値から外れている動きベクトルは、ステップ1308にて無効動きベクトルと判定する。以上の処理をすべての動きベクトルに対して実行するステップ1309。図11のフローチャートの説明に戻る。ステップ1105において、不良撮像部検知部502は、ステップ1104における有効動きベクトル判定処理の結果から得られた無効動きベクトルに基づき、無効画素の数を算出する。具体的には、まず、画像を複数のブロック領域に分け、ブロック毎の動きベクトルを求める。そして、求められたブロックの動きベクトルについて有効、無効の判断をする。最後に、無効動きベクトルとして判断されたブロックにある画素数を無効画素の数としてカウントする。<画像合成処理>図14は、図4のフローチャートのステップ407における画像合成処理の流れを示すフローチャートである。ステップ1401において、画像合成部506は、撮影された画像データから被写体の距離を推定する。ここで、距離推定の一例として、ステレオ距離推定法について簡単に説明する。図15は、ステレオ距離推定法の説明図である。図15において、1501は被写体であって、1502は被写体1501上のある一点である。被写体表面は波の形になっている。ステレオ距離推定法を用いる二台のカメラは全く同じ性能のカメラである。カメラは光学中心を通る光線で投影面への結像を実現する。1503及び1504は、2台のカメラそれぞれの光学中心である。そして、両カメラの光学中心を連接した破線で示すライン1505は基線と呼ばれる。1512及び1513は2台のカメラそれぞれの投影面である。投影面1512の中心を座標原点とする直交座標系はu,vである。光学中心と投影面座標原点と連接するラインは投影面に対して垂直に交わっており、その間の距離は焦点距離fである。同様に、投影面1513の中心を座標原点とする直交座標系はu’,v’である。三次元空間の被写体1501の座標X,Y,Zは両カメラの光学中心と連接し、投影面との接点は左右ステレオ画像上の画素になる。図15の1506及び1507は左右の投影面1512及び1513との接点をそれぞれ示している。接点1506の座標はux,vyであり、接点1507の座標はu’x,v’yである。1510及び1511は、左右の投影面上のライン1508及び1509をそれぞれ拡大した画素配列を示している。この場合において、被写体1501上の点1502X,Y,Zは左のカメラ座標系を基準にしている。被写体1501の奥行き距離Zは、基線1305の長さをbとすると、以下の式により求められる。ステップ1402において、画像合成部506は、距離推定の結果に基づき、画像を合成する。距離情報を用いた画像合成処理としては、リフォーカス、超解像処理などが挙げられる。以上のとおり、本実施例によれば、何らかの理由によって不良撮像部が生じた場合に、当該不良撮像部と同じ位置から別の撮像部を用いて再撮影することで、本来的に不良撮像部で撮影されるはずの画像を取得することができる。その他の実施形態また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。"