複数の視点より撮像された画像群を取得する多視点画像取得手段と、前記複数の視点の相対的な配置を取得する視点配置情報取得手段と、前記複数の視点間で被写体上の同一の点に対応する画像上の点の組を探索する対応点探索手段と、前記取得した画像上の点が露光された時刻を算出する露光時刻算出手段と、前記点の組の画像上の座標と、前記露光された時刻と、前記複数の視点の相対的な配置と、から前記複数の視点の撮像中の動きを表すパラメータを推定する動きパラメータ算出手段とを有する画像処理装置。前記対応点探索手段が、前記複数の視点のうちの第1の視点に対応する画像上の特徴点を抽出する特徴点抽出手段と、前記抽出した特徴点のエピポーラ線を前記複数の視点のうちの第2の視点に対応する画像上で算出するエピポーラ線算出手段と、前記エピポーラ線と、前記露光時刻算出手段が算出した画像上の点における露光された時刻とから、前記抽出した特徴点と被写体上で同一の点に対応する点が存在する第2の視点に対応する画像上の領域を算出する探索範囲算出手段とを有することを特徴とする請求項1記載の画像処理装置。前記動きを表すパラメータと、前記複数の視点の相対的な配置と、前記取得した画像上の各点が露光された時刻とから、被写体の距離を推定する被写体距離推定手段をさらに有することを特徴とする請求項1または請求項2に記載の画像処理装置。前記取得した画像と、前記動きを表すパラメータと、前記複数の視点の相対的な配置と、前記画像上の各点が露光された時刻とから、前記画像を合成する画像合成手段をさらに有することを特徴とする請求項1または請求項2に記載の画像処理装置。複数の結像光学系と1つ以上のローリングシャッター方式の撮像素子を用いて、複数の視点より画像を撮像する多視点撮像部と、前記撮像した画像から画像処理を行う画像処理部とを有し、前記画像処理部は請求項1から4のいずれか一項に記載の画像処理装置であり、前記画像処理部を構成する多視点画像取得手段は、前記多視点撮像部が撮像した画像を取得することを特徴とする撮像装置。前記多視点撮像部により撮像される画像の画角が、視点毎に異なることを特徴とする請求項5に記載の撮像装置。前記多視点撮像部が画像を撮像する複数の視点の光軸の向きが、視点毎に異なることを特徴とする請求項5に記載の撮像装置。前記多視点撮像部を構成する撮像素子の設置される向きが、撮像素子毎に異なることを特徴とする請求項5に記載の撮像装置。前記多視点撮像部を構成する撮像素子の露光開始時刻が、撮像素子毎に異なることを特徴とする請求項5に記載の撮像装置。前記多視点撮像部を構成する撮像素子の露光順序が、撮像素子毎に異なることを特徴とする請求項5に記載の撮像装置。複数の視点より撮像された画像群を取得する多視点画像取得ステップと、前記複数の視点の相対的な配置を取得する視点配置情報取得ステップと、前記複数の視点間で被写体上の同一の点に対応する画像上の点の組を探索する対応点探索ステップと、前記取得した画像上の点が露光された時刻を算出する露光時刻算出ステップと、前記点の組の画像上の座標と、前記露光された時刻と、前記複数の視点の相対的な配置とから、前記複数の視点の撮像中の動きを表すパラメータを推定する動きパラメータ算出ステップと、を有する画像処理方法。前記対応点探ステップが、前記複数の視点のうちの第1の視点に対応する画像上の特徴点を抽出する特徴点抽出ステップと、前記抽出した特徴点のエピポーラ線を前記複数の視点のうちの第2の視点に対応する画像上で算出するエピポーラ線算出ステップと、前記エピポーラ線と、前記露光時刻算出ステップが算出した画像上の点における露光された時刻とから、前記抽出した特徴点と被写体上で同一の点に対応する点が存在する第2の視点に対応する画像上の領域を算出する探索範囲算出ステップとを有することを特徴とする請求項11記載の画像処理方法。前記動きを表すパラメータと、前記複数の視点の相対的な配置と、前記取得した画像上の各点が露光された時刻とから、被写体の距離を推定する被写体距離推定ステップをさらに有することを特徴とする請求項11または請求項12に記載の画像処理方法。前記取得した画像と、前記動きを表すパラメータと、前記複数の視点の相対的な配置と、前記画像上の各点が露光された時刻とから、前記画像を合成する画像合成ステップをさらに有することを特徴とする請求項11または請求項12に記載の画像処理方法。コンピュータを請求項1から4のいずれか1項に記載の画像処理装置として機能させるためのプログラム。しかしながら、特許文献1に記載の方法では、複数の画像間の視点が同一に近い状況を仮定しているため、画像間に視点の差がある場合には精度が低下するという問題がある。また、非特許文献3に記載の方法では、被写体が同一平面上にあると仮定しているため、奥行きのある被写体に対して精度が低下するという問題がある。したがって、これらの方法は複数の視点から非平面被写体を撮像する多視点撮像装置には適していない。本発明の目的は、ローリングシャッター方式のイメージセンサを用いた多視点撮像装置において、撮像中の多視点撮像装置の動きを推定する手段を提供することにある。また、推定した動きを用いてローリングシャッター歪みの影響を補正しながら画像合成もしくは被写体距離推定を行う手段を提供することにある。上記課題を解決するために、本発明に係る画像処理装置は、複数の視点より撮像された画像群を取得する多視点画像取得手段と、前記複数の視点の相対的な配置を取得する視点配置情報取得手段と、前記複数の視点間で被写体上の同一の点に対応する画像上の点の組を探索する対応点探索手段と、前記取得した画像上の点が露光された時刻を算出する露光時刻算出手段と、前記点の組の画像上の座標と、前記露光された時刻と、前記複数の視点の相対的な配置と、から前記複数の視点の撮像中の動きを表すパラメータを推定する動きパラメータ算出手段とを有する。本発明によれば、ローリングシャッター方式のイメージセンサを用いた多視点撮像装置において、撮像中の多視点撮像装置の動きを推定することが可能になる。また、推定した動きを用いてローリングシャッター歪みの影響を補正しながら画像合成もしくは被写体距離推定を行うことが可能になる。実施形態1<撮像装置の全体構成>図1は、本発明に係る多視点撮像装置の一例を示す模式的な図である。多視点撮像装置は、筺体101を有する。図1aは、例示の多視点撮像装置の正面図である。図1bは、例示の多視点撮像装置の背面図である。撮像部105~113は、多視点撮像装置の正面に複数に配置されており、これにより多視点撮像装置は複数の視点の画像を取得することができる。多視点撮像装置は、撮影ボタン102、ディスプレイ103、操作ボタン104をさらに有する。操作ボタン104とディスプレイ103とを用いて設定を行い、撮影ボタン102を押下することで、撮像部105~113による撮像が行われる。取得した画像および合成した画像をディスプレイ103に表示することができる。図2は、本発明の実施形態1に係る、画像処理部としての機能を備える多視点撮像装置の構成の一例を示すブロック図である。多視点撮像部213は、詳細は後述するが、複数の撮像部から構成され、複数の視点より画像群を取得する。なお、複数の視点から取得される画像群を多視点画像と称することとする。なお、多視点撮像部213を構成する各撮像部は、ローリングシャッター方式のイメージセンサを持ち、これを用いて光学系によって結像した像を画像データに変換することができる。動き推定部214は、詳細は後述するが、多視点撮像部213により取得された多視点画像から、撮像中の多視点撮像装置の動きを推定する。動き推定部214は、異なる視点の画像間の対応点を探索し、この探索結果に基づいて動きの推定を行う。被写体距離推定部215は、動き推定部214が取得した撮像中の多視点撮像装置の動きについての情報と、異なる視点の画像間の対応点を用いて、被写体上の点までの距離を推定する。なお、動き推定部214及び被写体距離推定部215は、多視点撮像部を構成する複数の視点の配置、特性の情報や、各撮像部を構成する撮像素子の露光読み出し制御についての情報を必要とする。これらの情報はあらかじめ算出されており、ROM202ないしはRAM203に格納されているものとする。CPU201は、各構成の処理全てに関わり、ROM202やRAM203に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ROM202とRAM203は、その処理に必要なプログラム、データ、作業領域などをCPU201に提供する。バス210は各構成間で、データや処理の指示をやり取りするための経路として機能する。操作部204は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザー指示を受け取る。キャラクタージェネレーション209は、文字やグラフィックなどを生成する。表示部206は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション209や表示制御部205から受け取った撮影画像や文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザー指示を操作部204の入力として扱うことも可能である。デジタル信号処理部212は多視点撮像部213により取得された多視点画像のγ調整や欠陥画素の補間、デモザイクなどを行う。これらの処理は動き推定部214による処理の前に行われる。また、出力、表示される多視点画像のγ調整やホワイトバランスの調整なども行う。エンコーダ部211は出力される多視点画像のエンコード処理を行う。メディアインターフェース207は、PCその他メディア例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ208につなぐためのインターフェースである。メディアインターフェース207を介して被写体距離の推定結果及び多視点画像の出力が行われる。なお、装置の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。<多視点撮像部の構成>図3は、多視点撮像部213の構成例を示す図である。撮像部301~309は、それぞれ単一の視点から画像を取得する。これらを空間的に異なる位置に配置することにより、多視点画像を取得する。なお、撮像制御部310が、CPU201からの指示に基づいて撮像部301~309の動作を制御する。次に、図4に示すブロック図を用いて撮像部301~309の構成例を説明する。レンズ401及びレンズ402は、結像光学系を構成する。被写体から発せられた光線は該結像光学系により、絞り403、IRカットフィルタ404、ローパスフィルタ405、カラーフィルタ406を通過した後に、撮像素子407上に結像される。光学系制御部410は、レンズ401及びレンズ402を制御して、結像光学系における合焦距離や焦点距離を変化させる。また、絞り403を開閉させることにより、F値を調整することができる。撮像部301~309それぞれが備える光学系制御部410に対し、撮像制御部310により一括して制御値が設定される。設定される合焦距離や焦点距離、F値は、操作部204を介してユーザーにより入力された設定値か、又は別途設けられた自動露出装置、オートフォーカス装置などにより算出された値に基づいて決められる。なお、ここで示した光学系の構成は、説明のために単純化したものであり、撮像素子上に被写体の像を結像させる構成を備えていれば、任意の構成にすることができる。また、カラー画像を取得する構成について説明したが、取得する画像は白黒やマルチバンド、画素毎に露出の異なる画像でもよい。撮像素子407及びAD変換部408は、CMOSイメージセンサなどのイメージセンサに相当する。撮像素子407は2次元の格子状に配列され、結像された像を電気信号に変換する。AD変換部408は電気信号に変換された像の情報をデジタル信号に変換する。デジタル信号に変換された像の情報は、画像データとしてバッファ409に格納される。撮像素子制御部411は、撮像素子407及びAD変換部408に対して、露光の開始と信号の読み出しの制御を行う。露光読み出しは、撮像素子がなす格子上のライン毎に行われる。このラインを以降、同時露光ラインと呼ぶ。同時露光ラインは時間が進むごとに走査され、一定時間かけて像全体の画像データが取得される。露光読み出しを開始するタイミングは、撮像素子制御部411によって指示される。同時露光ラインの走査の順序や速度は、設計によってあらかじめ決めることができ、または撮像制御部310によって撮像素子制御部411に対して指示されるようにしてもよい。なお、イメージセンサはCMOSイメージセンサでなくてもよく、結像された像をライン毎にデジタル信号に変換し、ラインを走査することで像全体の画像データを得ることが可能な構成であれば、どのような構成でもよい。同時露光ラインの走査の順序は連続的である方が望ましいが、いくつかの不連続点があってもかまわない。また、同時露光ラインは厳密に1ラインである必要は無く、隣接もしくは離間された複数のラインでもかまわない。また、同時露光ラインは線状とみなせるならば厳密に直線でなくてもよい。また、同時露光ライン上での露光読み出しは厳密に同時である必要は無く、次ラインとの露光読み出しの時間差相当のずれが、同時露光ライン上の撮像素子間で存在してもかまわない。以上、撮像部301~309を図4のみで説明したが、撮像部301~309の詳細な設計や構成は同一でなくてもよく、それぞれが被写体の像を結像し、画像データを取得する機能を有すれば、どのような構成でもかまわない。次に、図5を用いて撮像部301~309の配置例について説明する。各撮像部301~309は、その結像光学系の光軸方向を軸に持つ円筒形の筺体に格納され、多視点撮像装置の筺体501上に格子状に配置される。また、各撮像部の結像光学系の光軸は同じ向きになるよう配置されている。図5aは多視点撮像装置を正面から見た模式的な図である。図5bは、図5aにおける左方から多視点撮像装置を見た模式的な図である。図5cは、図5aにおける上方から多視点撮像装置を見た模式的な図である。ここで、各図の関係を明らかにするため、図の中に右手系の座標軸を記した。なお、本実施形態では撮像部の数を9個としているが、複数視点からの撮像が可能であれば、撮像部の数はいくつであっても構わない。また、図5に示す配置は一例に過ぎず、各視点の配置が設計ないしは計測結果から知ることができるならば、どのような配置でもかまわない。次に、図6を用いて、以降の説明で用いる視点の配置情報の記述方法について説明する。ここでは各視点の画像を取得する撮像部を、単純な透視投影カメラとして考える。座標系として、撮像部座標系、多視点撮像部座標系、世界座標系を用いて、それらの関係に基づいて視点の配置を表現する。各座標軸の関係は右手系とする。図6において、n番目の撮像部座標系の原点をOn、多視点撮像部座標系の原点をOM、世界座標系の原点をOWとして表している。多視点撮像部座標系から見たn番目の撮像部座標系の原点の位置を3行1列の行列TMnで表す。また、原点を重ねた状態で3行3列の回転行列RMnにより多視点撮像部座標系の座標軸を回転すると、n番目の撮像部座標系の座標軸に重なるものとする。このとき、ある点のn番目の撮像部座標系で表された位置Xnから、多視点撮像系で表された位置XMへの変換は式1のようになる。XnおよびXMは3行1列の行列であり、1行目がx成分、行目がy成分、3行目がz成分を表す。世界座標系から多視点撮像部座標系の原点の位置を3行1列の行列TWMで表す。また、原点を重ねた状態で3行3列の回転行列RWMにより世界座標系の座標軸を回転すると、多視点撮像部座標系の座標軸に重なるものとする。このとき、ある点の多視点撮像部座標系で表された位置XMから、世界撮像系で表された位置XWへの変換は式2のようになる。XMおよびXWは3行1列の行列であり、1行目がx成分、行目がy成分、3行目がz成分を表す。各撮像部は多視点撮像装置に対して固定されており、RMn及びTMnは撮像中に変わらないものとする。また、RMn及びTMnは設計ないしは計測結果から既知であるものとする。一方、RWM及びTWMは手ぶれなどによって撮像中に変化するものとする。本発明ではRWM及びTWMの撮像中の変化を、動き推定部によって推定する。なお、ここで示した表現は一例であり、各撮像部と多視点撮像装置の配置についての情報を与えるならば、どのような表現でも構わない。<動き推定部の構成>次に、図7のブロック図を用いて動き推定部214の構成例を説明する。多視点画像取得部701は、多視点撮像部213によって撮像された多視点画像を、バス210を介して取得する。視点配置情報取得部703は、あらかじめ設定されている情報であって、多視点撮像部213を構成する各視点の配置や特性を示す視点配置情報を、バス210を介して取得する。露光制御情報取得部702は、あらかじめ設定されている情報であって、各撮像部の同時露光ラインの向きや走査順序、走査速度などの露光制御情報を、バス210を介して取得する。露光時刻算出部705は、詳細は後述するが、画像上の位置を入力として、その位置の画素が露光された時刻を、露光制御情報を用いて算出する。対応点探索部704は、詳細は後述するが、多視点画像を構成する複数の視点の画像間の対応する点を求める。対応点探索部704は、対応点探索の精度向上と効率化のため、視点配置情報取得部703が取得した視点配置情報と、露光時刻算出部705が算出する露光時刻についての情報を利用する。なお、これら2つの情報を利用せずに対応点探索を行う構成でも構わない。対応点探索部704は、1組の対応点として、複数の視点の画像上の点を結び付ける。結び付ける点の数は2つ以上、撮像部の数以下ならいくらでも良い。対応点探索部704は、このような対応点を複数組生成して動きパラメータ算出部706に出力する。また、対応点探索部704は対応点を構成する点の座標を露光時刻算出部705に渡し、対応点を構成する点の露光時刻を取得する。露光時刻の情報も対応点情報と結び付けられて、動きパラメータ算出部706に出力される。動きパラメータ算出部706は、詳細は後述するが、対応点探索部704で生成された対応点情報、視点配置情報取得部703が取得した視点配置情報から、多視点撮像装置の動きを表すパラメータを算出する。算出したパラメータと、算出に用いた対応点情報は、バス210に出力される。次に、図8を用いて、動き推定処理のフローを説明する。ステップS801では、多視点画像取得部701が多視点画像として複数の画像を取得する。次に、ステップS802では、視点配置情報取得部703が、多視点画像それぞれに対応する各視点の配置についての情報を取得する。ステップS803では、露光制御情報取得部702が、多視点画像を取得した各撮像時の露光制御情報を取得する。ステップS804では、詳細は後述するが、対応点探索部704と露光時刻算出部705が連携して、ステップS801で取得した複数の画像間における対応点を探索する。ステップS805では、詳細は後述するが、露光時刻算出部705がステップS804で探索した対応点を構成する各画像上の点の位置が露光された時刻を算出する。ステップS806では、動きパラメータ算出部706が、ステップS804で取得した対応点情報とステップS806で取得した露光時刻から、多視点画像を取得した多視点撮像装置の撮像中の動きを表すパラメータを推定する。ステップS807では、動きパラメータ算出部706により算出された動きパラメータが出力される。<露光時刻算出方法>図9を用いて露光時刻の算出方法について説明する。図9は、露光時刻の算出の対象となる画像を示す。図9に示す画像上には、時刻算出点pがある。なお、撮像素子の設計と、露光時の撮像素子の制御情報とから、同時露光ラインの法線ベクトルn、同時露光ラインの走査速度ベクトルv、走査開始位置sが設定されており、これらの情報を利用する。ここで、同時露光ラインと走査方向が直交する場合、nとvとの間には式3に示す関係がある。また、時刻算出点pが露光された時刻をtとすると、図9から明らかなように式4の関係が成り立つ。ここでp、n、s、vは2次元のベクトルである。式4をtについて解くことで、時刻算出点pの露光時刻が算出できる。なお、露光制御情報を用いて計算を行わずに、あらかじめ計算しておいた画素位置と露光時刻の対応を用いて、露光時刻を求めても良い。<対応点探索部の構成>図10のブロック図を用いて対応点探索部704の構成例を説明する。特徴点抽出部1001は、多視点画像取得部701より入力された各視点の画像に対して、第1の視点における特徴点抽出を行う。特徴点抽出の代表的な手法としてはHarrisコーナー検出などがあげられるが、どのような手法を用いてもかまわない。例えば、特徴点抽出の方法については非特許文献4のChapter4で詳しく解説されている。対応点探索部704では、1組の対応点として各視点の画像上の点を結び付けるが、特徴点抽出部1001で抽出した特徴点がその候補となる。エピポーラ線算出部1002は、視点配置情報取得部703より入力された視点の配置情報を用いて、第2の視点に対応する画像上でエピポーラ線を算出する。対応点探索部704は、2視点ごとに点の結び付けを行う。このとき、片方の視点の画像を基準画像とし、もう片方の視点の画像を対応点探索対象画像とする。エピポーラ線算出部1002は、基準画像上のある特徴点の対応点探索画像上でのエピポーラ線を算出する。なお、基準画像上の特徴点の露光時刻と、対応するエピポーラ線上の各点の露光時刻とは、露光時刻算出部705によって算出されている。許容ずれ量算出部1003は、露光時刻算出部705が算出した露光時刻を用いて、基準画像上の特徴点に対応する対応点探索画像上の点が、どの程度エピポーラ線からずれてもかまわないかという指標となる許容ずれ量を算出する。撮像中に多視点撮像装置が静止していれば、基準画像上の特徴点に対応する対応点探索画像上の点はエピポーラ線上にあるはずだが、多視点撮像装置が動くとずれが生じる。基準画像上の特徴点と対応点探索対象画像上の点とで、露光の時間差が大きければ生じるずれも大きくなるはずであるので、許容ずれ量はこの露光時間差に単調増加な関数として設定する。また、画像上の位置や視点によってもずれやすさは異なるので、対応点探索画像上の点の座標や視点の情報を考慮して算出しても良い。一例として係数dを用いて式5により算出する例を示す。ここでxnは基準画像上の特徴点の座標であり、x’は対応点探索対象画像上のエピポーラ線上のある点の座標である。txnとtx’とはそれぞれの露光時刻である。dは対応点探索対象画像上の点が、手ぶれによって単位時間あたりにどの程度動くかという定数である。探索範囲算出部1004は、許容ずれ量算出部1003が算出した許容ずれ量を用いて、基準画像上の特徴点に対応する点を、対応点探索対象画像上で探索する範囲を算出する。ここで、探索範囲の設定の概念について、図11を用いて説明する。図11は許容ずれ量が式5を用いて算出され、同時露光ラインとその走査方向が直交する場合の例である。ここで、基準画像上での特徴点の走査方向の座標がxn、露光時刻がtxnであるときに、同じ露光時刻を持つ対応点探索画像上の走査方向の座標がx’nであるとする。走査方向の座標がx’nであるときには、許容ずれ量が0であるのでエピポーラ線からずれは生じない。走査方向の座標がx’であるエピポーラ線上の点の許容ずれ量は、dtxntx’となるので、図11に示す円のような探索範囲の広がりを持つことになる。この円をエピポーラ線上に走査し、円内に含まれる領域を探索範囲として設定していくことで、探索範囲を決定することができる。もし、走査速度が一定であり、許容ずれ量が露光時間差に比例するならば、探索範囲の境界は直線になるので、エピポーラ線上の2点についてのみ露光時刻がわかれば十分である。なお、実際には製造や計測の誤差等によってもエピポーラ線からのずれは生じるので、探索範囲に一定のマージンを設けておく。対応点候補選択部1005は、基準画像上の特徴点に対応する点の候補として、対応点探索対象画像上の特徴点のうち、探索範囲算出部1004で算出した探索範囲に含まれるものを選択する。特徴点対応付け部1006は、基準画像上の特徴点と、対応点候補選択部1005が選択した対応点探索対象画像上の対応点候補となる特徴点とを対応付ける。ここでは、対応点候補の特徴点のうち、基準画像上の特徴点と最も一致度の高いものを対応付ける。ここで一致度とは、特徴点近傍の画素を用いて算出した特徴量の距離の事をさす。一致度の算出方法の代表的な例としては、特徴点近傍の画像と対応点候補の特徴点近傍の画像との差分絶対値和などがあげられるが、どのような手法を用いても構わない。特徴量の算出とその距離の算出の方法については非特許文献4のChapter4で詳しく解説されている。対応付けされた各特徴点は、露光時刻算出部705にて算出した露光時刻とも対応付けられ、これらは、対応点情報として出力される。次に、図12を用いて対応点探索処理のフローを説明する。ステップS1201では対応点探索部704が、多視点画像取得部701から、多視点画像として複数の画像を取得する。ステップS1202では対応点探索部704が、視点配置情報取得部703より、画像の撮像に用いた複数の視点における配置情報を取得する。ステップS1203では特徴点抽出部1001が、ステップS1201で取得した画像に対して特徴点抽出を行う。ステップS1204では特徴点抽出部1001が、ステップS1201で取得した画像から、基準画像を1つ選択する。ステップS1205では特徴点抽出部1001が、ステップS1201で取得した画像のうちの基準画像以外の画像から、対応点探索対象画像として未処理の画像を1つ選択する。ステップS1206ではステップS1203で抽出した基準画像上の特徴点から、未処理の特徴点を1つ選択する。ステップS1207ではエピポーラ線算出部1002が、ステップS1202で取得した視点配置情報を用いて、ステップS1206で選択した特徴点を基準にして、ステップS1205で選択した対応点探索対象画像上でのエピポーラ線を算出する。ステップS1208では露光時刻算出部が、ステップS1206で選択した特徴点とステップS1007で算出したエピポーラ線上の各点の露光時刻を算出する。ステップS1209では許容ずれ量算出部1003が、ステップS1208で算出した露光時刻から、ステップS1007で算出したエピポーラ線上の各点の許容ずれ量を算出する。ステップS1210では探索範囲算出部1004が、ステップS1209で算出した許容ずれ量とステップS1207で算出したエピポーラ線から、探索範囲を算出する。ステップS1211では対応点候補選択部1005が、ステップS1210で算出した探索範囲を用いて、ステップS1203で抽出した対応点探索対象画像の特徴点から対応点候補を選択する。ステップS1212では特徴点対応付け部1006が、ステップS1211で選択した対応点候補のうち、ステップS1206で選択した特徴点と最も一致度の高い特徴点を選択して、これら特徴点を対応付ける。ステップS1213では露光時刻算出部705がステップS1212で対応付けた2つの特徴点の露光時刻を算出し、特徴点対応付け部1006にて特徴点に対応付けられる。ステップS1214では基準画像上の全特徴点を処理したか判定し、未処理の特徴点があるならば、ステップS1206に戻る。ステップS1215では基準画像以外の全ての画像を対応点探索対象画像として処理したか判定し、未処理の画像があるならば、ステップS1205に戻る。ステップS1216では対応付けた特徴点対応付け部1006が、対応付けた全ての点の座標と露光時刻の組を、対応点情報として出力する。なお、本実施形態では点の結び付けを行う2画像の双方に対して特徴点を抽出するものとしたが、片方の画像に対してのみ特徴点を抽出し、ブロックマッチングなど変形移動のパラメータを最適化するような手法で点の結び付けを行っても良い。また、探索範囲を限定する方法は精度と効率の向上に有効であるが、必ずしも探索範囲を限定する必要はない。また、本実施形態では、複数の視点の画像のうち1つを基準画像とし、基準画像上の特徴点に対して他の視点の画像における対応する点を求めているが、基準画像を変えながら対応付けを行ってもかまわない。また、基準画像と対応点探索対象画像を相互に入れ換えて点の結び付けを行い、整合性を調べる事で精度を上げるような処理を行ってもかまわない。<動きパラメータ算出部の構成>次に、動きパラメータ算出の原理について説明する。本発明では、異なる2視点の画像間の対応点を複数用いることにより、撮像中の多視点撮像装置の動きを推定する。ここで対応点とは、2つの異なる視点における点の座標であり、露光時刻の情報がそれぞれ対応付けられている。点の座標だけでなく露光時刻も利用する事で、撮像中の動きによる歪みの入った画像からでも動きの推定を可能としたところが、本発明の特徴である。また、本発明では撮像中の多視点撮像装置の動きを時刻の関数として少数のパラメータで表現したことで、有限な数の対応点から、連続的な動きの推定を可能とした。k番目の対応点に関連付けられた2つの視点のうち、1つがNk番目の撮像部、もう1つをN’k番目の撮像部に対応するものとする。また、対応点に関連付けられた2つの座標のうち、Nk番目の撮像部で撮像した点の斉次座標をmk、N’k番目の撮像部で撮像した点の斉次座標をm’kとする。また、mkに対応する画素の露光時刻をtk、m’kに対応する画素の露光時刻をt’kとする。mk、m’kに対応する空間上の点を世界座標で表したものをXkw、Nk番目の撮像部座標系で表したものをXkNk、N’k番目の撮像部座標系で表したものをXkNkとすると、図6に示す要素を用いて、以下の式6、式7の関係が得られる。RWNk、RWNk、TWNk、TWNkは多視点撮像装置に対して固定されているので不変である。RWM、TWMは撮像中の多視点撮像装置の動きにより変化するため、時間の関数となっている。式6、式7は式8、式9、式10、式11に示すRWNk、RWNk、TWNk、TWNkを用いるとで、式12、式13のように表現できる。式12、式13より、XkNkからXkNkへの変換を求めると、式14のようになる。さらに式15、式16に示すRNkNk、TNkNkを用いて式14を表現すると式17のようになる。ここで、Nk番目の撮像部の光学中心であるONk、N’k番目の撮像部の光学中心であるONk、空間上の点Xkについて考える。N’k番目の撮像部座標系にて、ONkからXkの方向へのベクトル、ONkからXkの方向へのベクトル、ONkからONkの方向へのベクトルを表すと、それぞれ、λRNkNkXkNk、ξXkNk、ηTNkNkと書ける。ここで、λ、ξ、ηは適当な係数を表す。3つのベクトルは、同一平面上のベクトルであるので、式18が成り立つ。ここで、×はベクトルの外積、はベクトルの内積を表す。Nk番目の撮像部の内部パラメータ行列をANk、N’k番目の撮像部の内部パラメータ行列をANkと置くと、XkNkとXkNkはそれぞれ式19、式20のように表すことができる。ここで、λ’、ξ’は適当な係数を表す。式18、式19、式20から式21が得られる。ここで、×は外積の演算を3×3の歪対称行列で表したものである。式21は一般にエピポーラ拘束と呼ばれるものであり、この式によって時刻tkにおけるNk番目の撮像部と時刻t’kにおけるN’k番目の撮像部の関係についての拘束を得る事ができる。撮像部の動きをパラメータで表す方法について説明する。RMNk、RMNk、TMNk、TMNk、ANk、ANkは撮像中も固定されており不変であり、これらは設計値もしくは計測値からあらかじめ算出されているものとする。RWMt、TWMtはそれぞれ3自由度を持つ。1自由度をM個のパラメータで表すならば、RWMtp11p12...p1Mp21p22...p2Mp31p32...p3M、TWMtp41p42...p4Mp51p52...p5Mp61p62...p6Mという表現になる。M個のパラメータと時間tを用いてRWM、TWMを表現する例としては、式22、式23、式24のようにRWMを3つの回転角度で表し、TWMの3つの成分とともに、それぞれpnmを係数とするtの多項式で表す方法などがある。なお、時刻t0のRWM、TWMはどのように置いても良いので、多項式で表す場合は0次の係数は適当な定数にしてしまって良い。パラメータの数が6M個ならば、式21のような拘束が6M個以上、つまり対応点が6M組以上あれば、パラメータの算出が可能である。式25のように式21からの逸脱を表す誤差関数Ukを定義し、これを全対応点について足し合わせたUを式26のようにおく。Uを最小化するパラメータpestを式27のように求めることで、動きを表すパラメータを算出する。式25、式26、式27では、全パラメータをベクトルpによって表現している。最小化の方法の例としてはNewton法やLevenburgMuarqardt法などがあるが、どのような方法を使ってもかまわない。対応点探索によって得た対応点には誤対応が含まれる事も多いので、前述の動きパラメータ算出方法に、誤対応を除去する手法を組み合わせることで、精度をより向上させることも可能である。誤対応を除去する手法の例としては、RANSACや最小メディアン法などのロバスト推定があげられるが、どのような方法でもかまわない。なお、本実施形態で示した動きの表現方法や誤差の定義は一例に過ぎない。多視点撮像装置の動きを時刻tと有限個のパラメータで表現し、対応点の座標と露光時刻、視点の配置と内部パラメータ、視点間の関係幾何学的拘束を用いてパラメータを算出するならばどのような形態でもかまわない。例えば、回転行列の9成分全てを独立に扱い、別途回転行列が正規直交になるような拘束を加えてもかまわない。また、本実施形態では撮像部の光学系の収差を考慮しなかったが、撮像後の画像処理でこれを補正し、露光時刻の算出時に収差の影響を考慮してもよい。また、動きパラメータの算出時に収差の影響を考慮してもよい。次に、図13を用いて、動きパラメータ算出部706の構成例を説明する。対応点選択部1301は、対応点探索部704によって求められた対応点のうち、動きパラメータの算出に用いるものを選択する。例えば、対応点探索部704の出力が、視点A上の点mAと視点B上の点mBの対応と、視点A上の点mAと視点C上の点mCの対応を含む場合、新たに視点B上の点mBと視点C上の点mCの対応を生成することができる。対応点探索部704はどのような組み合わせをとるか判断しながら、推定に用いる2視点間の点の対応を複数選択する。ここで、精度を重視する場合には、対応点の全ての組み合わせを選択の候補とする。一方、処理速度を重視するならば1つの点が少なくとも1組の対応に含まれるような最小数の組み合わせを選択の候補とする。しかしながら、どのような基準で選択の候補を生成してもかまわない。本実施形態ではロバスト推定を行うので、取得生成した選択の候補となる対応から一定数をランダムに選択する。評価式生成部1302は、対応点選択部1301で選択された対応点と、視点配置情報取得部703から得た視点の配置と内部パラメータから、式26に相当する評価式を生成する。初期パラメータ生成部1304は、最適化によって動きパラメータを求めるにあたってのパラメータの初期値を生成する。式22、式23、式24のように回転行列の回転角と並進ベクトルの3成分を時刻tの多項式展開で記述するならば、全パラメータの初期値を0にするなどする。最適化演算部1303は評価式生成部1302が生成した評価式と、初期パラメータ生成部1304が生成した初期パラメータをもとに式26に相当する最適化を行い、動きパラメータを算出する。推定精度評価値算出部1305は、対応点選択部1301で選択した対応点の組に対する推定精度評価値を算出する。用いるロバスト推定がRANSACならば、選択した対応点のうち式25で表される誤差が閾値以下の対応点数を推定精度評価値として算出する。最小メディアン法ならば、対応点の選択候補の誤差を式20により算出し、その中央値を算出する。最適パラメータ選択部1306は最適化演算部1303で算出された動きパラメータと推定精度評価値算出部1305で算出された推定精度評価値を保持し、繰り返し推定が行われた後に、推定精度評価値が最良であったときの動きパラメータを出力する。次に、図14を用いて動きパラメータ算出処理の流れを説明する。ステップS1401では動きパラメータ算出部706が、視点配置情報取得部703より、多視点画像の撮像に用いた複数の視点の配置情報を取得する。ステップS1402では動きパラメータ算出部706が、対応点探索部704から対応点情報として、対応点に係る座標と、対応点の露光時刻とを取得する。ステップS1403では対応点選択部1301が、ステップS1402で取得した対応点情報に基づいて異なる2視点上における対応点を生成し、そのうちのN組をランダムに選択する。ステップS1404では評価式生成部1302が、ステップS1401で取得した視点配置情報と、ステップS1403で選択した対応点から、多視点撮像部の動きを表すパラメータの幾何学的な整合性に対する誤差を求める評価式式26に相当を生成する。ステップS1405では初期パラメータ生成部1304が、多視点撮像部の動きを表すパラメータに対して式27に相当する最適化を行うにあたっての初期値を生成する。ステップS1406では最適化演算部1303が、ステップS1405で生成した初期値を用いて、ステップS1404で生成した評価式を最小化し、そのときの動きパラメータを求める。ステップS1407では推定精度評価値算出1305が、ステップS1406で求めた動きパラメータを用いて、ステップS1403で選択したN組の対応点に対する推定精度評価値を算出する。ステップS1408では最適パラメータ選択部1306が、ステップS1407で算出した推定精度評価値と、ステップS1406で算出した動きパラメータを保存する。ステップS1409ではステップS1403からステップS1408までの処理をM回繰り返したか判定し、繰り返してなければステップS1403に戻る。ステップS1410は最適パラメータ選択部1306が、ステップS1408で保存した推定精度評価値を最小とする動きパラメータを選択する。ステップS1411では動きパラメータ算出部706が算出した動きパラメータを出力する。なお、本実施形態では繰り返しによるロバスト推定を使用するものとしたが、ロバスト推定を行わず1度だけ動きパラメータの算出を行い、これをそのまま出力するような構成、及び処理としてもかまわない。<被写体距離推定部の構成>次に、図15のブロック図を用いて被写体距離推定部の構成例を説明する。特徴点情報取得部1501は、バス210を介して対応点探索部704により算出された対応点情報を取得する。対応点情報は異なる視点上の点の対応関係とその点の座標、露光時刻の情報を持つ。特徴点情報取得部1501は空間上の同一の点を対応する点を1つのグループにまとめる。例えば、視点A上の点mAと視点B上の点mBの対応、視点A上の点mAと視点C上の点mCの対応が入力された場合、mA、mB、mC、を関連付ける。動き情報取得部1502は、バス210を介して、動き推定部214により算出された多視点撮像装置の動きを表す動きパラメータを取得する。視点配置情報取得部1503は、バス210を介してROM202もしくはRAM203から、あらかじめ既知となっている多視点撮像装置を構成する各視点の配置と内部パラメータの情報を取得する。撮像部配置補正部1505は、特徴点情報取得部1501が取得した対応点を構成する各点について、その点を撮像した撮像部がその点が露光された時刻にどのような配置であったかを、動きパラメータと視点配置情報を用いて算出する。距離算出部1504は、特徴点情報取得部1501が関連付けた点の組について、その組を構成する点の座標、撮像部配置補正部1505が算出した視点の配置から、関連付けられた点の組に対応する空間上の点の位置を算出する。配置と内部パラメータが既知である2つ以上の撮像部で撮像された点の空間上の位置は、本技術分野において一般的に知られている方法で算出できる非特許文献4Chapter7。算出された点の位置は被写体距離の情報として出力される。次に、図16を用いて被写体距離推定処理の流れを説明する。ステップS1601では被写体距離推定部215が、対応点情報を取得する。ステップS1602では被写体距離推定部215が、視点の配置情報を取得する。ステップS1603では被写体距離推定部215が、多視点撮像装置の動きを表すパラメータを取得する。ステップS1604では特徴点情報取得部1501が、未処理の対応点を1組選択する。ステップS1605では撮像部配置補正部1505が、ステップS1602で取得した視点配置情報とステップS1601で取得した対応点情報に含まれる露光時刻の情報から、対応点を構成する各点が撮像された時点での、視点の配置をそれぞれ算出する。ステップS1606では距離算出部1504がステップS1601で取得した対応点情報に含まれる画像上の座標の情報と、ステップS1605で算出した露光時の配置情報から、被写体上の点の位置を推定する。ステップS1607では全ての対応点が処理されたか判定し、未処理の対応点が残っていればS1604に戻る。ステップS1608では被写体距離推定部215が推定した被写体距離情報を出力する。なお、本実施形態では撮像中の多視点撮像装置の動きパラメータを算出する際に求めた対応点情報を用いて、被写体距離情報を算出するものとしたが、算出した動きパラメータと視点配置情報から定まる拘束を用いて、別途対応点探索を行ってもよい。また、動きパラメータと被写体距離情報は別々に推定するものとしたが、被写体上の点の3次元位置をパラメータとし、動きパラメータと合わせてバンドル調整法非特許文献5などにより、同時推定してもよい。以上、本実施形態によれば、撮像中の多視点撮像装置の動きにより、ローリングシャッター歪みが生じた多視点画像から、撮像中の多視点撮像装置の動きを推定することができる。また、推定した動きを用いて補正を行うことで、高精度に被写体の距離情報を推定することができる。実施形態2実施形態1では、ローリングシャッター歪みの影響を補正して、被写体の距離を高精度に推定する。実施形態2では、ローリングシャッター歪みの影響を補正して、画像合成を行う。なお、実施形態1と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。図17は、本実施形態における画像処理装置の構成を示す図である。実施形態1における画像処理装置との相違点は、被写体距離推定部の代わりに画像合成部1701を設けていることである。画像合成部1701は、多視点撮像部213が取得した多視点画像、動き推定部214が算出した動きパラメータ、あらかじめ既知である視点の配置情報、露光制御情報を用いて、仮想視点画像の合成を行うものである。次に、図18を用いて仮想視点画像合成の原理について説明する。動き推定部214が算出した動きパラメータ、あらかじめ既知である視点の配置情報と、露光情報制御情報から定まる画素毎の露光時刻から、ある画素が露光された時点での視点の配置TMn、RMnを求めることができる。画像合成部1701は画素毎に視点の配置を求め、これを空間上に定義された合焦面に投影し、これを補完する事で仮想視点画像の合成を行う。次に、図19を用いて画像合成部1701の構成例を説明する。合焦距離取得部1901はユーザーが入力した合焦面の位置を取得する。多視点画像取得部1902は多視点撮像部213が取得した多視点画像を取得する。露光制御情報取得部1903はあらかじめ既知である露光制御情報を取得する。動き情報取得部1502、視点配置情報取得部1503、撮像部配置補正部1505は実施形態1の被写体距離推定部215と同様である。露光時刻算出部1904は多視点撮像部213の各画素毎の露光時刻を算出する。座標変換部1905は撮像部配置補正部1505が算出した画素毎の撮像部配置と、合焦距離取得部が取得した合焦面の情報から、合焦面上に投影を行う。投影された画素の合焦面上の座標と多視点画像取得部1902から取得した該画素の画素値は画素補間部1906に渡され保存される。投影の方法はどのような方法でもかまわない。画素補間部1906は、全画素の投影が終わった段階で、投影された画素群の補間を行い画像を生成する。補間の方法はどのような方法を用いてもかまわない。補間において用いるフィルタの半径が大きければノイズ低減を行うことができ、小さければ解像度を向上させることができる。次に、図20を用いて画像合成処理の流れを説明する。ステップS2001では多視点画像取得部1902が多視点画像として複数の画像を取得する。ステップS2002では視点配置情報取得部1503が、多視点画像の撮像に用いられた多視点撮像装置を構成する複数の視点の配置情報を取得する。ステップS2003では動き情報取得部1502が、多視点撮像装置の動きを表すパラメータを取得する。ステップS2004では露光制御情報取得部1903が、画像の撮像に用いられた多視点撮像装置を構成する複数の撮像部の露光制御情報を取得する。ステップS2005では合焦距離取得部1901が、合焦面を表す合焦距離を画像合成のパラメータとして取得する。ステップS2006では露光時刻算出部1904がステップS2004で取得した露光制御情報から、多視点画像の画素毎の露光時刻を算出する。ステップS2007ではステップS2004で取得した動き情報とステップS2006で算出した露光時刻から、画素毎に撮像された時点での撮像部配置を算出する。ステップS2008では座標変換部1905が、ステップS2007で算出された画素毎の視点配置情報と、ステップS2005で取得した合焦距離から、合焦面上に投影を行う座標変換を行う。ステップS2009では画素補間部S2006が、投影された画素群の補間を行い画像を生成する。ステップS2010では画像合成部1701が画像の出力を行う。なお、本実施形態では合焦面上に投影を行い画像を生成するものとしたが、各画素を光線とみなし仮想的な光学系を用いて画像の合成を行ってもよい。また、被写体の配置が平面に近い場合無限遠平面含む、投影を行う面を被写体が配置されている面とすることで、ノイズ低減や高解像度を行うことができる。画像合成部でそのような処理をおこなってもよい。この場合、動き推定において、多視点撮像装置の三次元的な動きの代わりに、射影変換行列、アフィン変換行列など画像座標の線形変換の時間変化を推定してもよい。以上、本実施形態によれば、撮像中の多視点撮像装置の動きにより、ローリングシャッター歪みが生じた多視点画像から、撮像中の多視点撮像装置の動きを推定し、補正を行うことで、高精度に画像合成を行うことができる。実施形態3実施形態1乃至実施形態2では、多視点撮像部を構成する各撮像部の光軸が平行であるものとした。しかしながら、同一の構成を持つ撮像部を平行に配置した場合、遠方にある被写体上の点の像は同時刻に露光されることになる。空間上の同一の点の像を同時刻に露光した場合、式21においてt’ktkとおくと明らかであるように、該空間上の点に対応する対応点から多視点撮像装置の動きに対する拘束を得る事ができない。従って多視点撮像装置の動きの推定精度が低下したり、推定が不可能になったりする問題が生じる。そこで、本実施形態では以上の問題を解決するための、多視点撮像部を構成する視点の配置と制御方法について説明する。なお、その他の部分は実施形態1或いは実施形態2と共通するため説明を省略する。図21aは同一の構成を持つ撮像部を平行に配置した場合に生じる問題を説明する図である。縦軸は遠方にある被写体上の位置であり、横軸は時刻である。細い破線は多視点撮像装置が静止していた場合に、被写体上のある位置に存在する点の像が、いつ露光されるかという関係を表している。多視点撮像装置が撮像中に動いた場合、ある時刻に露光される点の位置は、太い破線や二重線のように細い破線からずれる。太い破線と二重線はそれぞれ別の撮像部を表している。太い破線と二重線は常に重なるので、どのように対応点を取得しても多視点撮像装置の動きに関する情報は得ることができない。図22aは撮像部毎に同時露光ラインとその走査方向を異ならせるという配置方法である。この場合、露光位置と時刻の関係は、図21bのように撮像部によって異なるものとなるので、多視点撮像装置の動きに関する情報を得ることができる。なお、同時露光ラインとその走査方向を異ならせるかわりに、撮像部を光軸を軸として回転させてもよい。図22bは撮像部毎に撮像する向きを異ならせるというものである。この場合、露光位置と時刻の関係は、図21cのように撮像部によって異なるものとなるので、多視点撮像装置の動きに関する情報を得ることができる。撮像する向きを異ならせる方法は、撮像部の設置方向を変えても、光学系の光軸に対する撮像素子の位置を撮像素子毎にずらしても良い。図22cは撮像部毎に画角を異ならせるというものである。この場合、露光位置と時刻の関係は、図21dのように撮像部によって視点毎に異なるものとなるので、多視点撮像装置の動きに関する情報を得ることができる。また、撮像制御部310が撮像素子制御部411に対して指示する露光開始時刻を、撮像部毎に異ならせても良い。この場合、露光位置と時刻の関係は、図21eのように撮像部によって異なるものとなるので、多視点撮像装置の動きに関する情報を得ることができる。撮像制御部310が撮像素子制御部411に対して指示する露光順序を、撮像部毎に異ならせても良い。この場合、露光位置と時刻の関係は、図21fのように撮像部によって異なるものとなるので、多視点撮像装置の動きに関する情報を得ることができる。以上、本実施形態によれば、撮像部毎に配置、構成、制御を異ならせることで、遠方にある被写体からでも、多視点撮像装置の動きについての情報を取得することができる。その他の実施形態なお、以上の各実施形態においては、単一の視点を持つ撮像部を複数用いて多視点撮像部を構成する場合について説明した。しかしながら、撮像部が図4に示す単一の撮像素子407を複数の領域に分割し、その分割した領域に対応する光学系を設ける構成を採用してもよい。また、そのような撮像部を複数用いてもよい。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。