(57)【要約】【課題】ローリングシャッター方式のイメージセンサを用いた多視点撮像装置において、撮像中の多視点撮像装置の動きを推定し、推定した動きを用いてローリングシャッター歪みの影響を補正しながら画像合成もしくは被写体距離推定を行う。【解決手段】本発明に係る画像処理装置は、複数の視点より撮像された画像群を取得する多視点画像取得手段(701)と、複数の視点の相対的な配置を取得する視点配置情報取得手段(703)と、複数の視点間で被写体上の同一の点に対応する画像上の点の組を探索する対応点探索手段(704)と、取得した画像上の点が露光された時刻を算出する露光時刻算出手段(705)と、点の組の画像上の座標と露光された時刻と複数の視点の相対的な配置から、複数の視点の撮像中の動きを表すパラメータを推定する動きパラメータ算出手段(706)と、を有することを特徴とする。【選択図】図７
2013120435.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点より撮像された画像群を取得する多視点画像取得手段と、
前記複数の視点の相対的な配置を取得する視点配置情報取得手段と、
前記複数の視点間で被写体上の同一の点に対応する画像上の点の組を探索する対応点探索手段と、
前記取得した画像上の点が露光された時刻を算出する露光時刻算出手段と、
前記点の組の画像上の座標と、前記露光された時刻と、前記複数の視点の相対的な配置と、から前記複数の視点の撮像中の動きを表すパラメータを推定する動きパラメータ算出手段と
を有する画像処理装置。
【請求項２】
前記対応点探索手段が、
前記複数の視点のうちの第１の視点に対応する画像上の特徴点を抽出する特徴点抽出手段と、
前記抽出した特徴点のエピポーラ線を前記複数の視点のうちの第２の視点に対応する画像上で算出するエピポーラ線算出手段と、
前記エピポーラ線と、前記露光時刻算出手段が算出した画像上の点における露光された時刻とから、前記抽出した特徴点と被写体上で同一の点に対応する点が存在する第２の視点に対応する画像上の領域を算出する探索範囲算出手段と
を有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記動きを表すパラメータと、前記複数の視点の相対的な配置と、前記取得した画像上の各点が露光された時刻とから、被写体の距離を推定する被写体距離推定手段をさらに有することを特徴とする請求項1または請求項2に記載の画像処理装置。
【請求項４】
前記取得した画像と、前記動きを表すパラメータと、前記複数の視点の相対的な配置と、前記画像上の各点が露光された時刻とから、前記画像を合成する画像合成手段をさらに有することを特徴とする請求項1または請求項2に記載の画像処理装置。
【請求項５】
複数の結像光学系と1つ以上のローリングシャッター方式の撮像素子を用いて、
複数の視点より画像を撮像する多視点撮像部と、
前記撮像した画像から画像処理を行う画像処理部とを有し、
前記画像処理部は請求項1から4のいずれか一項に記載の画像処理装置であり、
前記画像処理部を構成する多視点画像取得手段は、前記多視点撮像部が撮像した画像を取得する
ことを特徴とする撮像装置。
【請求項６】
前記多視点撮像部により撮像される画像の画角が、視点毎に異なることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記多視点撮像部が画像を撮像する複数の視点の光軸の向きが、視点毎に異なることを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記多視点撮像部を構成する撮像素子の設置される向きが、撮像素子毎に異なることを特徴とする請求項５に記載の撮像装置。
【請求項９】
前記多視点撮像部を構成する撮像素子の露光開始時刻が、撮像素子毎に異なることを特徴とする請求項５に記載の撮像装置。
【請求項１０】
前記多視点撮像部を構成する撮像素子の露光順序が、撮像素子毎に異なることを特徴とする請求項５に記載の撮像装置。
【請求項１１】
複数の視点より撮像された画像群を取得する多視点画像取得ステップと、
前記複数の視点の相対的な配置を取得する視点配置情報取得ステップと、
前記複数の視点間で被写体上の同一の点に対応する画像上の点の組を探索する対応点探索ステップと、
前記取得した画像上の点が露光された時刻を算出する露光時刻算出ステップと、
前記点の組の画像上の座標と、前記露光された時刻と、前記複数の視点の相対的な配置とから、前記複数の視点の撮像中の動きを表すパラメータを推定する動きパラメータ算出ステップと、
を有する画像処理方法。
【請求項１２】
前記対応点探ステップが、
前記複数の視点のうちの第１の視点に対応する画像上の特徴点を抽出する特徴点抽出ステップと、
前記抽出した特徴点のエピポーラ線を前記複数の視点のうちの第２の視点に対応する画像上で算出するエピポーラ線算出ステップと、
前記エピポーラ線と、前記露光時刻算出ステップが算出した画像上の点における露光された時刻とから、前記抽出した特徴点と被写体上で同一の点に対応する点が存在する第２の視点に対応する画像上の領域を算出する探索範囲算出ステップと
を有することを特徴とする請求項１１記載の画像処理方法。
【請求項１３】
前記動きを表すパラメータと、前記複数の視点の相対的な配置と、前記取得した画像上の各点が露光された時刻とから、被写体の距離を推定する被写体距離推定ステップをさらに有することを特徴とする請求項1１または請求項１２に記載の画像処理方法。
【請求項１４】
前記取得した画像と、前記動きを表すパラメータと、前記複数の視点の相対的な配置と、前記画像上の各点が露光された時刻とから、前記画像を合成する画像合成ステップをさらに有することを特徴とする請求項1１または請求項１2に記載の画像処理方法。
【請求項１５】
コンピュータを請求項１から４のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点から撮像した画像を処理する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラやビデオカメラの撮像素子として、CMOSイメージセンサが広く用いられている。CMOSイメージセンサは、従来、撮像素子として用いられる事の多かったCCDイメージセンサに対して、低消費電力、低コストなどといった優れた特徴を有する。
【０００３】
しかしながら、CMOSイメージセンサは画素値の読み出しをもって、露光が完了するため、画素毎に露光のタイミングに時間差がある。一般的なCMOSイメージセンサは、ライン毎に画素値を同時に読み出す機構を持ち、時間の経過と共に読み出しラインを走査することで像全体の画像を取得する（ローリングシャッター方式）。そのため、撮像中に手ぶれ等で被写体の像が移動すると、取得される画像が歪んだものとなってしまう。この現象をローリングシャッター歪みと呼ぶ。
【０００４】
このようなローリングシャッター方式のイメージセンサは、通常のデジタルカメラやビデオカメラだけでなく、複数の撮像部を用いて被写体を複数視点から撮像する多視点撮像装置にも用いられる。多視点撮像装置で撮像した画像は、仮想視点画像の合成（非特許文献１)や、被写体距離の取得（非特許文献２）などに用いられる。このとき、各視点の画像にローリングシャッター歪みが含まれていると、合成画像の画質劣化や被写体距離推定精度の低下などの問題が生じる。そのため、ローリングシャッター方式により生じる歪み（ローリングシャッター歪み）を補正する必要がある。
【０００５】
多視点撮像装置のように複数の画像を取得可能なシステムにおいて、ローリングシャッター歪みを補正する技術としては、特許文献１および非特許文献３などが知られている。特許文献１には、連続して複数枚の画像を撮像し、ブロックマッチングによって画像上の各領域の動きベクトルを求め、画像上の座標に対応する露光時刻を加味して、各領域を移動・変形することでローリングシャッター歪みを補正する技術が開示されている。
【０００６】
また、非特許文献３には、多視点撮像装置において各個眼の撮像タイミングをずらすことで、ある微小時間内に各個眼が撮像する領域を異なるものとし、各個眼の画像を結合することでローリングシャッター歪みが低減された画像を得る技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４５０９９１７号公報
【非特許文献】
【０００８】
【非特許文献１】A. Isaksen et al., “Dynaｍically Reparaｍeterized Light Fields”, ACM SIGGRAPH, pp. 297-306 （2000)
【非特許文献２】Y. Furukawa et al., “Accurate,Dense,and Robust Multi-View Stereopsis”, CVPR 2007
【非特許文献３】Wilburn et al., “High-Speed Videography Using a Dense Caｍera Array”, CVPR’04
【非特許文献４】Richard Szeliski, “Coｍputer Vision:Algorithｍs and Applications”, Springer, New York, 2010
【非特許文献５】Bill Triggs et al., “Bundle Adjustｍent − A Modern Synthesis”, Vision Algorithｍ: Theory & Practice, Springer-Verlag LNCS 1883 （2000).
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に記載の方法では、複数の画像間の視点が同一に近い状況を仮定しているため、画像間に視点の差がある場合には精度が低下するという問題がある。また、非特許文献３に記載の方法では、被写体が同一平面上にあると仮定しているため、奥行きのある被写体に対して精度が低下するという問題がある。したがって、これらの方法は複数の視点から非平面被写体を撮像する多視点撮像装置には適していない。
【００１０】
本発明の目的は、ローリングシャッター方式のイメージセンサを用いた多視点撮像装置において、撮像中の多視点撮像装置の動きを推定する手段を提供することにある。また、推定した動きを用いてローリングシャッター歪みの影響を補正しながら画像合成もしくは被写体距離推定を行う手段を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明に係る画像処理装置は、複数の視点より撮像された画像群を取得する多視点画像取得手段と、前記複数の視点の相対的な配置を取得する視点配置情報取得手段と、前記複数の視点間で被写体上の同一の点に対応する画像上の点の組を探索する対応点探索手段と、前記取得した画像上の点が露光された時刻を算出する露光時刻算出手段と、前記点の組の画像上の座標と、前記露光された時刻と、前記複数の視点の相対的な配置と、から前記複数の視点の撮像中の動きを表すパラメータを推定する動きパラメータ算出手段とを有する。
【発明の効果】
【００１２】
本発明によれば、ローリングシャッター方式のイメージセンサを用いた多視点撮像装置において、撮像中の多視点撮像装置の動きを推定することが可能になる。また、推定した動きを用いてローリングシャッター歪みの影響を補正しながら画像合成もしくは被写体距離推定を行うことが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る多視点撮像装置の概観を示す図である。
【図２】本発明の実施形態１に係る多視点撮像装置の構成例を示すブロック図である。
【図３】多視点撮像部の構成例を示すブロック図である。
【図４】撮像部の構成例を示すブロック図である。
【図５】撮像部の配置例を示す図である。
【図６】各撮像部の配置の記述方法について説明するための図である。
【図７】動き推定部の構成例を示すブロック図である。
【図８】動き推定処理の処理手順を示すフロー図である。
【図９】露光時刻の算出方法を説明するための図である。
【図１０】対応点探索部の構成例を示すブロック図である。
【図１１】対応点探索における探索範囲を説明するための図である。
【図１２】対応点探索処理のフローを示す図である。
【図１３】動きパラメータ算出部の構成例を表す図である。
【図１４】動きパラメータ算出処理の処理手順を示すフロー図である。
【図１５】被写体距離推定部の構成例を表すブロック図である。
【図１６】被写体距離推定処理の流れの例を表す図である。
【図１７】実施形態2に係る多視点撮像装置の構成例を表すブロック図である。
【図１８】実施形態2に係る画像合成の原理を説明する図である。
【図１９】実施形態2に係る画像合成部の構成例を表すブロック図である。
【図２０】実施形態2に係る画像合成処理の処理手順を示すフロー図である。
【図２１】実施形態3に係る発明の効果を説明するための図である。
【図２２】実施形態3における撮像部の配置例を表す図である。
【発明を実施するための形態】
【００１４】
（実施形態１）
＜撮像装置の全体構成＞
図1は、本発明に係る多視点撮像装置の一例を示す模式的な図である。多視点撮像装置は、筺体101を有する。図1（ａ）は、例示の多視点撮像装置の正面図である。図1（ｂ）は、例示の多視点撮像装置の背面図である。
【００１５】
撮像部105〜113は、多視点撮像装置の正面に複数に配置されており、これにより多視点撮像装置は複数の視点の画像を取得することができる。多視点撮像装置は、撮影ボタン102、ディスプレイ103、操作ボタン104をさらに有する。
【００１６】
操作ボタン104とディスプレイ103とを用いて設定を行い、撮影ボタン102を押下することで、撮像部105〜113による撮像が行われる。取得した画像および合成した画像をディスプレイ103に表示することができる。
【００１７】
図2は、本発明の実施形態1に係る、画像処理部としての機能を備える多視点撮像装置の構成の一例を示すブロック図である。
【００１８】
多視点撮像部213は、詳細は後述するが、複数の撮像部から構成され、複数の視点より画像群を取得する。なお、複数の視点から取得される画像群を多視点画像と称することとする。なお、多視点撮像部213を構成する各撮像部は、ローリングシャッター方式のイメージセンサを持ち、これを用いて光学系によって結像した像を画像データに変換することができる。
【００１９】
動き推定部214は、詳細は後述するが、多視点撮像部213により取得された多視点画像から、撮像中の多視点撮像装置の動きを推定する。動き推定部214は、異なる視点の画像間の対応点を探索し、この探索結果に基づいて動きの推定を行う。
【００２０】
被写体距離推定部215は、動き推定部214が取得した撮像中の多視点撮像装置の動きについての情報と、異なる視点の画像間の対応点を用いて、被写体上の点までの距離を推定する。
【００２１】
なお、動き推定部214及び被写体距離推定部215は、多視点撮像部を構成する複数の視点の配置、特性の情報や、各撮像部を構成する撮像素子の露光・読み出し制御についての情報を必要とする。これらの情報はあらかじめ算出されており、ROM202ないしはRAM203に格納されているものとする。
【００２２】
CPU201は、各構成の処理全てに関わり、 ROM202やRAM203に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ROM202とRAM203は、その処理に必要なプログラム、データ、作業領域などをCPU201に提供する。
【００２３】
バス210は各構成間で、データや処理の指示をやり取りするための経路として機能する。
【００２４】
操作部204は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザー指示を受け取る。
【００２５】
キャラクタージェネレーション209は、文字やグラフィックなどを生成する。
【００２６】
表示部206は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション209や表示制御部205から受け取った撮影画像や文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザー指示を操作部204の入力として扱うことも可能である。
【００２７】
デジタル信号処理部212は多視点撮像部213により取得された多視点画像のγ調整や欠陥画素の補間、デモザイクなどを行う。これらの処理は動き推定部214による処理の前に行われる。また、出力、表示される多視点画像のγ調整やホワイトバランスの調整なども行う。
【００２８】
エンコーダ部211は出力される多視点画像のエンコード処理を行う。
【００２９】
メディアインターフェース207は、PC・その他メディア（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ）208につなぐためのインターフェースである。メディアインターフェース207を介して被写体距離の推定結果及び多視点画像の出力が行われる。
【００３０】
なお、装置の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【００３１】
＜多視点撮像部の構成＞
図3は、多視点撮像部213の構成例を示す図である。
【００３２】
撮像部301〜309は、それぞれ単一の視点から画像を取得する。これらを空間的に異なる位置に配置することにより、多視点画像を取得する。なお、撮像制御部310が、CPU201からの指示に基づいて撮像部301〜309の動作を制御する。
【００３３】
次に、図4に示すブロック図を用いて撮像部301〜309の構成例を説明する。
【００３４】
レンズ401及びレンズ402は、結像光学系を構成する。被写体から発せられた光線は該結像光学系により、絞り403、IRカットフィルタ404、ローパスフィルタ405、カラーフィルタ406を通過した後に、撮像素子407上に結像される。
【００３５】
光学系制御部410は、レンズ401及びレンズ402を制御して、結像光学系における合焦距離や焦点距離を変化させる。また、絞り403を開閉させることにより、F値を調整することができる。
【００３６】
撮像部301〜309それぞれが備える光学系制御部410に対し、撮像制御部310により一括して制御値が設定される。設定される合焦距離や焦点距離、F値は、操作部204を介してユーザーにより入力された設定値か、又は別途設けられた自動露出装置、オートフォーカス装置などにより算出された値に基づいて決められる。
【００３７】
なお、ここで示した光学系の構成は、説明のために単純化したものであり、撮像素子上に被写体の像を結像させる構成を備えていれば、任意の構成にすることができる。また、カラー画像を取得する構成について説明したが、取得する画像は白黒やマルチバンド、画素毎に露出の異なる画像でもよい。
【００３８】
撮像素子407及びA/D変換部408は、CMOSイメージセンサなどのイメージセンサに相当する。撮像素子407は2次元の格子状に配列され、結像された像を電気信号に変換する。A/D変換部408は電気信号に変換された像の情報をデジタル信号に変換する。デジタル信号に変換された像の情報は、画像データとしてバッファ409に格納される。
【００３９】
撮像素子制御部411は、撮像素子407及びA/D変換部408に対して、露光の開始と信号の読み出しの制御を行う。露光・読み出しは、撮像素子がなす格子上のライン毎に行われる。このラインを以降、同時露光ラインと呼ぶ。同時露光ラインは時間が進むごとに走査され、一定時間かけて像全体の画像データが取得される。露光・読み出しを開始するタイミングは、撮像素子制御部411によって指示される。同時露光ラインの走査の順序や速度は、設計によってあらかじめ決めることができ、または撮像制御部310によって撮像素子制御部411に対して指示されるようにしてもよい。
【００４０】
なお、イメージセンサはCMOSイメージセンサでなくてもよく、結像された像をライン毎にデジタル信号に変換し、ラインを走査することで像全体の画像データを得ることが可能な構成であれば、どのような構成でもよい。
【００４１】
同時露光ラインの走査の順序は連続的である方が望ましいが、いくつかの不連続点があってもかまわない。また、同時露光ラインは厳密に1ラインである必要は無く、隣接もしくは離間された複数のラインでもかまわない。また、同時露光ラインは線状とみなせるならば厳密に直線でなくてもよい。また、同時露光ライン上での露光・読み出しは厳密に同時である必要は無く、次ラインとの露光・読み出しの時間差相当のずれが、同時露光ライン上の撮像素子間で存在してもかまわない。
【００４２】
以上、撮像部301〜309を図4のみで説明したが、撮像部301〜309の詳細な設計や構成は同一でなくてもよく、それぞれが被写体の像を結像し、画像データを取得する機能を有すれば、どのような構成でもかまわない。
【００４３】
次に、図5を用いて撮像部301〜309の配置例について説明する。
【００４４】
各撮像部301〜309は、その結像光学系の光軸方向を軸に持つ円筒形の筺体に格納され、多視点撮像装置の筺体501上に格子状に配置される。また、各撮像部の結像光学系の光軸は同じ向きになるよう配置されている。図5（a)は多視点撮像装置を正面から見た模式的な図である。図5（b)は、図5（a)における左方から多視点撮像装置を見た模式的な図である。図5（c)は、図5（a)における上方から多視点撮像装置を見た模式的な図である。ここで、各図の関係を明らかにするため、図の中に右手系の座標軸を記した。
【００４５】
なお、本実施形態では撮像部の数を9個としているが、複数視点からの撮像が可能であれば、撮像部の数はいくつであっても構わない。また、図5に示す配置は一例に過ぎず、各視点の配置が設計ないしは計測結果から知ることができるならば、どのような配置でもかまわない。
【００４６】
次に、図6を用いて、以降の説明で用いる視点の配置情報の記述方法について説明する。ここでは各視点の画像を取得する撮像部を、単純な透視投影カメラとして考える。座標系として、撮像部座標系、多視点撮像部座標系、世界座標系を用いて、それらの関係に基づいて視点の配置を表現する。各座標軸の関係は右手系とする。図6において、n番目の撮像部座標系の原点をOn、多視点撮像部座標系の原点をOM、世界座標系の原点をOWとして表している。
【００４７】
多視点撮像部座標系から見たn番目の撮像部座標系の原点の位置を3行1列の行列TMnで表す。また、原点を重ねた状態で3行3列の回転行列RMnにより多視点撮像部座標系の座標軸を回転すると、n番目の撮像部座標系の座標軸に重なるものとする。このとき、ある点のn番目の撮像部座標系で表された位置Xnから、多視点撮像系で表された位置XMへの変換は式1のようになる。XnおよびXMは3行1列の行列であり、1行目がｘ成分、行目がy成分、3行目がz成分を表す。
【００４８】
【数１】
2013120435.tif 000003
【００４９】
世界座標系から多視点撮像部座標系の原点の位置を3行1列の行列TWMで表す。また、原点を重ねた状態で3行3列の回転行列RWMにより世界座標系の座標軸を回転すると、多視点撮像部座標系の座標軸に重なるものとする。このとき、ある点の多視点撮像部座標系で表された位置XMから、世界撮像系で表された位置XWへの変換は式2のようになる。XMおよびXWは3行1列の行列であり、1行目がｘ成分、行目がy成分、3行目がz成分を表す。
【００５０】
【数２】
2013120435.tif 000004
【００５１】
各撮像部は多視点撮像装置に対して固定されており、RMn及びTMnは撮像中に変わらないものとする。また、RMn及びTMnは設計ないしは計測結果から既知であるものとする。
【００５２】
一方、RWM及びTWMは手ぶれなどによって撮像中に変化するものとする。本発明ではRWM及びTWMの撮像中の変化を、動き推定部によって推定する。
【００５３】
なお、ここで示した表現は一例であり、各撮像部と多視点撮像装置の配置についての情報を与えるならば、どのような表現でも構わない。
【００５４】
＜動き推定部の構成＞
次に、図7のブロック図を用いて動き推定部214の構成例を説明する。
【００５５】
多視点画像取得部701は、多視点撮像部213によって撮像された多視点画像を、バス210を介して取得する。
【００５６】
視点配置情報取得部703は、あらかじめ設定されている情報であって、多視点撮像部213を構成する各視点の配置や特性を示す視点配置情報を、バス210を介して取得する。
【００５７】
露光制御情報取得部702は、あらかじめ設定されている情報であって、各撮像部の同時露光ラインの向きや走査順序、走査速度などの露光制御情報を、バス210を介して取得する。
【００５８】
露光時刻算出部705は、詳細は後述するが、画像上の位置を入力として、その位置の画素が露光された時刻を、露光制御情報を用いて算出する。
【００５９】
対応点探索部704は、詳細は後述するが、多視点画像を構成する複数の視点の画像間の対応する点を求める。対応点探索部704は、対応点探索の精度向上と効率化のため、視点配置情報取得部703が取得した視点配置情報と、露光時刻算出部705が算出する露光時刻についての情報を利用する。
【００６０】
なお、これら２つの情報を利用せずに対応点探索を行う構成でも構わない。対応点探索部704は、1組の対応点として、複数の視点の画像上の点を結び付ける。結び付ける点の数は2つ以上、撮像部の数以下ならいくらでも良い。対応点探索部704は、このような対応点を複数組生成して動きパラメータ算出部706に出力する。また、対応点探索部704は対応点を構成する点の座標を露光時刻算出部705に渡し、対応点を構成する点の露光時刻を取得する。露光時刻の情報も対応点情報と結び付けられて、動きパラメータ算出部706に出力される。
【００６１】
動きパラメータ算出部706は、詳細は後述するが、対応点探索部704で生成された対応点情報、視点配置情報取得部703が取得した視点配置情報から、多視点撮像装置の動きを表すパラメータを算出する。算出したパラメータと、算出に用いた対応点情報は、バス210に出力される。
【００６２】
次に、図8を用いて、動き推定処理のフローを説明する。
【００６３】
ステップS801では、多視点画像取得部701が多視点画像として複数の画像を取得する。
【００６４】
次に、ステップS802では、視点配置情報取得部703が、多視点画像それぞれに対応する各視点の配置についての情報を取得する。
【００６５】
ステップS803では、露光制御情報取得部702が、多視点画像を取得した各撮像時の露光制御情報を取得する。
【００６６】
ステップS804では、詳細は後述するが、対応点探索部704と露光時刻算出部705が連携して、ステップS801で取得した複数の画像間における対応点を探索する。
【００６７】
ステップS805では、詳細は後述するが、露光時刻算出部705がステップS804で探索した対応点を構成する各画像上の点の位置が露光された時刻を算出する。
【００６８】
ステップS806では、動きパラメータ算出部706が、ステップS804で取得した対応点情報とステップS806で取得した露光時刻から、多視点画像を取得した多視点撮像装置の撮像中の動きを表すパラメータを推定する。
【００６９】
ステップS807では、動きパラメータ算出部706により算出された動きパラメータが出力される。
【００７０】
＜露光時刻算出方法＞
図9を用いて露光時刻の算出方法について説明する。
【００７１】
図9は、露光時刻の算出の対象となる画像を示す。図9に示す画像上には、時刻算出点pがある。なお、撮像素子の設計と、露光時の撮像素子の制御情報とから、同時露光ラインの法線ベクトルn、同時露光ラインの走査速度ベクトルv、走査開始位置sが設定されており、これらの情報を利用する。ここで、同時露光ラインと走査方向が直交する場合、nとvとの間には式3に示す関係がある。
【００７２】
【数３】
2013120435.tif 000005
【００７３】
また、時刻算出点pが露光された時刻をtとすると、図9から明らかなように式4の関係が成り立つ。
【００７４】
【数４】
2013120435.tif 000006
【００７５】
ここでp、n、s、vは２次元のベクトルである。
【００７６】
式4をtについて解くことで、時刻算出点pの露光時刻が算出できる。
【００７７】
なお、露光制御情報を用いて計算を行わずに、あらかじめ計算しておいた画素位置と露光時刻の対応を用いて、露光時刻を求めても良い。
【００７８】
＜対応点探索部の構成＞
図10のブロック図を用いて対応点探索部704の構成例を説明する。
【００７９】
特徴点抽出部1001は、多視点画像取得部701より入力された各視点の画像に対して、第１の視点における特徴点抽出を行う。特徴点抽出の代表的な手法としてはHarrisコーナー検出などがあげられるが、どのような手法を用いてもかまわない。例えば、特徴点抽出の方法については非特許文献4のChapter 4で詳しく解説されている。対応点探索部704では、1組の対応点として各視点の画像上の点を結び付けるが、特徴点抽出部1001で抽出した特徴点がその候補となる。
【００８０】
エピポーラ線算出部1002は、視点配置情報取得部703より入力された視点の配置情報を用いて、第２の視点に対応する画像上でエピポーラ線を算出する。対応点探索部704は、2視点ごとに点の結び付けを行う。このとき、片方の視点の画像を基準画像とし、もう片方の視点の画像を対応点探索対象画像とする。エピポーラ線算出部1002は、基準画像上のある特徴点の対応点探索画像上でのエピポーラ線を算出する。なお、基準画像上の特徴点の露光時刻と、対応するエピポーラ線上の各点の露光時刻とは、露光時刻算出部705によって算出されている。
【００８１】
許容ずれ量算出部1003は、露光時刻算出部705が算出した露光時刻を用いて、基準画像上の特徴点に対応する対応点探索画像上の点が、どの程度エピポーラ線からずれてもかまわないかという指標となる許容ずれ量を算出する。撮像中に多視点撮像装置が静止していれば、基準画像上の特徴点に対応する対応点探索画像上の点はエピポーラ線上にあるはずだが、多視点撮像装置が動くとずれが生じる。基準画像上の特徴点と対応点探索対象画像上の点とで、露光の時間差が大きければ生じるずれも大きくなるはずであるので、許容ずれ量はこの露光時間差に単調増加な関数として設定する。また、画像上の位置や視点によってもずれやすさは異なるので、対応点探索画像上の点の座標や視点の情報を考慮して算出しても良い。
【００８２】
一例として係数dを用いて式5により算出する例を示す。
【００８３】
【数５】
2013120435.tif 000007
【００８４】
ここでｘnは基準画像上の特徴点の座標であり、ｘ’は対応点探索対象画像上のエピポーラ線上のある点の座標である。t（ｘn)とt（ｘ’)とはそれぞれの露光時刻である。dは対応点探索対象画像上の点が、手ぶれによって単位時間あたりにどの程度動くかという定数である。
【００８５】
探索範囲算出部1004は、許容ずれ量算出部1003が算出した許容ずれ量を用いて、基準画像上の特徴点に対応する点を、対応点探索対象画像上で探索する範囲を算出する。
【００８６】
ここで、探索範囲の設定の概念について、図11を用いて説明する。図11は許容ずれ量が式5を用いて算出され、同時露光ラインとその走査方向が直交する場合の例である。ここで、基準画像上での特徴点の走査方向の座標がｘn、 露光時刻がt（ｘn)であるときに、同じ露光時刻を持つ対応点探索画像上の走査方向の座標がｘ’nであるとする。走査方向の座標がｘ’nであるときには、許容ずれ量が0であるのでエピポーラ線からずれは生じない。走査方向の座標がｘ’ であるエピポーラ線上の点の許容ずれ量は、d|t（ｘn)-t（ｘ’)|となるので、図11に示す円のような探索範囲の広がりを持つことになる。この円をエピポーラ線上に走査し、円内に含まれる領域を探索範囲として設定していくことで、探索範囲を決定することができる。
【００８７】
もし、走査速度が一定であり、許容ずれ量が露光時間差に比例するならば、探索範囲の境界は直線になるので、エピポーラ線上の2点についてのみ露光時刻がわかれば十分である。なお、実際には製造や計測の誤差等によってもエピポーラ線からのずれは生じるので、探索範囲に一定のマージンを設けておく。
【００８８】
対応点候補選択部1005は、基準画像上の特徴点に対応する点の候補として、対応点探索対象画像上の特徴点のうち、探索範囲算出部1004で算出した探索範囲に含まれるものを選択する。
【００８９】
特徴点対応付け部1006は、基準画像上の特徴点と、対応点候補選択部1005が選択した対応点探索対象画像上の対応点候補となる特徴点とを対応付ける。ここでは、対応点候補の特徴点のうち、基準画像上の特徴点と最も一致度の高いものを対応付ける。ここで一致度とは、特徴点近傍の画素を用いて算出した特徴量の距離の事をさす。一致度の算出方法の代表的な例としては、特徴点近傍の画像と対応点候補の特徴点近傍の画像との差分絶対値和などがあげられるが、どのような手法を用いても構わない。特徴量の算出とその距離の算出の方法については非特許文献4のChapter 4で詳しく解説されている。
【００９０】
対応付けされた各特徴点は、露光時刻算出部705にて算出した露光時刻とも対応付けられ、これらは、対応点情報として出力される。
【００９１】
次に、図12を用いて対応点探索処理のフローを説明する。
【００９２】
ステップS1201では対応点探索部704が、多視点画像取得部701から、多視点画像として複数の画像を取得する。
【００９３】
ステップS1202では対応点探索部704が、視点配置情報取得部703より、画像の撮像に用いた複数の視点における配置情報を取得する。
【００９４】
ステップS1203では特徴点抽出部1001が、ステップS1201で取得した画像に対して特徴点抽出を行う。
【００９５】
ステップS1204では特徴点抽出部1001が、ステップS1201で取得した画像から、基準画像を１つ選択する。
【００９６】
ステップS1205では特徴点抽出部1001が、ステップS1201で取得した画像のうちの基準画像以外の画像から、対応点探索対象画像として未処理の画像を１つ選択する。
【００９７】
ステップS1206ではステップS1203で抽出した基準画像上の特徴点から、未処理の特徴点を１つ選択する。
【００９８】
ステップS1207ではエピポーラ線算出部1002が、ステップS1202で取得した視点配置情報を用いて、ステップS1206で選択した特徴点を基準にして、ステップS1205で選択した対応点探索対象画像上でのエピポーラ線を算出する。
【００９９】
ステップS1208では露光時刻算出部が、ステップS1206で選択した特徴点とステップS1007で算出したエピポーラ線上の各点の露光時刻を算出する。
【０１００】
ステップS1209では許容ずれ量算出部1003が、ステップS1208で算出した露光時刻から、ステップS1007で算出したエピポーラ線上の各点の許容ずれ量を算出する。
【０１０１】
ステップS1210では探索範囲算出部1004が、ステップS1209で算出した許容ずれ量とステップS1207で算出したエピポーラ線から、探索範囲を算出する。
【０１０２】
ステップS1211では対応点候補選択部1005が、ステップS1210で算出した探索範囲を用いて、ステップS1203で抽出した対応点探索対象画像の特徴点から対応点候補を選択する。
【０１０３】
ステップS1212では特徴点対応付け部1006が、ステップS1211で選択した対応点候補のうち、ステップS1206で選択した特徴点と最も一致度の高い特徴点を選択して、これら特徴点を対応付ける。
【０１０４】
ステップS1213では露光時刻算出部705がステップS1212で対応付けた2つの特徴点の露光時刻を算出し、特徴点対応付け部1006にて特徴点に対応付けられる。
【０１０５】
ステップS1214では基準画像上の全特徴点を処理したか判定し、未処理の特徴点があるならば、ステップS1206に戻る。
【０１０６】
ステップS1215では基準画像以外の全ての画像を対応点探索対象画像として処理したか判定し、未処理の画像があるならば、ステップS1205に戻る。
【０１０７】
ステップS1216では対応付けた特徴点対応付け部1006が、対応付けた全ての点の座標と露光時刻の組を、対応点情報として出力する。
【０１０８】
なお、本実施形態では点の結び付けを行う2画像の双方に対して特徴点を抽出するものとしたが、片方の画像に対してのみ特徴点を抽出し、ブロックマッチングなど変形・移動のパラメータを最適化するような手法で点の結び付けを行っても良い。また、探索範囲を限定する方法は精度と効率の向上に有効であるが、必ずしも探索範囲を限定する必要はない。また、本実施形態では、複数の視点の画像のうち１つを基準画像とし、基準画像上の特徴点に対して他の視点の画像における対応する点を求めているが、基準画像を変えながら対応付けを行ってもかまわない。また、基準画像と対応点探索対象画像を相互に入れ換えて点の結び付けを行い、整合性を調べる事で精度を上げるような処理を行ってもかまわない。
【０１０９】
＜動きパラメータ算出部の構成＞
次に、動きパラメータ算出の原理について説明する。
【０１１０】
本発明では、異なる2視点の画像間の対応点を複数用いることにより、撮像中の多視点撮像装置の動きを推定する。ここで対応点とは、2つの異なる視点における点の座標であり、露光時刻の情報がそれぞれ対応付けられている。点の座標だけでなく露光時刻も利用する事で、撮像中の動きによる歪みの入った画像からでも動きの推定を可能としたところが、本発明の特徴である。また、本発明では撮像中の多視点撮像装置の動きを時刻の関数として少数のパラメータで表現したことで、有限な数の対応点から、連続的な動きの推定を可能とした。
【０１１１】
k番目の対応点に関連付けられた2つの視点のうち、１つがNk番目の撮像部、もう１つをN’k番目の撮像部に対応するものとする。また、対応点に関連付けられた2つの座標のうち、Nk番目の撮像部で撮像した点の斉次座標をｍk、N’k番目の撮像部で撮像した点の斉次座標をｍ’kとする。また、ｍkに対応する画素の露光時刻をtk、ｍ’kに対応する画素の露光時刻をt’kとする。ｍk、ｍ’kに対応する空間上の点を世界座標で表したものをXkw、Nk番目の撮像部座標系で表したものをXkNk、N’k番目の撮像部座標系で表したものをXkN' kとすると、図6に示す要素を用いて、以下の式6、式7の関係が得られる。
【０１１２】
【数６】
2013120435.tif 000008
【０１１３】
【数７】
2013120435.tif 000009
【０１１４】
RWN'k、RWN'k、TWN'k、TWN'kは多視点撮像装置に対して固定されているので不変である。RWM、TWMは撮像中の多視点撮像装置の動きにより変化するため、時間の関数となっている。
【０１１５】
式6、式7は式8、式9、式10、式11に示すRWNk、RWN'k、TWNk、TWN'kを用いるとで、式12、式13のように表現できる。
【０１１６】
【数８】
2013120435.tif 000010
【０１１７】
【数９】
2013120435.tif 000011
【０１１８】
【数１０】
2013120435.tif 000012
【０１１９】
【数１１】
2013120435.tif 000013
【０１２０】
【数１２】
2013120435.tif 000014
【０１２１】
【数１３】
2013120435.tif 000015
式12、式13より、XkNkからXkN' kへの変換を求めると、式14のようになる。
【０１２２】
【数１４】
2013120435.tif 000016
【０１２３】
さらに式15、式16に示すRN'kNk、TN'kNk を用いて式14を表現すると式17のようになる。
【０１２４】
【数１５】
2013120435.tif 000017
【０１２５】
【数１６】
2013120435.tif 000018
【０１２６】
【数１７】
2013120435.tif 000019
【０１２７】
ここで、Nk番目の撮像部の光学中心であるONk、N’k番目の撮像部の光学中心であるON'k、空間上の点Xkについて考える。N’k番目の撮像部座標系にて、ONkからXkの方向へのベクトル、ON'kからXkの方向へのベクトル、ON'k からONkの方向へのベクトルを表すと、それぞれ、λRN'kNkXkNk、ξXkN'k、ηTN'kNkと書ける。ここで、λ、ξ、ηは適当な係数を表す。３つのベクトルは、同一平面上のベクトルであるので、式18が成り立つ。
【０１２８】
【数１８】
2013120435.tif 000020
【０１２９】
ここで、×はベクトルの外積、・はベクトルの内積を表す。
【０１３０】
Nk番目の撮像部の内部パラメータ行列をANk、N’k番目の撮像部の内部パラメータ行列をAN'kと置くと、XkNkとXkN'kはそれぞれ式19、式20のように表すことができる。
【０１３１】
【数１９】
2013120435.tif 000021
【０１３２】
【数２０】
2013120435.tif 000022
【０１３３】
ここで、λ’、ξ’は適当な係数を表す。式（18) 、式（19) 、式（20)から式（21)が得られる。
【０１３４】
【数２１】
2013120435.tif 000023
【０１３５】
ここで、[  ]×は外積の演算を3×3の歪対称行列で表したものである。式21は一般にエピポーラ拘束と呼ばれるものであり、この式によって時刻tkにおけるNk番目の撮像部と時刻t’kにおけるN’k番目の撮像部の関係についての拘束を得る事ができる。
【０１３６】
撮像部の動きをパラメータで表す方法について説明する。RMNk、RMN'k、TMNk、TMN'k、ANk、AN'kは撮像中も固定されており不変であり、これらは設計値もしくは計測値からあらかじめ算出されているものとする。
【０１３７】
R WM （t)、T WM （t)はそれぞれ３自由度を持つ。1自由度をM個のパラメータで表すならば、R WM （t,p11, p12,…,p1M, p21, p22,…,p2M, p31, p32,…,p3M)、
T WM （t,p41, p42,…,p4M, p51, p52,…,p5M, p61, p62,…,p6M)という表現になる。
【０１３８】
M個のパラメータと時間tを用いてRWM、TWMを表現する例としては、式22、式23、式24のようにRWMを３つの回転角度で表し、TWMの３つの成分とともに、それぞれpnmを係数とするtの多項式で表す方法などがある。なお、時刻t=0のRWM、TWMはどのように置いても良いので、多項式で表す場合は0次の係数は適当な定数にしてしまって良い。
【０１３９】
【数２２】
2013120435.tif 000024
【０１４０】
【数２３】
2013120435.tif 000025
【０１４１】
【数２４】
2013120435.tif 000026
【０１４２】
パラメータの数が6M個ならば、式21のような拘束が6M個以上、つまり対応点が6M組以上あれば、パラメータの算出が可能である。
【０１４３】
式25のように式21からの逸脱を表す誤差関数Ukを定義し、これを全対応点について足し合わせたUを式26のようにおく。Uを最小化するパラメータpestを式27のように求めることで、動きを表すパラメータを算出する。
【０１４４】
【数２５】
2013120435.tif 000027
【０１４５】
【数２６】
2013120435.tif 000028
【０１４６】
【数２７】
2013120435.tif 000029
【０１４７】
式25 、式26、 式27では、全パラメータをベクトルpによって表現している。最小化の方法の例としてはNewton法やLevenburg-Muarqardt法などがあるが、どのような方法を使ってもかまわない。
【０１４８】
対応点探索によって得た対応点には誤対応が含まれる事も多いので、前述の動きパラメータ算出方法に、誤対応を除去する手法を組み合わせることで、精度をより向上させることも可能である。誤対応を除去する手法の例としては、RANSACや最小メディアン法などのロバスト推定があげられるが、どのような方法でもかまわない。
【０１４９】
なお、本実施形態で示した動きの表現方法や誤差の定義は一例に過ぎない。多視点撮像装置の動きを時刻tと有限個のパラメータで表現し、対応点の座標と露光時刻、視点の配置と内部パラメータ、視点間の関係幾何学的拘束を用いてパラメータを算出するならばどのような形態でもかまわない。例えば、回転行列の9成分全てを独立に扱い、別途回転行列が正規直交になるような拘束を加えてもかまわない。
【０１５０】
また、本実施形態では撮像部の光学系の収差を考慮しなかったが、撮像後の画像処理でこれを補正し、露光時刻の算出時に収差の影響を考慮してもよい。また、動きパラメータの算出時に収差の影響を考慮してもよい。
【０１５１】
次に、図13を用いて、動きパラメータ算出部706の構成例を説明する。
【０１５２】
対応点選択部1301は、対応点探索部704によって求められた対応点のうち、動きパラメータの算出に用いるものを選択する。例えば、対応点探索部704の出力が、視点A上の点ｍAと視点B上の点ｍBの対応と、視点A上の点ｍAと視点C上の点ｍCの対応を含む場合、新たに視点B上の点ｍBと視点C上の点ｍCの対応を生成することができる。対応点探索部704はどのような組み合わせをとるか判断しながら、推定に用いる2視点間の点の対応を複数選択する。
【０１５３】
ここで、精度を重視する場合には、対応点の全ての組み合わせを選択の候補とする。一方、処理速度を重視するならば1つの点が少なくとも1組の対応に含まれるような最小数の組み合わせを選択の候補とする。しかしながら、どのような基準で選択の候補を生成してもかまわない。本実施形態ではロバスト推定を行うので、取得・生成した選択の候補となる対応から一定数をランダムに選択する。
【０１５４】
評価式生成部1302は、対応点選択部1301で選択された対応点と、視点配置情報取得部703から得た視点の配置と内部パラメータから、式26に相当する評価式を生成する。
【０１５５】
初期パラメータ生成部1304は、最適化によって動きパラメータを求めるにあたってのパラメータの初期値を生成する。式22、式23、式24のように回転行列の回転角と並進ベクトルの3成分を時刻tの多項式展開で記述するならば、全パラメータの初期値を0にするなどする。
【０１５６】
最適化演算部1303は評価式生成部1302が生成した評価式と、初期パラメータ生成部1304が生成した初期パラメータをもとに式26に相当する最適化を行い、動きパラメータを算出する。
【０１５７】
推定精度評価値算出部1305は、対応点選択部1301で選択した対応点の組に対する推定精度評価値を算出する。用いるロバスト推定がRANSACならば、選択した対応点のうち式25で表される誤差が閾値以下の対応点数を推定精度評価値として算出する。最小メディアン法ならば、対応点の選択候補の誤差を式20により算出し、その中央値を算出する。
【０１５８】
最適パラメータ選択部1306は最適化演算部1303で算出された動きパラメータと推定精度評価値算出部1305で算出された推定精度評価値を保持し、繰り返し推定が行われた後に、推定精度評価値が最良であったときの動きパラメータを出力する。
【０１５９】
次に、図14を用いて動きパラメータ算出処理の流れを説明する。
【０１６０】
ステップS1401では動きパラメータ算出部706が、視点配置情報取得部703より、多視点画像の撮像に用いた複数の視点の配置情報を取得する。
【０１６１】
ステップS1402では動きパラメータ算出部706が、対応点探索部704から対応点情報として、対応点に係る座標と、対応点の露光時刻とを取得する。
【０１６２】
ステップS1403では対応点選択部1301が、ステップS1402で取得した対応点情報に基づいて異なる2視点上における対応点を生成し、そのうちのN組をランダムに選択する。
【０１６３】
ステップS1404では評価式生成部1302が、ステップS1401で取得した視点配置情報と、ステップS1403で選択した対応点から、多視点撮像部の動きを表すパラメータの幾何学的な整合性に対する誤差を求める評価式（式26に相当）を生成する。
【０１６４】
ステップS1405では初期パラメータ生成部1304が、多視点撮像部の動きを表すパラメータに対して式27に相当する最適化を行うにあたっての初期値を生成する。
【０１６５】
ステップS1406では最適化演算部1303が、ステップS1405で生成した初期値を用いて、ステップS1404で生成した評価式を最小化し、そのときの動きパラメータを求める。
【０１６６】
ステップS1407では推定精度評価値算出1305が、ステップS1406で求めた動きパラメータを用いて、ステップS1403で選択したN組の対応点に対する推定精度評価値を算出する。
【０１６７】
ステップS1408では最適パラメータ選択部1306が、ステップS1407で算出した推定精度評価値と、ステップS1406で算出した動きパラメータを保存する。
【０１６８】
ステップS1409ではステップS1403からステップS1408までの処理をM回繰り返したか判定し、繰り返してなければステップS1403に戻る。
【０１６９】
ステップS1410は最適パラメータ選択部1306が、ステップS1408で保存した推定精度評価値を最小とする動きパラメータを選択する。
【０１７０】
ステップS1411では動きパラメータ算出部706が算出した動きパラメータを出力する。
【０１７１】
なお、本実施形態では繰り返しによるロバスト推定を使用するものとしたが、ロバスト推定を行わず１度だけ動きパラメータの算出を行い、これをそのまま出力するような構成、及び処理としてもかまわない。
【０１７２】
＜被写体距離推定部の構成＞
次に、図15のブロック図を用いて被写体距離推定部の構成例を説明する。
【０１７３】
特徴点情報取得部1501は、バス210を介して対応点探索部704により算出された対応点情報を取得する。対応点情報は異なる視点上の点の対応関係とその点の座標、露光時刻の情報を持つ。特徴点情報取得部1501は空間上の同一の点を対応する点を１つのグループにまとめる。例えば、視点A上の点ｍAと視点B上の点ｍBの対応、視点A上の点ｍAと視点C上の点ｍCの対応が入力された場合、ｍA、ｍB、ｍC、を関連付ける。
【０１７４】
動き情報取得部1502は、バス210を介して、動き推定部214により算出された多視点撮像装置の動きを表す動きパラメータを取得する。
【０１７５】
視点配置情報取得部1503は、バス210を介してROM202もしくはRAM203から、あらかじめ既知となっている多視点撮像装置を構成する各視点の配置と内部パラメータの情報を取得する。
【０１７６】
撮像部配置補正部1505は、特徴点情報取得部1501が取得した対応点を構成する各点について、その点を撮像した撮像部がその点が露光された時刻にどのような配置であったかを、動きパラメータと視点配置情報を用いて算出する。
【０１７７】
距離算出部1504は、特徴点情報取得部1501が関連付けた点の組について、その組を構成する点の座標、撮像部配置補正部1505が算出した視点の配置から、関連付けられた点の組に対応する空間上の点の位置を算出する。配置と内部パラメータが既知である2つ以上の撮像部で撮像された点の空間上の位置は、本技術分野において一般的に知られている方法で算出できる（非特許文献4 Chapter7)。算出された点の位置は被写体距離の情報として出力される。
【０１７８】
次に、図16を用いて被写体距離推定処理の流れを説明する。
【０１７９】
ステップS1601では被写体距離推定部215が、対応点情報を取得する。
【０１８０】
ステップS1602では被写体距離推定部215が、視点の配置情報を取得する。
【０１８１】
ステップS1603では被写体距離推定部215が、多視点撮像装置の動きを表すパラメータを取得する。
【０１８２】
ステップS1604では特徴点情報取得部1501が、未処理の対応点を1組選択する。
【０１８３】
ステップS1605では撮像部配置補正部1505が、ステップS1602で取得した視点配置情報とステップS1601で取得した対応点情報に含まれる露光時刻の情報から、対応点を構成する各点が撮像された時点での、視点の配置をそれぞれ算出する。
【０１８４】
ステップS1606では距離算出部1504がステップS1601で取得した対応点情報に含まれる画像上の座標の情報と、ステップS1605で算出した露光時の配置情報から、被写体上の点の位置を推定する。
【０１８５】
ステップS1607では全ての対応点が処理されたか判定し、未処理の対応点が残っていればS1604に戻る。
【０１８６】
ステップS1608では被写体距離推定部215が推定した被写体距離情報を出力する。
【０１８７】
なお、本実施形態では撮像中の多視点撮像装置の動きパラメータを算出する際に求めた対応点情報を用いて、被写体距離情報を算出するものとしたが、算出した動きパラメータと視点配置情報から定まる拘束を用いて、別途対応点探索を行ってもよい。また、動きパラメータと被写体距離情報は別々に推定するものとしたが、被写体上の点の3次元位置をパラメータとし、動きパラメータと合わせてバンドル調整法（非特許文献5)などにより、同時推定してもよい。
【０１８８】
以上、本実施形態によれば、撮像中の多視点撮像装置の動きにより、ローリングシャッター歪みが生じた多視点画像から、撮像中の多視点撮像装置の動きを推定することができる。また、推定した動きを用いて補正を行うことで、高精度に被写体の距離情報を推定することができる。
【０１８９】
（実施形態２）
実施形態１では、ローリングシャッター歪みの影響を補正して、被写体の距離を高精度に推定する。実施形態２では、ローリングシャッター歪みの影響を補正して、画像合成を行う。なお、実施形態１と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
【０１９０】
図17は、本実施形態における画像処理装置の構成を示す図である。実施形態１における画像処理装置との相違点は、被写体距離推定部の代わりに画像合成部1701を設けていることである。画像合成部1701は、多視点撮像部213が取得した多視点画像、動き推定部214が算出した動きパラメータ、あらかじめ既知である視点の配置情報、露光制御情報を用いて、仮想視点画像の合成を行うものである。
【０１９１】
次に、図18を用いて仮想視点画像合成の原理について説明する。動き推定部214が算出した動きパラメータ、あらかじめ既知である視点の配置情報と、露光情報制御情報から定まる画素毎の露光時刻から、ある画素が露光された時点での視点の配置TMn、RMnを求めることができる。画像合成部1701は画素毎に視点の配置を求め、これを空間上に定義された合焦面に投影し、これを補完する事で仮想視点画像の合成を行う。
【０１９２】
次に、図19を用いて画像合成部1701の構成例を説明する。
【０１９３】
合焦距離取得部1901はユーザーが入力した合焦面の位置を取得する。
【０１９４】
多視点画像取得部1902は多視点撮像部213が取得した多視点画像を取得する。
【０１９５】
露光制御情報取得部1903はあらかじめ既知である露光制御情報を取得する。
【０１９６】
動き情報取得部1502 、視点配置情報取得部1503、撮像部配置補正部1505は実施形態１の被写体距離推定部215と同様である。
【０１９７】
露光時刻算出部1904は多視点撮像部213の各画素毎の露光時刻を算出する。
【０１９８】
座標変換部1905は撮像部配置補正部1505が算出した画素毎の撮像部配置と、合焦距離取得部が取得した合焦面の情報から、合焦面上に投影を行う。投影された画素の合焦面上の座標と多視点画像取得部1902から取得した該画素の画素値は画素補間部1906に渡され保存される。投影の方法はどのような方法でもかまわない。
【０１９９】
画素補間部1906は、全画素の投影が終わった段階で、投影された画素群の補間を行い画像を生成する。補間の方法はどのような方法を用いてもかまわない。補間において用いるフィルタの半径が大きければノイズ低減を行うことができ、小さければ解像度を向上させることができる。
【０２００】
次に、図20を用いて画像合成処理の流れを説明する。
【０２０１】
ステップS2001では多視点画像取得部1902が多視点画像として複数の画像を取得する。
【０２０２】
ステップS2002では視点配置情報取得部1503が、多視点画像の撮像に用いられた多視点撮像装置を構成する複数の視点の配置情報を取得する。
【０２０３】
ステップS2003では動き情報取得部1502が、多視点撮像装置の動きを表すパラメータを取得する。
【０２０４】
ステップS2004では露光制御情報取得部1903が、画像の撮像に用いられた多視点撮像装置を構成する複数の撮像部の露光制御情報を取得する。
【０２０５】
ステップS2005では合焦距離取得部1901が、合焦面を表す合焦距離を画像合成のパラメータとして取得する。
【０２０６】
ステップS2006では露光時刻算出部1904がステップS2004で取得した露光制御情報から、多視点画像の画素毎の露光時刻を算出する。
【０２０７】
ステップS2007ではステップS2004で取得した動き情報とステップS2006で算出した露光時刻から、画素毎に撮像された時点での撮像部配置を算出する。
【０２０８】
ステップS2008では座標変換部1905が、ステップS2007で算出された画素毎の視点配置情報と、ステップS2005で取得した合焦距離から、合焦面上に投影を行う座標変換を行う。
【０２０９】
ステップS2009では画素補間部S2006が、投影された画素群の補間を行い画像を生成する。
【０２１０】
ステップS2010では画像合成部1701が画像の出力を行う。
【０２１１】
なお、本実施形態では合焦面上に投影を行い画像を生成するものとしたが、各画素を光線とみなし仮想的な光学系を用いて画像の合成を行ってもよい。
【０２１２】
また、被写体の配置が平面に近い場合（無限遠平面含む)、投影を行う面を被写体が配置されている面とすることで、ノイズ低減や高解像度を行うことができる。画像合成部でそのような処理をおこなってもよい。この場合、動き推定において、多視点撮像装置の三次元的な動きの代わりに、射影変換行列、アフィン変換行列など画像座標の線形変換の時間変化を推定してもよい。
【０２１３】
以上、本実施形態によれば、撮像中の多視点撮像装置の動きにより、ローリングシャッター歪みが生じた多視点画像から、撮像中の多視点撮像装置の動きを推定し、補正を行うことで、高精度に画像合成を行うことができる。
【０２１４】
（実施形態３）
実施形態１乃至実施形態２では、多視点撮像部を構成する各撮像部の光軸が平行であるものとした。しかしながら、同一の構成を持つ撮像部を平行に配置した場合、遠方にある被写体上の点の像は同時刻に露光されることになる。空間上の同一の点の像を同時刻に露光した場合、式21においてt’k=tkとおくと明らかであるように、該空間上の点に対応する対応点から多視点撮像装置の動きに対する拘束を得る事ができない。従って多視点撮像装置の動きの推定精度が低下したり、推定が不可能になったりする問題が生じる。
【０２１５】
そこで、本実施形態では以上の問題を解決するための、多視点撮像部を構成する視点の配置と制御方法について説明する。なお、その他の部分は実施形態１或いは実施形態２と共通するため説明を省略する。
【０２１６】
図21（a)は同一の構成を持つ撮像部を平行に配置した場合に生じる問題を説明する図である。縦軸は遠方にある被写体上の位置であり、横軸は時刻である。細い破線は多視点撮像装置が静止していた場合に、被写体上のある位置に存在する点の像が、いつ露光されるかという関係を表している。
【０２１７】
多視点撮像装置が撮像中に動いた場合、ある時刻に露光される点の位置は、太い破線や二重線のように細い破線からずれる。太い破線と二重線はそれぞれ別の撮像部を表している。太い破線と二重線は常に重なるので、どのように対応点を取得しても多視点撮像装置の動きに関する情報は得ることができない。
【０２１８】
図22（a)は撮像部毎に同時露光ラインとその走査方向を異ならせるという配置方法である。この場合、露光位置と時刻の関係は、図21（b)のように撮像部によって異なるものとなるので、多視点撮像装置の動きに関する情報を得ることができる。なお、同時露光ラインとその走査方向を異ならせるかわりに、撮像部を光軸を軸として回転させてもよい。
【０２１９】
図22（b)は撮像部毎に撮像する向きを異ならせるというものである。この場合、露光位置と時刻の関係は、図21（c)のように撮像部によって異なるものとなるので、多視点撮像装置の動きに関する情報を得ることができる。撮像する向きを異ならせる方法は、撮像部の設置方向を変えても、光学系の光軸に対する撮像素子の位置を撮像素子毎にずらしても良い。
【０２２０】
図22（c)は撮像部毎に画角を異ならせるというものである。この場合、露光位置と時刻の関係は、図21（d)のように撮像部によって視点毎に異なるものとなるので、多視点撮像装置の動きに関する情報を得ることができる。
【０２２１】
また、撮像制御部310が撮像素子制御部411に対して指示する露光開始時刻を、撮像部毎に異ならせても良い。この場合、露光位置と時刻の関係は、図21（e)のように撮像部によって異なるものとなるので、多視点撮像装置の動きに関する情報を得ることができる。
【０２２２】
撮像制御部310が撮像素子制御部411に対して指示する露光順序を、撮像部毎に異ならせても良い。この場合、露光位置と時刻の関係は、図21（f)のように撮像部によって異なるものとなるので、多視点撮像装置の動きに関する情報を得ることができる。
【０２２３】
以上、本実施形態によれば、撮像部毎に配置、構成、制御を異ならせることで、遠方にある被写体からでも、多視点撮像装置の動きについての情報を取得することができる。
【０２２４】
（その他の実施形態）
なお、以上の各実施形態においては、単一の視点を持つ撮像部を複数用いて多視点撮像部を構成する場合について説明した。しかしながら、撮像部が図4に示す単一の撮像素子407を複数の領域に分割し、その分割した領域に対応する光学系を設ける構成を採用してもよい。また、そのような撮像部を複数用いてもよい。
【０２２５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013120435.tif 000030
【図２】
2013120435.tif 000031
【図３】
2013120435.tif 000032
【図４】
2013120435.tif 000033
【図５】
2013120435.tif 000034
【図６】
2013120435.tif 000035
【図７】
2013120435.tif 000036
【図８】
2013120435.tif 000037
【図９】
2013120435.tif 000038
【図１０】
2013120435.tif 000039
【図１１】
2013120435.tif 000040
【図１２】
2013120435.tif 000041
【図１３】
2013120435.tif 000042
【図１４】
2013120435.tif 000043
【図１５】
2013120435.tif 000044
【図１６】
2013120435.tif 000045
【図１７】
2013120435.tif 000046
【図１８】
2013120435.tif 000047
【図１９】
2013120435.tif 000048
【図２０】
2013120435.tif 000049
【図２１】
2013120435.tif 000050
【図２２】
2013120435.tif 000051