(57)【要約】【課題】画像のノイズ分布を考慮した距離測定誤差の低減を可能にする撮像装置等を提供する。【解決手段】撮像装置は、複数の画像のペアとカメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアのそれぞれ画素の位置を特定する情報を含む位置情報を算出し、前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、重み付け加算値を適用した前記計測点の位置情報を出力する。【選択図】図１
2018189636.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する撮像装置であって、
少なくとも３つのカメラを有し、前記カメラそれぞれにより画像を撮影する撮像部と、
前記カメラそれぞれのカメラパラメタを記憶するカメラパラメタ記憶部と、
処理回路とを備え、
前記処理回路は、
前記画像及び前記カメラパラメタを取得し、
前記画像から複数の画像のペアを抽出し、
前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、
前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、
重み付け加算値を適用した前記計測点の位置情報を出力する
撮像装置。
【請求項２】
前記処理回路は、前記重み付け加算値の分散を最小化するように、前記画像のペアそれぞれの前記３次元位置を特定する情報に付与する重みを決定する
請求項１に記載の撮像装置。
【請求項３】
前記少なくとも３つのカメラそれぞれの視野角は、１８０度以上である
請求項１または２に記載の撮像装置。
【請求項４】
前記処理回路は、前記重み付け加算では、前記見込み角対応長の２乗をその総和で正規化したものを用いる
請求項１〜３のいずれか一項に記載の撮像装置。
【請求項５】
前記処理回路は、前記重み付け加算では、前記見込み角の２乗をその総和で正規化したものを用いる
請求項１〜３のいずれか一項に記載の撮像装置。
【請求項６】
前記カメラパラメタは、前記画像における被写体の投影が遮蔽された遮蔽領域及び被写体が投影される非遮蔽領域に関する遮蔽情報を含み、
前記処理回路は、前記画像のうちの第１画像における前記遮蔽領域の画素値を、他の前記画像の前記非遮蔽領域の画素値に基づき、補完する
請求項１〜５のいずれか一項に記載の撮像装置。
【請求項７】
複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する画像処理方法であって、
（ａ１）少なくとも３つのカメラそれぞれにより撮影された画像を取得し、
（ａ２）前記カメラそれぞれのカメラパラメタを取得し、
（ａ３）前記画像から複数の画像のペアを抽出し、
（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、
（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、
（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力し、
処理（ａ１）〜（ａ６）少なくとも１つは、プロセッサにより実行される
画像処理方法。
【請求項８】
重み付け加算値の分散を最小化するように、前記画像のペアそれぞれの前記３次元位置を特定する情報に付与する重みを決定する
請求項７に記載の画像処理方法。
【請求項９】
前記少なくとも３つのカメラそれぞれの視野角は、１８０度以上である
請求項７または８に記載の画像処理方法。
【請求項１０】
前記重み付け加算では、前記見込み角対応長の２乗をその総和で正規化したものを用いる
請求項７〜９のいずれか一項に記載の画像処理方法。
【請求項１１】
前記重み付け加算では、前記見込み角の２乗をその総和で正規化したものを用いる
請求項７〜９のいずれか一項に記載の画像処理方法。
【請求項１２】
請求項７〜１１のいずれか一項に記載の画像処理方法において、
前記カメラパラメタは、前記画像における被写体の投影が遮蔽された遮蔽領域及び被写体が投影される非遮蔽領域に関する遮蔽情報を含み、
前記画像処理方法はさらに、
（ｂ１）前記画像のうちの第１画像における前記遮蔽領域の画素値を、他の前記画像の前記非遮蔽領域の画素値に基づき、補完する
画像処理方法。
【請求項１３】
（ａ１）少なくとも３つのカメラそれぞれにより撮影された画像を取得し、
（ａ２）前記カメラそれぞれのカメラパラメタを取得し、
（ａ３）前記画像から複数の画像のペアを抽出し、
（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、
（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、
（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力すること
を、コンピュータに実行させるプログラム。
【請求項１４】
重み付け加算値の分散を最小化するように、前記画像のペアそれぞれの前記３次元位置を特定する情報に付与する重みを決定する
請求項１３に記載のプログラム。
【請求項１５】
前記重み付け加算では、前記見込み角対応長の２乗をその総和で正規化したものを用いる
請求項１３または１４に記載のプログラム。
【請求項１６】
前記重み付け加算では、前記見込み角の２乗をその総和で正規化したものを用いる
請求項１３または１４に記載のプログラム。
【請求項１７】
請求項１３〜１６のいずれか一項に記載のプログラムにおいて、
前記カメラパラメタは、前記画像における被写体の投影が遮蔽された遮蔽領域及び被写体が投影される非遮蔽領域に関する遮蔽情報を含み、
前記プログラムはさらに、
（ｂ１）前記画像のうちの第１画像における前記遮蔽領域の画素値を、他の前記画像の前記非遮蔽領域の画素値に基づき、補完させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
例えば、特許文献１及び２に開示されるように、魚眼レンズを備えた撮像装置を用いて、目標物を測位する技術が知られている。魚眼レンズを用いた測位では、広い範囲の測距が行えるというメリットがある。一方、魚眼レンズの視野角は概略１８０度ないしそれ以上と広いため、カメラの視野に他のカメラが入る可能性がある。より厳密には、カメラの視野に他のカメラのレンズ中心、もしくは光学中心が入る可能性がある。このレンズ中心ないし光学中心は、ステレオ測距におけるエピ極と呼ばれる点である。着目カメラから見てエピ極を通る線上では、視差が距離よらず一定となり、ステレオ測距が行えない。また、エピ極と完全に一致しない場合であっても、エピ極に近い方向については、距離の変化に対する視差の変化が少なくなり、測距精度が低下する。
【０００３】
２つの撮像装置を備える２眼の魚眼カメラの場合、上記エピ極ではステレオ測距が行えない。しかしながら、３つ以上の撮像装置を備える３眼以上の魚眼カメラの場合には、それぞれがカメラのペアで構成される複数のステレオペアを選択できるため、あるステレオペアではエピ極のためにステレオ測距が行えない場合にも、別のステレオペアではステレオ測距を行える。例えば、ステレオ測距を行うカメラのペアの組み合わせは、３眼の場合に３Ｃ２＝３通りあり、４眼の場合には４Ｃ２＝６通りある。これらのうち、着目カメラを基準にしてこれを含むカメラペアの組み合わせを考えると、３眼の場合２通り、４眼の場合３通りとなる。複数のステレオ測距を行うと、基準カメラは同じであっても他方のカメラが異なるため、その結果としてそれぞれのエピ極が異なる。そのため、１つのカメラペアのステレオ測距でエピ極のためにステレオ測距が行えない計測点、及び、エピ極に近いために測距精度が得にくい計測点についても、他のカメラペアのステレオ測距によって、計測点の３次元位置を取得することができる。
【０００４】
以上のような複眼魚眼カメラにおける複数のステレオ測距値に対し、もっとも高精度な測距値の選択又は複数の測距値の統合よって、高精度な測距値を得ることが可能である。このような測距値を得る方法について、特許文献１では、個々のカメラの光軸を平行に配置し、エピ極で視差がゼロになるようにしたうえで、視差の大きさに基づいて重みづけ加算を行い、目標点の３次元位置情報を計算している。また、特許文献２では、視線方向の奥行きの逆数を重み付け加算し、この重み付け加算値の逆数として視線方向の奥行きを計算している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−１３３６９１号公報
【特許文献２】特許第５０１１５２８号公報
【非特許文献】
【０００６】
【非特許文献１】C. Zach、T. Pock及びH. Bischof、「A duality based approach for realtime TV-L1 optical flow」、In Proceedings of the 29th DAGM conference on Pattern recognition、2007年、p214-223
【非特許文献２】M. Werlberger、T. Pock及びH. Bischof、「Motion estimation with nonlocal total variation regularization」、IEEE Conference on Computer Vision and Pattern Recognition（CVPR）、2010年6月13−18日、p.2464-2471
【非特許文献３】松山隆司、ほか編、「コンピュータビジョン」、株式会社新技術コミュニケーションズ、ｐ１２３〜１３７
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１及び２に記載されるような従来の構成は、距離測定誤差を定性的に減少させるものの、距離測定誤差の原因となる画像のノイズ成分の分散等の統計量については考慮されていないため、重み付け加算によって確率統計的に距離測定誤差を最小化することができないという課題を有していた。
【０００８】
本開示は、画像のノイズ分布を考慮した距離測定誤差の低減を可能にする撮像装置、画像処理方法及びプログラムを提供する。
【課題を解決するための手段】
【０００９】
本開示の一態様に係る撮像装置は、複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する撮像装置であって、少なくとも３つのカメラを有し、前記カメラそれぞれにより画像を撮影する撮像部と、前記カメラそれぞれのカメラパラメタを記憶するカメラパラメタ記憶部と、処理回路とを備え、前記処理回路は、前記画像及び前記カメラパラメタを取得し、前記画像から複数の画像のペアを抽出し、前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、重み付け加算値を適用した前記計測点の位置情報を出力する。
【００１０】
本開示の一態様に係る画像処理方法は、複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する画像処理方法であって、（ａ１）少なくとも３つのカメラそれぞれにより撮影された像を取得し、（ａ２）前記カメラそれぞれのカメラパラメタを取得し、（ａ３）前記画像から複数の画像のペアを抽出し、（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力し、処理（ａ１）〜（ａ６）少なくとも１つは、プロセッサにより実行される。
【００１１】
本開示の一態様に係るプログラムは、（ａ１）少なくとも３つのカメラそれぞれにより撮影された画像を取得し、（ａ２）前記カメラそれぞれのカメラパラメタを取得し、（ａ３）前記画像から複数の画像のペアを抽出し、（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力することを、コンピュータに実行させる。
【００１２】
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。
【発明の効果】
【００１３】
本開示の技術によれば、画像のノイズ分布を考慮した距離測定誤差の低減が可能になる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
【図面の簡単な説明】
【００１４】
【図１】実施の形態に係る撮像装置の構成を示すブロック図
【図２Ａ】実施の形態に係る撮像部の一例の構成を示す模式図
【図２Ｂ】実施の形態に係る撮像部の別の一例の構成を示す模式図
【図３】実施の形態に係る撮像部における画像中の位置による被写体像の形、大きさ及び向きの違いの例を示す模式図
【図４】従来の技術の撮像装置の構成例を示す模式図
【図５】実施の形態に係る撮像装置の変形例の構成を示すブロック図
【図６】コンピュータによって構成した画像処理部を備えた実施の形態に係る撮像装置の構成を示すブロック図
【図７】実施の形態に係る撮像装置の画像処理部の動作の流れの一例を示すフローチャート
【図８Ａ】実施の形態に係る撮像装置の設置の例を示す模式図
【図８Ｂ】図８Ａの撮像装置による撮像状況の例を示す模式図
【図９Ａ】実施の形態に係る撮像装置の例を示す模式図
【図９Ｂ】図９Ａの撮像装置による撮像画像の例を示す模式図
【図１０】実施の形態に係る撮像部のカメラ画像における遮蔽情報の例を示す模式図
【図１１】実施の形態に係る撮像部の画像ペアにおける遮蔽領域の例を示す模式図
【図１２】４眼カメラと計測点との位置関係を示す説明図
【図１３】三角測量と見込み角対応長との関係を示す説明図
【図１４】見込み角対応長と測距誤差の分散との関係を示す図
【図１５】４眼カメラにより撮影された４眼画像の一例を示す図
【図１６】評価画像の一例を示す図
【図１７】測距誤差である相対ＲＭＳ誤差の評価領域を説明する図
【図１８】測距誤差である相対ＲＭＳ誤差の比較図
【図１９】カメラの座標系とカメラの外部パラメタの例の図
【図２０Ａ】実施の形態に係る補完画像の例を示す模式図
【図２０Ｂ】実施の形態に係る選択位置統合情報の例を示す模式図
【図２１】実施の形態に係る障害物検出部から出力される合成画像の例を示す模式図
【発明を実施するための形態】
【００１５】
本発明者らは、２つのカメラからなるステレオカメラで撮影された２つの画像を用いたステレオ測距における測距精度の向上を検討してきた。そして、本発明者らは、「背景技術」で挙げた特許文献１及び２に記載される技術について、ステレオ測距での距離測定誤差を検討した。特許文献１及び２に記載される技術は、距離測定誤差を定性的に減少させるものの、距離測定誤差の原因となるカメラ画像のノイズ成分の影響を考慮していない。そこで、本発明者らは、カメラ画像のノイズ成分の影響を考慮することによる測距精度の改善を検討した。そして、本発明者らは、ステレオ測距での距離測定処理において、カメラ画像のノイズ成分の分散等の統計量を用いて距離測定結果を重み付けすることによって、確率統計的に距離測定誤差を低減することが可能であることを見出した。そこで、本発明者らは、測距精度の改善のために、以下に記載されるような技術を見出した。
【００１６】
具体的には、本開示の一態様に係る撮像装置は、複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する撮像装置であって、少なくとも３つのカメラを有し、前記カメラそれぞれにより画像を撮影する撮像部と、前記カメラそれぞれのカメラパラメタを記憶するカメラパラメタ記憶部と、処理回路とを備え、前記処理回路は、前記画像及び前記カメラパラメタを取得し、前記画像から複数の画像のペアを抽出し、前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、重み付け加算値を適用した前記計測点の位置情報を出力する。
【００１７】
上記態様において、カメラのペアの見込み角対応長及び見込角が小さくなるほど、ステレオ視の測距精度が低下する。また、見込み角対応長及び見込角は、カメラのペアの視野の中央よりも端の位置に対するステレオ視の際、小さくなる。このような見込み角対応長及び見込角を用いた３次元位置を特定する情報の重み付け加算値は、３次元位置に起因する測距精度のばらつきの影響を低減した値となり得る。カメラ画像のノイズ分布による距離測定誤差への影響は、距離測定誤差の分散に反映され得る。さらに、距離測定誤差の分散は、見込み角対応長及び見込角と対応付けられ得る。このような見込み角対応長又は見込角を用いた３次元位置を特定する情報の重み付け加算値は、カメラの画像のノイズ成分の分布に起因する測距精度のばらつきの影響も低減する。よって、距離測定誤差の低減が可能になる。
【００１８】
また、本開示の一態様に係る撮像装置において、前記処理回路は、前記重み付け加算値の分散を最小化するように、前記画像のペアそれぞれの前記３次元位置を特定する情報に付与する重みを決定してもよい。上記態様によれば、重み付け加算値の分散を最小化することによって、重み付け加算値は、カメラの画像のノイズ分布に起因する測距精度のばらつきの影響を、確率統計的に低減することができる。よって、安定した距離測定誤差の低減が可能になる。
【００１９】
また、本開示の一態様に係る撮像装置において、前記少なくとも３つのカメラそれぞれの視野角は、１８０度以上であってもよい。上記態様によれば、撮像装置は、広範囲な撮像が可能である。
【００２０】
また、本開示の一態様に係る撮像装置において、前記処理回路は、前記重み付け加算では、前記見込み角対応長の２乗をその総和で正規化したものを用いてもよい。上記態様において、見込み角対応長の２乗は、距離測定誤差の分散と反比例関係にあり、距離測定誤差と高い相関を有する。さらに、正規化された見込み角対応長の２乗は、０〜１の間の値をとり、且つその総和が１である。よって、正規化された見込み角対応長の２乗は、見込み角対応長の２乗の総和に依存せず、重みとして効果的に機能する。
【００２１】
また、本開示の一態様に係る撮像装置において、前記処理回路は、前記重み付け加算では、前記見込み角の２乗をその総和で正規化したものを用いてもよい。上記態様において、見込み角の２乗は、距離測定誤差の分散と反比例関係にあり、距離測定誤差と高い相関を有する。さらに、正規化された見込み角の２乗は、０〜１の間の値をとり、且つその総和が１である。よって、正規化された見込み角の２乗は、見込み角の２乗の総和に依存せず、重みとして効果的に機能する。
【００２２】
また、本開示の一態様に係る撮像装置において、前記カメラパラメタは、前記画像における被写体の投影が遮蔽された遮蔽領域及び被写体が投影される非遮蔽領域に関する遮蔽情報を含み、前記処理回路は、前記画像のうちの第１画像における前記遮蔽領域の画素値を、他の前記画像の前記非遮蔽領域の画素値に基づき、補完してもよい。上記態様によれば、カメラの視野全体にわたって被写体が映し出されることが可能になる。例えば、撮像装置が、周囲の監視などに用いられる場合、周囲全体にわたる漏れのない監視を行うことができる。
【００２３】
本開示の一態様に係る画像処理方法は、複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する画像処理方法であって、（ａ１）少なくとも３つのカメラそれぞれにより撮影された画像を取得し、（ａ２）前記カメラそれぞれのカメラパラメタを取得し、（ａ３）前記画像から複数の画像のペアを抽出し、（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力し、処理（ａ１）〜（ａ６）少なくとも１つは、プロセッサにより実行される。上記態様によれば、本開示の一態様に係る撮像装置と同様の効果が得られる。
【００２４】
また、本開示の一態様に係る画像処理方法は、重み付け加算値の分散を最小化するように、前記画像のペアそれぞれの前記３次元位置を特定する情報に付与する重みを決定してもよい。
【００２５】
また、本開示の一態様に係る画像処理方法において、前記少なくとも３つのカメラそれぞれの視野角は、１８０度以上であってもよい。
【００２６】
また、本開示の一態様に係る画像処理方法は、前記重み付け加算では、前記見込み角対応長の２乗をその総和で正規化したものを用いてもよい。
【００２７】
また、本開示の一態様に係る画像処理方法は、前記重み付け加算では、前記見込み角の２乗をその総和で正規化したものを用いてもよい。
【００２８】
また、本開示の一態様に係る画像処理方法において、前記カメラパラメタは、前記画像における被写体の投影が遮蔽された遮蔽領域及び被写体が投影される非遮蔽領域に関する遮蔽情報を含み、前記画像処理方法はさらに、（ｂ１）前記画像のうちの第１画像における前記遮蔽領域の画素値を、他の前記画像の前記非遮蔽領域の画素値に基づき、補完してもよい。
【００２９】
本開示の一態様に係るプログラムは、（ａ１）少なくとも３つのカメラそれぞれにより撮影された画像を取得し、（ａ２）前記カメラそれぞれのカメラパラメタを取得し、（ａ３）前記画像から複数の画像のペアを抽出し、（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力することを、コンピュータに実行させる。上記態様によれば、本開示の一態様に係る撮像装置と同様の効果が得られる。
【００３０】
また、本開示の一態様に係るプログラムは、重み付け加算値の分散を最小化するように、前記画像のペアそれぞれの前記３次元位置を特定する情報に付与する重みを決定してもよい。
【００３１】
また、本開示の一態様に係るプログラムは、前記重み付け加算では、前記見込み角対応長の２乗をその総和で正規化したものを用いてもよい。
【００３２】
また、本開示の一態様に係るプログラムは、前記重み付け加算では、前記見込み角の２乗をその総和で正規化したものを用いてもよい。
【００３３】
また、本開示の一態様に係るプログラムにおいて、前記カメラパラメタは、前記画像における被写体の投影が遮蔽された遮蔽領域及び被写体が投影される非遮蔽領域に関する遮蔽情報を含み、前記プログラムはさらに、（ｂ１）前記画像のうちの第１画像における前記遮蔽領域の画素値を、他の前記画像の前記非遮蔽領域の画素値に基づき、補完させてもよい。
【００３４】
なお、上記の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。
【００３５】
以下、実施の形態に係る撮像装置等を、図面を参照しながら説明する。なお、以下で説明される実施の形態は、包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、並びにステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。
【００３６】
［実施の形態］
以下において、実施の形態に係る撮像装置１を説明する。本実施の形態では、撮像装置１が、自動車の車載用として用いられ、障害物を検知するように構成された例を説明する。なお、撮像装置１は、車載される場合、自動車の周囲の監視、自動車の運転支援等の用途で用いられてもよい。また、撮像装置１は、いかなる対象物に搭載されてもよい。例えば、撮像装置１は、自動車以外の車両、船舶、飛行体又はロボット等の移動体に搭載されてもよい。自動車以外の車両は、トラック、バス、二輪車、搬送車、鉄道、建設機械、荷役機械等であってもよい。飛行体は、航空機、ドローン等であってもよい。
【００３７】
図１並びに図２Ａ及び図２Ｂを参照して、撮像装置１の構成を説明する。なお、図１は、実施の形態に係る撮像装置１の機能的な構成の一例を示す。図２Ａ及び図２Ｂはそれぞれ、撮像装置１が備える撮像部１００の異なる２つの構造例示す。図１に示されるように、撮像装置１は、撮像部１００と、画像処理部１１０と、障害物検出部１２０と、ディスプレイ１３０とを備える。
【００３８】
撮像部１００は、３つ以上のカメラを備えている。３つ以上のカメラのそれぞれは魚眼レンズを有する。限定するものではないが、本実施の形態では、撮像部１００は、４つのカメラ１０１ａ、１０１ｂ、１０１ｃ及び１０１ｄを備える。４つのカメラ１０１ａ、１０１ｂ、１０１ｃ及び１０１ｄは、一体化されてもよく、分離して配置されてもよい。画像処理部１１０は、カメラ１０１ａ、１０１ｂ、１０１ｃ及び１０１ｄのそれぞれが撮影した画像を取得し、処理する。画像処理部１１０は、位置算出部１１１と、位置選択統合部１１２と、画像補完部１１３と、カメラパラメタ記憶部１１４とを備える。なお、４つのカメラを区別するために添え字ａ〜ｄを用いるが、以下では、これらを特に区別しない場合には、添え字を利用せず「カメラ１０１」と記述する場合がある。
【００３９】
図２Ａ及び図２Ｂを参照すると、撮像装置１の撮像部１００の構成例が示されている。図２Ａは、４つのカメラ１０１が一体として固定された構成の撮像部１００の例を示す。図２Ａにおいて、撮像部１００は、（ａ）の正面図、（ｂ）の側面図、及び、（ｃ）の断面図で示されている。上記断面図は、撮像部１００の２つのカメラ１０１の２つのレンズの中心を通る断面で、撮像部１００を切断した図である。図２Ａにおいて、４つのカメラ１０１は、それぞれのレンズの中心が正方形の頂点に位置するように配置されている。図２Ｂは、３つのカメラ１０１が一体として固定された構成の撮像部１００の別の例を示す。図２Ｂにおいて、撮像部１００は、（ａ）の正面図、及び、（ｂ）の側面図で示されている。図２Ｂにおいて、３つのカメラ１０１は、それぞれのレンズの中心が正三角形の頂点に位置するように配置されている。
【００４０】
図２Ａにおける撮像部１００の例では、各カメラ１０１のレンズは、魚眼レンズであり、その直径は概ね同じである。図２Ａにおける４つのカメラ１０１のそれぞれの光軸は互いに平行であり、且つ、隣り合う２つのレンズと近接して配置されている。したがって、隣接する２つのカメラの光軸間の距離、つまりレンズの中心間の距離は、レンズの直径に概ね一致する。各カメラ１０１の視野は、隣り合うカメラ１０１の視野と重なる。
【００４１】
図２Ｂにおける撮像部１００の例では、各カメラ１０１のレンズは、魚眼レンズであり、その直径は概ね同じである。図２Ｂにおける３つのカメラ１０１のそれぞれの光軸は互いに平行であり、且つ、隣り合う２つのレンズと近接して配置されている。したがって、隣接する２つのカメラの光軸間の距離、つまりレンズの中心間の距離は、レンズの直径に概ね一致する。各カメラ１０１の視野は、隣り合うカメラ１０１の視野と重なる。なお、本実施の形態では、撮像部１００は、図２Ａに示す例の構成を有する。
【００４２】
また、図２Ａ及び図２Ｂに示されるように、隣接するカメラ１０１の光軸間の距離は基線長と呼ばれ、撮像部１００において、各カメラ１０１の光軸上に撮像素子が設けられている。撮像素子は、カメラ１０１のレンズを通って入射する光を受光して、受光した光から像を形成する構成を有するものであればよく、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサであってもよい。
【００４３】
なお、上述の撮像装置１は、少なくとも撮像部１００及び画像処理部１１０を含む構成であってもよい。障害物検出部１２０及びディスプレイ１３０は、撮像装置１の外部に設けられた機器に含まれもよい。外部に設けられた機器は、例えばＰＣ（パーソナルコンピュータ）とそのディスプレイとを含み、これらを用いて障害物検出部１２０及びディスプレイ１３０を実現してもよい。画像処理部１１０と障害物検出部１２０とは、有線通信を介して接続されていてもよいし、無線通信を介して接続されていてもよい。また、画像処理部１１０及び障害物検出部１２０は、１対１で直接的に接続されていてもよいし、インターネット等の通信ネットワークを介して間接的に接続されていてもよい。
【００４４】
上述した撮像部１００におけるカメラ１０１の構成は、本発明者らの以下の知見に基づいている。具体的には、ステレオ視（Stereo vision）における、３次元位置の推定誤差の原因の１つとして、視差推定における量子化誤差がある。量子化誤差とは、実際には実数値である視差を、１画素精度で推定することにより生じる誤差である。この量子化誤差の大きさは一定と考えることができるため、視差が大きいほど、つまり、視差ベクトルの長さが長いほど、量子化誤差の影響は低くなり、３次元位置の精度は高くなる。そのため、ステレオ視のペアとなる複数のカメラは、視差が大きくなるよう、カメラ間の距離である基線長が十分な長さになるように配置するのが一般的である。
【００４５】
ここで、「視差」とは、２つの異なる点Ａ及び点Ｂ、例えば、２つの異なる位置にあるカメラ、から同一の対象点Ｏを観察した場合、同一の対象点の方向又は位置の差である。視差は、例えば、点Ａ及び対象点Ｏを含む線分と点Ｂ及び対象点Ｏを含む線分とがなす角度（∠ＡＯＢ）で表現してもよい。本明細書においては、３次元空間での対象点の方向の差も、２次元投影像での対象点の位置の差も、区別せず視差と呼ぶ。
【００４６】
一方、魚眼レンズを有するカメラで撮影した被写体像は、大きく歪むため、視野内での被写体の３次元位置によって、言い換えると、画像中の被写体の位置によって、被写体像の形、及び／又は、大きさ、及び／又は向きが異なる。魚眼レンズを有するあるカメラＣＣＤが被写体を撮影した画像ＩＩＤと、魚眼レンズを有する他のカメラＣＣＥが被写体を撮影した画像ＩＩＥとをステレオ視に用いる場合、カメラＣＣＤ及びＣＣＥの間の被写体に対する視差が大きいほど、画像ＩＩＤにおける被写体像の形と画像ＩＩＥにおける被写体像の形とが異なる度合が増し、画像ＩＩＤにおける被写体像の大きさと画像ＩＩＥにおける被写体像の大きさとが異なる度合が増し、画像ＩＩＤにおける被写体像の向きと画像ＩＩＥにおける被写体像の向きとが異なる度合が増す。そのため、画像ＩＩＤにおける被写体位置と画像ＩＩＥにおける被写体位置との間の視差推定が困難になる。
【００４７】
このような例として、図３には、被写体とカメラとの距離を一定（距離１ｍ）とした状態で、カメラの向きを０度、４５度、９０度に変更して撮影した被写体像の例が示されている。なお、カメラの向き０度は、カメラの光軸が被写体に向いている場合のカメラの向きである。図３によれば、画像中の位置の違いにより、被写体像の見え方、つまり、被写体像の形、大きさ又は向きが違っていることが分かる。これは、魚眼レンズによる歪み方が被写体及びカメラを含む直線と光軸とがなす角度によって異なるためである。図３のカメラの向き０度（被写体及びカメラを含む直線と光軸とがなす角度が０度）の画像と、図３のカメラの向き９０度（被写体及びカメラを含む直線と光軸とがなす角度が９０度）の画像との間では、視差推定が困難であることが類推できる。このような２つの画像中の被写体像の形、大きさ及び向きの違いは、カメラ間の基線長が長いほど、及び、被写体と撮像装置との距離が近いほど顕著になる。そのため、特に被写体と撮像装置との距離を一定以上に保てない場合、基線長を短くとることでこの影響を低減することができる。
【００４８】
そこで本実施の形態では、被写体が撮像装置１の近くにある場合であっても、複数の魚眼カメラ間の視差が大きくなり過ぎないようにするために、図２Ａ及び図２Ｂに示されるように、複数の魚眼レンズを有するカメラ１０１の光軸が互いに平行で、且つ、複数の魚眼レンズを近接して配置した撮像部１００を用いる。これにより、推定した視差の誤差を低減できるという効果が期待できる。さらに、実数精度の視差推定手法を用いることで、視差推定における量子化誤差の問題が低減するという効果も期待できる。
【００４９】
しかしながら、視野角が１８０度ある魚眼レンズを有するカメラを複数個、例えば、第１カメラと第２カメラとを、近接して配置すると、第１カメラのレンズ又は本体が、第２カメラで撮像した画像に映り込む。つまり、第１カメラがなければ第２カメラが撮像できる第１カメラの背部の被写体は、第２カメラに対して第１カメラのレンズ又は本体で遮蔽されるので、第２カメラで撮像した画像に含まれないという別の問題が発生する。例えば、図４に示されるような３つ以上の魚眼カメラＣ１〜Ｃ３を用いる従来の撮像装置では、２つのカメラ間、例えば、魚眼カメラＣ１と魚眼カメラＣ２との基線長が長いため、魚眼カメラＣ２のレンズ又は本体が魚眼カメラＣ１の視野に映り込む場合であっても、魚眼カメラＣ２のレンズ又は本体が魚眼カメラＣ１の視野に映り込む領域が魚眼カメラＣ１の視野に占める割合は小さい。これに対し、図２Ａ及び図２Ｂのように複数のカメラ１０１を近接させると、複数のカメラ１０１に含まれるあるカメラ、例えばカメラ１０１ａの視野において、複数のカメラ１０１に含まれる他のカメラ、例えばカメラ１０１ｂのレンズによって遮蔽される領域が広くなる。さらに、被写体上の点の３次元位置の算出には、２つのカメラがそれぞれ撮像した画像を用いるため、被写体上の点がカメラ１０１ａの視野において遮蔽される領域とカメラ１０１ｂの視野において遮蔽される領域との少なくとも一方に含まれると、カメラ１０１ａが撮像した画像とカメラ１０１ｂが撮像した画像とを用いて、その被写体上の点の３次元位置を算出できない。つまり、カメラ１０１ａで撮像した画像において３次元位置を算出できない領域は、被写体に含まれる領域であってカメラ１０１ａの視野において遮蔽される領域と、被写体に含まれる領域であってカメラ１０１ｂの視野において遮蔽される領域とをあわせた領域になる。
【００５０】
上記問題に対し、本発明者らは、魚眼レンズを有するカメラを含む撮像装置であって、魚眼レンズを有するカメラが被写体を撮像した画像に含まれる撮像装置の部分が撮像された領域である遮蔽領域を、撮像装置の部分がなければ魚眼レンズを有するカメラが本来撮像した「被写体の部分」の画像を生成し、生成した画像で遮蔽領域を補い、生成した画像に対応する「被写体の部分」の３次元位置を、算出する技術を完成させるに至った。これにより、遮蔽のない画像と当該画像に対応する３次元位置とを取得することができる。なお、画像中の遮蔽領域の情報は、複数のレンズの物理的な配置関係、及び各レンズの仕様に基づいて、事前に取得しておくことができる。
【００５１】
なお、本明細書では、魚眼レンズの視野角は、概ね１８０度、又はそれ以上であるとしており、これらを「概ね１８０度以上」と記述している。概ね１８０度は、１８０度以下の角度、例えば１６０度から１８０度の角度を含む。また、１８０度以上とは、例えば１８０度以上２３０度以下の角度を含む。
【００５２】
図１を参照すると、撮像装置１は、撮像部１００で各カメラ１０１の視野に含まれる画像を撮影し、画像処理部１１０で撮影した画像における遮蔽領域を補った画像と、当該画像内の被写体の３次元位置とを生成する。障害物検出部１２０は、撮像部１００の視野内の画像と当該画像内の被写体の３次元位置とに基づいて合成画像を生成し、ディスプレイ１３０に表示する。
【００５３】
撮像部１００は、４つのカメラ１０１ａ〜１０１ｄを含み、４つのカメラ１０１ａ〜１０１ｄの各々は視野角が概ね１８０度の魚眼レンズを有する。４つのカメラ１０１ａ〜１０１ｄは、図２Ａのように配置される。４つのカメラ１０１ａ〜１０１ｄの各々は、視野内の画像を撮影して画像を出力する（以降、この画像をカメラ画像とも呼ぶ）。すなわち、４つのカメラ１０１ａ〜１０１ｄは４つのカメラ画像（つまり、画像データ）を出力する。隣り合う２つのカメラ１０１の光軸間の距離は、２つのカメラ１０１のレンズ直径の和より小さいようにしてもよい。一般的に、２つのカメラの光軸間の距離が小さくなるに従い、一方のカメラのカメラ画像に他方のカメラのレンズがより広く映るので、一方のカメラのカメラ画像に他方のカメラの背部にある物体がより広く遮蔽される。一般的に、２つのカメラのレンズの直径が大きくなるに従い、一方のカメラのカメラ画像に他方のカメラのレンズがより広く映るので、一方のカメラのカメラ画像に他方のカメラの背部にある物体がより広く遮蔽される。
【００５４】
本開示の技術では、２つのカメラの光軸間の距離が、２つのカメラ１０１のレンズの直径の和よりも小さくても、一方のカメラのカメラ画像に他方のカメラの背部にある物体が遮蔽されていない画像と当該物体の３次元位置とを取得することができる。
【００５５】
隣り合う２つのカメラ１０１の光軸間の距離は、２つのカメラ１０１のレンズ直径の平均と概ね同じであるとしてもよい。一般的に、２つのカメラの光軸間の距離が小さくなるほど、一方のカメラのカメラ画像に他方のカメラがより広く映り、一方のカメラのカメラ画像において他方のカメラの背部にある物体が遮蔽される領域が増える。２つのカメラを最も近づけた場合、すなわち、２つのカメラのレンズが接した場合、２つのカメラの光軸間の距離は２つのカメラのレンズ直径の平均と概ね同じになる。この時、一方のカメラのカメラ画像において、他のカメラの背部にある物体が遮蔽される領域と、他方のカメラのカメラ画像において、一方のカメラの背部にある物体が遮蔽される領域との和が最大になる。すなわち、一方のカメラのカメラ画像及び他方のカメラのカメラ画像のそれぞれにおいて、３次元位置を取得できない領域が最大になる。
【００５６】
一方、本開示の技術では、２つのカメラの光軸間の距離は２つのカメラのレンズ直径の平均と概ね同じであっても、一方のカメラのカメラ画像において、他のカメラの背部にある物体が遮蔽される領域がない画像と当該物体の３次元位置とを取得することができる。言い換えると、２つのカメラの光軸間の距離が２つのカメラのレンズ直径の平均と概ね同じとき、本開示の技術の効果が最も高くなる。
【００５７】
図１に示すように、画像処理部１１０は、位置算出部１１１、位置選択統合部１１２、画像補完部１１３及びカメラパラメタ記憶部１１４を含む。カメラパラメタ記憶部１１４は、４つのカメラ１０１の各々についてカメラパラメタを予め記憶する。カメラパラメタは外部パラメタ、内部パラメタ、及び遮蔽情報を含む。外部パラメタは、カメラの位置及び向きなどの、カメラの物理的な配置に関する情報を含む。内部パラメタは、レンズの歪及び焦点距離などの、カメラの特性に関する情報を含む。遮蔽情報は、カメラ画像において、被写体の部分が撮像された領域ではなく撮像装置１の部分が撮像された領域を示す情報を含む。すなわち、遮蔽情報は、カメラの視野の一部が撮像装置１の部分によって遮蔽された結果、当該カメラのカメラ画像において、被写体の部分の画像がない領域を示す情報を含む。例えば、遮蔽情報は、各カメラ１０１で撮影した場合の各カメラ１０１のカメラ画像に含まれる遮蔽領域を示す情報を含む。遮蔽情報は、各カメラ１０１のカメラ画像において、撮像装置１に含まれる部分を撮像した画素値を有する画素を特定する情報であってもよい。
【００５８】
位置算出部１１１は、４つのカメラ１０１から出力された４つのカメラ画像（つまり、画像データ）を取得して、４つのカメラ画像のうちから２つのカメラ画像を１ペアとして６ペアの組み合わせを抽出する。また、位置算出部１１１は、カメラパラメタ記憶部１１４から４つのカメラ１０１それぞれのカメラパラメタを読み出す。位置算出部１１１は、推定した６ペアのカメラ画像間の視差と、カメラパラメタに含まれる外部パラメタ及び内部パラメタとに基づいて、カメラ画像内の被写体の３次元位置を算出し、位置情報として出力する。なお、被写体は、カメラ画像全体の領域であってもよい。
【００５９】
位置算出部１１１は、カメラパラメタに基づいて位置情報を生成する。位置情報の各々は，３次元空間内の１つの点ＰＰｎの位置を特定する情報と、４つのカメラ１０１に含まれる第１カメラが点ＰＰｎを含む被写体を撮像して得たカメラ画像ＩＩＩに含まれる画素ＰＬＩＰｎの位置を特定する情報と、４つのカメラ１０１に含まれる第２カメラが点ＰＰｎを含む被写体を撮像して得たカメラ画像ＩＩＪに含まれる画素ＰＬＪＰｎの位置を特定する情報とを含む。画素ＰＬＩＰｎは第１カメラが点ＰＰｎを撮像した画像が観察されると推定される画素であり、画素ＰＬＪＰｎは第２カメラが点ＰＰｎを撮像した画像が観察されると推定される画素である。この推定の方法については後述する。つまり、複数の位置情報の各々は、３次元空間内の１つの点ＰＰｎに関する３次元位置情報と、点ＰＰｎに対応する２つの画素ＰＬＩＰｎ及びＰＬＪＰｎに関する画素ペア情報とを含む。
【００６０】
画素ペア情報で特定される２つの画素に含まれる画素ＰＬＩＰｎは、カメラペア（つまり、カメラのペア）に含まれる第１カメラが撮像したカメラ画像ＩＩＩにおいて、点ＰＰｎに対応する点に位置する。画素ペア情報で特定される２つの画素に含まれる画素ＰＬＪＰｎは、カメラペアに含まれる第２カメラが撮像したカメラ画像ＩＩＪにおいて、点ＰＰｎに対応する点に位置する。点ＰＰｎに関する３次元位置情報は、２つの画素ＰＬＩＰｎ及びＰＬＪＰｎの位置を特定する情報である位置情報に基づいて決定され、２つの画素ＰＬＩＰｎ及びＰＬＪＰｎはそれぞれ、異なる第１カメラ及び第２カメラのカメラ画像ＩＩＩ及びカメラ画像ＩＩＪに含まれる。
【００６１】
位置選択統合部１１２は、位置算出部１１１が出力した位置情報を取得し、且つ、カメラパラメタ記憶部１１４から各カメラ１０１のカメラパラメタを読み出す。位置選択統合部１１２は、カメラパラメタに含まれる遮蔽情報に基づいて、位置情報から、画素ペア情報で特定される２つの画素の双方が遮蔽領域に含まれない位置情報の少なくとも一部を選択し、選択された位置情報を、各カメラペアのカメラ画像の間で統合し、統合結果を選択位置統合情報として出力する。選択位置統合情報は、複数の位置情報から、所定の位置情報を除外して生成され、所定の位置情報の各々は所定の画素ペア情報を含み、所定の画素ペア情報で特定される２つの画素の少なくも一方は遮蔽領域に含まれるとしてもよい。選択位置統合情報には、画素ペア情報が含まれ、画素ペア情報で特定される２つの画素のそれぞれは、２つの画素のそれぞれが含まれるカメラ画像において遮蔽領域に含まれず、当該２つのカメラ画像の間で互いに対応する点に位置する。つまり、画素ペア情報で特定される２つの画素を用いて、被写体上の点を特定できる。
【００６２】
画像補完部１１３は、カメラ画像と、位置選択統合部１１２から出力された選択位置統合情報とを取得する。画像補完部１１３は、少なくとも１つのカメラ画像の遮蔽領域について、他のカメラ画像の非遮蔽領域と選択位置統合情報とに基づいて、遮蔽領域の画像を当該他のカメラ画像に基づいて補完画像を生成する。そして、画像補完部１１３は、生成した補完画像と上記選択位置統合情報とを出力する。
【００６３】
画像補完部１１３は、選択位置統合情報に含まれる画素ペア情報によって特定される２つの画素のうちの少なくとも一方の選択画素の画素値を使用して、当該２つの画素が含まれないカメラ画像において、遮蔽領域に含まれ且つ選択画素に対応する対象画素の画素値を決定する。対象画素と選択画素とは互いに対応する対応点に位置する。なお、対象画素と選択画素とが対応点に位置するか否かは、カメラパラメタと選択画素に対応する３次元位置情報とに基づいて決定されてもよい。
【００６４】
障害物検出部１２０は、補完画像と選択位置統合情報とを取得し、選択位置統合情報に基づいて障害物等の３次元物体を検出する。さらに、障害物検出部１２０は、検出した３次元物体の位置に対応する補完画像上の領域に、注視領域を示す枠を重畳合成した合成画像を出力する。
【００６５】
ディスプレイ１３０は、合成画像を取得して、表示する。ディスプレイ１３０は、液晶パネル、有機又は無機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示パネルによって構成されてよい。
【００６６】
図１の画像処理部１１０及び障害物検出部１２０を構成する各構成要素は、電子回路又は集積回路等のハードウェアで実現されてもよいし、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。
【００６７】
なお、図５に示すように、画像処理部１１０は、位置算出部１１１、位置選択統合部１１２、画像補完部１１３及びカメラパラメタ記憶部１１４に加えて、カメラパラメタ取得部１１５を含んでもよい。カメラパラメタ取得部１１５は、カメラパラメタ記憶部１１４からカメラ１０１のカメラパラメタを取得し、位置算出部１１１、位置選択統合部１１２及び画像補完部１１３に出力する。
【００６８】
なお、画像処理部１１０は、カメラパラメタ記憶部１１４を含まず、例えば、クラウドサーバ等の外部の装置が、カメラパラメタ記憶部１１４を含んでもよい。この場合、カメラパラメタ記憶部１１４が、無線及び有線の通信手段で、カメラパラメタ取得部１１５と接続されてもよい。そして、カメラパラメタ取得部１１５が、カメラパラメタ記憶部１１４に記憶された情報、例えばカメラパラメタを取得してもよい。カメラパラメタ取得部１１５は、カメラパラメタ記憶部１１４から、複数のカメラ１０１の位置情報、複数のカメラ１０１の焦点距離、複数のカメラ１０１のカメラ画像におけるどの画素が遮蔽領域に含まれるかを示す情報を含む遮蔽情報を含むカメラパラメタを取得してもよい。
【００６９】
図５の例では、位置算出部１１１、位置選択統合部１１２及び画像補完部１１３は、カメラパラメタ取得部１１５を介して、カメラパラメタ記憶部１１４と情報をやりとりし、例えば、カメラパラメタ記憶部１１４に格納された情報を読み出す等をしてもよい。位置算出部１１１は、カメラパラメタ取得部１１５を介して、カメラパラメタ記憶部１１４から４つのカメラ１０１のカメラパラメタを読み出してもよい。位置選択統合部１１２は、位置算出部１１１が出力した位置情報を得て、カメラパラメタ取得部１１５を介して、カメラパラメタ記憶部１１４からカメラパラメタを読み出してもよい。
【００７０】
図６を参照すると、実施の形態に係る撮像装置１のハードウェア構成の一例が示されている。撮像装置１は、撮像部１００と、画像処理部１１０及び障害物検出部１２０に対応するコンピュータ３００と、ディスプレイ１３０とを備える。撮像装置１において、撮像部１００は、その視野内の画像を撮影してカメラ画像として出力し、コンピュータ３００は、出力されたカメラ画像を取得して、補完画像と選択位置統合情報とを算出し、さらに、合成画像を生成して出力する。ディスプレイ１３０は、コンピュータ３００で生成された合成画像を表示する。３つ以上のカメラ１０１ａ、１０１ｂ、１０１ｃ・・・は撮像部１００に対応する。
【００７１】
コンピュータ３００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０３、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）３０４、ビデオ入力インタフェース（Ｉ／Ｆ）３０５及びビデオカード３０６を含む。コンピュータ３００を動作させるプログラムは、ＲＯＭ３０２又はＨＤＤ３０４に予め保持されている。プログラムは、プロセッサであるＣＰＵ３０１によって、ＲＯＭ３０２又はＨＤＤ３０４からＲＡＭ３０３に読み出されて展開される。ＣＰＵ３０１は、ＲＡＭ３０３に展開されたプログラム中のコード化された各命令を実行する。ビデオ入力Ｉ／Ｆ３０５は、プログラムの実行に応じて、撮像部１００で撮影されたカメラ画像を、ＲＡＭ３０３へ取り込む。ビデオカード３０６は、プログラムの実行に応じて生成された画像を処理してディスプレイ１３０に出力し、ディスプレイ１３０がその画像を表示する。上述したように、コンピュータ３００は画像処理部１１０及び障害物検出部１２０に対応する。カメラパラメタ記憶部１１４は、ＲＯＭ３０２、ＲＡＭ３０３又はＨＤＤ３０４に対応する。
【００７２】
なお、コンピュータプログラムは、半導体であるＲＯＭ３０２又はＨＤＤ３０４に限らず、例えばＣＤ−ＲＯＭ等の記録媒体に格納されていてもよい。また、コンピュータプログラムは、有線ネットワーク、無線ネットワーク又は放送等を介して伝送され、コンピュータ３００のＲＡＭ３０３に取り込まれてもよい。
【００７３】
以下、実施の形態に係る撮像装置１の動作を、図７を用いて説明する。なお、図７は、実施の形態に係る撮像装置１の画像処理部１１０及び障害物検出部１２０の動作の一例を表すフローチャートである。図７において、ステップＳ４０１〜Ｓ４０５の５つの処理は、図６のコンピュータ３００で実行される。
【００７４】
なお、図７の各ステップの処理は、図５の画像処理部１１０及び障害物検出部１２０に含まれる各構成要素で実行してもよい。すなわち、カメラパラメタ記憶部１１４及びカメラパラメタ取得部１１５によるカメラパラメタ読み出しのステップＳ４０１の処理と、位置算出部１１１による位置算出のステップＳ４０２の処理と、位置選択統合部１１２による位置選択統合のステップＳ４０３の処理と、画像補完部１１３による画像補完のステップＳ４０４の処理と、障害物検出部１２０による合成画像生成のステップＳ４０５の処理とが、実行されてもよい。
【００７５】
これに限定するものではないが、本実施の形態では、撮像装置１が自動車に設置される例を説明する。具体的には、撮像装置１は、自動車の後方のカメラ画像と当該カメラ画像に対応する３次元位置とを取得して障害物を検出し、その結果を自動車内に設置したディスプレイに表示し、それにより、利用者であるドライバに車体後方の状況を提示する。
【００７６】
図８Ａを参照すると、実施の形態に係る撮像装置１の自動車への設置の例を示す平面図が示されている。撮像部１００は、カメラ１０１の光軸が概ね自動車が後方に直進する方向に一致するように、車体後部に車体後方に向けて設置される。画像処理部１１０、障害物検出部１２０及びディスプレイ１３０はそれぞれ、ドライバから見える車室内設置される。また、図８Ｂを参照すると、自動車に搭載された撮像装置１による撮影が行われている状況の例が、平面図で示されている。これに限定されるものではないが、撮像部１００の４つのカメラ１０１ａ〜１０１ｄは、互いに同期して一定時間間隔で、画像を撮像して出力する。
【００７７】
図９Ａを参照すると、撮像部１００の４つのカメラ１０１ａ〜１０１ｄの配置の例が、正面図の（ａ）及び背面図の（ｂ）により示されている。また、図９Ｂを参照すると、図８Ａの撮像部１００の設置状況、及び、図８Ｂの撮影状況において、図９Ａの４つのカメラ１０１ａ〜１０１ｄで撮影されるカメラ画像の例が示されている。各カメラ画像の左右両端に接する円弧の内側が、視野角１８０度の視野内の被写体を表している。本実施の形態において、カメラ１０１ａ〜１０１ｄはそれぞれ、魚眼レンズを有し、それぞれの投影モデルは等距離射影モデルであるとする。また、カメラ１０１ａ〜１０１ｄ、及び、ビデオ入力Ｉ／Ｆ３０５は、横１２８０画素、縦９６０画素のカラー画像を、それぞれ撮影し、取得できるものとする。なお、上述は、カメラの投影モデル及びカメラ画像の画素数を限定するものではなく、他の投影モデル及び画素数でもよい。前述したように、本開示では、カメラ画像間での被写体像の形、大きさ及び向きの違いによる視差推定の誤差を低減するために、複数のカメラ１０１が近接して配置される。本実施の形態では、図９Ａに示すカメラ１０１ａ〜１０１ｄの最短の基線長を０．０１５ｍとした。このように構成した撮像部１００で撮影された４つのカメラ画像の例が、図９Ｂに示される。図中の４つのカメラ画像中の被写体は、それぞれの形、大きさ及び向きは、概ね同じであることがわかる。その一方で、カメラ１０１ａ〜１０１ｄを近接して配置したため、全てのカメラ画像において、視野の端に、隣接するカメラのレンズが映り込み、その背部の被写体が遮蔽されていることがわかる。なお、これらの遮蔽された領域は、図９Ｂ中の「隣接するカメラのレンズによる遮蔽」の部分で示された領域である。
【００７８】
コンピュータ３００は、撮像部１００の動作と並行して、予め定められたプログラムを実行することで、図７のステップＳ４０１〜Ｓ４０５の処理を行う。以降、コンピュータ３００で実行されるステップＳ４０１〜Ｓ４０５の詳細な処理を、図１及び図９Ａ〜図２１を用いて説明する。
【００７９】
ステップＳ４０１では、位置算出部１１１は、カメラパラメタ記憶部１１４から、カメラパラメタ記憶部１１４に予め記憶された各カメラ１０１ａ〜１０１ｄの内部パラメタ、外部パラメタ及び遮蔽情報を含むカメラパラメタを読み出す。ステップＳ４０１の処理は、図５に示すカメラパラメタ取得部１１５が実行してもよい。カメラの外部パラメタ｛Ｍｑ，ｒ｝と３次元座標との関係、及び、カメラの内部パラメタ（ｆ，ｋ）と３次元座標と画素座標との関係をそれぞれ、下記の式１及び式２に示す。なお、式１において、ｒ＝１，・・・，４である。
【００８０】
【数１】
2018189636.tif 000003
【００８１】
【数２】
2018189636.tif 000004
【００８２】
上記の式１における外部パラメタ｛Ｍｑ，ｒ｝は、２つのカメラｑ及びｒの各カメラ座標系の位置関係を表す行列の集まりである。行列Ｍｑ，ｒは、カメラｑのカメラ座標系の３次元位置（ｘｑ，ｙｑ，ｚｑ）をカメラｒのカメラ座標系の３次元位置（ｘｒ，ｙｒ，ｚｒ）に変換する４×４の行列を表している。内部パラメタのｆは焦点距離、ｋは撮像素子上での画素サイズである。上記の式２は、カメラ座標系の３次元位置（ｘ，ｙ，ｚ）とカメラ画像の画素座標（ｕ，ｖ）との関係を表している。これら外部パラメタ｛Ｍｑ，ｒ｝及び内部パラメタ（ｆ，ｋ）は、一般的にカメラ校正方法と呼ばれる広く知られた手法によってあらかじめ求めておく。なお、上記の式２では、レンズの投影モデルが等距離射影の場合の内部パラメタを用いたが、適用される投影モデルはこれに限定されるものではなく、立体射影及び等立体角射影等の他の投影モデルであってもよい。
【００８３】
ここで、４つのカメラ１０１ａ〜１０１ｄの遮蔽情報の例を、図１０に示す。遮蔽情報とは、カメラ画像において、レンズ又はカメラ本体が映り込み、レンズ又はカメラ本体がその背部の被写体を遮蔽している領域を示す情報である。本実施の形態では、遮蔽情報は、カメラ画像の各画素が、「被写体領域」、「遮蔽領域」及び「視野外領域」の３つのいずれであるかを表す。例えば、カメラ画像Ｉの画素座標（ｕ，ｖ）の遮蔽情報をＯ（ｕ，ｖ）のように表す。図１０は、各画素の３つの状態に関して、被写体領域は白色（つまり、無着色無模様）、遮蔽領域は斜線、視野外領域は黒色で、それぞれ表した図である。この遮蔽情報は、事前にカメラ１０１で画像を撮影して、各画素がどの領域に属するかを、人手で判定することで作成することができる。本実施の形態では、撮像装置１は、図９Ｂの遮蔽領域を含むカメラ画像から、遮蔽領域のない画像と当該画像に対応する３次元位置とを算出する。
【００８４】
次に、ステップＳ４０２では、位置算出部１１１は、撮像部１００のカメラ１０１ａ〜１０１ｄで撮影された複数のカメラ画像（つまり、画像データ）を取得する。そして、位置算出部１１１は、取得した複数のカメラ画像のうちから、複数の「カメラ画像のペア」を抽出する。複数の「カメラ画像のペア」の各々は２つのカメラ画像を含む。例えば、カメラ１０１ａ〜１０１ｄによる４つのカメラ画像からは、６つの「カメラ画像のペア」が抽出される。さらに、位置算出部１１１は、各「カメラ画像のペア」に含まれるカメラ画像において、ステップＳ４０１で読み出したカメラパラメタを用いて、ステレオ視によりカメラ画像中の複数点の３次元位置を算出する。ステレオ視では、互いに異なる視点に位置し且つ視野が重複するように配置された２つのカメラで撮影された２つのカメラ画像、のそれぞれに含まれる点であってかつ互いに対応する点の組、すなわち、対応点の組を求め、求めた対応点の組と予め求めておいたカメラの位置及び向き等のカメラパラメタとを用いて、対応点の組に対する被写体上の点の３次元座標が計算される。
【００８５】
以下、ステップＳ４０２の処理の詳細を説明する。カメラ１０１ａ、１０１ｂ、１０１ｃ及び１０１ｄで撮影した４つのカメラ画像をそれぞれ、カメラ画像Ｉａ、Ｉｂ、Ｉｃ及びＩｄとする。これらから、２つのカメラ画像からなる６つの画像のペア（Ｉａ，Ｉｂ）、（Ｉａ，Ｉｃ）、（Ｉａ，Ｉｄ）、（Ｉｂ，Ｉｃ）、（Ｉｂ，Ｉｄ）及び（Ｉｃ，Ｉｄ）が抽出される。以下において、画像のペアのことを、画像ペアとも呼ぶ。そして、各画像ペアに対して、ペア内の２つのカメラ画像のそれぞれに含まれる点であってかつ互いに対応する点の組、すなわち、対応点の組が、複数検出される。例えば、カメラ１０１ａが被写体上の点をカメラ画像Ｉａに含まれる点ＰＩａとして撮像し、カメラ１０１ｂが当該点をカメラ画像Ｉｂに含まれる点ＰＩｂとして撮像した場合、点ＰＩａと点ＰＩｂとは対応点の組である。点ＰＩａと点ＰＩｂとは互いに対応する点、又は、互いに対応する対応点、又は、点ＰＩａは点ＰＩｂに対応すると表現してもよい。対応点の組を画素の組で表現してもよい。例えば、点ＰＩａ及びＰＩｂの対応点の組を、点ＰＩａにおける画素と点ＰＩｂにおける画素との組で表現してもよい。対応点の組を画素座標の組で表現してもよい。例えば、点ＰＩａ及びＰＩｂの対応点の組を、点ＰＩａにおける画像座標と点ＰＩｂにおける画像座標との組で表現してもよい。例えば、画像ペア（Ｉａ，Ｉｂ）の場合、カメラ画像Ｉａ上の各々の画素について、カメラ画像Ｉｂ上の対応する画素が検出される。つまり、カメラ画像Ｉａ上の画素座標（ｕａｎ，ｖａｎ）に対応するカメラ画像Ｉｂ上画素座標（ｕｂｎ，ｖｂｎ）が検出される。ここで、ｎ＝１，・・・，Ｎａ、Ｎａはカメラ画像Ｉａ上の画素数である。カメラ画像Ｉａの画素座標（ｕａｎ，ｖａｎ）と、カメラ画像Ｉｂの画素座標（ｕｂｎ，ｖｂｎ）とが互いに対応する場合、画素座標（ｕａｎ，ｖａｎ）における画素の画素値ｉａ（ｕａｎ，ｖａｎ）と画素座標（ｕｂｎ，ｖｂｎ）における画素値ｉｂ（ｕｂｎ，ｖｂｎ）とが等しい。これを輝度拘束と呼ぶ。
【００８６】
また、ある１つの被写体は、カメラ画像中の複数の隣接する画素を占めることから、カメラ画像Ｉａの画素座標（ｕａｎ，ｖａｎ）に隣接する画素で特定される点に対応するカメラ画像Ｉｂに含まれる点は、カメラ画像Ｉｂの画素座標（ｕｂｎ，ｖｂｎ）の近くにある可能性が高い。これを滑らかさ拘束と呼ぶ。カメラ画像Ｉａ及びＩｂのそれぞれに含まれる点であってかつ互いに対応する点の組、すなわち、対応点の組は、上述した輝度拘束と滑らかさ拘束との２つの条件を最もよく満たす画素座標（ｕａｎ，ｖａｎ）及び（ｕｂｎ，ｖｂｎ）の組の集まりを推定することで、得ることができる。なお、カメラ画像Ｉａ上の画素座標と、このカメラ画像Ｉａ上の画素座標に対応するカメラ画像Ｉｂ上の画素座標との組み合わせ情報を画素ペア情報と呼んでもよい。
【００８７】
２つのカメラ画像間の対応する画素座標を実数精度で算出する対応点探索手法及び動き推定手法は、前述で挙げた非特許文献１及び非特許文献２などに詳しく記載されている。これらの手法は、既知な従来技術であるため、詳細な説明を省略する。例えば、非特許文献１には、オプティカルフロー拘束のＬ１ノルムとトータルバリエーションとの重み付け和からなる画像全体についてのエネルギー評価関数を定義し、これを最小化するフロー（視差もしくは動きベクトル）を画像中の全画素について求める方法が記載されている。非特許文献２には、非特許文献１におけるトータルバリエーションを、対応点の組に含まれる対応点間の色の差と対応点の組に含まれる対応点間の画素座標値との差で重み付けする方法が記載されている。
【００８８】
次に、各対応点の組について、カメラ画像Ｉａ及びＩｂそれぞれの対応点の画素座標（ｕａｎ，ｖａｎ）及び（ｕｂｎ，ｖｂｎ）と、予め求めたおいたカメラ１０１ａ及び１０１ｂの外部パラメタＭｂ，ａ及び内部パラメタｆａ，ｋａ，ｆｂ，ｋｂとを用いて、下記の式３に示す連立方程式を解くことで、対応点の組に対する被写体上の点の３次元位置（ｘａｎ，ｙａｎ，ｚａｎ）が算出される。本実施の形態では、３次元位置は、カメラ１０１ａの視点座標系（カメラ座標系とも呼ぶ）の座標値とするが、カメラ１０１ｂの視点座標系が適用されてもよい。なお、ｆａ及びｋａはそれぞれ、カメラ１０１ａの焦点距離及び単位画素サイズであり、ｆｂ及びｋｂはそれぞれ、カメラ１０１ｂの焦点距離及び単位画素サイズである。また、他の５つの画像ペアに対しても同様に、３次元位置の算出が行われる。
【００８９】
【数３】
2018189636.tif 000005
【００９０】
なお、２つのカメラ画像の対応点の組と２つのカメラ位置とから対応点の組に対する被写体上の点の３次元位置を算出する２眼ステレオ手法、及び、２つの３次元座標系間での座標値の変換は、前述で挙げた非特許文献３などに詳しく記載されている。これらの手法は、既知な従来技術であるため、詳細な説明を省略する。例えば、非特許文献３には、１２３−１３７頁の第８章ステレオ視において、ステレオ視による対応付けの詳細が記載され、３９頁には２つの３次元座標系間での座標値の変換に関して記載されている。
【００９１】
以上のステップＳ４０２の詳細な処理により、位置算出部１１１は、６つの画像ペアのそれぞれについて、「対応点の組で特定される複数の対応点の位置、及び対応点の組に対する被写体上の点の３次元位置」を複数算出し、これらを位置情報として出力する。例えば、２つのカメラ画像Ｉｑ及びＩｒについて、２つのカメラ画像Ｉｑ及びＩｒ間のＮｑ個の「対応点の組で特定される複数の対応点、及び対応点の組に対する被写体上の点」の位置情報を｛Ｐｑ，ｒ，ｎ｝（ｎ＝１，・・・，Ｎｑ）とする。そして、Ｎｑ個の位置情報Ｐｑ，ｒ，ｎの集まりであるＰｑ，ｒが下記の式４のように表される。また、ｍ個の画像ペアである画像ペア１〜画像ペアｍが存在する場合、｛（画像ペア１に関する全ての『「対応点の組で特定される複数の対応点、及び対応点の組に対する被写体上の点」の位置情報』），・・・，（画像ペアｍに関する全ての『「対応点の組で特定される複数の対応点、及び対応点の組に対する被写体上の点」の位置情報』｝である位置情報をＰtotalと表す。本実施の形態では、４つのカメラのそれぞれで撮像したカメラ画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄを前提としているので、Ｐtotal＝｛Ｐａ，ｂ、Ｐａ，ｃ、Ｐａ，ｄ、Ｐｂ，ｃ、Ｐｂ，ｄ、Ｐｃ，ｄ｝である。
【００９２】
【数４】
2018189636.tif 000006
【００９３】
位置情報は、対応点の組で特定される２つの対応点のそれぞれの画素を特定する画素ペア情報と、画素ペア情報で特定された画素のペアに対応する被写体上の点の３次元位置とを含む情報としてもよい。画素ペア情報は、２つのカメラ画像間で対応する２つの画素の画素座標を含んでもよい。このように、ステップＳ４０２では、位置算出部１１１は、カメラ１０１で撮影された複数の画像のうちの２つの画像とカメラパラメタとから、ステレオ視によって被写体上の点の３次元位置を算出し、位置情報として出力する。
【００９４】
次に、ステップＳ４０３では、位置選択統合部１１２は、ステップＳ４０１で読み出した遮蔽情報と、ステップＳ４０２で算出した位置情報Ｐtotalとを取得し、位置情報Ｐtotal＝｛Ｐａ，ｂ、Ｐａ，ｃ、Ｐａ，ｄ、Ｐｂ，ｃ、Ｐｂ，ｄ、Ｐｃ，ｄ｝から、選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝を生成する。具体的には、位置選択統合部１１２は、位置情報Ｐtotalに含まれる全ての対応点の組に対して、以下の選択統合処理を繰り返す。
【００９５】
位置選択統合部１１２は、２つのカメラ画像、例えばカメラ画像Ｉａ及びＩｂのペアについて、位置情報Ｐtotalに含まれる位置情報Ｐａ，ｂ，ｎから、カメラ画像Ｉａでの対応点の座標値（ｕａｎ，ｖａｎ）と、カメラ画像Ｉｂでの対応点の座標値（ｕｂｎ，ｖｂｎ）とを読み出す。そして、位置選択統合部１１２は、カメラ画像Ｉａの遮蔽情報Ｏａと、カメラ画像Ｉｂの遮蔽情報Ｏｂとから、カメラ画像Ｉａにおける座標値（ｕａｎ，ｖａｎ）を有する対応点の遮蔽情報である遮蔽情報Ｏａ（ｕａｎ，ｖａｎ）及びカメラ画像Ｉｂにおける座標値（ｕｂｎ，ｖｂｎ）を有する対応点の遮蔽情報である遮蔽情報Ｏｂ（ｕｂｎ，ｖｂｎ）を読み出す。遮蔽情報Ｏａ（ｕａｎ，ｖａｎ）が「被写体領域」であることを示し、かつ、遮蔽情報Ｏｂ（ｕｂｎ，ｖｂｎ）が「被写体領域」であることを示す場合、位置選択統合部１１２は、当該位置情報Ｐａ，ｂ，ｎを選択する。一方、遮蔽情報Ｏａ（ｕａｎ，ｖａｎ）と遮蔽情報Ｏｂ（ｕｂｎ，ｖｂｎ）との少なくも一方が「遮蔽領域」又は「視野外領域」であることを示す場合、位置選択統合部１１２は、当該位置情報Ｐａ，ｂ，ｎを選択しない。
【００９６】
位置選択統合部１１２は、この選択操作を、２つのカメラ画像Ｉａ及びＩｂのペアの全ての位置情報Ｐａ，ｂ，ｎ（ｎ＝１，・・・，Ｎａ）に対して行い、選択した位置情報の集合を選択位置統合情報Ｐ’ａ，ｂとする。
【００９７】
さらに、位置選択統合部１１２は、この選択操作を、２つのカメラ画像Ｉａ及びＩｂのペア以外の全てのカメラ画像のペアの位置情報に含まれる全対応点の組に対しても行う。つまりＰａ，ｃからＰ’ａ，ｃを生成し、Ｐａ，ｄからＰ’ａ，ｄを生成し、Ｐｂ，ｃからＰ’ｂ，ｃを生成し、Ｐｂ，ｄからＰ’ｂ，ｄを生成し、Ｐｃ，ｄからＰ’ｃ，ｄを生成する。これにより、位置選択統合部１１２は、選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝を生成する。
【００９８】
選択位置統合情報は、複数の位置情報から、所定の位置情報を除外して生成されてもよい。この場合、除外される所定の位置情報の各々は、所定の画素ペア情報を含み、当該所定の画素ペア情報で特定される画素の少なくも一方が遮断領域に含まれるとしてもよい。
【００９９】
図１１参照すると、画像ペア（Ｉａ，Ｉｂ）、（Ｉａ，Ｉｃ）、（Ｉａ，Ｉｄ）、（Ｉｂ，Ｉｃ）、（Ｉｂ，Ｉｄ）及び（Ｉｃ，Ｉｄ）にそれぞれ対応する位置情報Ｐａ，ｂ、Ｐａ，ｃ、Ｐａ，ｄ、Ｐｂ，ｃ、Ｐｂ，ｄ及びＰｃ，ｄと遮蔽情報との関係の概念図が示されている。例えば、「カメラ１０１ａ−１０１ｂ」の図では、カメラ１０１ａ及び１０１ｂの２つのカメラ画像Ｉａ及びＩｂから算出した位置情報Ｐａ，ｂを基に、カメラ１０１ａのカメラ画像Ｉａの各々画素が含まれる領域が図化されている。具体的には、「視野外領域」である領域は黒色で表され、「遮蔽領域」である領域は斜線で表され、「被写体領域」である領域は白色（つまり、無着色無模様）で表される。図１０のカメラ１０１ａのカメラ画像Ｉａの右上領域、及び、カメラ１０１ｂのカメラ画像Ｉｂの左上領域がそれぞれ、遮蔽領域であるのに対し、位置情報に基づくと、カメラ１０１ａでの遮蔽領域とカメラ１０１ｂでの遮蔽領域との両方において３次元位置を計測できない。そのため、図１１の「カメラ１０１ａ−１０１ｂ」では、右上及び左上の領域に遮蔽領域が生じる。これに対し、他のカメラのペア、つまり画像ペアでは、遮蔽領域の場所が異なる。例えば、「カメラ１０１ａ−１０１ｃ」では、左上の領域が遮蔽領域ではなく、「カメラ１０１ｂ−１０１ｄ」では、右上の領域が遮蔽領域ではない。したがって、複数の画像ペアから算出した位置情報から、遮蔽されていない被写体領域、すなわち図１０中の白色の領域を、選択して集めることで、遮蔽領域のない位置情報を得ることができる。この考え方で、遮蔽されていない領域（白色領域）を集めたものが、ステップＳ４０３で選択された選択位置統合情報Ｐ’totalに対応する。例えば、当該４つのカメラのそれぞれで撮像したカメラ画像Ｉａ、Ｉｂ、Ｉｃ及びＩｄに関するＰ’totalはＰ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝である。例えば、Ｐ’ａ，ｂは図１１の「カメラ１０１ａ−１０１ｂ」における遮蔽されていない領域（白色領域）の位置情報、つまり、選択された対応点の組で特定される２つの対応点のそれぞれの画素を特定する画素ペア情報と、画素ペア情報で特定された画素のペアに対応する被写体上の点の３次元位置とを含む情報である。
【０１００】
各カメラの上記の遮蔽されていない領域（白色領域）について考えると、レンズによる遮蔽の影響を受けない領域では、複数の選択位置統合情報が得られる。例えば、カメラ１０１ａに着目しこれを基準カメラとすると、カメラ１０１ａ−１０１ｂ、１０１ａ−１０１ｃ及び１０１ａ−１０１ｄの３つのカメラペアのそれぞれに対するカメラ画像のペアに基づいた位置情報が得られる。これら３つの位置情報の統合について、以下に説明する。
【０１０１】
ここで、図１２を参照すると、４つのカメラ１０１ａ〜１０１ｄで被写体の位置情報を得る場合を説明する図が示されている。図１２において、４つのカメラについては図９Ａと同一の符号を付しており、計測点１５１が設定されている。カメラ１０１ａを基準カメラとする場合、カメラ１０１ａ−１０１ｂ、１０１ａ−１０１ｃ及び１０１ａ−１０１ｄのペアでそれぞれ、計測点１５１の位置情報である３次元位置の情報が取得される。カメラのペアから位置情報を取得する場合、カメラの間の距離である基線長が位置情報の誤差に影響することが知られている。視野角が魚眼レンズと比べて狭い一般的なカメラのペアによって位置情報を取得する場合、撮影される画像内で基線長は実用上ほぼ一定とみなすことができる。しかしながら、魚眼レンズを用いたカメラのペアによって位置情報を取得する場合、撮影される画像内で、基線長のみかけの長さの変化が大きい。この基線長のみかけの長さは、２つのカメラのレンズから被写体に至る２つの視線が形成する見込み角の大きさに対応し且つ相関する。このため、本明細書では、基線長のみかけの長さのことを、見込み角対応長と呼ぶ。見込み角対応長に関する説明は、後述する。そして、一方のカメラから見た他方のカメラの方向（つまり、基線方向）とカメラ画像内での他方のカメラの位置とに応じて、見込み角対応長が変化し、変化する見込み角対応長に応じて取得する位置情報の誤差が変化する。この点について特許文献１及び特許文献２では、複数の位置情報を統合するためにそれぞれ異なる重み付け加算を行っている。これらの重み付け加算により、それぞれ定性的に位置情報の誤差を低減することができるが、ここでは重み付け加算した統合結果の位置情報の誤差を、取得時の誤差要因を考慮して最小化する方法について説明する。
【０１０２】
以下では、位置情報の誤差としてカメラの光学中心から画素の方向の奥行き（ｄｅｐｔｈ）についての誤差について述べる。位置情報を取得する際、これに用いる各カメラは予めキャリブレーションされており、カメラによって撮影されるカメラ画像の画素座標（ｕ，ｖ）と被写体位置からカメラの光学中心への光線の入射角との関係、すなわち、画素座標（ｕ，ｖ）を通る光線の３次元空間についての式は既知である。そのため、奥行き（ｄｅｐｔｈ）と位置情報（Ｘ，Ｙ，Ｚ）とはカメラパラメタを用いて相互に変換が可能である。
【０１０３】
カメラによって撮影されたカメラ画像には、暗電流、ショットノイズ等のノイズが含まれる。これらのノイズはガウス分布でモデル化される。
【０１０４】
ステレオ測距時には、対応点の画素値が等しいことを前提として計算するが、ノイズを含む画像間で対応付け、すなわち視差推定を行うと、視差推定値に誤差が生じる。視差の誤差は、下記の式５に示す様にノイズの大きさとエピポーラ線に沿う方向の輝度勾配との比に比例する。
【０１０５】
【数５】
2018189636.tif 000007
【０１０６】
上記の式５において、Δｕは視差の誤差であり、εは画素値のノイズであり、∂Ｉ／∂ｎはエピポーラ線方向の画素値の勾配つまり輝度勾配である。ここで、魚眼レンズの射影モデルとして等距離射影を仮定すると、視差推定結果の角度誤差ΔΦも、下記の式６に示すようにノイズの大きさとエピポーラ線に沿う方向の輝度勾配との比に比例する。また、式５及び式６において、ノイズεは、下記の式７のように示される。すなわち、ノイズεは、平均０、分散σ２の正規分布に従う。
【０１０７】
【数６】
2018189636.tif 000008
【０１０８】
【数７】
2018189636.tif 000009
【０１０９】
次に、２つのカメラ（カメラ１及びカメラ２）による三角測量における見込み角対応長と角度誤差との関係について、図１３を用いて説明する。図１３において、投影中心１６１は、２つのカメラの片方のカメラ１の投影中心であり、投影中心１６２は他方のカメラ２の投影中心である。計測点１６３は、カメラ１及び２を用いて三角測量を行う対象点である。視線１６４は、カメラ１から計測点１６３を見た視線であり、視線１６５は、カメラ２から計測点１６３を見た視線である。基線長１６６は、カメラ１とカメラ２との間の実際の距離である。見込み角対応長１６７は、計測点１６３からカメラ１及び２を見たときのカメラ間の見掛けの距離に相当し、計測点１６３からの見かけの基線長でもある。
【０１１０】
視線１６４及び１６５それぞれの方向の直線１６４ａ及び１６５ａは、計測点１６３において、角度Φの内角を形成する。角度Φは、カメラ１及び２から計測点１６３を見た場合の見込み角でもある。見込み角Φの二等分線である直線１６８に垂直な線分のうちで、カメラ２の投影中心１６２に一方の端点を有し且つ直線１６４ａ上に他方の端点を有する線分１６７ａの長さが、見込み角対応長１６７となる。カメラ２の投影中心１６２から二等分線１６８に下ろした垂線が直線１６４ａと交差する点と、投影中心１６２との距離が、見込み角対応長１６７ともいえる。直線１６８は、線分１６７ａの垂直二等分線となる。また、見込み角対応長は、線分１６７ａに平行である線分１６９ａの長さであってもよい。線分１６９ａは、カメラ１の投影中心１６１に一方の端点を有し且つ直線１６５ａ上に他方の端点を有する。線分１６９ａの長さである見込み角対応長１６９も、計測点１６３からカメラ１及び２を見たときのカメラ間の見掛けの距離に相当する。
【０１１１】
見込み角対応長１６７は、見込み角Φを中心角とする扇形におけるカメラ２の投影中心１６２を通る弦の長さでもある。見込み角対応長１６９は、見込み角Φを中心角とする扇形におけるカメラ１の投影中心１６１を通る弦の長さでもある。このように、見込み角対応長は、カメラ１又は２の投影中心１６１又は１６２における、中心角Φの扇形の弦方向での見込み角Φの内側領域の幅である。見込み角Φの内側領域は、視線１６４及び１６５の内側領域である。
【０１１２】
また、見込み角対応長は、見込み角対応長１６７及び１６９に限定されない。例えば、見込み角対応長は、見込み角Φを中心角とする扇形のいずれの弦であってもよい。例えば、見込み角対応長は、線分１６７ａ及び１６９ａに平行であり且つ両端を直線１６４ａ及び１６５ａ上に有するいかなる線分の長さであってもよい。このような見込み角対応長に対応する線分は、線分１６７ａ及び１６９ａの間に位置してもよい。
【０１１３】
また、見込み角対応長は、直線１６４ａ及び１６５ａの内角である見込み角Φで代用されてもよい。見込み角Φは、見込み角対応長と同様の挙動を有し相関する。これにより、見込み角Φの変化は、見込み角対応長の変化を示すことができ、見込み角対応長の変化と１対１で対応する。具体的には、見込み角Φが大きくなれば、見込み角対応長が長くなり、見込み角Φが小さくなれば、見込み角対応長が短くなる。見込み角Φと、計測点１６３と投影中心１６１又は１６２との距離とにより、見込み角対応長の算出が可能である。
【０１１４】
キャリブレーションされたカメラでは、上記の式２の関係からカメラ画像中の座標値からカメラの視線方向（つまり、視線方向のベクトル）を計算できる。ここで、カメラｉの視点座標系における計測点の座標（ｘ，ｙ，ｚ）＝（Ｘｉ，Ｙｉ，Ｚｉ）とする。そして、式２において、カメラ１の視点座標系における計測点の座標（ｘ，ｙ，ｚ）＝（Ｘ１，Ｙ１，Ｚ１）、カメラ１が当該計測点を含む被写体を撮影したカメラ画像における計測点の画像の座標を（ｕ，ｖ）＝（ｘ１，ｙ１）、カメラ２が当該計測点を含む被写体を撮影したカメラ画像における計測点の画像の座標を（ｕ，ｖ）＝（ｘ２，ｙ２）とすると、（ｘ１，ｙ１）から（Ｘ１，Ｙ１，Ｚ１）への視線ベクトル（ａ１，ｂ１，ｃ１）は以下のように求められる。カメラ１の画像中における計測点（Ｘ１，Ｙ１，Ｚ１）の方位角をφ１とすると、ｔａｎφ１＝ｙ１／ｘ１より、φ１＝ｔａｎ−１（ｙ１／ｘ１）であり、撮像面からの仰角をθ１とすると、式２よりθ１＝ｋ１・（ｘ１２＋ｙ１２）１／２／ｆ１である。また、ｔａｎθ１＝（Ｘ１２＋Ｙ１２）１／２／Ｚ１である。これらの関係から、視線ベクトル（ａ１，ｂ１，ｃ１）は下記の式８のようになる。
【０１１５】
【数８】
2018189636.tif 000010
【０１１６】
また、（ｘ２，ｙ２）から（Ｘ２，Ｙ２，Ｚ２）への視線ベクトル（ａ２，ｂ２，ｃ２）は、以下のように求められる。ここで、（Ｘ２，Ｙ２，Ｚ２）は、カメラ２の視点座標系における計測点の座標である（なお、（Ｘｉ，Ｙｉ，Ｚｉ）と（Ｘ２，Ｙ２，Ｚ２）とは物理的には同じ点を示し、座標系が異なっている。）。
【０１１７】
カメラ２の画像中における計測点（Ｘ２，Ｙ２，Ｚ２）の方位角をφ２、撮像面からの仰角をθ２とすると、カメラ１の場合と同様にして求めた視線ベクトルにカメラ２の座標系からからカメラ１の座標系への変換行列Ｍ２１の回転成分（式１のｒ００〜ｒ２２で示される成分）をかけることにより、視線ベクトル（ａ２，ｂ２，ｃ２）は、下記の式９のようになる。
【０１１８】
【数９】
2018189636.tif 000011
【０１１９】
以上のように、視線方向のベクトルと、カメラの位置及び姿勢を表す外部パラメタとによって、カメラの投影中心と被写体とを結ぶ視線方向の直線を３次元空間中で一意に求められる。そのため、カメラ１及びカメラ２の画像中の座標値から、２つの視線１６４及び１６５の方向の直線１６４ａ及び１６５ａの交点として、計測点１６３の３次元位置が計算される。
【０１２０】
なお、上記の２つの視線方向の直線１６４ａ及び１６５ａは、カメラ画像間の対応付けの誤差及び量子化誤差により、厳密には交差しないことが生じうる。そのため、実際の計測点１６３の位置計算では、計測点１６３の３次元位置を２直線１６４ａ及び１６５ａから等距離にある点として求められることがある。なお、直線１６４ａ及び１６５ａから等距離にある点は、２直線１６４ａ及び１６５ａに共通な垂線を考え、各直線についての垂線の足の中点であってもよい。又は、計測点１６３の３次元位置を、片方のカメラを基準に考え、その投影中心から当該カメラの視線方向上の垂線の足の位置として求めてもよい。なお、２つの直線上の点間の距離を最小化する点の組は、両者が共有する垂線の脚になることについては後述する。
【０１２１】
上記２つの視線１６４及び１６５の方向から、計測点１６３から見た２つのカメラ１及び２の角度Φは、下記の式１０から求められる。なお、カメラ１から（ａ１，ｂ１，ｃ１）へ向かうベクトルは、視線１６４の方向ベクトルつまり視線ベクトルであり、カメラ２から（ａ２，ｂ２，ｃ２）へ向かうベクトルは、視線１６５の視線ベクトルである。
【０１２２】
【数１０】
2018189636.tif 000012
【０１２３】
見込み角対応長ｄｅｆｆの条件で３角測量による測距をおこなうと、見込み角対応長の片方の位置（片方のカメラの視点に相当）から頂点（被写体位置に相当）までの距離ｄｅｐｔｈは、下記の式１１のように示される。例えば、図１３において、計測点１６３とカメラ２の投影中心１６２との距離が、距離ｄｅｐｔｈに相当する。そして、視点位置から見た角度Φに誤差ΔΦが重畳されると、距離ｄｅｐｔｈの誤差ｅｒｒdepthは、下記の式１２のように示される。
【０１２４】
【数１１】
2018189636.tif 000013
【０１２５】
【数１２】
2018189636.tif 000014
【０１２６】
上記式１２において、距離ｄｅｐｔｈの誤差ｅｒｒdepthは、ノイズ（確率変数ε）の分数式で示されており、誤差ｅｒｒdepthの分散を解析的に表すことはできないが、数値的に評価することは可能である。図１４はその一例である。図１４は、カメラから１ｍの位置、すなわち、着目カメラを覆う半径１ｍの半球上に位置する被写体について、σ＝１、∂Ｉ／∂ｎ＝５０、比例定数α＝０．０３の場合の、距離ｄｅｐｔｈの誤差の分散を示す。なお、σ＝１は、８ビットの画像においてＰＳＮＲ＝２０ｌｏｇ（２５５／１）＝４８．１ｄＢであることを意味する。図１４において、距離ｄｅｐｔｈの誤差の分散は、見込み角対応長ｄｅｆｆのほぼ２乗に反比例している。
【０１２７】
平均、分散の異なる確率変数（すなわち、誤差をともなう数値、ここでは距離ｄｅｐｔｈの取得値）に対しては、それらの重み付け加算についても平均及び分散を計算することができる。４眼カメラの場合、着目カメラを含むステレオペア（つまり、カメラのペア）は前述のように３通りになることから、３つの測距値が得られる。３通りの測距データの誤差ｘｉを、下記の式１３に示すような確率変数とみなすと、下記の式１４に示すように、３つの確率変数ｘ１、ｘ２及びｘ３の重み付け和が求まる。なお、μｉは、複数の対応点における誤差ｘｉの平均であり、σｉ２は、複数の対応点における誤差ｘｉの分散である。
【０１２８】
【数１３】
2018189636.tif 000015
【０１２９】
重み付け加算値の分散を最小化するように重みα、β及びγを決めることで、個々の測距精度を上回る精度の測距値を得ることができる。その様なα、β及びγの値は、簡単のため誤差の平均μ１、μ２及びμ３をそれぞれ０とすると、下記の式１５に示す関係から、下記の式１６に示すかたちで求まる。
【０１３０】
【数１４】
2018189636.tif 000016
【０１３１】
【数１５】
2018189636.tif 000017
【０１３２】
図１４に示した関係から、３つのステレオペアにおける距離ｄｅｐｔｈの誤差の分散すなわち、σ１２、σ２２及びσ３２はそれぞれ、対応するステレオペアの見込み角対応長ｄｅｆｆ１、ｄｅｆｆ２及びｄｅｆｆ３の約２乗に反比例する。この関係と式１６の結果とから、重み付け統合時の係数つまり重みα、β及びγの値は、個々のステレオペアによる測距時の見込み角対応長ｄｅｆｆ１、ｄｅｆｆ２及びｄｅｆｆ３を用いて下記の式１７のように表される。
【０１３３】
【数１６】
2018189636.tif 000018
【０１３４】
なお、式１１及び図１３より、図１３の計測点１６３から見たカメラ１及び２の角度（見込み角）Φは、見込み角対応長ｄｅｆｆと比例関係にあるので、式１７に示した重みα、β及びγの値は、下記の式１８としても同じ効果が得られ、本開示に含まれる。
【０１３５】
【数１７】
2018189636.tif 000019
【０１３６】
以上のことから、複数のカメラの中の着目するカメラｑについて、その画素座標値と位置情報との組を、着目カメラ視点における選択位置統合情報として下記の式１９のように表す。
【０１３７】
【数１８】
2018189636.tif 000020
【０１３８】
着目カメラｑは、２×２＝４眼の場合、図１２に示されるように、左下（ＬＬ）視点、右下（ＬＲ）視点、左上（ＵＬ）視点、右上（ＵＲ）のいずれかである。着目カメラｑについて、例えば、ｑがカメラ１０１ａ（左下視点）の場合、下記の式２０又は式２１のように、複数の位置情報に含まれる誤差の分散に応じた重み付け加算を行うことにより、位置情報の誤差の分散を最小化した対応点の３次元位置を得ることができる。なお、重み付け加算の重みα、β及びγにおいて、式２０では、誤差の分散の代わりに、見込み角対応長の２乗が用いられ、式２１では、誤差の分散の代わりに、見込み角の２乗が用いられている。つまり、式２０及び式２１では、画像のノイズレベル及びステレオ視による３次元位置の誤差の分散を用いずに、これらに対応する見込み角対応長及び見込み角を用いて、重み付け加算がされている。
【０１３９】
【数１９】
2018189636.tif 000021
【０１４０】
【数２０】
2018189636.tif 000022
【０１４１】
式２０及び式２１において、（ｘａｎ，ｙａｎ，ｚａｎ）は計測点の３次元位置であり、カメラ１０１ａが当該計測点を撮像した画像はカメラ１０１ａのカメラ画像における画素座標（ｕａｎ，ｖａｎ）で観察されることを意味する。また、（ｘ（ａ−ｂ）ｎ，ｙ（ａ−ｂ）ｎ，ｚ（ａ−ｂ）ｎ）は、上記の式４において、ｑをカメラ１０１ａに対応するａとし、ｒをカメラ１０１ｂに対応するｂとしたものである。つまり、（ｘ（ａ−ｂ）ｎ，ｙ（ａ−ｂ）ｎ，ｚ（ａ−ｂ）ｎ）は、カメラ１０１ａ及び１０１ｂの２つのカメラ画像間で、ステレオ視によって求められる３次元位置を示す。（ｘ（ａ−ｃ）ｎ，ｙ（ａ−ｃ）ｎ，ｚ（ａ−ｃ）ｎ）についても同様に、上記の式４において、ｑをカメラ１０１ａに対応するａとし、ｒをカメラ１０１ｃに対応するｃとしたものである。（ｘ（ａ−ｄ）ｎ，ｙ（ａ−ｄ）ｎ，ｚ（ａ−ｄ）ｎ）についても同様に、上記の式４において、ｑをカメラ１０１ａに対応するａとし、ｒをカメラ１０１ｄに対応するｄとしたものである。（ｘ（ａ−ｃ）ｎ，ｙ（ａ−ｃ）ｎ，ｚ（ａ−ｃ）ｎ）は、カメラ１０１ａ及び１０１ｃの２つのカメラ画像間のステレオ視による３次元位置を示す。（ｘ（ａ−ｄ）ｎ，ｙ（ａ−ｄ）ｎ，ｚ（ａ−ｄ）ｎ）は、カメラ１０１ａ及び１０１ｄの２つのカメラ画像間のステレオ視による３次元位置を示す。
【０１４２】
さらに、式２０のｄｅｆｆ，（ａ−ｂ）ｎは、カメラ１０１ａ及びカメラ１０１ｂで位置（ｘ（ａ−ｂ）ｎ，ｙ（ａ−ｂ）ｎ，ｚ（ａ−ｂ）ｎ）を三角測量する場合の見込み角対応長である。同様に、ｄｅｆｆ，（ａ−ｃ）ｎは、カメラ１０１ａ及びカメラ１０１ｃで位置（ｘ（ａ−ｃ）ｎ，ｙ（ａ−ｃ）ｎ，ｚ（ａ−ｃ）ｎ）を三角測量する場合の見込み角対応長であり、ｄｅｆｆ，（ａ−ｄ）ｎは、カメラ１０１ａ及びカメラ１０１ｄで位置（ｘ（ａ−ｄ）ｎ，ｙ（ａ−ｄ）ｎ，ｚ（ａ−ｄ）ｎ）を三角測量する場合の見込み角対応長である。
【０１４３】
また、式２１のΦ（ａ−ｂ）ｎは、カメラ１０１ａ及びカメラ１０１ｂで位置（ｘ（ａ−ｂ）ｎ，ｙ（ａ−ｂ）ｎ，ｚ（ａ−ｂ）ｎ）を三角測量する場合の見込み角である。同様に、Φ（ａ−ｃ）ｎは、カメラ１０１ａ及びカメラ１０１ｃで、位置（ｘ（ａ−ｃ）ｎ，ｙ（ａ−ｃ）ｎ，ｚ（ａ−ｃ）ｎ）を三角測量する場合の見込み角であり、Φ（ａ−ｄ）ｎは、カメラ１０１ａ及びカメラ１０１ｄで、位置（ｘ（ａ−ｄ）ｎ，ｙ（ａ−ｄ）ｎ，ｚ（ａ−ｄ）ｎ）を三角測量する場合の見込み角である。
【０１４４】
式２０又は式２１によって、カメラ１０１ａにおける画素座標（ｕａｎ，ｖａｎ）に対応する３次元座標（ｘａｎ，ｙａｎ，ｚａｎ）が、カメラ１０１ａを基準としてカメラ１０１ａ〜１０１ｄによって形成される３つのカメラペア１０１ａ−１０１ｂ、１０１ａ−１０１ｃ及び１０１ａ−１０１ｄの画像ペア（Ｉａ，Ｉｂ）、（Ｉａ，Ｉｃ）及び（Ｉａ，Ｉｄ）それぞれにおけるステレオ視による３次元位置を用いて算出される。
【０１４５】
式２０では、（ｘａｎ，ｙａｎ，ｚａｎ）を算出するために、カメラペアのカメラ画像のペアに基づく３次元座標の座標値に見込み角対応長を用いた重み付け値が加味されている。例えば、カメラ画像ペアＩａ及びＩｂに基づく３次元座標のｘ座標値に見込み角対応長を用いた重み付け値が積算され、カメラ画像ペアＩａ及びＩｃに基づく３次元座標のｘ座標値に見込み角対応長を用いた重み付け値が積算され、カメラ画像ペアＩａ及びＩｄに基づく３次元座標のｘ座標値に見込み角対応長を用いた重み付け値が積算され、この３つの積算値が加算されてｘａｎが算出される。加味される重みは、上記の式１７に示すように、各見込み角対応長の２乗を見込み角対応長の２乗の総和で除算したもの、つまり、（見込み角対応長の２乗）／（見込み角対応長の２乗の総和）である。このような重みは、見込み角対応長の２乗が正規化されたものであり、重みの総和が１となる。
【０１４６】
式２１では、（ｘａｎ，ｙａｎ，ｚａｎ）を算出するために、カメラペアのカメラ画像のペアに基づく３次元座標の座標値に、見込み角を用いた重み付け値が加味されている。例えば、カメラ画像ペアＩａ及びＩｂに基づく３次元座標のｘ座標値に見込み角を用いた重み付け値が積算され、カメラ画像ペアＩａ及びＩｃに基づく３次元座標のｘ座標値に見込み角を用いた重み付け値が積算され、カメラ画像ペアＩａ及びＩｄに基づく３次元座標のｘ座標値に見込み角を用いた重み付け値が積算され、この３つの積算値が加算されてｘａｎが算出される。加味される重みは、上記の式１８に示すように、各見込み角の２乗を見込み角の２乗の総和で除算したもの、つまり、（見込み角の２乗）／（見込み角の２乗の総和）である。このような重みは、見込み角の２乗が正規化されたものであり、重みの総和が１となる。
【０１４７】
図１５〜図１７に上記方法で位置情報を統合した場合の一例を示す。図１５は、４眼の魚眼レンズを有する撮像部１００によるステレオ画像の一例である。図１５は、カメラ１０１ａ〜１０１ｂのカメラ画像を示す。図１６は、位置情報の統合に用いたカメラ１０１ａのカメラ画像であり、カメラ画像中のポール位置がフレーム毎に異なる様に配置されている。図１６は、６つのフレームのカメラ画像を示し、６つのフレームの間では、被写体のうちのポールと撮像部１００との距離がそれぞれ異なっている。具体的には、フレーム１からフレーム６に向かうに従って、上記距離が大きくなる。図１７は、評価画像中で位置統合の評価を行った場所を示す図である。図１７では、それぞれのフレームで白い領域（つまり、無着色無模様領域）、すなわちポールの領域について、ＣＧ作成時に用意したポールの３次元位置と三角測量によって計算されたポールの３次元位置との差異から、位置情報の統合方法の比較を行うことができる。図１７のフレーム１〜６はそれぞれ、図１６のフレーム１〜６に対応する。
【０１４８】
ここで、位置情報の誤差の評価は、着目視点のカメラ（ここではカメラ１０１ａ）の各画素から見た位置情報で示される位置までの奥行き値、ｄｅｐｔｈａを用いて行う。奥行き値ｄｅｐｔｈａｎと位置情報（ｘａｎ，ｙａｎ，ｚａｎ）との関係は、下記の式２２で表される。
【０１４９】
【数２１】
2018189636.tif 000023
【０１５０】
なお、式１３〜式１７による上記の説明では、すべてのステレオペア、つまり画像ペアで遮蔽が生じていない場合の統合方法を示した。しかしながら、１組のステレオペアで遮蔽が生じている場合には、残りの２組のステレオペアによる測距値の重み付け統合を行うことにより、統合値が、選択位置統合情報として出力される。また、２組のステレオペアで遮蔽が生じている場合には、残りの１組のステレオペアによる測距値が、選択位置統合値として出力される。これにより、遮蔽の影響を受けずに測距値を選択統合できる。
【０１５１】
図１８を参照すると、上記の奥行き値ｄｅｐｔｈａの相対測距誤差（相対ＲＭＳ誤差とも呼ばれる）が比較して示されている。図１８における相対ＲＭＳ誤差は、図１６に示す６フレームのカメラ画像それぞれについて、図１７でポールの領域である評価領域における測距誤差から計算されている。図１８の結果から、同じ被写体であっても三角測量するカメラペアに応じて測距精度が異なることがわかる。特許文献１及び２に開示されている統合方法によって、測距誤差は低減されているが、３つのステレオペアのうちで最良のステレオペア（１０１ａ−１０１ｂ）による測距誤差を下回ることはできていない。これに対し、見込み角対応長の−２乗で重み付けを行う本実施の形態の統合方法では、最良のステレオペア（１０１ａ−１０１ｂ）による測距誤差を下回る測距誤差で位置情報を統合できている。
【０１５２】
このように、ステップＳ４０３では、位置選択統合部１１２は、遮蔽情報に基づいて、遮蔽されていない領域の位置情報を選択し、選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝を生成し、さらに選択した位置情報を見込み角対応長に基づいて重みづけ加算して、着目カメラ視点における選択位置統合情報Ｐ”ｑを生成する。
【０１５３】
次に、ステップＳ４０４では、画像補完部１１３は、撮像部１００のカメラ１０１ａ〜１０１ｄで撮影された複数のカメラ画像と、ステップＳ４０１で読み出された遮蔽情報、並びに、カメラ１０１ａ〜１０１ｄの内部パラメタ及び外部パラメタと、ステップＳ４０３で生成された選択位置統合情報Ｐ’totalと、着目カメラ視点における選択位置統合情報Ｐ”ｑとを取得する。さらに、画像補完部１１３は、カメラ画像の遮蔽領域の画素の画素値を、選択位置統合情報に基づいて、他の画像の画素の画素値に基づく値で置き換えることで補完画像を生成し、補完画像と着目カメラ視点における選択位置統合情報Ｐ”ｑとを出力する。
【０１５４】
以下、ステップＳ４０４の処理の詳細を説明する。本実施の形態では、画像Ｉａにおける遮蔽領域の画素の画素値を、他の３つの画像Ｉｂ、Ｉｃ及びＩｄと、選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝とを用いて補完する場合を説明する。
【０１５５】
ステップＳ４０４では、画像補完部１１３は、最初に、選択位置統合情報Ｐ’totalの全位置情報について、画像Ｉａ上の画素座標（ｕａ，ｖａ）を算出する。選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝を用いて算出される画像Ｉａ上の画素座標には、遮蔽情報を対応付けることができる。
【０１５６】
画像Ｉａ上の画素座標を算出する方法は以下の通りである。選択位置統合情報Ｐ’totalに含まれ且つカメラ１０１ｂ、１０１ｃ及び１０１ｄに対応するカメラｑの座標系の３次元位置（ｘｑ，ｙｑ，ｚｑ）と、カメラ１０１ａ及びカメラｑの外部パラメタＭｑ，ａとを用いて、カメラ１０１ａの座標系で、画像Ｉａの各画素に映し出される被写体の３次元位置（ｘａ，ｙａ，ｚａ）を算出する。カメラ１０１ａ及び１０１ｂの場合に関して、各カメラの座標系ＸａＹａＺａ及びＸｂＹｂＺｂと、カメラの外部パラメタＭａ，ｂとの関係を図１９に示す。そして、３次元位置（ｘａ，ｙａ，ｚａ）とカメラ１０１ａの内部パラメタ（ｆ，ｋ）と用いて、下記の式２３に基づき、カメラ１０１ａの画素座標（ｕａ，ｖａ）を算出することができ、これによりカメラ１０１ａの視点での遮蔽領域における距離値を生成することができ、着目視点での選択位置統合情報Ｐ”ａに遮蔽領域（ｕａ，ｖａ）における距離値の情報を追加する。
【０１５７】
以上述べた方法により、カメラ１０１ａの遮蔽領域における距離画像を生成できるのは、以下の理由による。つまり、ステップＳ４０３に関して上述したように、選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝に含まれる３次元位置では、ステレオカメラペアの双方の画像中で「被写体領域」に写っているものだけが選択されている。そのため、選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝に含まれる３次元位置のうち、カメラ１０１ａの「遮蔽領域」の画素位置に（ｕａ，ｖａ）が算出される３次元位置は、カメラ１０１ａを含まないカメラペアにより算出された３次元位置になる。
【０１５８】
なお、上記の説明では簡単のために３次元位置からカメラ１０１ａの２次元画像への投影による方法について説明したが、カメラ１０１ａの遮蔽領域中の同一画素に選択位置統合情報Ｐ’totalに含まれる３次元位置が複数回投影される場合には、被写体領域において行った見込角対応長を用いた重み付け加算による高精度化を行ってもよい。
【０１５９】
【数２２】
2018189636.tif 000024
【０１６０】
次に、ステップＳ４０４では、画像補完部１１３は、画像Ｉａの全ての画素のうち、遮蔽情報Ｏａ（ｕ，ｖ）が「遮蔽領域」である画素の座標（ｕ，ｖ）を抽出する。これを遮蔽画素ｏａｊ＝（ｕａｊ，ｖａｊ）と呼ぶ。次に、画像補完部１１３は、各遮蔽画素について、先に求めた選択位置統合情報Ｐ’totalから、カメラ１０１ａの画素座標（ｕａ，ｖａ）と、遮蔽画素の画素座標（ｕａｊ，ｖａｊ）との画像上での距離が最も近い対応点の位置情報を選択する。そして、画像補完部１１３は、選択した対応点で対応付けられる２つの画像Ｉｑ及びＩｒに関して、画像Ｉｑ及びＩｒ上での対応点の画素値ｉｑ（ｕｑｎ，ｖｑｎ）及びｉｒ（ｕｒｎ，ｖｒｎ）から対応点の画素値を算出し、この画素値を、画素座標（ｕａｊ，ｖａｊ）である画像Ｉａの遮蔽画素の画素値として設定する。２つの画像Ｉｑ及びＩｒ上の対応点の画素値ｉｑ（ｕｑｎ，ｖｑｎ）及びｉｒ（ｕｒｎ，ｖｒｎ）から、１つの画素値を算出する手法として、ここでは平均画素値を用いるものとする。さらに、画像補完部１１３は、上述の処理を遮蔽画素のすべてに繰り返し、画像Ｉａの遮蔽領域の全ての画素を新たな画素値に設定する。上記した画像補完のステップＳ４０４の詳細な動作により、補完画像が生成される。なお、遮蔽領域に含まれない画素の画素値は、変更することなく使用すればよい。
【０１６１】
図２０Ａ及び図２０Ｂはそれぞれ、補完画像及び着目カメラ視点における選択位置統合情報Ｐ”ｑの例を示す。図２０Ａは、図９Ａ中の「カメラ１０１ａ」のカメラ画像のうち、隣接するレンズ等により遮蔽される遮蔽領域を、選択位置統合情報を用いて、他の画像の画素値で置き換えて生成した画像である。図９Ｂの各カメラ画像では、右端の車両の多くの部分が遮蔽されているのに対し、図２０Ａの補完画像では、車両が遮蔽されていない。また、図２０Ｂは、カメラ１０１ａの視点における選択位置統合情報Ｐ”ａの情報から、画像Ｉａでの画素座標値と、各画素座標値に対応する３次元点とカメラ１０１ａとの距離に比例する輝度値とを算出し、濃淡画像として表した図である。
【０１６２】
このように、ステップＳ４０４では、画像補完部１１３は、基準画像上の遮蔽領域の画素について、選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝と他の画像とに基づいて、画素値を決定し、遮蔽領域を補完した補完画像を生成する。
【０１６３】
最後に、ステップＳ４０５では、障害物検出部１２０は、補完画像と選択位置統合情報とを取得し、選択位置統合情報に基づいて障害物等の３次元物体を検出し、検出した３次元物体の位置に対応する補完画像上の領域に、注視領域を示す枠を重畳合成して合成画像として出力する。
【０１６４】
本実施の形態において、選択位置統合情報に基づいて障害物を検出する手法として、選択位置統合情報の被写体の各３次元位置（ｘａ，ｙａ，ｚａ）とカメラ１０１ａとの距離ｄが、予め定められた距離ｄｔｈよりも小さい場合に、障害物上の点として検出する手法を用いる。さらに、障害物として検出された点の集まりの外接矩形が、補完画像に重畳され、合成画像として出力され、ディスプレイ１３０に表示される。
【０１６５】
このように、ステップＳ４０５では、障害物検出部１２０は、予め定めた閾値よりも近い位置に障害物等の３次元物体が存在する場合に、補完画像の対応する領域に注意を喚起する図形を重畳した合成画像を生成し、ディスプレイ１３０に出力する。
【０１６６】
以上のコンピュータ３００で実行されるステップＳ４０１〜Ｓ４０５の処理によって、撮像部１００で撮像された４つのカメラ画像から、画像処理部１１０では１つの補完画像と着目カメラ視点における選択位置統合情報とが生成され、障害物検出部１２０では１つの合成画像が生成され、それぞれ出力される。さらに、撮像部１００及びコンピュータ３００は、上記の動作を繰り返してもよい。
【０１６７】
ステップＳ４０５によって生成される合成画像の例を、図２１に示す。図２１から、自動車の車体後方のカメラに近い場所にある障害物（この例では、歩行者及び停止車両）に注意を喚起する枠が表示されるため、接触する可能性が高い障害物の存在を運転者が容易に認知できる。特に、従来技術による魚眼のカメラを用いた３次元位置算出方法では、カメラ本体によって遮蔽されるために画像及び画像に対応する３次元位置を取得できない領域についても、本実施の形態の撮像装置１は、例えば１８０度内の遮蔽のない画像と当該画像に対応する３次元位置とを取得できる。例えば、図９Ｂにおける「カメラ１０１ａ」の画像中の右側の車両は、その一部の領域がレンズにより遮蔽されている。しかしながら、撮像装置１は、図２０Ａのように、１８０度内の遮蔽領域のない画像と当該画像に対応する３次元位置とを取得することができる。さらに、撮像装置１は、図２１のように遮蔽領域のない合成画像を表示できる。
【０１６８】
上述したように、カメラ画像のノイズは、カメラ画像間の対応点のマッチング際のマッチング誤差の原因となり得る。そして、マッチング誤差は、三角測量時の角度誤差を生じさせ、カメラによるステレオ視で特定される３次元位置に誤差を生む。実施の形態に係る撮像装置１は、ノイズの分布をもとに、ステレオ視における３次元位置の誤差の分散を推定し、この分散を最小化する様に複数のステレオペア（つまり、カメラのペア）で測定された誤差を含む３次元位置を、見込み角対応長又は見込み角を用いた重みで重み付け加算することにより３次元位置の誤差を最小化することができる。画像のノイズレベルは、信号が一様なところでは画像から推定することができるが、信号が変化している場合には推定が困難になる。これに対して、見込み角対応長及び見込み角は、キャリブレーションされたカメラでは画素座標とカメラから見た視線方向との対応付けができているため、ステレオマッチングによる画像間の対応付けから一意に計算することが容易にできる。
【０１６９】
［その他］
以上、本開示の１つ以上の態様に係る撮像装置等について、実施の形態に基づいて説明したが、本開示は、実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つ以上の態様の範囲内に含まれてもよい。
【０１７０】
例えば、実施の形態に係る撮像装置１において、撮像部１００は４つのカメラ１０１ａ〜１０１ｄで構成されるものとしたが、カメラの数量は４つに限定されるものではない。あるカメラの画像に含まれる他のカメラによる遮蔽を補うためには、少なくとも３つのカメラがあればよく、３つ以上のいかなる数量のカメラが設けられてもよい。
【０１７１】
実施の形態に係る撮像装置１において、撮像装置１に含まれる複数のカメラのうちの１つのカメラに含まれる画素の画素値が、当該１つのカメラの部分を撮像した値を示す場合も、当該画素が遮蔽領域に含まれるとしてもよい。
【０１７２】
実施の形態に係る撮像装置１において、複数のカメラ画像のペアの入力を受けて、ステップＳ４０２〜Ｓ４０４までの処理を順次行うとしたが、ステップＳ４０２〜Ｓ４０４の処理が１度に取り扱うデータ量を、カメラ画像のペア毎に限定するものではなく、カメラ画像中の一部の領域ごと、又は、画素ごとに、ステップＳ４０２〜Ｓ４０４の処理を繰り返してもよい。
【０１７３】
実施の形態に係る撮像装置１において、ステップＳ４０４で、遮蔽領域に含まれる画素の画素値を他の画像の画素値から補完する方法として、遮蔽領域に含まれる画素の最近傍の対応点の画素の画素値を用いるとしたが、この方法に限定するものではない。選択位置統合情報に含まれる対応点の情報を用いて、遮蔽領域に含まれない画像の画素の画素値に基づいて、遮蔽領域の画素の画素値を設定する方法であれば、どのような方法であってもよい。例えば、遮蔽領域の画素とある一定距離以内の複数の対応点に基づいて、遮蔽領域に含まれない画像上の複数の画素とそれらの画素値とを参照して画素値を重みづけ加算する、などの方法を用いてもよい。
【０１７４】
実施の形態に係る撮像装置１において、ステップＳ４０２で、複数の画素について対応点を検出して３次元位置を算出したのち、ステップＳ４０３で、複数の画素のうち遮蔽領域に含まれない画素を選択する手順とした。しかしながら、遮蔽領域に含まれない画素を選択するための手順は上記に限定されるものではなく、結果として遮蔽領域に含まれない画素を選択することができれば、どのような手順であってもよい。例えば、画素の位置座標を算出したのちに、遮蔽領域に含まれない画素を選択する手順の代わりに、遮蔽情報を用いて遮蔽領域に含まれない画素を選択し、その後、選択した画素について対応点の検出とその３次元位置の算出とを行ってもよい。この手順は、実施の形態で説明した手順に比べて、対応点の検出及び３次元位置の算出が行われる画素の数が少ないため、計算量を削減できるという効果がある。
【０１７５】
実施の形態に係る撮像装置１は、自動車に搭載されていたが、搭載対象は、これに限定されない。撮像装置１は、複数のカメラで被写体とその被写体の３次元位置とを計測するいかなる用途に適用されてもよい。例えば、撮像装置１は、自動車以外のいかなる移動体に搭載されてもよく、監視カメラのような固定された対象物に搭載されてもよい。
【０１７６】
また、上述したように、本開示の技術は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。
【０１７７】
例えば、上記実施の形態に係る撮像装置に含まれる各構成要素は典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１７８】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続及び／又は設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１７９】
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、図６に示す様にＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０１８０】
また、上記構成要素の一部又は全部は、脱着可能なＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）カード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。
【０１８１】
本開示の画像処理方法は、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。
【０１８２】
さらに、本開示の技術は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよく、プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１８３】
また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
【０１８４】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【０１８５】
また、２つの直線上の点間の距離を最小化する点の組は、両者が共有する垂線の脚になることについて、以下に説明する。２つの直線のうちの直線１を、
【数２３】
2018189636.tif 000025
とし、２つの直線のうちの直線２を、
【数２４】
2018189636.tif 000026
とする。ここで、（Ｘ１，Ｙ１，Ｚ１）はカメラ１の位置であり、（Ｘ２，Ｙ２，Ｚ２）はカメラ２の位置である。（ａ１，ｂ１，ｃ１）及び（ａ２，ｂ２，ｃ２）はそれぞれ、カメラ１及びカメラ２の視線ベクトルを示す単位方向ベクトルとする。ｓはカメラ１からの距離を表し、ｔはカメラ２からの距離を表す。
【０１８６】
なお、単位方向ベクトル（ａ１，ｂ１，ｃ１）及び（ａ２，ｂ２，ｃ２）はそれぞれ、あらかじめカメラ１及びカメラ２をキャリブレーションしておくことにより、カメラ１及びカメラ２の画像中の任意の画素座標値（ｘ，ｙ）について一意にそれらの値が決まる様にしておく（すなわち、どの画素がどの方向に対応するか、事前に校正しておく）。
【０１８７】
そして、直線１上の点は、（Ｘ１＋ｓａ１，Ｙ１＋ｓｂ１，Ｚ１＋ｓｃ１）と表され、直線２上の点は、（Ｘ２＋ｔａ２，Ｙ２＋ｔｂ２，Ｚ２＋ｔｃ２）と表される。さらに、直線１上の点と直線２上の点との距離の２乗Ｊは、
【数２５】
2018189636.tif 000027
となる。
【０１８８】
視差推定が誤差なく正しく行われている場合には、直線１と直線２とは通常１点で交差するが、視差推定に誤差が含まれると、両者が交差しない場合が起こりえる。その様な場合も含めて、上記Ｊを最小化するｓ及びｔを求めることにより、カメラ１及びカメラ２からの距離を求めることができる。
【０１８９】
上記Ｊを最小にするｓ及びｔは、
【数２６】
2018189636.tif 000028
より、
【数２７】
2018189636.tif 000029
を解くことによって、
【数２８】
2018189636.tif 000030
として求めることができる。なお、上式中の逆行列は、（ａ１，ｂ１，ｃ１）＝（ａ２，ｂ２，ｃ２）、すなわち２直線が平行な場合を除き、計算することができる。また、２直線が平行な場合、被写体が無限遠にあると考え、ｓ＝∞、ｔ＝∞と考えればよい。
【０１９０】
以上のようにして求めたｓ及びｔについて、カメラ１を基準に考えるとｓがカメラ１の位置（Ｘ１，Ｙ１，Ｚ１）からの距離を表し、一方、カメラ２を基準に考えるとｔがカメラ２の位置（Ｘ２，Ｙ２，Ｚ２）からの距離を表す。
【０１９１】
なお、カメラ１及びカメラ２のどちらかのカメラを基準カメラとして考えるのではなく、上記２点の中点である
【数２９】
2018189636.tif 000031
を２直線の交点と考えてもよい。
【０１９２】
なお、Ｊを最小にする点の組（Ｘ１＋ｓａ１，Ｙ１＋ｓｂ１，Ｚ１＋ｓｃ１），（Ｘ２＋ｔａ２，Ｙ２＋ｔｂ２，Ｚ２＋ｔｃ２）の意味について考える。点（Ｘ１＋ｓａ１，Ｙ１＋ｓｂ１，Ｚ１＋ｓｃ１）は直線１上の点の中で、直線２に最も近い点である。点（Ｘ２＋ｔａ２，Ｙ２＋ｔｂ２，Ｚ２＋ｔｃ２）は直線２上の点の中で点（Ｘ１＋ｓａ１，Ｙ１＋ｓｂ１，Ｚ１＋ｓｃ１）に最も近い点、すなわち、点（Ｘ１＋ｓａ１，Ｙ１＋ｓｂ１，Ｚ１＋ｓｃ１）から直線２に降ろした垂線の足である。一方、点（Ｘ２＋ｔａ２，Ｙ２＋ｔｂ２，Ｚ２＋ｔｃ２）は直線２上の点の中で、直線１に最も近い点である。点（Ｘ１＋ｓａ１，Ｙ１＋ｓｂ１，Ｚ１＋ｓｃ１）は直線１上の点の中で点（Ｘ２＋ｔａ２，Ｙ２＋ｔｂ２，Ｚ２＋ｔｃ２）に最も近い点、すなわち、点（Ｘ２＋ｔａ２，Ｙ２＋ｔｂ２，Ｚ２＋ｔｃ２）から直線１に降ろした垂線の足である。
【０１９３】
以上のことから、上記Ｊを最小にするｓ及びｔによって決まる２点（Ｘ１＋ｓａ１，Ｙ１＋ｓｂ１，Ｚ１＋ｓｃ１）及び（Ｘ２＋ｔａ２，Ｙ２＋ｔｂ２，Ｚ２＋ｔｃ２）を通る直線は、直線１及び直線２の双方に垂直な直線、すなわち、直線１及び直線２について共通の垂線になっている。
【産業上の利用可能性】
【０１９４】
本開示に係る撮像装置等は、３眼以上のいかなる複眼カメラに有用である。
【符号の説明】
【０１９５】
１  撮像装置
１００  撮像部
１０１，１０１ａ〜１０１ｄ  カメラ
１１０  画像処理部
１１１  位置算出部
１１２  位置選択統合部
１１３  画像補完部
１１４  カメラパラメタ記憶部
１１５  カメラパラメタ取得部
１２０  障害物検出部
１３０  ディスプレイ
【図１】
2018189636.tif 000032
【図２Ａ】
2018189636.tif 000033
【図２Ｂ】
2018189636.tif 000034
【図３】
2018189636.tif 000035
【図４】
2018189636.tif 000036
【図５】
2018189636.tif 000037
【図６】
2018189636.tif 000038
【図７】
2018189636.tif 000039
【図８Ａ】
2018189636.tif 000040
【図８Ｂ】
2018189636.tif 000041
【図９Ａ】
2018189636.tif 000042
【図９Ｂ】
2018189636.tif 000043
【図１０】
2018189636.tif 000044
【図１１】
2018189636.tif 000045
【図１２】
2018189636.tif 000046
【図１３】
2018189636.tif 000047
【図１４】
2018189636.tif 000048
【図１５】
2018189636.tif 000049
【図１６】
2018189636.tif 000050
【図１７】
2018189636.tif 000051
【図１８】
2018189636.tif 000052
【図１９】
2018189636.tif 000053
【図２０Ａ】
2018189636.tif 000054
【図２０Ｂ】
2018189636.tif 000055
【図２１】
2018189636.tif 000056