(57)【要約】  第１画像を撮像する第１カメラ（１０２）と、第２画像を撮像する第２カメラ（１０３）と、透光性を有する複数の部分と複数の稜線を有し、第１カメラ（１０２）と第２カメラ（１０３）を覆うレンズカバー（１０６）と、複数の部分は上部と複数の隣接部を含み、複数の隣接部のそれぞれは上部と隣接し、複数の稜線の各々は、複数の隣接部の複数の表面の各々と上部の表面の間に形成され、第１画像において、画素値の補間が必要な領域にある画素を特定し、特定した画素の画素値を補間するための補間画素情報と、第１画像とを用い、出力画像を生成する処理回路（１１１）を備え、複数の稜線の各々は、第１カメラ（１０２）の第１レンズの中心と第２カメラ（１０３）の第２レンズの中心とを結ぶ基線に対してねじれの位置にあり、上部は第１カメラ（１０２）と前記第２カメラ（１０３）が設置される基台に対向する撮像装置（１０１）。
2018110264.tif 000002
【特許請求の範囲】
【請求項１】
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向する
撮像装置。
【請求項２】
前記処理回路は、前記画素の特定を、前記第１画像と前記第２画像とに基づいて行う
請求項１記載の撮像装置。
【請求項３】
さらに、前記領域を特定するための領域特定情報を記憶する記憶部を備え、
前記処理回路は、前記領域特定情報に基づいて、前記画素の特定を行う
請求項１記載の撮像装置。
【請求項４】
前記処理回路は、前記補間画素情報として、前記領域から所定の距離以下に位置する近傍画素の画素値を取得する
請求項１〜３のいずれか１項記載の撮像装置。
【請求項５】
さらに、第３画像を撮像する第３のカメラを備え、
前記処理回路は、前記第２画像と前記第３画像とを用いて、前記補間画素情報として、前記領域に対応する画素の画素値の情報を取得する
請求項１〜３のいずれか１項記載の撮像装置。
【請求項６】
前記レンズカバーはさらに前記基台の上面を覆い、前記上面の外接円の半径を半径とする球に包含される
請求項１〜５のいずれか１項記載の撮像装置。
【請求項７】
前記複数の稜線の１つとその近傍領域は、曲面に置き換えられた
請求項１〜６のいずれか１項記載の撮像装置。
【請求項８】
前記レンズカバーはさらに前記基台の上面を覆い、
前記上部の外表面、前記上部の内表面、前記上面とが平行である
請求項１〜７のいずれか１項記載の撮像装置。
【請求項９】
前記レンズカバーはさらに前記基台の上面を覆い、
前記上部の外表面と前記上面は相似形であり、
前記上部の外表面は前記上面より小さい
請求項１〜７のいずれか１項記載の撮像装置。
【請求項１０】
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、
前記レンズカバーの外形は、
Ｎをカメラの数、Ｓを視野、ｉを前記第１カメラまたは前記第２カメラを示すインデックス、
【数１２】
2018110264.tif 000022
をカメラｉの単位視線ベクトル、
【数１３】
2018110264.tif 000023
を前記カメラｉの視線ベクトルが通過する位置における前記カバーの単位法線ベクトルとする場合に、
【数１】
2018110264.tif 000024
で規定される評価値Ｊが、０．７よりも大きくなる形状である
撮像装置。
【請求項１１】
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にある
撮像装置。
【請求項１２】
撮像方法であって、
第１のカメラに第１画像を撮像させ、
第２のカメラに第２画像を撮像させ、
前記第１のカメラ及び前記第２のカメラは、透光性を有する複数の部分と複数の稜線を有するレンズカバーで覆われ、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定させ、（ｉｉ）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成させ、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向する
撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、カメラによる撮像技術に関する。
【背景技術】
【０００２】
ステレオ測距やライトフィールドカメラの撮像装置においては、複数の視点から撮像した画像から、被写体の奥行きの算出や仮想視点による像の合成等を行う。これらの複眼撮像装置を屋外環境で継続して使用する場合、レンズ保護のために、レンズカバーを用いる（例えば、特許文献１、特許文献２、特許文献３参照。）。【０００３】
一般に、レンズ同士の距離が大きい場合は個々のレンズに対してレンズカバーを使用し、レンズ同士の距離が小さい場合は複数のレンズに対して一つのレンズカバーを使用する。したがって、小型な撮像装置においては、複眼、すなわち複数のレンズに対し、単一のカメラモジュールと単一のレンズカバーを使用することが好適である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２２２４２３号公報
【特許文献２】特開２００９−２１１０１２号公報
【特許文献３】特開２００９−２２３５２６号公報
【非特許文献】
【０００５】
【非特許文献１】Roger Y. Tsai. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses. IEEE Journal of Robotics and Automation. Vol. 3, pp.323-344, 1987
【発明の概要】
【０００６】
複数のレンズを１つのレンズカバー内に収納する場合には、そのレンズカバーのサイズを小さくするために、そのレンズカバーの外形を、稜線を有する形状とすることが考えられる。
【０００７】
しかしながら、稜線を有するレンズカバーを利用する場合には、稜線付近を通過する光が歪んでしまうため、撮像画像において、通過光が正しく結像しない領域が生じてしまう。
【０００８】
そこで、本開示は、従来よりも、レンズカバーの稜線付近を通過する光の歪みによる撮像画像への影響を低減可能な撮像装置、及び撮像方法を提供する。
【０００９】
本開示の非限定的で例示的な一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向する。
【００１０】
また、本開示の非限定的で例示的な一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、前記レンズカバーの外形は、Ｎをカメラの数、Ｓを視野、ｉを前記第１カメラまたは前記第２カメラを示すインデックス、
【００１１】
【数１２】
2018110264.tif 000003
【００１２】
をカメラｉの単位視線ベクトル、
【００１３】
【数１３】
2018110264.tif 000004
【００１４】
を前記カメラｉの視線ベクトルが通過する位置における前記カバーの単位法線ベクトルとする場合に、
【００１５】
【数１】
2018110264.tif 000005
【００１６】
で規定される評価値Ｊが、０．７よりも大きくなる形状であることを特徴とする。
【００１７】
また、本開示の非限定的で例示的な一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあることを特徴とする。
【００１８】
なお、これらの包括的または具体的な態様は、システム、方法で実現されてもよく、装置、システム、方法の任意な組み合わせで実現されてもよい。
【００１９】
本開示によれば、従来よりも、レンズカバーの稜線による影響を低減することが可能となる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
【図面の簡単な説明】
【００２０】
【図１】図１は、実施の形態１に係る撮像装置の構成を示すブロック図
【図２Ａ】図２Ａは、広角カメラとレンズカバーとの位置関係を示す平面図
【図２Ｂ】図２Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図
【図３】図３は、レンズカバーの断面の一部を示す図
【図４】図４は、補間部の動作を示すフローチャート
【図５】図５は、第１判定処理を示すフローチャート
【図６】図６は、第２判定処理を示すフローチャート
【図７】図７は、補間ステップの処理を示すフローチャート
【図８】図８は、４眼で行う世界座標算出の模式図
【図９Ａ】図９Ａは、広角カメラとレンズカバーとの位置関係を示す平面図
【図９Ｂ】図９Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図
【図１０Ａ】図１０Ａは、広角カメラとレンズカバーとの位置関係を示す平面図
【図１０Ｂ】図１０Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図
【図１１Ａ】図１１Ａは、広角カメラとレンズカバーとの位置関係を示す平面図
【図１１Ｂ】図１１Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図
【図１２Ａ】図１２Ａは、広角カメラとレンズカバーとの位置関係を示す平面図
【図１２Ｂ】図１２Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図
【図１２Ｃ】図１２Ｃは、車載用途における、広角カメラとレンズカバーとの位置関係を示す側面図
【図１３Ａ】図１３Ａは、広角カメラとレンズカバーとの位置関係を示す平面図
【図１３Ｂ】図１３Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図
【図１３Ｃ】図１３Ｃは、車載用途における、広角カメラとレンズカバーとの位置関係を示す側面図
【図１３Ｄ】図１３Ｄは、車載用途における、広角カメラとレンズカバーとの位置関係を示す側面図
【図１４Ａ】図１４Ａは、広角カメラとレンズカバーとの位置関係を示す平面図
【図１４Ｂ】図１４Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図
【図１５Ａ】図１５Ａは、広角カメラとレンズカバーとの位置関係を示す平面図
【図１５Ｂ】図１５Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図
【図１６Ａ】図１６Ａは、広角カメラとレンズカバーとの位置関係を示す平面図
【図１６Ｂ】図１６Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図
【図１７Ａ】図１７Ａは、広角カメラとレンズカバーとの位置関係を示す平面図
【図１７Ｂ】図１７Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図
【図１８】図１８は、カメラの視野を説明する概念図
【図１９】図１９は、評価値Ｊを説明する概念図
【図２０Ａ】図２０Ａは、広角カメラとレンズカバーとの位置関係を示す平面図
【図２０Ｂ】図２０Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図
【図２１】図２１は、評価値Ｊの等高線図
【図２２Ａ】図２２Ａは、広角カメラとレンズカバーとの位置関係を示す平面図
【図２２Ｂ】図２２Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図
【図２３】図２３は、実施の形態５に係る撮像装置の構成を示すブロック図
【図２４】図２４は、カバーの側面図
【図２５】図２５は、補間部の動作を示すフローチャート
【図２６】図２６は、レンズカバーを説明するための平面図
【図２７】図２７は、レンズカバーを説明するための平面図
【発明を実施するための形態】
【００２１】
（本開示の一態様を得るに至った経緯）
発明者は、上記従来の撮像装置等に関し、以下の問題等が生じることを見出した。
【００２２】
移動体、例えば、ドローンまたは車における周辺監視または運転支援のために、ステレオカメラが利用される。この様な目的には、広角な複眼カメラが好適である。また、移動体の場合、撮像システムに対し、設置位置、サイズ、および、重量の制約を生じる。設置位置に関しては、広い視野を確保するために移動体表面付近が好適である。サイズに関しては、衝突を避けるためにレンズカバーが低く、搭載スペースの制約により小型が好適である。重量に関しては、特にドローン等の飛行体において軽量であることが好適である。独立した広角カメラを複数配置する撮像システムにおいて、前記制約を満たすことは困難である。
【００２３】
発明者は、このような問題を鑑みて、単一のハウジングされた小型複眼撮像装置による、広角撮像を可能とするレンズカバー、およびこれを用いた撮像装置を想到するに至った。
【００２４】
このような問題を解決するために、本開示の一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向することを特徴とする。
【００２５】
これにより、上記撮像装置によると、従来よりも、レンズカバーの稜線付近による影響を低減することが可能となる。
【００２６】
例えば、さらに、前記処理回路は、前記画素の特定を、前記第１画像と前記第２画像とに基づいて行うとしてもよい。
【００２７】
これにより、この撮像装置は、予め、いずれの画素が稜線付近を通過する光の歪みの影響を受ける領域の画素であるかが特定されていなくても、自装置によって取得された画像を利用して、稜線付近を通過する光の歪みの影響を受ける領域の画素を特定することが可能となる。
【００２８】
例えば、さらに、前記領域を特定するための領域特定情報を記憶する記憶部を備え、前記処理回路は、前記領域特定情報に基づいて、前記画素の特定を行うとしてもよい。
【００２９】
これにより、この撮像装置は、自装置によって取得された画像を利用しなくても、稜線付近を通過する光の歪みの影響を受ける領域の画素を特定することが可能となる。
【００３０】
例えば、さらに、前記処理回路は、前記補間画素情報として、前記領域から所定の距離以下に位置する近傍画素の画素値を取得するとしてもよい。
【００３１】
これにより、この撮像装置は、第１画像から出力画像を生成することが可能となる。
【００３２】
例えば、さらに、第３画像を撮像する第３のカメラを備え、前記処理回路は、前記第２画像と前記第３画像とを用いて、前記補間画素情報として、前記領域に対応する画素の画素値の情報を取得するとしてもよい。
【００３３】
これにより、この撮像装置は、稜線付近を通過する光の歪みの影響を受ける領域の画素が、より精度良く補間された出力画像を生成することが可能となる。
【００３４】
例えば、さらに、前記レンズカバーはさらに前記基台の上面を覆い、前記上面の外接円の半径を半径とする球に包含されるとしてもよい。
【００３５】
これにより、この撮像装置は、レンズカバーの高さが比較的低くなることから、外部物体との接触の可能性を低減することが可能となる。
【００３６】
例えば、さらに、前記複数の稜線の１つとその近傍領域は、曲面に置き換えてもよい。
【００３７】
これにより、この撮像装置は、レンズカバーの安全性を向上させることが可能となる。
【００３８】
例えば、さらに、前記レンズカバーはさらに前記基台の上面を覆い、前記上部の外表面、前記上部の内表面、前記上面とが平行であるとしてもよい。
【００３９】
これにより、この撮像装置は、レンズカバーの上部の外表面を垂直に透過する光を、基台の上面に垂直に入射する光とすることが可能となる。
【００４０】
例えば、さらに、前記レンズカバーはさらに前記基台の上面を覆い、前記上部の外表面と前記上面は相似形であり、前記上部の外表面は前記上面より小さくてもよい。
【００４１】
これにより、この撮像装置は、稜線の数の増加を抑制することが可能となる。
【００４２】
本開示の一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、前記レンズカバーの外形は、Ｎをカメラの数、Ｓを視野、ｉを前記第１カメラまたは前記第２カメラを示すインデックス、
【００４３】
【数１２】
2018110264.tif 000006
【００４４】
をカメラｉの単位視線ベクトル、
【００４５】
【数１３】
2018110264.tif 000007
【００４６】
を前記カメラｉの視線ベクトルが通過する位置における前記カバーの単位法線ベクトルとする場合に、
【００４７】
【数２】
2018110264.tif 000008
【００４８】
で規定される評価値Ｊが、０．７よりも大きくなる形状であることを特徴とする。これにより、上記撮像装置によると、従来よりも、レンズカバーの稜線付近による影響を低減することが可能となる。
【００４９】
本開示の一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあることを特徴とする。
【００５０】
これにより、従来よりも、レンズカバーの稜線付近による影響を低減することが可能となる。
【００５１】
本開示の一態様に係る撮像方法は、撮像方法であって、第１のカメラに第１画像を撮像させ、第２のカメラに第２画像を撮像させ、前記第１のカメラ及び前記第２のカメラは、透光性を有する複数の部分と複数の稜線を有するレンズカバーで覆われ、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定させ、（ｉｉ）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成させ、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向することを特徴とする。
【００５２】
これにより、従来よりも、レンズカバーの稜線付近による影響を低減することが可能となる。
【００５３】
以下本開示の実施の形態について、図面を参照しながら説明する。なお、以下に説明する実施の形態は、いずれも本開示における好ましい一具体例を示すものである。したがって、以下の実施の形態で示される、数値、形状、材料、構成要素、構成要素の配置位置および接続形態、工程、並びに、工程の順序などは、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示における最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００５４】
なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。
【００５５】
（実施の形態１）
（錐台形状）
本実施の形態における撮像装置は、正方形の上面を有する基台に配置された４つの広角カメラのレンズを含む。基台の上面の中心は、この正方形の対角線の交点である。４つの広角カメラのそれぞれのレンズの形状を半球とした場合、４つの広角カメラのそれぞれのレンズは基台の上面と円を形成して交わる。この円の中心を広角カメラのレンズの中心と定義した場合、４つの広角カメラの４つのレンズの４つの中心の中心が、基台の上面の中心と一致するように４つのレンズを基台の上面に配置し、かつ、基台の上面の中心に対し、４つのレンズが対称となるように配置する。
【００５６】
カメラモジュールは基台と基台の上面に設置された４つ撮像素子を含んでもよい。４つ撮像素子と４つの広角カメラのそれぞれは対応する。各々の広角カメラは対応する撮像素子と対応する広角カメラレンズを含んでよい。
【００５７】
なお、本開示の撮像装置は２つ以上の広角カメラを含み、２つ以上の広角カメラに対して本開示の内容を適用してもよい。
【００５８】
ここで、カメラはカメラキャリブレーション済みとし、カメラパラメータは既知とする。カメラパラメータはピンホールカメラのカメラモデルに基づいたカメラパラメータを使用してもよく（式１）、Ｔｓａｉの手法（非特許文献１参照）など、既知の方式で前記カメラパラメータを算出できる。
【００５９】
【数３】
2018110264.tif 000009
【００６０】
ここでは、画像中心のｘ成分とｙ成分をＣｘとＣｙ、焦点距離をｆ、撮像素子の１画素のｘとｙ方向の長さをそれぞれｄ’ｘ、ｄ’ｙ、カメラの世界座標の基準に対する３行３列の回転行列をＲ（右下添え字の１０の位は行を、１の位は列を表す）、カメラの世界座標の基準に対する並進のｘ、ｙ、ｚ成分をそれぞれＴｘ、Ｔｙ、Ｔｚ、自由度のない媒介変数をｈとする。
【００６１】
図１は、実施の形態１に係る撮像装置１０１の構成を示すブロック図である。
【００６２】
同図に示されるように、撮像装置１０１は、第１の広角カメラ１０２と、第２の広角カメラ１０３と、第３の広角カメラ１０４と、第４の広角カメラ１０５と、レンズカバー１０６と、フレームメモリ１０７と、処理回路１１１とを含む。一例として、第１の広角カメラ１０２〜第４の広角カメラ１０５のそれぞれは、１１０°以上の視野角を有する。なお、広角カメラを単にカメラと呼ぶことがある。
【００６３】
以下、これら構成要素について説明する。
【００６４】
第１の広角カメラ１０２は、第１画像を撮像する。第２の広角カメラ１０３は、第２画像を撮像する。第３の広角カメラ１０４は、第３画像を撮像する。第４の広角カメラ１０５は、第４画像を撮像する。
【００６５】
第１の広角カメラ１０２〜第４の広角カメラ１０５は、広角カメラの視野の重なりがあるように、基台の上面に配置する。例えば、第１の広角カメラの視野は第２の広角カメラの視野と重なりがあり、第１の広角カメラの視野は第３の広角カメラの視野と重なりがあり、第１の広角カメラの視野は第４の広角カメラの視野と重なりがあり、第２の広角カメラの視野は第３の広角カメラの視野と重なりがあり、第２の広角カメラの視野は第４の広角カメラの視野と重なりがあり、第３の広角カメラの視野は第４の広角カメラの視野と重なりがある。
【００６６】
レンズカバー１０６は、透光性を有する複数の部分を有し、第１の広角カメラ１０２〜第４の広角カメラ１０５を覆う。複数の部分のそれぞれは、外表面と外表面に平行な内表面を有する。外表面は被写体から光を受光し、内表面は、外表面が受光した光に対応する光を出力すると考えてもよい。より具体的には、レンズカバー１０６は、第１の広角カメラ１０２〜第４の広角カメラ１０５が配置される基台の上面全体を、立体角２πｒａｄの範囲で覆う。一例として、レンズカバー１０６は、透明な樹脂製である。
【００６７】
図２Ａ、図２Ｂは広角カメラとレンズカバーとの位置関係を示す図である。
【００６８】
図２Ａ、図２Ｂにおいて、５０１は基台、５０２〜５０５はそれぞれ第１の広角カメラ１０２〜第４の広角カメラ１０５のレンズ、１０６はレンズカバー、５０６は基台５０１に外接する仮想的な半球面である。基台５０１の厚さを無限小と考えてもよい。
【００６９】
図２Ａ、図２Ｂに示されるように、レンズカバー１０６は、１つの上部と４つの側面を有する。レンズカバー１０６の形状は、正方形の基台５０１の上面を底面、１つの上部、及び、４つの側面で構成される錐台形である。ここで、ｈはレンズカバー１０６の高さ、ｄは基台の一辺の長さの半分であり、基台に外接する仮想的な半球面の半径は、
【００７０】
【数４】
2018110264.tif 000010
【００７１】
となる。
【００７２】
よって、レンズカバー１０６は、基台に外接する仮想的な半球面５０６の底面の直径より
【００７３】
【数５】
2018110264.tif 000011
【００７４】
倍より小さい底面サイズとなるレンズカバーを使用できる。
【００７５】
ここで、レンズカバー１０６の稜線付近を通過する光の振る舞いについて、図面を参照しながら説明する。レンズカバー１０６は４つの側部と１つの上部を含む複数の部分を有する。複数の部分のうち、隣り合う２つの部分は稜線を有する。レンズカバー１０６は８つの稜線を有する。
【００７６】
図３は、レンズカバー１０６の断面の一部を示す図である。
【００７７】
同図に示されるように、稜線付近の領域は、近似的に、板厚を辺の長さとする２辺を含む四角形を断面とするレンズと見なせる。これにより、稜線付近を通過する光が歪んでしまう。このため、撮像画像において、稜線付近に対応する部分に、通過光が正しく結像せずにぼやけてしまう領域（以下、この領域のことを「稜線付近を通過する光の歪みの影響を受ける領域」と呼ぶ。）が生じることとなる。
【００７８】
再び図１に戻って、撮像装置１０１の構成についての説明を続ける。
【００７９】
フレームメモリ１０７は、第１の広角カメラ１０２〜第４の広角カメラ１０５で撮影された画像を記憶する。
【００８０】
処理回路１１１は、第１画像における、レンズカバー１０６の複数の部分のうちの互いに隣り合う２つの部分の稜線付近を通過する光の歪みの影響を受ける領域にある画素を特定し、特定した画素の画素値を補間するための補間画素情報と第１画像とを用いて出力画像を生成する。処理回路１１１は、一例として、プロセッサ（図示せず）がメモリ（図示せず）に記憶されるプログラムを実行することで実現されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用ハードウエア回路によって実現されてもよい。
【００８１】
処理回路１１１は、補間部１０８と、画像合成部１０９と、画像出力部１１０とを含む。補間部１０８は稜線付近を通過する光の歪みの影響を受ける領域に含まれる画素の画素値を補間する。
【００８２】
補間部１０８の行う補間について、図面を参照しながら説明する。
【００８３】
図４は補間部１０８の動作を示すフローチャートである。
【００８４】
同図に示されるように、補間部１０８は、各カメラの撮像画像が入力されると（ステップＳ４０１）、稜線付近を通過する光の歪みの影響を受ける領域を判定し（ステップＳ４０２）、稜線付近を通過する光の歪みの影響を受ける領域に含まれる画素の画素値を稜線付近を通過する光の歪みの影響を受けない領域に含まれる画素の画素値で補間する（ステップＳ４０３）。
【００８５】
稜線付近を通過する光の歪みの影響を受ける領域の判定は、（１）複眼の共通視野領域の画像を用いて判定する処理（第１判定処理）と、（２）予め既知のパターンを撮像することにより、予め稜線付近を通過する光の歪みの影響を受ける領域に位置する画素の画素座標を算出して記憶しておき、この座標を用いて判定する処理（第２判定処理）とのいずれかによって実現可能である。
【００８６】
以下、これら第１判定処理と第２判定処理とについて、図面を参照しながら説明する。
【００８７】
図５は、第１判定処理を示すフローチャートである。
【００８８】
補間部１０８は、稜線付近を通過する光の歪みの影響を受ける領域か否かを判定するために、着目カメラで撮像された画像における着目画素近傍領域にマッチングする領域を他のカメラで撮像された画像から探索する（ステップＳ５０１）。この画像マッチングは、画素比較に用いる矩形画像領域（例えば，一辺４画素の正方形）の画素値の差に基づきマッチング誤差を算出し、マッチング誤差が最小となる画像領域をマッチング領域とする。
【００８９】
ここで、マッチングの一手法であるブロックマッチングの一具体例について説明する。
【００９０】
補間部１０８は、基準画像中の画素位置（ｘ０,ｙ０）を中心とする基準ブロックに対して、参照画像の探索領域中で、下記（式２）で定義される残差平方和（ＳＳＤ）を計算し、探索領域内でＳＳＤを最小とする画素位置（ｕｉ,ｖｊ）を、画素位置（ｘ０,ｙ０）における推定値（ｕ,ｖ）とする。
【００９１】
【数６】
2018110264.tif 000012
【００９２】
ここでは、ｆ１（ｘ,ｙ）は基準画像の画素位置（ｘ，ｙ）における輝度値、ｆ２（ｘ,ｙ）は、参照画像の画素位置（ｘ，ｙ）における輝度値、ｗは相関演算を行うブロック領域をそれぞれ示す。
【００９３】
再び、第１判定処理の説明を続ける。
【００９４】
稜線付近を通過する光の歪みの影響を受ける領域の判定は、使用カメラ数により分岐する（ステップＳ５０２）。
【００９５】
使用カメラ数が３つ以上の場合は、補間部１０８は、全てのカメラペアでステレオ測距する（ステップＳ５０３）。例えば、使用カメラの数が４つ、例えば、第１の広角カメラ、第２の広角カメラ、第３の広角カメラ、第４の広角カメラである場合、第１の広角カメラと第２の広角カメラのペアでステレオ測距し、第１の広角カメラと第３の広角カメラのペアでステレオ測距し、第１の広角カメラと第４の広角カメラのペアでステレオ測距し、第２の広角カメラと第３の広角カメラのペアでステレオ測距し、第２の広角カメラと第４の広角カメラのペアでステレオ測距し、第３の広角カメラと第４の広角カメラのペアでステレオ測距する。
【００９６】
補間部１０８は、ステップＳ５０３の測距により算出した世界座標値または奥行値の差に基づいて測距誤差を算出する（ステップＳ５０４）。
【００９７】
そして、補間部１０８は、ステップＳ５０４で算出した測距誤差と、カメラパラメータの誤差から見積もられる測距誤差に基づいた閾値とを比較する（ステップＳ５０５）。この閾値は、測距誤差とカメラパラメータの誤差に相関があることに基づき決定できる。ステレオ測距は測定対象物と２カメラの位置を頂点とする三角形を求め、三角測量の原理に基づき測定対象物の位置を算出する。このため、カメラ位置から測定対象物に向かう方向ベクトルをカメラパラメータから算出した場合、カメラパラメータの誤差に起因する測距誤差を生じる。カメラ位置から測定対象物に向かう方向ベクトルの誤差は、カメラパラメータの再投影誤差から見積もることができる。再投影誤差は、世界座標をカメラパラメータで画像上に投影して算出した画像座標と、画像座標に対応する真値の画像座標との距離である。再投影誤差は、Ｔｓａｉの手法など、既知のカメラ校正方式の評価値として利用されており、カメラパラメータ算出時に取得することができる。また、カメラ位置から測定対象物に向かう方向ベクトルの誤差はカメラモデルと再投影誤差に基づき見積もることができる。例えば、カメラモデルが式１で示したピンホールカメラの場合、カメラ中心ＣｘとＣｙをそれぞれ，撮像画像の横方向と縦方向の画素数の半分、回転行列Ｒを単位行列、並進Ｔｘ、Ｔｙ、Ｔｚをそれぞれ０とすることにより、画像座標と、カメラ位置から測定対象物に向かう方向ベクトルの関係は式３で表せる。
【００９８】
【数７】
2018110264.tif 000013
【００９９】
ここで、ωｘとωｙは、カメラ位置から測定対象物に向かう方向ベクトルとカメラの光軸のなす角のｘ成分とｙ成分である。再投影誤差のｘ成分とｙ成分の誤差をそれぞれΔｘ、Δｙ、前記方向ベクトルとカメラの光軸のなす角のｘ成分とｙ成分の誤差をそれぞれΔωｘ、Δωｙとする（式４）。
【０１００】
【数８】
2018110264.tif 000014
【０１０１】
カメラ位置から測定対象物に向かう方向ベクトルの誤差Δωｘ、Δωｙと測距誤差の関係は、測距対象物までの距離に応じて見積もることできる。カメラ位置から測定対象物に向かう方向ベクトルに誤差が存在する場合、２カメラの方向ベクトル上の２直線は、測距対象物を通過せず，かつ、ねじれの位置となる。２直線の交点の近似位置として、２直線に対し最短距離となる位置として算出できる。
【０１０２】
ステップＳ５０５において、測距誤差が閾値より小さい場合は，画素を稜線付近を通過する光の歪みの影響を受けない領域（ステップＳ５０７）に設定し、閾値より大きい場合は，画素を稜線付近を通過する光の歪みの影響を受ける領域（ステップＳ５０８）に設定する。これらの設定は画素毎に行ってもよい。
【０１０３】
ステップＳ５０２において、使用カメラ数が３つ未満の場合は、マッチ誤差と画像ノイズに基づいた閾値と比較、または、マッチ誤差と画素のサンプリング誤差に基づいた閾値と比較する（ステップＳ５０６）。例えば、画像全体の平均輝度ノイズレベルの定数倍（２〜３倍程度）を閾値とすればよい。
【０１０４】
画像の輝度ノイズレベルは、一例として、以下の手順で計算できる。
【０１０５】
同じシーンをＮフレーム（例えば１００枚）撮像し、それらＮフレームで、画素ごとに輝度値の分散と標準偏差とを計算できる。この各画素の標準偏差の全画素平均を、画素全体の輝度ノイズレベルとする。
【０１０６】
ブロックマッチングにおいて、同じ被写体領域を参照した場合でも、画像全体の輝度ノイズレベル程度のマッチング誤差を生じる。したがって、輝度ノイズレベルの定数倍（２〜３倍程度）を、マッチング判定の閾値として使用可能である。
【０１０７】
ステップＳ５０６において、マッチング誤差が閾値より小さい場合はステップＳ５０７で対象画素を稜線付近を通過する光の歪みの影響を受けない領域に設定し、閾値より大きい場合はステップＳ５０９の処理に進む。
【０１０８】
ステップＳ５０９の処理において、補間部１０８は、マッチング誤差が閾値より大きい、互いに異なる画像に含まれる、対応する２つのブロックについて、輝度勾配の大きさ（輝度勾配が大きい場合、画像が鮮明）を比較して、より輝度勾配が大きいブロックをステップＳ５０７で稜線付近を通過する光の歪みの影響を受けない領域に設定し、より輝度勾配が小さいブロックをステップＳ５０８で稜線付近を通過する光の歪みの影響を受ける領域に設定する。
【０１０９】
なお、使用カメラ数が３つ以上の場合、マッチング誤差による稜線付近を通過する光の歪みの影響を受ける領域か否かの判定をしても良い。
【０１１０】
次に、第２判定処理について説明する。
【０１１１】
この第２判定処理を行う場合には、撮像装置１０１は、稜線付近を通過する光の歪みの影響を受ける領域を特定するための領域特定情報を記憶する記憶部をさらに備える。
【０１１２】
稜線付近による画像上のぼけ領域は、予め既知のパターンを撮影することにより、特定できる。既知パターンの例として、格子線、チェッカーパターンが使用可能である。白黒の２色パターンの場合、ぼけ領域では灰色が現れ、エッジが失われる。記憶部は、このぼけ領域に位置する画素座標を、領域特定情報として記憶する。
【０１１３】
図６は、第２判定処理を示すフローチャートである。
【０１１４】
補間部１０８は、記憶部に記憶される領域特定情報を参照して、対象となる画素が、稜線付近を通過する光の歪みの影響を受ける領域に該当するか否かを調べる（ステップＳ６０１）。
【０１１５】
ステップＳ６０１の処理において、対象となる画素が稜線付近を通過する光の歪みの影響を受ける領域に該当する場合には、補間部１０８は、対象となる画素を、稜線付近を通過する光の歪みの影響を受ける領域（ステップＳ６０２）に設定し、対象となる画素が稜線付近を通過する光の歪みの影響を受けない場合には、補間部１０８は、対象となる画素を、稜線付近を通過する光の歪みの影響を受けない領域（ステップＳ６０３）に設定する。
【０１１６】
再び、図４に戻り、図４を用いた説明を続ける。
【０１１７】
画像合成部１０９は補間部１０８によって判定された稜線付近を通過する光の歪みの影響を受ける領域の画素値を、補間された画像により、稜線付近を通過する光の歪みの影響を受ける領域を含まない単一の画像として合成する（ステップＳ４０３）。そして、画像出力部１１０は画像合成部１０９により生成した画像を出力する。
【０１１８】
図７は、補間ステップ（ステップＳ４０３）の処理を示すフローチャートである。遮蔽領域における画素値の補間は、使用カメラ数により分岐する（ステップＳ７０１）。
【０１１９】
使用カメラ数が３つ以上の場合は、稜線付近を通過する光の歪みの影響を受ける領域判定ステップＳ４０２の全てのカメラペアのステレオ測距により算出した世界座標に基づいて、稜線付近を通過する光の歪みの影響を受ける領域に対応する世界座標を算出する（ステップＳ７０２）。この世界座標は、全てのカメラペアのステレオ測距の平均及び／または測距点が集中している位置を選択すればよい。
【０１２０】
ここで、世界座標算出の一具体例について、図面を参照しながら説明する。
【０１２１】
図８は、４眼で行う世界座標算出の模式図である。
【０１２２】
４眼でステレオ測距する場合、６通りのカメラペアを選択でき、これらカメラペアの各測距位置をＰ１〜Ｐ６とする。ここでは、Ｐ１〜Ｐ６から３点選択する場合において、分散が最小となる組は、Ｐ１〜Ｐ３であるとする。ここで言う分散とは、３次元座標のＸ，Ｙ，Ｚの各成分における分散の平均のことである。
【０１２３】
この場合には、４眼全体としての測距点Ｑの世界座標は、Ｐ１〜Ｐ６の重心Ｇ（Ｇ（Ｘ，Ｙ，Ｚ）は、Ｐ１〜Ｐ６の３次元座標のＸ，Ｙ，Ｚ成分の平均）、または、測距点が集中する点の組（図中のＰ１〜Ｐ３）の重心Ｑとすればよい。
【０１２４】
再び、図７に戻って、補間ステップ（ステップＳ４０３）の説明を続ける。
【０１２５】
着目カメラＰ１にて撮像した撮像画像Ａ１における稜線付近を通過する光の歪みの影響を受ける領域の画素Ｂ１の画素値Ｃ１は、ステップＳ７０２で算出した稜線付近を通過する光の歪みの影響を受ける領域に含まれる画素Ｂ１の世界座標Ｗに対応する画素Ｂ２の画素値Ｃ２で補間する。この対応する画素Ｂ２の画素値Ｃ２は、着目カメラとは別のカメラＰ２のカメラパラメータで前記の世界座標をこの別のカメラＰ２にて撮像した撮像画像Ａ２に投影した画素座標を求め、この画素座標に対応する画素の画素値を求めればよい（ステップＳ７０３）。なお、撮像画像Ａ２の稜線付近を通過する光の歪みの影響を受けない領域に、投影した画素Ｂ２が含まれていることが、撮像画像Ａ２を使用する前提となる。
【０１２６】
ステップＳ７０１において、使用カメラ数が３つ未満の場合は、近傍画素からバイリニアもしくはバイキュービック補間等の公知の補間方法によって画素値を補間する（ステップＳ７０４）。
【０１２７】
上記構成の撮像装置１０１は、稜線付近を通過する光の歪みの影響を受ける領域の画素値を補間することにより、レンズカバー１０６の稜線付近を通過する光の歪みに起因する出力画像の欠損は生じない。
【０１２８】
以下、カメラ数が４以外の場合について例示する。
【０１２９】
図９Ａ、図９Ｂに、カメラ数が３かつレンズ配置が対称配置におけるレンズカバー１２０１を示す。図９Ａ、図９Ｂにおいて、第１の広角カメラのレンズ１２０２、第２の広角カメラのレンズ１２０３、第３の広角カメラのレンズ１２０４を正三角形に配置し、三角錐台のレンズカバー１２０１の上底を１２０５とする。
【０１３０】
図１０Ａ、図１０Ｂに、カメラ数が５かつレンズ配置が対称配置におけるレンズカバー１４０１を示す。図１０Ａ、図１０Ｂにおいて、第１の広角カメラのレンズ１４０２、第２の広角カメラのレンズ１４０３、第３の広角カメラのレンズ１４０４、第４の広角カメラのレンズ１４０５、第５の広角カメラのレンズ１４０６を正五角形に配置し、五角錐台のレンズカバー１４０１の上底を１４０７とする。
【０１３１】
図１１Ａ、図１１Ｂに、カメラ数が６かつレンズ配置が対称配置におけるレンズカバー１６０１を示す。図１１Ａ、図１１Ｂにおいて、第１の広角カメラのレンズ１６０２、第２の広角カメラのレンズ１６０３、第３の広角カメラのレンズ１６０４、第４の広角カメラのレンズ１６０５、第５の広角カメラのレンズ１６０６、第６の広角カメラのレンズ１６０７を正六角形に配置し、六角錐台のレンズカバー１６０１の上底を１６０８とする。
【０１３２】
なお、カメラ数が３〜６でない、あるいは、レンズ配置が対称配置でない、これらの例以外の場合は、レンズカバーの外形は、基台の上面を底面とする錐台とすれば良い。また、各カメラにおける稜線付近を通過する光の歪みの影響を受ける領域はレンズカバーの稜線と、撮像素上の画素の位置関係から定めても良い。
【０１３３】
また、レンズカバーの形状は、カメラのレンズが配置されている基台の上面を覆う形状であれば、必ずしも、その形状は直錐台である場合に限られない。外形が直錐台以外の形状のレンズカバーの例について、図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂに図示する。
【０１３４】
図１２Ａ、図１２Ｂにおいて、５１１は基台、５１２〜５１５はそれぞれ第１の広角カメラ１０２〜第４の広角カメラ１０５のレンズ、１１６はレンズカバーである。
【０１３５】
図１２Ａ、図１２Ｂにおいて、レンズカバー１１６の上部は、基台５１１の上面と平行にはなっていない。前記レンズカバー１１６の上部の法線ベクトルと前記基台５１１の上面の法線ベクトルのなす角度が０°より大きく、３０°以下になる様に前記レンズカバー１１６の上面を傾ける。なお、図１２Ａ、図１２Ｂではレンズカバー１１６に板厚を考慮せずに記載されているが、レンズカバー１１６の上部の外表面とそれに対応する内表面は互いに平行であると考えてよい。つまり、レンズカバー１１６の上部の外表面とそれに対応する内表面はともに基台５１１の上面と平行にはなっていない。レンズカバー１１６の上部上面の法線ベクトルは、レンズカバー１１６の上部の外表面の法線ベクトル、レンズカバー１１６の上部の内表面の法線ベクトルのどちらであってもかまわない。
【０１３６】
前記レンズカバー１１６の上部を基台カメラモジュール５１１の上面に対して傾けることにより、前記レンズカバー１１６の稜線付近を通過する光の歪みの影響を受けない共通視野を広くできる。例えば、車載用途において、空に対して地表側の映像が重要であるので、図１２Ｃの様な配置にする。つまり、レンズカバー１１６の上部の法線ベクトルが地表に向かうようにする。
【０１３７】
図１３Ａ、図１３Ｂにおいて、５２１は基台、５２２〜５２５はそれぞれ第１の広角カメラ１０２〜第４の広角カメラ１０５のレンズ、１２６はレンズカバーである。
【０１３８】
図１３Ａ、図１３Ｂにおいて、レンズカバー１２６の上部は、基台５２１の上面と平行ではある。なお、図１３Ａ、図１３Ｂではレンズカバー１２６に板厚を考慮せずに記載されているが、レンズカバー１２６の上部の外表面とそれに対応する内表面は互いに平行であると考えてよい。つまり、レンズカバー１２６の上部の外表面とそれに対応する内表面はともに基台５２１の上面と平行である。一方、レンズカバー１２６を平面視した場合において、レンズカバー１２６の上部の外表面の重心の位置と、基台の上面に設けられた第１の広角カメラの〜第４の広角カメラのレンズ５２３〜５２５のそれぞれの中心の中心と、１０６はレンズカバーの上部の外表面の中心とがずれている。
【０１３９】
前記レンズカバー１２６の上部と下部が平行であることを維持しながら，平行移動することにより、前記レンズカバー１２６の稜線付近を通過する光の歪みの影響を受ける領域が含まれない共通視野を広くできる。例えば、車載用途において、空に対して地表側の映像が重要であるので、図１３Ｃの様な配置にする。つまり、レンズカバー１２６の上部の法線ベクトルが地表に向かうようにする。
【０１４０】
相似形のレンズカバーでも稜線付近を通過する光の歪みの影響を低減する効果が得られるため、レンズカバーの大きさ等の閾値はレンズカバー全体に対する割合で規定される。真球の半分で規定される半球のレンズカバーであれば，球の半径のみでレンズカバーの大きさを定義できる。ここで、半球のレンズカバーの場合、レンズカバーの大きさとは、球の直径に相当する。または、レンズカバーの大きさとは、レンズカバーの平面図における直径に相当する。
【０１４１】
一方、錐台のレンズカバーの大きさの表現は複数考えられる。このため，錐台レンズカバーの大きさを表す有効な指標として、平均基線長Ｄを定義する。
【０１４２】
【数１０】
2018110264.tif 000015
【０１４３】
ここで、Ｎはカメラ台数（レンズ数）、ｄは基線長（レンズ間距離）である。
【０１４４】
この平均基線長を用いることで、複数のレンズが不規則に配置された場合でも、レンズカバーの大きさを規定される。なお、基線長の平均の代わりに、最小値、最大値、中央値、または標準偏差も利用できる。
【０１４５】
複数のレンズを同一の場所に配置することはできないため、Ｎ≧２においてＤ＞０となる。図２６のような正方形状にレンズを配置した場合、水平方向のレンズ間距離をａとすると、
【０１４６】
【数１１】
2018110264.tif 000016
【０１４７】
となる。
【０１４８】
図２７は、レンズ同士を最密配置し、最小の正方形の表面を有する基台を用いた場合を示す。レンズ半径として、光軸対称なレンズを仮定し、光軸からの最大距離をｒとする。例えば、半径ｒのレンズを４つ使用する場合、球面レンズカバーの半径の最小値は2√2 rとなる。
【０１４９】
上記のように、レンズ同士の最密配置を考えることで、平均基線長Ｄの下限を算出できる（上限は基台の表面のサイズに依存し、基台の表面の端にレンズを配置した場合である）。したがって、レンズカバーの大きさ等の閾値は平均基線長の定数倍等で規定できる。例えば、レンズカバーの大きさは、
【０１５０】
【数１５】
2018110264.tif 000017
【０１５１】
以上平均基線長の３倍以下である。
【０１５２】
レンズカバーの更なる他の形状について、以下の実施の形態２で説明する。
【０１５３】
（実施の形態２）
（ねじれ錐台形状）
実施の形態１におけるレンズカバーの形状は錐台形状に限る必要はない。錐台の上底を、上底が位置する平面上でθ（θ≠０）回転させることにより、上底の辺が下底の辺に対しねじれの位置に存在する多面体となる。この多面体をねじれ錐台と呼ぶ。説明を簡単にするため、実施の形態１と同様の４つの広角カメラで説明する。
【０１５４】
実施の形態２に係る撮像装置は、実施の形態１に係る撮像装置１０１から、レンズカバー１０６が、後述するレンズカバー６３１（図１４Ａ、図１４Ｂ参照）に変更されている。
【０１５５】
図１４Ａ、図１４Ｂは広角カメラとねじれ錐台レンズカバーの配置を示す図である。図１４において、実施の形態１と同一構成要素には、図２Ａ、図２Ｂと同一の符号を付し、その説明を省略する。６３１は外形がねじれ錐台形状のレンズカバー、６３２は６３１の上底の４辺のうち、前記辺とレンズ５０２と５０３を結ぶ線分を含む矩形を考えた時に、前記矩形の面積が最小となる辺、６３３はレンズ５０２とレンズ５０３の中心を結ぶ線分（基線）を示す。なお、４つのレンズのそれぞれの形状を半球とした場合、４つのレンズのそれぞれは基台の上面と円を形成して交わる。この円の中心をレンズの中心と定義してもよい。
【０１５６】
６３２と６３３の位置関係は回転角θ（θ≠０）ねじれており、非平行である。すなわち、レンズカバー６３１における複数の面のうちの上部の外表面を囲む各稜線は、第１の広角カメラ（第１のカメラ）１０２と第２の広角カメラ（第２のカメラ）１０３とを結ぶ基線に対してねじれの位置にある。このようにカメラの基線とレンズカバーの上底の辺がねじれの位置にある場合、稜線付近を通過する光の歪みの影響は、ある空間中の１点の世界座標に対し１つのカメラのみによって発生する。一方、錐台形状の場合、基線と上底の辺を共に含む３次元空間中の平面（錐台形状の場合、基線と上底の辺が平行であり，前記基線と前記辺を含む平面が存在する．）が、上記基線を形成するカメラペアの両方にとって、稜線付近を通過する光の歪みの影響を受ける領域となる。
【０１５７】
図１４Ａ、図１４Ｂで示される例では、レンズカバー６３１の上部の外表面の各辺は、第１の広角カメラ（第１のカメラ）のレンズ５０２と第２の広角カメラ（第２のカメラ）のレンズ５０３とを結ぶ基線に対してねじれの位置にある。
【０１５８】
このように、実施の形態２に係る撮像装置は、第１画像を撮像する第１の広角カメラ（第１のカメラ）１０２と、第２画像を撮像する第２の広角カメラ（第２のカメラ）１０３と、透光性を有する複数の面からなり、第１の広角カメラ（第１のカメラ）１０２及び第２の広角カメラ（第２のカメラ）１０３を覆うレンズカバー６３１と、第１画像における、上記複数の面のうちの互いに隣り合う２つの面の境界線である稜線付近を通過する光の歪みの影響を受ける領域にある画素を特定し、特定した画素の画素値を補間するための補間画素情報と、第１画像とを用いて、出力画像を生成する処理回路１１１とを備え、レンズカバー６３１における上記複数の面のうちの上部の外表面を囲む各稜線は、第１の広角カメラ（第１のカメラ）１０２と第２の広角カメラ（第２のカメラ）１０３とを結ぶ基線に対してねじれの位置にある。
【０１５９】
以上により、レンズカバーの外形をねじれ錐台形状にすることにより、レンズカバーの稜線付近を通過する光の歪みの影響を受ける領域を含む画像を撮像するカメラの台数を少なくすることができ、その結果、稜線付近を通過する光の歪みの影響を受けない画像を撮像する別のカメラによる画素値を用いた補間を容易にすることができる。
【０１６０】
カメラ数が４でない場合について説明する。
【０１６１】
図１５Ａ、図１５Ｂは３つの広角カメラと錐台レンズカバーの配置を示す図である。図１５Ａ、図１５Ｂにおいて、実施の形態１と同一構成要素には、図９Ａ、図９Ｂと同一の符号を付し、その説明を省略する。１３０１はねじれ錐台形状のレンズカバー、１３０２は１３０１の上底の３辺のうち、最もレンズ１２０２とレンズ１２０３の近傍に位置する辺、１３０３はレンズ１２０２とレンズ１２０３の中心を結ぶ線分（基線）を示す。
【０１６２】
図１６Ａ、図１６Ｂは５つの広角カメラと錐台レンズカバーの配置を示す図である。図１６Ａ、図１６Ｂにおいて、実施の形態１同一構成要素には、図１０Ａ、図１０Ｂと同一の符号を付し、その説明を省略する。１５０１はねじれ錐台形状のレンズカバー、１５０２は１５０１の上底の５辺のうち、最もレンズ１４０２とレンズ１４０３の近傍に位置する辺、１５０３はレンズ１４０２とレンズ１４０３の中心を結ぶ線分（基線）を示す。
【０１６３】
図１７Ａ、図１７Ｂは６つの広角カメラと錐台レンズカバーの配置を示す図である。図１７Ａ、図１７Ｂにおいて、実施の形態１と同一構成要素には、図１６Ａ、図１６Ｂと同一の符号を付し、その説明を省略する。１７０１はねじれ錐台形状のレンズカバー、１７０２は１７０１の上底の６辺のうち、最もレンズ１６０２とレンズ１６０３の近傍に位置する辺、１７０３はレンズ１６０２とレンズ１６０３の中心を結ぶ線分（基線）を示す。
【０１６４】
なお、カメラ数が３〜６でない、あるいは、レンズ配置が対称配置でない、これらの例以外の場合は、レンズカバーの外形は、基台を底面とするねじれ錐台とすれば良い。
【０１６５】
（実施の形態３）
（入射光がなるべく垂直に通過）
レンズカバーの形状は、入射光の減衰の影響を低減するためには、前記入射光の通過するレンズカバー面が入射光の方向ベクトルに対し、垂直であることが好適である。この様にレンズカバーによる減衰の影響を考慮した形状について実施の形態３で説明する。
【０１６６】
図１８は、カメラの視野を説明する概念図である。カメラ１８０１の光軸を１８０２とし、カメラの視野Ｓを１８０３とする。視野の境界を通過する直線と光軸のなす角を半画角ω１８０４とする。視線の方向ベクトルと視線の方向ベクトルが通過するレンズカバー面の法線ベクトルのなす角が小さい場合、入射光の通過するレンズカバー面が入射光の方向ベクトルに対し、垂直に近くなり、レンズカバーによる入射光の減衰が小さく好適である。２つ以上のカメラを覆うレンズカバーにおいて、レンズカバー全体として視線の方向ベクトルとレンズカバー面の法線ベクトルのなす角を評価するには、レンズ位置を中心とする視野Ｓについて、視線の方向ベクトルの単位ベクトルである単位視線ベクトルと、視線の方向のベクトルが通過するレンズカバー面の法線ベクトルの単位ベクトルである単位法線ベクトルの内積を各カメラで算出すれば良い。上記２ベクトルのなす角の大きさを評価する評価値Ｊを式５に示す。
【０１６７】
【数９】
2018110264.tif 000018
【０１６８】
ここでは、Ｎはカメラ数、ｉはカメラインデックス、
【０１６９】
【数１２】
2018110264.tif 000019
【０１７０】
は単位視線ベクトル、
【０１７１】
【数１３】
2018110264.tif 000020
【０１７２】
は視線ベクトルが通過する位置におけるレンズカバーの単位法線ベクトルである。
【０１７３】
この評価値Jは上記２ベクトルのなす角に対する平均余弦に相当する。つまり、評価値Ｊは、上記２ベクトルのなす角が０の場合に最大値１となる。例えば、半画角９０°の１つのカメラに対し、カメラの中心と球面の中心が一致する半球面のレンズカバーを使用した場合、式５の評価値Ｊの算出を図１９で説明する。図１９において、図１８と同一構成要素には、図１８と同一の符号を付し、その説明を省略する。カメラの視線ベクトルを１９０１、視線ベクトルが通過する微小視野を１９０２、微小視野の単位法線ベクトルを１９０３とする。式５における面積分の領域の奥行き値は任意であるのでＲの半球面とする。球面の法線ベクトルは前記球面中心を通過するので、レンズカバーと視線ベクトルは直交し、式５の
【０１７４】
【数１４】
2018110264.tif 000021
【０１７５】
の内積は常に１となる。したがって、式５の評価値Ｊは最大値である１となる。
【０１７６】
図２０Ａ、図２０Ｂに実施の形態１と同様の４つのカメラを例として説明する。図２０Ａ、図２０Ｂにおいて、実施の形態１と同一構成要素には、図２Ａ、図２Ｂと同一の符号を付し、その説明を省略する。７０１は式５におけるレンズ位置を中心とする視野であり、カメラの視野は半球状（光軸から９０°以内）とする。ｗは上底の辺の長さの半分、φは錐台の側面と底面のなす角を示す。ここでは一例として、レンズカバーの底面の一辺を３０ｍｍ、レンズの中心を底面の辺から７．５ｍｍ離した位置とする。この配置において、数７の評価値Ｊを最大化するｗとｈを算出する。レンズカバーの構造的制約として、０＜ｗ≦１５ｍｍ、０＜ｈ≦３０ｍｍとする。解析的な解の計算は困難なため、視線ベクトルを球面座標系で等角度間隔に生成し、数値解を得る。実際の例として角度分解能０．３６°の場合、最大値Ｊは０．８４１で、視線ベクトルと視線ベクトルが通過するレンズカバー面の法線ベクトルのなす角の平均は３２．７°となる。この時、ｗ＝１１．３７ｍｍ、ｈ＝８．１１ｍｍ、φ＝６５．９°（図２１）となる。なお、φ＝６０°の場合には、評価値Ｊはおよそ０．７となる。このため、φ＝６５．９°となる上記形状のレンズカバーは、φ＝６０°の場合よりも、レンズカバーによる入射光減衰の影響を低減することができていると言える。
【０１７７】
ここで、レンズが基台の中央に１つある場合と複眼の場合の差異について説明する。前者の場合、対称性から側面から見たときに正六角形を半分にした台形において評価値Ｊを最大化し、φ＝６０°となる。それに対し後者の場合、レンズの位置がレンズカバーの中央にないため、φは６０°より大きい６５．９°で評価値Ｊが最大となる。したがって、１つのレンズを基台の中央に配置した場合における評価値Ｊの最大値は、実施の形態３における入射光に対してレンズカバーがより垂直であることを示す閾値の例となる。
【０１７８】
以上により、レンズカバーに入射する光の角度を評価値Ｊによって評価することができ、前記評価値を大きくする様にレンズカバー形状を決定することにより、レンズカバーによる入射光の減衰の影響を低減することができる。
【０１７９】
（実施の形態４）
（レンズカバーは、高さが低く、半球面レンズカバーの内部に位置）
移動体、例えば車またはドローン、において、レンズカバーの突出は衝突の原因となりうる。このため、レンズカバーの高さは低いことが好適である。このため、基台に外接する円の半径を半径とする半球面レンズカバーより内部にレンズカバーを配置する。
【０１８０】
図２２Ａ、図２２Ｂを用いて、実施の形態１と同様の４つのカメラを例として説明する。図２２Ａ、図２２Ｂにおいて、実施の形態１と同一構成要素には、図２Ａ、図２Ｂと同一の符号を付し、その説明を省略する。Ｐはレンズカバーの上底の頂点を示す（頂点は４つあるが、対称性があるので１点を代表とする）。半球面５０６の内部にＰが存在するようにレンズカバーを配置することにより、レンズカバーの高さを半球面レンズカバーに対して低くする。
【０１８１】
この場合には、レンズカバーは、第１の広角カメラ（第１のカメラ）１０２及び第２の広角カメラ（第２のカメラ）１０３が配置されている下面（基台５０１の上面）の外接円の半径を半径とする球に包含される。
【０１８２】
以上により、レンズカバーの高さを低くし、衝突の可能性を低減できる。
【０１８３】
（実施の形態５）
（角丸）
移動体、例えば、車またはドローンにおいて、安全性の観点から角がない形状が好適である。このため、レンズカバーの稜線と稜線近傍の領域を曲面に置き換えた形状の場合、レンズカバーに角はなく、安全な形状となる。
【０１８４】
図２３に、実施の形態５の撮像装置９０１のブロック図を示す。説明を簡単にするため、実施の形態１と同様の４つのカメラを例とする。
【０１８５】
同図に示されるように、実施の形態５に係る撮像装置９０１は、実施の形態１に係る撮像装置１０１（図１参照）から、レンズカバー１０６がレンズカバー９０６に置き換えられ、補間部１０８が補間部９０８に置き換えられて構成される。レンズカバー９０６は、レンズカバー１０６からその稜線と稜線近傍の領域を曲面に置き換えたものとなっている。以下、このレンズカバー１０６について説明する。
【０１８６】
図２４に、レンズカバーの稜線と稜線近傍の領域を曲面に置き換えたレンズカバーであるレンズカバー９０６の側面図を示す。１００１はレンズ、１００２は底面と平行なレンズカバー面であり、上面と呼ぶ。なお、図２４ではレンズカバーの板厚を無視して記載している。このレンズカバー面はレンズカバーの外表面と考えてもよい。レンズカバーの内表面も同じ考え方で設計してもよい。１００３は底面に接するレンズカバー面であり、側面と呼ぶ。１００４は上面１００２と側面１００３に接する円筒であり、図２４の側面図においては円となる。レンズカバーの稜線と稜線近傍の領域を曲面に置き換えるには、図２４の配置のように、２つの平面部１００２、１００３に接するように曲面を配置し、実施の形態１〜４の錐台レンズカバーとねじれ錐台レンズカバーにおける稜線と稜線近傍の領域を、上記の曲面で置き換えることにより得られる。上記曲面の大きさは曲率半径で表せられる。車載用途における安全基準を満たすことが好適であり、例えば、道路運送車両の保安基準の細目を定める告示［２０１６年６月１８日］別添２０（外装の技術基準）より、曲率半径が２．５ｍｍ以上とする。また、基台の大きさに基づいて曲率を定めてもよく、前記基台の１辺の長さに対する割合、例えば１％とすればよい。
【０１８７】
なお、上記曲面は１００４の円筒に限らない。稜線と稜線近傍の領域を除くレンズカバーの平面領域は、実施の形態の１〜４と同様に定めれば良く、その説明は省略する。
【０１８８】
補間部９０８は、レンズカバー９０６の曲面によって生じる画像上の稜線付近を通過する光の歪みの影響を受ける領域において、画素値を補間する。この補間について、図２５を用いて説明する。
【０１８９】
図２５は補間部９０８の動作を示すフローチャートである。
【０１９０】
同図に示されるように、補間部９０８の行う動作は、実施の形態１に係る補間部１０８の行う動作（図４参照）から、ステップＳ４０２の処理が、ステップＳ１１０２の処理へと変更されたものとなっている。以下、このステップＳ１１０２の処理について説明する。
【０１９１】
補間部９０８は、レンズカバーの曲面による画像上の光の歪みの影響を受ける遮蔽領域を判定する（ステップＳ１１０２）。この判定は、以下に説明する３つの方法のいずれか、あるいは、それらの組み合わせで行う。１つ目の方法としては、実施の形態１〜４と同様に着目カメラの着目画素近傍領域にマッチする領域が他のカメラにあるか否かで算出する。２つ目の方法としては、レンズカバーの設計値に基づき、画像上の画素ごとに入射光が曲面を通過するか否かで算出する。３つ目の方法としては、レンズカバーによって生じる遮蔽領域の境界から所与の画素数以内に位置するか否かで算出する。
【０１９２】
以上により、角がなく安全性を向上したレンズカバーを使用し、小型な撮像装置で広角撮影を行える。
【０１９３】
以上、一つまたは複数の態様に係る撮像装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１９４】
本開示に係る撮像装置、及び撮像方法は、移動体、例えば、ドローンまたは車における、例えば、周辺監視または運転支援の用途において有用である。
【符号の説明】
【０１９５】
１０１，９０１  撮像装置
１０２  第１の広角カメラ（第１のカメラ）
１０３  第２の広角カメラ（第２のカメラ）
１０４  第３の広角カメラ（第３のカメラ）
１０５  第４の広角カメラ（第４のカメラ）
１０６，１１６，１２６，６３１，９０６，１２０１，１３０１，１４０１，１５０１，１６０１，１７０１  レンズカバー
１０７  フレームメモリ
１０８，９０８  補間部
１０９  画像合成部
１１０  画像出力部
１１１  処理回路
【図１】
2018110264.tif 000025
【図２Ａ】
2018110264.tif 000026
【図２Ｂ】
2018110264.tif 000027
【図３】
2018110264.tif 000028
【図４】
2018110264.tif 000029
【図５】
2018110264.tif 000030
【図６】
2018110264.tif 000031
【図７】
2018110264.tif 000032
【図８】
2018110264.tif 000033
【図９Ａ】
2018110264.tif 000034
【図９Ｂ】
2018110264.tif 000035
【図１０Ａ】
2018110264.tif 000036
【図１０Ｂ】
2018110264.tif 000037
【図１１Ａ】
2018110264.tif 000038
【図１１Ｂ】
2018110264.tif 000039
【図１２Ａ】
2018110264.tif 000040
【図１２Ｂ】
2018110264.tif 000041
【図１２Ｃ】
2018110264.tif 000042
【図１３Ａ】
2018110264.tif 000043
【図１３Ｂ】
2018110264.tif 000044
【図１３Ｃ】
2018110264.tif 000045
【図１３Ｄ】
2018110264.tif 000046
【図１４Ａ】
2018110264.tif 000047
【図１４Ｂ】
2018110264.tif 000048
【図１５Ａ】
2018110264.tif 000049
【図１５Ｂ】
2018110264.tif 000050
【図１６Ａ】
2018110264.tif 000051
【図１６Ｂ】
2018110264.tif 000052
【図１７Ａ】
2018110264.tif 000053
【図１７Ｂ】
2018110264.tif 000054
【図１８】
2018110264.tif 000055
【図１９】
2018110264.tif 000056
【図２０Ａ】
2018110264.tif 000057
【図２０Ｂ】
2018110264.tif 000058
【図２１】
2018110264.tif 000059
【図２２Ａ】
2018110264.tif 000060
【図２２Ｂ】
2018110264.tif 000061
【図２３】
2018110264.tif 000062
【図２４】
2018110264.tif 000063
【図２５】
2018110264.tif 000064
【図２６】
2018110264.tif 000065
【図２７】
2018110264.tif 000066
【手続補正書】
【提出日】平成30年12月17日(2018.12.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向し、
前記処理回路は、前記画素の特定を、前記第１画像と前記第２画像とに基づいて行う
撮像装置。
【請求項２】
さらに、前記領域を特定するための領域特定情報を記憶する記憶部を備え、
前記処理回路は、前記領域特定情報に基づいて、前記画素の特定を行う
請求項１記載の撮像装置。
【請求項３】
前記処理回路は、前記補間画素情報として、前記領域から所定の距離以下に位置する近傍画素の画素値を取得する
請求項１記載の撮像装置。
【請求項４】
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向し、
前記レンズカバーはさらに前記基台の上面を覆い、前記上面の外接円の半径を半径とする球に包含される
撮像装置。
【請求項５】
前記複数の稜線の１つとその近傍領域は、曲面に置き換えられた
請求項４記載の撮像装置。
【請求項６】
前記レンズカバーはさらに前記基台の上面を覆い、
前記上部の外表面、前記上部の内表面、前記上面とが平行である
請求項４項記載の撮像装置。
【請求項７】
前記レンズカバーはさらに前記基台の上面を覆い、
前記上部の外表面と前記上面は相似形であり、
前記上部の外表面は前記上面より小さい
請求項４記載の撮像装置。
【請求項８】
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、
前記レンズカバーの外形は、
Ｎをカメラの数、Ｓを視野、ｉを前記第１カメラまたは前記第２カメラを示すインデックス、
【数１２】
2018110264.tif 000067
をカメラｉの単位視線ベクトル、
【数１３】
2018110264.tif 000068
を前記カメラｉの視線ベクトルが通過する位置における前記カバーの単位法線ベクトルとする場合に、
【数１】
2018110264.tif 000069
で規定される評価値Ｊが、０．７よりも大きくなる形状である
撮像装置。
【請求項９】
撮像方法であって、
第１のカメラに第１画像を撮像させ、
第２のカメラに第２画像を撮像させ、
前記第１のカメラ及び前記第２のカメラは、透光性を有する複数の部分と複数の稜線を有するレンズカバーで覆われ、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定させ、（ｉｉ）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成させ、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向し、
前記処理回路は、前記画素の特定を、前記第１画像と前記第２画像とに基づいて行う
撮像方法。
【請求項１０】
撮像方法であって、
第１のカメラに第１画像を撮像させ、
第２のカメラに第２画像を撮像させ、
前記第１のカメラ及び前記第２のカメラは、透光性を有する複数の部分と複数の稜線を有するレンズカバーで覆われ、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定させ、（ｉｉ）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成させ、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向し、
前記レンズカバーはさらに前記基台の上面を覆い、前記上面の外接円の半径を半径とする球に包含される
撮像方法。
【請求項１１】
さらに、第３画像を撮像する第３のカメラを備え、
前記処理回路は、前記第２画像と前記第３画像とを用いて、前記補間画素情報として、前記領域に対応する画素の画素値の情報を取得する
請求項１記載の撮像装置。
【請求項１２】
前記レンズカバーはさらに前記基台の上面を覆い、前記上面の外接円の半径を半径とする球に包含される
請求項１記載の撮像装置。
【請求項１３】
前記複数の稜線の１つとその近傍領域は、曲面に置き換えられた
請求項１記載の撮像装置。
【請求項１４】
前記レンズカバーはさらに前記基台の上面を覆い、
前記上部の外表面、前記上部の内表面、前記上面とが平行である
請求項１記載の撮像装置。
【請求項１５】
前記レンズカバーはさらに前記基台の上面を覆い、
前記上部の外表面と前記上面は相似形であり、
前記上部の外表面は前記上面より小さい
請求項１記載の撮像装置。
【請求項１６】
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
さらに、第３画像を撮像する第３のカメラを備え、
前記処理回路は、前記第２画像と前記第３画像とを用いて、前記補間画素情報として、前記領域に対応する画素の画素値の情報を取得する
撮像装置。
【請求項１７】
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記レンズカバーはさらに前記基台の上面を覆い、前記上面の外接円の半径を半径とする球に包含される
撮像装置。
【請求項１８】
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記複数の稜線の１つとその近傍領域は、曲面に置き換えられた
撮像装置。
【請求項１９】
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記レンズカバーはさらに前記基台の上面を覆い、
前記上部の外表面、前記上部の内表面、前記上面とが平行である
撮像装置。
【請求項２０】
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記レンズカバーはさらに前記基台の上面を覆い、
前記上部の外表面と前記上面は相似形であり、
前記上部の外表面は前記上面より小さい
撮像装置。
【国際調査報告】
2018110264.tif 000070
2018110264.tif 000071
2018110264.tif 000072