(57)【要約】【課題】遠方の測距を可能にすることを目的とする。【解決手段】撮像装置は、画像を撮像する複数の画素を有する第一撮像部と、画像を撮像する複数の画素を有する第二撮像部と、前記第一撮像部により撮像された第一画像及び前記第二撮像部により撮像された第二画像を処理して被写体の距離情報を取得する処理部とを備え、前記第一撮像部及び前記第二撮像部の基線長Ｂ（単位：ｍ）、焦点距離Ｆ（単位：ｍｍ）及び画素ピッチｐ（単位：ｍｍ）は、Ｂ×Ｆ／ｐ＞７００の関係を満たす。【選択図】図５
2020056627.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する複数の画素を有する第一撮像部と、
画像を撮像する複数の画素を有する第二撮像部と、
前記第一撮像部により撮像された第一画像及び前記第二撮像部により撮像された第二画像を処理して被写体の距離情報を取得する処理部とを備え、
前記第一撮像部及び前記第二撮像部の基線長Ｂ（単位：ｍ）、焦点距離Ｆ（単位：ｍｍ）及び画素ピッチｐ（単位：ｍｍ）は、
Ｂ×Ｆ／ｐ＞７００
の関係を満たす、撮像装置。
【請求項２】
前記第一撮像部及び前記第二撮像部はさらに、前記第一画像に写し出される７００ｍの距離の被写体である第一被写体と前記第二画像に写し出される前記第一被写体との視差が３画素以上であるように構成される
請求項１に記載の撮像装置。
【請求項３】
前記撮像装置が搭載される飛行体の位置及び姿勢を、前記距離情報を用いて取得する演算部をさらに備え、
前記演算部は、目標地点に対する前記飛行体の位置及び姿勢を取得する
請求項１または２に記載の撮像装置。
【請求項４】
前記距離情報を用いて物体を検出する第一検出部をさらに備え、
前記第一検出部はさらに、検出された前記物体の位置情報を、前記距離情報を用いて取得する
請求項１〜３のいずれか一項に記載の撮像装置。
【請求項５】
前記第一撮像部及び前記第二撮像部の視野内で移動する移動体を、前記距離情報を用いて検出する第二検出部をさらに備え、
前記第二検出部はさらに、検出された前記移動体の位置情報を、前記距離情報を用いて取得する
請求項１〜４のいずれか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来、ステレオカメラ等の複眼カメラを用いて被写体を測距する技術がある。
【０００３】
例えば、飛行体に搭載されたステレオカメラで撮像した一対の撮像画像を処理して下方風景に対する距離情報と、当該距離情報に基づく飛行体の姿勢角とを算出する技術がある（例えば、特許文献１参照）。特許文献１の技術では、複数の計測点の距離情報に基づいて平面が求められ、当該平面に対する傾きが飛行体の姿勢角として算出される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、飛行体から下方風景までの距離情報がステレオカメラの撮像画像を用いて算出される。飛行体と下方風景との距離は、数百ｍに至ることがある。しかしながら、従来のステレオカメラはこのような距離の被写体を測距することが難しい。
【０００５】
そこで、本開示の撮像装置は、遠方の測距を可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態による撮像装置は、画像を撮像する複数の画素を有する第一撮像部と、画像を撮像する複数の画素を有する第二撮像部と、前記第一撮像部により撮像された第一画像及び前記第二撮像部により撮像された第二画像を処理して被写体の距離情報を取得する処理部とを備え、前記第一撮像部及び前記第二撮像部の基線長Ｂ（単位：ｍ）、焦点距離Ｆ（単位：ｍｍ）及び画素ピッチｐ（単位：ｍｍ）は、Ｂ×Ｆ／ｐ＞７００の関係を満たす。
【発明の効果】
【０００７】
本開示の撮像装置によれば、遠方の測距をすることが可能になる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る撮像装置の構成の一例を示す斜視図
【図２】実施の形態１に係る撮像装置の構成の一例を示す平面図
【図３】実施の形態１に係る撮像装置の機能的な構成の一例を示すブロック図
【図４】実施の形態１に係る撮像装置のハードウェア構成の一例を示すブロック図
【図５】実施の形態１に係る撮像装置の構成要素の配置の一例を示す平面図
【図６】実施の形態１に係る撮像装置の動作の一例を示すフローチャート
【図７】実施の形態１に係る撮像装置によって生成される距離画像の一例を示す図
【図８】実施の形態２に係る撮像装置の機能的な構成の一例を示すブロック図
【図９】実施の形態２に係る撮像装置の動作の一例を示すフローチャート
【図１０】実施の形態３に係る撮像装置の機能的な構成の一例を示すブロック図
【図１１】実施の形態３に係る撮像装置の動作の一例を示すフローチャート
【図１２】実施の形態４に係る撮像装置の機能的な構成の一例を示すブロック図
【発明を実施するための形態】
【０００９】
近年、ステレオカメラを用いた測距技術を、車両、ロボット及び監視カメラ等での被写体の検出に適用することが検討されている。例えば、ステレオカメラは、車両では自動運転技術及び運転支援技術に利用され、ロボットでは物体の認識に利用され、監視カメラでは人の検出に利用される。現状のステレオカメラが用いられる環境では、１００ｍ程度までの距離情報であれば、その距離情報は実用的に十分に活用可能である。
【００１０】
例えば、特許文献２は、複数のカメラを備えた撮像システムを開示している。撮像システムは、単眼カメラとして処理（以下、「単眼処理」とも呼ぶ）することによって推定された距離と、ステレオカメラとして処理（以下、「ステレオ処理」とも呼ぶ）することによって推定された距離とを併用する。推定距離が５０ｍよりも近く且つ画像のボケ量が小さい場合、ステレオ処理によって安定して対象物までの距離を算出できることが記載され、このため、ステレオ処理での推定距離が採用される。推定距離が５０ｍよりも近く且つ画像のボケ量が大きい場合、単眼処理での推定距離が採用される。推定距離が５０ｍよりも遠い場合、ステレオ処理での距離算出は視差値が小さく困難であることが記載され、このため、単眼処理での推定距離が採用される。
【００１１】
特許文献２では、推定距離が１００ｍ程度までの５０ｍよりも遠い場合にステレオ処理での推定距離を用いるケースも記載されている。この場合、予め用意された車両等の対象物のテンプレートとのパターンマッチングによって、２つの画像から対象物が探索される。さらに、２つの画像間での当該対象物の視差から当該対象物までの距離が算出される。
【００１２】
このように、従来のステレオカメラは、５０ｍ程度までの距離の算出が可能であり、予め形状等が既知である対象物については、１００ｍ程度までの距離の算出が可能である。このため、従来のステレオカメラを特許文献１の技術に適用した場合、対象物までの距離が１００ｍよりも長くなり得るため、所望の距離情報が得られない可能性がある。
【００１３】
また、航空機にステレオカメラが搭載される場合、飛行中の航空機から滑走路及び障害物等の飛行場の対象物までの測距が、ステレオカメラに要求される。これにより、操縦士の眼に代わって、飛行場の対象物の認識が可能である。より安全な航空機の航行のためには、操縦士の眼の代わりを務めるステレオカメラの測距能力は、人間の眼の能力以上であることが望ましい。具体的には、ステレオカメラの測定可能な距離は、人間の両眼が奥行きを感じることができる距離の限界値と同等以上であることが望ましい。
【００１４】
例えば、非特許文献１によると、人間の両眼の視差に関して、奥行きを感じる奥行感度は、視点から目標物までの距離である視距離が長くなると小さくなり、視距離７００〜７５０ｍの間で最小値に収束する。よって、人間の両眼は、上記距離以上にある２つの像の奥行きの違いを識別することができない。
【００１５】
このため、航空機に搭載されるステレオカメラは、７００ｍ以上離れた対象物を測距する能力を備えることが望ましい。しかしながら、従来のステレオカメラは、人が奥行感度を十分に感じ取ることができる距離よりも大幅に短い距離の測定能力しか有さない。従来のステレオカメラにおいて、７００ｍ以上のような遠距離の測定を可能にするステレオカメラは、存在しない。
【００１６】
そこで、本開示の技術は、例えば７００ｍ以上のような、遠方の測距を可能にする撮像装置を提供する。
【００１７】
以下、本発明の実施の形態について添付の図面を参照しつつ説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することによって重複した説明を省く。
【００１８】
（実施の形態１）
＜撮像装置１の構成＞
実施の形態１に係る撮像装置１の構成を説明する。図１は、実施の形態１に係る撮像装置１の構成の一例を示す斜視図である。図２は、実施の形態１に係る撮像装置１の構成の一例を示す平面図である。図１及び図２に示すように、本実施の形態では、撮像装置１は、２つの撮像部１０及び２０を備えるとして説明する。なお、撮像装置１は、２つ以上の撮像部を備えればよく、例えば３つ以上の撮像部を備えてもよい。また、撮像装置１は、１つ以上の装置で構成されてもよい。撮像装置１が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書及び特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
【００１９】
撮像装置１は、第一撮像部１０と第二撮像部２０と筐体３０と制御装置４０とを備える。筐体３０は、第一撮像部１０、第二撮像部２０及び制御装置４０を収容する。制御装置４０は、撮像装置１全体の動作を制御する。制御装置４０の詳細は後述する。
【００２０】
第一撮像部１０及び第二撮像部２０はそれぞれ、視野内の画像を撮像して２つのデジタル画像を出力する。第一撮像部１０及び第二撮像部２０の例は、静止画及び／又は動画を撮像するカメラである。第一撮像部１０及び第二撮像部２０は、本実施の形態のように、１つの筐体３０内に一緒に収容され１つの複眼カメラ、具体的には２眼カメラを形成してもよく、２つの筐体に別々に収容され２つの単眼カメラを形成してもよい。第一撮像部１０及び第二撮像部２０は、同期して撮像動作をするように制御装置４０によって制御される。つまり、第一撮像部１０及び第二撮像部２０は同時に撮像する。第一撮像部１０及び第二撮像部２０は、撮像した画像を制御装置４０に出力する。なお、本明細書及び特許請求の範囲において、「画像」とは、画像そのものを意味するだけでなく、画像を示すデータである画像データ及び画像を示す信号である画像信号をも意味し得る。
【００２１】
第一撮像部１０は、第一レンズ１１と第一撮像素子１２とを備える。第二撮像部２０は、第二レンズ２１と第二撮像素子２２とを備える。第一レンズ１１及び第二レンズ２１は、同様の方向に向いて離れて配置され、筐体３０の外部に露出している。本実施の形態では、第一レンズ１１の光軸である光軸中心ＬＡ１と第二レンズ２１の光軸である光軸中心ＬＡ２とが平行であるが、これに限定されない。光軸中心ＬＡ１及びＬＡ２間の距離である基線長は、「Ｂ」である。基線長Ｂは、第一レンズ１１の中心と第二レンズ２１の中心との距離である。
【００２２】
ここで、光軸中心ＬＡ１及びＬＡ２に平行な方向をｚ軸方向と定義し、光軸中心ＬＡ１及びＬＡ２が並ぶ方向をｘ軸方向と定義する。さらに、ｘ軸方向及びｚ軸方向に垂直である方向をｙ軸方向と定義する。ｘｚ平面は、光軸中心ＬＡ１及びＬＡ２を含む。基線長は、ｘ軸方向の光軸中心ＬＡ１及びＬＡ２間の距離である。
【００２３】
第一撮像素子１２は、第一レンズ１１の光軸中心ＬＡ１上に配置されている。第一撮像素子１２は、第一レンズ１１を通って入射する光を受光し、当該光が表す画像を出力する。第二撮像素子２２は、第二レンズ２１の光軸中心ＬＡ２上に配置されている。第二撮像素子２２は、第二レンズ２１を通って入射する光を受光し、当該光が表す画像を出力する。本実施の形態では、第一レンズ１１と第一撮像素子１２との焦点距離ｆ１は、第二レンズ２１と第二撮像素子２２との焦点距離ｆ２と同じであり、さらに、第一レンズ１１及び第二レンズ２１は、同じ特性及び能力を有するが、これらに限定されない。
【００２４】
第一撮像素子１２及び第二撮像素子２２はそれぞれ、アレイ状に配置された複数の受光素子を含む。受光素子は、受光する光の強度を示す画素値を出力する。画素値の例は、輝度値である。受光素子は、第一撮像素子１２及び第二撮像素子２２それぞれにおける画像を撮像する複数の画素を構成する。本実施の形態では、第一撮像素子１２の受光素子間の間隔である画素ピッチｐ１は、第二撮像素子２２の受光素子の画素ピッチｐ２と同じであるが、これに限定されない。第一撮像素子１２及び第二撮像素子２２の例は、ＣＣＤ（Charge Coupled Device）イメージセンサ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等である。本実施の形態では、第一撮像素子１２及び第二撮像素子２２は、解像度及び撮像素子寸法が同じである同じイメージセンサであるが、これに限定されない。
【００２５】
制御装置４０の機能的な構成を説明する。図３は、実施の形態１に係る撮像装置１の機能的な構成の一例を示すブロック図である。図３に示すように、撮像装置１は、入力部２と、出力部３と、第一撮像部１０と、第二撮像部２０と、制御装置４０とを備える。制御装置４０は、メイン制御部４１と、撮像制御部４２と、画像処理部４３とを含む。画像処理部４３は、取得部４３１と、距離算出部４３２と、画像生成部４３３と、パラメタ格納部４３４と、記憶部４３５とを含む。
【００２６】
入力部２は、撮像装置１の操作入力装置及び撮像装置１の入力Ｉ／Ｆ（インタフェース）に接続された外部装置等から入力される操作、情報及び指令等を取得する。
【００２７】
出力部３は、第一撮像素子１２及び第二撮像素子２２によって撮像された画像、当該画像から算出された距離画像等の情報を、撮像装置１のディスプレイ及び撮像装置１の出力Ｉ／Ｆに接続された外部装置等に出力する。
【００２８】
メイン制御部４１は、撮像装置１全体の動作を制御する。メイン制御部４１は、入力部２を介して取得される操作、情報及び指令等に従って、撮像装置１の各部位の動作を制御する。
【００２９】
撮像制御部４２は、同期した撮像動作等の第一撮像部１０及び第二撮像部２０の撮像動作を制御する。撮像制御部４２は、第一撮像部１０及び第二撮像部２０によって撮像された画像を画像処理部４３に出力する。
【００３０】
画像処理部４３は、第一撮像部１０及び第二撮像部２０によって撮像された画像である第一画像及び第二画像を用いて、撮像装置１から被写体までの距離を示す距離画像を生成し出力する。つまり、画像処理部４３は、第一画像及び第二画像を処理して被写体の距離情報を取得する。第一画像及び第二画像は、第一撮像部１０及び第二撮像部２０によって同時刻に撮像された画像である。距離画像は、各画素の画素値が撮像装置１から当該画素が写し出す被写体までの距離である画像である。距離情報は、撮像装置１から被写体までの距離を示す情報を含み、例えば、各画素が写し出す被写体と撮像装置１との距離値、及び距離画像等を含む。ここで、画像処理部４３は、処理部の一例である。
【００３１】
パラメタ格納部４３４は、第一撮像部１０及び第二撮像部２０に関するパラメタを記憶する。上記パラメタは、第一撮像部１０及び第二撮像部２０のカメラパラメタであり、外部パラメタと内部パラメタとを含む。外部パラメタの例は、第一撮像部１０及び第二撮像部２０の位置及び向き等を示すパラメタである。内部パラメタの例は、レンズの歪み、焦点距離、撮像素子の１画素のサイズ及び光軸中心の画素座標等を示すパラメタである。画素座標は、画素を単位とする座標であり、画像上での２次元座標である。
【００３２】
取得部４３１は、撮像制御部４２を介して、第一撮像部１０及び第二撮像部２０それぞれによって撮像された第一画像及び第二画像を取得し、記憶部４３５に記憶させる。例えば、取得部４３１は、第一画像及び第二画像を示す画像信号を取得し、取得された信号強度に応じて利得制御してＡ／Ｄ変換し、デジタル画像化された第一画像及び第二画像を記憶部４３５に出力する。
【００３３】
記憶部４３５は、種々の情報を記憶し、記憶した情報を取り出すことができる。記憶部４３５は、第一撮像部１０及び第二撮像部２０によって撮像された第一画像及び第二画像を記憶する。第一画像及び第二画像は、各画素の画素値等の画像を表す情報と、当該画像の撮像時刻と、当該画像を取得した撮像部の識別情報とを含む。
【００３４】
距離算出部４３２は、記憶部４３５から第一画像及び第二画像を取得し、当該第一画像及び当該第二画像と、パラメタ格納部４３４のカメラパラメタとを用いて、各画素が写し出す被写体の３次元位置を算出する。つまり、距離算出部４３２は、各画素について、被写体から撮像装置１までの距離を算出する。被写体から撮像装置１までの距離は、当該被写体と第一撮像部１０及び第二撮像部２０との距離でもある。距離算出部４３２は、第一画像及び第二画像の各画素の位置での距離値を、画像生成部４３３に出力する。
【００３５】
具体的には、距離算出部４３２は、第一画像及び第二画像それぞれについて、第一レンズ１１及び第二レンズ２１のレンズ歪みを補正する。さらに、距離算出部４３２は、第一画像と第二画像との間で、小領域毎にステレオマッチング処理を行う。これにより、距離算出部４３２は、各画素について、被写体までの距離に応じて生じる視差を算出し、当該視差を用いて被写体と撮像装置１との距離を算出する。視差は、第一画像と第二画像との間における同一の被写体を写し出す画素の位置のずれに対応する。
【００３６】
例えば、距離算出部４３２は、第一画像上の画素について、当該画素の画素座標である第一画素座標と、当該画素に表されている被写体と同じ被写体が表されている第二画像上の対応点の画素座標である第二画素座標とを検出する。第一画素座標と第二画素座標との画素位置の差異が視差である。距離算出部４３２は、第一画素座標と第二画素座標とカメラパラメタとを用いたステレオ視により、第一画素座標及び第二画素座標に対応する画素に表されている被写体と撮像装置１との距離を算出する。そして、距離算出部４３２は、第一画像上の全ての画素について上記処理を行う。これにより、距離算出部４３２は、各画素の位置での距離値を算出する。
【００３７】
画像生成部４３３は、例えば、第一画像の各画素について、当該画素の画素値が当該画素の位置に対応する距離値である画像、つまり距離画像を生成する。なお、上記では、第一画像を基準として、各画素の位置での距離値と距離画像とが算出されたが、第二画像が基準とされてもよい。画像生成部４３３は、距離画像を出力部３及び／又は記憶部４３５に出力する。例えば、画像生成部４３３は、メイン制御部４１を介して、距離画像を出力部３に出力する。
【００３８】
制御装置４０のハードウェア構成を説明する。図４は、実施の形態１に係る撮像装置１のハードウェア構成の一例を示すブロック図である。図４に示すように、撮像装置１は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、メモリ１０４と、操作入力装置１０５と、入力Ｉ／Ｆ１０６と、出力Ｉ／Ｆ１０７と、第一撮像部１０と、第二撮像部２０とを構成要素として含む。上記構成要素はそれぞれ、例えばバスを介して互いに接続されている。なお、上記構成要素は、有線通信及び無線通信のいずれを介して接続されてもよい。
【００３９】
操作入力装置１０５は、ユーザによる操作入力を受け付け、ボタン、ダイヤル、タッチパネル及び音声入力のためのマイク等の入力装置で構成される。
【００４０】
入力Ｉ／Ｆ１０６は、撮像装置１の外部装置と接続され、外部装置からの情報及び指令等の入力を受け付ける。
【００４１】
出力Ｉ／Ｆ１０７は、撮像装置１の外部装置と接続され外部装置へ情報等を出力する。入力Ｉ／Ｆ１０６及び出力Ｉ／Ｆ１０７は、別々に配置されてもよく、一体化されて配置されてもよい。入力Ｉ／Ｆ１０６及び出力Ｉ／Ｆ１０７は、別々の装置に接続されてもよく、同じ装置に接続されてもよい。入力Ｉ／Ｆ１０６及び出力Ｉ／Ｆ１０７は、外部ネットワークと接続される通信Ｉ／Ｆの機能を備え、外部ネットワークを介して情報等の受け付け及び出力を行ってもよい。
【００４２】
ＣＰＵ１０１は、入力部２、出力部３及び制御装置４０の機能を実現する。制御装置４０に関して、ＣＰＵ１０１は、メイン制御部４１、撮像制御部４２、並びに、画像処理部４３の取得部４３１、距離算出部４３２及び画像生成部４３３の機能を実現する。
【００４３】
メモリ１０４は、画像処理部４３のパラメタ格納部４３４及び記憶部４３５の機能を実現する。メモリ１０４は、半導体メモリ、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の記憶装置で構成される。なお、メモリ１０４が、ＲＯＭ１０２及び／又はＲＡＭ１０３を含んでもよい。
【００４４】
ＣＰＵ１０１はプロセッサ等で構成され、ＲＯＭ１０２は不揮発性半導体記憶装置等で構成され、ＲＡＭ１０３は揮発性半導体記憶装置等で構成される。各構成要素を動作させるプログラムは、ＲＯＭ１０２又はメモリ１０４等に予め保持されている。プログラムは、ＣＰＵ１０１によって、ＲＯＭ１０２又はメモリ１０４等からＲＡＭ１０３に読み出されて展開される。ＣＰＵ１０１は、ＲＡＭ１０３に展開されたプログラム中のコード化された各命令を実行することによって、その機能を実現する。なお、プログラムは、ＲＯＭ１０２及びメモリ１０４に限らず、例えば記録ディスク等の記録媒体に格納されていてもよい。また、プログラムは、有線ネットワーク、無線ネットワーク又は放送等を介して伝送され、ＲＡＭ１０３に取り込まれてもよい。
【００４５】
なお、ＣＰＵ１０１によって機能が実現されると上述した各構成要素は、ＣＰＵ１０１等のプログラム実行部によって実現されてもよく、回路によって実現されてもよく、プログラム実行部及び回路の組み合わせによって実現されてもよい。例えば、これらの構成要素は、集積回路であるＬＳＩ（大規模集積回路：Large Scale Integration）として実現されてもよい。これらの構成要素は個別に１チップ化されてもよく、一部又は全てを含むように１チップ化されてもよい。ＬＳＩとして、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ内部の回路セルの接続及び／又は設定を再構成可能なリコンフィギュラブル・プロセッサ、又は、特定用途向けに複数の機能の回路が１つにまとめられたＡＳＩＣ（Application Specific Integrated Circuit）等が利用されてもよい。
【００４６】
＜第一撮像部１０及び第二撮像部２０の配置＞
さらに、第一撮像部１０及び第二撮像部２０の配置を説明する。図５は、実施の形態１に係る撮像装置１の構成要素の配置の一例を示す平面図である。図５に示すように、第一撮像部１０及び第二撮像部２０について、第一レンズ１１及び第二レンズ２１と被写体Ａとの距離Ｚ（単位：ｍ）と、基線長Ｂ（単位：ｍ）と、焦点距離ｆ１及びｆ２（単位：ｍｍ）と、第一撮像素子１２及び第二撮像素子２２の画素ピッチｐ１及びｐ２（単位：ｍｍ）とは、下記の式１を満たす。
Ｚ＝Ｂ×Ｆ／Ｄ＝Ｂ×Ｆ／ｐ｜ｐｃ１−ｐｃ２｜            （式１）
距離Ｚは、第一レンズ１１及び第二レンズ２１のレンズ中心を通り且つ光軸中心ＬＡ１及びＬＡ２に垂直である平面と被写体Ａとの距離であり、第一撮像部１０及び第二撮像部２０と被写体Ａとの距離でもあり、撮像装置１と被写体Ａとの距離でもある。また、Ｆ＝ｆ１＝ｆ２であり、ｐ＝ｐ１＝ｐ２である。さらに、第一撮像素子１２及び第二撮像素子２２における視差Ｄ＝ｐ｜ｐｃ１−ｐｃ２｜である。「ｐｃ１」は、第一撮像部１０によって撮像された第一画像上での被写体Ａのｘ軸方向の画素座標であり、「ｐｃ２」は、第二撮像部２０によって撮像された第二画像上での被写体Ａのｘ軸方向の画素座標である。｜ｐｃ１−ｐｃ２｜は、視差に対応する画素数（以下、「画素視差」とも呼ぶ）である。
【００４７】
本実施の形態では、撮像装置１は、７００ｍ以上の距離の被写体の測距を可能にするため、Ｚ≧７００ｍである。さらに、上記測距を実現するためには、７００ｍ以上の距離の被写体の測距において、１画素以上の画素視差が必要である。つまり、画素視差｜ｐｃ１−ｐｃ２｜≧１である。式１に基づくと、これらの条件を満たすためには、下記の式２の関係を満たすことが必要である。
７００＜Ｂ×Ｆ／ｐ                                      （式２）
よって、本実施の形態では、第一撮像部１０及び第二撮像部２０の第一レンズ１１、第二レンズ２１、第一撮像素子１２及び第二撮像素子２２は、式２を満たすように構成される。
【００４８】
＜撮像装置１の動作＞
実施の形態１に係る撮像装置１の動作を説明する。具体的には、撮像装置１の距離画像の生成動作を説明する。図６は、実施の形態１に係る撮像装置１の動作の一例を示すフローチャートである。図６に示すように、まず、第一撮像部１０及び第二撮像部２０は、同じ被写体を同時に撮像し、同時に撮像された２つの画像である第一画像及び第二画像を画像処理部４３に出力する（ステップＳ１）。つまり、第一撮像部１０及び第二撮像部２０の撮像画像が取得される。
【００４９】
次いで、画像処理部４３において、取得部４３１は、第一画像及び第二画像を取得してデジタル化処理し、記憶部４３５に出力する（ステップＳ２）。
【００５０】
次いで、距離算出部４３２は、第一画像及び第二画像に対してステレオ処理する（ステップＳ３）。つまり、距離算出部４３２は、第一画像及び第二画像の各画素について、当該画素の被写体と撮像装置１との距離を算出する。
【００５１】
次いで、画像生成部４３３は、算出された各画素の距離値を、当該画素の位置に対応する位置の画素の画素値とする距離画像を生成し、出力部３及び／又は記憶部４３５に出力する（ステップＳ４）。
【００５２】
ステップＳ１〜Ｓ４の処理を行うことによって、撮像装置１は、第一撮像部１０及び第二撮像部２０によって同時刻に撮像された２つの画像に写し出される被写体までの距離情報を含む距離画像を生成する。
【００５３】
＜実施例＞
実施の形態１に係る撮像装置１の実施例を説明する。実施例の撮像装置１は、各パラメタが式２を満たすように構成されている。式２を満たす場合において、パラメタのうちの基線長Ｂ及び焦点距離Ｆは、より長い方が望ましい。しかしながら、焦点距離が長くなると、画角が小さくなる。このため、実施例では、撮像装置１に要求される画角を維持しつつ、焦点距離はより長くなるように設定された。基線長は、撮像装置１が搭載される対象物の大きさによって制限を受ける。実施例では、撮像装置１は、翼長５ｍ以内の小型無人航空機又はマルチコプターに搭載される。このため、実施例では、小型無人航空機及びマルチコプターへの搭載を可能としつつ、基線長はより長くなるように設定された。
【００５４】
また、パラメタのうちの第一撮像素子１２及び第二撮像素子２２の画素ピッチｐは、より大きい方が望ましい。画素ピッチは、画素サイズに対応する。画素サイズが大きい程、撮像された画像におけるノイズが少ないため、ステレオマッチングの精度が向上する。実施例では、画素ピッチはより大きくなるように設定された。
【００５５】
パラメタのうちの第一撮像部１０及び第二撮像部２０によって撮像された画像間の視差は、より大きい方が望ましい。視差が大きい程、被写体と撮像装置１との距離の誤差が小さくなる。実施例では、式２を満たす基線長Ｂ、焦点距離Ｆ及び画素ピッチｐを式１に適用した場合に算出される画素視差｜ｐｃ１−ｐｃ２｜がより大きくなるように、各パラメタが設定された。
【００５６】
上述より、実施例では、基線長Ｂは０．４ｍ、焦点距離Ｆは３５ｍｍ、画素ピッチｐは０．００５８６ｍｍに設定された。さらに、第一撮像素子１２及び第二撮像素子２２には、１９２０画素×１０８０画素の２，０７３，６００画素の解像度、いわゆる２Ｋの解像度のＣＭＯＳイメージセンサが用いられた。なお、第一撮像素子１２及び第二撮像素子２２には、４Ｋ以上の解像度のイメージセンサが用いられてもよい。これにより、各画素の画素値の検出精度を向上し、且つ画素視差を大きくすることができる。
【００５７】
基線長Ｂ＝０．４（ｍ）、焦点距離Ｆ＝３５（ｍｍ）、画素ピッチｐ＝０．００５８６（ｍｍ）を式２の左辺「Ｂ×Ｆ／ｐ」に適用すると、Ｂ×Ｆ／ｐ＝２３８９（ｍ）が得られる。さらに、式１において、Ｂ×Ｆ／ｐ＝２３８９（ｍ）を適用し、距離Ｚ＝７００（ｍ）を適用すると、画素視差｜ｐｃ１−ｐｃ２｜＝３．４（画素）が得られる。実施例では、式１及び式２に基づき、画素視差が３画素以上であるように、各パラメタが設定された。よって、７００ｍ以上の所定距離での画素視差は、１画素以上であることが好ましく、３画素以上であることがより好ましい。
【００５８】
上述のように構成された実施例の撮像装置１によって生成された距離画像の例が、図７に示されている。図７によると、距離７００ｍ以上の被写体までの距離が表されている。
【００５９】
なお、遠距離の測距が可能である撮像装置１には、車両、ロボット、並びに、航空機、マルチコプター及びドローンなどの飛行体等の移動体、建物外部の監視装置等への搭載が想定される。
【００６０】
＜効果等＞
上述のような実施の形態１に係る撮像装置１は、画像を撮像する複数の画素を有する第一撮像部１０と、画像を撮像する複数の画素を有する第二撮像部２０と、第一撮像部１０により撮像された第一画像及び第二撮像部２０により撮像された第二画像を処理して被写体の距離情報を取得する画像処理部４３とを備え、第一撮像部１０及び第二撮像部２０の基線長Ｂ（単位：ｍ）、焦点距離Ｆ（単位：ｍｍ）及び画素ピッチｐ（単位：ｍｍ）は、Ｂ×Ｆ／ｐ＞７００の関係を満たす。
【００６１】
上記構成によると、第一撮像部１０及び第二撮像部２０が、第一撮像部１０及び第二撮像部２０から７００ｍの距離の被写体、つまり視程７００ｍの被写体を撮像した場合、第一画像及び第二画像の間における当該被写体の視差は、１画素以上である。よって、撮像装置１は、視程７００ｍ以上において視差が１画素以上である２つの画像を用いて距離情報を取得することができる。このような距離情報は、遠方の被写体に対して高い精度を有する。従って、撮像装置１は、従来のステレオカメラで不可能である遠方の測距を可能にする。
【００６２】
また、実施の形態１に係る撮像装置１において、第一撮像部１０及び第二撮像部２０は、第一画像に写し出される７００ｍの距離の被写体である第一被写体と第二画像に写し出される上記第一被写体との視差が３画素以上であるように構成されてもよい。上記構成によると、２つの画像間の同一の被写体の視差が大きくなるため、当該被写体の距離情報の精度が向上する。特に、視差が３画素以上であるため、同一の点等の同一の被写体が第一画像及び第二画像の同一の位置つまり画素座標の画素に写し出されることを、より確実に防ぐことができる。これにより、距離情報の精度が向上する。
【００６３】
（実施の形態２）
実施の形態２に係る撮像装置１Ａは、距離画像を用いて、撮像装置１Ａが搭載される飛行体の姿勢を検出する点で、実施の形態１と異なる。以下、実施の形態２について、実施の形態１と異なる点を中心に説明し、実施の形態１と同様の点の説明を適宜省略する。
【００６４】
実施の形態２に係る撮像装置１Ａは、飛行体に搭載される。飛行体の例は、操縦士が搭乗する航空機、及び無人航空機などのドローン等であり、本実施の形態では、無人小型航空機である。撮像装置１Ａは、無人小型航空機の先端付近に配置され、例えば、第一撮像部１０及び第二撮像部２０の視野は、無人小型航空機の前方及び前方下方である。
【００６５】
撮像装置１Ａの構成を説明する。図８は、実施の形態２に係る撮像装置１Ａの機能的な構成の一例を示すブロック図である。図８に示すように、撮像装置１Ａは、制御装置４０Ａを備える。制御装置４０Ａは、画像処理部４３Ａを含む。画像処理部４３Ａは、取得部４３１と、距離算出部４３２と、画像生成部４３３と、パラメタ格納部４３４と、記憶部４３５と、目標点算出部４３６と、自己位置算出部４３７と、自己姿勢算出部４３８とを含む。撮像装置１Ａのハードウェア構成は、実施の形態１と同様である。目標点算出部４３６、自己位置算出部４３７及び自己姿勢算出部４３８の機能は、他の構成要素と同様にＣＰＵ１０１等によって実現される。ここで、目標点算出部４３６、自己位置算出部４３７、自己姿勢算出部４３８及び画像処理部４３Ａは、演算部の一例である。
【００６６】
目標点算出部４３６は、地上の目標点を決定し、決定された目標点の座標を算出する。本実施の形態では、目標点は着陸地点であるが、これに限定されない。目標点算出部４３６は、第一画像及び第二画像の一方（以下、「輝度画像」とも呼ぶ）と、これらの画像の距離画像とを用いる。目標点算出部４３６は、輝度画像として、第一画像及び第二画像のいずれを用いてもよい。
【００６７】
目標点算出部４３６は、輝度画像と距離画像とから、平面の被写体を形成していない画素を除去し、所定の範囲以上の平面の領域の被写体を形成する画素群を抽出する。例えば、目標点算出部４３６は、特許文献１と同様にして、上記画素群を抽出してもよい。
【００６８】
具体的には、目標点算出部４３６は、ｘ軸及びｙ軸の画素座標で画素の位置が定義される距離画像において、ｘ軸に平行な横軸上の各画素のｘ座標及び距離値ｚを成分とするデータからなるデータ系列を生成する。目標点算出部４３６は、データ系列に最小二乗法を適用することによって、ｘｚ座標上で回帰直線を近似する。目標点算出部４３６は、ｘｚ座標上において、回帰直線からの所定の範囲の外に位置するデータをデータ系列から除去する。除去されたデータに対応する画素は、平面の被写体を形成していない画素であるため、目標点算出部４３６は、除去されたデータに対応する画素を距離画像から除去する。
【００６９】
さらに、目標点算出部４３６は、上記処理を距離画像のｙ軸方向に走査して行う。つまり、目標点算出部４３６は、距離画像の各ｙ座標を通る横軸についてデータ系列を生成し、当該データ系列に最小二乗法を適用することによって回帰直線を近似し、回帰直線からの所定の範囲の外に位置するデータを当該データ系列から除去する。これにより、距離画像から、平面の被写体を形成していない画素が除去される。さらに、目標点算出部４３６は、距離画像から除去された画素に対応する画素を輝度画像から除去する。距離画像及び輝度画像にはそれぞれ、１つ以上の平面領域の被写体を形成する画素群が形成され得る。
【００７０】
記憶部４３５には、着陸地点を含む地上の平面領域である着陸領域の輪郭が記憶されている。着陸領域の例は、滑走路、道路、ヘリポート及びドローンポートなどである。
【００７１】
目標点算出部４３６は、除去後の輝度画像において、各平面領域のエッジを抽出する。さらに、目標点算出部４３６は、記憶部４３５から着陸領域の輪郭を取得し、当該輪郭と平面領域のエッジとのパターンマッチングを行い、着陸領域に対応する平面領域を特定する。
【００７２】
さらに、目標点算出部４３６は、除去後の輝度画像において、着陸領域の中に含まれる着陸地点を示す指標を探索する。指標が見つかった場合、目標点算出部４３６は、当該指標を目標点に決定する。指標が見つからない場合、目標点算出部４３６は、距離画像の着陸領域を探索し、距離値が最も小さい画素の位置を目標点に決定する。目標点算出部４３６は、輝度画像及び距離画像における目標点の画素座標を自己位置算出部４３７に出力する。
【００７３】
自己位置算出部４３７は、距離画像における目標点の画素座標での画素値から、撮像装置１Ａから目標点までの距離値を取得する。自己位置算出部４３７は、輝度画像における目標点の画素座標と、撮像装置１Ａから目標点までの距離値とから、第一撮像部１０又は第二撮像部２０の光軸中心に対する目標点の位置を算出する。目標点の位置は、光軸中心に垂直な方向の位置である。自己位置算出部４３７は、目標点の距離及び位置から、目標点に対する撮像装置１Ａの位置を算出する。なお、本実施の形態では、自己位置算出部４３７は、目標点に対する撮像装置１Ａの位置を、第一撮像部１０又は第二撮像部２０を原点とするカメラ座標を用いて算出する。カメラ座標では、第一撮像部１０又は第二撮像部２０の光軸中心がＺ軸であり、Ｚ軸に垂直であり且つ互いに垂直である２つの軸がＸ軸及びＹ軸である。Ｘ軸及びＹ軸は、第一撮像素子１２又は第二撮像素子２２の受光面に平行である。なお、自己位置算出部４３７は、目標点に対する撮像装置１Ａの位置を、目標点に設定される座標を用いて算出してもよい。
【００７４】
自己姿勢算出部４３８は、着陸領域の平面に対する撮像装置１Ａの姿勢を算出し、出力部３及び／又は記憶部４３５に出力する。具体的には、自己姿勢算出部４３８は、輝度画像及び距離画像を用いて、以下の式３に示す関数を算出する。式３の関数は、第一撮像部１０又は第二撮像部２０のカメラ座標での着陸領域の平面を示す。
ａＸ＋ｂＹ＋ｃＺ＝１                                  （式３）
このとき、自己姿勢算出部４３８は、着陸領域に含まれる少なくとも３つの画素が写し出す３つの被写体の３次元位置の座標を、カメラ座標を用いて算出する。自己姿勢算出部４３８は、３つの３次元位置の座標を用いて連立方程式を解くことによって、式３の係数ａ、ｂ及びｃを算出する。例えば、Ｘ＝０としてときの式３におけるＹ軸及びＺ軸に対する傾きは、撮像装置１Ａのピッチ角を示し得る。Ｙ＝０としてときの式３におけるＸ軸及びＺ軸に対する傾きは、撮像装置１Ａのロール角を示し得る。自己姿勢算出部４３８は、式３を用いて、着陸領域の平面に対する撮像装置１Ａの姿勢角を算出する。
【００７５】
撮像装置１Ａの動作を説明する。図９は、実施の形態２に係る撮像装置１Ａの動作の一例を示すフローチャートである。図９に示すように、まず、画像処理部４３Ａは、実施の形態１と同様にステップＳ１〜Ｓ４の処理を行うことによって、第一撮像部１０の第一画像及び第二撮像部２０の第二画像を用いて距離画像を生成する。
【００７６】
次いで、画像処理部４３Ａにおいて、目標点算出部４３６は、第一画像又は第二画像である輝度画像と距離画像とを用いて、着陸領域が形成する平面領域、つまり着陸領域に対応する平面領域を特定する（ステップＳ２１）。具体的には、目標点算出部４３６は、平面の被写体を形成しない画素を除去することによって、輝度画像及び距離画像において、平面領域の被写体を特定する。さらに、目標点算出部４３６は、輝度画像において、平面領域のエッジと着陸領域の輪郭とのパターンマッチングを行うことによって、着陸領域を特定する。
【００７７】
次いで、目標点算出部４３６は、着陸領域内の目標点の座標を算出する（ステップＳ２２）。具体的には、目標点算出部４３６は、輝度画像又は距離画像を用いて、着陸領域内の目標点を特定する。さらに、目標点算出部４３６は、輝度画像及び距離画像での目標点の画素座標を算出する。
【００７８】
次いで、自己位置算出部４３７は、目標点に対する撮像装置１Ａの位置を算出する（ステップＳ２３）。具体的には、自己位置算出部４３７は、輝度画像及び距離画像での目標点の画素座標及び距離値を用いて、目標点のカメラ座標を算出する。カメラ座標は、輝度画像を撮像した第一撮像部１０又は第二撮像部２０のカメラ座標である。自己位置算出部４３７は、目標点のカメラ座標から、目標点に対する撮像装置１Ａの位置を算出する。
【００７９】
次いで、自己姿勢算出部４３８は、着陸領域の平面に対する撮像装置１Ａの姿勢を算出する（ステップＳ２４）。具体的には、自己姿勢算出部４３８は、輝度画像及び距離画像を用いて、着陸領域の平面を示す関数をカメラ座標上で算出する。さらに、自己姿勢算出部４３８は、カメラ座標上での着陸領域の平面の傾きを算出することによって、着陸領域の平面に対する撮像装置１Ａの姿勢角を算出し、出力部３及び／又は記憶部４３５に出力する。撮像装置１Ａの姿勢角は、撮像装置１Ａを搭載する飛行体の姿勢角に対応する。
【００８０】
実施の形態２に係る撮像装置１Ａのその他の構成及び動作は、実施の形態１と同様であるため、その説明を省略する。そして、上述のような実施の形態２に係る撮像装置１Ａによると、実施の形態１と同様の効果が得られる。
【００８１】
さらに、実施の形態２に係る撮像装置１Ａは、撮像装置１Ａが搭載される飛行体の位置及び姿勢を、第一画像及び第二画像を処理して取得される距離情報を用いて取得する、目標点算出部４３６、自己位置算出部４３７及び自己姿勢算出部４３８を含む画像処理部４３Ａを備えてもよい。さらに、画像処理部４３Ａは、目標地点に対する飛行体の位置及び姿勢を取得してもよい。
【００８２】
上記構成によると、撮像装置１Ａは、遠方の測距が可能であるため、遠方の目標地点に対する飛行体の位置及び姿勢を算出することができる。このため、撮像装置１Ａによって算出される飛行体の位置及び姿勢は、飛行体を飛行させる制御に利用可能である。例えば、目標地点が着陸地点である場合、上記位置及び姿勢は、自動着陸制御等の飛行体の着陸制御に活用可能である。例えば、飛行体に搭載されるＧＰＳ（Global Positioning System）は、大気の電離層によって電波障害を受け得る。このような場合、撮像装置１Ａは、ＧＰＳに代わって、飛行体の位置及び姿勢の検出に活用可能である。よって、飛行体の飛行の安全性の向上が可能である。
【００８３】
（実施の形態３）
実施の形態３に係る撮像装置１Ｂは、距離画像を用いて物体を検出する点で、実施の形態１及び２と異なる。以下、実施の形態３について、実施の形態１及び２と異なる点を中心に説明し、実施の形態１及び２と同様の点の説明を適宜省略する。
【００８４】
実施の形態３に係る撮像装置１Ｂの構成を説明する。図１０は、実施の形態３に係る撮像装置１Ｂの機能的な構成の一例を示すブロック図である。図１０に示すように、撮像装置１Ｂは、制御装置４０Ｂを備える。制御装置４０Ｂは、画像処理部４３Ｂを含む。画像処理部４３Ｂは、取得部４３１と、距離算出部４３２と、画像生成部４３３と、パラメタ格納部４３４と、記憶部４３５と、クラスタリング部４３９と、判定部４４０と、位置算出部４４１とを含む。撮像装置１Ｂのハードウェア構成は、実施の形態１と同様である。クラスタリング部４３９、判定部４４０及び位置算出部４４１の機能は、他の構成要素と同様にＣＰＵ１０１等によって実現される。ここで、クラスタリング部４３９、判定部４４０、位置算出部４４１及び画像処理部４３Ｂは、第一検出部の一例である。
【００８５】
クラスタリング部４３９は、距離画像を局所領域に分割し、局所領域の距離ヒストグラムを算出する。さらに、クラスタリング部４３９は、局所領域間において距離ヒストグラムの類似度を算出し、類似すると見なされ且つ互いに近傍に位置する複数の局所領域を１つの塊として分類する。そして、クラスタリング部４３９は、分類された１つの塊に含まれる全ての局所領域に写し出される被写体は１つの物体を構成すると決定する。
【００８６】
例えば、クラスタリング部４３９は、８画素×８画素の領域を局所領域に設定する。第一撮像素子１２及び第二撮像素子２２の解像度は１９２０画素×１０８０画素であるため、３２４００箇所の局所領域が形成される。クラスタリング部４３９は、各局所領域において、６４画素の距離値から、距離値毎の頻度を示す距離ヒストグラムを算出する。さらに、クラスタリング部４３９は、頻度の合計が１になるように距離ヒストグラムを正規化する。クラスタリング部４３９は、正規化された距離ヒストグラム（「距離ヒストグラム特徴量」とも呼ばれる）の類似度を、２つの局所領域の間で算出し、全ての局所領域の組み合わせについて類似度を算出する。距離ヒストグラムの類似度の算出方法の詳細は、例えば、特許文献３に開示されているため、その説明を省略する。
【００８７】
クラスタリング部４３９は、類似度が閾値以上である局所領域を分類する。つまり、クラスタリング部４３９は、類似度が閾値以上である局所領域で構成されるグループ毎に、局所領域をグループ分けする。閾値は、予め設定され、記憶部４３５に記憶される。さらに、クラスタリング部４３９は、１つのグループ内の局所領域について、距離画像上で互いに隣り合う局所領域によって形成される局所領域の集合を、１つの塊として抽出する。この塊は、撮像装置１Ｂからの距離が類似する画素で構成される。１つの塊に含まれる画素が写し出す被写体は、１つの物体等の対象物を構成すると見なすことができる。さらに、クラスタリング部４３９は、距離画像上において、各塊に含まれる画素の座標、つまり各塊の画素座標を算出し、判定部４４０及び／又は記憶部４３５に出力する。
【００８８】
判定部４４０は、各塊の実寸法を推定し、当該実寸法が寸法閾値範囲内に含まれるか否かに基づき、当該塊が対象物体であるか否かを判定する。閾値範囲は、上限の閾値と下限の閾値との間の範囲である。対象物体は、撮像装置１Ｂが検出する対象の物体である。撮像装置１Ｂが飛行体に搭載される場合、例えば、対象物体は、飛行又は着陸の妨げとなる障害物等である。対象物体は、その種類に基づき定義されてもよく、単にその寸法に基づき定義されてもよい。例えば、所定の寸法範囲内の物体が対象物体とされてもよい。
【００８９】
判定部４４０は、距離画像での各塊の画素座標から、第一画像又は第二画像である輝度画像での各塊の画素座標を算出する。さらに、判定部４４０は、輝度画像上において、各塊の周囲のエッジを抽出し、エッジに含まれる画素の座標、つまりエッジの画素座標を算出する。そして、判定部４４０は、距離画像を用いて、エッジの画素座標での距離値を取得する。
【００９０】
さらに、判定部４４０は、エッジの画素座標と、エッジの画素座標での距離値とを用いて、エッジの画素座標をカメラ座標に変換する。変換後の座標は、塊の被写体の縁のカメラ座標である。さらに、判定部４４０は、塊の被写体の縁のカメラ座標を用いて、第一撮像部１０又は第二撮像部２０の光軸中心に垂直な方向での塊の幅を算出する。算出される幅は、塊の被写体の幅の実寸法の推定値である。算出される幅は、最大幅又は複数の幅の平均等であってもよい。
【００９１】
また、判定部４４０は、距離画像において、エッジの内側の各画素の距離値を探索し、最小距離値を抽出する。さらに、判定部４４０は、抽出された最小距離値とエッジの画素座標での距離値との差異を算出する。算出される差異は、塊の被写体の高さの実寸法の推定値である。エッジの画素座標での距離値は、最大値、最小値又は平均値等であってもよい。
【００９２】
判定部４４０は、塊の被写体の幅及び高さの実寸法の推定値のいずれもが、幅寸法閾値範囲内及び高さ寸法閾値範囲内である場合、当該被写体は対象物体であると判定し、上記以外の場合、当該被写体は対象物体でないと判定する。幅寸法閾値範囲及び高さ寸法閾値範囲は、設定される対象物体に応じて予め決定され、記憶部４３５に記憶される。判定部４４０は、各塊に対して、上述のように実寸法の推定値を算出し、対象物体であるか否かを判定する。判定部４４０は、判定結果と、対象物体の距離値、カメラ座標及び画素座標等の情報を位置算出部４４１に出力する。
【００９３】
位置算出部４４１は、対象物体の情報を受け取ると、当該対象物体の位置を算出し、出力部３及び／又は記憶部４３５に出力する。具体的には、位置算出部４４１は、判定部４４０から取得された対象物体の距離値、対象物体の縁のカメラ座標及び画素座標を用いて、対象物体の位置を示す位置情報を生成する。例えば、位置算出部４４１は、位置情報として、撮像装置１Ｂから対象物体までの距離及び方向を算出してもよい。例えば、位置算出部４４１は、位置情報として、第一撮像部１０又は第二撮像部２０によって撮像される画像上に強調された対象物体のエッジを重畳表示する画像を生成してもよい。
【００９４】
撮像装置１Ｂの動作を説明する。図１１は、実施の形態３に係る撮像装置１Ｂの動作の一例を示すフローチャートである。図１１に示すように、画像処理部４３Ｂは、実施の形態１と同様にステップＳ１〜Ｓ４の処理を行うことによって、距離画像を生成する。
【００９５】
次いで、画像処理部４３Ｂのクラスタリング部４３９は、距離画像において、撮像装置１Ｂからの距離が類似する画素で構成される画素の塊を分類して抽出する（ステップＳ３１）。つまり、クラスタリング部４３９は、距離が類似する画素で構成される画素の塊をクラスタリングする。
【００９６】
次いで、判定部４４０は、各塊の実寸法を推定する（ステップＳ３２）。具体的には、判定部４４０は、距離画像、輝度画像及び各塊の画素座標を用いて、各塊の被写体の幅及び高さの実寸法を推定する。
【００９７】
次いで、判定部４４０は、塊の実寸法の推定値が寸法閾値範囲内であるか否かを判定する（ステップＳ３３）。つまり、判定部４４０は、塊の被写体の幅及び高さの実寸法の推定値の両方が、幅寸法閾値範囲及び高さ寸法閾値範囲に含まれるか否かを判定する。判定部４４０は、幅及び高さの実寸法の推定値の両方がそれぞれの寸法閾値範囲内である場合（ステップＳ３３でＹｅｓ）、ステップＳ３４に進み、そうでない場合（ステップＳ３３でＮｏ）、一連の処理を終了する。
【００９８】
ステップＳ３４において、判定部４４０は、ステップＳ３３で判定された塊を対象物体に決定し、当該対象物体に関する情報を位置算出部４４１に出力する。
【００９９】
次いで、位置算出部４４１は、対象物体の情報を用いて、対象物体の位置を示す位置情報を生成する（ステップＳ３５）。位置算出部４４１は、対象物体の位置情報を出力部３及び／又は記憶部４３５に出力する。
【０１００】
実施の形態３に係る撮像装置１Ｂのその他の構成及び動作は、実施の形態１と同様であるため、その説明を省略する。そして、上述のような実施の形態３に係る撮像装置１Ｂによると、実施の形態１と同様の効果が得られる。
【０１０１】
さらに、実施の形態３に係る撮像装置１Ｂは、第一画像及び第二画像を処理して取得される距離情報を用いて物体を検出する、クラスタリング部４３９、判定部４４０及び位置算出部４４１を含む画像処理部４３Ｂを備えてもよい。さらに、画像処理部４３Ｂは、検出された物体の位置情報を、上記距離情報を用いて取得してもよい。
【０１０２】
上記構成によると、撮像装置１Ｂは、遠方の測距が可能であるため、遠方の物体及びその位置を検出することができる。このため、撮像装置１Ｂは、高速鉄道及び航空機等の移動体に搭載される場合、移動体の進行方向に存在する物体を、移動体が物体に接近又は接触する前に検出することができる。よって、移動体の安全な運行が可能である。
【０１０３】
（実施の形態４）
実施の形態４に係る撮像装置１Ｃは、距離画像を用いて撮像装置１Ｃに対して移動する被写体を検出する点で実施の形態３と異なる。以下、実施の形態４について、実施の形態１〜３と異なる点を中心に説明し、実施の形態１〜３と同様の点の説明を適宜省略する。
【０１０４】
実施の形態４に係る撮像装置１Ｃの構成を説明する。図１２は、実施の形態４に係る撮像装置１Ｃの機能的な構成の一例を示すブロック図である。図１２に示すように、撮像装置１Ｃは、制御装置４０Ｃを備える。制御装置４０Ｃは、画像処理部４３Ｃを含む。画像処理部４３Ｃは、取得部４３１と、距離算出部４３２と、画像生成部４３３と、パラメタ格納部４３４と、記憶部４３５と、クラスタリング部４３９と、判定部４４０と、位置算出部４４１と、移動検出部４４２とを含む。撮像装置１Ｃのハードウェア構成は、実施の形態１と同様である。移動検出部４４２の機能は、他の構成要素と同様にＣＰＵ１０１等によって実現される。ここで、移動検出部４４２及び画像処理部４３Ｃは、第二検出部の一例である。
【０１０５】
移動検出部４４２は、判定部４４０によって決定された対象物体の中から、撮像装置１Ｃに対して移動する対象物体を、移動被写体として検出する。
【０１０６】
移動検出部４４２は、撮像時刻が異なる２つの距離画像間において、これらの距離画像から抽出された同一の対象物体の画素座標を比較する。撮像時刻が異なる２つの距離画像は、第一撮像部１０及び第二撮像部２０によって異なる撮像時刻で撮像された２組の第一画像及び第二画像から生成される。２つの距離画像が同じ対象物体を含むように、２つの距離画像の撮像時刻は、近い方が望ましい。例えば、一方の距離画像は、他方の距離画像の直前に撮像された距離画像である。
【０１０７】
移動検出部４４２は、対象物体の画素座標の変位に基づき、２つの距離画像間における当該対象物体の移動距離を算出する。具体的には、移動検出部４４２は、当該対象物体の２つの画素座標それぞれをカメラ座標に変換し、２つのカメラ座標を用いて移動距離を算出する。移動検出部４４２は、移動距離が移動閾値以上である場合、当該対象物体は移動被写体であると決定し、移動距離が移動閾値未満である場合、当該対象物体は移動しない被写体であると決定する。移動閾値は、対象物体の画素座標の比較に用いられる２つの距離画像の撮像時刻の差異に応じて、予め決定され、記憶部４３５に記憶される。例えば、移動閾値は、第一撮像部１０及び第二撮像部２０のフレームレートに応じて決定されてもよい。
【０１０８】
移動検出部４４２は、上述のように検出された移動被写体の距離値、カメラ座標及び画素座標等の情報を位置算出部４４１に出力する。
【０１０９】
位置算出部４４１は、移動被写体の情報を受け取ると、当該移動被写体の位置を算出し、出力部３及び／又は記憶部４３５に出力する。また、位置算出部４４１は、撮像装置１Ｃに対する移動被写体の速度及び移動方向を算出し出力してもよい。
【０１１０】
実施の形態４に係る撮像装置１Ｃのその他の構成及び動作は、実施の形態３と同様であるため、その説明を省略する。そして、上述のような実施の形態４に係る撮像装置１Ｃによると、実施の形態３と同様の効果が得られる。
【０１１１】
さらに、実施の形態４に係る撮像装置１Ｃは、第一撮像部１０及び第二撮像部２０の視野内で移動する移動体を、第一画像及び第二画像を処理して取得される距離情報を用いて検出する、移動検出部４４２を含む画像処理部４３Ｃを備えてもよい。さらに、画像処理部４３Ｃは、検出された移動体の位置情報を、上記距離情報を用いて取得してもよい。
【０１１２】
上記構成によると、撮像装置１Ｃは、遠方の測距が可能であるため、遠方の移動体及びその位置を検出することができる。さらに、撮像装置１Ｃによって検出される移動体及びその位置の情報は、撮像装置１Ｃが静止物及び移動物のいずれに搭載される場合でも活用可能である。さらに、撮像装置１Ｃは、画像の撮像時刻が異なる複数の距離情報に対応する移動体の位置情報を用いて、移動体の移動方向及び速度を検出することができる。
【０１１３】
例えば、撮像装置１Ｃが高速鉄道等の高速で移動する移動物に搭載される場合、撮像装置１Ｃの検出結果は、移動体が移動物の進行に支障となり得る否かの事前の判定に利用されることができる。撮像装置１Ｃが静止物に搭載される場合、撮像装置１Ｃの検出結果は、遠方の移動体の監視に活用可能である。例えば、地上に配置された撮像装置１Ｃは、地上からのドローン等の飛行体の監視用のセンサの１つとして活用できる。例えば、撮像装置１Ｃは、海上又は国境警備等において、不審物体を遠方から監視するセンサの１つとして活用することができる。
【０１１４】
また、実施の形態４に係る撮像装置１Ｃは、２つの距離画像間で変位する対象物体の移動距離に基づき、当該対象物体が移動被写体であるか否かを検出しているが、これに限定されない。撮像装置１Ｃは、３つ以上の距離画像間で変位する対象物体の移動距離に基づき、当該対象物体が移動被写体であるか否かを検出してもよい。この場合、３つ以上の距離画像間での対象物体の移動距離の合計と移動閾値とが比較されてもよい。又は、３つ以上の距離画像のうちの距離画像の各ペア間での対象物体の移動距離と移動閾値とが比較されてもよい。
【０１１５】
（その他の実施の形態）
以上、本発明の実施の形態の例について説明したが、本発明は、上記実施の形態及び変形例に限定されない。すなわち、本発明の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態又は変形例に施したもの、及び、異なる実施の形態及び変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１１６】
例えば、実施の形態に係る撮像装置は、２つの撮像部を備えるが、３つ以上の撮像部を備えてもよい。この場合、撮像装置は、３つ以上の撮像部によって撮像された画像の中の２つの画像を用いて距離画像を生成してもよい。又は、撮像装置は、３つ以上の撮像部によって撮像された画像の中の各ペアの画像を用いて、複数の距離画像を生成してもよい。さらに、撮像装置は、例えば測定誤差を低減するために、複数の距離画像を合成して１つの距離画像を生成してもよい。
【０１１７】
また、実施の形態に係る撮像装置において、第一撮像部１０及び第二撮像部２０の焦点距離ｆ１及びｆ２は同一であり、第一撮像素子１２及び第二撮像素子２２の画素ピッチｐ１及びｐ２は同一であるが、これに限定されない。焦点距離ｆ１及びｆ２は異なっていてもよい。この場合、例えば、焦点距離ｆ１及びｆ２のうちのより短い方が、式２を満たすように決定されてもよい。また、画素ピッチｐ１及びｐ２は異なっていてもよい。この場合、例えば、画素ピッチｐ１及びｐ２のうちのより大きい方が、式２を満たすように決定されてもよい。
【０１１８】
また、実施の形態に係る撮像装置において、第一撮像部１０及び第二撮像部２０の光軸は平行であるが、これに限定されない。光軸が平行である場合と光軸が平行でない場合との間において、被写体の３次元位置が同じであっても、第一画像及び第二画像上での当該被写体の画像座標は異なり、当該被写体の視差も異なる。このため、２つの場合の視差の差異を組み込むために、式２を満たす要素に補正係数等が適用されてもよい。例えば、補正係数が「α」である場合、式２を満たす画素ピッチ「ｐ」を補正した補正後画素ピッチ「ｐ'（＝α×ｐ）」を、光軸が平行でない場合の画素ピッチとしてもよい。
【０１１９】
また、上記で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
【０１２０】
また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、及び／又は、一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【符号の説明】
【０１２１】
１，１Ａ，１Ｂ，１Ｃ  撮像装置
１０  第一撮像部
２０  第二撮像部
４３，４３Ａ，４３Ｂ，４３Ｃ  画像処理部（処理部，演算部，第一検出部，第二検出部）
４３６  目標点算出部（演算部）
４３７  自己位置算出部（演算部）
４３８  自己姿勢算出部（演算部）
４３９  クラスタリング部（第一検出部）
４４０  判定部（第一検出部）
４４１  位置算出部（第一検出部）
４４２  移動検出部（第二検出部）
【先行技術文献】
【特許文献】
【０１２２】
【特許文献１】特開２００２−１８８９１７号公報
【特許文献２】特開２０１４−２３８４０９号公報
【特許文献３】国際公開第２０１０／１４０６１３号
【非特許文献】
【０１２３】
【非特許文献１】長田昌次郎、「視覚の奥行距離情報とその奥行感度」、テレビジョン、一般社団法人  映像情報メディア学会、１９７７年８月、第３１巻、第８号、ｐ．６４９−６５５
【図１】
2020056627.tif 000003
【図２】
2020056627.tif 000004
【図３】
2020056627.tif 000005
【図４】
2020056627.tif 000006
【図５】
2020056627.tif 000007
【図６】
2020056627.tif 000008
【図７】
2020056627.tif 000009
【図８】
2020056627.tif 000010
【図９】
2020056627.tif 000011
【図１０】
2020056627.tif 000012
【図１１】
2020056627.tif 000013
【図１２】
2020056627.tif 000014