(57)【要約】  【課題】低コストで水平方向周囲の三次元センシングを実現する。  【解決手段】三次元画像処理装置は、第１撮像部と第２撮像部から、それぞれ第１撮像画像と第２撮像画像を取得する入力部と、前記第１撮像画像の撮像領域と前記第２撮像画像の撮像領域の互いに重なる共通部に対して、ステレオ処理を実行して距離画像を出力するステレオ処理部と、を備え、前記第１撮像部の撮像方向と前記第２撮像部の撮像方向は、水平方向を向くように設定されており、前記第１撮像部の撮像領域の中央部と前記第２撮像部の撮像領域の中央部は、互いに重ならない非共通部として設定されており、前記第１撮像部の撮像領域の両側部と前記第２撮像部の撮像領域の両側部は、共通部として設定されている。【選択図】図１
2019158741.tif 000002
【特許請求の範囲】
【請求項１】
第１撮像部と第２撮像部から、それぞれ第１撮像画像と第２撮像画像を取得する入力部と、
前記第１撮像画像の撮像領域と前記第２撮像画像の撮像領域の互いに重なる共通部に対して、ステレオ処理を実行して距離画像を出力するステレオ処理部と、を備え、
前記第１撮像部の撮像方向と前記第２撮像部の撮像方向は、水平方向を向くように設定されており、
前記第１撮像部の撮像領域の中央部と前記第２撮像部の撮像領域の中央部は、互いに重ならない非共通部として設定されており、
前記第１撮像部の撮像領域の両側部と前記第２撮像部の撮像領域の両側部は、共通部として設定されている
三次元画像処理装置。
【請求項２】
請求項１に記載の三次元画像処理装置であって、
前記ステレオ処理部は、前記第１撮像部の撮像領域の中央部と前記第２撮像部の撮像領域の中央部に対して、それぞれモーションステレオ処理を実行して距離画像を出力する
三次元画像処理装置。
【請求項３】
請求項２に記載の三次元画像処理装置であって、
前記ステレオ処理により出力された前記距離画像と前記モーションステレオ処理により出力された前記距離画像のそれぞれを用いて物体を認識する画像認識部を備える
三次元画像処理装置。
【請求項４】
請求項２に記載の三次元画像処理装置であって、
前記第１撮像部と前記第２撮像部は、それぞれ１８０度を超える画角を有する魚眼レンズを備える
三次元画像処理装置。
【請求項５】
請求項４に記載の三次元画像処理装置であって、
前記魚眼レンズは、画角の小さい領域の分解能に対し、画角の大きい領域の分解能が高い射影方式である
三次元画像処理装置。
【請求項６】
請求項４に記載の三次元画像処理装置であって、
前記魚眼レンズは、２ｆ・ｔａｎθ／２の射影方式である
三次元画像処理装置。
【請求項７】
請求項１に記載の三次元画像処理装置であって、
前記第１撮像部と前記第２撮像部は、車両に設置され、
前記第１撮像部の撮像方向は、前記車両の横方向を向くように設定され、
前記第２撮像部の撮像方向は、前記第１撮像部の撮像方向と反対である前記車両の横方向を向くように設定される
三次元画像処理装置。
【請求項８】
請求項１に記載の三次元画像処理装置であって、
前記第１撮像部と前記第２撮像部を備える
三次元画像処理装置。
【請求項９】
請求項８に記載の三次元画像処理装置であって、
前記第１撮像部と前記第２撮像部は、それぞれのレンズと、１枚のイメージセンサと、それぞれのレンズを通過した光を前記イメージセンサへ反射させるミラー部とを備える
三次元画像処理装置。
【請求項１０】
第１撮像部と第２撮像部と第３撮像部から、それぞれ第１撮像画像と第２撮像画像と第３撮像画像を取得する入力部と、
前記第１撮像画像の撮像領域と前記第２撮像画像の撮像領域と前記第３撮像画像の撮像領域の互いに重なる共通部に対して、ステレオ処理を実行して距離画像を出力するステレオ処理部と、を備え、
前記第１撮像部の撮像方向と前記第２撮像部の撮像方向と前記第３撮像部の撮像方向は、水平方向を向くように設定されており、
前記第１撮像部の撮像領域の一部と前記第２撮像部の撮像領域の一部は、共通部として設定されており、
前記第１撮像部の撮像領域の残りの領域と前記第３撮像部の撮像領域の一部は、共通部として設定されている
三次元画像処理装置。
【請求項１１】
請求項１０に記載の三次元画像処理装置であって、
前記ステレオ処理部は、前記第２撮像部の撮像領域の他の一部と前記第３撮像部の撮像領域の他の一部に対して、それぞれモーションステレオ処理を実行して距離画像を出力する
三次元画像処理装置。
【請求項１２】
第１撮像部の撮像方向と第２撮像部の撮像方向を、水平方向を向くように設定し、
前記第１撮像部の撮像領域の中央部と前記第２撮像部の撮像領域の中央部を、互いに重ならない非共通部として設定し、
前記第１撮像部の撮像領域の両側部と前記第２撮像部の撮像領域の両側部を、互いに重なる共通部として設定し、
前記第１撮像部と前記第２撮像部から、それぞれ第１撮像画像と第２撮像画像を取得し、
前記第１撮像画像の撮像領域と前記第２撮像画像の撮像領域の共通部に対して、ステレオ処理を実行して距離画像を出力する
三次元画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像処理装置、及び三次元画像処理方法に関する。
【背景技術】
【０００２】
自動車の自動運転では、自動車の水平方向の周囲（特に、前後左右方向）に存在する障害物、人物、道路等の対象物を認識するため、自動車の３６０度全方位をセンシングする技術が求められている。
【０００３】
全方位センシングの方式としては、例えば、レーダー、レーザースキャナー、カメラ等を含む多種多数のセンシングデバイスを自動車に設け、これらのセンシングデバイスからのデータを使うものがある。
【０００４】
特許文献１には、カメラ部とミラー部をＺ軸方向に配置して構成される光学系により、Ｚ軸の周囲の全方位空間を撮像する装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２５６２９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、全方位センシングのために自動車に多種多数のセンシングデバイスを設けることは、デバイス数の増加や設計の複雑化などによる製造コストの上昇を招く。
【０００７】
特許文献１の技術を用いた場合、自動車の水平方向の周囲は、円環状の画像としてイメージセンサ上に投影されることになる。つまり、全方位センシングのためには、この円環状の画像を投影できる面積を有する四角形のイメージセンサを用意する必要がある。これは、製造コストの上昇を招く。
【０００８】
本発明の目的は、低コストで水平方向周囲の三次元センシングを実現することにある。
【課題を解決するための手段】
【０００９】
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。
【００１０】
三次元画像処理装置は、第１撮像部と第２撮像部から、それぞれ第１撮像画像と第２撮像画像を取得する入力部と、前記第１撮像画像の撮像領域と前記第２撮像画像の撮像領域の互いに重なる共通部に対して、ステレオ処理を実行して距離画像を出力するステレオ処理部と、を備え、前記第１撮像部の撮像方向と前記第２撮像部の撮像方向は、水平方向を向くように設定されており、前記第１撮像部の撮像領域の中央部と前記第２撮像部の撮像領域の中央部は、互いに重ならない非共通部として設定されており、前記第１撮像部の撮像領域の両側部と前記第２撮像部の撮像領域の両側部は、共通部として設定されている。
【発明の効果】
【００１１】
本発明によれば、低コストで水平方向周囲の三次元センシングを実現することができる。
【００１２】
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係る三次元画像処理装置の構成例を示すブロック図である。
【図２】レンズの特性の一例を説明する図である。
【図３】２つの撮像部の設置及び撮像領域の例を説明する図である。
【図４】第１実施形態を適用した場合の撮像方向及び撮像領域の例を説明する図である。
【図５】従来技術を適用した場合の撮像方向及び撮像領域の例を説明する図である。
【図６】第１実施形態を適用した場合のイメージセンサに投影される水平方向周囲の画像領域の例を説明する図である。
【図７】従来技術を適用した場合のイメージセンサに投影される水平方向周囲の画像領域の例を説明する図である。
【図８】撮像部の構成例を示すブロック図である。
【図９】撮像部の他の構成例を示すブロック図である。
【図１０】本発明の第２実施形態に係る複数の撮像部の設置及び撮像領域の例を説明する図である。
【図１１】本発明の第３実施形態に係る複数の撮像部の設置及び撮像領域の例を説明する図である。
【図１２】本発明の第４実施形態に係る複数の撮像部の設置及び撮像領域の例を説明する図である。
【図１３】本発明の第５実施形態に係る複数の撮像部の設置及び撮像領域の例を説明する図である。
【発明を実施するための形態】
【００１４】
以下、本発明の複数の実施形態について、図面を参照しながら説明する。
【００１５】
［第１実施形態］
図１は、本発明の第１実施形態に係る三次元画像処理装置１の構成例を示すブロック図である。
【００１６】
本実施形態の三次元画像処理装置１は、例えば自動車や二輪車等の車両に設置され、少なくとも車両の水平方向の周囲の画像を撮像する。車両の水平方向の周囲とは、例えば、車両の高さ方向を垂直方向とした場合に当該垂直方向の軸に直交する全方位である。つまり、この水平方向の周囲は、車両の前後左右を含む３６０度全方位に対応する。
【００１７】
一般的に、自動運転機能（完全自動運転に限定されない）を備える自動運転車両には、対象物の検知、車両の操舵、車両の加減速などを制御するＥＣＵ（Electronic Control Unit）等の制御部が搭載されている。三次元画像処理装置１は、制御部と直接あるいはＣＡＮ（Control Area Network）などの車内通信ネットワークを介して通信可能に接続され、撮像画像、撮像画像を元に生成した距離画像、画像認識処理の結果などの情報を制御部に出力する。
【００１８】
三次元画像処理装置１は、撮像部１０Ａ、撮像部１０Ｂ、及び画像処理部２０を備える。
【００１９】
撮像部１０Ａは、単眼カメラであり、レンズ１１Ａ、及びイメージセンサ１２Ａを備える。撮像部１０Ｂも、単眼カメラであり、レンズ１１Ｂ、及びイメージセンサ１２Ｂを備える。
【００２０】
レンズ１１Ａ，１１Ｂは、魚眼レンズ系であり、１８０度を超える画角を有する。本実施形態では、レンズ１１Ａ，１１Ｂの射影方式は、立体射影方式（２ｆ・ｔａｎθ／２）とすることができる。
【００２１】
図２は、レンズ１１Ａ，１１Ｂの特性の一例を説明する図であり、横軸が画角（ｄｅｇ）、縦軸が像高（ｍｍ）である。図２のグラフの傾きは、画角が大きくなるほど増加している。このことから、イメージセンサ１２Ａ，１２ｂの受光面の外側ほど分解能が高い像を得られることが分かる。なお、本実施形態及び後述する他の実施形態は、立体射影方式で説明するが、本発明は、高画角で高い分解能を得られるレンズを用いれば、各実施形態と同様の効果を得ることができる。
【００２２】
図１の説明に戻る。イメージセンサ１２Ａは、その受光面でレンズ１１Ａを通過した光を受光して撮像画像信号に変換し、画像処理部２０の入力Ｉ／Ｆ（インターフェイス）２１Ａに出力する。イメージセンサ１２は、その受光面でレンズ１１Ｂを通過した光を受光して画像信号に変換し、画像処理部２０の入力Ｉ／Ｆ２１Ｂに出力する。
【００２３】
画像処理部２０は、撮像部１０Ａ，１０Ｂから出力される撮像画像信号に対して画像処理を行うユニットである。画像処理部２０は、入力Ｉ／Ｆ２１Ａ、入力Ｉ／Ｆ２１Ｂ、補正部２２Ａ、補正部２２Ｂ、ステレオ処理部２３、画像認識部２４、及び出力Ｉ／Ｆ２５を備える。入力Ｉ／Ｆ２１Ａ及び入力Ｉ／Ｆ２１Ｂは、本発明の入力部に相当する。補正部２２Ａ及び補正部２２Ｂは、本発明の補正部に相当する。
【００２４】
画像処理部２０の各構成要素は、回路により実現してもよいし、少なくとも一部はプログラムを実行するＣＰＵ等のプロセッサ及びメモリにより実現してもよい。
【００２５】
入力Ｉ／Ｆ２１Ａ，２２Ｂはそれぞれ、例えばＡ／Ｄ（アナログ／デジタル）変換器を含み、イメージセンサ１２Ａ，１２Ｂから出力される撮像画像信号をデジタル信号に変換し、後段の補正部２２Ａ，２２Ｂに出力する。
【００２６】
補正部２２Ａ，２２Ｂはそれぞれ、入力Ｉ／Ｆ２１Ａ，２２Ｂから出力される撮像画像信号に対して各種の画像処理を施して補正し、ステレオ処理部２３に出力する。補正部２２Ａ，２２Ｂの実行する画像処理は、例えば、アフィン変換処理であり、これにより、歪んだ撮像画像を所定の座標系（例えば、円筒座標系）に変換することができる。補正部２２Ａ，２２Ｂの実行する画像処理は、他にも例えばデモザイキング処理などを含んでもよい。
【００２７】
ステレオ処理部２３は、補正部２２Ａ，２２Ｂから出力される撮像画像を用いてステレオ処理を実行し、画像認識部２４に出力する。
【００２８】
具体的には、ステレオ処理部２３は、撮像部１０Ａの撮像領域（視野）ＳＡと撮像部１０Ｂの撮像領域（視野）ＳＢとが重なる領域（共通視野）ＳＣにおける２つの画像を用いて、公知のステレオ法により距離情報を抽出し、距離画像データを生成する。
【００２９】
また、ステレオ処理部２３は、撮像領域ＳＡのうち撮像領域ＳＢと重ならない領域（単眼視野、非共通視野）については、車両の移動中に異なる位置・時刻で２つの画像を取得し、これらの画像を用いて公知のモーションステレオ法により距離情報を抽出し、距離画像データを生成する。同様に、ステレオ処理部２３は、撮像領域ＳＢのうち撮像領域ＳＡと重ならない領域（単眼視野、非共通視野）については、車両の移動中に異なる位置・時刻で２つの画像を取得し、これらの画像を用いて公知のモーションステレオ法により距離情報を抽出し、距離画像データを生成する。モーションステレオ法とは、１台のカメラを移動して２つの位置・時刻で得られる画像を使ってステレオ視するものであり、移動視差法ともいう。
【００３０】
ステレオ処理部２３は、上述のようにして、共通視野及び単眼視野を含む全方位について距離画像データを生成し、画像認識部２４に出力する。また、ステレオ処理部２３は、撮像部１０Ａ，１０Ｂのそれぞれから出力された撮像画像データも、画像認識部２４に出力する。
【００３１】
画像認識部２４は、ステレオ処理部２３から出力される距離画像データと撮像画像データを用いて、物体を画像認識することにより、車、人、障害物、標識、信号などの対象物の有無、位置、距離などに関する認識情報を生成し、出力Ｉ／Ｆ２５に出力する。画像認識部２４は、距離画像データや撮像画像データを出力Ｉ／Ｆ２５に出力してもよい。画像認識には、公知の画像認識技術を用いることができる。
【００３２】
出力Ｉ／Ｆ２５は、画像認識部２４から出力された認識情報や画像データを、ＥＣＵ等の制御部に出力する。
【００３３】
図３は、撮像部１０Ａ，１０Ｂの設置及び撮像領域の例を説明する図である。図３は、車両Ｖを高さ方向から見た平面図である。図３では、上側に拡大した車両Ｖを示し、下側に縮小した車両Ｖ及びその水平方向の視野を示す。
【００３４】
撮像部１０Ａの撮像方向は、車両Ｖの左方向Ｌを向くように設定されている。撮像部１０Ｂの撮像方向は、車両Ｖの右方向Ｒを向くように設定されている。
【００３５】
ここで、撮像部１０Ａの撮像領域ＳＡを、左部ＳＡ１、中央部ＳＡ２、及び右部ＳＡ３に分け、撮像部１０Ｂの撮像領域ＳＢを、左部ＳＢ１、中央部ＳＢ２、及び右部ＳＢ３に分けて考える。上述したとおり、撮像部１０Ａ，１０Ｂの画角はそれぞれ、１８０度を超えている。右部ＳＡ３と左部ＳＢ１は、互いに重なって車両Ｖの前方向Ｆをカバーする共通部ＳＣ１を形成する。また、左部ＳＡ１と右部ＳＢ３は、互いに重なって車両Ｖの後方向Ｂをカバーする共通部ＳＣ２を形成する。中央部ＳＡ２は、車両Ｖの左方向Ｌをカバーする非共通部ＳＡ２を形成する。中央部ＳＢ２は、車両Ｖの右方向Ｒをカバーする非共通部ＳＢ２を形成する。
【００３６】
上述したように、共通部ＳＣ１，ＳＣ２に対してはそれぞれ、ステレオ法を用いて距離情報が生成される。一方、中央部ＳＡ２，ＳＢ２に対してはそれぞれ、モーションステレオ法を用いて距離情報が生成される。なお、本実施形態では、立体射影方式のレンズを用いるため、車両Ｖの右方向Ｒ及び左方向Ｌの領域に対して、車両Ｖの前方向Ｆ及び後方向Ｂの領域の分解能を向上することができる。一般に車両の進行方向（前後）については、遠方の物体を検出する必要がある。本実施形態のように２つのレンズを配置し、高い画角での分解能を向上することで、進行方向の遠方の物体を検出することができる。また、本実施形態の構成は、進行方向（前後）の高精度の認識も実現することができる。このようにして、車両Ｖの水平方向の周囲の視野の距離情報が取得可能となり、さらに画像認識が可能となる。本実施形態では、一般的に単眼カメラより高価なステレオカメラを複数台設置する必要がないので、コストを低減することができる。
【００３７】
図４は、第１実施形態を適用した場合の撮像方向及び撮像領域の例を説明する図である。図４では、撮像領域を球で示しており、車両Ｖの前方向Ｆ、後方向Ｂ、上方向Ｕ、下方向Ｄ、左方向Ｌ、及び右方向Ｒはそれぞれ、図の奥方向、手前方向、上方向、下方向、左方向、及び右方向に対応する。
【００３８】
図４から分かるように、曲面状の各撮像領域（中央部ＳＡ２、中央部ＳＢ２、共通部ＳＣ１、共通部ＳＣ２）のうち、垂直方向（ＵＤ）の軸周りの領域により、車両Ｖの水平方向周囲の視野がカバーされている。
【００３９】
図５は、従来技術を適用した場合の撮像方向及び撮像領域の例を説明する図である。図５では、撮像領域を球で示している。
【００４０】
ここでは、画角１８０度を超える曲面ミラーをそれぞれ有する撮像部１０ａ及び撮像部１０ｂを用い、撮像部１０ａの撮像方向は、車両Ｖの下方向Ｄを向くように設定される。撮像部１０ａの曲面ミラーは、上方向Ｕを向いている。撮像部１０ｂの撮像方向は、車両Ｖの上方向Ｕを向くように設定される。撮像部１０ｂの曲面ミラーは、下方向Ｄを向いている。
【００４１】
ここで、撮像部１０ａの半球状の撮像領域Ｓａを、中央部Ｓａ１、及び外側部Ｓａ２に分け、撮像部１０ｂ半球状の撮像領域Ｓｂを、中央部Ｓｂ１、及び外側部Ｓｂ２に分けて考える。帯状の外側部Ｓａ２と外側部Ｓｂ２は、互いに重なって車両Ｖの左右前後方向ＬＲＦＢをカバーする共通部Ｓｃを形成する。中央部Ｓａ１は、車両Ｖの上方向Ｕ及び左右前後方向ＬＲＦＢをカバーする非共通部を形成する。中央部Ｓｂ１は、車両Ｖの下方向Ｄ及び左右前後方向ＬＲＦＢをカバーする非共通部を形成する。
【００４２】
図５から分かるように、曲面状の各撮像領域（中央部Ｓａ１、中央部Ｓｂ１、共通部Ｓｃ）のうち、垂直方向（ＵＤ）の軸周りの領域により、車両Ｖの水平方向周囲の視野がカバーされている。
【００４３】
従来技術では、通常考え得る設置方法として、撮像部１０ａ及び撮像部１０ｂを車両Ｖの屋根の中央に設置するため、下半球の撮像領域の大部分には車両Ｖの屋根が写り込んでしまう。また、上半球の撮像領域の中央には、曲面ミラーで反射された撮像部１０ａ自身が写り込み、下半球の撮像領域の中央には、曲面ミラーで反射された撮像部１０ｂ自身が写り込んでしまう。
【００４４】
これに対して、本実施形態では、通常考え得る設置方法として、撮像部１０Ａ及び撮像部１０Ｂを図３に示すように車両Ｖの屋根の左右に設置するため、下半球の撮像領域に写り込む車両Ｖの屋根の範囲を小さくすることができる。また、撮像部１０Ａ及び撮像部１０Ｂが撮像領域に写り込むことはない。このため、イメージセンサの画素を有効に利用することができる。
【００４５】
図６は、第１実施形態を適用した場合のイメージセンサ１２Ａ又は１２Ｂに投影される水平方向周囲の画像領域の例を説明する図である。
【００４６】
魚眼レンズにより投影された撮像画像３０は、円形である。車両Ｖの水平方向の周囲に対応する画像のうち、自動運転において重要な注目領域は、撮像画像３０のうち中央水平方向の帯状領域３１（ハッチングされた領域）として現れる。
【００４７】
自動運転においては、対象物が写り込む車両Ｖの水平方向の周囲の撮像画像が必須であるが、例えば空、高い建物、自車両Ｖなどが写り込む垂直方向上下の撮像画像の必要性は低い。従って、垂直方向中央付近の帯状領域３１に対応する注目領域の撮像画像が取得できれば足りる。
【００４８】
撮像画像３０の全体を実際に撮像画像データとして取得する場合には、イメージセンサ１２Ａ，１２Ｂの２次元寸法を撮像画像３０の全部領域を含む広さ（符号４０）に設定する必要がある。しかしながら、帯状領域３１のみを実際に撮像画像データとして取得する場合には、イメージセンサ１２Ａ，１２Ｂの２次元寸法を、帯状領域３１を少なくとも含む広さ（符号４１）に設定すれば足りる。つまり、より小さなセンササイズ（低コスト）で必要な情報を得ることができる。
【００４９】
また、自動運転においては、よりリアルタイムな画像認識及び自動車制御が必要である。小さなセンササイズにより、画像のデータ量も小さくなるため、画像処理の負荷を低減することができる。
【００５０】
なお、帯状領域３１よりも垂直方向の幅が広い領域の撮像画像が必要な場合は、イメージセンサ１２Ａ，１２Ｂの縦寸法を長く設定すればよい（符号４２）。また、欲しい垂直方向の幅及び位置に応じて、イメージセンサ１２Ａ，１２Ｂの縦寸法及び位置を設定してもよい。例えば、上側の領域の撮像画像が広く必要な場合は、イメージセンサ１２Ａ，１２Ｂも上側に配置すればよい（符号４３）。このように、本実施形態の撮像部１０Ａ，１０Ｂの構成及び設置により、イメージセンサのサイズや配置を設計変更し易いというメリットを得られる。
【００５１】
また、例えば、イメージセンサ１２Ａ，１２Ｂの縦寸法を長く設定した場合（符号４２）においては、その検出範囲の中で、帯状領域３１を少なくとも含むように検出領域の縦寸法を自由に変更することもできる。つまり、状況に応じて必要な検出領域の位置を選択することができる。
【００５２】
図７は、従来技術を適用した場合のイメージセンサに投影される水平方向周囲の画像領域の例を説明する図である。
【００５３】
曲面ミラーにより投影された撮像画像５０は、円形である。車両Ｖの水平方向の周囲に対応する画像のうち、自動運転において重要な注目領域は、撮像画像５０のうち中央部を囲む環状領域５１（ハッチングされた領域）として現れる。
【００５４】
自動運転においては、対象物が写り込む車両Ｖの水平方向の周囲の撮像画像が必須であるが、例えば空、高い建物、自車両Ｖなどが写り込む垂直方向上下の撮像画像の必要性は低い。従って、環状領域５１に対応する注目領域の撮像画像が取得できれば足りる。
【００５５】
しかしながら、環状領域５１の全体を撮像画像データとして取得する場合には、イメージセンサの２次元寸法を撮像画像５０の全部領域を含む広さ（符号６０）に設定する必要がある。つまり、イメージセンサのサイズを小さく設定することができないし、画像のデータ量及び画像処理の負荷を低減することができない。また、イメージセンサのサイズや配置を設計変更することができない。また、状況に応じて必要な検出領域の位置を選択することができない。
【００５６】
図８は、撮像部１０Ａ，１０Ｂの構成例を示すブロック図である。レンズ１１Ａの入射面及びイメージセンサ１２Ａの受光面は、車両Ｖの左方向Ｌを向いている。レンズ１１Ｂの入射面及びイメージセンサ１２Ｂの受光面は、車両Ｖの右方向Ｒを向いている。
【００５７】
図９は、撮像部１０Ａ，１０Ｂの他の構成例を示すブロック図である。撮像部１０Ａ及び撮像部１０Ｂは、撮像部１０ＡＢとして一体に構成されている。撮像部１０ＡＢは、レンズ１１Ａ、レンズ１１Ｂ、ミラー部１３ＡＢ、及びイメージセンサ１２ＡＢを備える。
【００５８】
レンズ１１Ａ，１１Ｂはそれぞれ、左方向Ｌと右方向Ｒを向いている。ミラー部１３ＡＢは、レンズ１１Ａから出射された光を反射してイメージセンサ１２ＡＢへ導く反射面と、レンズ１１Ｂから出射された光を反射してイメージセンサ１２ＡＢへ導く反射面とを備える。イメージセンサ１２ＡＢは、１枚のイメージセンサ基板で構成され、ミラー部１３ＡＢで反射されたレンズ１１Ａからの光を受ける検出領域と、ミラー部１３ＡＢで反射されたレンズ１１Ｂからの光を受ける検出領域とを備える。
【００５９】
なお、撮像部１０ＡＢを使用する場合、画像処理部２０は、イメージセンサ１２ＡＢから出力される撮像画像から各検出領域に対応する画像を取り出し、取り出した各画像に対して画像処理を実行する。
【００６０】
図８の撮像部１０Ａ，１０Ｂは、イメージセンサを２枚使用するのに対して、図９に示す撮像部１０ＡＢは、イメージセンサを１枚使用する。イメージセンサの枚数を減らすことは、イメージセンサを用意するコストだけでなく、配線や回路規模などの低減に繋がる。
【００６１】
以上、本発明の第１実施形態について説明した。第１実施形態によれば、低コストで水平方向周囲の三次元センシングを実現することができる。なお、本実施形態では中央部ＳＡ２，ＳＢ２に対してはモーションステレオ法を用いたが、検出方式については限定されない。例えば、ＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）などの技術を用いて物体を検出しても同様の効果が得られる。
【００６２】
［第２実施形態］
第２実施形態は、単眼カメラである撮像部１０Ｄ，１０Ｅと、ステレオカメラである撮像部１０Ｆとを用いる。以下、第１実施形態と異なる点を中心に説明する。
【００６３】
撮像部１０Ｄ，１０Ｅは、１８０度以上の画角を有してもよいし、１８０度未満の画角を有してもよい。撮像部１０Ｆは、一般的なステレオカメラであり、１８０度未満の画角を有する。
【００６４】
画像処理部２０は、撮像部１０Ｄ，１０Ｅ，１０Ｆそれぞれに対応する入力Ｉ／Ｆと補正部を備える。ステレオ処理部２３は、撮像部１０Ｄ，１０Ｅからの撮像画像の共通視野について、公知のステレオ法により距離情報を抽出する。また、ステレオ処理部２３は、撮像部１０Ｄ，１０Ｅからの撮像画像の単眼視野について、公知のモーションステレオ法により距離情報を抽出する。また、ステレオ処理部２３は、撮像部１０Ｆからの撮像画像の共通視野について、公知のステレオ法により距離情報を抽出する。
【００６５】
ステレオ処理部２３は、上述のようにして全方位の距離画像データを生成し、画像認識部２４に出力する。また、ステレオ処理部２３は、撮像部１０Ｄ，１０Ｅ、１０Ｆのそれぞれから出力された撮像画像データも、画像認識部２４に出力する。
【００６６】
図１０は、第２実施形態に係る撮像部１０Ｄ，１０Ｅ、１０Ｆの設置及び撮像領域の例を説明する図である。
【００６７】
撮像部１０Ｄの撮像方向は、車両Ｖの左後方向ＬＢを向くように設定されている。撮像部１０Ｅの撮像方向は、車両Ｖの右後方向ＲＢを向くように設定されている。撮像部１０Ｆの撮像方向は、車両Ｖの前方向Ｆを向くように設定されている。
【００６８】
ここで、撮像部１０Ｄの撮像領域ＳＤを、左部ＳＤ１、及び右部ＳＤ２に分け、撮像部１０Ｅの撮像領域ＳＥを、左部ＳＥ１、及び右部ＳＥ２に分けて考える。左部ＳＤ１と右部ＳＥ２は、互いに重なって車両Ｖの後方向Ｂをカバーする共通部ＳＣ２を形成する。撮像部１０Ｆの撮像領域ＳＦは、車両Ｖの前方向Ｆをカバーする共通部ＳＣ１を形成する。右部ＳＤ２は、車両Ｖの左方向Ｌをカバーする非共通部ＳＤ２を形成する。左部ＳＥ１は、車両Ｖの右方向Ｒをカバーする非共通部ＳＥ１を形成する。
【００６９】
なお、図１０では、撮像領域ＳＤと撮像領域ＳＦの端部は、隣接しているが、重複するようにしてもよい。撮像領域ＳＥと撮像領域ＳＦの端部についても同様である。
【００７０】
第２実施形態では、第１実施形態と比べて、ステレオカメラ（撮像部１０Ｆ）が追加されているものの、２台の単眼カメラ（撮像部１０Ｄ，１０Ｅ）には画角の小さいレンズを用いることができる。これにより、魚眼レンズにより撮影される撮像画像端部の歪みを低減できる。また、全方位の視野のうち共通視野の割合を増加させることができるので、モーションステレオ法を適用する領域が減少し、より精度の高い３次元画像を生成することができる。また、一般的に単眼カメラより高価なステレオカメラを２台以上設置する必要がないので、コストの上昇を抑えることができる。
【００７１】
［第３実施形態］
第３実施形態は、単眼カメラである撮像部１０Ｇ，１０Ｈ，１０Ｉを用いる。以下、第１実施形態と異なる点を中心に説明する。
【００７２】
撮像部１０Ｇ，１０Ｈ，１０Ｉは、１８０度以上の画角を有してもよいし、１８０度未満の画角を有してもよい。
【００７３】
画像処理部２０は、撮像部１０Ｇ，１０Ｈ，１０Ｉそれぞれに対応する入力Ｉ／Ｆと補正部を備える。ステレオ処理部２３は、撮像部１０Ｇ，１０Ｈ，１０Ｉからの撮像画像の共通視野について、公知のステレオ法により距離情報を抽出する。また、ステレオ処理部２３は、撮像部１０Ｇ，１０Ｈ，１０Ｉからの撮像画像の単眼視野について、公知のモーションステレオ法により距離情報を抽出する。
【００７４】
ステレオ処理部２３は、上述のようにして全方位の距離画像データを生成し、画像認識部２４に出力する。また、ステレオ処理部２３は、撮像部１０Ｇ，１０Ｈ，１０Ｉのそれぞれから出力された撮像画像データも、画像認識部２４に出力する。
【００７５】
図１１は、第３実施形態に係る撮像部１０Ｇ，１０Ｈ，１０Ｉの設置及び撮像領域の例を説明する図である。
【００７６】
撮像部１０Ｇの撮像方向は、車両Ｖの左前方向ＬＦを向くように設定されている。撮像部１０Ｈの撮像方向は、車両Ｖの右前方向ＲＦを向くように設定されている。撮像部１０Ｉの撮像方向は、車両Ｖの後方向Ｂを向くように設定されている。
【００７７】
ここで、撮像部１０Ｇの撮像領域ＳＧを、左部ＳＧ１、中央部ＳＧ２、及び右部ＳＧ３に分け、撮像部１０Ｈの撮像領域ＳＨを、左部ＳＨ１、中央部ＳＨ２、及び右部ＳＨ３に分け、撮像部１０Ｉの撮像領域ＳＩを、左部ＳＩ１、及び右部ＳＩ２に分けて考える。右部ＳＧ３と左部ＳＨ１は、互いに重なって車両Ｖの前方向Ｆをカバーする共通部ＳＣ１を形成する。左部ＳＧ１と右部ＳＩ２は、互いに重なって車両Ｖの左後方向ＬＢをカバーする共通部ＳＣ２を形成する。右部ＳＨ３と左部ＳＩ１は、互いに重なって車両Ｖの右後方向ＲＢをカバーする共通部ＳＣ３を形成する。中央部ＳＧ２は、車両Ｖの左方向Ｌをカバーする非共通部ＳＧ２を形成する。中央部ＳＨ２は、車両Ｖの右方向Ｒをカバーする非共通部ＳＨ２を形成する。本実施形態の構成では、撮影部１０Ｈ及び撮影部１０Ｇのレンズに高い画角で分解能が高いレンズを採用し、撮像部１０Ｉのレンズに中心画角で分解能が高いレンズを採用することで、車両Ｖの後方を遠距離まで検出することが可能となる。また、本構成は車両Ｖの後方の高精度の認識も実現することができる。
【００７８】
第３実施形態では、第１実施形態と比べて、単眼カメラが１台多いものの、３台の単眼カメラ（撮像部１０Ｇ，１０Ｈ，１０Ｉ）には画角の小さいレンズを用いることができる。これにより、魚眼レンズにより撮影される撮像画像端部の歪みを低減できる。また、全方位の視野のうち共通視野の割合を増加させることができるので、モーションステレオ法を適用する領域が減少し、より精度の高い３次元画像を生成することができる。また、一般的に単眼カメラより高価なステレオカメラを複数台設置する必要がないので、コストの上昇を抑えることができる。
【００７９】
第３実施形態の変形例として、撮像部１０Ｉの画角を大きくすることにより、左部ＳＧ１及び中央部ＳＧ２と右部ＳＩ２とが、互いに重なって車両Ｖの左方向Ｌ及び左後方向ＬＢをカバーする共通部ＳＣ２を形成するようにし、中央部ＳＨ２及び右部ＳＨ３と左部ＳＩ１とが、互いに重なって車両Ｖの右方向Ｒ及び右後方向ＲＢをカバーする共通部ＳＣ３を形成するようにしてもよい。このようにすれば、モーションステレオ法を使わずにステレオ法のみで３次元画像を生成することができる。
【００８０】
［第４実施形態］
第４実施形態は、単眼カメラである撮像部１０Ｊ，１０Ｋ，１０Ｌと、ステレオカメラである撮像部１０Ｍとを用いる。以下、第１実施形態と異なる点を中心に説明する。
【００８１】
撮像部１０Ｊ，１０Ｋ，１０Ｌは、１８０度以上の画角を有してもよいし、１８０度未満の画角を有してもよい。撮像部１０Ｍは、一般的なステレオカメラであり、１８０度未満の画角を有する。
【００８２】
画像処理部２０は、撮像部１０Ｊ，１０Ｋ，１０Ｌ，１０Ｍそれぞれに対応する入力Ｉ／Ｆと補正部を備える。ステレオ処理部２３は、撮像部１０Ｊ，１０Ｋ，１０Ｌからの撮像画像の共通視野について、公知のステレオ法により距離情報を抽出する。また、ステレオ処理部２３は、撮像部１０Ｊ，１０Ｋ，１０Ｌからの撮像画像の単眼視野について、公知のモーションステレオ法により距離情報を抽出する。また、ステレオ処理部２３は、撮像部１０Ｍからの撮像画像の共通視野について、公知のステレオ法により距離情報を抽出する。
【００８３】
ステレオ処理部２３は、上述のようにして全方位の距離画像データを生成し、画像認識部２４に出力する。また、ステレオ処理部２３は、撮像部１０Ｊ，１０Ｋ，１０Ｌ，１０Ｍのそれぞれから出力された撮像画像データも、画像認識部２４に出力する。
【００８４】
図１２は、第４実施形態に係る撮像部１０Ｊ，１０Ｋ，１０Ｌ，１０Ｍの設置及び撮像領域の例を説明する図である。
【００８５】
撮像部１０Ｊの撮像方向は、車両Ｖの左後方向ＬＢを向くように設定されている。撮像部１０Ｋの撮像方向は、車両Ｖの右後方向ＲＢを向くように設定されている。撮像部１０Ｌの撮像方向は、車両Ｖの後方向Ｂを向くように設定されている。撮像部１０Ｍの撮像方向は、車両Ｖの前方向Ｆを向くように設定されている。
【００８６】
ここで、撮像部１０Ｊの撮像領域ＳＪを、左部ＳＪ１、及び右部ＳＪ２に分け、撮像部１０Ｋの撮像領域ＳＫを、左部ＳＫ１、及び右部ＳＫ２に分け、撮像部１０Ｌの撮像領域ＳＬを、左部ＳＬ１、及び右部ＳＬ２に分けて考える。右部ＳＬ２と左部ＳＪ１は、互いに重なって車両Ｖの左後方向ＬＢをカバーする共通部ＳＣ２を形成する。左部ＳＬ１と右部ＳＫ２は、互いに重なって車両Ｖの右後方向ＲＢをカバーする共通部ＳＣ３を形成する。撮像領域ＳＭは、車両Ｖの前方向Ｆをカバーする共通部ＳＣ１を形成する。右部ＳＪ２は、車両Ｖの左前方向ＬＦをカバーする非共通部ＳＪ２を形成する。左部ＳＫ１は、車両Ｖの右前方向ＲＦをカバーする非共通部ＳＫ１を形成する。
【００８７】
なお、図１２では、撮像領域ＳＪと撮像領域ＳＭの端部は、隣接しているが、重複するようにしてもよい。撮像領域ＳＫと撮像領域ＳＭの端部についても同様である。本実施形態の構成では、撮影部１０Ｊ及び撮影部１０Ｋのレンズに高い画角で分解能が高いレンズを採用し、撮像部１０Ｌのレンズに中心画角で分解能が高いレンズを採用することで、車両Ｖの後方を遠距離まで検出することが可能となる。また、本構成は車両Ｖの後方の高精度の認識も実現することができる。
【００８８】
第４実施形態では、第１実施形態と比べて、単眼カメラが１台多く、かつ、ステレオカメラ（撮像部１０Ｍ）が追加されているので、３台の単眼カメラ（撮像部１０Ｊ，１０Ｋ，１０Ｌ）には画角の小さいレンズを用いることができる。これにより、魚眼レンズにより撮影される撮像画像端部の歪みを低減できる。また、全方位の視野のうち共通視野の割合を増加させることができるので、モーションステレオ法を適用する領域が減少し、より精度の高い３次元画像を生成することができる。また、一般的に単眼カメラより高価なステレオカメラを２台以上設置する必要がないので、コストの上昇を抑えることができる。
【００８９】
第４実施形態の変形例として、撮像部１０Ｌの画角を大きくすることにより、左部ＳＪ１及び右部ＳＪ２と右部ＳＬ２とが、互いに重なって車両Ｖの左前方向ＬＦ及び左後方向ＬＢをカバーする共通部ＳＣ２を形成するようにし、左部ＳＫ１及び右部ＳＫ２と左部ＳＬ１とが、互いに重なって車両Ｖの右前方向ＲＦ及び右後方向ＲＢをカバーする共通部ＳＣ３を形成するようにしてもよい。このようにすれば、モーションステレオ法を使わずにステレオ法のみで３次元画像を生成することができる。
【００９０】
［第５実施形態］
第５実施形態は、単眼カメラである撮像部１０Ｎ，１０Ｏ，１０Ｐ，１０Ｑを用いる。以下、第１実施形態と異なる点を中心に説明する。
【００９１】
撮像部１０Ｎ，１０Ｏ，１０Ｐ，１０Ｑは、１８０度以上の画角を有してもよいし、１８０度未満の画角を有してもよい。
【００９２】
画像処理部２０は、撮像部１０Ｎ，１０Ｏ，１０Ｐ，１０Ｑそれぞれに対応する入力Ｉ／Ｆと補正部を備える。ステレオ処理部２３は、撮像部１０Ｎ，１０Ｏ，１０Ｐ，１０Ｑからの撮像画像の共通視野について、公知のステレオ法により距離情報を抽出する。また、ステレオ処理部２３は、撮像部１０Ｎ，１０Ｏ，１０Ｐ，１０Ｑからの撮像画像の単眼視野について、公知のモーションステレオ法により距離情報を抽出する。
【００９３】
ステレオ処理部２３は、上述のようにして生成した全方位の距離画像データを生成し、画像認識部２４に出力する。また、ステレオ処理部２３は、撮像部１０Ｎ，１０Ｏ，１０Ｐ，１０Ｑのそれぞれから出力された撮像画像データも、画像認識部２４に出力する。
【００９４】
図１３は、第５実施形態に係る撮像部１０Ｎ，１０Ｏ，１０Ｐ，１０Ｑの設置及び撮像領域の例を説明する図である。
【００９５】
撮像部１０Ｎの撮像方向は、車両Ｖの左前方向ＬＦを向くように設定されている。撮像部１０Ｏの撮像方向は、車両Ｖの右前方向ＲＦを向くように設定されている。撮像部１０Ｐの撮像方向は、車両Ｖの右後方向ＲＢを向くように設定されている。撮像部１０Ｑの撮像方向は、車両Ｖの左後方向ＬＢを向くように設定されている。
【００９６】
ここで、撮像部１０Ｎの撮像領域ＳＮを、左部ＳＮ１、及び右部ＳＮ２に分け、撮像部１０Ｏの撮像領域ＳＯを、左部ＳＯ１、及び右部ＳＯ２に分け、撮像部１０Ｐの撮像領域ＳＰを、左部ＳＰ１、及び右部ＳＰ２に分け、撮像部１０Ｑの撮像領域ＳＱを、左部ＳＱ１、及び右部ＳＱ２に分けて考える。右部ＳＮ２と左部ＳＯ１は、互いに重なって車両Ｖの前方向Ｆをカバーする共通部ＳＣ１を形成する。右部ＳＰ２と左部ＳＱ１は、互いに重なって車両Ｖの後方向Ｂをカバーする共通部ＳＣ２を形成する。左部ＳＮ１は、車両Ｖの左前方向ＬＦをカバーする非共通部ＳＮ１を形成する。右部ＳＯ２は、車両Ｖの右前方向ＲＦをカバーする非共通部ＳＯ２を形成する。左部ＳＰ１は、車両Ｖの右後方向ＲＢをカバーする非共通部ＳＰ１を形成する。右部ＳＱ２は、車両Ｖの左後方向ＬＢをカバーする非共通部ＳＱ２を形成する。
【００９７】
なお、図１３では、撮像領域ＳＮと撮像領域ＳＱの端部は、隣接しているが、重複するようにしてもよい。撮像領域ＳＯと撮像領域ＳＰの端部についても同様である。
【００９８】
第５実施形態では、第１実施形態と比べて単眼カメラが２台多いものの、４台の単眼カメラ（撮像部１０Ｎ，１０Ｏ，１０Ｐ，１０Ｑ）には画角の小さいレンズを用いることができる。これにより、魚眼レンズにより撮影される撮像画像端部の歪みを低減できる。また、全方位の視野のうち共通視野の割合を増加させることができるので、モーションステレオ法を適用する領域が減少し、より精度の高い３次元画像を生成することができる。また、一般的に単眼カメラより高価なステレオカメラを複数台設置する必要がないので、コストの上昇を抑えることができる。
【００９９】
第５実施形態の変形例として、撮像部１０Ｎ及び撮像部１０Ｑの画角を大きくすることにより、左部ＳＮ１と右部ＳＱ２とが、互いに重なって車両Ｖの左方向Ｌをカバーする共通部を形成するようにし、さらに、撮像部１０Ｏ及び撮像部１０Ｐの画角を大きくすることにより、右部ＳＯ２と左部ＳＰ１とが、互いに重なって車両Ｖの右方向Ｒをカバーする共通部を形成するようにしてもよい。このようにすれば、モーションステレオ法を使わずにステレオ法のみで３次元画像を生成することができる。
【０１００】
以上、本発明について複数の実施形態を用いて説明した。もちろん、本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。
【０１０１】
上述の各実施形態では、複数の撮像部と画像処理部を三次元画像処理装置として捉えているが、複数の撮像部を除外した画像処理部を三次元画像処理装置と捉えてもよい。また、上述の各実施形態では、画像認識部が画像処理部に含まれているが、画像認識部は、車両側に配置されていてもよい。この場合、ステレオ処理部は、画像データ等の情報を出力Ｉ／Ｆを介して車両側に出力する。
【０１０２】
また、三次元画像処理装置の各構成要素の配置、寸法、形状等の構成は、本発明の目的を達成できれば、上記に説明あるいは図示した例に限られない。また、「水平」、「垂直」、「直交」、「平面」などの構成要素の関係、位置、方向などを表す言葉は、本発明の目的及び効果を達成できるのであれば、言葉どおりの厳密な意味に限られず、その意味と実質的に同一な場合も含むことができる。
【０１０３】
また、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【０１０４】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等の記録媒体に置くことができる。
【０１０５】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【０１０６】
本発明は、三次元画像処理装置に限られず、三次元画像処理方法、コンピュータ読み取り可能なプログラム、三次元画像処理装置を搭載した車両、などの様々な態様で提供できる。
【符号の説明】
【０１０７】
１…三次元画像処理装置、１０…撮像部、１１Ａ…レンズ、１１Ｂ…レンズ、１２Ａ…イメージセンサ、１２Ｂ…イメージセンサ、１３ＡＢ…ミラー部、２０…画像処理部、２１Ａ…入力Ｉ／Ｆ、２１Ｂ…入力Ｉ／Ｆ、２２Ａ…補正部、２２Ｂ…補正部、２３…ステレオ処理部、２４…画像認識部、２５…出力Ｉ／Ｆ、３０…撮像画像、３１…帯状領域、４０…イメージセンサ、４１…イメージセンサ、４２…イメージセンサ、４３…イメージセンサ、５０…撮像画像、５１…環状領域、６０…イメージセンサ、Ｓ…撮像領域（視野）、Ｖ…車両
【図１】
2019158741.tif 000003
【図２】
2019158741.tif 000004
【図３】
2019158741.tif 000005
【図４】
2019158741.tif 000006
【図５】
2019158741.tif 000007
【図６】
2019158741.tif 000008
【図７】
2019158741.tif 000009
【図８】
2019158741.tif 000010
【図９】
2019158741.tif 000011
【図１０】
2019158741.tif 000012
【図１１】
2019158741.tif 000013
【図１２】
2019158741.tif 000014
【図１３】
2019158741.tif 000015