(57)【要約】【課題】精度が低い領域の距離情報を補正することができる。【解決手段】距離算出装置は、センサの出力を用いて、精度の高い距離の情報である高精度距離情報を生成する高精度距離情報生成部と、センサの出力を用いて、高精度距離情報よりも精度の低い低精度距離情報を生成する低精度距離情報生成部と、高精度距離情報を用いて低精度距離情報を補正する距離補正部とを備える。【選択図】図２
2020016628.tif 000002
【特許請求の範囲】
【請求項１】
センサの出力を用いて、精度の高い距離の情報である高精度距離情報を生成する高精度距離情報生成部と、
センサの出力を用いて、前記高精度距離情報よりも精度の低い低精度距離情報を生成する低精度距離情報生成部と、
前記高精度距離情報を用いて前記低精度距離情報を補正する距離補正部とを備える距離算出装置。
【請求項２】
請求項１に記載の距離算出装置において、
前記高精度距離情報生成部は、複数のカメラの出力であって視野が重複する複眼領域の出力を用いて前記高精度距離情報を生成し、
前記低精度距離情報生成部は、単一のカメラの出力を用いて単眼領域の前記低精度距離情報を生成し、
前記複眼領域および前記単眼領域のそれぞれに含まれる１以上の被写体を所定の条件に基づき第１グループとして対応付けるグループ情報生成部をさらに備え、
前記距離補正部は、前記高精度距離情報生成部により生成された、前記第１グループに属する被写体の前記高精度距離情報を用いて、前記低精度距離情報を補正する距離算出装置。
【請求項３】
請求項２に記載の距離算出装置において、
前記第１グループに属する被写体は、前記単眼領域および前記複眼領域に跨って存在する同一の被写体である距離算出装置。
【請求項４】
請求項３に記載の距離算出装置において、
前記グループ情報生成部は、前記単眼領域に含まれる被写体であって所定の条件を満たす被写体を追加被写体として前記第１グループとともに第２グループとして対応付け、
前記距離補正部は、前記第１グループの距離情報を用いて、前記追加被写体の前記低精度距離情報を補正する距離算出装置。
【請求項５】
請求項２に記載の距離算出装置において、
前記距離補正部は、同一の領域に対する前記高精度距離情報と前記低精度距離情報との差を距離差分情報として算出し、前記距離差分情報に基づき前記低精度距離情報の補正の要否を判断する距離算出装置。
【請求項６】
請求項４に記載の距離算出装置において、
前記距離補正部は、前記高精度距離情報生成部が生成した第１グループの複眼距離情報または前記距離補正部が生成した補正後の単眼距離情報を用いて前記追加被写体の前記低精度距離情報を補正する距離算出装置。
【請求項７】
請求項２に記載の距離算出装置において、
前記距離補正部は、前記高精度距離情報に基づき、前記低精度距離情報を補正する手法を決定する距離算出装置。
【請求項８】
請求項２に記載の距離算出装置において、
前記距離補正部は、車両の走行状態に基づき、前記低精度距離情報を補正する手法を決定する距離算出装置。
【請求項９】
請求項２に記載の距離算出装置において、
前記距離補正部は、被写体の種類に基づき、前記低精度距離情報を補正する手法を決定する距離算出装置。
【請求項１０】
請求項２に記載の距離算出装置において、
前記距離補正部は、前記低精度距離情報が補正される被写体と、前記単眼領域および前記複眼領域の境界との距離に基づき、距離情報補正の手法を決定する距離算出装置。
【請求項１１】
請求項２に記載の距離算出装置において、
グループが複眼領域外に存在する期間情報を生成する複眼領域外滞在期間生成部をさらに備え、
前記距離補正部は、前記期間情報に基づき、距離情報補正の手法を決定する距離算出装置。
【請求項１２】
請求項２に記載の距離算出装置において、
前記距離補正部は、前記第１グループの複眼距離、走行情報、グループの種類、境界からの距離または期間の少なくとも一つの条件に基づき、グループ化を決定する距離算出装置。
【請求項１３】
請求項１に記載の距離算出装置において、
前記高精度距離情報生成部は、ＴＯＦ方式の距離センサ、ミリ波レーダ、およびLiDARの少なくともいずれかの出力を用いて前記高精度距離情報を生成する距離算出装置。
【請求項１４】
請求項１に記載の距離算出装置において、
前記低精度距離情報生成部は、ＴＯＦ方式の距離センサ、ミリ波レーダ、およびLiDARの少なくともいずれかの出力を用いて前記低精度距離情報を生成する距離算出装置。
【請求項１５】
請求項１に記載の距離算出装置において、
前記高精度距離情報生成部は、２つのカメラが出力し、視野が重複する領域であり、撮影条件が比較的良好な領域の情報を用いて前記高精度距離情報を生成し、
前記低精度距離情報生成部は、前記２つのカメラが出力し、視野が重複する領域であり、前記高精度距離情報生成部が用いた領域よりも撮影条件が劣悪な領域の情報を用いて前記低精度距離情報を生成する距離算出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離算出装置に関する。
【背景技術】
【０００２】
ステレオカメラを使用してカメラと観測対象物との距離を算出し、観測対象物の認識処理を行う技術が知られている。また、ステレオカメラを構成する２つのカメラをずらし、前方に複眼領域、左右側方に単眼領域を生成することで、高精度かつ広視野の車両周辺監視を実現する方法も知られている。特許文献１には基準面上に存在する物体を検出する物体検出装置であって、複数の撮像装置のそれぞれで撮像された画像間の視差を算出する視差算出部と、前記視差に基づいて、前記複数の画像の共通領域と、前記共通領域以外の非共通領域と、を算出する領域算出部と、前記共通領域内の矩形であって、前記矩形に含まれる各点の前記視差の均一度があらかじめ定められた閾値より大きい矩形を、前記物体を検出するための矩形の候補である候補矩形として生成する第１生成部と、前記非共通領域内の矩形を前記候補矩形として生成する第２生成部と、生成された前記候補矩形に検出対象の物体が含まれるか否かを判定する判定部と、を備えることを特徴とする物体検出装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−７９５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
高精度に距離情報を算出できない領域の距離情報を向上させるニーズが存在する。
【課題を解決するための手段】
【０００５】
本発明の第１の態様による距離算出装置は、センサの出力を用いて、精度の高い距離の情報である高精度距離情報を生成する高精度距離情報生成部と、センサの出力を用いて、前記高精度距離情報よりも精度の低い低精度距離情報を生成する低精度距離情報生成部と、前記高精度距離情報を用いて前記低精度距離情報を補正する距離補正部とを備える。
【発明の効果】
【０００６】
本発明によれば、精度が低い領域の距離情報を補正することができる。
【図面の簡単な説明】
【０００７】
【図１】距離算出装置６を含む距離算出システムＳの概要図
【図２】第１の実施の形態に係る車両制御システムＳの構成図
【図３】図３（ａ）は第１撮影画像１００を示す図、図３（ｂ）は第２撮影画像１０１を示す図、図３（ｃ）はグループを示す図
【図４】補正部２０の構成図
【図５】グループ情報生成部３０の構成図
【図６】距離算出装置６の動作を表すフローチャート
【図７】変形例３における補正部２０の構成図
【図８】変形例４における距離差分情報１２０の算出方法と、越境グループＧ１に対する単眼距離情報１０２の補正処理を示す図
【図９】式６または式７に示す重み付け係数ηの決定方法を示す図
【図１０】図９で示す補正係数ηを用いた単眼距離情報１０２の補正処理の一例を示す図。図１０（ａ）は補正前を示す図、図１０（ｂ）は補正後を示す図
【図１１】変形例１１における越境グループＧ１を対象とする距離差分情報１２０と単眼距離情報１０２の補正処理を示す図
【図１２】変形例１２における拡大越境グループＧ２を対象とする補正実行部２１による補正処理を示す図。図１２（ａ）は補正前を示す図、図１２（ｂ）が補正後を示す図
【図１３】式６または式７で示す補正係数ηの決定方法を示す図
【図１４】図９に示した閾値Ｌ１を示す図
【図１５】変形例１９における拡大越境グループを対象とする補正を説明する図。図１５（ａ）は補正前を示す図、図１５（ｂ）は補正後を示す図
【図１６】変形例１６における補正部２０の構成を示す図
【図１７】補正判定部２３による補正係数ηの決定方法を示す図
【図１８】変形例２１におけるグループ情報生成部３０の構成図
【図１９】被写体の種類と補正の手法の対応関係を示す図
【図２０】第２の実施の形態における距離算出システムＳの概要図
【図２１】第２の実施の形態における距離算出装置６の構成図
【図２２】第３の実施の形態における距離算出システムＳの概要図
【図２３】第３の実施の形態における距離算出装置６の構成図
【図２４】第４の実施の形態における距離算出システムＳの概要図
【図２５】第４の実施の形態における距離算出装置６の構成図
【図２６】第５の実施の形態における距離算出システムＳの構成図
【発明を実施するための形態】
【０００８】
―第１の実施の形態―
以下、図１〜図６を参照して、距離算出装置の第１の実施の形態を説明する。
【０００９】
（構成）
図１は、距離算出装置６を含む距離算出システムＳの概要図である。距離算出システムＳは車両１に搭載され、第１撮像部２と、第２撮像部３とを備える。第１撮像部２および第２撮像部３は、車両１の進行方向の前方を向けて並べて設置される。第１撮像部２および第２撮像部３の視野角は既知であり、図１に示すように一部の視野が重複する。図１においてハッチングで示す領域が視野が重複している。
【００１０】
図２は、第１の実施の形態に係る車両制御システムＳの構成図である。車両制御システムＳは、第１撮像部２と、第２撮像部３と、距離算出装置６と、認識処理部７と、車両制御部８とを備える。距離算出装置６は、単眼距離情報生成部１０と、複眼距離情報生成部１１と、単眼距離情報補正部１２とを備える。単眼距離情報補正部１２は、補正部２０と、グループ情報生成部３０とを備える。第１撮像部２は撮影して得られた画像である第１撮影画像１００を距離算出装置６に出力する。第２撮像部３は撮影して得られた画像である第２撮影画像１０１を距離算出装置６に出力する。
【００１１】
距離算出装置６は、単体のＥＣＵ（Electronic  Control  Unit、電子制御装置）であってもよいし、他の機能をさらに備える演算装置でもよい。距離算出装置６は、第１撮像部２および第２撮像部３と一体に構成されてもよい。また距離算出装置６、認識処理部７、および車両制御部８が一体の装置により実現されてもよい。認識処理部７および車両制御部８は、一体の電子制御装置により実現されてもよいし、それぞれが異なる電子制御装置により実現されてもよい。
【００１２】
単眼距離情報生成部１０は、第１撮影画像１００および第２撮影画像１０１のそれぞれを用いて単眼距離情報１０２を生成する。単眼距離情報生成部１０は既知の手法により単眼画像から距離を算出する。すなわち単眼距離情報生成部１０は、単眼距離情報１０２の生成において第１撮影画像１００および第２撮影画像１０１を組み合わせて使用するのではない。単眼距離情報生成部１０は、第１撮影画像１００を用いて算出した距離情報と、第２撮影画像１０１を用いて算出した距離情報とをあわせて単眼距離情報１０２とする。
【００１３】
単眼距離情報生成部１０はたとえば撮影が平面で水平方向を向いて行われたと仮定し、撮影画像の上部ほど遠い距離として算出する。ただし単眼距離情報生成部１０は、１または複数の画素単位で構成される距離情報ブロックごとに距離を算出する。距離情報ブロックはたとえば、縦４画素×横４画素で構成される１６画素でもよいし、縦２画素×横１画素で構成される２画素でもよいし、縦１画素×横１画素、すなわち１画素でもよい。単眼距離情報生成部１０は生成した単眼距離情報１０２を単眼距離情報補正部１２の補正部２０に出力する。
【００１４】
複眼距離情報生成部１１は、第１撮影画像１００および第２撮影画像１０１を組み合わせて、具体的には第１撮影画像１００および第２撮影画像１０１の視野が重複する領域を用いて、複眼距離情報１０３を生成する。第１撮像部２と第２撮像部３の基線長を含む位置関係は既知なので、複眼距離情報生成部１１は第１撮影画像１００および第２撮影画像１０１に共通する画素の視差から距離を算出する。なお複眼距離情報生成部１１が算出する複眼距離情報１０３も距離情報ブロックを単位として算出される。
【００１５】
単眼距離情報１０２と複眼距離情報１０３を比較すると、複眼距離情報１０３の方が精度が高い。そのため単眼距離情報１０２は「低精度距離情報」と呼ぶことができ、複眼距離情報１０３は「高精度距離情報」と呼ぶこともできる。これと同様に、単眼距離情報生成部１０は「低精度距離情報生成部」と呼ぶことができ、複眼距離情報生成部１１は「高精度距離情報生成部」と呼ぶことができる。
【００１６】
なお単眼距離情報生成部１０が用いる距離情報ブロックのサイズと補正部２０が用いる距離情報ブロックのサイズは異なっていてもよいが、本実施の形態では説明を簡略化するために両者の距離情報ブロックは同一とする。補正部２０は生成した複眼距離情報１０３を単眼距離情報補正部１２の補正部２０およびグループ情報生成部３０に出力する。
【００１７】
グループ情報生成部３０は、第１撮影画像１００、第２撮影画像１０１、および複眼距離情報１０３を用いて、被写体の検知および複数の被写体に対するグルーピング処理を行い、その結果をグループ情報１０６として補正部２０に出力する。グループ情報生成部３０の動作の詳細は後述する。
【００１８】
グループ情報生成部３０が生成するグループ情報１０６には、グループの種類、およびグループを構成する被写体の画像上の位置が含まれる。なおグループ情報１０６には被写体の種類の情報が含まれてもよい。被写体の種類とはたとえば、人物、動物、車両、路面、縁石、側道、白線、ガードレール、標識、構造物、信号、路上落下物、路面上の穴、水溜りなどである。補正部２０は、複眼距離情報１０３とグループ情報１０６とを用いて単眼距離情報１０２を補正し、補正後距離情報１０４を出力する。補正部２０の動作の詳細は後述する。認識処理部７は、距離算出装置６が生成した補正後距離情報１０４を用いて認識処理を行う。
【００１９】
補正部２０は、複眼距離情報１０３およびグループ情報１０６を用いて単眼距離情報１０２を補正し、補正後の単眼距離情報１０２と複眼距離情報１０３を補正後距離情報１０４として出力する。補正部２０の詳細な構成および動作は後述する。
【００２０】
車両制御部８は、認識処理部７が生成した認識情報１４０を用いて車両１を制御する。また車両制御部８は、距離算出装置６に入力情報１０５を出力する。入力情報１０５は、車両１の走行情報、認識情報１４０、交通インフラ情報、地図情報、および車両制御情報の少なくとも１つを含む。車両制御部８は車両１に搭載された不図示のセンサから車両１の走行情報を取得できる。車両制御部８は、不図示の通信装置を用いて車両１の外部から交通インフラ情報を取得できる。車両制御部８は、不図示の通信装置を用いて地図データベースを参照することで、または車両１に内蔵される地図データベースを参照することで、地図情報を取得できる。
【００２１】
走行情報の一例として、車両１の走行速度情報、加速度情報、位置情報、進行方向、走行モード等がある。走行モードの一例として、自動運転モード、走行路に基づく走行モード、走行状況に基づく走行モード、周囲自然環境に基づく走行モード、省電力または少燃費で走行する省エネルギーモードがある。自動運転モードの一例として、車両制御を人間の判断で実行する手動運転モード、車両制御の一部をシステムの判断で支援する運転支援モード、車両制御をシステムの判断で実行する自動運転モードがある。走行路に基づく走行モードの一例として、市街地走行モード、高速道路走行モード、法定速度情報がある。走行状況に基づく走行モードの一例として、渋滞時走行モード、駐車場モード、周囲車両の位置や動きに応じた走行モードがある。周囲自然環境に基づく走行モードの一例として、夜間時走行モード、逆光時走行モードがある。地図情報の一例として、地図上における車両１の位置情報、道路形状情報、道路面地物情報、路幅情報、車線情報、道路勾配情報がある。道路形状情報の一例として、Ｔ字路、交差点がある。道路面地物情報の一例として、信号、車道部、歩道部、踏切道、自転車駐輪場、自動車駐車場、横断歩道がある。地図情報の一例として、地図上における車両１の位置情報、道路形状情報、道路面地物情報、路幅情報、車線情報、道路勾配情報がある。道路形状情報の一例として、Ｔ字路、交差点がある。道路面地物情報の一例として、信号、車道部、歩道部、踏切道、自転車駐輪場、自動車駐車場、横断歩道がある。
【００２２】
認識情報１４０の一例として、被写体の位置情報、種類情報、動作情報、危険情報がある。位置情報の一例として、車両１からの方向と距離がある。種類情報の一例として、歩行者、大人、子供、高齢者、動物、落石、自転車、周辺車両、周辺構造物、縁石がある。動作情報の一例として、歩行者や自転車のふらつき、飛び出し、横切り、移動方向、移動速度、移動軌跡がある。危険情報の一例として、歩行者飛び出し、落石、急停止や急減速や急ハンドルなど周辺車両の異常動作などがある。交通インフラ情報の一例として、渋滞情報、速度制限や通行禁止などの交通規制情報、別の走行ルートに誘導する走行ルート誘導情報、事故情報、注意喚起情報、周辺車両情報、地図情報等がある。車両制御情報の一例として、ブレーキ制御、ハンドル制御、アクセル制御、車載ランプ制御、警告音発生、車載カメラ制御、ネットワークを介して接続された周辺車両や遠隔地センタ機器への撮像装置周辺の観測対象物に関する情報出力などがある。また、車両制御部８は、距離算出装置６または認識処理部７で処理した情報を元に被写体検知処理を行ってもよいし、車両制御部８に接続された表示機器に対して、第１撮像部２または第２撮像部３を介して得られた画像や、視聴者に認識させるための表示を行ってもよいし、地図情報や、渋滞情報などの交通情報を処理する情報機器に対して、距離算出装置６または認識処理部７で検知した観測対象物の情報を供給してもよい。
【００２３】
（撮影画像とグループ）
図３は撮影画像の領域を示す図である。図３（ａ）は第１撮像部２が取得した第１撮影画像１００を示す図であり、図３（ｂ）は第２撮像部３が取得した第２撮影画像１０１を示す図であり、図３（ｃ）はグループを示す図である。第１撮像部２および第２撮像部３は水平方向に並んでおり、図３（ａ）と図３（ｂ）の横方向は撮影位置にあわせて配置している。すなわち第１撮影画像１００の領域Ｑと第２撮影画像１０１の領域Ｒは同一の領域が撮影されている。
【００２４】
そのため第１撮影画像１００の領域Ｑと第２撮影画像１０１の領域Ｒを用いることで、複眼距離情報生成部１１は高精度に距離を算出できる。以下では、領域Ｑと領域Ｒの２つの情報をあわせて用いる意味を含めて、領域Ｑと領域Ｒに含まれる情報をまとめて「領域Ｔの情報」と呼ぶ。領域Ｔを「両眼領域」と呼ぶ。その一方で第１撮影画像１００の領域Ｐおよび第２撮影画像１０１の領域Ｓは、第１撮像部２および第２撮像部３のいずれか一方からしか情報が得られておらず、単眼距離情報生成部１０は低い精度でしか距離を算出できない。以下では、領域Ｐ〜領域Ｓのそれぞれを「単眼領域」と呼ぶ。
【００２５】
図３に示されている被写体は次のとおりである。第１撮影画像１００には被写体４１０、被写体４２０、および被写体４３０が撮影されている。被写体４３０は領域Ｐと領域Ｑに跨っており、便宜的に領域Ｐの被写体４３０を部分被写体４０１と呼び、領域Ｑの被写体４３０を部分被写体４００と呼ぶ。被写体４１０は領域Ｑの右端に存在し、被写体４２０は領域Ｐの中央付近に存在する。第２撮影画像１０１には、領域Ｒの左端に部分被写体４０１が撮影され、領域Ｒの右端付近に被写体４１０が撮影される。また第２撮影画像１０１の領域Ｓには、左端から被写体４１１、被写体４１２、および被写体４１３が撮影される。被写体４１０、被写体４１１、被写体４１２、および被写体４１３の形状は略同一である。
【００２６】
本実施の形態では、部分被写体４００と部分被写体４０１の集合、換言すると被写体４３０そのものをグループＧ１とし、被写体４２０と被写体４３０の集合をグループＧ２とし、被写体４１０と被写体４１１と被写体４１２と被写体４１３との集合をグループＧ３とする。グループＧ１、グループＧ２、およびグループＧ３のそれぞれは、第１グループ、第２グループ、および第３グループとも呼ぶ。
【００２７】
本実施の形態では、両眼領域と単眼領域に跨って存在する被写体の各領域での部分のグループの種類、すなわちグループＧ１を「越境グループ」と呼ぶ。図３に示す例に当てはめると、両眼領域Ｑと単眼領域Ｐに跨って存在する被写体４３０の各領域での部分、すなわち部分被写体４００と部分被写体４０１のグループＧ１は越境グループに分類される。以下ではグループＧ１を「越境グループＧ１」と呼ぶ。
【００２８】
単眼領域に存在する被写体であって越境グループに属する被写体の近傍に存在する被写体と、その越境グループを構成する被写体のグループの種類、すなわちグループＧ２を「拡大越境グループ」と呼ぶ。図３に示す例に当てはめると、単眼領域Ｐに存在する被写体であって越境グループＧ１に属する被写体４３０の近傍に存在する被写体４２０と、その越境グループＧ１を構成する被写体４３０のグループＧ２は拡大越境グループに分類される。以下ではグループＧ２を「拡大越境グループＧ２」と呼ぶ。なお以下では、被写体４２０のように、拡大越境グループＧ２には含まれるが越境グループＧ１には含まれない被写体を「追加被写体」と呼ぶ。
【００２９】
複眼領域および単眼領域に隣接して存在する複数の被写体から構成されるグループの種類、すなわちグループＧ３を「単体グループ」と呼ぶ。ただし単体グループに属するそれぞれの被写体は、被写体の種類、被写体の形状、被写体の色彩、および被写体の天地方向の位置の少なくとも１つが同一または類似していることを条件とする。図３に示す例に当てはめると、単眼領域Ｓに隣接して存在する被写体４１１と被写体４１２と被写体４１３のグループＧ３は単体グループに分類される。以下ではグループＧ３を「単体グループＧ３」と呼ぶ。
【００３０】
（補正部２０）
図４は、補正部２０の構成図である。補正部２０は、距離差分情報生成部２２と、補正判定部２３と、補正実行部２１とを備える。距離差分情報生成部２２は、単眼距離情報１０２と複眼距離情報１０３とグループ情報１０６とに基づき距離差分情報１２０を生成する。距離差分情報１２０については後述する。
【００３１】
補正判定部２３は、距離差分情報１２０と複眼距離情報１０３と入力情報１０５に基づき単眼距離情報１０２に対する補正方法を判定し補正判定情報１２１を出力する。補正実行部２１は、距離差分情報１２０とグループ情報１０６と補正判定情報１２１に基づき単眼距離情報１０２に対する補正処理を行い、複眼距離情報１０３と補正後の単眼距離情報を含む補正後距離情報１０４を生成する。補正判定情報１２１については後述する。
【００３２】
（距離差分情報生成部２２）
距離差分情報生成部２２の動作を、図３を再び参照して具体的に説明する。距離差分情報生成部２２は、複眼領域Ｔに含まれる部分被写体４００に対して、複眼距離情報１０３に基づき平均値ＬＡｍを算出する。次に距離差分情報生成部２２は、単眼画像のみを用いて算出する部分被写体４００の単眼距離情報１０２に基づき平均値ＬＡｓを算出する。そして距離差分情報生成部２２は、平均値ＬＡｍおよび平均値ＬＡｓを用いて距離差分情報１２０を算出する。平均値ＬＡｍおよび平均値ＬＡｓの算出はたとえば、部分被写体４００の全領域の単純平均でもよいし、境界に近いほど重みを重くする加重平均でもよい。
【００３３】
加重平均を行う場合の計算例は次のとおりである。計算対象となる部分被写体４００を構成するｎ個の距離情報ブロックｋの複眼距離情報１０３をＬｍ（ｋ）、単眼距離情報１０２をＬｓ（ｋ）、複眼距離情報１０３に対する重み付け係数をα（ｋ）、単眼距離情報１０２に対する重み付け係数をβ（ｋ）とおく。ただしｋは０〜ｎ−１の整数である。このとき平均値ＬＡｍおよびＬＡｓは式１および式２のように表される。
ＬＡｍ＝（１／ｎ）Σｋ＝０ｎ-1（α（ｋ）×Ｌｍ（ｋ））  ・・・（式１）
ＬＡｓ＝（１／ｎ）Σｋ＝０ｎ-1（β（ｋ）×Ｌｓ（ｋ））  ・・・（式２）
【００３４】
距離差分情報１２０はたとえば、平均値ＬＡｍと平均値ＬＡｓとの差として算出される。ただし差分値を算出する際に、平均値ＬＡｍまたは平均値ＬＡｓに重み付けを行ってもよい。記号ＬＡｍで表す複眼距離情報１０３に対する重み付け係数をγ、記号ＬＡｓで表す単眼距離情報１０２に対する重み付け係数をδとした場合に、記号ＬＤで表す距離差分情報１２０は次の式３のように算出できる。
ＬＤ＝γ×ＬＡｍ−δ×ＬＡｓ  ・・・（式３）
【００３５】
距離差分情報１２０を次のように算出してもよい。距離情報ブロック単位ごとに、複眼領域Ｔにおける部分被写体４００の複眼距離情報１０３と、単眼領域Ｑの部分被写体４００の単眼距離情報１０２との差を算出し、生成した複眼領域Ｔ内の部分被写体４００の距離情報ブロック単位ごとの差に基づき生成してもよい。
【００３６】
さらに距離差分情報１２０を次のように算出してもよい。すなわち平均値ＬＡｍに重み付けを行ったものを距離差分情報１２０としてもよい。すなわち重み付け係数をεとすると、記号ＬＤで示す距離差分情報１２０は次の式４のように算出できる。
ＬＤ＝ε×ＬＡｍ  ・・・（式４）
【００３７】
（補正判定部２３）
補正判定部２３は、車両制御部８から取得する入力情報１０５を用いて単眼領域の距離情報の補正の要否を判断し、補正判定情報１２１を生成する。ただし補正判定情報１２１には補正に用いるパラメータが含まれてもよい。
【００３８】
補正判定部２３は、たとえば次の場合に単眼領域の距離情報を補正しないと判断する。すなわち、車速が所定速度を超える場合、運転モードが所定のモードの場合、車両１の現在位置が高速道路の場合、ステアリング角度が所定の角度以上の場合などである。ただしこの条件は組み合わせて用いてもよい。この判断は、低速走行時には、近距離の監視が重要であることに起因している。近距離では、同一の物体が大きく撮影され視差が大きくなるので、距離の精度が高くなる。街中の走行時や、街中での交差点右左折時など、人が車に対して注意散漫になりやすい環境で、人と車の接触リスクが高まる。逆に、高速道路や、車両が高速走行している国道などでは人が車に接触するリスクは大きく下がる。
【００３９】
補正判定部２３は、重みづけに用いるパラメータをたとえば次のように決定する。なおこのパラメータは、値が大きいほど補正に複眼領域の距離情報が大きく反映される。補正判定部２３は車速が早いほどパラメータを大きく設定し、車速が第１の所定値より大きい場合にはパラメータを最大とし、車速が第２の所定値よりも小さい場合は最小とする。補正判定部２３は車両１が走行している場所を判断し、たとえば人の往来が激しい箇所を走行している場合にはパラメータを大きく設定し、それ以外の一般道ではパラメータを中程度、高速道路ではパラメータを最小に設定する。補正判定部２３は車両１のステアリング角度が大きいほどパラメータを大きく設定し、ステアリング角度が小さいほどパラメータを小さく設定する。なおこれらの条件を組み合わせてもよい。
【００４０】
補正判定部２３を設けることにより、人と車の接触リスクが高くなる低速走行時や交差点右左折の場面で車両周囲の物体、すなわち人、車、駐車車両などとの距離を正確に測定することで、事故のリスクを大幅に軽減することができる。自動運転では、自動運転システムが参照する距離情報の精度を向上することで、より正しい自動運転判断を実現できる。誤距離情報から発生する誤検知による、自動運転ミスを防ぐことができる。低速走行時に制限することで、高速走行時の処理負荷を低減できる。
【００４１】
（補正実行部２１）
補正実行部２１は、グループ情報１０６に基づきグループの種類ごとに異なる手法で単眼距離情報１０２を補正する。距離差分情報生成部２２が出力する距離差分情報１２０は、主に越境グループＧ１を処理対象とする際に用いられる。補正判定情報１２１は越境グループＧ１の補正の要否の判断や補正のパラメータの決定に用いられる。以下ではグループの種類ごとに補正処理を説明する。
【００４２】
（補正実行部２１  越境グループに対する補正）
補正実行部２１は、単眼領域Ｐに存在する部分被写体４０１の単眼距離情報１０２を補正する。この補正はたとえば、部分被写体４０１の全てまたは一部の距離情報ブロックの単眼距離情報１０２を、複眼領域Ｔ内の部分被写体における平均値ＬＡｍで置き換えるものである。置き換える場合には、所定の画素に重み付けをしてもよい。重み付けの一例として、境界からの距離が遠いほど重み付けを小さくする方法がある。記号ＬＣｓで表す補正後の単眼距離情報１０２は、重み付け係数をζとすると次の式５のように算出される。
ＬＣｓ＝ζ×ＬＤ  ・・・（式５）
そして補正実行部２１は、補正した単眼距離情報１０２を補正後距離情報１０４の一部として出力する。
【００４３】
（補正実行部２１  拡大越境グループに対する補正）
補正実行部２１は拡大越境グループを処理対象とする場合は、次のように距離情報を補正する。すなわち補正実行部２１は、拡大越境グループの単眼領域の部分被写体の距離情報は、越境グループの単眼領域の距離情報と同様に補正する。補正実行部２１は、拡大越境グループの単眼領域の被写体の距離情報を複眼領域の部分被写体の距離情報を用いて補正する。図３に示す例で具体的に示すと、拡大越境グループＧ２の単眼領域Ｐにおける部分被写体４０１の距離情報は、越境グループＧ１における部分被写体４０１の補正と同様である。単眼領域Ｐにおける被写体４２０の距離情報は、複眼領域Ｔの部分被写体４００の距離情報を用いて補正する。
【００４４】
複眼領域の部分被写体の距離情報を用いた、単眼領域における被写体の距離情報の補正は、たとえば次のとおりである。すなわち単眼領域における被写体のそれぞれの距離情報ブロックの距離情報を、複眼領域の部分被写体の全域の距離の平均値と単眼領域における被写体のそれぞれの距離情報ブロックの距離情報の平均値とする。
【００４５】
（補正実行部２１  単体グループに対する補正）
補正実行部２１は単体グループを処理対象とする場合は、単眼領域のみに撮影されている被写体の単眼距離情報１０２を補正対象とし、単体グループに属する被写体の複眼距離情報１０３を用いて補正する。図３に示す例で処理を例示すると、複眼画像Ｔを用いて算出した被写体４１０の複眼距離情報１０３と、単眼画像Ｒを用いて算出した被写体４１０の単眼距離情報１０２を用いて、被写体４１１、被写体４１２、および被写体４１３の単眼距離情報１０２を補正する。なお単眼画像Ｑにも被写体４１０は撮影されているが、補正を行いたい単眼画像Ｓとは異なるカメラで撮影された画像なので、単眼画像Ｑから得られた単眼距離情報１０２はこの場合の補正には用いない。
【００４６】
補正実行部２１はたとえば、被写体４１０の複眼距離情報１０３と単眼距離情報１０２の差を算出し、その差を被写体４１１、被写体４１２、および被写体４１３の単眼距離情報１０２に加える。
【００４７】
（グループ情報生成部３０）
図５は、グループ情報生成部３０の構成図である。グループ情報生成部３０は、被写体検知部３２と、グループ判定部３１とを備える。
【００４８】
（被写体検知部３２）
被写体検知部３２は、グループ情報生成部３０が、第１撮像部２が出力する第１撮影画像１００と、第２撮像部３が出力する第２撮影画像１０１を用いて被写体を検知し、被写体検知情報１３０を出力する。被写体の検知には、第１撮影画像１００または第２撮影画像１０１を用いてもよいし、第１撮影画像１００および第２撮影画像１０１の両方を用いてもよい。また、撮影された時刻が異なる第１撮影画像１００または第２撮影画像１０１を用いてもよい。
【００４９】
第１撮像部２と第２撮像部３の位置関係、第１撮像部２と第２撮像部３の姿勢、および第１撮像部２と第２撮像部３の視野角は既知なので、第１撮影画像１００と第２撮影画像１０１において重複するおおよその領域は事前に算出できる。被写体検知部３２は、この事前の算出を利用して、第１撮影画像１００と第２撮影画像１０１で重複する領域を算出し、単眼領域および複眼領域を特定する。これにより複眼領域と単眼領域の境界が明らかとなる。
【００５０】
被写体の検知には、たとえばパターンマッチングやニューラルネットワークを用いることができる。なお被写体検知部３２が検知する被写体の条件が、入力情報１０５として入力されてもよい。被写体の条件とは、被写体の種類、大きさ、位置情報等である。被写体検知情報１３０には、被写体の種類、被写体の大きさ、複眼領域と単眼領域の境界を跨ぐ被写体、単眼領域内の被写体、被写体の位置情報、被写体を構成する距離情報ブロックの情報が含まれる。
【００５１】
（グループ判定部３１）
グループ判定部３１は、被写体検知情報１３０と、複眼距離情報１０３と、入力情報１０５とに基づき、グループ情報１０６を算出する。グループ判定部３１は、複眼領域と単眼領域の境界を跨ぐ被写体を１つのグループとし、越境グループに分類する。グループ判定部３１は、単眼領域において越境グループの近傍に他の被写体が存在する場合は、その他の被写体を含めて別の１つのグループとし、拡大越境グループに分類する。グループ判定部３１は、単眼領域に隣接して存在する複数の被写体を１つのグループとし、単体グループに分類する。
【００５２】
（フローチャート）
図６に、距離算出装置６の動作を表すフローチャートである。まず距離算出装置６は、第１撮像部２および第２撮像部３から第１撮影画像１００および第２撮影画像１０１を取得する（Ｓ０１）。次に距離算出装置６は、Ｓ０２、Ｓ０３、Ｓ０４を並列に実行する。ただしここでは概念的に示しているにすぎず、Ｓ０２、Ｓ０３、Ｓ０４を任意の順で実行してもよい。Ｓ０２は単眼距離情報生成部１０により実行され、Ｓ０３は複眼距離情報生成部１１により実行され、Ｓ０４はグループ情報生成部３０により実行される。
【００５３】
Ｓ０２では距離算出装置６は、第１撮影画像１００を用いて第１撮影画像１００に対応する単眼距離情報を生成し、第２撮影画像１０１を用いて第２撮影画像１０１に対応する単眼距離情報を生成する。すなわちＳ０２では複眼領域はそれぞれの画像を用いて距離情報が２回算出される。Ｓ０３では距離算出装置６は、第１撮影画像１００および第２撮影画像１０１を用いて重複領域の複眼距離情報を生成する。Ｓ０４では距離算出装置６は、被写体を検出し、グループを生成し（Ｓ０５）、第１グループが存在するか否かを判断する（Ｓ０６）。
【００５４】
距離算出装置６は、Ｓ０２およびＳ０３の実行が完了し、かつＳ０６を肯定判断する場合に、第１グループの距離差分情報１２０を生成する（Ｓ０７）。距離算出装置６は、第１グループが存在しない場合は（Ｓ０６：ＮＯ）、処理を終了する。
【００５５】
最後に距離算出装置６は、生成した距離差分情報１２０が所定値よりも大きいか否かを判定（Ｓ０８）し、大きい場合には、補正実行部２１にて前述の通り単眼距離情報１０２の補正処理を行い、補正後距離情報１０４を出力する（Ｓ０９）。距離算出装置６は、所定値よりも小さい場合には処理を終了する。距離算出装置６は、これらの処理をたとえば１フレームごとに繰り返し行う。
【００５６】
上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）距離算出装置６は、センサの出力を用いて、精度の高い距離の情報である複眼距離情報１０３を生成する複眼距離情報生成部１１と、センサの出力を用いて、複眼距離情報１０３よりも制度の低い単眼距離情報１０２を生成する単眼距離情報生成部１０と、複眼距離情報１０３を用いて単眼距離情報１０２を補正する単眼距離情報補正部１２とを備える。そのため、精度が低い領域の距離情報を補正することができる。
【００５７】
（２）複眼距離情報生成部１１は、複数のカメラの出力であって視野が重複する複眼領域の出力を用いて複眼距離情報１０３を生成する。単眼距離情報生成部１０は、単一のカメラの出力を用いて単眼領域の単眼距離情報１０２を生成する。距離算出装置６は、複眼領域および単眼領域のそれぞれに含まれる１以上の被写体を所定の条件に基づき第１グループとして対応付けるグループ情報生成部３０を備える。単眼距離情報補正部１２は、複眼距離情報生成部１１により生成された、第１グループに属する被写体の複眼距離情報１０３を用いて、単眼距離情報１０２を補正する。そのため、複眼距離情報１０３を用いて、単眼距離情報１０２を補正することができる。
【００５８】
（３）第１グループＧ１に属する被写体は、単眼領域および複眼領域に跨って存在する同一の被写体である。
【００５９】
（４）グループ情報生成部３０は、単眼領域に含まれる被写体であって所定の条件を満たす被写体を追加被写体として第１グループとともに第２グループとして対応付ける。図３に示す例では、追加被写体である被写体４２０、および第１グループＧ１を第２グループＧ２として対応付けた。単眼距離情報補正部１２は、第１グループの距離情報を用いて、追加被写体の単眼距離情報を補正する。
【００６０】
（５）単眼距離情報補正部１２は、同一の領域に対する複眼距離情報１０３と単眼距離情報１０２との差を距離差分情報として算出し、距離差分情報に基づき単眼距離情報１０２の補正の要否を判断する。そのため補正の効果が小さいことが見込まれる場合には、補正を省略して処理負荷を軽減することができる。
【００６１】
（６）単眼距離情報補正部１２は、複眼距離情報生成部１１が生成した第１グループの複眼距離情報または単眼距離情報補正部１２が生成した補正後の単眼距離情報を用いて追加被写体の単眼距離情報を補正する。
【００６２】
（変形例１）
単眼距離情報補正部１２は、越境グループＧ１の単眼距離の補正において、部分被写体４０１の単眼距離情報１０２を、部分被写体４００の複眼距離情報１０３で置き換えてもよい。
【００６３】
（変形例２）
単眼距離情報補正部１２は、別体グループＧ３の単眼距離の補正において、単眼領域に存在する被写体４１１、４１２、４１３の単眼距離情報１０２を、複眼領域に存在する被写体４１０の複眼距離情報１０３で置き換えてもよい。
【００６４】
（変形例３）
図７は、変形例３における補正部２０の構成図である。本変形例における補正判定部２３は、車両制御部８からの入力情報１０５の入力がない。本変形例による補正判定部２３は、距離差分情報１２０に基づき単眼距離情報１０２に対する補正方法を判定する補正判定情報１２１を生成する。具体的には補正判定部２３は、距離差分情報１２０が所定の閾値以上の場合に単眼距離情報１０２を補正すると判断し、距離差分情報１２０が所定の閾値未満の場合に単眼距離情報１０２を補正しないと判断する。本変形例によれば、入力情報１０５による制御がないため、処理負荷が小さい利点を有する。
【００６５】
（変形例４）
図８は、変形例４における距離差分情報１２０の算出方法と、越境グループＧ１に対する単眼距離情報１０２の補正処理を示す図である。図８の部分被写体４００および部分被写体４０１に示す格子が距離情報ブロックである。以下では、部分被写体４００および部分被写体４０１のそれぞれの領域において図示横方向に並んだ一列の距離情報ブロックを「距離ブロックライン」と呼ぶ。本変形例では、距離ブロックラインごとに距離差分情報１２０を生成する。
【００６６】
距離情報ブロックラインごとに、単眼領域内の単眼距離情報１０２を、複眼領域Ｔと単眼領域の境界に位置する複眼領域Ｔ内の複眼距離情報１０３に基づき生成した距離差分情報１２０で置き換える。ただし、距離情報ブロックラインごとに、単眼領域内の単眼距離情報１０２を、複眼距離情報７００に基づき距離情報ブロック単位で生成した複眼距離情報１０３と単眼距離情報１０２の差分値で置き換えてもよい。
【００６７】
図８に示す距離情報ブロックライン７００は、複眼領域Ｔ内の部分被写体４００内における距離情報ブロックラインである。また、図中の距離情報ブロックライン７０１は、単眼領域内の部分被写体４０１内における距離情報ブロックラインである。
【００６８】
距離差分情報生成部２２では、複眼領域Ｔ内の部分被写体内の複眼距離情報１０３に基づき距離情報ブロックラインごとの平均値ＬＡｍを生成する。そして、単眼領域Ｐ内の部分被写体内の単眼距離情報１０２に基づき距離情報ブロックライン単位ごとの平均値ＬＡｍを生成し、平均値ＬＡｍおよび平均値ＬＡｓに基づき距離情報ブロックラインごとの距離差分情報１２０を生成する。
【００６９】
（変形例５）
越境グループＧ１を対象とする補正において、補正実行部２１は、補正前の単眼距離情報１０２に距離差分情報１２０を加算する補正を行ってもよい。この場合に、所定の画素に重み付けをしてもよい。重み付け係数をη、θとした場合に記号ＬＣｓで表される補正後の単眼距離情報は、単眼距離情報１０２の記号をＬｓ、距離差分情報１２０の記号をＬＤとおくと次の式６または式７のように算出される。
ＬＣｓ＝θ×Ｌｓ＋η×ＬＤ  ・・・（式６）
ＬＣｓ＝（１−η）×Ｌｓ＋η×ＬＤ  ・・・（式７）
【００７０】
図９は、式６または式７に示す重み付け係数ηの決定方法を示す図である。ただしここでは重みづけ係数を「補正係数」と呼ぶ。補正実行部２１は、複眼距離情報１０３を変数とする補正関数１１００に従い、補正係数ηを決定する。ここでは、複眼距離情報１０３により示される距離を、Ｌ０未満を近距離１１０１、Ｌ１未満Ｌ０以上を中距離１０１２、Ｌ１以上を遠距離１０１３と呼ぶ。複眼距離情報１０３が近距離１１０１の場合は補正係数ηを０．０とし、遠距離１１０３の場合は補正係数ηを１．０とする。複眼距離情報１０３が中距離１１０２の場合は、複眼距離情報１０３に応じて補正係数ηを変更する。Ｌ０およびＬ１はあらかじめ定められた閾値である。
【００７１】
図１０は、図９で示す補正係数ηを用いた単眼距離情報１０２の補正処理の一例を示す図である。図１０（ａ）は補正前を示し、図１０（ｂ）は補正後を示す。領域９０Ａおよび９０Ｂは、中距離１１０２の領域かつ複眼領域Ｔと単眼領域Ｐをまたがる被写体の複眼領域Ｔ内の部分被写体を示す。なお、部分被写体９０Ａと９０Ｂは同一である。領域９１Ａおよび９１Ｂは、領域９０Ａおよび９０Ｂと同一の被写体の単眼領域Ｐ内の部分被写体を示す。なお、部分被写体９１Ａと９１Ｂは同一である。
【００７２】
領域９２Ａおよび９２Ｂは、遠距離１１０３かつ複眼領域Ｔと単眼領域Ｐをまたがる被写体の複眼領域Ｔ内の部分被写体を示す。なお、部分被写体９２Ａと９０２は同一である。領域９３Ａおよび９３Ｂは、領域９２Ａおよび９２Ｂと同一の被写体の単眼領域Ｐ内の部分被写体を示す。なお、各領域内に記載の記号Ａ、Ｂ、ｍ、Ｍ、ｎは、各領域における距離情報を模式的に示したものであり、同一記号の領域における距離情報は同一である事を示す。
【００７３】
中距離１１０２内かつ複眼領域Ｔ内の部分被写体における複眼距離情報１０３（９０Ａ）に基づき、同一の被写体を構成する単眼領域Ｐ内の部分被写体における単眼距離情報１０２の補正処理を行う。また、遠距離１１０３内かつ複眼領域Ｔ内の部分被写体における複眼距離情報１０３（９２Ａ）によらず、単眼領域Ｐ内の同一の被写体における単眼距離情報１０２の補正処理は実施しない。
【００７４】
本変形例によれば次の作用効果が得られる。
（７）単眼距離情報補正部１２は、複眼距離情報１０３に基づき、単眼距離情報１０２を補正するか否か、および補正に用いるパラメータを決定する。
【００７５】
（変形例６）
距離差分情報１２０を次のように算出してもよい。距離情報ブロックライン内の距離情報ブロック単位ごとに、複眼領域Ｔ内の部分被写体内の複眼距離情報１０３と、非複眼領域内の部分被写体内の単眼距離情報１０２との差分値を生成する。この差分値を用いて、複眼領域Ｔ内の部分被写体における平均差分値を算出し、平均差分値を距離差分情報１２０としてもよい。
【００７６】
（変形例７）
距離差分情報１２０を生成する際に、上下の距離情報ブロックラインにおける複眼距離情報１０３を用いてもよい。一例として、縦Ｎタップフィルタ（Ｎ＝整数）がある。縦Ｎタップフィルタの一例として、縦方向のＮ画素を使ったＮタップＦＩＲ（Finite  Impulse  Response）フィルタがある。
【００７７】
（変形例８）
距離差分情報１２０を、距離情報ブロックライン内の平均値ＬＡｍとしてもよい。
【００７８】
（変形例９）
越境グループＧ１を対象とする補正において、補正実行部２１は、部分被写体４０１内の距離情報ブロックライン内の全てまたは一部の距離情報ブロックにおける単眼距離情報１０２を、複眼領域Ｔ内の部分被写体の距離情報ブロックライン内おける平均値ＬＡｍで置き換えてもよい。置き換える場合には、所定の画素に重み付けをしてもよい。重み付けはたとえば、複眼領域Ｔと単眼領域の境界からの距離に応じて重み付けを小さくする。
【００７９】
（変形例１０）
越境グループＧ１を対象とする補正において、補正実行部２１は、距離情報ブロックライン内の単眼距離情報１０２に、同一の距離情報ブロックラインに対する距離差分情報１２０を加算してもよい。すなわち、補正後の単眼距離情報＝単眼距離情報１０２＋距離差分情報１２０  としてもよい。加算する場合には、所定の画素に重み付けをしてもよい。重み付けはたとえば、複眼領域Ｔと単眼領域の境界からの距離が遠くなるほど重み付けを小さくする。
【００８０】
（変形例１１）
図１１は、変形例１１における越境グループＧ１を対象とする距離差分情報１２０と単眼距離情報１０２の補正処理を示す図である。本変形例では、複眼領域Ｔと単眼領域Ｐを、被写体４３０が跨いでいる。被写体４３０は、単眼領域Ｐ内の部分被写体４０１と、複眼領域Ｔ内の部分被写体４００とから構成される。本変形例では、複眼領域Ｔと単眼領域Ｐの境界に位置する複眼領域Ｔ内の複眼距離情報７００に基づき生成した複眼距離情報１０３の平均値を算出し、この平均値で単眼領域Ｐ内の部分被写体４０１内の単眼距離情報１０２を置き換える。距離情報ブロック列７００は、複眼領域Ｔに存在する部分被写体４００の最も単眼領域Ｐに近い位置、すなわち単眼領域Ｐとの境界に位置する。
【００８１】
距離差分情報生成部２２は、複眼領域Ｔ内の部分被写体内の複眼距離情報１０３に基づき、複眼領域Ｔ内の部分被写体４００の左端の距離情報ブロックの平均値ＬＡｍを生成する。また距離差分情報生成部２２は、単眼領域Ｐの部分被写体４０１内の単眼距離情報１０２に基づき複眼領域Ｔ内の部分被写体４００の左端の距離情報ブロックの平均値ＬＡｓを生成し、平均値ＬＡｍおよび平均値ＬＡｓに基づき距離情報ブロックラインごとの距離差分情報１２０を生成する。
【００８２】
平均値ＬＡｍおよび平均値ＬＡｓはたとえば、複眼領域Ｔ内の部分被写体４００の左端７００の距離情報ブロック内の全てまたは一部の距離情報の平均値とすることができる。なお平均の算出において、所定の画素に重み付けをしてもよい。距離差分情報１２０はたとえば、平均値ＬＡｍと平均値ＬＡｓとの差分値ＬＤとすることができる。なお差分値を算出する際に、平均値ＬＡｍまたは平均値ＬＡｓに重み付けを行ってもよい。
【００８３】
（変形例１２）
距離差分情報１２０を次に説明する平均値ＬＡとしてもよい。平均値ＬＡは、複眼領域Ｔ内の部分被写体４００内の複眼距離情報１０３と、単眼領域内の部分被写体４０１内の単眼距離情報１０２との差分値を生成し、生成した複眼領域Ｔ内の部分被写体４００内の距離情報ブロック単位ごとの差分値に基づき生成したものである。
【００８４】
（変形例１３）
距離差分情報１２０を、複眼領域Ｔ内の部分被写体４００の左端７００の距離情報ブロック内の平均値ＬＡｍとしてもよい。
【００８５】
（変形例１４）
越境グループＧ１を対象とする補正実行部２１による補正処理は、部分被写体４０１内の全てまたは一部の距離情報ブロックにおける単眼距離情報１０２を、複眼領域Ｔ内の部分被写体４００の平均値ＬＡｍで置き換えてもよい。置き換える場合には、所定の画素に重み付けをしてもよい。重み付けはたとえば、複眼領域Ｔと単眼領域Ｐの境界からの距離に応じて重み付けを小さくすることができる。
【００８６】
（変形例１５）
越境グループＧ１を対象とする補正実行部２１による補正処理は、単眼距離情報１０２に、同一の距離情報ブロックの距離差分情報１２０を加算してもよい。加算する場合には、所定の画素に重み付けをしてもよい。重み付けはたとえば、複眼領域Ｔと単眼領域Ｐの境界からの距離に応じて重み付けを小さくすることができる。
【００８７】
（変形例１６）
図１２は、変形例１２における拡大越境グループＧ２を対象とする補正実行部２１による補正処理を示す図である。図１２（ａ）と図１２（ｂ）はそれぞれ、複眼領域Ｔおよび単眼領域Ｐに配置された２つの被写体とその距離情報を示しており、図１２（ａ）が補正前、図１２（ｂ）が補正後を示す。
【００８８】
領域８３Ａおよび８３Ｂは、複眼領域Ｔと単眼領域Ｐをまたがる被写体の単眼領域Ｐ内の部分被写体を示す。なお、部分被写体８３Ａと８３Ｂは同一である。領域８４Ａおよび８４Ｂは、複眼領域Ｔと単眼領域Ｐをまたがる被写体の単眼領域Ｐの部分被写体を示す。なお、部分被写体８４Ａと８４Ｂは同一である。領域８５Ａおよび８５Ｂは、単眼領域Ｐのみに存在する被写体を示す。なお、各領域内に記載の記号Ａ、ｎ、ｍ、Ｍ、Ｎ１は、各領域における距離情報を模式的に示したものであり、同一記号の領域における距離情報は同一である事を示す。
【００８９】
補正判定部２３は、まず複眼領域Ｔ内の部分被写体における複眼距離情報１０３（Ａ）に基づき、同一の被写体を構成する単眼領域Ｐ内の部分被写体における単眼距離情報１０２をｍからＭに補正する。つぎに補正判定部２３は、単眼領域Ｐ内の部分被写体に対して生成された補正後の単眼距離情報Ｍに基づき、拡大越境グループＧ２に含まれる、単眼領域Ｐ内の別の被写体における単眼距離情報１０２をｎからＮ１に補正する。たとえば、ｎ−Ｎ１＝ｍ−Ｍの関係を満たすように、Ｎ１の値を決定する。
【００９０】
（変形例１７）
図１３は、式６または式７で示す重み付け係数、すなわち補正係数ηの決定方法を示す図である。本変形例では、入力情報１０５に含まれる自車の走行速度を用いて補正係数ηを決定する。走行速度が所定の値Ｆ０以下の場合は補正係数ηを１．０とし、走行速度が所定の値Ｆ０を超える場合は補正係数αを０．０とする。
【００９１】
（変形例１８）
図９に示した閾値Ｌ１は可変であってもよい。図１４は、閾値Ｌ１を示す図である。閾値Ｌ１は、入力情報１０５に含まれる車両１の走行速度に応じて決定される。走行速度が所定の値Ｆ０以下の場合は閾値Ｌ１は最小のＤ０である。走行速度が所定の値Ｆ１を超える場合は閾値Ｌ１は最大のＤ１である。走行速度がＦ０からＦ１の間の場合は、走行速度の増加とともに閾値Ｌ１の値も増加する。
【００９２】
（変形例１９）
図１５は、変形例１９における拡大越境グループを対象とする補正を説明する図である。図１５（ａ）は補正前、図１５（ｂ）は補正後を示す。補正判定部２３は、次のようにして拡大越境グループの追加被写体の単眼距離情報を補正するか否かを判断する。すなわち補正判定情報１２１は、追加被写体と複眼領域の距離が所定の閾値よりも近ければ補正すると判断し、所定の閾値よりも遠ければ補正しないと判断する。
【００９３】
図１５に示す例では、被写体８８Ａと被写体８９Ａはともに拡大越境グループに属している。被写体８８Ａの複眼領域Ｔまでの距離は符号１５００で示す距離であり、所定の値ＤＢ０よりも短い。そのため被写体８８Ａの単眼距離情報はｎからＮへと補正される。被写体８９Ａの複眼領域Ｔまでの距離は符号１５０１で示す距離であり、所定の値ＤＢ０よりも遠い。そのため被写体８９Ｂの単眼距離情報は補正されず、ｋから変化がない。
【００９４】
本変形例によれば次の作用効果が得られる。
（８）単眼距離情報補正部１２は、他の被写体と、単眼画像および複眼画像の境界と、の距離に基づき、距離情報補正の有無および補正のパラメータを決定する。
【００９５】
（変形例２０）
図１６は、変形例１６における補正部２０の構成を示す図である。本変形例における補正部２０は、第１の実施の形態における構成に加えて、単眼領域滞在期間保持部２４をさらに備える。単眼領域滞在期間保持部２４は、グループ情報１０６に基づき、被写体が単眼領域Ｐ内の単眼領域に存在している時間の長さ、たとえばフレーム数を示す単眼領域滞在期間情報１２２を生成し、補正判定部２３に出力する。
【００９６】
単眼領域滞在期間情報１２２の一例として、被写体が単眼領域Ｐ内の単眼領域に連続して存在していた場合のフレーム数情報や時間情報がある。また、被写体の全てまたは一部が複眼領域Ｔに存在する場合、単眼領域滞在期間情報１２２を０に初期化してもよい。また、被写体の最初の出現が、単眼領域であった場合、単眼領域滞在期間情報１２２が取りうる最大値もしくは所定の値に初期化してもよい。
【００９７】
図１７は、補正判定部２３による補正係数ηの決定方法を示す図である。本変形例では補正判定情報１２１は単眼領域滞在期間情報１２２に基づき、式６や式７で用いられる補正係数ηを決定する。補正判定情報１２１は、単眼領域滞在期間情報１２２が所定の値Ｔａ以下の場合は補正係数αを１．０とする。補正判定情報１２１は、単眼領域滞在期間情報１２２が所定の値Ｔｂを超える場合は、補正係数αを０．０とする。補正判定情報１２１は、単眼領域滞在期間情報１２２が所定の値Ｔａより大きい場合は単眼領域滞在期間情報１２２の増加に従い補正係数ηを減少させる。
【００９８】
本変形例によれば次の作用効果が得られる。
（９）距離算出装置６は、グループが複眼領域外に存在する単眼領域滞在期間情報１２２を生成する単眼領域滞在期間保持部２４を備える。単眼距離情報補正部１２は、単眼領域滞在期間情報１２２に基づき、距離情報補正の手法を決定する。
【００９９】
（変形例２１）
図１８は、変形例２１におけるグループ情報生成部３０の構成図である。グループ情報生成部３０は、図５に示す構成に加えて、単眼領域滞在期間保持部３３をさらに備える。単眼領域滞在期間保持部３３は、被写体検知情報１３０に基づき、被写体が単眼領域Ｐ内の単眼領域に存在している時間の長さ、たとえばフレーム数などを示す単眼領域滞在期間情報１３１を生成し、グループ判定部３１に出力する。
【０１００】
単眼領域滞在期間情報１３１の一例として、被写体が単眼領域Ｐ内の単眼領域に連続して存在していた場合のフレーム数情報や時間情報がある。また、被写体の全てまたは一部が複眼領域Ｔに存在する場合、単眼領域滞在期間情報１３１を０に初期化してもよい。また、被写体の最初の出現が、単眼領域であった場合、単眼領域滞在期間情報１３１が取りうる最大値もしくは所定の値に初期化してもよい。
【０１０１】
（変形例２２）
補正実行部２１は、被写体の種類および車両１の速度により単眼距離情報の補正の手法を決定してもよい。たとえば補正の手法とは、補正の要否や補正のパラメータである。
【０１０２】
図１９は、被写体の種類と補正の手法の対応関係を示す図である。ただし図１９には、車両１の速度と補正の手法の関係も示されている。なお図１９は作図の都合により２段に分かれている。図１９における「補正ＯＮ」は単眼距離情報を補正することを示しており、「補正ＯＦＦ」は単眼距離情報を補正しないことを示している。また図１９における百分率は補正を行うこと、および補正に用いるパラメータの値を示している。すなわち百分率が記載されている補正手法は、式６や式７で示すようなパラメータを使用する補正手法である。ただし「０％」の場合は補正を行わなくてもよい。
【０１０３】
補正実行部２１が補正手法１を用いる場合は、被写体の種別が人、車両、および路面の場合には単眼距離情報を補正するが、被写体の種別が構造物の場合には単眼距離情報を補正しない。補正実行部２１が補正手法３を用いる場合は、車両１の速度により場合分けがなされ、低速走行時であれば被写体の種別に関係なく補正し、高速走行時は人と車両を補正せず、中速走行時は速度に応じて人と車両を補正する。
【０１０４】
補正手法３では、路面や構造物は大きな領域で連続性のある静止物なので補正しやすいことから、速度によらず補正している。しかし人や車両は、領域が比較的小さく連続性がないため、必要性の高い低速走行時に限定して補正を行う。
【０１０５】
補正手法４では、低速走行時には、人の距離精度を高め、高速走行時には車の距離精度を高めている。速度により車両周囲環境が変わり、特に見たいものが変わることを利用して、全体の補正処理負荷を低減することで、低コスト化が実現される。具体的には距離算出装置６に要求される演算能力を減らすことで、処理能力の低い演算装置を用いて距離算出装置６を製造可能とする。
【０１０６】
本変形例ではさらに、補正前の単眼距離情報が示す距離が所定の距離よりも短い場合のみ補正を行ってもよい。また被写体の種別が人の場合は、路面から所定の距離範囲内に存在する人のみに補正対象を制限してもよい。路面は大きな領域で連続性があるため、補正精度が高い。一方で、走行路近辺の人に対して、より注意を向ける必要があるからである。
【０１０７】
（１０）単眼距離情報補正部１２は、車両１の走行状態、および被写体の種類の少なくとも一方に基づき、単眼距離情報を補正する手法を決定する。そのため距離算出装置６は、車両の走行状態や被写体の種類に基づく補正が可能である。
【０１０８】
―第２の実施の形態―
図２０〜図２１を参照して、距離算出装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、車両１に搭載されるセンサが第１の実施の形態と異なる。
【０１０９】
図２０は、第２の実施の形態における距離算出システムＳの概要図である。車両１は、周囲の情報を収集するセンサとして、第１撮像部２と、距離センサ２０００を備える。距離センサ２０００は、距離情報を取得可能なセンサであり、たとえばＬｉＤＡＲ（Light  Detection  and  Ranging）、ミリ波レーダ、ＴＯＦ（Time  of  Flight）方式の距離センサ、ステレオカメラ等である。距離センサ２０００は、実線で示す範囲、すなわち図示中央のハッチングで示す領域の距離情報を取得する。第１撮像部２は、破線で示す範囲、すなわち距離センサ２０００が距離情報を取得する範囲を含む広範囲を撮像範囲とする。
【０１１０】
ハッチングで示される領域が、第１の実施の形態における複眼領域Ｔに相当する。第１撮像部２の撮像範囲のうちハッチングで示される領域を除く領域が、第１の実施の形態における単眼領域Ｐおよび単眼領域Ｓに相当する。
【０１１１】
図２１は、第２の実施の形態における距離算出装置６の構成図であり、第１の実施の形態の構成に比べると、複眼距離情報生成部１１が削除されている。距離センサ２０００は距離情報２０１０を単眼距離情報補正部１２に出力する。単眼距離情報補正部１２は距離情報２０１０を第１の実施の形態における複眼距離情報１０３として扱う。そのため、実態は存在しないが、仮想的に複眼距離情報生成部１１が存在しており、入力されたセンサの出力をそのまま高精度距離情報１０３として出力しているとみなすことができる。その他の構成は第１の実施の形態と同様である。
【０１１２】
上述した第２の実施の形態によれば、次の作用効果が得られる。
（１１）複眼距離情報生成部１１は、ＴＯＦ方式の距離センサ、ミリ波レーダ、およびＬｉＤＡＲの少なくともいずれかの出力を用いて複眼距離情報１０３を生成する。そのため、より精度の高い距離センサの情報を用いて、単眼領域の距離情報を補正できる。
【０１１３】
―第３の実施の形態―
図２２〜図２３を参照して、距離算出装置の第３の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、車両１に搭載されるセンサが第１の実施の形態と異なる。
【０１１４】
図２２は、第３の実施の形態における距離算出システムＳの概要図である。車両１は、周囲の情報を収集するセンサとして、第１撮像部２と、第２撮像部３と、第１距離センサ２２００と、第２距離センサ２２０１を備える。第１距離センサ２２００および第２距離センサ２２０１は、距離情報を取得可能なセンサであり、たとえばＬｉＤＡＲ、ミリ波レーダ、ＴＯＦ方式の距離センサ、ステレオカメラ等である。
【０１１５】
第１撮像部２と、第２撮像部３の視野は同一であり、図示中央のハッチングの範囲を撮影する。第１距離センサ２２００の視野は車両１のおよそ左前方、第２距離センサ２２０１の視野は車両１のおよそ右前方である。すべてのセンサの視野角、設置位置、および姿勢は既知である。ハッチングで示される領域が、第１の実施の形態における複眼領域Ｔに相当する。ハッチングの上下の領域が、第１の実施の形態における単眼領域Ｐおよび単眼領域Ｓに相当する。
【０１１６】
図２３は、第３の実施の形態における距離算出装置６の構成図である。第１の実施の形態の構成に比べると、単眼距離情報生成部１０が削除されている。第１距離センサ２２００および第２距離センサ２２０１は、距離情報２２１０および距離情報２２１１を単眼距離情報補正部１２に出力する。単眼距離情報補正部１２は、入力される距離情報２２１０および距離情報２２１１から必要な領域の情報を抜き出して、第１の実施の形態における単眼距離情報１０２として扱う。そのため、実態は存在しないが、仮想的に単眼距離情報生成部１０が存在しており、入力されたセンサの出力をそのまま単眼距離情報１０２として出力しているとみなすことができる。その他の構成は第１の実施の形態と同様である。
【０１１７】
上述した第３の実施の形態によれば、次の作用効果が得られる。
（１２）単眼距離情報生成部１０は、ＴＯＦ方式の距離センサ、ミリ波レーダ、およびLiDARの少なくともいずれかの出力を用いて単眼距離情報１０２を生成する。
【０１１８】
―第４の実施の形態―
図２４〜図２５を参照して、距離算出装置の第４の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、本実施の形態では、主に、車両１に搭載されるカメラの視野角およびカメラの姿勢が第１の実施の形態と異なる。
【０１１９】
図２４は、第４の実施の形態における距離算出システムＳの概要図である。車両１は、周囲の情報を収集するセンサとして、第１の実施の形態と同様に第１撮像部２および第２撮像部３を備える。ただし本実施の形態では第１撮像部２および第２撮像部３の視野角が広がり、両者の視野は一致している。第１撮像部２および第２撮像部３はたとえば魚眼レンズを有し、広範囲の撮像が可能であるが、レンズ周辺部での歪み量が大きく、解像度が低下する。
【０１２０】
第１撮像部２および第２撮像部３の視野の中央付近がハッチングで示す領域であり、第１の実施の形態における複眼領域Ｔに相当する。第１撮像部２および第２撮像部３の視野であって中央以外の領域は、歪みが大きく空間的な解像度が低いので、第１の実施の形態における単眼領域Ｐおよび単眼領域Ｓに相当するとみなす。換言すると、撮影条件が比較的劣悪な領域を単眼領域とみなし、撮影条件が比較的良好な領域を複眼領域とみなす。
【０１２１】
図２５は、第４の実施の形態における距離算出装置６の構成図であり、第１の実施の形態の構成に比べると、単眼距離情報生成部１０が削除されている。単眼距離情報補正部１２は、複眼距離情報生成部１１が出力する複眼距離情報１０３のうち中央付近のみを第１の実施の形態における複眼距離情報１０３として扱い、周辺部分は第１の実施の形態における単眼距離情報１０２として扱う。その他の構成は第１の実施の形態と同様である。
【０１２２】
上述した第４の実施の形態によれば、次の作用効果が得られる。
（１３）複眼距離情報生成部１１は、２つのカメラが出力し、視野が重複する領域であり、撮影条件が比較的良好な領域の情報を用いて複眼距離情報１０３を生成し、単眼距離情報生成部１０は、２つのカメラが出力し、視野が重複する領域であり、複眼距離情報生成部１１が用いた領域よりも撮影条件が劣悪な領域の情報を用いて単眼距離情報１０２を生成する。そのため単眼領域が存在しないシステムにおいても本発明を適用することができる。
【０１２３】
（第４の実施の形態の変形例）
撮影条件には、レンズの歪みだけでなく、光の量やレンズに付着したゴミも含めてもよい。たとえば全周にわたって歪みの小さいレンズを使用している場合に、光の量が少ない暗い領域の距離情報を単眼距離情報１０２として扱い、明るく鮮明に撮影されている領域の距離情報を複眼距離情報１０３として扱ってもよい。
【０１２４】
―第５の実施の形態―
図２６を参照して、距離算出装置の第５の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、機能とハードウエアの対応が第１の実施の形態と異なる。
【０１２５】
図２６は、第５の実施の形態における距離算出システムＳの構成図である。本実施の形態では、単眼距離情報補正部１２が単眼距離情報生成部１０および複眼距離情報生成部１１とは異なるハードウエアにより実現される。カメラ処理装置１５は、単眼距離情報生成部１０と、複眼距離情報生成部１１と、特徴情報生成部１３とを備える。特徴情報生成部１３は、入力された画像の特徴量、たとえばエッジ画像やヒストグラムを作成し、特徴情報１０７として画像処理部６０に出力する。ＥＣＵ１４は、単眼距離情報補正部１２と、認識処理部７と、車両制御部８とを備える。
【０１２６】
上述した第５の実施の形態によれば、様々なハードウエア構成により本発明を実施することができる。
【０１２７】
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【０１２８】
１…車両
２…第１撮像部
３…第２撮像部
６…距離算出装置
７…認識処理部
８…車両制御部
１０…単眼距離情報生成部
１１…複眼距離情報生成部
１２…単眼距離情報補正部
１５…カメラ処理装置
２０…補正部
２１…補正実行部
２２…距離差分情報生成部
２３…補正判定部
２４…単眼領域滞在期間保持部
３０…グループ情報生成部
３１…グループ判定部
３２…被写体検知部
３３…単眼領域滞在期間保持部
１００…第１撮影画像
１０１…第２撮影画像
１０２…単眼距離情報
１０３…複眼距離情報
１０４…補正後距離情報
１０５…入力情報
１０６…グループ情報
１２０…距離差分情報
１２１…補正判定情報
１２２…単眼領域滞在期間情報
１３０…被写体検知情報
１３１…単眼領域滞在期間情報
１４０…認識情報
【図１】
2020016628.tif 000003
【図２】
2020016628.tif 000004
【図３】
2020016628.tif 000005
【図４】
2020016628.tif 000006
【図５】
2020016628.tif 000007
【図６】
2020016628.tif 000008
【図７】
2020016628.tif 000009
【図８】
2020016628.tif 000010
【図９】
2020016628.tif 000011
【図１０】
2020016628.tif 000012
【図１１】
2020016628.tif 000013
【図１２】
2020016628.tif 000014
【図１３】
2020016628.tif 000015
【図１４】
2020016628.tif 000016
【図１５】
2020016628.tif 000017
【図１６】
2020016628.tif 000018
【図１７】
2020016628.tif 000019
【図１８】
2020016628.tif 000020
【図１９】
2020016628.tif 000021
【図２０】
2020016628.tif 000022
【図２１】
2020016628.tif 000023
【図２２】
2020016628.tif 000024
【図２３】
2020016628.tif 000025
【図２４】
2020016628.tif 000026
【図２５】
2020016628.tif 000027
【図２６】
2020016628.tif 000028