(57)【要約】【課題】より視野の広い範囲で計測精度の高い車載環境認識装置を提供することを目的とする。【解決手段】２つのカメラ（１００，１１０）をセンシングに活用する車載環境認識装置（１）において、前記２つのカメラ視野はステレオ視領域と単眼視領域を有し、前記ステレオ視領域の出力結果である視差画像を横検索し、前記ステレオ視領域における路面距離を推定し、前記推定された路面距離を前記単眼視領域まで、横方向に拡張して利用して単眼視領域の距離計測をすることを特徴とする。【選択図】  図１
2019106026.tif 000002
【特許請求の範囲】
【請求項１】
２つのカメラをセンシングに活用する車載環境認識装置において、
前記２つのカメラ視野はステレオ視領域と単眼視領域を有し、
前記ステレオ視領域の出力結果である視差画像を横検索し、
前記ステレオ視領域における路面距離を推定し、
前記推定された路面距離を前記単眼視領域まで、横方向に拡張して単眼視領域の距離計測を行うことを特徴とする車載環境認識装置。
【請求項２】
請求項１における車載環境認識装置において、
前記ステレオ視領域における路面距離の推定は、
自車走行予測路又は自車走行レーン内を処理領域に設定することを特徴とする車載環境認識装置。
【請求項３】
請求項２に記載の車載環境認識装置において、
前記処理領域に凹凸が存在する場合において、所定の閾値未満であれば凹凸をノイズとして除去して路面断面形状を推定し、所定の閾値以上であれば、凹凸が存在する領域の路面断面形状推定を抑制し、ステレオ視による予測を停止、単眼視による距離計測に切り替えることを特徴とする車載環境認識装置。
【請求項４】
請求項１に記載の車載環境認識装置において、
前記推定された路面距離を単眼視領域まで、横方向に拡張して単眼視領域の路面移動予測量を算出し、立体物検知に利用し移動体及び／又は立体物を検知することを特徴とする車載環境認識装置。
【請求項５】
請求項４に記載の車載環境認識装置において、
前記単眼視領域の路面移動予測量を算出し、
画像上の自車挙動による撮像対象の画像上の移動をフロー解析し、
前記推定された路面距離を単眼視領域まで、横方向に拡張して利用して、前記フローから路面を仮定した自車挙動による路面移動予測量を減算することで、移動体及び／又は立体物を検知することを特徴とする車載環境認識装置。
【請求項６】
請求項１に記載の車載環境認識装置において、
測距精度の異なる複数の位置推定手法を持ち、
その中の１つがステレオ視測距手法であり、
その中の１つが単眼視測距手法であり、
その中の１つがハイブリット測距手法であり、
測距手法別の測距精度を考慮し、対象物を計測した測距手法に応じて警報又は制御内容を変更することを特徴とする車載環境認識装置。
【請求項７】
請求項１に記載の車載環境認識装置において、
ハイブリット立体物検知部において、
自車走行路と異なる高さの領域を判別し、
自車走行路と異なる高さに立つ立体物の測距手法が、単眼視による路面を仮定した三角測量の場合、又はハイブリット測距を活用した場合において、
距離誤差が生じることを予測し、警報、制御又はタイミング調整に利用することを特徴とする車載環境認識装置。
【請求項８】
請求項７に記載の車載環境認識装置において、
自車走行路と異なる路面高さの路面に立つ立体物の距離が、自車走行路と比べて低い場合には近距離、自車走行路と比べて高い場合には遠距離と判断することを利用して、距離計測結果、警報又は制御タイミングを補正することを特徴とする車載環境認識装置。
【請求項９】
請求項１に記載の車載環境認識装置において、
前記ステレオ視領域の自車走行路面の距離計測結果を単眼視領域の横方向に拡張する際に、ステレオ視領域の一部の路面距離が信頼度が所定値未満の場合において、近距離から遠距離の計測結果を利用して求められたカーブフィッテイングの結果を利用して補間し、横方向に拡張して距離推定することを特徴とする車載環境認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを利用して自車両の周囲環境をセンシングし、自車両の制御や警報に必要な情報を出力することを特徴とする車載環境認識装置に関する。
【背景技術】
【０００２】
車両では予防安全技術の製品化が普及期に入りつつあり、より多機能化かつ広視野なセンシングが廉価に求められるようになっている。２つのカメラを利用して車両周囲環境を認識するセンシング技術に関して、特許文献１には、ステレオ視のカメラを利用して、共通視野をステレオ視領域、左右にどうしても残る単眼視領域を有効活用した移動体の検知手法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−６７１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両の予防安全技術では、車両に設置された複数台のカメラを活用して障害物を検知し、障害物と自車両との位置関係を基に警報、制御を実施することで事故防止を図っている。この際に、複数台のカメラ位置がどのような位置関係にあるかということがあらかじめ既知の場合には、複数カメラの共通視野領域においては３次元形状を復元する際の処理が非常に容易であると同時に高精度に３次元形状を復元することが可能である。しかしながら、共通視野においては可能であるが設置位置が異なる複数台のカメラの視野角が全て共通になることはなく、どうしても共通とならない単眼視野領域が残される。より広視野かつ廉価なセンサがもとめられるため、この単眼視領域を活用することが望まれる。
【０００５】
しかしながら、一般的には単眼視は、ステレオ視と比較すると、距離計測性能が低い。単眼視において、大きさが既知の物体や一定速度で移動する物体の場合には、距離計測精度の高い手法も存在するが、自車挙動がある場合には誤差が乗るだけでなく、相手が歩行者の場合には形状も不確定、一定速度の保証がなく歩きながらの変形も加わり、高精度な距離計測が難しくなる。また、足元位置から路面を仮定した三角測量の方式では、自車両のピッチングや積載人員によってもカメラ高さや角度が変化し、また路面が平面でないような傾斜などがあれば測距手法の精度低下が生じてしまう。
【０００６】
これと比較し、ステレオ視部分では、左右カメラの位置、姿勢をあらかじめ高精度に算出しておくことで、走行中に大きくこれが変化しないことを前提に距離計測できることからかなりの高精度な計測が期待できるが左右カメラの共通部分でしか正確な距離計測ができない。より視野を広げ、予防安全のために車両制御を実施するという観点では、単眼視領域の測距性能を改善することが望まれる。
【０００７】
そこで本発明では、より視野の広い範囲で計測精度の高い車載環境認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明では、車両に設置された複数台のカメラを利用して、共通視野領域においてはステレオ視で障害物を検知、測距し、単眼視領域おいてもステレオ視領域で測距した距離を活用することを特徴とする。
【発明の効果】
【０００９】
本発明によればより視野の広い範囲で計測精度の高い車載環境認装置が実現する。
【図面の簡単な説明】
【００１０】
【図１】車載環境認識装置の構成図
【図２】ステレオ視差画像生成部の構成図
【図３】路面断面形状推定部の構成図
【図４】ステレオ視立体物検知部の構成図
【図５】ハイブリット立体物検知部の構成図
【図６】ハイブリット移動体抽出部の構成図
【図７】ハイブリット位置・速度推定部の構成図
【図８】警報制御部の構成図
【図９】ステレオ視と単眼視の１つの画像状況を説明する図
【図１０】路面断面形状推定の処理内容を説明する図
【図１１】路面断面形状推定の処理内容を説明する図
【図１２】路面断面形状推定の処理内容を説明する図
【図１３】特徴点のフロー抽出を説明する図
【図１４】各測距方法について説明する図
【図１５】ハイブリット方式による距離算出を説明する図
【図１６】ハイブリット方式の概要を説明する図
【図１７】測距手法の違いを説明する図
【図１８】画像上での各領域の精度を説明する図
【図１９】処理フローチャート
【発明を実施するための形態】
【００１１】
本実施例では、２つのカメラをセンシングに活用する車載カメラにおいて、ステレオ視領域と単眼視領域を有し、ステレオ視領域での路面奥行き推定結果を、単眼視領域に活用する方式で測距する手法により、従来の単眼視のみによる測距結果と比較し、高精度な測距を実現することを特徴とした実施例について説明する。なお、本発明は以下の実施例に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲で、各部の構成などを適宜追加、変更、削除などして実施することができる。
【００１２】
以下、実施例を図面を用いて説明する。
【実施例１】
【００１３】
＜図１  車載環境認識装置１＞
図１に車載環境認識装置１の構成図を示す。左右に平行に並べられた左カメラ１００と右カメラ１１０の共通視野領域を、ステレオカメラとして利用し、車載周囲環境を認識する。しかしながら、図９のステレオ視と単眼視の１つの画像状況を説明する図に示すように、左右に設置したステレオカメラの場合には共通視野領域を最大限にしようとしても、かならず左右の端に単眼視領域が残る。また本実施例では、特に重要となる自車両前方は測距性能の高いステレオ視として割り当て、反対に飛び出し検知などの交差点などでは重要となるが一般的な走行シーンにおいては活躍の少ない広角領域は多少性能が低下するが単眼視でカバーすることで、同じ解像度のＣＭＯＳとレンズを利用していても、より広角を検知できるカメラ配置としている。
【００１４】
通常、自車両正面の最大検知距離を低下させることなく、広角のセンシングをステレオカメラで実現しようとすれば、ＣＭＯＳの解像度を増加させながらレンズを広角に変更する。ただし、本実施例では、事故や予防安全、便利機能の作動頻度や優先順位を考慮することで、車両正面は高精度なステレオ視、広角部は単眼視とし、更に最大にとれる共通視野領域を削減した分を単眼視領域に割り当てることで、センシング可能範囲を拡大する方式をとる。
【００１５】
ステレオ視差画像生成部２００では、左カメラ１００と右カメラ１１０から撮像された左右の画像を利用する。右画像をベースとしてステレオマッチングを実施するために、基本的には右基準に感度、幾何などを合わせるものとする。幾何と感度の補正が適応された左右カメラの画像を入力にステレオマッチングを実施し、視差画像を生成、ノイズ除去を最後に実施することでノイズ除去された視差画像が得られる。
【００１６】
このノイズ除去された視差画像を利用して、路面断面形状推定部４００では自車進行予定路の路面断面形状の推定を行う。
【００１７】
左右カメラの共通視野領域でない領域はステレオ視ができないために、左右単眼画像生成部３００では、左右それぞれ単眼視の画像を生成する。
【００１８】
ステレオ視立体物検知部５００では、視差画像を利用して、立体物の検知を実施する。立体物を検知するとともに、立体物の中で歩行者か自転車か車両かなどの識別を行うことで更に、予防安全に利用する種別を特定する。車両検知結果であれば、先行車の追従や、緊急時のブレーキ制御などに利用する。歩行者や自転車の場合には、基本的に緊急ブレーキの対応となり、特に飛び出してくる歩行者や自転車の警報や制御に利用する。静止物体と比較して飛び出してくる物体には広い視野範囲内の対象物に対して警報や制御を実施することとなる。これら検知した物体に対して距離を計測するとともに時系列にトラッキングしている対象物の移動速度を推定することで、より適切な警報や制御を警報制御部７００で実施する。
【００１９】
ハイブリット立体物検知部６００では、単眼視で障害物となる立体物や移動体を検出し、更に、ステレオ視同様にパターンマッチングによる種別の特定として、歩行者、自転車、車両などの識別を実施する。特に、単眼視の情報のみによらず路面断面形状推定部４００によってえられたステレオ視による位置を活用することで、より高精度かつ安定して障害物を検知する。検知した物体の位置精度は、利用可能な測距方式と方式別の距離精度を参考にハイブリットな方式で位置、速度、物体形状などを推定する。
【００２０】
これら複数の方式で推定された位置、距離、物体形状と識別された障害物の種類に応じて適切な警報、制御を実施する。
【００２１】
＜図２  ステレオ視差画像生成部２００＞
図２にステレオ視差画像生成部の構成図を示す。ステレオ視差画像生成部２００では、複数台のカメラで撮像された画像を利用してステレオマッチングすることで視差画像を生成する。露光調整部２１０では、左右の露光条件が同じになるように、右カメラを基準画像として、右画像の輝度を解析することで時フレームの露光条件が適切になるようにフィードバック制御を実施する。更に右画像によりもとめられたカメラ露光条件を左カメラにも適用することで左右の露光条件が同一となるように設定する。左カメラ１００と右カメラ１１０から取り込んだ画像に対し、同一の撮像物体ができる限り左右カメラで同じように見えるように、感度の補正を実施する。左右感度差やレンズ周囲の感度が低下するシェーディング、欠陥画素などの感度に関する、キャリブレーションを事前に実施しておき、リアルタイムの画像処理時にはその補正値を参照した上で、補正のみを感度補正部２２０で実施する。
【００２２】
更に、幾何補正部２３０において、事前に工場等でキャリブレーションした結果を利用してレンズの歪みや、左右画像の平行化を実施する。これら、感度補正、幾何補正実施後に左右カメラの画像を利用してステレオマッチングをマッチング部２４０にて実施することで、視差画像を生成する。得られた視差画像の視差の中には、テクスチャが不十分であり信頼性の低い視差や、そもそも複数個所でマッチング結果（類似度）が高くなり、周期模様である懸念などがあるようなノイズ要因をノイズ除去部２５０にて除去する。
【００２３】
＜図３  路面断面形状推定部４００＞
図３に路面断面形状推定部の構成図を示す。路面断面形状推定部４００では、路面の高さを横から解析したような路面の断面形状を推定する。まず、処理領域決定部４１０では、自車両の進行路を推定し、図１０内の（ａ）に示すように左右タイヤが進行すると予測される進行路を処理領域とする。次に、視差横投票部４２０では処理領域内となる視差画像を解析する。図１０内の（ａ）の左処理領域に矢印があるように、視差画像を矢印の方向に解析し、視差値を図１０内の（ｂ）に示すように頻度分布のグラフに投票する。自車進行路に絞ることで、路肩や溝などの路面以外の凹凸が極力含まれないような処理領域とする。また、自車進行路の代わりに自車走行レーンを処理領域としても同等の効果が得られる。
【００２４】
上記の解析結果、全面が路面であれば、ある視差値に投票があつまるため、この最頻値を路面の代表視差として利用することで、路面の３次元形状を解析することが可能である。もちろん、グラフに投票された視差値が極めて少ない場合や、視差値が分散しすぎている、もしくは規則性がないような場合に、その奥行きの代表視差が欠ける場合もある。また、ステレオ視の結果から自車進行路内に立体物が存在し、ある奥行きより遠方が見えないような場合には、その奥行きまでは路面断面形状を推定し、その奥行き以降は路面断面形状の推定ができなかったことを示すフラグを保存する。
【００２５】
この処理は左右別に処理領域の横一列に対して１つのグラフを作る処理順序で、図１０内の（ａ）に示すように矢印の１本ずつ画像の縦方向に何度もグラフ生成し、代表値を取得する処理を繰り返す。
【００２６】
この結果、図１１内の（ａ）に示すように、画像の縦方向（奥行き）を横軸に、路面の高さを縦軸にした路面高さのグラフを生成することができる。先ほどの横方向の探索後にグラフを生成し、最頻値を抽出する処理でこのグラフの１点が描画できる。視差画像の高さ別に１点ずつグラフの点が追加される。ただし、この例ではノイズ要因がない状況の路面高さを描画しているが、実際には路面の視差がない、もしくはノイズが残った状況でグラフ化される場合もある。また、実際に路面に存在する歩行者などがいた場合には図１１内の（ｂ）に示すように処理領域内を解析すると図１１内の（ｃ）に示すような路面解析結果のグラフとなることは十分にありうる。
【００２７】
ノイズ除去部４３０では、図１１内の（ａ）のグラフ上で最も点が並んでいる部分をハフ変換により抽出、路面の高さと傾きを推定し、ここから大きく離れている点データでかつ周囲に他の点データが存在しない点はノイズとして除去する。また、歩行者のような立体物が存在する場合には、過去情報となるが立体物の検知結果をもとに、その周囲の視差データも削除する。このようにノイズ除去部４３０においては路面以外の解析点や信頼できない点データの削除を実施する。
【００２８】
しかしながら、図１１内の（ａ）にも示すように計測した点は、遠方に行くほど点データが少なくなる。これは視差画像上では１pixelおきに、計測しているが遠方に行くほど距離換算すると分解能が低下するためであり、路面の形状を推定する際にはもう少し計測点のデータ（グラフ状の黒丸点）の数が多い方が計測誤差や計測できなかった領域などのカバー範囲を広くすることができる。ただし、実際には走行中にも車両の姿勢などはかなり変化しているためカメラと路面の姿勢を補正しなければ、時系列のデータを統合して路面形状を解析することができない。そこで、時系列部４４０では、各フレーム内のノイズ除去したデータをベースに基準路面を推定、推定された路面の姿勢をベースに、現フレームの基準路面の姿勢に、他フレームのデータの姿勢と自車移動量を補正し、データを統合する。図１２は路面に障害物がある場合の認識結果である。
【００２９】
最後に断面形状推定部４５０では、これらのデータを利用して路面の断面形状が必ずしも直線ではないため、曲線フィッテイングすることで坂やＢＵＭＰといった形状変化にも対応できる曲線フィッテイングする。更に１次フィッテイングでは、推定曲線から大きくはずれているかつ周囲に異なるフレームの計測点も存在しないような場合には、ノイズ除去して２次フィッテイングを実施する。更に、各時系列のデータを活用してもなお、計測点が不足しているような場合には、現状のステレオ視領域は、ステレオマッチングには不適切な画像が入力されており、路面断面形状の推定が精度良くできていない。使用不可の状態にあることも判断する。
【００３０】
＜図４  ステレオ視立体物検知部＞
図４にステレオ視立体物検知部の構成図を示す。ステレオ視立体物検知部５００では、ステレオ視で得られた視差画像から立体物抽出を実施、得られた立体物が何であるかを特定するために、歩行者、２輪車、車両などの識別を実施、種類ごとに識別することで、立体物の種別を特定する。更に、得られた立体物毎に、立体物を含む矩形内を更に詳細解析することで、位置と速度推定を実施する。
【００３１】
まず、視差画の立体物抽出部５１０では、視差画像から立体物を抽出する。路面断面形状推定部４００にて推定された路面の高さをベースにして路面の視差及び、それよりも低い位置にあるノイズ要因の視差などを削除する。左右の処理領域で推定された路面の高さが大きく異ならない場合には、平均値を利用し、大きく異なる場合には、処理領域の間は補完値、左外側については左側の処理領域の路面高さ、右外側については右処理領域の路面高さを利用して路面高さの視差除去を実施する。これにより路面よりも高い位置にある物体のみが残った視差画像が生成される。この路面より高い位置にある立体物のみが残っている視差画像について、ある領域にまとまっている視差を塊として判定するようにセグメンテーションを実施する。画像上の位置だけでなく３次元の奥行き（視差値）に関しても近くに存在する物体を１つの物体としてまとめていくことで３次元の立体物を抽出する。
【００３２】
このようにして抽出された立体物候補に対して、歩行者検知部５２０、２輪車検知部５３０、車両検知部５４０で、識別を実施する。まず、視差画の立体物抽出部５１０で生成された立体物に対して、検知対象の３次元形状としてサイズが小さすぎるもしくは大きすぎないかで識別対象とすべきかそれぞれ判定を実施する。例えば、歩行者検知の場合には、高さ６０cm未満、幅１０cm未満、を最小側の閾値として、どちらか一方の閾値でも下回ると対象外とする。反対に、高さ２２０cm、幅１２０cmを超えた場合にも同様に、歩行者ではない可能性が高いとして識別対象からは外す。同様に２輪車検知や車両検知でも、それぞれ規定のサイズよりも小さいもしくは大きい場合には識別の対象外とする。（これらの数値は一例を示すに過ぎず、適宜最適な数値を用いれば良い。）更に、この識別対象については、自車との衝突可能性を考慮して危険性の高い対象物から順に識別を実施する。そうしなければ、処理する対象が増えた場合に、ぶつからないような遠い位置にある物体を検知しているにもかかわらず正面至近距離の歩行者を一定周期内に検知することができないなどの恐れが発生するため、優先度を考慮した処理を実施することで、一定周期内に安定的に、制御対象となる物体をトラッキングすることが可能となる。
【００３３】
歩行者検知部５２０では、歩行者候補となる立体物を自車両との衝突可能性を考慮した優先度順に識別を実施する。事前に歩行者の正解値データを利用して学習した結果を活用して歩行者としてふさわしいか識別を実施する。同様に、２輪車検知部５３０では２輪車の識別を実施、車両検知部５４０では車両の識別を実施する。それぞれ立体物識別後に、更に立体物の位置と速度推定を実施する。速度については、全フレームでも立体物として検知されていれば、その移動量を基に速度を推定する。視差画像があるため、立体物であるとされた矩形領域内の視差の平均値を利用することで、大まかな位置はすぐに特定可能である。ただし、特に精度を必要とする移動体である歩行者や２輪車、車両の場合には、できる限り高精度な位置、速度の情報が欲しい。このため、位置速度推定部５５０では識別された歩行者、２輪車、車両については、矩形内の視差を解析し、奥行きが大きくことなる視差値は背景とみなして削除、また矩形内のエッジを解析したうえで対象部と背景のエッジ境界を推定、その内側の視差だけを利用することで重心位置の高精度化を図っている。更に、２輪車や、車両の場合には、対象となる内側の視差値の変化のなどもとらえることで物体の傾きなどをも算出しながら姿勢の算出も実施する。識別器による姿勢推定結果と合わせて利用することで高精度化を図っている。
【００３４】
＜図５  ハイブリット立体物検知部６００＞
図５にハイブリット立体物検知部の構成図を示す。ハイブリット立体物検知部６００では、図９に示したようなステレオカメラのステレオ視領域と、単眼視領域が、１つの画像上で横にある図９の下に示すような、ステレオ視と単眼視が１つの画像状況で融合されたような座標系にあることを活用し、ステレオ視の情報を単眼視に活用するハイブリットな立体物の検知を実施する。
【００３５】
まず、ハイブリット移動体抽出部６１０では、最初に単眼画像処理では一般的に行われる図１３内の（ａ）に示すように画像上で特徴となりやすいコーナーの時系列的な動きをトラッキング可能なフロー抽出手法を利用して画像上の動きを解析する。自車両に設置したカメラの画像であるため、自車両の前進に合わせて撮像されている物体が画像上で移動する。この際の画像上のコーナーの特徴量を解析し、次のフレームでも同じコーナーは類似した特徴量を持つ可能性が極めて高いことを想定して、時系列に変化する画像上のコーナーを追跡した結果を画像上での動きを矢印で表現している。実映像ではないため、テクスチャが存在しない路面にも矢印を引いているが、実際にはテクスチャや特徴量が比較的すくない路面にもある程度の模様があればコーナーの追跡が可能であることから、説明上の矢印を引いている。このように基本的には、自車の前進に伴い背景が外側に流れていく、この中で自車両へ衝突してくる物体は基本的に内側に移動してくる物体となる。そこで、この画像上のコーナーの移動フローを解析することで衝突コースに入ってくる移動体をみつける。
【００３６】
しかしながら、比較的容易に見つけられやすい図１３内の（ａ）のようなシーンでは比較的、対象となる移動体を見つけやすいものの歩行者や自転車の移動速度が遅い時や、旋回中、車両がピッチングで揺れた場合などは、背景の動きにノイズ要因が多くなり単純に図１３内の（ａ）のように画像上のフローを見れば、ここだとわからないようなシーンも少なくない。このような場合には、背景フローの動きと対象物の動きの差分が小さくなるため、分離しづらくなる。このような場合には、更に背景の動きを自車挙動から予測して、この背景の動き分を図１３内の（ａ）に示す画像上の動きから減算することで、移動体である歩行者や自転車の動きが大きく、背景自体はノイズ成分の移動分が小さく残るようになり、移動体を見つけることが容易となる処理を実現する。この際に、背景の移動フローを推定する際に、ステレオ視の情報を活用した高精度な背景移動の推定を活用する。これにより図１３内の（ｂ）に示すような、高精度に背景の移動差分を予測することができるため、単眼の画像処理と比較し、移動差分による移動体を高精度に抽出、及び検出が可能となる。ただし、この際にも基本的には、背景が未知であるために、背景は全て路面だと想定した移動予測を実施する。このため、移動体だけでなく立体物に関しても、抽出する手法となり、主に自車進行路に侵入する移動体が主な認識対象物であるが、静止物の立体物も抽出することが可能な手法である。このように単フレームで見つけられた立体物及び移動体を時系列にトラッキングすることで、毎フレームトラッキングできる安定して立体物もしくは移動体と判断された立体物に対してのみ、次の識別処理の進めるものとする。
【００３７】
次に、単眼歩行者検知部６２０、単眼２輪車検知部６３０、単眼車両検知部６４０では、上記、ハイブリット移動体抽出部６１０で抽出されてトラッキング可能な立体物に対して、位置や速度から衝突可能性や制御の対象となる可能性の優先度順に識別を実施する。
【００３８】
単眼歩行者検知部６２０では、ハイブリット移動体抽出部６１０から抽出された立体物及び移動体のサイズやアスペクト比から、歩行者識別対象となる立体物を選別し、識別を実施、複数フレームを利用して歩行者らしさを評価し、最小の３フレームの画像を基に歩行者かどうかの判断を実施する。
【００３９】
単眼２輪車検知部６３０でも同様に、ハイブリット移動体抽出部６１０から抽出された立体物及び移動体のサイズやアスペクト比から、２輪車識別対象となる立体物を選別し、識別を実施、複数フレームを利用して２輪車らしさを評価し、最小の３フレームの画像を基に２輪車かどうかの判断を実施する。
【００４０】
単眼車両検知部６４０でも同様に、ハイブリット移動体抽出部６１０から抽出された立体物及び移動体のサイズやアスペクト比から、車両識別対象となる立体物を選別し、識別を実施、複数フレームを利用して車両らしさを評価し、最小の３フレームの画像を基に車両かどうかの判断を実施する。
【００４１】
次に、識別された物体の距離は単眼領域のため、図１４内の（ｂ）に示すようなステレオ視の測距方法をそのまま利用することができない。図１４内の（ａ）に示すように単眼視の測距方法は利用できるものの、単眼視の一般的な測距方法の１つである立体物下端の位置が、路面に設置していることを条件に、カメラ高さ、カメラ角度、路面は水平だと仮定して距離を算出することはできる。しかしながら、これらの手法はカメラ高さやカメラ姿勢は、設計値などを利用すると、積載重量や人の乗車位置、走行中に発生する車体のピッチングやロールなどが誤差要因となり精度が低い。また、識別対象が既知のサイズの物体であれば、精度よく距離を算出できる手法もあるが、車両にはトラックから軽自動車まであるため、これも誤差要因となりうる。そこで、中央にステレオ視領域が存在するため、図１５に示すように中央のステレオ視領域で求めた距離をそのまま単眼視領域の存在する横方向にスライドさせて活用するハイブリット方式により距離算出をハイブリット位置・速度推定部６５０で実施する。これにより単純な単眼視の測距方法と比較するとかなり高精度な測距が可能となる。
【００４２】
また、カメラの俯角を、ステレオ視もしくは単眼視でリアルタイムに補正するような方式であっても、図１４内の（ｂ）に示すように工場で高精度に２つのカメラ間の位置、姿勢が求められているステレオ方式よりも高精度な距離計測は難しく、ステレオ視が計測した距離を直接利用可能な本手法の方が高精度に距離が計測可能である。
【００４３】
また、路面が平面でない坂道やＢＵＭＰなどの形状変化する場合においては、路面を平面と仮定している従来方式は大きな誤差が発生する。それと比較し、この値を直接横方向にスライドさせて利用できる本手法は、路面が坂やＢＵＭＰ形状であってもステレオ視の測距結果を利用できるため従来手法と比較して高精度な測距が実現可能である。
【００４４】
基本的には、図９の下に示すように、１つの画像上の座標系が共有できるような状況が利用しやすいが、例えばこれが魚眼カメラのように歪みが大きい場合には、ステレオ視のみ歪み補正し、単眼視は歪み補正せずに画像処理するために画像上の座標系が変換して対応関係は求まるものの、共有の座標系のまま利用できない場合も想定される。ただし、基本的には画像上の歪み補正係数がわかれば、歪み補正した画像上での対応関係も計算により求めることも可能であり、路面と仮定すればステレオ視と単眼視の同一の距離になるべき座標を求める。このため、上記のように魚眼カメラのように歪みが大きいカメラを利用した場合にも、ステレオ視領域の情報と単眼視の領域の対応関係を計算しながら、ステレオ視による測距情報を単眼視にも活用することができる。これにより大幅な性能向上が見込める。
【００４５】
＜図６  ハイブリット移動体抽出部６１０＞
図６にハイブリット移動体抽出部の構成図を示す。フロー生成部６１１では、オプティカルフローと一般的に呼ばれる画像上の動きを解析する処理を実施する。結果としては、図１３内の（ａ）に示すような画像上で特徴的な点（コーナー）の時間的な移動方向を解析することができる。図１３内の（ａ）に示す結果の矢印の向きが画像上での動きの解析結果を示す。説明用の図のため、図上では、特徴がない場所にも矢印を引いているが実際の路面であれば、模様が存在するために、特徴的な点の密度は少ないものの、フローの解析は可能である。
【００４６】
次に、上記、フロー生成部６１１で、生成されたフローは、自車両の移動に伴う背景の動きが含まれたフローとなっており移動体や立体物を抽出したい目的には利用しづらい。そこで自車挙動を利用してこのフロー上の背景の動きを極力キャンセルし、移動体や立体物のみにフローが生成されるようにしたい。そこでまず自車両のＣＡＮ情報を活用して車速やヨーレートなどの情報から自車挙動を自車挙動推定部６１２において推定する。次に、背景の仮想３次元位置推定部６１３においては、背景の仮想３次元位置を推定する。ここでは、図１６内の（ａ）に示すように、単眼視領域の位置に応じて、単眼視領域の奥行きとステレオ視領域の奥行きが同じであり、かつ横位置に関しては、奥行きと画像上の横座標から算出できる。これを利用して、背景の仮想３次元位置推定部６１３において、背景の動きを推定したい位置の３次元位置を推定する。
【００４７】
次に、背景フローキャンセル部６１４では、背景の仮想３次元位置推定部６１３で得られた画素ごとの３次元位置に対して、自車挙動推定部６１２で得られた自車挙動分がフローの３次元的な移動量であることを計算し、これを再度画像上のフローとして何画素分、どの方向に移動するかを計算する。この路面の背景の移動量を、フロー生成部６１１で生成されたフローから減算することによって、路面であればフローが０となるように背景フローキャンセル部６１４で、フローの動きをキャンセルする。これで画像上に映っているものが全て路面だと仮定した際には、動きが全て０となり、図１３内の（ｂ）に示すように、路面上の動きは誤差分だけが動きとして残るものの、基本的には移動量が０となる。反対に、立体物の背の高い部分、図１３内の（ｂ）の木の上の矢印のフローが伸びたままになっているように路面と仮定した場合の背景フローキャンセルであるため、背の高い立体物に関してはフローが残るものとする。更に、自転車や歩行者に関しては、背景の動きが０となった分、画像上での動きが認識しやすいように大きな動きとなって抽出される。ここでは、路面の位置精度を高精度なステレオ視領域で求めた奥行きを横方向にずらして活用することができるために、高精度に路面の背景フローをキャンセルことができ、路面上に残るフローの誤差量が極めて小さくすることができる。このため、より小さな立体物や小さな動きの歩行者なども高精度に認識可能になる。移動体候補抽出部６１５においては、このように背景の動きがキャンセルされた状況において、フローのベクトルの集合をグルーピングすることで、移動体及び立体物の候補を抽出する。ここでは移動体候補抽出部６１５という名前であるが立体物も同時に抽出する手法である。
【００４８】
＜図７  ハイブリット位置・速度推定部６５０＞
図７にハイブリット位置・速度推定部の構成図を示す。ハイブリット位置・速度推定部６５０においては、ハイブリット移動体抽出部６１０において抽出された立体物、移動体、更にその中で、単眼歩行者検知部６２０、単眼２輪車検知部６３０、単眼車両検知部６４０で、識別された物体に対して、優先度の比較的高いものから位置速度の推定を実施する。ここではステレオ視の領域の３次元位置を活用できる場合、ステレオ視の領域で視差が非常に少ない、もしくは至近距離に障害物がいて路面が見えないような状況においては単眼視の測距に切り替えるなどを、実施して、最終的な位置、速度の推定を実施する。
【００４９】
例えば歩行者を想定して実際の処理を具体的に説明すると、図１６内の（ｂ）に記すように歩行者の足元位置をベースとして、単眼視もステレオ視も歩行者の３次元位置を想定する。このため、識別時に利用した対象物の矩形、もしくは、ハイブリット移動体抽出部で抽出した場合の移動体のグルーピング結果が内包する矩形を利用して更にこの足元の位置の特定を行う処理を実施する。
【００５０】
画像上下方向のエッジや輝度の類似性を利用して路面との境界にエッジがあり、なおかつ路面のテクスチャと比較して、異なる特徴を含む境界を見つけにゆく、識別された物体の場合には、それらに応じた特徴を設定する。例えば車両であれば、路面とタイヤの接地面を見つける。もしくは車両中央であれば、車両底面には路面との隙間が存在するため、必ず車体の底面は暗くなる陰になるので、その境界を見つける。歩行者の場合には、移動中の歩行者については、上半身、もしくは頭部と異なるフローを出しやすい脚部の形状や、路面との足の接地境界を見つけるなど実施する。また、自転車の場合には、自転車のタイヤの円もしくは楕円形状を見つけることで、この円、楕円形状の下部が接地位置となる。これらの情報を活用して、立体物外接矩形探索部６５１では、立体物の足元の位置の再探索を実施する。
【００５１】
この足元位置を利用して、単眼視の位置推定を単眼視位置速度計算部６５２を実施する。ここではステレオ視による位置、速度の算出の可否にかかわらず、単眼視の測距が可能であれば、測距を実施する。図１６内の（ｂ）に示すように求められた、歩行者の外接矩形をベースとして、カメラの位置、姿勢情報を利用して、図１４内の（ａ）に示すように単眼カメラによる３元位置の計算を実施する。これを毎フレーム繰り返し実施することで、位置の変化も解析できるようにし、対象物の移動速度についても算出する。ある程度のフレームの結果を蓄積し、フィルタリングすることで比較的安定な速度情報にしてから利用する。
【００５２】
この単眼視の測距においても、レーン認識などを活用することで消失点位置を算出し補正されたカメラ姿勢を利用する場合と、工場で設定された初期パラメータ、もしくは設計値を利用する場合において予測精度が変化する。ここでは利用できる情報が何であるかをチェックし、かつこのシーンにおいては、この手法で単眼視測距を実施する場合が最も精度が高い可能性が高いと考えて、信頼度が高い手法でカメラ位置、姿勢の補正を実施、単眼視測距を実施する。
【００５３】
ハイブリット位置速度計算部６５３でも同様に、対象物の足元位置を基準に図１６内の（ｂ）に示すように、足元位置の路面の奥行きは、画像上で同じ高さの画素に相当するステレオ視領域の路面の奥行きに等しいという仮定を利用し、距離を算出する。単眼視と同様に、毎フレーム、この処理を実施することで、対象物の位置変化を解析し、対象物の移動速度を推定する。この際に当然ながらステレオ視の路面の断面形状が正常に推定されていることを確認してから、この３次元位置の流用を実施する。
【００５４】
これら、単眼視の位置速度計算結果とハイブリット位置速度計算結果のどちらを出力すべきかを、位置速度出力部６５４にて、判断する。ステレオ視領域の信頼性などからステレオ視領域の路面断面形状の信頼度、そもそも出力が利用できる状態であったか含めて考慮し、単眼視の測距に切り替えるべきかなど判断を実施、最終的に利用すべき情報はハイブリット位置速度計算の結果であり、なおかつ信頼度に関する情報についても出力する。これら、単眼視とハイブリットの位置速度、の結果とどちらを最終に利用すべきか、それぞれの結果の予測精度、時系列の変化などを含めて警報制御部７００へ出力する。
【００５５】
また、ハイブリット移動体抽出部６１０において図１８に示すように、自車走行レーンと右側は、ほぼ路面高さと判断し、反対に、左側には、柵、その向こう側にも走行路よりも高い歩道、地面があることを判断し、ハイブリット位置・速度推定部６５０において、高精度な位置測定を利用できるエリアが自車走行レーンと右側のほぼ路面高さと想定される領域と判断し、反対に左側の柵から左側にかけては、単眼視であってもハイブリットの位置速度計算であっても、自車走行路と同じ高さに立っていることを前提に計算する位置速度推定手法では誤差がのり精度低下することを判断する。図１８に示すように図右側の水玉模様になっている領域で高精度、反対に左側はすべて低精度と判断することができる。ただし、立体部のサイズが既知であることを利用した測距手法なども活用している場合にはその精度低下を示すものではなく、自車両走行路と同じ高さに立体物が立っていることを基準に位置速度を求めている単眼視測距やハイブリット測距に影響を及ぼす。先ほど述べた立体物サイズが既知であることを利用したり、移動体が静止物、もしくは一定方向かつ一定速度で移動する場合の時間の異なる２フレームの画像から３次元位置を復元する場合、ステレオ視により立体物を直接計測する場合には、その精度に影響を与えない。これらの情報を利用することで、本実施例における測距手法の路面に立っていることを仮定して測距する手法に影響があることを考慮して精度や信頼度に反映することで、警報や制御のタイミングを調整するために利用することで、誤警報、誤制御を抑制する。
【００５６】
また、自車走行路と異なる高さの領域を推定した際に、その段差の高さもフローの長さの違いから推定することで、自車走行路と異なる高さの領域に立つ立体物の高さを測距する際に路面高さ分を補正してからよりただしい測距結果を得られるようにしても良い。自車走行路と異なる路面高さの路面に立つ立体物の距離が、自車走行路と比べて低い場合には近距離だと誤測距すること自車走行路と比べて高い場合には遠距離だと誤測距することを利用して、測距結果を補正する。もしくは測距結果はそのままに誤差が大きいこと、測距結果の信頼度が低いこととして扱っても良い。
【００５７】
＜図８  警報制御部７００＞
図８に警報制御部の構成図を示す。警報制御部７００では、ステレオ視立体物検知部５００で検知された結果と、ハイブリット立体物検知部６００で検知された立体物結果に応じて、安全性や利便性を向上するために警報、制御を実施する。
【００５８】
まず、２種類センシングエリアで検知された立体物情報から、警報、制御の対象となる対象物を絞り込むとともに、対象物の精度情報と位置速度も活用した優先度を優先度・精度推定部７１０において決定する。そして警報部７２０にて警報を発生したり、制御部７３０で制御をしたり、場合によってはギブアップ部７４０においてギブアップ動作を行う。
【００５９】
優先度・精度推定部７１０においては、その測距手法の種別により位置、速度の精度を分類し、警報や制御内容、制御タイミングなどを調整する。また、測距手法の種別が同一であっても、その信頼度などが変化することも利用する。
【００６０】
ただし、まず概要としては、図１７に示すように、測距手法は大まかに４手法存在する。１）単眼視測距手法、２）単眼視補正測距手法、３）ステレオ予測測距手法、４）ステレオ視測距手法の４つである。単眼視の手法は路面平面と仮定し、カメラ高さや姿勢を固定値を利用した手法である。単眼視補正測距手法は、路面やカメラ高さの補正を実施しながら、単眼視の測距手法の精度を高めた手法である。ステレオ予測測距手法とは、図１６内の（ｂ）にあるように立体物足元位置の横にあるステレオ視の領域の奥行き推定結果を利用した測距手法を示している。最後に、ステレオ視測距手法であり、これは対象物体に存在する視差情報を直接利用して測距する手法であり、安定的かつ最も精度の高い手法である。対象物の存在が正しく、なおかつその測距手法の精度が正常状態であれば、１）２）３）４）の順に徐々に精度が良くなる手法であり、４）ステレオ視の手法が最も精度及び信頼度が高い。
【００６１】
このため図１７に示す、測距手法と警報制御の対応関係にも示すように、縦軸の測距手法の信頼度や精度に応じて、横軸の警報、制御の実施可能な範囲を制御する。ステレオ視で測距できている場合には、初期に警報がなり、場合によっては加速制御が入ったのち、弱もしくは強減速による衝突防止のためのブレーキが発生することとなる。ステレオ視を活用した測距、ステレオ予測測距の場合には、障害物が接近すると初期に警報がなり、その後衝突しそうな場合には、初期には警報、その後加速抑制、弱減速と続くが、ステレオ視領域の結果を単眼視領域まで拡張して測距しているため、何かしら測距による位置や速度の誤差が発生する可能性もあるため、弱減速にとどめて、ステレオ視視野範囲に入って初めて強ブレーキをかけるなどの測距手段に応じた警報制御の変更を実施する。
【００６２】
またステレオ視による測距も、ステレオ予測測距手法も利用できないようなカメラの状態においては、単眼視を利用した測距方法を活用する。この際には識別の信頼度は高くても、位置や速度が安定になるのであれば、極力ユーザの運転を妨害しない程度に、警報による注意喚起や、加速抑制による事故被害軽減を集に警報制御を実施する。
【００６３】
＜図１９  処理フローチャート＞
図１９に処理フローチャートを示す。
Ｓ０１：まず、ステレオカメラで左右画像を撮像する。
Ｓ０２：ステレオ視用に視差画像を生成する。
Ｓ０３：路面断面形状の処理領域を決定するため、及び移動体抽出の背景の動きをキャンセルするために自車両の挙動の推定を実施する。
Ｓ０４：上記、自車両の挙動推定結果に応じた路面断面形状推定のための処理領域を推定する。
Ｓ０５：設定された処理領域内の視差を横方向に投票し、最頻値を利用することで、路面断面形状の観測値を奥行き別に入手する。
Ｓ０６：得られた観測値の時系列データを利用し、自車挙動により補正することで、時系列の観測値を重ね合わせた密な観測値を得ることができる。これらを利用し、更に路面断面形状のカーブフィッテイングを行うことで、ノイズ除去した路面断面形状の推定を実施する。
Ｓ０７：生成された視差画像を利用して、立体物の抽出を実施する。
Ｓ０８：ステレオ視領域における歩行者、２輪車、車両の各種識別を実施する。
Ｓ０９：ステレオ視を活かした視差画像から奥行きを推定し、この奥行きに基づいた横位置、及び時系列データを活用して速度を推定している。
Ｓ１０：左右カメラで撮像されたカメラのうちステレオ視領域でない画像領域を基準に切り出して単眼処理用の画像を準備する。ただしステレオ視領域と単眼視領域の境界については、ある程度重なり領域を考慮したマージンを設定する。
Ｓ１７：単眼視画像を利用して画像上の特徴的な点（コーナー）の時系列画像のトラッキングをすることで、画像の移動方向をフローとして解析する。更に、自車挙動と背景全てが路面であると仮定した画像上の動きを推定する。背景の路面はステレオ視で計算された路面断面形状の結果を利用することで、カメラ高さや俯角の誤差による影響を抑制した３次元位置を利用した移動予測を実施することが可能となる。
【００６４】
実際の画像上の特徴点の動きから、自車挙動から予測される動き分をキャンセルしたデータを生成する。これにより単眼視の画像上の背景の動きはほぼ０となり反対に、路面でなかった立体物の動きや、移動体の動きが浮かび上がるように抽出しやすい状況となる。周囲の背景と比較して動きが大きく、塊があるかどうかをグルーピングして解析することで、移動体を抽出する。
Ｓ１８：移動体として抽出された物体のアスペクト比などを利用することで明らかに大きさの異なる物体は識別対象から除いた上で、各種識別（歩行者、２輪車、車両）の識別を実施する。
Ｓ１９：上記識別された物体や、識別されなかったが移動体もしくは立体物として抽出された物体に対して、自車挙動に基づく優先順位をつけた上で、位置速度の推定を実施する。
この際に、単純な単眼視に基づく、立体物の足元位置からカメラ高さとカメラ姿勢を利用した三角測量により物体の奥行きを推定する。更に、この位置の時系列変化から、速度を推定する。
【００６５】
更に立体物の足元位置の画像上横位置にあるステレオ視領域において、路面断面形状が推定されている場合には、そのステレオ視内の奥行き情報をそのまま活用するハイブリット測距結果を利用することで高精度な奥行きを推定し、これを基にすることで高精度となる横位置を算出する。更に、時系列のこの位置の変化を利用することで、高精度な速度推定も実施する。
Ｓ２０：更に、ここでは、立体物、移動体の位置、速度、自車挙動の予測に基づいて警報や制御の対象となる優先順位付けを行う。この際には、位置と速度の算出方式に伴う精度差や、算出方式が同じであっても、信頼度の違いなどを利用することで最終的にどの対象物に対する警報や制御の実施を決定する。
Ｓ２１：上記優先度に基づいて、警報や制御の実施を行う。
【００６６】
以上、本発明によれば、車両に設置された複数台のカメラを利用して、共通視野領域においてはステレオ視で障害物を検知、測距するだけでなく、単眼視領域おいてもステレオ視領域で測距した距離を活用することで、単純な単眼視と比較すると高精度な障害物検知と測距を可能とする。
【符号の説明】
【００６７】
１  車載環境認識装置
１００  左カメラ
１１０  右カメラ
２００  ステレオ視差画像生成部
２１０  露光調整部
２２０  感度補正部
２３０  幾何補正部
２４０  マッチング部
２５０  ノイズ除去部
３００  左右単眼画像生成部
４００  路面断面形状推定部
４１０  処理領域決定部
４２０  視差横投票部
４３０  ノイズ除去部
４４０  時系列部
４５０  断面形状推定部
５００  ステレオ視立体物検知部
５１０  視差画の立体物抽出部
５２０  歩行者検知部
５３０  ２輪車検知部
５４０  車両検知部
５５０  位置速度推定部
６００  ハイブリット立体物検知部
６１０  ハイブリット移動体抽出部
６１１  フロー生成部
６１２  自車挙動推定部
６１３  背景の仮想３次元位置推定部
６１４  背景フローキャンセル部
６１５  移動体候補抽出部
６２０  単眼歩行者検知部
６３０  単眼２輪車検知部
６４０  単眼車両検知部
６５０  ハイブリット位置・速度推定部
６５１  立体物外接矩形探索部
６５２  単眼視位置速度計算部
６５３  ハイブリット位置速度計算部
６５４  位置速度出力部
７００  警報制御部
７１０  優先度・精度推定部
７２０  警報部
７３０  制御部
７４０  ギブアップ部
【図１】
2019106026.tif 000003
【図２】
2019106026.tif 000004
【図３】
2019106026.tif 000005
【図４】
2019106026.tif 000006
【図５】
2019106026.tif 000007
【図６】
2019106026.tif 000008
【図７】
2019106026.tif 000009
【図８】
2019106026.tif 000010
【図９】
2019106026.tif 000011
【図１０】
2019106026.tif 000012
【図１１】
2019106026.tif 000013
【図１２】
2019106026.tif 000014
【図１３】
2019106026.tif 000015
【図１４】
2019106026.tif 000016
【図１５】
2019106026.tif 000017
【図１６】
2019106026.tif 000018
【図１７】
2019106026.tif 000019
【図１８】
2019106026.tif 000020
【図１９】
2019106026.tif 000021