(57)【要約】  限られた計算リソースの中で、複数の検知対象物を検知処理する際の物体の検知性能を向上させる物体検知装置を提供するために、自車両の外界を撮像する撮像部と、撮像部で撮像された画像から検知対象物の検知処理をする処理装置と、を有し、処理装置は、自車両の走行シーンを解析するシーン解析部と、シーン解析部で解析された走行シーンに基づいて検知対象物の検知処理優先度を変更する処理優先度変更部と、処理優先度変更部で変更された検知処理優先度に基づいて検知対象物の検知を行う検知対象物検知部と、を有する物体検知装置。
2014132747.tif 000002
【特許請求の範囲】
【請求項１】
自車両の外界を撮像する撮像部と、
前記撮像部で撮像された画像から検知対象物の検知処理をする処理装置と、を有し、
前記処理装置は、
自車両の走行シーンを解析するシーン解析部と、
前記シーン解析部で解析された走行シーンに基づいて検知対象物の検知処理優先度を変更する処理優先度変更部と、
前記処理優先度変更部で変更された検知処理優先度に基づいて検知対象物の検知を行う検知対象物検知部と、
を有する物体検知装置。
【請求項２】
請求項１記載の物体検知装置において、
前記撮像部は、左撮像部と右撮像部を有し、
前記検知対象物検知部は、前記左撮像部で撮像された左画像と、前記右撮像部で撮像された右画像と、から検知対象物の検知処理をする物体検知装置。
【請求項３】
請求項１記載の物体検知装置において、
前記処理装置は、前記シーン解析部で解析された走行シーンに基づいて検知対象物の存在確率を算出する存在確率算出部を有し、
前記処理優先度変更部は、前記存在確率算出部で算出された存在確率に基づいて検知対象物の検知処理優先度を変更する物体検知装置。
【請求項４】
請求項３記載の物体検知装置において、
前記処理装置は、前記存在確率算出部で算出された存在確率に基づいて自車両の速度を制御するための速度指令を生成し、出力する車両速度決定部を有する物体検知装置。
【請求項５】
請求項３記載の物体検知装置において、
前記処理装置は、前記存在確率算出部で算出された存在確率に基づいて前記撮像部の露光制御パラメータを変更するパラメータ変更部を有する物体検知装置。
【請求項６】
請求項１記載の物体検知装置において、
前記処理装置は、
地図情報を取得する外部情報取得部と、
前記外部情報取得部で取得した前記地図情報と、前記シーン解析部で解析された走行シーンと、に基づいて検知対象物の存在確率を算出する存在確率算出部と、を有し、
前記処理優先度変更部は、前記存在確率算出部で算出された存在確率に基づいて検知対象物の検知処理優先度を変更する物体検知装置。
【請求項７】
請求項２記載の物体検知装置において、
前記処理装置は、
前記左画像と前記右画像から検知対象物までの距離を算出する距離算出部と、
前記シーン解析部で解析された走行シーンに基づいて検知対象物の存在確率を算出する存在確率算出部と、を有し、
前記処理優先度変更部は、前記存在確率算出部で算出された存在確率に基づいて検知対象物の検知処理優先度を変更し、
前記検知対象物検知部は、前記距離算出部で算出された距離情報と前記処理優先度変更部で変更された検知処理優先度に基づいて、検知対象物の検知処理をする物体検知装置。
【請求項８】
請求項７記載の物体検知装置において、
前記シーン解析部は、
前記左画像と前記右画像前記距離情報に基づいて道路領域を抽出する道路領域抽出手段と、
前記左画像と前記右画像と前記距離情報に基づいて駐停車車両を検出する駐停車検出手段と、
前記左画像と前記右画像と前記距離情報に基づいて道路領域外の領域の場所の属性を判定する道路側方状況判定手段と、
前記左画像と前記右画像と前記距離情報に基づいて横断歩道を検出する横断歩道検出手段と、
のいずれか１つの手段を有する物体検知装置。
【請求項９】
請求項６記載の物体検知装置において、
前記存在確率算出部は、予め記憶された、走行シーンの種類と場所の属性と存在確率値が対応付けられた学習データを用いて、前記地図情報と、前記走行シーンと、から検知対象物の存在確率を算出する物体検知装置。
【請求項１０】
請求項５記載の物体検知装置において、
検知対象物が歩行者である場合、前記パラメータ変更部は、
前記存在確率算出部で算出された存在確率から歩行者が存在する可能性が高い領域を抽出する歩行者高確率領域抽出手段と、
歩行者が存在する可能性が高い領域に基づいて歩行者を検知する歩行者検知ロジックを変更する歩行者検知ロジック変更手段と、
歩行者が存在する可能性が高い領域に基づいて画像の諧調補正を行う画像前処理パラメータ変更手段と、
歩行者が存在する可能性が高い領域から画像の明るさを抽出し、前記画像の明るさに基づいて露光制御パラメータを変更する露光制御パラメータ変更手段と、を有する物体検知装置。
【請求項１１】
請求項１記載の物体検知装置において、
前記撮像部と前記処理装置は、一体化された筐体内に搭載される、または各々別体の筐体内に搭載される物体検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
車外の画像情報から外界の物体を検出する物体検知装置に関する。
【背景技術】
【０００２】
車両の安全な走行を実現するために、車両の周囲の危険な事象を検出して、検出した危険な事象を回避するために、車両の操舵、アクセル、ブレーキを自動制御する装置に関して研究開発が行われており、一部の車両には既に搭載されている。その中でも、車両に搭載したセンサで前方を横切る歩行者を検知して、歩行者に衝突する可能性がある場合は、ドライバへの警報や自動ブレーキを行うシステムは、車両の安全性向上の面で有効である。【０００３】
車両に搭載されたセンサで前方の歩行者を検知するには、カメラやレーダとそれらの信号を処理する処理装置が使用されるが、その検知性能を向上させるためには、処理装置においてより詳細な処理を行う必要がある。但し処理装置の計算リソースは有限であり、かつ、歩行者を検知する処理の他に、他の検知対象物を同時に処理することが求められており、処理の優先度をつけて重点的に計算処理を行う必要がある。そのためには、歩行者が存在する可能性が高いシーンにおいて重点的に処理を行うことが有効な手段の１つであるが、歩行者が存在する可能性を示す存在確率については、特許文献1に記載がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−３２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の内容は、歩行者を検出した後に歩行者がこの先移動するであろう存在確率を求めるものであり、歩行者を検出する性能そのものを向上させるものではない。そのため、歩行者検知の性能そのものを向上させるために、歩行者を検知する前に歩行者の存在確率を求め、歩行者を重点的に処理を行うかどうか判断する必要がある。【０００６】
つまり、本発明の目的は、限られた計算リソースの中で、複数の検知対象物を検知処理する際の物体の検知性能を向上させる物体検知装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明の物体検知装置では、自車両の外界を撮像する撮像部と、撮像部で撮像された画像から検知対象物の検知処理をする処理装置と、を有し、処理装置は、自車両の走行シーンを解析するシーン解析部と、シーン解析部で解析された走行シーンに基づいて検知対象物の検知処理優先度を変更する処理優先度変更部と、処理優先度変更部で変更された検知処理優先度に基づいて検知対象物の検知を行う検知対象物検知部と、を有する構成とする。
【発明の効果】
【０００８】
限られた計算リソースの中で、複数の検知対象物を検知処理する際の物体の検知性能を向上させる物体検知装置を提供できる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る物体検知装置の構成の一例を示した図である。
【図２】本発明の物体検知装置のシーン解析部における処理フローを示した図である。
【図３】本発明の物体検知装置の道路領域抽出処理の概要を示した図である。
【図４】本発明の物体検知装置のシーン解析図の概要を示した図である。
【図５】本発明の存在確率算出のための学習データの一例を示した図である。
【図６】本発明の存在確率算出の概要を説明する図である。
【図７】本発明の物体検知装置の処理優先度変更部の概要を説明する図である。
【図８】本発明の物体検知装置のパラメータ変更部における処理フローを示した図である。
【図９】本発明の物体検知装置の距離算出部における処理フローを示した図である。
【図１０】本発明の物体検知装置の左右画像の対応点に関して説明する図である。
【図１１】本発明の物体検知装置の左右画像の対応点の求め方を説明する図である。
【図１２】本発明の物体検知装置の距離算出の方法を説明する図である。
【図１３】本発明に係る物体検知装置の構成の他の例を示した図である。
【発明を実施するための形態】
【００１０】
以下図面を用いて各実施例を説明する。
【実施例１】
【００１１】
本発明の物体検知装置であるステレオカメラの実施の形態を以下説明する。具体的には、車両に搭載されたステレオカメラの映像を用いて歩行者を検知する物体検知装置の実施の形態を説明する。【００１２】
まず図１を用いて本発明の物体検知装置の概要を説明する。【００１３】
図１は本発明の物体検知装置を実現するブロック図であり、ステレオカメラ100と、ステレオカメラの左撮像部101と、ステレオカメラの右撮像部102と、を備え、左撮像部101と右撮像部102と、ステレオカメラを搭載した車両の前方を撮像する。撮像された画像を処理装置111にて処理する。【００１４】
以下処理装置111の詳細について説明する。【００１５】
シーン解析部103は、右撮像部102からの画像を入力とし、画像にどのようなものが撮像されているかといったシーンを解析する。説明は右撮像部102からの画像での処理を説明するが、左撮像部101からの画像で処理をしても良い。【００１６】
次に、外部情報取得部104では、車両に搭載されたカーナビゲーション装置といった外部機器から、検出対象物（歩行者）の存在確率を算出するための情報を入力する。【００１７】
次に、存在確率算出部105では、先のシーン解析部103で取得した画像のシーンと、および、外部情報取得部104で取得した存在確率算出のための情報と、に基づき、右撮像部102で撮像した画像中の検出対象物（歩行者）の存在確率を算出する。【００１８】
次に、処理優先度変更部106は、歩行者の存在確率が予め定めた値より高い場合、または、画像中で歩行者の存在確率が予め定めた値より高い部分については、他の検出対象物（先行車両、標識、レーン等）よりも歩行者検知処理を優先的に行うように処理優先度を変更する。【００１９】
また、パラメータ変更部107では、歩行者の存在確率が高い部分の歩行者検知処理を、より詳細に行うように検知処理のパラメータを変更する。また、歩行者の存在確率が高いシーンにおいては、カメラ（右撮像部102）の露光制御のパラメータを変更して歩行者が検知しやすい画像を取得するように調整する。さらには、右撮像部102で取得した画像の中で歩行者の存在確率が高い部分の画像処理のパラメータを変更して、歩行者が検出しやすい画像を作成する。【００２０】
また、車両速度決定部108では、歩行者の存在確率が予め定めた値より高いシーンにおいては、車両の加速を抑制するといった速度制御を行うための指令を生成し、車両速度制御装置へ出力する。【００２１】
一方、距離算出部103では、左撮像部101で撮像した画像と、右撮像部102で撮像した画像を入力し、同じ対象物を左撮像部101と右撮像部102が撮像した画像上のズレから、対象物までの距離を算出する。そして、検知対象物検知部110において、先の右撮像部102からの画像と、距離算出部109で算出した対象物までの距離情報と、を利用して、検知対象物（歩行者）を検知する処理を行う。この際、先の処理優先度変更部106によって変更した優先度に基づき検知処理を実行し、パラメータ変更部107にて変更したパラメータを利用して検知処理を実行する。【００２２】
次に、物体検知装置であるステレオカメラ100のシーン解析部103で行われる処理について説明する。【００２３】
図２は、ステレオカメラ100のシーン解析部103で行われる処理フローである。【００２４】
まず、左右画像取得処理201にて、ステレオカメラ100の左撮像部101と右撮像部102で撮像した車両前方の画像を取得する。次に距離データ取得処理202にて、ステレオカメラ100の距離算出部109で算出した車両前方を撮像した画像の距離情報に関するデータを取得する。距離算出部109の詳細については後述する。【００２５】
次に道路領域抽出処理203にて、左右画像取得処理201で取得した左撮像部101と右撮像部102で撮像した車両前方の2枚の画像を用いて、画像中の道路領域を抽出する。道路領域とは、車両前方を撮像した画像（図３の処理画像300）において、他の車両（駐停車車両302）や道路外の構造物（ガードレールまたは植え込み303）や（ガードレール無しの歩道304）等を除外した、点線で囲った内部（道路領域301）の部分であり、車両が走行できる領域である。【００２６】
ステレオカメラ100で撮像した2枚の画像から道路領域301を抽出するには、特開2005-217883号公報に記述された手法により抽出することができる。【００２７】
次に駐停車車両検出処理204にて、車両前方を撮像した処理画像300中から、駐停車車両302を検出する。処理画像300中から駐停車車両302を検出するには、まず、先の道路領域抽出処理203で抽出した道路領域301の外側の領域について、先の距離データ取得処理202で取得した距離情報を用いて、どの程度の大きさの立体物が存在するか算出する。【００２８】
ここで距離情報とは、処理画像300の各画素に撮像されている物体のステレオカメラ100（車両）からの距離であり、その距離情報から、例えば図３の駐停車車両302の車両の高さ305、車両の幅306、車両の奥行き307が算出できる。【００２９】
次に、大きさを算出した立体物については、高さ、幅、奥行きが車両に近い値であるものを抽出する。車両の高さ、幅、奥行きの値については、予め市場に出ている車両の高さ、幅、奥行きの値の範囲を調べ、その範囲内の値であれば車両相当の大きさの立体物とする。【００３０】
次に先に抽出した車両相当の立体物の側面（図３の車両の側面308）が車両に似たテクスチャであるかを判定する。判定の方法は、予め市場に出ている車両の側面のテクスチャを学習させておき、処理画像300中の車両側面とその学習データが似ているかどうかで判定する。車両の側面判定の結果、立体物が車両であると判定された場合は、次に停止している車両かどうかを判定する。【００３１】
停止判定を行うには、図２の処理フローに示した処理を、前フレーム、前々フレームの画像についても同様に行い、前々フレーム、前フレームで検出した同じ車両が、画像中のどこへ移動したか移動軌跡を算出する。【００３２】
この際、前々フレーム、前フレーム、現フレームで同一の車両かどうかの判定については、先の車両の側面のテクスチャを用いて車両かどうかの判定をした際のテクスチャについて、各フレームの車両の側面のテクスチャを比較し、側面のテクスチャの類似度が高い場合は同一車両であると判定する。最後に、先に算出した画像中の車両の前々フレーム、前フレーム、現フレームの移動軌跡と、自車両の速度を比較して、自車両の速度から推定した処理画像300の背景の動きと、画像中の車両の軌跡の動きが一致した場合は、画像中の車両は停車していると判定する。【００３３】
以上の処理により、処理画像300中から駐停車車両302を検出することができる。【００３４】
次に道路側方状況判定処理205において、先の道路領域抽出処理203で抽出した道路領域301の外側のうち、先の駐停車車両検出処理204で検出した駐停車車両302の部分以外の路肩について、その属性を判定する。属性とは、ガードレールまたは植え込み303、建造物309、ガードレール無しの歩道304といったものである。ここで、ガードレールまたは植え込み303であるかどうかの判定については、先の道路領域抽出処理203で抽出した道路領域301の外側の領域のうち、先の駐停車車両検出処理204で駐停車車両302が検出された部分以外についいて、先の距離データ取得処理202で取得した距離情報を用いて、どの程度の大きさの立体物が存在するか算出する。【００３５】
ここで距離情報とは、処理画像300の各画素に撮像されている物体のステレオカメラ100（車両）からの距離であり、その距離情報から、立体物の高さを推定する。その結果、立体物の高さがある一定値内の場合は、ガードレールまたは植え込みであると判定する。このある一定値については、事前に典型的なガードレール、植え込みのデータを学習させて学習データとして準備しておくものとする。【００３６】
また、建造物309かどうかの判定については、先の道路領域抽出処理203で抽出した道路領域301の外側の領域のうち、先の駐停車車両検出処理204で駐停車車両302が検出された部分と道路側方状況判定処理205でカードレールまたは植え込み303と判定された部分以外についいて、先の距離データ取得処理202で取得した距離情報を用いて、どの程度の大きさの立体物が存在するか算出する。結果、ある一定値以上の高さの立体物である場合は、その立体物は建造物として判定する。このある一定値については、事前に典型的な建造物の高さを調査し、学習データとして準備しておくものとする。【００３７】
また、ガードレール無しの歩道304であるかどうかの判定については、まず道路領域301の外側に画像処理を施し、道路境界線310（実線の白線）を抽出する。道路境界線の検出に関しては、特開2012-155399号公報に記載された手法を利用すれば検出することができる。そして、検出した道路境界線310と、道路側方状況判定処理205で建造物309と判定された部分の間に、静止立体物が存在しない場合は、ガードレール無しの歩道304であると判定する。立体物が静止立体物であるかの判定に関しては、対象となる立体物の前々フレーム、前フレーム、現フレームの軌跡を求め、その軌跡が、自車両の速度から推定した処理画像300の背景の動きと一致する場合は、静止立体物と判定する。【００３８】
次に横断歩道検出処理206において、先の道路領域抽出処理203で抽出した道路領域301の内部に、横断歩道の路面標示があるかどうかを判定する。道路領域301中から横断歩道を検出するには、特開2011-192071号公報などに記載の方法によって検出することができる。【００３９】
最後にシーン解析図作成処理207において、図３に示すような道路領域301のシーン解析図を作成する。シーン解析図とは、前述の駐停車車両検出処理204、道路側方状況判定処理205、横断歩道検出処理206によって抽出した結果に基づき、図４に示すように画像中のどの領域にどのような物体が存在するかを記述した図である。【００４０】
図４には、ガードレールまたは植え込み領域401と402、ガードレールまたは植え込みの切れ目領域403、横断歩道領域404、ガードレール無しの歩道領域405と406、駐停車車両領域407と408、駐停車車両の切れ目領域409、を示している。【００４１】
次にステレオカメラ100の外部情報取得部104で行われる処理について説明する。【００４２】
ここで外部情報とは、車両に搭載されたカーナビゲーション装置や、センターや他の車両といった車両の外の装置である。車両の外の装置とは、DSRC(Dedicated Short Range Communication)といった路車間通信装置、携帯電話、無線LANによって情報を取得する。【００４３】
ここでは、カーナビゲーション装置から情報を取得する例を説明する。カーナビゲーション装置からは、自車両が走行している場所の属性をステレオカメラ100へ配信される。【００４４】
ここで自車両が走行している場所の属性とは、歩行者の存在する確率が高い場所である市街地、住宅地、商業施設、学校、車線数が少ない道、交差点の密度が多い場所といった属性であり、反対に、歩行者が存在する確率が低い場所である高速道路、高架道路、車線数が多い道路、建物が少ない場所、山地、交差点が少ない単路といった属性である。【００４５】
カーナビゲーション装置は、GPS（Global Positioning System）の測位情報に基づきカーナビゲーション装置内の地図データ上での自車両の位置を特定し、自車両周辺の歩行者の過多の確率に関する上記の場所の属性をステレオカメラ100へ送信する。【００４６】
次にステレオカメラ100の存在確率算出部105の処理の詳細を説明する。【００４７】
存在確率算出部105では、前述のシーン解析部103で取得した画像のシーン、および、外部情報取得部104で取得した自車走行している場所の属性に関する情報、に基づき、右撮像部102で撮像した画像中に歩行者が存在する可能性が高いか低いかといった存在確率を算出する。【００４８】
ここで存在確率を算出するには、図５に示すような事前調査結果に基づく学習データを準備しておき、この学習データを参照することで歩行者の存在確率を算出する。ここで図５の学習データの表は、縦軸として画像のシーンの種類501とし、ステレオカメラ100のシーン解析部103で行われる処理の中でシーン解析図作成処理207において、ステレオカメラ100で撮影したシーンの要素となるガードレールまたは植え込み、ガードレールまたは植え込みの切れ目、横断歩道、ガードレール無しの歩道、駐停車車両、駐停車車両の切れ目といたものである。【００４９】
一方横軸502は、ステレオカメラ100の外部情報取得部104で取得した自車両が走行している場所の属性であり、市街地、住宅地、商業施設、学校、高速道路、高架道路、山地、交差点が少ない単路、といったものである。【００５０】
表中の歩行者の存在確率の値503に記載している数字が歩行者の存在確率であり、例えば、画像のシーンがガードレール・植え込みであり、場所の属性が市街地の場合は、歩行者が存在する可能性がある確率は10%であることを示している。【００５１】
ここで、歩行者の存在確率の値503の確率を求めるには、予め取得した画像を調査して、実際に歩行者が存在した割合を調べて、経験値として確率の値を準備するものとする。【００５２】
次に、図５に示すように歩行者存在確率に関する学習データに基づき、ステレオカメラ100のシーン解析部103のシーン解析図作成処理207で作成した図４のシーン解析図に歩行者存在確率を付与する。ステレオカメラ100の外部情報取得部104で取得したこのシーンの場所の属性が商業施設である場合を例として、例えば、図５の表を参照して、ガードレールまたは植え込みの切れ目領域403は、図５の歩行者存在確率の値504に基づき、歩行者存在確率が90%となる。同じように、他のガードレールまたは植え込み領域401と402、横断歩道領域404、ガードレール無しの歩道領域405と406、駐停車車両領域407と408、駐停車車両の切れ目領域409の領域についても図５の表から存在確率を参照し、図６に示すように図４のシーン解析図に歩行者存在確率を付与する。【００５３】
図６において、太実線枠で示した領域601が歩行者存在確率が90%の領域（図６では403、404、405、406、409の領域）、細い実線枠で示した領域602が歩行者存在確率が60%の領域（407、408の領域）、細い点線枠で示した領域603が歩行者存在確率が30%の領域（401、402の領域）である。【００５４】
次にステレオカメラ100の処理優先度変更部106の処理の詳細を説明する。【００５５】
処理優先度変更部106では、歩行者の存在確率が予め定めた値より高い場合、または、画像中で歩行者の存在確率が予め定めた値より高い部分については、他の検出対象物（先行車両、標識、レーン等）よりも歩行者検知処理を優先的に行うように処理優先度を変更する。【００５６】
図７に処理優先度変更の概要を示す。ステレオカメラ100の存在確率算出部105で現在のシーンの歩行者存在確率を算出した結果、シーン内にある一定値以上の確率の領域があった場合に、図７に示すような処理優先度変更を行う。図７では、優先度変更前の処理スケジュール704と、優先度変更前の処理スケジュール705を示す。【００５７】
優先度変更前の処理スケジュール704では、ステレオカメラ100で歩行者検知処理と車両検知処理と標識検知処理を実行する場合を例として、まず0msで歩行者検知処理701を行い、次に車両検知処理702を行い、最後に標識検知処理703を行い、時刻90msに再び歩行者検知処理706を行う、といったように、歩行者検知処理701、車両検知処理702、標識検知処理703をいずれも90ms周期でシーケンシャルに実行するものとする。【００５８】
現在のシーンの歩行者存在確率を算出した結果、シーン内にある一定値以上の確率の領域があった場合、図７の優先度変更前の処理スケジュール705に変更する。すなわち、まず、時刻0msに歩行者検知処理707を行い、次に車両検知処理708を行い、次に再び歩行者検知処理709を行い、最後に標識検知処理710を行い、時刻120msに再び歩行者検知処理711を行うように変更する。【００５９】
これにより、歩行者検知処理は60ms周期で、車両検知処理と標識検知処理は120ms周期で行うこととなり、歩行者検知処理を優先的に何度も実行することで、歩行者検知性能を向上させることが可能となる。【００６０】
次にステレオカメラ100のパラメータ変更部107の処理の詳細を説明する。【００６１】
図８は、パラメータ変更部107で行われる処理の処理フローを示したものである。まず、歩行者高確率領域抽出処理801で、ステレオカメラ100の存在確率算出部105で算出した歩行者存在確率（図６）において、ある一定値以上の存在確率の領域を抽出する。ある一定値以上を80%とした場合は、図６において太実線枠の領域601（403、404、405、406、409の領域）が抽出する領域となる。【００６２】
次に、歩行者検知ロジック変更処理802において、ステレオカメラ100の存在確率算出部105で算出した歩行者存在確率（図６）において、ある一定値以上の存在確率の値がある場合に、先の歩行者高確率領域抽出処理801で抽出した歩行者の存在確率が高い領域の歩行者検知処理をより詳細に行うように、歩行者検知処理のロジックを変更する。ここで歩行者検知処理は、非特許文献「N.Dalal and B.Triggs, “Histograms of Oriented Gradients for Human Detection”, IEEE Symposium on Intelligent Vehicle, pp.206-212 Jun,2006」に記載されているHOG(Histograms of Oriented Gradients)といった画像特徴量を用いて多数の歩行者の画像を学習させたデータと比較して判定することで検出することができる。本処理では、さらにHOG以外の第２の特徴量を使った検知処理も追加することで、判定処理を詳細化し検出性能向上を図る。【００６３】
また本処理では、画像特徴量を用いて予め学習させたデータと比較して判定する際にその判定の閾値を低くし過検知気味とさせ、その後に歩行者の頭、肩、足の動きといった歩行者の各部位が歩行者のそれと類似しているかといった詳細判定を加えることで、歩行者検知性能の向上を図る。【００６４】
次に、歩行者検知領域変更処理803において、ステレオカメラ100の存在確率算出部105で算出した歩行者存在確率（図６）において、ある一定値以上の存在確率の値の領域を抽出し、優先的に歩行者見地を行う処理領域とする。例えば図６において、歩行者の存在確率が60%以上である領域601と、領域602を含む領域については、歩行者検知処理を60ms周期の高頻度で処理を行う一方、その他の領域では処理を行わない、または低頻度で処理を行う、といった設定とする。【００６５】
次に画像前処理パラメータ変更処理804において、ステレオカメラ100の存在確率算出部105で算出した歩行者存在確率（図６）において、ある一定値以上の存在確率の領域を抽出し、その歩行者の存在確率が高い領域の画像前処理のパラメータを変更して、歩行者が検出しやすい画像を作成する。ここでは、歩行者の存在確率が高い部分の画像が白飛びをしたり暗くなったりして歩行者が検出しにくい画像になっている場合は、歩行者がコントラスト良く表示されるような画像全体の階調補正を行う。または、先に抽出したある一定値以上の歩行者の存在確率の領域の部分のみ、歩行者がコントラスト良く表示されるような階調補正を行う。【００６６】
最後に露光制御パラメータ変更処理805において、歩行者の存在確率が高いシーンにおいては、ステレオカメラ100の左撮像部101、右撮像部102の露光制御のパラメータを変更して歩行者が検知しやすい画像を取得するように調整する。ここでは、ステレオカメラ100の存在確率算出部105で算出した歩行者存在確率（図６）において、ある一定値以上の存在確率の領域を抽出し、その部分の画像の明るさを抽出し、明るい場合は露光時間を短く、暗い場合は露光時間が長くなるように露光制御パラメータを変更する。【００６７】
次にステレオカメラ100の車両速度決定部108の処理を説明する。【００６８】
車両速度決定部108では、歩行者の存在確率が高いシーンにおいては、車両の加速を抑制するといった速度制御を行うための指令を発行して車両速度制御装置へ出力する。【００６９】
すなわち、ステレオカメラ100の存在確率算出部105で算出した歩行者存在確率（図６）において、ある一定値以上の存在確率の値がある場合に、自車速度が、車両のACC（Adaptive Cruise Control  前車追従装置）のユーザ設定速度よりも低い場合であっても、設定速度まで加速させずに速度を抑制するといった制御を行う。【００７０】
また、ステレオカメラ100の外部情報取得部104でカーナビゲーション装置から現在走行している道路の規制速度値を取得して、自車速度が規制速度値より高い場合は、規制速度まで車両を減速させるといった減速制御を行う。【００７１】
次にステレオカメラ100の距離算出部109で行われる処理の詳細を図９のフローチャートを用いて説明する。【００７２】
図９のフローチャートにおいて、まず、左画像入力処理901において、左撮像部101で撮像した画像データを受信する。次に右画像入力処理902において、右撮像部102で撮像した画像データを受信する。ここで、左画像入力処理901と右画像入力処理902を並列処理として同時に行っても良い。【００７３】
次に対応点算出処理903において、左画像入力処理901と右画像入力処理902で取得した左右2枚の画像を比較して、同一物体を撮像している部分を特定する。すなわち、図１０に示したように、走行路上にある対象物である物体1001をステレオカメラ100で撮像すると、左撮像部101と右撮像部102で撮像された画像は、それぞれ左画像1002、右画像1003のようになる。ここで、同一の物体1001は、左画像1002では物体位置1004の位置に撮像され、右画像1003では物体位置1005の位置に撮像され、画像の横方向にd1のずれが発生するため、左画像1002の物体位置1004に撮像されている物体が、右画像1003のどこに撮像されているかを特定する必要がある。【００７４】
左画像1002に撮像されている特定の物体が、右画像1003のどこに撮像されているかを特定する方法を図１１を用いて説明する。【００７５】
図１１において、左画像1002、右画像1003の座標系に関して、横方向をu軸1101、縦方向をv軸1102とする。まず、左画像1002において、uv座標系で、(u1,v1)、(u1,v2)、(u2,v1)、(u2,v2)で囲まれた矩形領域1103を設定する。【００７６】
次に右画像1003において、(U,v1)、(U,v2)、(U+(u2-u1),v1)、(U+(u2-u1),v2)で囲まれた領域を、Uの値をu=0からu=u3まで増加させ、画像の右方向へこの矩形領域1104まで走査させる。走査させる際、矩形領域1103内の画像と、矩形領域1104内の画像の相関値を比較して、左画像1002の矩形領域1103と相関性が最も高い右画像1003の矩形領域1105の位置(u4,v1)、(u4,v2)、(u4+(u2-u1),v1)、(u4+(u2-u1),v2)に、矩形領域1103に撮像されている物体と同一物体が撮像されているとする。ここで、矩形領域1103内の各画素と、矩形領域1105内の各画素が対応しているとする。ここで、右画像1003の矩形領域1104を走査した際、相関値がある一定以上の値になる矩形がない場合は、左画像1002の矩形領域1103に対応する右画像1003内の対応点は無しとする。【００７７】
次に、左画像1002の矩形領域1103を矩形領域1106の位置にずらし、同様の処理を行う。
このように左画像1002の矩形領域を左画像1002内全体に走査して、左画像1002の全画素に対して、右画像1003内の対応点を求める。対応点が見つからない場合は、対応点無しとする。【００７８】
次に図９のフローチャートにおいて、距離算出処理904を行う。【００７９】
距離算出処理904では、前述の対応点算出処理903で求めた、同一物体を撮像している左画像1002と右画像1003の対応点に関して、各対応点がステレオカメラ100からどの程度の距離の位置にあるかを算出する。【００８０】
まず、図１２を用いて、左画像1002と右画像1003の対象点1201のカメラからの距離を算出する方法を説明する。【００８１】
図１２において、左撮像部101は、レンズ1202と撮像面1203から成る焦点距離f、左撮像部の光軸1208のカメラであり、右撮像部102は、レンズ1204と撮像面1205から成る焦点距離f、右撮像部の光軸1209のカメラである。カメラ前方にある対象点1201は、左撮像部101の撮像面1203の点1206（光軸1208からd2の距離）へ撮像され、左画像1002では点1206（光軸1208からd4画素の位置）となる。同様に、カメラ前方にある点1201は、右撮像部102の撮像面1205の点1207（光軸1209からd3の距離）に撮像され、右画像1003では点1207（光軸1209からd5画素の位置）となる。【００８２】
このように同一の物体の対象点1201が、左画像1002では光軸1208から左へd4画素の位置、右画像1003では光軸1209から右へd5の位置に撮像され、d4+d5画素の視差が発生する。
このため、左撮像部101の光軸1208と対象点1201との距離をxとすると、以下の式により、ステレオカメラ100から対象点1201までの距離Dを求めることができる。【００８３】
対象点1201と左撮像部101との関係から  d2 : f = x : D
対象点1201と右撮像部102との関係から  d3 : f = (d-x) : D
従って、D = f × d / (d2 + d3) = f × d / { (d4 + d5 ) × a}  となる。ここで、aは撮像面1203、撮像面1205の撮像素子のサイズである。【００８４】
以上述べた距離算出を、前述の対応点算出処理903で算出した対応点全てに関して実施する。その結果、ステレオカメラ100から対象物までの距離を表現した距離画像を求めることができる。【００８５】
そして、図９のフローチャートの距離情報出力処理905では、この距離画像を出力して保存する。【００８６】
最後に、図９のフローチャートの分岐906において、左撮像部101及び右撮像部102から画像入力信号がある場合は、左画像入力処理901に戻る。分岐906において、左撮像部101及び右撮像部102から画像入力信号がない場合は、画像入力信号が距離算出部109に入力されるまで待機する。【００８７】
最後にステレオカメラ100の検知対象物検知部110の処理を説明する。検知対象物検知部110では、前述のステレオカメラ100の処理優先度変更部106で決定した図７の優先度変更前の処理スケジュール705に示した処理スケジュールに従い、各検知処理を起動する。図７の例の場合は、歩行者検知処理、車両検知処理、標識検知処理をシーケンシャルに実行させる。検知した結果はステレオカメラ100から外部の装置へ出力する。
【実施例２】
【００８８】
ここでは、本発明を、車両に搭載されたステレオカメラの映像を用いて歩行者を検知するシステムに適用した場合の別の実施の形態を図１に示す。【００８９】
撮像装置であるステレオカメラ1300は、左撮像部1301と右撮像部1302を有し、処理装置1311は、シーン解析部103、外部情報取得部104、存在確率算出部105、処理優先度変更部106、パラメータ変更部107、車両速度決定部108、距離算出部109、検知対象検知部110を有する。このシーン解析部103〜検知対象検知部110の各部の処理内容は実施例１に示したものと同じである。【００９０】
本実施例のように、ステレオカメラ1300と処理装置1311は別の筐体であっても良く、ステレオカメラ1300と処理装置1311は単一、または複数の信号線で接続され、左撮像部1301で撮像された画像と右撮像部1302で撮像された画像が処理装置1311に送られる。
【符号の説明】
【００９１】
100  ステレオカメラ
101  左撮像部
102  右撮像部
103  シーン解析部
104  外部情報取得部
105  存在確率算出部
106  処理優先度変更部
107  パラメータ変更部
108  車両速度決定部
109  距離算出部
110  検知対象物検知部
111  処理装置
201  左右画像取得処理
202  距離データ取得処理
203  道路領域抽出処理
204  駐停車車両検出処理
205  道路側方状況判定処理
206  横断歩道検出処理
207  シーン解析図作成処理
【図１】
2014132747.tif 000003
【図２】
2014132747.tif 000004
【図３】
2014132747.tif 000005
【図４】
2014132747.tif 000006
【図５】
2014132747.tif 000007
【図６】
2014132747.tif 000008
【図７】
2014132747.tif 000009
【図８】
2014132747.tif 000010
【図９】
2014132747.tif 000011
【図１０】
2014132747.tif 000012
【図１１】
2014132747.tif 000013
【図１２】
2014132747.tif 000014
【図１３】
2014132747.tif 000015
【手続補正書】
【提出日】平成28年7月13日(2016.7.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
自車両の外界を撮像する撮像部と、
前記撮像部で撮像された画像から検知対象物の検知処理をする処理装置と、を有し、
前記処理装置は、
自車両の走行シーンを解析するシーン解析部と、
前記シーン解析部で解析された走行シーンに基づいて検知対象物の検知処理優先度を変更する処理優先度変更部と、
前記処理優先度変更部で変更された検知処理優先度に基づいて検知対象物の検知を行う検知対象物検知部と、を有し、
前記処理装置は、前記シーン解析部で解析された走行シーンに基づいて検知対象物の存在確率を算出する存在確率算出部を有し、
前記処理優先度変更部は、前記存在確率算出部で算出された存在確率に基づいて検知対象物の検知処理優先度を変更する物体検知装置。
【請求項２】
請求項１記載の物体検知装置において、
前記撮像部は、左撮像部と右撮像部を有し、
前記検知対象物検知部は、前記左撮像部で撮像された左画像と、前記右撮像部で撮像された右画像と、から検知対象物の検知処理をする物体検知装置。
【請求項３】
請求項１記載の物体検知装置において、
前記処理装置は、前記存在確率算出部で算出された存在確率に基づいて自車両の速度を制御するための速度指令を生成し、出力する車両速度決定部を有する物体検知装置。
【請求項４】
請求項１記載の物体検知装置において、
前記処理装置は、前記存在確率算出部で算出された存在確率に基づいて前記撮像部の露光制御パラメータを変更するパラメータ変更部を有する物体検知装置。
【請求項５】
自車両の外界を撮像する撮像部と、
前記撮像部で撮像された画像から検知対象物の検知処理をする処理装置と、を有し、
前記処理装置は、
自車両の走行シーンを解析するシーン解析部と、
前記シーン解析部で解析された走行シーンに基づいて検知対象物の検知処理優先度を変更する処理優先度変更部と、
前記処理優先度変更部で変更された検知処理優先度に基づいて検知対象物の検知を行う検知対象物検知部と、を有し、
前記処理装置は、
地図情報を取得する外部情報取得部と、
前記外部情報取得部で取得した前記地図情報と、前記シーン解析部で解析された走行シーンと、に基づいて検知対象物の存在確率を算出する存在確率算出部と、を有し、
前記処理優先度変更部は、前記存在確率算出部で算出された存在確率に基づいて検知対象物の検知処理優先度を変更する物体検知装置。
【請求項６】
自車両の外界を撮像する撮像部と、
前記撮像部で撮像された画像から検知対象物の検知処理をする処理装置と、を有し、
前記処理装置は、
自車両の走行シーンを解析するシーン解析部と、
前記シーン解析部で解析された走行シーンに基づいて検知対象物の検知処理優先度を変更する処理優先度変更部と、
前記処理優先度変更部で変更された検知処理優先度に基づいて検知対象物の検知を行う検知対象物検知部と、を有し、
前記撮像部は、左撮像部と右撮像部を有し、
前記検知対象物検知部は、前記左撮像部で撮像された左画像と、前記右撮像部で撮像された右画像と、から検知対象物の検知処理を行い、
前記処理装置は、
前記左画像と前記右画像から検知対象物までの距離を算出する距離算出部と、
前記シーン解析部で解析された走行シーンに基づいて検知対象物の存在確率を算出する存在確率算出部と、を有し、
前記処理優先度変更部は、前記存在確率算出部で算出された存在確率に基づいて検知対象物の検知処理優先度を変更し、
前記検知対象物検知部は、前記距離算出部で算出された距離情報と前記処理優先度変更部で変更された検知処理優先度に基づいて、検知対象物の検知処理をする物体検知装置。
【請求項７】
請求項６記載の物体検知装置において、
前記シーン解析部は、
前記左画像と前記右画像前記距離情報に基づいて道路領域を抽出する道路領域抽出手段と、
前記左画像と前記右画像と前記距離情報に基づいて駐停車車両を検出する駐停車検出手段と、
前記左画像と前記右画像と前記距離情報に基づいて道路領域外の領域の場所の属性を判定する道路側方状況判定手段と、前記左画像と前記右画像と前記距離情報に基づいて横断歩道を検出する横断歩道検出手段と、のいずれか１つの手段を有する物体検知装置。
【請求項８】
請求項５記載の物体検知装置において、
前記存在確率算出部は、予め記憶された、走行シーンの種類と場所の属性と存在確率値が対応付けられた学習データを用いて、前記地図情報と、前記走行シーンと、から検知対象物の存在確率を算出する物体検知装置。
【請求項９】
請求項４記載の物体検知装置において、
検知対象物が歩行者である場合、前記パラメータ変更部は、
前記存在確率算出部で算出された存在確率から歩行者が存在する可能性が高い領域を抽出する歩行者高確率領域抽出手段と、
歩行者が存在する可能性が高い領域に基づいて歩行者を検知する歩行者検知ロジックを変更する歩行者検知ロジック変更手段と、
歩行者が存在する可能性が高い領域に基づいて画像の諧調補正を行う画像前処理パラメータ変更手段と、
歩行者が存在する可能性が高い領域から画像の明るさを抽出し、前記画像の明るさに基づいて露光制御パラメータを変更する露光制御パラメータ変更手段と、を有する物体検知装置。
【請求項１０】
請求項１記載の物体検知装置において、
前記撮像部と前記処理装置は、一体化された筐体内に搭載される、または各々別体の筐体内に搭載される物体検知装置。
【国際調査報告】
2014132747.tif 000016
2014132747.tif 000017
2014132747.tif 000018
2014132747.tif 000019