(57)【要約】      （修正有）【課題】撮像画像から物体を認識する物体認識装置において、物体の認識結果を利用した制御に悪影響を及ぼすことを抑制できるようにする。【解決手段】車両制御システム１は、撮像画像を取得するように構成された撮像部２１と、取得した撮像画像から物体を認識するように構成された物体認識部１５と、取得した撮像画像中に前記物体の影が存在するか否かを判定するように構成された影検出部１６と、物体の影が存在するか否かに基づく判定結果を出力するように構成された制御情報出力部１９と、を備える。【選択図】図１
2020035194.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を取得するように構成された画像取得部（Ｓ１０）と、
取得した撮像画像から物体を認識するように構成された物体認識部（Ｓ４０）と、
取得した撮像画像中に前記物体の影が存在するか否かを判定するように構成された影判定部（Ｓ６０〜Ｓ９０、Ｓ１４０〜Ｓ１５０、Ｓ３２０〜Ｓ３５０）と、
前記物体の影が存在するか否かに基づく判定結果を出力するように構成された出力部（Ｓ１６０，Ｓ１８０，Ｓ２００，Ｓ３６０，Ｓ４１０、１９）と、
を備える物体認識装置（１０）。
【請求項２】
請求項１に記載の物体認識装置であって、
前記出力部は、前記判定結果として、物体の認識精度を示す評価値、及び物体の認識結果を出力する
ように構成された物体認識装置。
【請求項３】
請求項１又は請求項２に記載の物体認識装置であって、
前記物体認識部は、前記撮像画像中に物体の影が存在する場合に、前記撮像画像中から該影の領域を除去した領域から物体を認識する
ように構成された物体認識装置。
【請求項４】
請求項１から請求項３までのいずれか１項に記載の物体認識装置であって、
前記撮像画像中における前記物体を含む領域内に、複数の画素を含む少なくとも１つの判定領域（５２，５３）を設定するように構成された領域設定部（Ｓ６０）と、
前記判定領域に含まれる複数の画素の輝度値を輝度値毎に投票した輝度ヒストグラムを生成するように構成されたヒストグラム生成部（Ｓ７０）と、
前記輝度ヒストグラムに基づく特徴ベクトルを生成するように構成されたベクトル生成部（Ｓ８０）と、
をさらに備え、
前記影判定部は、前記特徴ベクトルと予め準備された基準ベクトルとを比較することによって前記物体に影が存在するか否かを判定する
ように構成された物体認識装置。
【請求項５】
請求項４に記載の物体認識装置であって、
前記ベクトル生成部は、前記輝度ヒストグラムを構成する各輝度値の投票数同士を乗算することで前記特徴ベクトルを生成する
ように構成された物体認識装置。
【請求項６】
請求項４または請求項５に記載の物体認識装置であって、
前記撮像画像から物体が存在する領域を表す物体領域（５１）を設定するように構成された物体設定部（Ｓ２０）と、
前記物体領域を補正するように構成された補正部（Ｓ１６０，Ｓ３６０）と、
をさらに備え、
前記領域設定部は、前記物体領域の下部に少なくとも１つの前記判定領域を設定するように構成され、
前記補正部は、前記判定領域に影が存在する場合に、前記物体領域から影が存在する判定領域を除去することで前記物体領域を補正するように構成され、
前記物体認識部は、前記補正部による補正後の物体領域から物体を認識する
ように構成された物体認識装置。
【請求項７】
請求項４または請求項５に記載の物体認識装置であって、
前記撮像画像から物体が存在する領域を表す物体領域を設定するように構成された物体設定部（Ｓ２０）と、
前記物体領域を補正するように構成された補正部（Ｓ１６０，Ｓ３６０）と、
をさらに備え、
前記領域設定部は、前記物体領域を構成する水平方向の１列分の画素毎に、複数の前記判定領域を設定するように構成され、
前記補正部は、影が存在する前記複数の判定領域のうちの最も上部に位置する判定領域が前記物体領域の下端となるように、前記複数の判定領域を除去することで前記物体領域を補正するように構成され、
前記物体認識部は、前記補正部による補正後の物体領域から物体を認識する
ように構成された物体認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像画像から物体を認識するように構成された物体認識装置に関する。
【背景技術】
【０００２】
撮像画像を画像処理して物体を認識する技術が広く知られている。下記の特許文献１では、オプティカルフローを用いて物体を認識する構成が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０９７１２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像画像から物体を認識する際には、物体の影が物体の周囲に存在する場合があり、影が物体の一部と認識されると、影の形状が不定であるため、物体の認識精度が低下する虞がある。例えば、パターンマッチングを用いて物体を認識する場合、不定である影の形状がパターンマッチングによる判定に悪影響を及ぼす可能性があり、また、上記の特許文献１のように、オプティカルフローを用いて物体を認識する場合、認識に不要な影の部分のオプティカルフローが存在することによって、オプティカルフローによる判定に悪影響を及ぼす可能性がある。
【０００５】
発明者の詳細な検討の結果、物体の認識精度が低下すると、物体の認識結果を利用した制御、例えば、自動運転や自動ブレーキ等の車両制御に悪影響を及ぼす虞があるという課題が見出された。
【０００６】
本開示の１つの局面は、撮像画像から物体を認識する物体認識装置において、物体の認識結果を利用した制御に悪影響を及ぼすことを抑制できるようにすることにある。
【課題を解決するための手段】
【０００７】
本開示の一態様は、物体認識装置であって、画像取得部（Ｓ１０）と、物体認識部（Ｓ４０）と、影判定部（Ｓ６０〜Ｓ９０、Ｓ１４０〜Ｓ１５０、Ｓ３２０〜Ｓ３５０）と、出力部（Ｓ１６０，Ｓ１８０，Ｓ２００，Ｓ３６０，Ｓ４１０）と、を備える。画像取得部は、撮像画像を取得するように構成される。物体認識部は、取得した撮像画像から物体を認識するように構成される。影判定部は、取得した撮像画像中に物体の影が存在するか否かを判定するように構成される。出力部は、物体の影が存在するか否かに基づく判定結果を出力するように構成される。
【０００８】
このような構成によれば、撮像画像中に認識対象となる物体の影が存在するか否かの判定結果を出力するので、物体の認識精度を報知することができる。また、物体に影の領域が含まれる場合に影の領域を除去して再度物体の認識をすれば、精度よく物体を認識することができる。よって、物体の認識結果を利用した制御に悪影響を及ぼすことを抑制することができる。
【０００９】
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００１０】
【図１】車両制御システム１の構成を示すブロック図である。
【図２】物体認識処理のフローチャートである。
【図３】検知枠及び影判定領域の一例を示す画像図である。
【図４】影検知処理のフローチャートである。
【図５】影が存在しない検知枠での輝度ヒストグラムの一例である。
【図６】影が存在する検知枠での輝度ヒストグラムの一例である。
【図７】影が存在しない検知枠での特徴ベクトルの一例である。
【図８】影が存在する検知枠での特徴ベクトルの一例である。
【図９】第１実施形態における補正・評価処理のフローチャートである。
【図１０】輝度判定領域での輝度ヒストグラム及び影判定領域での輝度ヒストグラムの一例である。
【図１１】輝度判定領域の設定例を示す画像図である。
【図１２】第２実施形態における補正・評価処理のフローチャートである。
【図１３】その他の実施形態における補正・評価処理のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本開示の一態様の実施形態を説明する。
［１．第１実施形態］
［１−１．構成］
車両制御システム１は、例えば乗用車、バス等の任意の車両に搭載され、車両の走行状態を制御する機能を備えるシステムである。なお、車両制御システム１を搭載した車両を自車両とも表記する。車両制御システム１は、図１に示すように、物体認識装置１０を備える。また、車両制御システム１は、撮像部２１と、辞書格納部２２と、表示部２６と、車両制御部２７とを備えてもよい。
【００１２】
撮像部２１は、自車両の進行方向を撮像する周知のカメラである。撮像部２１は、自車両の進行方向等の自車両の周囲を撮像した撮像画像を物体認識装置１０に送る。
辞書格納部２２は、影の存在の有無を判定するための影参照データを格納した記録装置である。
【００１３】
また、影参照データは、撮像画像中の影の領域についての特徴を予め基準ベクトルとして準備された辞書となるデータであり、物体認識装置１０が影の存在の有無を認識する際に比較参照される。基準ベクトルとは、影の領域を表すヒストグラムに基づく比較参照用のベクトルであって、後述する特徴ベクトルと同次元のベクトルである。
【００１４】
表示部２６は、周知のディスプレイとして構成される。表示部２６は、物体認識装置１０からの指示による画像を表示させる。
車両制御部２７は、自車両の走行状態を制御する周知の装置である。例えば、車両制御部２７は、自車両周囲の物体の位置に応じて自車両に対して制動を行う自動ブレーキとして構成される。車両制御部２７は、評価値に応じて物体の認識結果を利用したり利用しなかったりする装置である。
【００１５】
より詳細には、車両制御部２７は、評価値が予め設定された閾値よりも低い場合には、誤作動を抑制するために、物体の認識結果を不採用にする場合があるように設定される。なお、評価値とは、物体認識装置１０が認識した物体の種別、位置、移動速度等のうちの少なくとも１つについての確からしさを数値として表した値である。特に、本実施形態では、位置の正確性を数値として表した値を評価値とする。
【００１６】
物体認識装置１０は、ＣＰＵ１１と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ１２）と、を有するマイクロコンピュータを備える。物体認識装置１０の各機能は、ＣＰＵ１１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、非遷移的実体的記録媒体とは、記録媒体のうちの電磁波を除く意味である。また、物体認識装置１０は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
【００１７】
物体認識装置１０は、物体認識部１５と、影検出部１６と、補正処理部１７と、表示処理部１８と、制御情報出力部１９とを備える。物体認識装置１０に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。
【００１８】
物体認識部１５の機能では、後述する物体認識処理を実施する。
影検出部１６の機能では、後述する影検知処理を実施する。
補正処理部１７の機能では、後述する補正・評価処理を実施する。なお、補正・評価処理の処理では、検知枠５１内の影の存在の程度によって検知枠５１を変更するとともに、評価値を減じて設定する。
【００１９】
表示処理部１８の機能では、表示部２６に画像を表示させる。例えば、表示処理部１８の機能では、物体認識処理で認識された物体について、物体の種別に応じて予め準備されたアイコンを表示部２６表示させる。
【００２０】
制御情報出力部１９の機能では、物体認識処理で認識された物体についての物体情報と、この物体について補正・評価処理で算出された評価値とを、車両制御部２７に出力する。
［１−２．処理］
［１−２−１．物体認識処理］
次に、物体認識装置１０が実行する物体認識処理について、図２のフローチャートを用いて説明する。物体認識処理は、例えば、５０ｍｓ毎等、予め設定された周期毎に繰り返し実施される処理である。物体認識処理では、撮像画像を画像処理することによって撮像画像から物体を認識する。物体の認識とは、物体の種別、物体の大きさ、物体の位置、物体の移動速度を含む物体情報を認識することを示す。なお、物体情報には、物体の種別、物体の大きさ、物体の位置、及び物体の移動速度等のうちの少なくとも１つが含まれていればよい。
【００２１】
物体認識処理では、まず、Ｓ１０で、物体認識装置１０は、撮像部２１から撮像画像を取得する。続いて、Ｓ２０で、物体認識装置１０は、撮像画像中から検知枠５１を設定する。検知枠５１とは、撮像画像中における物体の認識を行う対象となる領域である。
【００２２】
検知枠５１には、例えば、図３に示すように、検知しようとする物体が撮像された領域である物体領域４１が含まれ、この物体に影が存在する場合には、物体の影の領域である影領域４２が含まれる。物体領域４１及び影領域４２は、周知のオプティカルフローによる検知手法により一体的に認識される。オプティカルフローによる検知手法では、例えば、時系列に従って１０フレーム分の撮像画像中の複数の特徴点を追跡し、同方向に移動する特徴点を同一物体を示す複数の特徴点として認識する。そして、同一物体を示す複数の特徴点に外接する外接矩形が検知枠５１として設定される。
なお、エッジ領域を用いて検知枠５１を認識してもよい。この場合、物体領域４１及び影領域４２は、１つのエッジ領域として一体的に認識され、物体領域４１及び影領域４２を含むエッジ領域に外接する外接矩形が検知枠５１として設定される。なお、エッジとは、隣接する画素間での輝度値が予め設定された値以上となる部位を表し、エッジ領域とは、連続する複数のエッジにて囲われた領域を表す。
【００２３】
また、本実施形態では、撮像画像に１つの物体が含まれる状況、つまり、撮像画像中に１つの検知枠５１が設定される例について説明する。ただし、撮像画像に複数の物体が含まれてもよく、この場合には、同方向に移動する複数の特徴点毎、或いはエッジ領域毎に複数の検知枠５１を設定すればよい。
また、検知枠５１内の画像は、検知枠５１の撮像画像中の座標値とともにメモリ１２に一時的に記録される。メモリ１２には、例えば最新の１０フレーム分の検知枠５１の画像が記録される。
【００２４】
続いて、Ｓ３０で、物体認識装置１０は、後述する補正・評価処理が終了まで待機する。すなわち、物体認識装置１０は、補正・評価処理が終了したか否かを判定する。物体認識装置１０は、Ｓ３０で、補正・評価処理が終了していないと判定した場合には、Ｓ３０に戻る。また、物体認識装置１０は、Ｓ３０で、補正・評価処理が終了したと判定した場合には、Ｓ４０に移行し、物体認識装置１０は、検知枠５１から物体を認識する。
【００２５】
ここで、後述する補正・評価処理が実施される前の検知枠５１には、物体領域４１及び影領域４２を含むため、物体は、影領域４２を含む検知枠５１から認識される。ただし、後述する補正・評価処理で検知枠５１が補正された場合には、影領域４２が除かれた検知枠５１から物体が認識される。
物体の認識には、周知のオプティカルフローによる物体認識手法を採用する。オプティカルフローによる物体認識手法では、例えば、同一物体を示す複数の特徴点のフローの分布を予め準備された物体毎の物体参照データと比較することによって物体の種別を特定する。物体を認識する際に用いられる物体参照データは、例えば、乗用車、バス、トラック、歩行者、自転車、バイク等の、物体の種別毎に準備された辞書となるデータであり、物体認識装置１０が物体を認識する際に比較参照される。本実施形態では、オプティカルフローについての物体参照データが、物体の種別毎にメモリ１２或いは他のデータベースにて準備される。
【００２６】
また、この処理では、検知枠５１のうちの下端の座標値に基づいて、物体までの距離を認識する。また、オプティカルフローによる物体認識手法では、自車両に対する物体の相対移動速度も認識できる。なお、オプティカルフローによる物体認識手法に限らず、例えば、パターンマッチングによる物体認識手法等、任意の画像処理を用いた物体認識手法を採用してもよい。
【００２７】
続いて、物体認識装置１０は、Ｓ５０で、物体認識結果を記録する。ここでの物体認識結果には、物体情報、及び補正・評価処理にて設定される評価値が含まれる。Ｓ５０の処理の後、図２の物体認識処理を終了する。
【００２８】
［１−２−２．影検知処理］
次に、物体認識装置１０が実行する影検知処理について、図４のフローチャートを用いて説明する。影検知処理は、例えば、５０ｍｓ毎等、予め設定された周期毎に、物体認識処理等の他の処理とは並列に、繰り返し実施される処理である。また、影検知処理は、検知枠５１内に影の領域が存在するか否かを判定する処理である。
【００２９】
影検知処理では、まず、Ｓ６０で、物体認識装置１０は、影判定領域５２の画像を取得する。影判定領域５２とは、図３に示すように、検知枠５１の下部、すなわち、検知枠５１の上下方向の中央よりも下側の領域に少なくとも１つ設定される領域である。ここでは、検知枠５１の下部において、検知枠５１の下端から検知枠５１の上下方向の長さの２０％分までの領域を影判定領域５２に設定する。
【００３０】
続いて、Ｓ７０で、物体認識装置１０は、輝度ヒストグラムを算出する。この処理では、  影判定領域５２に含まれる複数の画素の輝度値を輝度値毎に投票し、輝度値毎の投票数を度数として示した輝度ヒストグラムを生成するように構成される。すなわち、度数は、影判定領域５２内の特定の輝度値を有する画素の画素数である。輝度ヒストグラムでは、輝度値と度数との関係が得られる。
【００３１】
続いて、Ｓ８０で、物体認識装置１０は、特徴ベクトルを算出する。特徴ベクトルとは、輝度値に基づく値と度数とを対応付けた多次元の値である。本実施形態ではベクトルを採用しているが、ベクトルをより多次元化したテンソルを採用してもよい。
【００３２】
ここでは、輝度ヒストグラムを構成する各輝度値の投票数同士を乗算することで特徴ベクトルを生成する。換言すれば、輝度ヒストグラムを構成する各輝度値の度数同士を順次乗算して羅列したものを特徴ベクトルとして生成する。より詳細には、輝度ヒストグラムにおいて基礎とする度数である輝度値が０の度数と輝度値が０の度数との積を第０番目の度数とし、輝度値が０の度数と輝度値が１の度数との積を第１番目の度数とし、輝度値が０の度数と輝度値が２の度数との積を第２番目の度数とする。
【００３３】
このように、輝度値が０の度数と輝度値が２５５等の最大値Ｎの度数との積である第Ｎ番目の度数を求めると、基礎とする輝度値を０から１にインクリメントし、同様に、輝度値が１の度数と、他の輝度値の度数との積を順次算出する。この手順を繰り返し、基礎とする輝度値が最大値Ｎとなり、全ての度数の組み合わせについての積が求められると、本実施形態の特徴ベクトルの生成が完了する。なお、特徴ベクトルを生成する際には、各輝度値の度数同士を乗算する際の演算順に、演算結果である度数と、シリアル番号である「組み合わせ番号」とを対応付けておく。本実施形態の場合、輝度値が０の度数と輝度値が０の度数との積に最小値である組み合わせ番号０を対応付け、輝度値がＮの度数と輝度値がＮの度数との積に最大値である組み合わせ番号Ｎ２を対応付ける。
【００３４】
ここで、例えば、輝度値が０の度数と輝度値が１の度数との積、及び輝度値が１の度数と輝度値が０の度数との積は、値が重複するが、本実施形態では、このような重複を許容している。ただし、重複する演算を行わない、或いは、重複した演算による演算結果を除去するようにしてもよい。
【００３５】
ここで、図５に示す検知枠５１に影領域４２が存在しない場合の輝度ヒストグラムと、図６に示す検知枠５１に影領域４２が存在する場合の輝度ヒストグラムと、を比較する。すると、図６に示すように、影領域４２が存在する場合に、比較的輝度値が低い領域で度数のピークが検知できることが分かる。しかし、影領域４２が存在しない場合にも、図５に示すように、輝度値が０に近い領域で度数が高くなっており、単純な輝度ヒストグラムの比較では、影の存在の有無の判定が難しい場合がある。
【００３６】
これらの輝度ヒストグラムについて、上記Ｓ８０の処理で求めた特徴ベクトルでは、影の存在の有無に応じて差異が顕著となる。例えば、図７に示す影が存在しない検知枠での特徴ベクトルでは、横軸の値である組み合わせ番号が３００００付近で度数がピークを取り、その度数の値が１２０程度と比較的低いのに対して、図８に示す影が存在する検知枠での特徴ベクトルでは、組み合わせ番号が１００００付近と２５０００付近との２箇所で度数がピークを取る。これらのピークでの度数の値は２００程度であり、比較的大きなピークが得られる。つまり、上記Ｓ８０の処理で求めた特徴ベクトルでは、影が存在する場合に、影の領域を示す輝度値が低い領域と、路面の領域を示す領域との２箇所に度数の大きなピークを有するのに対して、影が存在しない場合には、大きなピークが存在しない、或いは大きなピークが存在してもピークが１つである傾向がある。このような結果から、本実施形態の特徴ベクトルからは、影の存在の有無を間違えることが少なく、影の存在の有無を精度よく判定できることが分かる。
【００３７】
続いて、Ｓ９０で、物体認識装置１０は、特徴ベクトルと基準ベクトルとを対比して影の存在を判定する。なお、基準ベクトルとしては、少なくとも影判定領域５２に影領域４２が存在する場合の特徴的なベクトルが準備されており、この基準ベクトルとの類似度、例えば、ピークの位置の一致程度、ピークの位置での度数等によって、影の存在の有無を判定する。この処理での判定結果は、メモリ１２に記録される。
【００３８】
このような処理の後、図４の影検知処理を終了する。
［１−２−３．補正・評価処理］
物体認識装置１０が実行する補正・評価処理について、図９のフローチャートを用いて説明する。補正・評価処理は、例えば、５０ｍｓ毎等、予め設定された周期毎に、物体認識処理等の他の処理とは並列に、繰り返し実施される処理である。
【００３９】
補正・評価処理では、まず、Ｓ１１０で、物体認識装置１０は、影検知処理で影を検知したか否かを判定する。物体認識装置１０は、Ｓ１１０で、影を検知していないと判定した場合には、図９の補正・評価処理を終了する。
【００４０】
一方、物体認識装置１０は、Ｓ１１０で、影を検知したと判定した場合には、Ｓ１２０へ移行し、影の輝度値Ｙを取得する。影の輝度値Ｙとは、図１０の最下図に示すように、影が存在すると判定された影判定領域５２の輝度ヒストグラムにおいて、影の輝度値として予め設定された範囲内、例えば、輝度値の低い側２０％程度の範囲内、において最も度数が高い輝度値を示す。
【００４１】
続いて、Ｓ１３０で、物体認識装置１０は、検知枠５１の画像を取得する。続いて、Ｓ１４０で、物体認識装置１０は、複数の輝度判定領域５３を設定する。
ここでは、図１１に示すように、輝度判定領域５３同士が隣接しないように、また、検知枠５１内の水平方向の全ての画素が含まれるように、検知枠５１内の任意の４カ所に、リボン状の輝度判定領域５３を設定する。輝度判定領域５３は、検知枠５１の上下方向における複数の画素が含まれるように設定される。
【００４２】
続いて、Ｓ１５０で、物体認識装置１０は、複数の輝度判定領域５３毎に輝度ヒストグラムを算出し、輝度値Ｙの度数が規定値以上の領域を影領域とする。ここでの規定値は、例えば、輝度値Ｙの度数の８０％程度等に設定される。図１１には、図１０にて設定された複数の輝度判定領域５３を上から順に領域Ａ、領域Ｂ、領域Ｃ、領域Ｄとして、各領域についての輝度ヒストグラムの一例を表示している。
【００４３】
図１１に示す例では、輝度値Ｙについて、規定値を超えているのは、領域Ｃ及び領域Ｄであり、これらの領域が影領域として設定される。
続いて、Ｓ１６０で、物体認識装置１０は、影領域を除外するように検知枠５１を補正する。換言すれば、物体認識装置１０は、物体に影が存在するか否かに基づく判定結果として、検知枠５１を補正するための出力を行う。すなわち、図１１に示す例では、検知枠５１の上端から領域Ｃの上端までの領域が、補正後の検知枠５１となる。なお、影領域が設定されなかった場合には、検知枠５１の補正は省略される。
【００４４】
続いて、Ｓ１７０で、物体認識装置１０は、検知枠５１を補正したか否かを判定する。  物体認識装置１０は、Ｓ１７０で検知枠５１を補正したと判定した場合には、Ｓ１８０へ移行し、補正量に応じて評価値を補正する。換言すれば、物体認識装置１０は、物体に影が存在するか否かに基づく判定結果として、評価値の出力を行う。具体的には、評価値の補正は、例えば１００点等に設定された基準点数から減点を行うことで実施される。本実施形態では、Ｓ２０の処理で設定された当初の検知枠５１の面積を１００として、補正後の面積を評価値として設定してもよい。また、評価値は、検知枠５１の補正量が多いほどより多く減点される。
【００４５】
続いて、Ｓ１９０で、物体認識装置１０は、補正後の検知枠５１内かつ自車両から最近傍となるように測距位置を設定する。ここで、撮像画像を構成する各画素は、その座標値によって、各画素の位置に物体が存在する場合の距離が予め対応付けられている。このため、物体認識装置１０は、検知枠５１内の各画素のうちの、自車両から最も近い距離が対応付けられた画素を選択し、この画素に対応する距離を物体の測距位置として設定する。
【００４６】
一方、物体認識装置１０は、Ｓ１７０で検知枠５１を補正していないと判定した場合には、Ｓ２００へ移行し、評価値を予め設定された規定値だけ、例えば評価値の１割程度だけ評価値を下げる。この処理は、前述の影検知処理では影が検知されているものの、補正・評価処理では影が検知されていない場合に実施される。この場合、影が物体の認識に与える影響が軽微ながら存在すると推定されるため、検知枠５１を補正する場合と比較して評価値を小さく減点する。
【００４７】
Ｓ１９０又はＳ２００の処理が終了すると、図９の補正・評価処理を終了する。
［１−３．効果］
以上詳述した第１実施形態によれば、以下の効果を奏する。
【００４８】
（１ａ）本開示の一態様は、車両制御システム１であって、物体認識装置１０は、撮像画像を取得するように構成され、取得した撮像画像から物体を認識するように構成される。また、物体認識装置１０は、物体に影が存在するか否かを判定するように構成され、物体に影が存在するか否かに基づく判定結果を出力するように構成される。
【００４９】
このような構成によれば、撮像画像中に認識対象となる物体の影が存在するか否かの判定結果を出力するので、物体の認識精度を報知することができる。また、物体に影の領域が含まれる場合に影の領域を除去して再度物体の認識をするので、精度よく物体を認識することができる。よって、物体の認識結果を利用した制御に悪影響を及ぼすことを抑制できる物体の影による悪影響を抑制することができる。
【００５０】
（１ｂ）物体認識装置１０は、判定結果として、物体の認識精度を示す評価値、及び物体の認識結果を出力するように構成される。
このような構成によれば、物体の認識精度を示す評価値、及び物体の認識結果を出力するので、物体の認識結果を利用する側の任意の装置が、物体の認識結果を利用するか否かを、評価値を用いて判断しやすくすることができる。
【００５１】
（１ｃ）物体認識装置１０は、物体に影が存在する場合に、撮像画像中から影の領域を除去した領域から物体を認識するように構成される。
このような構成によれば、物体に影が存在する場合に、影の領域を除去した領域から物体を認識するので、影による悪影響を抑制することができる。
【００５２】
（１ｄ）物体認識装置１０は、撮像画像中における物体を含む領域内に、複数の画素を含む少なくとも１つの影判定領域５２、輝度判定領域５３を設定するように構成され、影判定領域５２、輝度判定領域５３に含まれる複数の画素の輝度値を輝度値毎に投票した輝度ヒストグラムを生成するように構成される。また、物体認識装置１０は、輝度ヒストグラムに基づく特徴ベクトルを生成するように構成され、特徴ベクトルと予め準備された基準ベクトルとを比較することによって物体に影が存在するか否かを判定するように構成される。
【００５３】
このような構成によれば、輝度ヒストグラムに基づく特徴ベクトルと予め準備された基準ベクトルとを比較することによって物体に影が存在するか否かを判定するので、輝度全体の分布に従って影の存在を判定することができる。よって、精度よく影の存在の有無を判定することができる。
【００５４】
（１ｅ）物体認識装置１０は、ヒストグラムを構成する各輝度値の投票数同士を乗算することで特徴ベクトルを生成する。
このような構成によれば、ヒストグラムを構成する各輝度値の投票数同士を乗算することによって特徴ベクトルの次元数を増加させた上で基準ベクトルと比較することができる。よって、より精度よく影の存在の有無を判定することができる。
【００５５】
（１ｆ）物体認識装置１０は、撮像画像から物体が存在する領域を表す検知枠５１を設定するように構成され、検知枠５１から物体を認識するように構成される。また、物体認識装置１０は、検知枠５１の下部に少なくとも１つの影判定領域５２、輝度判定領域５３を設定するように構成され、影判定領域５２、輝度判定領域５３に影が存在する場合に、検知枠５１から影が存在する影判定領域５２、輝度判定領域５３を除去し、影判定領域５２、輝度判定領域５３が除去された検知枠５１から物体を認識するように構成される。  
【００５６】
このような構成によれば、影が存在する影判定領域５２、輝度判定領域５３を除去した検知枠５１から物体を認識するので、物体を認識する際に影による悪影響を抑制することができる。
【００５７】
［２．第２実施形態］
［２−１．第１実施形態との相違点］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
【００５８】
前述した第１実施形態では、リボン状の輝度判定領域５３を設定し、影領域を判定した。これに対し、第２実施形態では、１ライン毎に輝度判定領域５３を設定し、影領域の判定を行う点で、第１実施形態と相違する。
【００５９】
［２−２．処理］
次に、第２実施形態の物体認識装置１０が、図９に示す第１実施形態の補正・評価処理に代えて実行する第２実施形態の補正・評価処理について、図１２のフローチャートを用いて説明する。なお、図１２におけるＳ１１０〜Ｓ１３０の処理、及びＳ１７０〜Ｓ２００の処理は、図９におけるＳ１１０〜Ｓ１３０の処理、及びＳ１７０〜Ｓ２００の処理と同様であるため、説明を一部省略している。
【００６０】
第２実施形態の補正・評価処理では、Ｓ１２０とＳ１３０との間で、Ｓ３１０の処理を実施する。物体認識装置１０は、Ｓ３１０で、影の輝度値Ｙに±ωのマージンを加えた影の輝度範囲Ｘを算出する。
【００６１】
そして、Ｓ１３０に続いて、Ｓ３２０で、物体認識装置１０は、水平方向Ｖｊ毎に輝度判定領域５３を設定する。水平方向Ｖｊは、検知枠５１を構成する複数の画素のうちの、上下方向の座標が同じ画素であって、水平方向に並ぶ全ての画素を示す。つまり、水平方向に並ぶ複数の画素を１ライン毎に輝度判定領域５３に設定する。
【００６２】
続いて、Ｓ３３０で、物体認識装置１０は、水平方向Ｖｊ毎に輝度ヒストグラムを算出する。続いて、Ｓ３４０で、物体認識装置１０は、輝度範囲Ｘ内にて規定値以上の度数を持つ水平方向Ｖｊを、影位置Ｖｊとして算出する。
【００６３】
この処理では、複数の水平方向Ｖｊ毎に、影位置Ｖｊと影位置Ｖｊでないものに分類される。なお、ここでの規定値は、予め、影を含む画像に対して１ライン毎に輝度値ヒストグラムを算出することによって、学習により或いは経験的に設定される。
【００６４】
続いて、Ｓ３５０で、物体認識装置１０は、影位置Ｖｊの中で検知枠５１の上端に最も近い位置Ｖｊを補正位置に設定する。
続いて、Ｓ３６０で、物体認識装置１０は、補正位置まで検知枠５１の下端が上方に移動するように検知枠５１の下端の位置を補正する。つまり、検知枠５１から影位置Ｖｊである輝度判定領域５３を除去する。この処理が終了すると、図１２の補正・評価処理を終了する。
【００６５】
［２−３．効果］
以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１ａ）を奏し、さらに、以下の効果を奏する。
【００６６】
（２ａ）物体認識装置１０は、Ｓ３２０で、検知枠５１を構成する水平方向の１列分の画素毎に、複数の輝度判定領域５３を設定するように構成され、Ｓ３６０で、影が存在する複数の輝度判定領域５３のうちの最も上部に位置する輝度判定領域５３が検知枠５１の下端となるように、複数の輝度判定領域５３を除去し、輝度判定領域５３が除去された検知枠５１から物体を認識するように構成される。
【００６７】
このような構成によれば、影が存在する輝度判定領域５３を除去した検知枠５１から物体を認識するので、物体を認識する際に影による悪影響を抑制することができる。
［３．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【００６８】
（３ａ）上記実施形態では、影領域を除外するように検知枠５１を補正したが、これに限定されるものではない。例えば、検知枠５１を補正することなく、影の存在の程度に応じて設定される評価値を出力する構成としてもよい。
【００６９】
このようにする場合、上述した図９、図１２に示す補正・評価処理に換えて、例えば、図１３に示す、その他の実施形態における補正・評価処理を実施するとよい。
その他の実施形態における補正・評価処理では、図１３に示すように、図９に示した第１実施形態の補正・評価処理に対して、Ｓ１６０，Ｓ１７０，Ｓ１８０，Ｓ２００の処理を省略するとよい。また、Ｓ１５０とＳ１９０との間で、物体認識装置１０は、Ｓ４１０の処理を実施するとよい。
【００７０】
この場合、物体認識装置１０は、Ｓ４１０で、影領域が大きいほど、評価値を大きく下げるように構成するとよい。例えば、図１３に示す例では、検知枠５１の補正は行わないが、第１実施形態のように検知枠５１を補正したと仮定した場合と同様に評価値を減点するよい。
【００７１】
このような構成によれば、物体の認識結果に影の影響があるか否かを物体の認識結果を利用する装置に通知することができる。
（３ｂ）上記実施形態では、影検知処理において、輝度値同士を乗算して多次元化された特徴ベクトルを用いて影の存在の有無を判定したが、これに限られない。例えば、輝度ヒストグラムそのものから得られる特徴ベクトルを用いて影の存在の有無を判定してもよい。
【００７２】
（３ｃ）上記実施形態では、影検知処理にて影判定領域５２から影の存在の有無を判定し、補正・評価処理にて、影判定領域５２から影の存在の有無を判定する手法とは異なる手法にて輝度判定領域５３から影の存在の有無を判定した。しかし、これらは同様の手法で影の存在の有無を判定してもよい。
【００７３】
すなわち、影検知処理で、補正・評価処理にて用いた手法を採用してもよいし、補正・評価処理で、影検知処理にて用いた手法を採用してもよい。また、影判定領域５２から影の存在の有無を判定する処理、及び輝度判定領域５３から影の存在の有無を判定する処理のうちの少なくとも一方のみを実施してもよい。
【００７４】
（３ｄ）上記実施形態では、物体に影が存在する場合に、検知枠を補正し、補正後の検知枠を用いた物体の認識を行うことによって、物体の認識結果を補正するように構成したが、この構成に限られない。例えば、影の有無に応じて異なる手法で物体の認識を行うようにしてもよい。
【００７５】
このように構成する場合、物体領域（検知枠５１）を設定するように構成された物体設定部、をさらに備え、影判定部は、物体領域に影が存在するか否かを判定するように構成され、物体認識部は、物体領域に影が存在する場合と影が存在しない場合とで、異なる手法で物体の認識を行うように構成されてもよい。
【００７６】
異なる手法で物体の認識としては、例えば、オプティカルフローやパターンマッチングに用いる辞書を複数準備しておき、物体領域に影が存在する場合と影が存在しない場合とで辞書を変更する構成等を採用してもよい。
【００７７】
このような構成によれば、物体の認識を行う構成を簡素化することができる。
（３ｅ）上記の実施形態では、リボン状、或いは１ライン毎に、影判定領域５２及び輝度判定領域５３を設定したが、例えば、縦４画素、横４画素の領域、１画素のみの領域等、任意の大きさの領域を影判定領域５２または輝度判定領域５３に設定してもよい。
【００７８】
（３ｆ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【００７９】
（３ｇ）上述した車両制御システム１の他、当該車両制御システム１の構成要素となる物体認識装置１０等の装置、当該車両制御システム１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、物体認識方法など、種々の形態で本開示を実現することもできる。
【００８０】
［４．実施形態の構成と本開示の構成との関係］
上記実施形態において、物体認識装置１０が実施する処理のうちのＳ１０の処理は本開示での画像取得部に相当し、Ｓ２０の処理は本開示での物体設定部に相当する。また、Ｓ４０の処理は本開示での物体認識部に相当し、Ｓ６０〜Ｓ９０、Ｓ１４０〜Ｓ１５０、Ｓ３２０〜Ｓ３５０の処理は本開示での影判定部に相当する。
【００８１】
また、Ｓ１６０，Ｓ１８０，Ｓ２００，Ｓ３６０，Ｓ４１０の処理、及び制御情報出力部１９は本開示での出力部に相当し、Ｓ１６０，Ｓ３６０の処理は本開示での補正部に相当する。また、上記実施形態において、検知枠５１は本開示での物体領域に相当し、影判定領域５２、輝度判定領域５３は本開示での判定領域に相当する。
【符号の説明】
【００８２】
１…車両制御システム、１０…物体認識装置、１１…ＣＰＵ、１２…メモリ、１５…物体認識部、１６…影検出部、１７…補正処理部、１８…表示処理部、１９…制御情報出力部、２１…撮像部、２２…辞書格納部、２６…表示部、２７…車両制御部、４１…物体領域、４２…影領域、５１…検知枠、５２…影判定領域、５３…輝度判定領域。
【図１】
2020035194.tif 000003
【図２】
2020035194.tif 000004
【図３】
2020035194.tif 000005
【図４】
2020035194.tif 000006
【図５】
2020035194.tif 000007
【図６】
2020035194.tif 000008
【図７】
2020035194.tif 000009
【図８】
2020035194.tif 000010
【図９】
2020035194.tif 000011
【図１０】
2020035194.tif 000012
【図１１】
2020035194.tif 000013
【図１２】
2020035194.tif 000014
【図１３】
2020035194.tif 000015