(57)【要約】【課題】車両の周辺にいる歩行者を迅速に検出する物体認識装置、物体認識方法及び物体認識プログラムを提供する【解決手段】物体認識装置２０は、自車両の進行方向を撮影した画像を取得する画像取得部２１と、取得した画像に対して、認識辞書を用いて取得した画像に撮影されている被写体を認識する認識処理部２２とを備え、認識処理部２２は、取得した画像に対して車両認識辞書を用いて他車両を検出し、検出した他車両の近傍に優先認識領域を設定し、優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する。【選択図】図１
2017167608.tif 000002
【特許請求の範囲】
【請求項１】
自車両の進行方向を撮影した画像を取得する画像取得部と、
前記取得した画像に対して、認識辞書を用いて前記取得した画像に撮影されている被写体を認識する認識処理部とを備え、
前記認識処理部は、
前記取得した画像に対して車両認識辞書を用いて他車両を検出し、
前記検出した他車両の近傍に優先認識領域を設定し、前記優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する
物体認識装置。
【請求項２】
前記認識処理部は、前記優先認識領域を設定するときに、
前記検出した他車両が停止車両であるか否かを判定し、
停止車両であると判定した他車両の近傍に優先認識領域を設定する
請求項１記載の物体認識装置。
【請求項３】
前記認識処理部は、前記優先認識領域を設定するときに、
前記検出した他車両の遠方端部を特定し、
前記特定した遠方端部の近傍に優先認識領域を設定する
請求項１又は請求項２記載の物体認識装置。
【請求項４】
前記認識処理部は、前記優先認識領域を設定するときに、
前記自車両の走行車線を検出し、
前記走行車線と前記検出した他車両との位置関係を検出し、
前記検出した他車両が、前記走行車線の路側に位置しているときに、前記検出した他車両の近傍に優先認識領域を設定する、
請求項１乃至請求項３のいずれか１項記載の物体認識装置。
【請求項５】
前記認識処理部は、前記優先認識領域を設定するときに、
前記検出した他車両までの距離を算出し、
前記算出した距離に応じて、前記他車両の近傍又は前記他車両の遠方端部に優先認識領域を設定する、
請求項１乃至請求項４のいずれか１項記載の物体認識装置。
【請求項６】
自車両の進行方向を撮影した画像を取得する画像取得ステップと、
前記取得した画像に対して、認識辞書を用いて前記取得した画像に撮影されている被写体を認識する認識処理ステップとを有し、
前記認識処理ステップでは、
前記取得した画像に対して車両認識辞書を用いて他車両を検出し、
前記検出した他車両の近傍に優先認識領域を設定し、前記優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する
物体認識方法。
【請求項７】
コンピュータに、
自車両の進行方向を撮影した画像を取得する画像取得手順と、
前記取得した画像に対して、認識辞書を用いて前記取得した画像に撮影されている被写体を認識する認識処理手順とを実行させるためのプログラムであって、
前記認識処理手順では、
前記取得した画像に対して車両認識辞書を用いて他車両を検出し、
前記検出した他車両の近傍に優先認識領域を設定し、前記優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する
物体認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は物体認識装置、物体認識方法及び物体認識プログラムに関する。
【背景技術】
【０００２】
車両に搭載したカメラの画像に基づいて車両周辺の状況を認識し、運転者に警告を通知する安全支援装置が普及している。そのような安全支援装置は、カメラが撮影した画像に対して複数の認識辞書を用い、自車両周辺の他車両や歩行者などを、それらがどのような形態であっても認識するようにしている。
例えば、特許文献１には、移動体検出装置において、歩行者の上半身、横半身をそれぞれパターン化した上半身認識辞書、横半身認識辞書を用いて、車両に隠れた歩行者を検出することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１３５０３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、背景技術に係る移動体検出装置では、画像から特徴点を抽出し、そのオプティカルフローに基づいて特徴点をグループ化し、識別領域を設定するといった時間のかかる処理をしており、駐車車両の背後から飛び出してくるような歩行者を迅速に検出することができていなかった。
本発明は、このような問題を解決するためになされたものであり、他車両の周辺にいる歩行者を迅速に検出することができる物体認識装置、物体認識方法及び物体認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
そこで、本発明は、自車両の進行方向を撮影した画像を取得する画像取得部と、取得した画像に対して、認識辞書を用いて取得した画像に撮影されている被写体を認識する認識処理部とを備え、認識処理部は、取得した画像に対して車両認識辞書を用いて他車両を検出し、検出した他車両の近傍に優先認識領域を設定し、優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する物体認識装置を提供する。
【０００６】
また、本発明は、自車両の進行方向を撮影した画像を取得する画像取得ステップと、取得した画像に対して、認識辞書を用いて取得した画像に撮影されている被写体を認識する認識処理ステップとを有し、認識処理ステップでは、取得した画像に対して車両認識辞書を用いて他車両を検出し、検出した他車両の近傍に優先認識領域を設定し、優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する物体認識方法を提供する。
【発明の効果】
【０００７】
本発明により、他車両の周辺にいる歩行者を迅速に検出する物体認識装置、物体認識方法及び物体認識プログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る物体認識システム１の概略構成を示すブロック図である。
【図２】実施の形態１に係る認識方法の処理手順を示すフローチャートである。
【図３】実施の形態１に係る認識対象画像の例を示す図である。
【図４】実施の形態１に係る優先認識領域を示す図である。
【図５】実施の形態２に係る物体認識方法の処理手順を示すフローチャートである。
【図６】実施の形態２に係る停止車両の判定処理を説明するための図である。
【図７】実施の形態３に係る物体認識方法の処理手順を示すフローチャートである。
【図８】実施の形態３に係る遠方端部及び優先認識領域を示す図である。
【図９】実施の形態３に係る警告エリアを説明するための図である。
【図１０】実施の形態４に係る物体認識方法の処理手順を示すフローチャートである。
【図１１】実施の形態５に係る物体認識方法の処理手順を示すフローチャートである。
【図１２】実施の形態５に係る優先認識領域を示す図である。
【図１３】実施の形態５に係る優先認識領域を示す別の図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して各実施の形態に係る物体認識システム及び物体認識方法について説明する。
なお、本明細書の「画像」には、静止画像及び動画像が含まれる。
【００１０】
（実施の形態１）
本実施の形態１に係る物体認識システム又は物体認識方法は、自車両の進行方向を撮影した画像から他車両を検出し、当該他車両の近傍に優先認識領域を設定して歩行者を検出するもので、他車両の周辺にいる歩行者を迅速に検出できるものである。
【００１１】
まず、本実施の形態１に係る物体認識システムの構成について説明する。
図１は、本実施の形態１に係る物体認識システム１の概略構成を示すブロック図である。
物体認識システム１は、主に車両で利用されるシステムであり、前方カメラ１０、物体認識装置２０、辞書データ記憶装置３０、表示装置４０などを備える。
【００１２】
前方カメラ１０は、自車両の進行方向の画像を撮像し、当該画像を物体認識装置２０に入力する。前方カメラ１０は、単眼カメラでもステレオカメラでも良く、後述するように対象とする被写体との距離を算出するときの算出方法により、どちらかを選択して設置する。また、前方カメラ１０は、可視光の画像を撮影するカメラであるが、赤外光を検出可能なカメラであっても良いし、可視光の画像を撮影するカメラと赤外光を検出可能なカメラとの組み合わせであっても良い。
【００１３】
物体認識装置２０は、前方カメラ１０が撮像した画像を用いて、他車両及び歩行者を認識し、必要に応じて、警告信号を表示装置４０などに出力する。物体認識装置２０は、例えば、前方カメラ１０が撮像した画像のフレーム毎又は数フレーム毎に他車両及び歩行者を認識する。このために、物体認識装置２０は、画像取得部２１、認識処理部２２、表示制御部２３などを有する。
【００１４】
画像取得部２１は、前方カメラ１０が撮像した画像を入力し、各種の画像処理を施して、認識処理部２２に出力する。
認識処理部２２は、入力した画像に対して、辞書データ記憶装置３０に記憶した車両認識辞書、歩行者認識辞書を用いて、他車両、歩行者を認識し、必要に応じて運転者に警告するように、表示制御部２３に信号を出力する。
表示制御部２３は、表示装置４０で警告画像を表示したり、警告音声を出力したりするための制御を行う。
【００１５】
辞書データ記憶装置３０は、車両認識辞書、歩行者認識辞書などを記憶する。歩行者認識辞書には、全身認識辞書、上半身認識辞書、横半身認識辞書などが含まれる。
全身認識辞書は、歩行者の全身画像を機械学習して作成したものである。また、上半身認識辞書、横半身認識辞書は、障害物の存在によって歩行者の下半身又は横半身が隠れている画像、すなわち、オクルージョンのある画像を機械学習して作成したものである。なお、上半身認識辞書、横半身認識辞書などは、障害物有歩行者認識辞書として１つの辞書にまとめても良い。
【００１６】
また、物体認識システム１は、辞書データ記憶装置３０を備えていなくても良い。このとき、辞書データ記憶装置３０は、物体認識システム１が利用可能な通信インターフェースを用いて接続される外部サーバであっても良い。この場合に、辞書データ記憶装置３０を、辞書データ参照装置として構成することもできる。
表示装置４０は、運転者に対して、自車両の進行方向に他車両、歩行者などが存在する旨の警告を画像又は音声で通知する。
【００１７】
なお、物体認識装置２０が実現する各構成要素は、例えば、コンピュータである物体認識装置２０が備える演算装置（図示せず）の制御によって、プログラムを実行することによって実現できる。より具体的には、物体認識装置２０は、記憶部（図示せず）に格納したプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。
【００１８】
また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。
【００１９】
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、物体認識装置２０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。
【００２０】
非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００２１】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって物体認識装置２０に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は、無線通信路を介して、プログラムを物体認識装置２０に供給できる。
【００２２】
次に、本実施の形態１に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
図２は、本実施の形態１に係る認識方法の処理手順を示すフローチャートである。
物体認識システム１が動作を開始すると、前方カメラ１０が自車両の進行方向の画像を撮像し、画像取得部２１が当該画像を認識対象画像として取得する（ステップＳ１０）。
【００２３】
図３は、本実施の形態１に係る認識対象画像の例を示す図である。また、図３以降に示す認識対象画像の例は、自車両が左車線を走行しているときにその進行方向を撮像したものである。
画像には、自車両の走行車線の前方左側に駐車又は停車している、すなわち、停止している他車両Ａ、反対車線を走行している他車両Ｂ、道路左側の建造物やその先の並木などが写っている。また、他車両Ａの背後には、道路を横断しかけている歩行者が写っている。
【００２４】
次に、認識処理部２２が認識対象画像に対して、辞書データ記憶装置３０に記憶した車両認識辞書を用いて、他車両の認識を行う（ステップＳ２０）。このとき、認識処理部２２は、認識対象画像の全域において他車両を認識しても良いし、認識対象画像の上下の領域を除いた中央の領域のみにおいて他車両を認識しても良い。ここでは、認識処理部２２は、図３に示した画像の他車両Ａ、Ｂを検出する。
【００２５】
次に、認識処理部２２は、ステップＳ２０で他車両を検出したか判定する（ステップＳ３０）。
認識処理部２２が他車両を検出したとき（ステップＳ３０のＹｅｓ）は、検出した他車両の近傍（周囲）に、歩行者を認識するときに、認識対象画像の他の領域よりも優先して認識するための優先認識領域を設定する（ステップＳ４０）。ここで、優先認識領域を設定する他車両の近傍とは、他車両の周辺にいる、又は、他車両に隠れているような歩行者を認識するための、必要十分な大きさの範囲を指す。
【００２６】
図４は、本実施の形態１に係る優先認識領域を示す図である。
認識処理部２２は、検出した他車両Ａ、Ｂを囲む領域を優先認識領域として設定する。本実施の形態１に係る物体認識方法では、認識処理部２２は、他車両が走行中であっても、停止中であっても、当該他車両の近傍に優先認識領域を設定する。
【００２７】
次に、認識処理部２２は設定した優先認識領域に対して、辞書データ記憶装置３０に記憶した歩行者認識辞書を用いて、歩行者を認識する（ステップＳ５０）。これにより、認識対象画像の全域に対して認識するときに比べて、他車両Ａの周辺にいる歩行者を、より迅速に認識することができる。もちろん、認識処理部２２は、優先認識領域に対して歩行者を認識した後に、他の領域に対しても歩行者を認識しても良い。ここでは、認識処理部２２は、図４に示した他車両Ａの背後から道路を横断しかけている歩行者を、より迅速に検出することができる。
【００２８】
次に、認識処理部２２はステップＳ５０で歩行者を検出したかを判定する（ステップＳ６０）。
認識処理部２２が歩行者を検出したとき（ステップＳ６０のＹｅｓ）は、表示制御部２３が表示部４０を介して、運転者に優先認識領域で歩行者を検出したことを通知する（ステップＳ７０）。
【００２９】
そして、物体認識装置２０は、物体認識方法を終了するか判定し（ステップＳ８０）、終了すると判定したとき（ステップＳ８０のＹｅｓ）は、処理を終了する。
なお、認識処理部２２が他車両を検出しなかったとき（ステップＳ３０のＮｏ）、歩行者を検出しなかったとき（ステップＳ６０のＮｏ）、又は、物体認識装置２０が物体認識方法を終了しないと判定したとき（ステップＳ８０のＮｏ）は、ステップＳ１０（又は、ステップＳ２０）に戻る。
【００３０】
以上、説明したように、本実施の形態１に係る物体認識装置２０は、自車両の進行方向を撮影した画像を取得する画像取得部２１と、取得した画像に対して、認識辞書を用いて取得した画像に撮影されている被写体を認識する認識処理部２２とを備え、認識処理部２２は、取得した画像に対して車両認識辞書を用いて他車両Ａ、Ｂを検出し、検出した他車両Ａ、Ｂの近傍に優先認識領域を設定し、優先認識領域に対して歩行者認識辞書を用いて歩行者を認識するものである。
このような構成により、他車両の周辺にいる歩行者を迅速に検出することができる。
【００３１】
また、本実施の形態１に係る物体認識方法は、自車両の進行方向を撮影した画像を取得する画像取得ステップＳ１０と、取得した画像に対して、認識辞書を用いて取得した画像に撮影されている被写体を認識する認識処理ステップＳ２０〜Ｓ６０とを有し、認識処理ステップＳ２０〜Ｓ６０では、取得した画像に対して車両認識辞書を用いて他車両Ａ、Ｂを検出し（ステップＳ２０、３０）、検出した他車両Ａ、Ｂの近傍に優先認識領域を設定し（ステップＳ４０）、優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する（ステップＳ５０、６０）ものである。
【００３２】
また、本実施の形態１に係る物体認識プログラムは、コンピュータに、自車両の進行方向を撮影した画像を取得する画像取得手順（ステップＳ１０）と、取得した画像に対して、認識辞書を用いて取得した画像に撮影されている被写体を認識する認識処理手順（ステップＳ２０〜Ｓ６０）とを実行させるためのプログラムであって、認識処理手順（ステップＳ２０〜Ｓ６０）では、取得した画像に対して車両認識辞書を用いて他車両Ａ、Ｂを検出し（ステップＳ２０、３０）、検出した他車両Ａ、Ｂの近傍に優先認識領域を設定し（ステップＳ４０）、優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する（ステップＳ５０、６０）ものである。
【００３３】
（実施の形態２）
実施の形態１に係る物体認識システム又は物体認識方法では、検出した他車両が停止中であっても、走行中であっても、その近傍に優先認識領域を設定したが、走行中の車両よりも駐車中の車両などの停止している車両の方が、その周辺から歩行者が飛び出してくることが多いと考えられることから、本実施の形態２に係る物体認識システム又は物体認識方法では、検出した他車両が停止中であったときに、その近傍に優先認識領域を設定するものである。
なお、本実施の形態２に係る物体認識システムは、実施の形態１に係るものと同様で良く、ここでは、その図示及び説明を省略する。
【００３４】
本実施の形態２に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
図５は、本実施の形態２に係る物体認識方法の処理手順を示すフローチャートである。
ステップＳ１０〜Ｓ３０及びステップＳ５０〜Ｓ８０の処理は実施の形態１に係るものと同様で良く、ここでは、その説明を省略する。
【００３５】
認識処理部２２は、ステップＳ２０で他車両を検出したとき（ステップＳ３０のＹｅｓ）に、当該他車両が停止車両であるか判定する（ステップＳ３１）。なお、停止車両には、路側などに停止している車両に加えて、信号や渋滞などで一時的に停止している車両も含まれる。
ここで、停止車両の判定処理について説明する。
認識処理部２２は、画像下端から画像中の注目画素までの画素数と、自車両から注目画素における被写体までの実際の距離とを対応付けた距離テーブルをあらかじめ保持している。この距離テーブルは、例えば、カメラの取り付け位置や角度などによりキャリブレーションを行って用意する。
【００３６】
そして、認識処理部２２は、検出した他車両の画像上の位置と、距離テーブルとから、当該画像撮像時の自車両から当該他車両までの距離を算出する。
また、認識処理部２２は、ＣＡＮ（Control Area Network）情報や位置情報の履歴から自車両の走行スピードを取得する。
そして、認識処理部２２は、複数フレームについて自車両から当該他車両までの距離を算出し、複数フレームの間の距離の変化が自車両の走行距離に相当するものであるとき、当該他車両を停止車両であると判定する。
【００３７】
図６は、本実施の形態２に係る停止車両の判定処理を説明するための図である。
認識処理部２２は、画像撮像時の自車両から他車両Ａまでの距離を、時刻ｔにおいて１００ｍであり、時刻ｔ＋０．５ｓにおいて９３ｍであると算出する。また、ＣＡＮ情報が示す自車両の速度は５０ｋｍ／ｈであり、自車両が１秒間に進む距離は約１４ｍであると算出する。
【００３８】
このとき、認識処理部２２は、時刻ｔ〜時刻ｔ＋０．５ｓの０．５秒間における距離の変化７ｍが、自車両の０．５秒間の走行距離に相当することから、他車両Ａを停止車両であると判断する。
そして、認識処理部２２は、検出した他車両が停止車両であるとき（ステップＳ３１のＹｅｓ）は、当該停止車両の近傍に優先認識領域を設定し（ステップＳ４０）、歩行者を認識する（ステップＳ５０）。また、検出した他車両が停止車両でなかったとき（ステップＳ３１のＮｏ）はステップＳ１０（又は、ステップＳ２０）に戻る。
【００３９】
以上、説明したように、本実施の形態２に係る物体認識装置２０は、認識処理部２２が、優先認識領域を設定するときに、検出した他車両Ａ、Ｂが停止車両であるか否かを判定し、停止車両であると判定した他車両Ａの近傍に優先認識領域を設定することも可能である。
このような構成により、停止中の他車両の周辺にいる歩行者をより迅速に検出することができる。
【００４０】
（実施の形態３）
実施の形態１、２に係る物体認識システム又は物体認識方法では、検出した他車両の近傍に優先認識領域を設定したが、一般に、他車両の手前の歩行者よりも他車両の背後の歩行者の方が運転者には見難いことから、本実施の形態３に係る物体認識システム又は物体認識方法では、検出した他車両の遠方端部、すなわち、他車両の背後に近い側に優先認識領域を設定するものである。
なお、本実施の形態３に係る物体認識システムも、実施の形態１に係るものと同様で良く、ここでは、その図示及び説明を省略する。
【００４１】
本実施の形態３に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
図７は、本実施の形態３に係る物体認識方法の処理手順を示すフローチャートである。
ステップＳ１０〜Ｓ３０及びステップＳ６０〜Ｓ８０の処理は実施の形態１に係るものと同様で良く、ここでは、その説明を省略する。
【００４２】
認識処理部２２はステップＳ２０で他車両を検出したとき（ステップＳ３０のＹｅｓ）に、当該他車両の遠方端部を特定する（ステップＳ３２）。
ここで、他車両の遠方端部の特定処理について説明する。
前方カメラ１０が単眼カメラの場合には、ＳｆＭ（Structure from Motion）法を用いる。認識処理部２２は、他車両を検出した後の複数の画像から、当該他車両に係る複数の特徴点の動きをトラッキングし、当該他車両の３次元形状を抽出し、自車両から遠い方の端部を求めることができる。
【００４３】
また、前方カメラ１０がステレオカメラの場合には、その画像の奥行き情報を用いる。認識処理部２２は、１回の撮像による奥行き情報からの当該他車両の３次元形状を抽出し、自車両から遠い方の端部を求めることができる。
次に、認識処理部２２は、検出した他車両の特定した遠方端部に優先認識領域を設定する（ステップＳ４０）。
図８は、本実施の形態３に係る遠方端部及び優先認識領域を示す図である。
認識処理部２２は、検出した他車両Ａ、Ｂの遠方端部、すなわち、自車両の走行車線の他車両Ａの前方右側と、反対車線の他車両Ｂの後方右側とにそれぞれ優先認識領域を設定する。
【００４４】
次に、認識処理部２２は、警告エリアを拡大する（ステップＳ４１）。
図９は、本実施の形態３に係る警告エリアを説明するための図である。
認識処理部２２は、自車両と物体との衝突を未然に防ぐために、通常の走行状態では、その進行方向に通常警告エリアを設定し、衝突の可能性がある物体（他車両、歩行者など）が通常警告エリアに入ったときに、運転者に警告を通知するようにしている。通常警告エリアの範囲は、自車両の速度、天候（路面の状況）などに基づいて算出する。
【００４５】
そして、認識処理部２２は、他車両の遠方端部を検出したとき、他車両が停止車両であったときなど、物体との衝突の可能性が高い状態に入った所定のタイミングで、警告エリアを通常警告エリアから拡大警告エリアにまで拡大する。拡大警告エリアの範囲は、例えば、他車両の遠方端部にまで拡大される。
また、認識処理部２２は、警告エリアを拡大するときに、検出した他車両の端部が危険エリアであるとして、運転者に警告しても良い。
そして、認識処理部２２は、歩行者を認識して（ステップＳ５０）、以降の処理を進める。
【００４６】
以上、説明したように、本実施の形態３に係る物体認識装置２０は、認識処理部２２が、優先認識領域を設定するときに、検出した他車両Ａ、Ｂの遠方端部を特定し、特定した遠方端部の近傍に優先認識領域を設定することも可能である。
このような構成により、他車両の背後にいる歩行者をより迅速に検出することができる。
【００４７】
（実施の形態４）
実施の形態２に係る物体認識システム又は物体認識方法は、検出した他車両が停止車両であったときに、その近傍に優先認識領域を設定するものであったが、本実施の形態４に係る物体認識システム又は物体認識方法は、自車両の走行車線の道路端に停止している他車両の近傍に優先認識領域を設定するものである。
なお、本実施の形態４に係る物体認識システムも、実施の形態１に係るものと同様で良く、ここでは、その図示及び説明を省略する。
【００４８】
本実施の形態４に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
図１０は、本実施の形態４に係る物体認識方法の処理手順を示すフローチャートである。
ステップＳ１０〜Ｓ３０及びステップＳ５０〜Ｓ８０の処理は実施の形態１に係るものと同様で良く、ここでは、その説明を省略する。
【００４９】
認識処理部２２は、ステップＳ２０で他車両を検出したとき（ステップＳ３０のＹｅｓ）に、当該他車両が自車両の走行車線に停止している他車両であるか判定する（ステップＳ３３）。具体的には、認識処理部２２は自車両の走行車線を、画像認識による白線検出、車線検出などにより特定し、特定した走行車線と検出した他車両との位置関係を検出して、走行車線の路側で停止している他車両を停止車両とする。
【００５０】
そして、認識処理部２２は、検出した他車両が走行車線の路側で停止している車両であるとき（ステップＳ３３のＹｅｓ）は、当該他車両の近傍に優先認識領域を設定し（ステップＳ４０）、歩行者を認識する（ステップＳ５０）。また、検出した他車両が走行車線の路側で停止している車両でなかったとき（ステップＳ３３のＮｏ）はステップＳ１０（又は、ステップＳ２０）に戻る。
【００５１】
以上、説明したように、本実施の形態４に係る物体認識装置２０は、認識処理部２２は、優先認識領域を設定するときに、自車両の走行車線を検出し走行車線と検出した他車両Ａ、Ｂとの位置関係を検出し、検出した他車両Ａが、走行車線の路側に位置しているときに、検出した他車両Ａの近傍に優先認識領域を設定することも可能である。
このような構成により、停止中の他車両の周辺にいる歩行者をより迅速に検出することができる。
【００５２】
（実施の形態５）
実施の形態１〜４に係る物体認識システム又は物体認識方法では、検出した他車両の近傍又は遠方端部のいずれかに優先認識領域を設定したが、走行状況などに対応して、より迅速に歩行者を検出するために、本実施の形態５に係る物体認識システム又は物体認識方法では、自車両と検出した他車両との距離に応じて、検出した他車両の近傍又は遠方端部のいずれかに優先認識領域を設定するものである。
なお、本実施の形態５に係る物体認識システムも、実施の形態１に係るものと同様で良く、ここでは、その図示及び説明を省略する。
【００５３】
本実施の形態５に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
図１１は、本実施の形態５に係る物体認識方法の処理手順を示すフローチャートである。
ステップＳ１０〜Ｓ３０及びステップＳ５０〜Ｓ８０の処理は実施の形態１に係るものと同様で良く、ここでは、その図示及び説明を省略する。
【００５４】
認識処理部２２は、ステップＳ２０で他車両を検出したとき（ステップＳ３０のＹｅｓ）に、当該他車両との距離がα以上であるか判定する（ステップＳ４２）。
検出した他車両との距離がα以上であるとき（ステップＳ４２のＹｅｓ）、すなわち、検出した他車両との距離が十分に離れているときは、ステップＳ１０（又は、ステップＳ２０）に戻る。
【００５５】
検出した他車両との距離がα以上でないとき（ステップＳ４２のＮｏ）は、認識処理部２２は、当該他車両との距離がβ以上、α未満であるか判定する（ステップＳ４３）。
検出した他車両との距離がβ以上、α未満であるとき（ステップＳ４３のＹｅｓ）、すなわち、検出した他車両との距離がある程度離れているときは、認識処理部２２は、当該他車両の近傍に優先認識領域を設定する（ステップＳ４４）。
【００５６】
図１２は、本実施の形態５に係る優先認識領域を示す図である。
検出した他車両Ａ、Ｂとの距離が、例えば、２０ｍ以上、５０ｍ未満であり、自車両と他車両Ａ、Ｂとがある程度離れているので、認識処理部２２は、検出した他車両Ａ、Ｂの近傍に優先認識領域を設定している。
また、検出した他車両との距離がβ以上、α未満でないとき（ステップＳ４３のＮｏ）、すなわち、検出した他車両との距離がβ未満で、当該他車両と接近しているときは、認識処理部２２は、当該他車両の遠方端部に優先認識領域を設定する（ステップＳ４５）。
【００５７】
図１３は、本実施の形態５に係る優先認識領域を示す別の図である。
検出した他車両Ａ、Ｂとの距離が、例えば、２０ｍ未満であり、自車両と他車両Ａ、Ｂとが接近しているので、認識処理部２２は、検出した他車両Ａ、Ｂの遠方端部に優先認識領域を設定している。
そして、認識処理部２２は、設定した優先認識領域に対して、歩行者認識辞書を用いて、歩行者を認識する（ステップＳ５０）。
【００５８】
以上、説明したように、本実施の形態５に係る物体認識装置２０は、認識処理部２２は、優先認識領域を設定するときに、検出した他車両Ａ、Ｂまでの距離を算出し、算出した距離に応じて、他車両Ａ、Ｂの近傍又は他車両Ａ、Ｂの遠方端部に優先認識領域を設定することも可能である。
このような構成により、走行状況などに対応して、他車両の周辺又は背後にいる歩行者をより迅速に検出することができる。
【００５９】
なお、各実施の形態に係る物体認識システム又は物体認識方法については、いろいろな修正や変更が可能である。
例えば、物体認識システム１の構成は、上記に限られるものではなく、複数の装置、例えば、物体認識装置２０及び辞書データ記憶装置３０を一体化して、辞書データ記憶部を備えた物体認識装置としても良い。また、物体認識システム１の全ての構成を一体化して、前方カメラ、辞書データ記憶部、表示部を備えた物体認識装置としても良い。もちろん、車両認識装置、歩行者認識装置として構成しても良い。
また、車両における利用も、車両に一部又は全部が搭載されている形態に加えて、可搬可能又は後付け可能に車両に搭載されている形態があっても良い。
【００６０】
また、各実施の形態に係る物体認識システム１又は物体認識方法では、車両、歩行者などの画像を機械学習して作成した辞書を用いた画像認識を行うようにしたが、例えば、車両、歩行者などのテンプレートを用いたパターンマッチングなどの別の画像認識を行うようにしても良い。
【００６１】
また、各実施の形態について、前方カメラ１０が可視光カメラであり、画像取得部２１は認識対象画像として可視光画像を取得することを前提に説明してきたが、前方カメラ１０は赤外カメラであっても良く、この場合に、車両認識辞書及び歩行者認識辞書には、赤外画像用の認識辞書を用いれば良い。
認識処理部２２は、赤外画像に対して赤外画像用の車両認識辞書を用いて他車両を検出し、他車両を検出したときに、優先認識領域に対して赤外画像用の歩行者認識辞書を用いて歩行者を認識する。
このような形態とした場合に、夜間など可視光の光量が少ない場合であっても、本発明を適用することができ、同様の効果を得ることができる。
【００６２】
また、前方カメラ１０は、可視光に加えて赤外光も撮像可能なカメラであっても良い。この場合に、画像取得部２１は、取得した画像に対して演算によるフィルタリングを行い、可視光画像及び赤外画像を抽出する。
認識処理部２２は、可視光画像に対して車両認識辞書を用いて他車両を検出し、他車両を検出したときに、同一画像から抽出した赤外画像に対して、赤外画像用の歩行者認識辞書を用いて歩行者を認識する。
【００６３】
また、前方カメラ１０を、可視光カメラと赤外カメラとで構成しても良い。この場合に、画像取得部２１は、可視光画像及び赤外画像を取得する。
認識処理部２２は、可視光画像に対して車両認識辞書を用いて他車両を検出し、他車両を検出したときに、他車両が検出された可視光画像と同時又はほぼ同時に取得した赤外画像に対して、赤外画像用の歩行者認識辞書を用いて歩行者を認識する。
【００６４】
歩行者からは放熱があるため、赤外画像を用いることで、より適切に歩行者を認識することができる。例えば、設定した優先認識領域に、人物に類似する又は人物を模した他の物体がある場合であっても、当該他の物体と歩行者とを区別することができる。
【符号の説明】
【００６５】
１    物体認識システム
１０    前方カメラ
２０    物体認識装置
２１    画像取得部
２２    認識処理部
２３    表示制御部
３０    辞書データ記憶装置
４０    表示装置
【図１】
2017167608.tif 000003
【図２】
2017167608.tif 000004
【図３】
2017167608.tif 000005
【図４】
2017167608.tif 000006
【図５】
2017167608.tif 000007
【図６】
2017167608.tif 000008
【図７】
2017167608.tif 000009
【図８】
2017167608.tif 000010
【図９】
2017167608.tif 000011
【図１０】
2017167608.tif 000012
【図１１】
2017167608.tif 000013
【図１２】
2017167608.tif 000014
【図１３】
2017167608.tif 000015