(57)【要約】【課題】車両などの移動体を高精度に識別することができるとともに学習データを効率的に収集することができる移動体識別装置、コンピュータプログラム及び移動体識別装置の学習方法を提供する。【解決手段】特徴量抽出部４０は、部分画像特定部３０により特定された検出範囲の特徴ベクトルを算出する。識別部５０は、特徴ベクトルを入力情報として、車両の有無を含む所定の識別判定を行い、識別結果を出力する。車両存在位置判定部６０は、検出範囲において車両が識別された場合、通信部１４を介して車両から受信した車両情報に含まれる車両の位置情報に基づいて、該車両が検出範囲内に存在するか否かを判定する。学習部７０は、特徴ベクトルと車両が送信した車両情報とを用いて識別器の学習を行う。【選択図】図１
2010039705.tif 000002
【特許請求の範囲】
【請求項１】
道路を含む領域を撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する移動体識別装置であって、
移動体の位置情報を含む移動体情報を取得する移動体情報取得手段と、
撮像画像上の部分画像を特定する部分画像特定手段と、
該部分画像特定手段で特定した部分画像の特徴量を抽出する特徴量抽出手段と、
該特徴量抽出手段で抽出した特徴量を用いて移動体を識別する識別手段と、
該識別手段で移動体を識別した場合、前記移動体情報取得手段で取得した位置情報及び前記部分画像特定手段で特定した部分画像の撮像画像上の位置に基づいて、前記移動体情報取得手段で移動体情報を取得した移動体が前記部分画像に撮像されているか否かを判定する判定手段と、
該判定手段で前記移動体が撮像されていると判定した場合、前記特徴量抽出手段で抽出した特徴量及び前記移動体情報取得手段で取得した移動体情報を用いて前記識別手段に識別に用いる情報を学習させる学習手段と
を備えることを特徴とする移動体識別装置。
【請求項２】
移動体の有無を判定するための移動体識別手段を備え、
前記学習手段は、
前記特徴量抽出手段で抽出した特徴量及び前記判定手段で判定した判定結果を用いて前記移動体識別手段に識別に用いる情報を学習させるように構成してあることを特徴とする請求項１に記載の移動体識別装置。
【請求項３】
天候を含む環境状況を識別する環境識別手段を備え、
前記移動体情報取得手段は、
ワイパーの動作情報を含む移動体情報を取得するように構成してあり、
前記学習手段は、
前記特徴量抽出手段で抽出した特徴量及び前記移動体情報取得手段で取得した移動体情報を用いて前記環境識別手段に識別に用いる情報を学習させるように構成してあることを特徴とする請求項１又は請求項２に記載の移動体識別装置。
【請求項４】
昼夜の別を含む環境状況を識別する環境識別手段を備え、
前記移動体情報取得手段は、
車灯を含む移動体情報を取得するように構成してあり、
前記学習手段は、
前記特徴量抽出手段で抽出した特徴量及び前記移動体情報取得手段で取得した移動体情報を用いて前記環境識別手段に識別に用いる情報を学習させるように構成してあることを特徴とする請求項１又は請求項２に記載の移動体識別装置。
【請求項５】
異なる環境毎に移動体の有無を判定するための環境別移動体識別手段を備え、
前記学習手段は、
前記特徴量抽出手段で抽出した特徴量、前記判定手段で判定した判定結果及び前記移動体情報取得手段で取得した移動体情報を用いて前記環境別移動体識別手段に識別に用いる情報を学習させるように構成してあることを特徴とする請求項３又は請求項４に記載の移動体識別装置。
【請求項６】
移動体の種類を判定するための種類識別手段を備え、
前記移動体情報取得手段は、
車種又は二輪車若しくは歩行者の別を含む移動体情報を取得するように構成してあり、
前記学習手段は、
前記特徴量抽出手段で抽出した特徴量及び前記移動体情報取得手段で取得した移動体情報を用いて前記種類識別手段に識別に用いる情報を学習させるように構成してあることを特徴とする請求項２乃至請求項５のいずれか１つに記載の移動体識別装置。
【請求項７】
他の移動体識別装置から前記識別手段に識別に用いる情報を学習させるための学習データを取得する学習データ取得手段を備え、
前記学習手段は、
前記学習データ取得手段で取得した学習データを用いて前記識別手段に識別に用いる情報を学習させるように構成してあることを特徴とする請求項１乃至請求項６のいずれか１つに記載の移動体識別装置。
【請求項８】
他の移動体識別装置の撮像条件を取得する撮像条件取得手段と、
該撮像条件取得手段で取得した撮像条件と自身の撮像条件との比較結果を用いて、前記学習データ取得手段で取得した学習データを用いて学習させるか否かを決定する決定手段と
を備えることを特徴とする請求項７に記載の移動体識別装置。
【請求項９】
コンピュータを、道路を含む領域を撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する手段として機能させるためのコンピュータプログラムであって、
コンピュータを、
撮像画像上の部分画像を特定する部分画像特定手段と、
特定した部分画像の特徴量を抽出する特徴量抽出手段と、
抽出した特徴量を用いて移動体を識別する識別手段と、
移動体を識別した場合、移動体の位置情報及び特定した部分画像の撮像画像上の位置に基づいて、前記移動体が前記部分画像に撮像されているか否かを判定する判定手段と、
前記移動体が撮像されていると判定した場合、抽出した特徴量及び前記移動体の移動体情報を用いて前記識別手段に識別に用いる情報を学習させる学習手段と
して機能させることを特徴とするコンピュータプログラム。
【請求項１０】
道路を含む領域を撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する識別手段を備えた移動体識別装置の学習方法であって、
前記移動体識別装置は、
移動体の位置情報を含む移動体情報を取得し、
撮像画像上の部分画像を特定し、
特定した部分画像の特徴量を抽出し、
抽出した特徴量を用いて移動体を識別し、
移動体を識別した場合、取得した位置情報及び特定した部分画像の撮像画像上の位置に基づいて、前記移動体情報を取得した移動体が前記部分画像に撮像されているか否かを判定し、
前記移動体が撮像されていると判定した場合、抽出した特徴量及び取得した移動体情報を用いて前記識別手段に識別に用いる情報を学習させることを特徴とする移動体識別装置の学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路を含む領域を撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する移動体識別装置、該移動体識別装置をコンピュータで実現するためのコンピュータプログラム及び移動体識別装置の学習方法に関する。
【背景技術】
【０００２】
路側インフラ装置と車両（車載装置）とが有線又は無線による路車間通信にて情報を交換し、各装置が単独では実現できなかった機能を実現させるシステムが検討されている。特に、車両の運転者からは死角となる場所に存在する車両又は歩行者の情報をインフラ側より車両側に提供することで未然に交通事故を抑止する路車協調型安全運転支援システムの検討が進められている。
【０００３】
このようなシステムを実現するための主要技術としては、例えば、車両の位置情報、車種情報（例えば、自動車、二輪車又は歩行者等）、車両の移動速度又は移動方向などの情報を検出するセンサが必要である。このようなセンサとしては、例えば、レーザを利用するもの、あるいは、ビデオカメラで撮像した画像を利用するものがあるが、情報を検出することができる範囲の広さ、製品寿命、コスト及び性能などのバランスを考慮すると画像処理方式が有力である。
【０００４】
しかし、画像処理方式のセンサ（画像センサ）の課題の１つとして、天候変化や道路周辺物の影響など様々な環境変化があり、これらすべてに対処した画像処理方式の実現は難しい。一方で、日照条件の変化や風により木々の揺れなど様々な外乱の影響を機械学習の過程に含めて学習し、これらの外乱を検出対象から除外する技術が開示されている（非特許文献１参照）。
【非特許文献１】「カメラ映像から異常動作をリアルタイムで自動検出するソフトを開発」、[online]、２００７年１０月１６日発表、独立行政法人  産業技術総合研究所ホームページ[平成２０年８月１日  検索]、インターネット（ＵＲＬ：http://www.aist.go.jp/aist_j/press_release/pr2007/pr20071016/pr20071016.html）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献１の技術を適用すれば、環境変化などの起こりえる映像シーンのデータを予めすべて収集し、収集したデータを学習用データとして車両を識別する識別装置を学習させることは可能である。しかし、カメラを設置する地点が異なれば、道路状況や交通状況が変化し、また、同一地点であっても時間帯、曜日、天候など様々な環境変化要因が存在するため、起こりえる環境変化のデータをすべて収集するには、多大な労力及び費用を必要とする。このため、従来の方法はあまり実現的ではなく、適用範囲も限定的であり、車両などを識別する識別装置の学習のために必要な学習データを効率的に収集することが望まれていた。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、車両などの移動体を高精度に識別することができるとともに学習データを効率的に収集することができる移動体識別装置、該移動体識別装置をコンピュータで実現するためのコンピュータプログラム及び移動体識別装置の学習方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１発明に係る移動体識別装置は、道路を含む領域を撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する移動体識別装置であって、移動体の位置情報を含む移動体情報を取得する移動体情報取得手段と、撮像画像上の部分画像を特定する部分画像特定手段と、該部分画像特定手段で特定した部分画像の特徴量を抽出する特徴量抽出手段と、該特徴量抽出手段で抽出した特徴量を用いて移動体を識別する識別手段と、該識別手段で移動体を識別した場合、前記移動体情報取得手段で取得した位置情報及び前記部分画像特定手段で特定した部分画像の撮像画像上の位置に基づいて、前記移動体情報取得手段で移動体情報を取得した移動体が前記部分画像に撮像されているか否かを判定する判定手段と、該判定手段で前記移動体が撮像されていると判定した場合、前記特徴量抽出手段で抽出した特徴量及び前記移動体情報取得手段で取得した移動体情報を用いて前記識別手段に識別に用いる情報を学習させる学習手段とを備えることを特徴とする。
【０００８】
第２発明に係る移動体識別装置は、第１発明において、移動体の有無を判定するための移動体識別手段を備え、前記学習手段は、前記特徴量抽出手段で抽出した特徴量及び前記判定手段で判定した判定結果を用いて前記移動体識別手段に識別に用いる情報を学習させるように構成してあることを特徴とする。
【０００９】
第３発明に係る移動体識別装置は、第１発明又は第２発明において、天候を含む環境状況を識別する環境識別手段を備え、前記移動体情報取得手段は、ワイパーの動作情報を含む移動体情報を取得するように構成してあり、前記学習手段は、前記特徴量抽出手段で抽出した特徴量及び前記移動体情報取得手段で取得した移動体情報を用いて前記環境識別手段に識別に用いる情報を学習させるように構成してあることを特徴とする。
【００１０】
第４発明に係る移動体識別装置は、第１発明又は第２発明において、昼夜の別を含む環境状況を識別する環境識別手段を備え、前記移動体情報取得手段は、車灯を含む移動体情報を取得するように構成してあり、前記学習手段は、前記特徴量抽出手段で抽出した特徴量及び前記移動体情報取得手段で取得した移動体情報を用いて前記環境識別手段に識別に用いる情報を学習させるように構成してあることを特徴とする。
【００１１】
第５発明に係る移動体識別装置は、第３発明又は第４発明において、異なる環境毎に移動体の有無を判定するための環境別移動体識別手段を備え、前記学習手段は、前記特徴量抽出手段で抽出した特徴量、前記判定手段で判定した判定結果及び前記移動体情報取得手段で取得した移動体情報を用いて前記環境別移動体識別手段に識別に用いる情報を学習させるように構成してあることを特徴とする。
【００１２】
第６発明に係る移動体識別装置は、第２発明乃至第５発明のいずれか１つにおいて、移動体の種類を判定するための種類識別手段を備え、前記移動体情報取得手段は、車種又は二輪車若しくは歩行者の別を含む移動体情報を取得するように構成してあり、前記学習手段は、前記特徴量抽出手段で抽出した特徴量及び前記移動体情報取得手段で取得した移動体情報を用いて前記種類識別手段に識別に用いる情報を学習させるように構成してあることを特徴とする。
【００１３】
第７発明に係る移動体識別装置は、第１発明乃至第６発明のいずれか１つにおいて、他の移動体識別装置から前記識別手段に識別に用いる情報を学習させるための学習データを取得する学習データ取得手段を備え、前記学習手段は、前記学習データ取得手段で取得した学習データを用いて前記識別手段に識別に用いる情報を学習させるように構成してあることを特徴とする。
【００１４】
第８発明に係る移動体識別装置は、第７発明において、他の移動体識別装置の撮像条件を取得する撮像条件取得手段と、該撮像条件取得手段で取得した撮像条件と自身の撮像条件との比較結果を用いて、前記学習データ取得手段で取得した学習データを用いて学習させるか否かを決定する決定手段とを備えることを特徴とする。
【００１５】
第９発明に係るコンピュータプログラムは、コンピュータを、道路を含む領域を撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する手段として機能させるためのコンピュータプログラムであって、コンピュータを、撮像画像上の部分画像を特定する部分画像特定手段と、特定した部分画像の特徴量を抽出する特徴量抽出手段と、抽出した特徴量を用いて移動体を識別する識別手段と、移動体を識別した場合、移動体の位置情報及び特定した部分画像の撮像画像上の位置に基づいて、前記移動体が前記部分画像に撮像されているか否かを判定する判定手段と、前記移動体が撮像されていると判定した場合、抽出した特徴量及び前記移動体の移動体情報を用いて前記識別手段に識別に用いる情報を学習させる学習手段として機能させることを特徴とする。
【００１６】
第１０発明に係る移動体識別装置の学習方法は、道路を含む領域を撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する識別手段を備えた移動体識別装置の学習方法であって、前記移動体識別装置は、移動体の位置情報を含む移動体情報を取得し、撮像画像上の部分画像を特定し、特定した部分画像の特徴量を抽出し、抽出した特徴量を用いて移動体を識別し、移動体を識別した場合、取得した位置情報及び特定した部分画像の撮像画像上の位置に基づいて、前記移動体情報を取得した移動体が前記部分画像に撮像されているか否かを判定し、前記移動体が撮像されていると判定した場合、抽出した特徴量及び取得した移動体情報を用いて前記識別手段に識別に用いる情報を学習させることを特徴とする。
【００１７】
第１発明、第９発明及び第１０発明にあっては、撮像画像上の部分画像を特定し、特定した部分画像の特徴量を抽出する。部分画像は、例えば、２４×３２画素の検出範囲であって、検出範囲を撮像画像上で走査して検出範囲の特徴量を抽出する。また、特徴量は、例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴を用いることができ、検出範囲の輝度の勾配強度を勾配方向毎にヒストグラム化した特徴ベクトルである。なお、特徴量は、ＨＯＧ特徴に限定されるものではなく、エッジ検出により抽出してもよい。抽出した特徴量を用いて移動体（例えば、車両）を識別した場合、移動体の位置情報と特定した部分画像（移動体を識別した際の特徴量を抽出した検出範囲）の撮像画像上の位置に基づいて、移動体情報（例えば、車両の位置情報以外に車速、車種に関する情報、ヘッドライト又はワイパー等の動作状態を示す情報など）を取得した移動体が部分画像（検出範囲）内にあるか否かを判定する。移動体が撮像されている（検出範囲内にある）と判定した場合、抽出した特徴量及び取得した移動体情報を用いて識別手段（識別器）に識別に用いる情報（例えば、識別器の識別パラメータ）を学習させる。
【００１８】
識別器は、特徴量（特徴ベクトル）が入力された場合、入力された特徴量と識別器パラメータとにより識別結果（判定情報、例えば、車両あり、車両なし等）を出力するものである。移動体（車両）が検出範囲内にあると判定された場合、移動体識別装置は、その検出範囲に車両が存在する場合の特徴量（識別器の入力情報）を抽出することができるとともに、その検出範囲内で撮像された車両の車両情報（識別器の出力情報）を取得することができる。すなわち、識別器の入力情報として車両が存在する場合の特徴量と出力情報として車両ありの判定情報とを取得することができ、これらの情報を用いることで識別器パラメータを求めることができ、識別器を学習させることができる。また、求めた識別器パラメータと抽出した特徴量を学習データとして記憶することもできる。これにより、多くの映像シーンを効率的に収集することができ、識別器の学習を効率的に行うことができるとともに、識別器の識別精度を向上させることができる。
【００１９】
第２発明にあっては、抽出した特徴量及び判定結果を用いて、移動体（車両）の有無を判定する移動体識別手段（車両有無識別器）に識別に用いる情報を学習させる。例えば、車両有無識別器の入力情報として車両が存在する場合の特徴量と判定結果（例えば、車両ありの判定情報）とを用いて車両有無識別器パラメータを求めることができ、車両有無識別器を学習させることができる。また、車両有無識別器の入力情報として車両が存在しない場合の特徴量と判定結果（例えば、車両なしの判定情報）とを用いて車両有無識別器パラメータを求めることができ、車両有無識別器を学習させることができる。これにより、多くの映像シーンを効率的に収集することができ、車両有無識別器の学習を効率的に行うことができるとともに、車両有無識別器の識別精度を向上させることができる。
【００２０】
第３発明にあっては、抽出した特徴量及び取得した移動体情報を用いて、天候を含む環境状況を識別する環境識別手段（環境識別器）に識別に用いる情報を学習させる。環境状況は、例えば、晴天、雨天などである。環境識別器の入力情報としての特徴量と移動体情報（例えば、ワイパー動作ありの判定情報）とを用いて雨天用の環境識別器パラメータを求めることができ、環境識別器を学習させることができる。これにより、多くの映像シーンを効率的に収集することができ、環境識別器の学習を効率的に行うことができるとともに、環境識別器の識別精度を向上させることができる。
【００２１】
第４発明にあっては、抽出した特徴量及び取得した移動体情報を用いて、昼夜の別を含む環境状況を識別する環境識別手段（環境識別器）に識別に用いる情報を学習させる。環境状況は、例えば、昼、夕方、夜などである。環境識別器の入力情報としての特徴量と移動体情報（例えば、ヘッドライト動作ありの判定情報）とを用いて夜間用の環境識別器パラメータを求めることができ、環境識別器を学習させることができる。これにより、多くの映像シーンを効率的に収集することができ、環境識別器の学習を効率的に行うことができるとともに、環境識別器の識別精度を向上させることができる。
【００２２】
第５発明にあっては、抽出した特徴量、判定結果（例えば、車両あり又は車両なしの判定情報）及び取得した移動体情報を用いて、異なる環境毎に移動体の有無を判定するための環境別移動体識別手段（環境別車両有無識別器）に識別に用いる情報を学習させる。例えば、環境別車両有無識別器の入力情報としての特徴量と、判定結果（例えば、車両ありの判定情報）及び移動体情報（例えば、ワイパー動作ありの判定情報）とを用いて雨天用車両有無識別器パラメータを求めることができ、環境別車両有無識別器を学習させることができる。また、環境別車両有無識別器の入力情報としての特徴量と、判定結果（例えば、車両ありの判定情報）移動体情報（例えば、ヘッドライト動作ありの判定情報）とを用いて夜間用車両有無識別器パラメータを求めることができ、環境別車両有無識別器を学習させることができる。これにより、多くの映像シーンを効率的に収集することができ、環境別車両有無識別器の学習を効率的に行うことができるとともに、環境別車両有無識別器の識別精度を向上させることができる。
【００２３】
第６発明にあっては、抽出した特徴量及び取得した移動体情報を用いて、移動体の種類を判定するための種類識別手段（車種識別器）に識別に用いる情報を学習させる。移動体の種類は、例えば、車種情報であり、普通車、大型車、二輪車、歩行者等などである。車種識別器の入力情報としての特徴量と移動体情報（例えば、車種情報）とを用いて車種識別器パラメータを求めることができ、車種識別器を学習させることができる。これにより、多くの映像シーンを効率的に収集することができ、車種識別器の学習を効率的に行うことができるとともに、車種識別器の識別精度を向上させることができる。
【００２４】
第７発明にあっては、他の移動体識別装置から識別手段（識別器）に識別に用いる情報を学習させるための学習データを取得し、取得した学習データを用いて前記識別手段に識別に用いる情報を学習させる。他の移動体識別装置が設置された他の地点での映像シーンを収集することができ、一層多くの映像シーンを収集することができ、識別器の学習をさらに効率的に行うことができるとともに、識別器の識別精度を一層向上させることができる。
【００２５】
第８発明にあっては、他の移動体識別装置の撮像条件を取得し、取得した撮像条件と自身の撮像条件との比較結果を用いて、取得した学習データを用いて学習させるか否かを決定する。撮像条件は、例えば、撮像装置（ビデオカメラ等）の俯角又は回転角などの条件である。撮像条件を比較して等しいか又は近似する場合、他の移動体識別装置で取得した学習データを用いて自身の識別器に識別に用いる情報を学習させる。これにより、有効な学習データだけを用いて識別器の学習を効率的に行うことができるとともに、識別器の識別精度を向上させることができる。
【発明の効果】
【００２６】
本発明にあっては、多くの映像シーンを効率的に収集することができ、識別器の学習を効率的に行うことができるとともに、識別器の識別精度を向上させることができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る移動体識別装置である車両識別装置１００の構成の一例を示すブロック図である。車両識別装置１００は、画像入力部１１、Ａ／Ｄ変換部１２、画像メモリ１３、通信部１４、記憶部１５、装置全体を制御する制御部２０、部分画像特定部３０、特徴量抽出部４０、識別手段（識別器）としての識別部５０、車両存在位置判定部６０、学習部７０などを備える。また、識別部５０は、車両有無識別部５１、車種識別部５２、環境識別部５３、環境別車両有無識別部５４などを備えている。また、画像入力部１１には、ビデオカメラ１０を接続してある。なお、ビデオカメラ１０は、車両識別装置１００とは別個の装置であってもよく、あるいは、両者が一体をなす構成であってもよい。
【００２８】
ビデオカメラ１０は、道路を含む所要の領域を撮像すべく、所定の高さ、俯角及び回転角などの撮像条件が設定された状態で道路付近の所要の地点に設置してある。ビデオカメラ１０は、撮像して得られた撮像画像を映像信号（アナログ信号）として画像入力部１１へ出力する。
【００２９】
画像入力部１１は、取得した映像信号をＡ／Ｄ変換部１２へ出力する。
【００３０】
Ａ／Ｄ変換部１２は、入力された映像信号をデジタル信号に変換し、変換したデジタル信号を画像データとして画像メモリ１３へ記憶する。画像入力部１１を介してビデオカメラ１０から入力された撮像画像は、ビデオカメラ１０のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位（例えば、２４０×３２０画素）の画像データとして画像メモリ１３に記憶される。
【００３１】
図２は撮像画像の一例を示す説明図である。図２に示すように、ビデオカメラ１０を所定の撮像条件で道路付近に設置することで、所要の道路を走行する車両を撮像することができる。図２では、撮像画像の大きさは２４０×３２０画素である。なお、撮像画像の大きさはこれに限定されるものではない。
【００３２】
通信部１４は、狭域通信機能、ＵＨＦ帯若しくはＶＨＦ帯などの無線ＬＡＮ等の中域通信機能、及び携帯電話、ＰＨＳ、多重ＦＭ放送若しくはインターネット通信などの広域通信機能を備える。通信部１４は、ビデオカメラ１０の撮像領域内又はその付近に存在する車両から所定の車両情報（例えば、車両の位置情報、車速情報、車種情報、ワイパー及びヘッドライト等の車灯の動作状況を示す情報など）を受信する。また、通信部１４は、車両を識別した結果得られた識別情報を提供すべく付近を存在する車両へ送信する。また、通信部１４は、交通管制センタ等に設置されたサーバ装置、他の車両識別装置との間で所定の情報の送受信を行う。
【００３３】
記憶部１５は、制御部２０の制御により、車両識別装置１００の処理により得られたデータ、通信部１４を介して受信したデータなどを記憶する。
【００３４】
部分画像特定部３０は、撮像画像上で所要の大きさの部分画像を特定し、特定した部分画像を撮像画像上で走査する。部分画像は、後述する特徴量を抽出するための検出範囲を画定する。
【００３５】
図３は検出範囲の一例を示す説明図である。図３に示すように、検出範囲の大きさは、例えば、２４×３２画素である。検出範囲を撮像画像上で走査する場合、図３に示すように１回の走査で水平方向に１６画素だけ検出範囲を移動させることができる。
【００３６】
特徴量抽出部４０は、検出範囲の特徴量を抽出する。特徴量は、ＨＯＧ（Histograms of Oriented Gradients）特徴を用いることができ、検出範囲の輝度の勾配強度を勾配方向毎にヒストグラム化した特徴ベクトルである。なお、特徴量は、ＨＯＧ特徴に限定されるものではなく、エッジ検出により抽出してもよい。
【００３７】
以下、特徴量としての特徴ベクトルの算出方法について説明する。図４は局所領域の一例を示す説明図である。局所領域（ブロック）は、２４×３２画素の検出範囲から一部が重複するように抽出され、例えば、１６×１６画素の大きさを有する。従って、検出範囲から６つの局所領域を抽出することができる。また、局所領域は、４個のセル（８×８画素の領域）で構成されている。
【００３８】
図５は輝度の勾配強度と勾配方向の一例を示す説明図である。セル内の画素の位置を（ｘ、ｙ）で表わす。画素（ｘ、ｙ）における輝度の勾配強度をｍ（ｘ、ｙ）、勾配方向をθ（ｘ、ｙ）とする。勾配強度ｍ（ｘ、ｙ）、勾配方向θ（ｘ、ｙ）は、式（１）〜式（３）で求めることができる。ここで、ｆｘ（ｘ、ｙ）は横方向（ｘ方向）の輝度勾配であり、ｆｙ（ｘ、ｙ）は縦方向（ｙ方向）の輝度勾配であり、式（３）以外に、例えば、Ｓｏｂｅｌフィルタにより求めることができる。また、Ｌ（ｘ、ｙ）は、画素（ｘ、ｙ）の輝度である。
【００３９】
【数１】
2010039705.tif 000003
【００４０】
そして、セル毎に８方向のヒストグラムを作成する。図６は勾配方向の一例を示す説明図であり、図７は勾配強度のヒストグラムの一例を示す説明図である。図６に示すように、勾配方向を４５°毎に分割し８方向の（ｊ＝１〜８）勾配方向を設定する。また、図７に示すように、算出した輝度の勾配強度を勾配方向毎に振り分けてヒストグラムを作成する。勾配強度を算出する場合に、局所領域（ブロック）の中心からの距離に反比例したσ＝１．６のガウシアンフィルタを局所領域に対して施してエッジ強度を平滑化することもできる。
【００４１】
セル毎に求めたヒストグラムを局所領域でまとめ、局所領域毎のヒストグラムの最大要素（勾配強度の最大値）で各ヒストグラムの要素（勾配強度）を除算して正規化する。これにより、１つの局所領域（ブロック）で抽出された３２次元の特徴ベクトルの最大成分は１となる。１つの検出範囲で６つの局所領域があるので、式（４）に示すように、１つの検出範囲について１９２次元（３２次元×６＝１９２次元）の特徴ベクトルＶを算出することができる。
【００４２】
【数２】
2010039705.tif 000004
【００４３】
隣接画素の勾配を検出範囲毎にヒストグラム化して正規化するため、道路を撮像して得られる撮像画像に対するノイズ又は明るさの変化、影の有無などの影響を受けにくく局所的な幾何学変化（平行移動、回転など）に対して頑健である。
【００４４】
識別部５０は、特徴量抽出部４０で抽出した特徴量（特徴ベクトル）を入力情報として、車両の有無を含む所定の識別判定を行い、識別結果（判定情報）を出力する。識別部５０は、車両有無識別器を有する車両有無識別部５１、車種識別器を有する車種識別部５２、環境識別器を有する環境識別部５３、環境別車両有無識別器を有する環境別車両有無識別部５４などを備えている。
【００４５】
図８は識別部５０の各識別器の概要を示す説明図であり、図９は識別部５０の各識別器の識別内容を示す説明図である。車両有無識別器は、特徴ベクトルＶが入力された場合、識別情報Ｄｃ＝Ａｃ・Ｖを出力する。ここで、Ａｃは車両有無識別器の識別器パラメータである。車両有無識別器は、入力された特徴ベクトルＶに対して、識別器パラメータＡｃによる所定の演算を行って、識別結果（クラス）として車両あり又は車両なしを判定する。出力された識別情報Ｄｃが、例えば、Ｄｃ＞０であれば車両ありと判定され、Ｄｃ＜０であれば車両なしと判定することができる。なお、判定条件は一例であって、これに限定されるものではない。
【００４６】
また、車種識別器は、特徴ベクトルＶが入力された場合、識別情報Ｄｔ＝Ａｔ・Ｖを出力する。ここで、Ａｔは車種識別器の識別器パラメータである。車種識別器は、入力された特徴ベクトルＶに対して、識別器パラメータＡｔによる所定の演算を行って、識別結果（クラス）として、例えば、普通車、大型車、二輪車又は歩行者などの別を判定する。出力された識別情報Ｄｔが、例えば、０＜Ｄｔ＜Ｔｔ１であれば普通車と判定され、Ｔｔ１＜Ｄｔ＜Ｔｔ２であれば大型車と判定され、Ｔｔ２＜Ｄｔ＜Ｔｔ３であれば二輪車と判定され、Ｄｔ＜０であれば歩行者と判定することができる。なお、判定条件は一例であって、これに限定されるものではない。
【００４７】
また、環境識別器は、特徴ベクトルＶが入力された場合、識別情報Ｄｗ＝Ａｗ・Ｖを出力する。ここで、Ａｗは環境識別器の識別器パラメータである。環境識別器は、入力された特徴ベクトルＶに対して、識別器パラメータＡｗによる所定の演算を行って、識別結果（クラス）として、例えば、昼、夕方、晴れの夜間、雨天の夜間などの別を判定する。出力された識別情報Ｄｗが、例えば、０＜Ｄｗ＜Ｔｗ１であれば昼と判定され、Ｔｗ１＜Ｄｗ＜Ｔｗ２であれば夕方と判定され、Ｔｗ２＜Ｄｗ＜Ｔｗ３であれば晴れの夜間と判定され、Ｔｗ３＜Ｄｗ＜Ｔｗ４であれば雨天の夜間と判定することができる。なお、判定条件は一例であって、これに限定されるものではない。
【００４８】
また、環境別車両有無識別器は、特徴ベクトルＶが入力された場合、識別情報Ｄｃｗ＝Ａｃｗ・Ｖを出力する。ここで、Ａｃｗは環境別車両有無識別器の識別器パラメータである。環境別車両有無識別器は、入力された特徴ベクトルＶに対して、識別器パラメータＡｃｗによる所定の演算を行って、識別結果（クラス）として、例えば、昼車両あり、夕方車両あり、晴夜車両あり、雨夜車両あり、昼車両なし、夕方車両なし、晴夜車両なし、雨夜車両なしなどの別を判定する。なお、判定内容は、上述の各識別器と同様に識別情報Ｄｃｗの値に応じて区別することができる。
【００４９】
車両存在位置判定部６０は、検出範囲（部分画像）において車両有無識別部５１で車両が識別された場合（車両ありと判定された場合）、通信部１４を介して車両から受信した車両情報に含まれる車両の位置情報に基づいて、該車両が検出範囲内に存在するか否かを判定する。すなわち、車両存在位置判定部６０は、車両情報を受信したときに、その車両情報を送信した車両が、特徴ベクトルを抽出して車両ありと判定された検出範囲内の車両と同一車両であるか否かを判定する。なお、同一車両であるか否かの判定は、車両の位置検出精度に応じて所要の誤差範囲を含めることができる。すなわち、車両の位置情報に誤差範囲を加味した位置が検出範囲内にあるか否かで判定すればよい。
【００５０】
より具体的には、車両が検出範囲内に存在するか否かは、以下のように行うことができる。車両から受信した車両情報に含まれる車両の位置をＰｃａｒとし、特徴ベクトルを抽出して車両ありと判定された検出範囲の中心位置をＰｄｅｔとする。ただし、Ｐｃａｒ及びＰｄｅｔは、カメラ設置位置を基準とする実道路上での位置とする。この場合に、２つの位置の距離がある誤差(Ｅｒｒ)範囲以下のとき、すなわち、｜Ｐｃａｒ−Ｐｄｅｔ|＜Ｅｒｒ、のとき、検出範囲内に車両が存在すると判定する。
【００５１】
学習部７０は、車両有無識別器、車種識別器、環境識別器、環境別車両有無識別器などの各識別器の識別器パラメータを求めることにより、各識別器に識別に用いる情報（識別パラメータ）の学習を行う。以下、識別器の学習方法について説明する。
【００５２】
図１０は識別器の学習方法の一例を示す説明図である。なお、図１０では車両有無識別器を例として説明するが、他の識別器の学習方法も同様である。図１０（ａ）に示すように、車両有無識別器は、特徴ベクトルＶが入力された場合、特徴ベクトルＶに対して識別器パラメータＡｃによる所定の演算を施して、識別情報Ｄｃ＝Ａｃ・Ｖを出力するものである。なお、以下簡略化のため特徴ベクトルＶを２次元ベクトルとして説明するが、学習方法は、次元の数にかかわらず同様に考えることができる。
【００５３】
車両情報（位置情報を含む）を送信した車両が、特徴ベクトルを抽出して車両ありと判定された検出範囲内の車両と同一車両であると、車両存在位置判定部６０で判定された場合、抽出された特徴ベクトルをＶ１とする。この場合、図１０（ｂ）に示すように、学習用データとしては、検出範囲で車両が識別された際の特徴ベクトルＶ１と、車両が送信した車両情報に基づいて検出範囲内に車両が存在すると車両存在位置判定部６０で判定された判定情報ｄ（例えば、ｄ＝１、車両あり）とが存在する。異なる時点で撮像された他の車両についても同様の処理を繰り返すことにより、学習データとして特徴ベクトルＶ２、…と、それに対応する判定情報ｄ、…を得ることができる。また、検出範囲内に車両が存在しない際の特徴ベクトルＶｋ、…と判定情報（ｄ＝０）、…を車両ありと同等数予め用意しておく。
【００５４】
図１０（ｃ）に示すように、学習部７０は、収集された学習用データを用いて、識別器パラメータＡｃを算出することにより、車両有無識別器の学習を行う。
【００５５】
なお、車両有無識別器の学習を行う場合、撮像画像上で車両が１台だけ撮像されている場合、あるいは、複数の車両が撮像されている場合には、車両同士が少なくとも１台分程度離隔しているときが学習を行いやすいので、このような条件を満たす場合に学習を行うようにしてもよい。
【００５６】
車両が送信する位置情報は、例えば、車両に搭載したＧＰＳにより位置検出を行うことにより得ることができる。また、技術発展に伴い、より高精度な位置検出が可能になれば、誤差範囲を小さく設定することにより、より正確な学習が可能になる。さらに、位置情報を含む車両情報を送信することができる車両の割合が大きくなれば、学習機会が増加し、より早く学習を進めることができる。
【００５７】
学習部７０は、車両有無識別器の学習を行うときに、車両の位置情報に加えて車種情報を受信することができれば、車種識別器の学習も行うことができる。この場合、学習用データとしては、検出範囲で車両が識別された際の特徴ベクトルＶと、車両が送信した車種情報に基づいて判定された判定情報ｄ（例えば、普通車、大型車、二輪車など）とが存在する。
【００５８】
学習部７０は、車両より受信したワイパー及び車灯の動作状態を示す情報を判定情報として用い、環境識別器の学習を行うことができる。これにより、道路周辺の明るさや降雨状態、路面状態を推定することにより、その環境に応じた車両有無や車種判定のための学習ができる。例えば、情報を送信した車両の２０％以下がヘッドライトを点灯している場合、昼と判定し、そのときに学習した識別器を昼用とすることができる。また、情報を送信した車両の２０％以上８０％以下がヘッドライトを点灯している場合、夕方と判定し、そのときに学習した識別器を夕方用とすることができる。また、情報を送信した車両の８０％以上がヘッドライトを点灯し、２０％以下がワイパー動作中である場合、晴れの夜と判定し、そのときに学習した識別器を晴夜用とすることができる。さらに、情報を送信した車両の８０％以上がヘッドライトを点灯し、８０％以上がワイパー動作中である場合、雨天の夜と判定し、そのときに学習した識別器を雨夜用とすることができる。環境識別器の学習を行う場合、必ずしも車両が検出範囲に存在しなくてもよい。
【００５９】
学習部７０は、車両有無識別器の学習と環境識別器の学習とを行うことにより、環境別車両有無識別器の学習も行うことができる。
【００６０】
図１１は車両識別装置１００の情報提供モードの適用例を示す説明図である。図１１に示すように、車両識別装置１００を交差点付近に設置し、所要の撮像範囲をビデオカメラで撮像する。車両識別装置１００は、撮像範囲外の車両Ｃ１、Ｃ２などに対して、見通し外の車両又は見通し外の歩行者などの識別を行い、識別結果に基づいて情報提供を行う。これにより、車両の運転者から死角となる地点の車両や歩行者の情報を提供することができ、交通事故を未然に防止することができる。
【００６１】
図１２は車両識別装置１００の学習モードの適用例を示す説明図である。図１２に示すように、車両識別装置１００を交差点付近に設置し、所要の撮像範囲をビデオカメラで撮像する。車両識別装置１００は、撮像範囲を走行する車両Ｃ３を撮像するとともに、車両Ｃ３から車両Ｃ３の位置情報を含む車両情報を受信する。車両識別装置１００は、撮像画像から抽出した特徴量（特徴ベクトル）及び／又は車両から受信した車両情報を判定情報として用いることにより識別器の学習を行う。これにより、多くの人手をかける必要もなく、また簡便かつ安価に識別器を学習するためのデータを効率的に収集することができる。
【００６２】
制御部２０、部分画像特定部３０、特徴量抽出部４０、識別部５０、車両存在位置判定部６０、学習部７０などは、専用のハードウエア回路で実現することができる。また、各部の機能を定めたコンピュータプログラムをＣＰＵで実行させることで実現することもできる。
【００６３】
次に車両識別装置１００の動作について説明する。図１３は車両識別装置１００の処理手順を示すフローチャートである。制御部２０は、撮像画像を取得し（Ｓ１１）、部分画像としての検出範囲を特定した上で走査する（Ｓ１２）。制御部２０は、検出範囲の特徴量としての特徴ベクトルを算出し（Ｓ１３）、算出した特徴ベクトルに対して識別器パラメータによる演算を施して識別処理（例えば、車両の有無の識別）を行う（Ｓ１４）。
【００６４】
制御部２０は、車両の有無を判定し（Ｓ１５）、車両ありの場合（Ｓ１５でＹＥＳ）、車両の位置情報を含む車両情報を受信したか否かを判定する（Ｓ１６）。車両情報を受信した場合（Ｓ１６でＹＥＳ）、制御部２０は、受信した位置情報に基づいて車両位置が検出範囲内にあるか否かを判定する（Ｓ１７）。
【００６５】
車両位置が検出範囲内にある場合（Ｓ１７でＹＥＳ）、すなわち、車両情報を受信したときに、その車両情報を送信した車両が、特徴ベクトルを抽出して車両ありと判定された検出範囲内の車両と同一車両である場合、制御部２０は、抽出した特徴ベクトル及び車両情報を用いて学習処理を行う（Ｓ１８）。これにより、識別器の識別器パラメータを算出する。
【００６６】
制御部２０は、特徴ベクトル、算出した識別器パラメータを学習データとして記憶する（Ｓ１９）。制御部２０は、撮像画像内をすべて走査したか否かを判定し（Ｓ２０）、すべて走査していない場合（Ｓ２０でＮＯ）、ステップＳ１２以降の処理を続ける。
【００６７】
すべて走査した場合（Ｓ２０でＹＥＳ）、制御部２０は、識別結果を記憶し（Ｓ２１）、処理を終了するか否かを判定し（Ｓ２２）、処理を終了しない場合（Ｓ２２でＮＯ）、ステップＳ１１以降の処理を続け、処理を終了する場合（Ｓ２２でＹＥＳ）、処理を終了する。
【００６８】
また、車両なしの場合（Ｓ１５でＮＯ）、車両情報を受信していない場合（Ｓ１６でＮＯ）、あるいは、車両位置が検出範囲内でない場合（Ｓ１７でＮＯ）、制御部２０は、ステップＳ２１の処理を行う。
【００６９】
なお、上述の処理で車両位置が検出範囲内にある場合に、学習処理を行うが、これにより車両有無識別器、車種識別器の学習を行うことがでる。環境識別器の学習は、車両位置が検出範囲内にある場合でも、検出範囲内にない場合でも行うことができる。
【００７０】
実用化の際には、収集済みのデータセットを用いて予め識別器を学習させておき、この識別器の結果と、異なる情報が路車間通信で得られた場合に、これを学習データに追加し、識別器を再学習させ、その地点に応じた調整を行うことができる。
【００７１】
また、車両識別装置１００で得られた学習結果をサーバ装置へ送信し、他地点での車両識別装置の学習データに利用することができる。図１４はサーバ装置２００の構成を示すブロック図である。サーバ装置２００は、装置全体を制御する制御部２０１、通信部２０２、記憶部２０３、学習部２０４、分類部２０５などを備えている。
【００７２】
通信部２０２は、通信部１４と同様の機能を備え、各地点（各車両識別装置）での学習データ及び撮像条件を受信する。撮像条件は、例えば、撮像装置（ビデオカメラ等）の俯角又は回転角などの条件である。
【００７３】
分類部２０５は、取得した撮像条件に基づき収集した学習データを分類する。つまり、撮像条件が等しいか又は近似する地点の学習データ毎に分類する。通信部２０２は、各地点（各車両識別装置）へ、その地点の撮像条件に分類された学習データを送信する。各車両識別装置は、他の地点で得られた学習データを含んだ学習データを用いて、自身の識別器を学習させる。これにより、より多くの映像シーンを用いた学習を効率的に行うことができるとともに、識別器の識別精度を向上させることができる。また、学習部２０４は、学習部７０と同様の機能を備え、撮像条件に基づいて分類された学習データを用いて、サーバ装置で識別器を学習させ、この結果を他の１又は複数の車両識別装置へ送信することもできる。
【００７４】
以上説明したように、本発明にあっては、起こりうる変化のデータを効率的に収集することにより、データ収集に要するコストが削減できる。さらに、収集データをフィードバックすることにより、各車両識別装置の識別精度が向上し、より精度の高い情報を車両に提供し、交通事故等の抑止がより期待できる。また、本発明は、長距離トンネル内の異常交通監視システム、駐車場システム、一般道路の交通管制システムなどに適用することができる。
【００７５】
以上に開示された実施の形態及び実施例は、全ての点で例示であって制限的なものではないと考慮されるべきである。本発明の範囲は、以上の実施の形態及び実施例ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての修正や変形を含むものと意図される。
【図面の簡単な説明】
【００７６】
【図１】本発明に係る移動体識別装置である車両識別装置の構成の一例を示すブロック図である。
【図２】撮像画像の一例を示す説明図である。
【図３】検出範囲の一例を示す説明図である。
【図４】局所領域の一例を示す説明図である。
【図５】輝度の勾配強度と勾配方向の一例を示す説明図である。
【図６】勾配方向の一例を示す説明図である。
【図７】勾配強度のヒストグラムの一例を示す説明図である。
【図８】識別部の各識別器の概要を示す説明図である。
【図９】識別部の各識別器の識別内容を示す説明図である。
【図１０】識別器の学習方法の一例を示す説明図である。
【図１１】車両識別装置の情報提供モードの適用例を示す説明図である。
【図１２】車両識別装置の学習モードの適用例を示す説明図である。
【図１３】車両識別装置の処理手順を示すフローチャートである。
【図１４】サーバ装置の構成を示すブロック図である。
【符号の説明】
【００７７】
１０  ビデオカメラ
１１  画像入力部
１２  Ａ／Ｄ変換部
１３  画像メモリ
１４  通信部
１５  記憶部
２０  制御部
３０  部分画像特定部
４０  特徴量抽出部
５０  識別部
５１  車両有無識別部
５２  車種識別部
５３  環境識別部
５４  環境別車両有無識別部
６０  車両存在位置判定部
７０  学習部
【図１】
2010039705.tif 000005
【図２】
2010039705.tif 000006
【図３】
2010039705.tif 000007
【図４】
2010039705.tif 000008
【図５】
2010039705.tif 000009
【図６】
2010039705.tif 000010
【図７】
2010039705.tif 000011
【図８】
2010039705.tif 000012
【図９】
2010039705.tif 000013
【図１０】
2010039705.tif 000014
【図１１】
2010039705.tif 000015
【図１２】
2010039705.tif 000016
【図１３】
2010039705.tif 000017
【図１４】
2010039705.tif 000018