(57)【要約】      （修正有）【課題】効率的に車両を判別する車両判別装置を提供する。【解決手段】車両判別装置１は、画像取得部１１と、第１探索窓設定部２１と、特徴量算出部と、尤度算出部２３と、車両領域判定部２７と、テンプレート画像生成部１３と、テンプレート記録部１４と、追跡領域設定部１５と、第２探索窓設定部と、候補領域判定部と、選択部と、検知部と、を有する。車両領域判定部は、尤度に基づいて前記第１探索窓内の画像が第１車両領域であるか判定する。第２探索窓設定部は、追跡領域内に第２探索窓を設定する。候補領域判定部は、前記第２探索窓内の画像が前記テンプレート画像と一致する領域である候補領域であるか判定する。選択部は、前記候補領域の中から前記テンプレート画像が示す車両を含む第２車両領域を選択する。検知部は、前記第１車両領域と前記第２車両領域とに基づいて少なくとも車両の有無を検知する。【選択図】図１
2014219801.tif 000002
【特許請求の範囲】
【請求項１】
車両を判別する車両判別装置において
画像を取得する画像取得部と、
前記画像に第１探索窓を設定する第１探索窓設定部と、
前記第１探索窓内の画像の特徴量を算出する特徴量算出部と、
前記特徴量に基づいて前記第１探索窓内の前記画像が車両画像を含む第１車両領域である可能性を示す尤度を算出する尤度算出部と、
前記尤度に基づいて前記第１探索窓内の前記画像が前記第１車両領域であるか判定する車両領域判定部と、
前記第１車両領域に基づいてテンプレート画像を生成するテンプレート画像生成部と、
前記テンプレート画像を格納するテンプレート記録部と、
前記テンプレート画像に基づいて追跡領域を設定する追跡領域設定部と、
前記追跡領域内に第２探索窓を設定する第２探索窓設定部と、
前記第２探索窓内の画像が前記テンプレート画像と一致する領域である候補領域であるか判定する候補領域判定部と、
前記候補領域の中から前記テンプレート画像が示す車両を含む第２車両領域を選択する選択部と、
前記第１車両領域と前記第２車両領域とに基づいて少なくとも車両の有無を検知する検知部と、
を備える車両判別装置。
【請求項２】
前記追跡領域設定部は、前記テンプレート画像の位置の周辺に追跡領域を設定する、
前記請求項１に記載の車両判別装置。
【請求項３】
前記第２探索窓設定部は、テンプレート画像に基づいて第２探索窓の大きさを決定する、
前記請求項１又は２に記載の車両判別装置。
【請求項４】
前記候補領域判定部は、前記第２探索窓内の前記画像の各ドットの輝度値と前記テンプレート画像の各ドットの輝度値との差を算出し、各ドットの輝度値の差をすべて合計した総和値を算出し、前記総和値が所定の閾値以下の場合に、前記第２探索窓内の前記画像が候補領域であると判定する、
前記請求項１乃至３の何れか１項に記載の車両判別装置。
【請求項５】
前記選択部は、前記候補画像が１つである場合に、前記候補画像を前記第２車両領域として選択し、前記候補画像が複数存在する場合に、前記候補画像の中から過去の第１車両領域又は過去の第２車両領域の位置に基づいて第２車両領域を選択する、
前記請求項１乃至４の何れか１項に記載の車両判別装置。
【請求項６】
さらに、
前記テンプレート画像生成部が生成したテンプレート画像と前記第２車両領域が一致する場合、前記テンプレート記録部が格納するテンプレート画像を更新するテンプレート画像更新部を備える、
前記請求項１乃至５の何れか１項に記載の車両判別装置。
【請求項７】
前記テンプレート画像更新部は、前記テンプレート画像生成部が生成したテンプレート画像の各ドットの輝度値と前記第２車両領域の各ドットの輝度値との差を算出し、各ドットの輝度値の差をすべて合計した総和値を算出し、前記総和値が所定の閾値以下の場合に、前記テンプレート画像と前記第２車両領域が一致すると判定する、
前記請求項６に記載の車両判別装置。
【請求項８】
前記テンプレート画像生成部は、数画像毎に前記車両領域判定部から前記第１車両領域を示す情報を受信する、
前記請求項１乃至７の何れか１項に記載の車両判別装置。
【請求項９】
前記第１探索窓設定部は、前記画像において車両が在り得る画像領域に第１探索窓を設定する、
前記請求項１乃至８の何れか１項に記載の車両判別装置。
【請求項１０】
前記第１探索窓設定部は、前記画像に写る被写体と前記画像を撮影した撮影装置との距離に基づいて前記第１探索窓の大きさ決定する、
前記請求項１乃至９の何れか１項に記載の車両判別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、車両判別装置に関する。
【背景技術】
【０００２】
車両判別装置は、道路脇又は道路上方などに設置されるカメラから道路上の画像を受信し、道路上を走行する車両を判別する。車両判別装置は、複数の車両判別方法を併用することで、車両判別の精度を向上させる。しかしながら、車両判別装置は、複数の車両判別装置を併用することで処理コストが上昇するという課題がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−８２２４８号公報
【特許文献２】特開２００９−８７３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の課題を解決するために、効率的に車両を判別する車両判別装置を提供する。
【課題を解決するための手段】
【０００５】
実施形態によれば、車両判別装置は、画像取得部と、第１探索窓設定部と、特徴量算出部と、尤度算出部と、車両領域判定部と、テンプレート画像生成部と、テンプレート記録部と、追跡領域設定部と、第２探索窓設定部と、候補領域判定部と、選択部と、検知部と、を有する。画像取得部は、画像を取得する。第１探索窓設定部は、前記画像に第１探索窓を設定する。特徴量算出部は、前記第１探索窓内の画像の特徴量を算出する。尤度算出部は、前記特徴量に基づいて前記第１探索窓内の前記画像が車両画像を含む第１車両領域である可能性を示す尤度を算出する。車両領域判定部は、前記尤度に基づいて前記第１探索窓内の前記画像が前記第１車両領域であるか判定する。テンプレート画像生成部は、前記第１車両領域に基づいてテンプレート画像を生成する。テンプレート記録部は、前記テンプレート画像を格納する。追跡領域設定部は、前記テンプレート画像に基づいて追跡領域を設定する。第２探索窓設定部は、前記追跡領域内に第２探索窓を設定する。候補領域判定部は、前記第２探索窓内の画像が前記テンプレート画像と一致する領域である候補領域であるか判定する。選択部は、前記候補領域の中から前記テンプレート画像が示す車両を含む第２車両領域を選択する。検知部は、前記第１車両領域と前記第２車両領域とに基づいて少なくとも車両の有無を検知する。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態に係る車両判別装置の機能例を示すブロック図である。
【図２】図２は、実施形態に係るラスタスキャンの例を説明するための図である。
【図３】図３は、実施形態に係る車両検出部が検出した車両の例を示す図である。
【図４】図４は、実施形態に係るテンプレート作成部が作成したテンプレートの例を示す図である。
【図５】図５は、実施形態に係る追跡領域制御部が設定した追跡領域の例を示す図である。
【図６】図６は、実施形態に係る車両追跡部が検出した車両の例を示す図である。
【図７】図７は、実施形態に係る車両領域選択部が選択した車両領域の例を示す図である。
【図８】図８は、実施形態に係る車両検出部の動作例を説明するためのフローチャートである。
【図９】図９は、実施形態に係る車両追跡部の動作例を説明するためのフローチャートである。
【図１０】図１０は、実施形態に係るテンプレート更新部の動作例を説明するためのフローチャートである。
【図１１】図１１は、実施形態に係る車両判別装置を設置されたフリーフロー装置の例の上面図である。
【図１２】図１２は、実施形態に係る車両判別装置を設置されたフリーフロー装置の例の側面図である。
【図１３】図１３は、実施形態に係る車両判別装置を設置されたフリーフロー装置の例の斜視図である。
【発明を実施するための形態】
【０００７】
実施形態に係る車両判別装置は、車両を含む画像から車両が写る領域（車両領域）を特定する。車両判別装置は、道路脇又は道路上方に設置されたカメラなどの撮影装置が撮影する画像に基づいて道路を通過する車両を識別する。
【０００８】
以下、図面を参照しながら説明する。  
図１は、実施形態に係る車両判別装置１の機能例を示すブロック図である。  
図１が示すように、車両判別装置１は、画像取得部１１、探索領域設定部１２、テンプレート作成部１３、テンプレート記録部１４、追跡領域設定部１５、道路状況検知部１６、車両検出部２０、識別器構築部３０、車両追跡部４０及びテンプレート更新部５０などを有する。
【０００９】
画像取得部１１は、道路など車両を含む画像を取得する。画像取得部１１は、カメラなどの撮影装置に接続される。たとえば、撮影装置は、ＩＴＶカメラなどである。撮影装置は、車両が通過する道路脇又は道路上空などに設置され、道路を撮影する。画像取得部１１は、撮影装置が撮影した画像を連続して取得する。画像取得部１１は、取得された画像をフレームごとに車両検出部２０へ送信する。
【００１０】
探索領域設定部１２は、車両検出部２０が車両を探索する探索領域を画像取得部１１が送信するフレーム（フレーム画像）に設定する。たとえば、探索領域設定部１２は、フレーム画像内において道路が写る領域（道路領域）などの車両が在り得る画像領域を探索範囲として設定する。この場合、探索領域設定部１２は、予めオペレータによって探索領域を指定されてもよいし、パターン解析などを用いて道路領域を特定し、道路領域を探索領域として設定してもよい。探索領域設定部１２１２が探索領域を決定する方法は、特定の方法に限定されるものではない。
【００１１】
また、探索領域設定部１２は、車両検出部２０が探索領域をスキャンする第１探索窓の大きさを車両検出部２０に設定する。即ち、探索領域設定部１２は、車両領域である可能性を示す尤度を算出する対象領域（第１探索窓）の大きさを決定する。探索領域設定部１２は、探索領域内で第１探索窓の大きさを変化させる。たとえば、探索領域設定部１２は、画像に写る被写体と撮影装置との距離に基づいて第１探索窓の大きさを決定する。たとえば、探索窓設定部２１は、撮影装置から遠方の領域については比較的小さな第１探索窓を設定し、撮影装置から近方の領域については比較的大きな第１探索窓を設定する。  
探索領域設定部１２は、探索領域を示す座標（たとえば、探索領域の左上及び右下の座標）及び第１探索窓の大きさを示す情報を車両検出部２０に送信する。
【００１２】
次に、車両検出部２０について説明する。  
車両検出部２０は、フレーム画像内にある車両領域を抽出する。  
図１が示すように、車両検出部２０は、第１探索窓設定部２１、第１特徴量算出部２２、尤度算出部２３、識別器選択部２４、辞書２５ａ乃至２５ｎ、識別器２６ａ乃至２６ｎ、及び車両領域判定部２７などを備える。
【００１３】
車両検出部２０の第１探索窓設定部２１は、画像取得部１１からのフレーム画像に第１探索窓を設定する。即ち、第１探索窓設定部２１は、探索領域設定部１２が設定する探索領域内に探索領域設定部１２が設定する大きさの第１探索窓を設定する。
【００１４】
第１探索窓設定部２１は、探索領域内の各部に第１探索窓を設定する。たとえば、第１探索窓設定部２１は、ｘ座標方法及びｙ座標方向に所定のドット間隔で探索領域内の各部に第１探索窓を設定してもよい。
【００１５】
第１特徴量算出部２２は、第１探索窓設定部２１が設定した第１探索窓内の画像の特徴量を算出する。第１特徴量算出部２２が算出する特徴量は、尤度算出部２３が尤度を算出するために利用する特徴量である。たとえば、第１特徴量算出部２２が算出す特徴量は、ＣｏＨＯＧ（Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ  Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｇｒａｄｉｅｎｔｓ）特徴量、又は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｇｒａｄｉｅｎｔｓ）特徴量などである。また、第１特徴量算出部２２は、複数種類の特徴量を算出してもよい。第１特徴量算出部２２が算出する特徴量は、特定の構成に限定されるものではない。
【００１６】
尤度算出部２３は、第１特徴量算出部２２が算出した特徴量に基づいて第１探索窓内の画像が車両の画像を含む第１車両領域である可能性を示す尤度を算出する。尤度算出部２３は、識別器２６ａ乃至２６ｎの少なくとも１つを利用して尤度を算出する。尤度算出部２３は、識別器選択部２４が選択する識別器２６を用いて尤度を算出する。たとえば、識別器２６は、車両画像の特徴量の平均値及び分散などを格納する。この場合、尤度算出部２３は、識別器２６が格納する車両画像の特徴量の平均値及び分散と第１探索窓内の画像の特徴量とを比較して尤度を算出してもよい。尤度算出部２３が尤度を算出する方法は、特定の方法に限定されるものではない。
【００１７】
識別器選択部２４は、尤度算出部２３が尤度を算出するために用いる識別器２６を選択する。即ち、識別器選択部２４は、識別器２６ａ乃至２６ｎの中から少なくとも１つの識別器２６を選択する。たとえば、識別器選択部２４は、各識別器に対応する辞書２５が格納する輝度値などと第１探索窓内の画像の輝度値などとを比較することで、識別器２６を選択してもよい。また、識別器選択部２４は、道路状況に応じて識別器２６を選択してもよい。たとえば、識別器選択部２４は、撮影装置が道路を撮影する方向などから車両の向きを推測し、車両の向きに応じて識別器２６を選択してもよい。識別器選択部２４が識別器２６を選択する方法は、特定の方法に限定されるものではない。
【００１８】
辞書２５は、識別器選択部２４が識別器２６を選択するために必要な情報（辞書情報）を格納する。辞書２５が格納する辞書情報は、辞書２５が対応する識別器２６に応じた情報である。辞書２５ａ乃至２５ｎは、それぞれ識別器２６ａ乃至２６ｎに対応する。たとえば、辞書２５は、識別器２６が識別する車両画像の輝度値などを示す情報を辞書情報として格納する。
【００１９】
識別器２６は、尤度算出部２３が尤度を算出するために用いる情報（識別器情報）を格納する。たとえば、識別器情報は、車両画像の特徴量の平均値及び分散などであってもよい。また、識別器２６は、車両の種類及び向きなどに応じて複数個存在する。たとえば、識別器２６は、車両の種類として普通車及び大型車などのカテゴリに応じて、また、前向き、後ろ向き及び横向きなどのカテゴリに存在する。たとえば、識別器２６ａは、前向きの普通車の尤度を算出するための識別器情報を格納してもよい。ここでは、識別器２６ａ乃至２６ｎが存在する。識別器２６の個数及び種類は、特定の構成に限定されるものではない。
【００２０】
車両領域判定部２７は、尤度算出部２３が算出した尤度から第１探索窓内の画像が第１車両領域であるか判定する。たとえば、車両領域判定部２７は、尤度算出部２３が算出した尤度が所定の閾値（尤度閾値）より大きい場合に第１探索窓内の画像が第１車両領域であると判定する。
【００２１】
第１探索窓内の画像が車両領域であると判定した場合、車両検出部２０は、当該第１探索窓の座標及び当該第１探索窓内の画像をテンプレート作成部１３へ送信する。即ち、車両検出部２０は、当該第１探索窓内の画像と当該第１探索窓の左上及び右下の座標を示す情報とをテンプレート作成部１３へ送信する。
【００２２】
次に、識別器構築部３０について説明する。  
識別器構築部３０は、識別器を構築する。  
図１が示すように、識別器構築部３０は、学習用データ保存部３１、教示データ作成部３２、第２特徴量算出部３３、学習部３４及び識別器構築処理部３５などを備える。
【００２３】
学習用データ保存部３１は、車両領域を含む多数の学習用画像を格納する。学習用データ保存部３１は、カメラなどが撮影した学習用画像を予め多数格納する。
【００２４】
教示データ作成部３２は、学習用データ保存部３１が保存する学習用画像から矩形の車両領域を作成する。たとえば、オペレータが学習用画像を視認して、教示データ作成部３２へ矩形の車両領域を入力してもよい。
【００２５】
第２特徴量算出部３３は、教示データ作成部３２が作成した車両領域の特徴量を算出する。第２特徴量算出部３３が算出する特徴量は、識別器２６に格納する識別器情報を生成するための特徴量である。第２特徴量算出部３３が算出する特徴量は、ＣｏＨＯＧ特徴量、又は、ＨＯＧ特徴量などである。また、第２特徴量算出部３３は、複数種類の特徴量を算出してもよい。第２特徴量算出部３３が算出す特徴量は、特定の構成に限定されるものではない。
【００２６】
学習部３４は、第２特徴量算出部３３が算出する特徴量と特徴量を算出した車両画像のカテゴリ（たとえば、車両の種類及び向きのカテゴリ）とを対応付けた学習データを生成する。
【００２７】
識別器構築処理部３５は、学習部３４が生成した学習データに基づいて、各識別器２６が格納する識別器情報を生成する。たとえば、識別器構築処理部３５は、学習データをカテゴリ別に分類し、分類された学習データに基づいて識別器情報を生成する。たとえば、識別器構築処理部３５は、部分空間法、サポートベクターマシン、Ｋ近傍識別器、ベイズ分類などの機械学習により、識別パラメータを構成する非ルールベースの手法を用いてもよい。識別器構築処理部３５が識別器情報を生成する方法は、特定の方法に限定されるものではない。  
識別器構築部３０は、識別器構築処理部３５が生成した識別器情報を各識別器２６ａ乃至２６ｎに格納する。
【００２８】
テンプレート作成部１３は、車両検出部２０が送信する第１車両領域の座標及び第１車両領域の画像（第１車両領域を示す情報）に基づいてテンプレート画像を生成する。テンプレート画像は、フレーム画像から抽出した第１車両領域に含まれる車両画像である。テンプレート作成部１３は、車両検出部２０が検出した各第１車両領域に対してテンプレート画像を生成する。なお、テンプレート画像のサイズは、第１探索窓と同一であってもよいし、背景を削除するために第１探索窓よりも数ドット分小さいサイズであってもよい。
【００２９】
また、テンプレート作成部１３は、数フレーム画像に一度、第１車両領域を示す情報を受信し、受信したデータに基づいてテンプレート画像を生成してもよい。この場合、車両判別装置１は、道路上の車両数、車両の速度及び事故の有無などの道路状況などに応じて、テンプレート作成部１３がテンプレート画像を生成するフレーム数の間隔を変更してもよい。
【００３０】
テンプレート作成部１３は、生成されたテンプレート画像とテンプレート画像の左上及び右下の座標を示す情報とをテンプレート記録部１４に格納する。
【００３１】
テンプレート記録部１４は、テンプレート作成部１３が作成したテンプレート画像の左上及び右下の座標を示す情報とテンプレート画像とを格納する。
【００３２】
追跡領域設定部１５は、車両追跡部４０が第２車両領域を探索する追跡領域をフレーム画像に設定する。追跡領域設定部１５は、テンプレート画像が示す各領域に対して追跡領域を設定する。追跡領域設定部１５は、テンプレート画像が示す各領域の周辺に追跡領域を設定する。たとえば、追跡領域設定部１５は、画像に写る被写体と撮影装置との距離に基づいて追跡領域の大きさを決定する。たとえば、追跡領域設定部１５は、撮影装置から遠方の領域については車両領域を中心として大きな追跡領域を設定し、撮影装置から近方の領域については車両領域を中心として小さな追跡領域を設定する。フレーム画像において一般的に画像のｙ座標が小さくなるにつれて、車両領域は線型的に小さくなる。そのため、追跡領域設定部１５は、車両領域のｙ座標が小さくなるにつれて線型的に追跡領域の大きさを小さくしてもよい。
【００３３】
また、追跡領域設定部１５は、第１車両領域の尤度に応じて追跡領域を設定してもよい。たとえば、第１車両領域の尤度が小さい場合（即ち、尤度が尤度閾値をわずかにしか超えていない場合）、テンプレート画像は、実際の車両画像を適切に含んでおらず、車両画像とずれている。この場合、追跡領域設定部１５は、比較的大きな追跡領域を設定する。また、第１車両領域の尤度が大きい場合（即ち、尤度が尤度閾値を大幅に超えていない場合）、テンプレート画像は、実際の車両画像を適切に含んでいる。この場合、追跡領域設定部１５は、比較的小さな追跡領域を設定する。追跡領域設定部１５が追跡領域の大きさを決定する方法は、特定の方法に限定されるものではない。
【００３４】
追跡領域設定部１５は、追跡領域の左上座標及び右下座標を示す情報を車両追跡部４０へ送信する。
【００３５】
次に、車両追跡部４０について説明する。  
図１が示すように、車両追跡部４０は、テンプレート読取部４１、マッチング処理部４２及び車両領域選択部４３などを備える。車両追跡部４０は、前のフレーム画像に基づくテンプレート画像に基づいてフレーム画像から第２車両領域を抽出する。第２車両領域は、テンプレート画像が示す車両を含む領域である。たとえば、車両追跡部４０は、時刻ｔ−１（即ち、画像取得部１１が現在のフレームを取得した時刻よりも１フレーム分前の時刻）におけるフレーム画像に基づくテンプレート画像を用いて時刻ｔにおけるフレーム画像から第２車両領域を抽出する。
【００３６】
テンプレート読取部４１は、テンプレート記録部１４が格納するテンプレート画像、追跡領域設定部１５が設定した追跡領域の左上座標並びに右下座標などを取得する。
【００３７】
マッチング処理部４２は、追跡領域内にテンプレート画像と一致する候補領域を抽出する。マッチング処理部４２は、第２探索窓設定部４２ａ及び候補領域判定部４２ｂなどを備える。
【００３８】
マッチング処理部４２は、追跡領域内においてテンプレート画像などを用いてラスタスキャンを行う。ラスタスキャンとは、探索窓を追跡領域の左上から右に所定のドット数分移動させていき、右端まで移動したら下に所定のドット数分移動させて左端に戻して再度右に移動させる。ラスタスキャンは、探索窓が右下に達するまで上記の動作を繰り返す。
【００３９】
第２探索窓設定部４２ａは、追跡領域内に第２探索窓を設定する。マッチング処理部４２がラスタスキャンを行うので、第２探索窓設定部４２ａは、第２探索窓を上記の通りに移動させる。
【００４０】
第２探索窓のサイズは、テンプレート画像と同一であってもよいし、背景を削除するためにテンプレート画像よりも数ドット分小さいサイズであってもよい。
【００４１】
マッチング処理部４２の候補領域判定部４２ｂは、第２探索窓内の画像がテンプレート画像と一致する候補領域であるか判定する。ここで、テンプレート画像は、第２探索窓が設置された追跡領域に対応したテンプレート画像である。たとえば、候補領域判定部４２ｂは、第２探索窓内の各ドットにおける輝度値とテンプレート画像内の各ドットの輝度値との差を算出し、各ドットの輝度値の差をすべて合計した値（総和値）を算出する。総和値を算出すると、候補領域判定部４２ｂは、総和値が所定の閾値（輝度閾値）以下であるか判定する。総和値が輝度閾値以下である場合、候補領域判定部４２ｂは、当該第２探索窓内の画像が候補領域であると判定する。総和値が輝度閾値以下でない場合、候補領域判定部４２ｂは、当該第２探索窓内の画像が候補領域でないと判定する。なお、候補領域判定部４２ｂは、第２探索窓内の画像とテンプレート画像とをパターンマッチングなどで比較して当該第２探索窓内の画像が候補領域であるか判定してもよい。候補領域判定部４２ｂが当該第２探索窓内の画像が候補領域であるか判定する方法は、特定の方法に限定されるものではない。
【００４２】
図２は、マッチング処理部４２が行うラスタスキャンについて説明するための図である。  
図２が示す例においては、追跡領域設定部１５は、追跡領域の左上座標として（ｘ１、ｙ１）及び右下座標として（ｘ１＋α、ｙ１＋β）をフレーム画像に設定したものとする。
【００４３】
まず、マッチング処理部４２の第２探索窓設定部４２ａは、第２探索窓６１を追跡領域の左上に設定する。第２探索窓設定部４２ａが第２探索窓６１を追跡領域の左上に設定すると、候補領域判定部４２ｂは、テンプレート画像の各ドットの輝度値と第２探索窓内の各ドットの輝度値とに基づいて総和値を算出する。総和値を算出すると、候補領域判定部４２ｂは、総和値から第２探索窓内の画像が候補領域であるか判定する。候補領域判定部４２ｂが第２探索窓内の画像が候補領域であるか判定すると、第２探索窓設定部４２ａは、次の第２探索窓６１を設定する。
【００４４】
図２が示すように、第２探索窓６１は、左端から所定のドット数分ずつ右端まで移動する。右端まで移動すると、第２探索窓６１は、再度左端に戻り、下に所定のドット数分移動する。第２探索窓６１は、以上の動作を繰り返し、追跡領域の右下まで移動する。  
第２探索窓６１が追跡領域の右下まで移動すると、マッチング処理部４２は、追跡処理を終了する。
【００４５】
車両領域選択部４３は、マッチング処理部４２が抽出した候補領域から、テンプレート画像が示す車両を含む第２車両領域を選択する。マッチング処理部４２が抽出した候補領域が１つである場合、車両領域選択部４３は、当該候補領域を第２車両領域として選択する。
【００４６】
マッチング処理部４２が抽出した候補領域が２つ以上ある場合、車両領域選択部４３は、複数の候補領域の中から第２車両領域として１つの候補領域を選択する。たとえば、車両領域選択部４３は、過去の第２車両領域に基づいて候補領域を選択する。車両領域選択部４３は、過去の車両領域の位置から車両の進行方向を推測し、推測された進行方向の延長線上にある候補領域を選択してもよい。道路がカーブしている場合、車両領域選択部４３は、道路のカーブに沿った進行方向を推測してもよい。また、道路が直線である場合、車両領域選択部４３は、直線的な進行方向を推測してもよい。車両領域選択部４３が候補領域を選択する方法は、特定の方法に限定されるものではない。  
車両領域選択部４３が第２車両領域として候補領域を選択すると、車両追跡部４０は、選択された第２車両領域をテンプレート更新部５０へ送信する。  
なお、車両追跡部４０は、第１車両領域及び第２車両領域などに基づいて車両の速度及び移動方向などを示す移動情報を生成してもよい。
【００４７】
次に、テンプレート更新部５０について説明する。  
図１が示すように、テンプレート更新部５０は、重なり率算出部５１及びテンプレート更新判定部５２などを備える。  
テンプレート更新部５０は、車両追跡部４０が第２車両領域の抽出に用いるテンプレート画像を、車両検出部２０が抽出した第１車両領域に基づくテンプレート画像に更新する。たとえば、車両追跡部４０が時刻ｔ−１におけるフレーム画像に基づくテンプレート画像を用いて第２車両領域を抽出した場合、テンプレート更新部５０は、車両追跡部４０が第２車両領域の抽出に用いるテンプレート画像を時刻ｔにおけるフレーム画像に基づくテンプレート画像に更新する。
【００４８】
重なり率算出部５１は、あるフレーム画像に基づくテンプレート画像と車両追跡部４０が同一のフレーム画像から抽出した第２車両画像とを比較し重なり率を算出する。たとえば、車両検出部２０が時刻ｔ−１におけるフレーム画像から第１車両領域を抽出する。テンプレート作成部１３が当該第１車両画像からテンプレート画像を生成する。車両追跡部４０は、当該テンプレート画像に基づいて時刻ｔにおけるフレーム画像から第２車両領域を抽出する。同時に、車両検出部２０は、時刻ｔにおけるフレーム画像から第１車両領域を抽出する。テンプレート作成部１３は、当該第１車両画像から時刻ｔにおけるテンプレート画像を生成する。重なり率算出部５１は、時刻ｔにおける第２車両画像と時刻ｔにおけるテンプレート画像とを比較して重なり率を算出する。
【００４９】
重なり率は、両画像の一致の程度を示す値である。たとえば、重なり率は、両画像の各ドットの輝度値の差を合計した値に基づいて算出されてもよい。また、重なり率は、両画像のパターンマッチングによって算出されてもよい。重なり率の算出方法は、特定の方法に限定されるものではない。
【００５０】
テンプレート更新判定部５２は、重なり率算出部５１が算出した重なり率に基づいてテンプレート画像を更新するか否か決定する。即ち、重なり率が所定の閾値より大きい場合、テンプレート更新判定部５２は、テンプレート画像を更新する。また、重なり率が所定の閾値以下である場合、テンプレート更新判定部５２は、テンプレート画像を更新しない。
【００５１】
テンプレート画像を更新する場合、テンプレート更新判定部５２は、新しいテンプレート画像及び新しいテンプレート画像の左上及び右下の座標を示す情報をテンプレート記録部１４に格納する。  
また、テンプレート更新判定部５２がテンプレート画像を更新する場合、追跡領域設定部１５は、更新されたテンプレート画像に基づいて追跡領域をフレーム画像に設定し直す。
【００５２】
道路状況検知部１６は、車両検出部２０が抽出した第１車両領域及び車両追跡部４０が抽出した第２車両領域に基づいて車両の有無及び数などを検知する。たとえば、道路状況検知部１６は、第１車両領域及び第２車両領域が重なり合う領域に車両があると判定してもよいし、第１車両領域又は第２車両領域のいずれかがある領域に車両があると判定してもよい。また、道路状況検知部１６は、車両の検知結果に基づいて道路上の渋滞、通過台数、速度超過、停止、低速、回避、及び逆走などの道路状況を検知してもよい。たとえば、道路状況検知部１６は、車両追跡部４０が生成した移動情報などから各事象を検知してもよい。
【００５３】
次に、車両判別装置１の動作例について説明する。  
まず、画像取得部１１は、撮影装置から車両領域を含むフレーム画像を取得する。フレーム画像を取得すると、画像取得部１１は、取得されたフレーム画像を車両検出部２０へ送信する。
【００５４】
車両検出部２０は、画像取得部１１からフレーム画像を受信する。フレーム画像を取得すると、探索領域設定部１２は、探索領域をフレーム画像に設定する。探索領域を設定すると、探索領域設定部１２は、第１探索窓の大きさを示す情報を車両検出部２０へ送信する。
【００５５】
探索領域設定部１２が第１探索窓の大きさを車両検出部２０へ送信すると、車両検出部２０は、第１探索窓の大きさ及び探索領域に基づいてフレーム画像から第１車両領域を抽出する。車両検出部２０が第１車両領域を抽出する動作例については後術する。
【００５６】
図３は、車両検出部２０が抽出した第１車両領域の例を示す図である。  
図３の例において、探索領域設定部１２は、道路７４上を探索領域として車両検出部２０に設定する。また、図３において、図の上方は遠方で図の下方は近方であるので、探索領域設定部１２は、道路７４の上方については比較的小さい第１探索窓を設定し、下方については比較的大きい第１探索窓を設定する。
【００５７】
車両検出部２０は、探索領域設定部１２が設定した探索領域及び第１探索窓の大きさに基づいて第１車両領域を抽出する。  
図３が示すように、車両検出部２０は、第１車両領域７１、７２及び７３を抽出する。探索領域設定部１２が道路７４の上方については比較的小さい第１探索窓を設定しているので、第１車両領域７１は、第１車両領域７２及び７３よりも小さい。図３の例においては、車両検出部２０は、３つの第１車両領域７１乃至７３を抽出したが、車両検出部２０が抽出する第１車両領域の数は、特定の個数に限定されるものではない。
【００５８】
車両検出部２０が第１車両領域を抽出すると、車両検出部２０は、第１車両領域の画像と第１車両領域の左上及び右下の座標を示す情報とをテンプレート作成部１３へ送信する。  
図３の例において、車両検出部２０は、第１車両領域７１乃至７３の画像と各画像の左上及び右下の座標を示す情報とをテンプレート作成部１３へ送信する。
【００５９】
テンプレート作成部１３は、車両検出部２０から第１車両領域の画像と第１車両領域の左上及び右下の座標を示す情報とを受信する。各データを受信すると、テンプレート作成部１３は、テンプレート画像を生成する。
【００６０】
図４は、テンプレート作成部１３が生成したテンプレート画像の例である。  
図４が示すテンプレート画像は、図３が示すフレーム画像を基に生成された画像である。
【００６１】
図４が示すように、テンプレート画像は、画像８１、画像８２及び画像８３から構成される。  
画像８１、画像８２及び画像８３は、車両領域７１、車両領域７２及び車両領域７３にそれぞれ対応している。即ち、画像８１、画像８２及び画像８３は、それぞれ車両領域７１、車両領域７２及び車両領域７３に基づいて生成される。
【００６２】
テンプレート作成部１３がテンプレート画像を生成すると、テンプレート記録部１４は、テンプレート作成部１３が生成したテンプレート画像とテンプレート画像の左上及び右下の座標を示す情報（座標情報）とを格納する。
【００６３】
テンプレート記録部１４が各データを格納すると、追跡領域設定部１５は、テンプレート記録部１４が格納するテンプレート画像及び座標情報に基づいて追跡領域をフレーム画像に設定する。
【００６４】
図５は、追跡領域設定部１５がフレーム画像に設定した追跡領域の例を示す図である。  
図５が示す例において、追跡領域９１、追跡領域９２及び追跡領域９３は、画像８１、画像８２及び画像８３に対応する。即ち、車両追跡部４０は、追跡領域９１内において画像８１が示す車両と同一の車両を抽出する。また、車両追跡部４０は、追跡領域９２内において画像８２が示す車両と同一の車両を抽出する。また、車両追跡部４０は、追跡領域９３内において画像８３が示す車両と同一の車両を抽出する。
【００６５】
図５が示すように、追跡領域９１が最も小さく、次に追跡領域９２が小さく、追跡領域９３が最も大きい。これは、フレーム画像において、ｙ座標が小さくなるほど（即ち、上になるほど）、被写体が遠方であり小さく映るからである。そのため、追跡領域設定部１５は、ｙ座標が小さいテンプレート画像（たとえば、画像８１）については比較的小さな追跡領域（たとえば、追跡領域９１）を設定する。同様に、追跡領域設定部１５は、ｙ座標が大きなテンプレート画像（たとえば、画像８３）については比較的大きな追跡領域（たとえば、追跡領域９３）を設定する。
【００６６】
追跡領域設定部１５が追跡領域を車両追跡部４０に設定すると、車両追跡部４０は、次のフレーム画像において第２車両領域を抽出する。たとえば、時刻ｔ−１におけるフレーム画像に基づいて追跡領域が設定された場合、車両追跡部４０は、時刻ｔにおけるフレーム画像において第２車両領域を抽出する。  
車両追跡部４０が第２車両領域を抽出する動作例については後術する。
【００６７】
図６は、車両追跡部４０が抽出した第２車両領域の例を示す図である。  
図６が示す例において、画像１０１、画像１０２及び画像１０３は、車両追跡部４０が第２車両領域を抽出するために使用したテンプレート画像である。
【００６８】
また、図６が示す例において、車両追跡部４０は、画像１０１、画像１０２及び画像１０３に基づいて、第２車両領域１０４、第２車両領域１０５及び第２車両領域１０６を抽出する。
【００６９】
第２車両領域１０４、第２車両領域１０５及び第２車両領域１０６は、それぞれ画像１０１、画像１０２及び画像１０３に対応している。たとえば、車両追跡部４０は、画像１０１が示す車両を含む第２車両領域１０４を抽出する。また、車両追跡部４０は、画像１０２が示す車両を含む第２車両領域１０５を抽出する。また、車両追跡部４０は、画像１０３が示す車両を含む第２車両領域１０６を抽出する。
【００７０】
次に、マッチング処理部４２が追跡領域内に複数の候補領域を抽出した場合について説明する。  
図７は、複数の候補領域を含む追跡領域の例を示す図である。
【００７１】
図７が示すように、マッチング処理部４２は、候補領域内に候補領域２０３及び候補領域２０４を抽出する。
【００７２】
この場合、車両領域選択部４３は、過去の車両領域から第２車両領域を選択する。ここでは、車両領域選択部４３は、時刻ｔにおける第２車両領域を選択する。図７が示す例において、車両領域２０１は、時刻ｔ−２における車両領域である。また、車両領域２０２は、時刻ｔ−１における車両領域である。
【００７３】
車両領域選択部４３は、たとえば、車両領域２０１及び車両領域２０２の延長線上にある候補領域を第２車両領域と選択する。図７において、車両領域２０１と車両領域２０２との延長線には候補領域２０４がある。そのため、車両領域選択部４３は、候補領域２０４を第２車両領域と選択する。
【００７４】
なお、車両領域選択部４３は、道路のカーブに合わせて第２車両領域を選択してもよい。車両領域選択部４３が第２車両領域を選択する方法は、特定の方法に限定されるものではない。
【００７５】
車両追跡部４０が第２車両領域を抽出すると、テンプレート更新部５０は、テンプレート画像を更新するか判定し、更新すると判定した場合にテンプレート画像を更新する。テンプレート更新部５０がテンプレート画像を更新する動作例については後術する。
【００７６】
テンプレート更新部５０がテンプレートの更新処理を終了すると、道路状況検知部１６は、車両検出部２０が抽出した第１車両領域及び車両追跡部４０が抽出した第２車両領域に基づいて車両の有無及び数などを検知する。車両の有無及び数などを検知すると、道路状況検知部１６は、検知された車両の有無及び数などに基づいて道路状況などを検知してもよい。  
道路状況検知部１６が道路状況などを検知すると、車両判別装置１は、動作を終了する。
【００７７】
次に、車両検出部２０が第１車両領域を抽出する動作例について説明する。  
図８は、車両検出部２０が第１車両領域を抽出する動作例について説明するためのフローチャートである。  
まず、車両検出部２０は、画像取得部１１からフレーム画像を取得する（ステップＳ１１）。
【００７８】
車両検出部２０がフレーム画像を取得すると、第１探索窓設定部２１は、フレーム画像の探索領域内に第１探索窓を設定する（ステップＳ１２）。第１探索窓設定部２１は、探索領域内の所定の位置に最初の第１探索窓を設定する。また、２回目以降の第１探索窓の設定においては、第１探索窓設定部２１は、これまでに第１探索窓を設定していない領域に第１探索窓を設定する。
【００７９】
第１探索窓設定部２１が第１探索窓を設定すると、第１特徴量算出部２２は、第１探索窓内の画像に基づいて特徴量を算出する（ステップＳ１３）。第１特徴量算出部２２が特徴量を算出すると、識別器選択部２４は、第１探索窓内の画像に基づいて識別器２６を選択する（ステップＳ１４）。識別器選択部２４が識別器２６を選択すると、尤度算出部２３は、識別器選択部２４が選択した識別器２６を用いて第１探索窓内の画像の尤度を算出する（ステップＳ１５）。
【００８０】
尤度算出部２３が尤度を算出すると、車両領域判定部２７は、尤度算出部が算出した尤度から第１探索窓内の画像が第１車両領域であるか判定する（ステップＳ１６）。車両領域判定部２７が第１探索窓内の画像が第１車両領域であると判定すると（ステップＳ１６、ＹＥＳ）、車両検出部２０は、車両領域判定部２７が抽出した第１車両領域の画像と第１車両領域の左上及び右下の座標を示す情報とテンプレート作成部１３へ送信する（ステップＳ１７）。
【００８１】
車両領域判定部２７が第１探索窓内の画像が第１車両領域でないと判定した場合（ステップＳ１６、ＮＯ）、又は、車両検出部２０が各データをテンプレート作成部１３へ送信した場合（ステップＳ１７）、車両検出部２０は、第１探索窓を設定していない探索領域があるか判定する（ステップＳ１８）。
【００８２】
第１探索窓を設定していない探索領域があると判定すると（ステップＳ１８、ＹＥＳ）、車両検出部２０は、ステップＳ１２へ戻る。第１探索窓を設定していない探索領域がないと判定すると（ステップＳ１８、ＮＯ）、車両検出部２０は、動作を終了する。
【００８３】
なお、車両検出部２０は、探索領域を探索し終えてから、第１車両領域の画像と第１車両領域の左上及び右下の座標を示す情報とテンプレート作成部１３へ送信してもよい。
【００８４】
次に、車両追跡部４０が第２車両領域を抽出する動作例について説明する。  
図９は、車両追跡部４０が第２車両領域を抽出する動作例について説明するためのフローチャートである。  
まず、車両追跡部４０のテンプレート読取部４１は、テンプレート記録部１４が格納しているテンプレート画像を取得する（ステップＳ２１）。
【００８５】
テンプレート読取部４１がテンプレート画像を取得すると、マッチング処理部４２の第２探索窓設定部４２ａは、追跡領域に第２探索窓を設定する（ステップＳ２２）。第２探索窓設定部４２ａは、ラスタスキャンが実行されるように第２探索窓を設定する。即ち、最初に第２探索窓を設定する場合、第２探索窓設定部４２ａは、第２探索窓の左上に第２探索窓を設定する。また、２回目以降に第２探索窓を設定する場合、第２探索窓設定部４２ａは、第２探索窓を図２が示すように移動させる。
【００８６】
第２探索窓設定部４２ａが第２探索窓を設定すると、候補領域判定部４２ｂは、第２探索窓内の各ドットの輝度値とテンプレート画像の各ドットの輝度値との差を算出し、総和値を算出する（ステップＳ２３）。総和値を算出すると、候補領域判定部４２ｂは、総和値に基づいて第２探索窓内の画像が候補領域であるか判定する（ステップＳ２４）。
【００８７】
候補領域判定部４２ｂが第２探索窓内の画像が候補領域であると判定すると（ステップＳ２４、ＹＥＳ）、マッチング処理部４２は、判定された候補領域を記録する（ステップＳ２５）。  
候補領域判定部４２ｂが第２探索窓内の画像が候補領域でないと判定した場合（ステップＳ２４、ＮＯ）、又は、マッチング処理部４２が候補領域を記録した場合（ステップＳ２５）、マッチング処理部４２は、第２探索窓を設定していない追跡領域があるか判定する（ステップＳ２６）。
【００８８】
第２探索窓を設定していない追跡領域があると判定すると（ステップＳ２６、ＹＥＳ）、マッチング処理部４２は、ステップＳ２２に戻る。  
マッチング処理部４２が第２探索窓を設定していない追跡領域がないと判定すると（ステップＳ２６、ＮＯ）、車両領域選択部４３は、候補領域から第２車両領域を選択する（ステップＳ２７）。車両領域選択部４３が第２車両領域を選択すると、車両追跡部４０は、選択された第２車両領域をテンプレート更新部５０へ送信する。
【００８９】
選択された第２車両領域をテンプレート更新部５０へ送信すると、車両追跡部４０は、動作を終了する。  
車両追跡部４０は、追跡領域設定部１５が設定した各追跡領域について同様の動作を行う。
【００９０】
次に、テンプレート更新部５０の動作例について説明する。  
図１０は、テンプレート更新部５０の動作例について説明するためのフローチャートである。  
まず、テンプレート更新部５０は、テンプレート作成部１３が作成した新しいテンプレート画像を取得する（ステップＳ３１）。新しいテンプレート画像とは、車両追跡部４０が第２車両領域の抽出に使用したテンプレート画像よりも後に生成されたテンプレート画像である。
【００９１】
新しいテンプレート画像を取得すると、テンプレート更新部５０は、車両追跡部４０が抽出した第２車両領域を取得する（ステップＳ３２）。車両追跡部４０が第２車両領域を取得すると、重なり率算出部５１は、第２車両領域と新しいテンプレート画像との重なり率を算出する（ステップＳ３３）。
【００９２】
重なり率算出部５１が重なり率を算出すると、テンプレート更新判定部５２は、重なり率に基づいてテンプレート画像を更新するか判定する（ステップＳ３４）。
【００９３】
テンプレート更新判定部５２がテンプレート画像を更新すると判定すると（ステップＳ３４、ＹＥＳ）、テンプレート更新部５０は、テンプレート画像を更新する（ステップＳ３５）。即ち、テンプレート更新部５０は、テンプレート記録部１４に格納されているテンプレート画像を新しいテンプレート画像に書き換える。また、テンプレート更新部５０は、テンプレート画像の左上及び右下の座標を示す情報を、新しいテンプレート画像の左上及び右下の座標を示す情報に書き換える。
【００９４】
テンプレート更新判定部５２がテンプレート画像を更新しないと判定した場合（ステップＳ３４、ＮＯ）、又は、テンプレート更新部５０がテンプレート画像を更新した場合（ステップＳ３５）、テンプレート更新部５０は、動作を終了する。  
なお、ステップＳ３１とステップＳ３２は、逆の順序でもよい。
【００９５】
なお、車両追跡部４０が抽出した第２車両領域において車両検出部２０が第１車両領域を抽出できなかった場合、車両判別装置１は、第２車両領域の画像を識別器構築部３０へ送信してもよい。この場合、識別器構築部３０は、送信された第２車両領域を用いて識別器２６を学習させてもよい。
【００９６】
また、車両判別装置１は、時間帯及び天候などの道路環境に応じて尤度閾値及び輝度閾値を変更してもよい。また、車両判別装置１は、道路環境に応じて第１車両領域及び第２車両領域の何れか重視して車両の有無を判定するかを決定してもよい。
【００９７】
次に、実施形態に係る車両判別装置１を備えるフリーフローについて説明する。  
図１１は、車両判別装置１を設置されたフリーフロー装置の例の上面図である。  
図１２は、車両判別装置１を設置されたフリーフロー装置の例の側面図である。  
図１３は、車両判別装置１を設置されたフリーフロー装置の例の斜視図である。
【００９８】
図１１、図１２及び図１３が示すように、フリーフロー装置は、上り車線及び下り車線にそれぞれ車両判別装置１ａ及び車両判別装置１ｂを備える。車両判別装置１ａ及び１ｂは、それぞれ上り車線及び下り車線を通過する車両を検知する。
【００９９】
フリーフロー装置は、撮影装置として道路上方のガントリなどに設置されるカメラを備える。フリーフロー装置は、背景差分やフレーム間差分など比較的処理コストの低い処理を用いて車両が写るフレーム画像候補を抽出し、フレーム画像候補に車両検出部２０が行う処理を施してもよい。この場合、車両判別装置１は、車両又はナンバープレートなど車両を特定できる局所的な個所を抽出してもよい。たとえば、車両判別装置１は、車両全体の特徴量を用いてもよいし、ナンバープレートなど車両を特定できる局所的な個所の特徴量を用いてもよい。
【０１００】
以上のように構成される車両判別装置は、車両検出部が抽出した車両領域の周辺において車両追跡部が車両領域を抽出する。その結果、車両判別装置は、車両領域を探索する範囲を限定することができ、効率的に車両を判別することができる。
【０１０１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１０２】
１…車両判別装置、１１…画像取得部、１２…探索領域設定部、１３…テンプレート作成部、１４…テンプレート記録部、１５…追跡領域設定部、１６…道路状況検知部（検知部）、２０…車両検出部、２１…第１探索窓設定部、２２…第１特徴量算出部（特徴量算出部）、２３…尤度算出部、２７…車両領域抽出部、４０…車両追跡部、４１…テンプレート読取部、４２…マッチング処理部、４２ａ…第２探索窓設定部、４２ｂ…候補領域判定部、４３…車両領域選択部（選択部）、５０…テンプレート更新部、５１…重なり率算出部、５２…テンプレート更新判定部。
【図１】
2014219801.tif 000003
【図２】
2014219801.tif 000004
【図３】
2014219801.tif 000005
【図４】
2014219801.tif 000006
【図５】
2014219801.tif 000007
【図６】
2014219801.tif 000008
【図７】
2014219801.tif 000009
【図８】
2014219801.tif 000010
【図９】
2014219801.tif 000011
【図１０】
2014219801.tif 000012
【図１１】
2014219801.tif 000013
【図１２】
2014219801.tif 000014
【図１３】
2014219801.tif 000015