(57)【特許請求の範囲】
【請求項１】
走行する車両をその背景とともに撮像して撮像画像を出力する撮像部と、
撮像画像に含まれる車両を認識する車両認識手段と、
車両認識手段によって認識された車両について、当該車両のバウンダリーボックスにおける背景を含む車両画像を抽出する車両画像抽出手段と、
抽出された車両画像を受けて、当該画像中の車両の前後のタイヤ、側面を含む部位領域を抽出し、当該車両の前後のタイヤ、側面を含む複数の部位領域に分割され、それぞれの部位領域は色または濃度にて塗り分けられ、各部位領域は異なる色または濃度にて区別可能とされた部位推定車両画像を生成する部位抽出手段と、
当該複数の部位領域が車両全体との関係において明らかにされた前記部位推定車両画像に基づいて、大型車か小型車かを推定する大小推定手段と、
を備えた車推定装置において、
前記大小推定手段は、前記バウンダリーボックスにおける背景を含む車両画像も推定の根拠に用い、
前記部位抽出手段は、予め用意された車両画像と、当該車両の前後のタイヤ、側面を含む複数の部位領域に分割され、それぞれの部位領域は色または濃度にて塗り分けられ、各部位領域は異なる色または濃度にて区別可能とされた予め用意された部位車両画像とに基づいて学習された学習済モデルを用いて、部位推定車両画像を生成するものであり、
前記大小推定手段は、前記部位推定車両画像および前記バウンダリーボックスにおける背景を含む車両画像に基づいて、大型車か小型車かを推定する学習済モデルを用いて、大型車か小型車かを推定するよう構成されていることを特徴とする車推定装置。
【請求項２】
車推定装置をコンピュータによって実現するための車種推定プログラムであって、コンピュータを、
走行する車両をその背景とともに撮像した撮像画像に含まれる車両を認識する車両認識手段と、
車両認識手段によって認識された車両について、当該車両のバウンダリーボックスにおける背景を含む車両画像を抽出する車両画像抽出手段と、
抽出された車両画像を受けて、当該画像中の車両の前後のタイヤ、側面を含む部位領域を抽出し、当該車両の前後のタイヤ、側面を含む複数の部位領域に分割され、それぞれの部位領域は色または濃度にて塗り分けられ、各部位領域は異なる色または濃度にて区別可能とされた部位推定車両画像を生成する部位抽出手段と、
当該複数の部位領域が車両全体との関係において明らかにされた前記部位推定車両画像に基づいて、大型車か小型車かを推定する大小推定手段として機能させるための車推定プログラムにおいて、
前記大小推定手段は、前記バウンダリーボックスにおける背景を含む車両画像も推定の根拠に用い、
前記部位抽出手段は、予め用意された車両画像と、当該車両の前後のタイヤ、側面を含む複数の部位領域に分割され、それぞれの部位領域は色または濃度にて塗り分けられ、各部位領域は異なる色または濃度にて区別可能とされた予め用意された部位車両画像とに基づいて学習された学習済モデルを用いて、部位推定車両画像を生成するものであり、
前記大小推定手段は、前記部位推定車両画像および前記バウンダリーボックスにおける背景を含む車両画像に基づいて、大型車か小型車かを推定する学習済モデルを用いて、大型車か小型車かを推定するよう構成されていることを特徴とする車推定プログラム。
【請求項３】
請求項１の装置または請求項２のプログラムにおいて、
前記撮像部は、走行する車両を連続的に撮像して複数の撮像画像を出力するものであり、
大小推定手段は、複数の撮像画像についての大型車か小型車かの判断を統合して、最終的な大型車か小型車かの判断を行うことを特徴とする装置またはプログラム。
【請求項４】
請求項１〜３のいずれかの装置またはプログラムにおいて、
前記部位抽出手段は、車両の前後のタイヤと側面に加えて、フロントガラス、リアガラスまたはナンバープレートを含む部位領域も抽出することを特徴とする装置またはプログラム。
【請求項５】
請求項１〜４のいずれかの装置またはプログラムにおいて、
前記大小推定手段は、前記抽出された車両画像の枠をカメラからの距離に応じて正規化した時の枠の大きさも推定の根拠に用いることを特徴とする装置またはプログラム。
【請求項６】
請求項１〜５のいずれかの装置またはプログラムにおいて、
前記大小推定手段は、前記抽出された車両画像をカメラからの距離に応じて正規化した時の車両画像における車両の占める領域面積も推定の根拠に用いることを特徴とする装置またはプログラム。
【請求項７】
請求項１〜６のいずれかの装置またはプログラムにおいて、
前記車両認識手段は、少なくとも乗用車、バス、トラックの車種を判断するものであり、
前記大小推定手段は、前記車種ごとに分けて大小推定を行うことを特徴とする装置またはプログラム。
【請求項８】
施設に入場しようとする車両をその背景とともに撮像して撮像画像を出力する撮像部と、
前記撮像画像に含まれる車両を認識する車両認識手段と、
車両認識手段によって認識された車両について、当該車両のバウンダリーボックスにおける背景を含む車両画像を抽出する車両画像抽出手段と、
抽出された車両画像を受けて、当該画像中の車両の前後のタイヤ、側面を含む部位領域を抽出し、当該車両の前後のタイヤ、側面を含む複数の部位領域に分割され、それぞれの部位領域は色または濃度にて塗り分けられ、各部位領域は異なる色または濃度にて区別可能とされた部位推定車両画像を生成する部位抽出手段と、
前記抽出された複数の部位領域を車両全体との関係において明らかにした前記部位推定画像に基づいて、大型車か小型車かを推定する大小推定手段と、
少なくとも前記推定結果が大型車であるか小型車であるかに基づいて、施設に入場するためのゲートの開閉を制御するゲート制御手段と、
を備えた入場管理装置において、
前記大小推定手段は、前記バウンダリーボックスにおける背景を含む車両画像も推定の根拠に用い、
前記部位抽出手段は、予め用意された車両画像と、当該車両の前後のタイヤ、側面を含む複数の部位領域に分割され、それぞれの部位領域は色または濃度にて塗り分けられ、各部位領域は異なる色または濃度にて区別可能とされた予め用意された部位車両画像とに基づいて学習された学習済モデルを用いて、部位推定車両画像を生成するものであり、
前記大小推定手段は、前記部位推定車両画像および前記バウンダリーボックスにおける背景を含む車両画像に基づいて、大型車か小型車かを推定する学習済モデルを用いて、大型車か小型車かを推定するよう構成されていることを特徴とする入場管理装置。
【請求項９】
入場管理装置をコンピュータによって実現するための入場管理プログラムであって、コンピュータを、
施設に入場しようとする車両をその背景とともに撮像した撮像画像に含まれる車両を認識する車両認識手段と、
車両認識手段によって認識された車両について、当該車両のバウンダリーボックスにおける背景を含む車両画像を抽出する車両画像抽出手段と、
抽出された車両画像を受けて、当該画像中の車両の前後のタイヤ、側面を含む部位領域を抽出し、当該車両の前後のタイヤ、側面を含む複数の部位領域に分割され、それぞれの部位領域は色または濃度にて塗り分けられ、各部位領域は異なる色または濃度にて区別可能とされた部位推定車両画像を生成する部位抽出手段と、
前記抽出された複数の部位領域を車両全体との関係において明らかにした前記部位推定画像に基づいて、大型車か小型車かを推定する大小推定手段と、
少なくとも前記推定結果が大型車であるか小型車であるかに基づいて、施設に入場するためのゲートの開閉を制御するゲート制御手段として機能させるための入場管理プログラムにおいて、
前記大小推定手段は、前記バウンダリーボックスにおける背景を含む車両画像も推定の根拠に用い、
前記部位抽出手段は、予め用意された車両画像と、当該車両の前後のタイヤ、側面を含む複数の部位領域に分割され、それぞれの部位領域は色または濃度にて塗り分けられ、各部位領域は異なる色または濃度にて区別可能とされた予め用意された部位車両画像とに基づいて学習された学習済モデルを用いて、部位推定車両画像を生成するものであり、
前記大小推定手段は、前記部位推定車両画像および前記バウンダリーボックスにおける背景を含む車両画像に基づいて、大型車か小型車かを推定する学習済モデルを用いて、大型車か小型車かを推定するよう構成されていることを特徴とする入場管理プログラム。
【請求項１０】
施設に入場しようとする車両をその背景とともに撮像して撮像画像を出力する撮像部と、
前記撮像画像に含まれる車両を認識する車両認識手段と、
車両認識手段によって認識された車両について、当該車両のバウンダリーボックスにおける背景を含む車両画像を抽出する車両画像抽出手段と、
抽出された車両画像を受けて、当該画像中の車両の前後のタイヤ、側面を含む部位領域を抽出し、当該車両の前後のタイヤ、側面を含む複数の部位領域に分割され、それぞれの部位領域は色または濃度にて塗り分けられ、各部位領域は異なる色または濃度にて区別可能とされた部位推定車両画像を生成する部位抽出手段と、
前記抽出された複数の部位領域を車両全体との関係において明らかにした前記部位推定画像に基づいて、大型車か小型車かを推定する大小推定手段と、
少なくとも前記推定結果が大型車であるか小型車であるかに基づいて、施設利用料金を算出する料金算出手段と、
を備えた料金管理装置において、
前記大小推定手段は、前記バウンダリーボックスにおける背景を含む車両画像も推定の根拠に用い、
前記部位抽出手段は、予め用意された車両画像と、当該車両の前後のタイヤ、側面を含む複数の部位領域に分割され、それぞれの部位領域は色または濃度にて塗り分けられ、各部位領域は異なる色または濃度にて区別可能とされた予め用意された部位車両画像とに基づいて学習された学習済モデルを用いて、部位推定車両画像を生成するものであり、
前記大小推定手段は、前記部位推定車両画像および前記バウンダリーボックスにおける背景を含む車両画像に基づいて、大型車か小型車かを推定する学習済モデルを用いて、大型車か小型車かを推定するよう構成されていることを特徴とする料金管理装置。
【請求項１１】
料金管理装置をコンピュータによって実現するための料金管理プログラムであって、コンピュータを、
施設に入場しようとする車両をその背景とともに撮像した撮像画像に含まれる車両を認識する車両認識手段と、
車両認識手段によって認識された車両について、当該車両のバウンダリーボックスにおける背景を含む車両画像を抽出する車両画像抽出手段と、
抽出された車両画像を受けて、当該画像中の車両の前後のタイヤ、側面を含む部位領域を抽出し、当該車両の前後のタイヤ、側面を含む複数の部位領域に分割され、それぞれの部位領域は色または濃度にて塗り分けられ、各部位領域は異なる色または濃度にて区別可能とされた部位推定車両画像を生成する部位抽出手段と、
前記抽出された複数の部位領域を車両全体との関係において明らかにした前記部位推定画像に基づいて、大型車か小型車かを推定する大小推定手段と、
少なくとも前記推定結果が大型車であるか小型車であるかに基づいて、施設利用料金を算出する料金算出手段として機能させるための料金管理プログラムにおいて、
前記大小推定手段は、前記バウンダリーボックスにおける背景を含む車両画像も推定の根拠に用い、
前記部位抽出手段は、予め用意された車両画像と、当該車両の前後のタイヤ、側面を含む複数の部位領域に分割され、それぞれの部位領域は色または濃度にて塗り分けられ、各部位領域は異なる色または濃度にて区別可能とされた予め用意された部位車両画像とに基づいて学習された学習済モデルを用いて、部位推定車両画像を生成するものであり、
前記大小推定手段は、前記部位推定車両画像および前記バウンダリーボックスにおける背景を含む車両画像に基づいて、大型車か小型車かを推定する学習済モデルを用いて、大型車か小型車かを推定するよう構成されていることを特徴とする料金管理プログラム。
【請求項１２】
請求項８〜１１のいずれかのプログラムにおいて、
前記撮像部は、走行する車両を連続的に撮像して複数の撮像画像を出力するものであり、
大小推定手段は、複数の撮像画像についての大型車か小型車かの判断を統合して、最終的な大型車か小型車かの判断を行うことを特徴とする装置またはプログラム。
【請求項１３】
請求項１０〜１２のいずれかの装置またはプログラムにおいて、
前記部位抽出手段は、前記部位抽出手段は、車両の前後のタイヤと側面に加えて、フロントガラス、リアガラスまたはナンバープレートを含む部位領域も抽出することを特徴する装置またはプログラム。
【請求項１４】
請求項１０〜１３のいずれかの装置またはプログラムにおいて、
前記大小推定手段は、前記抽出された車両画像の枠をカメラからの距離に応じて正規化した時の車両画像の枠の大きさも推定の根拠に用いることを特徴とする装置またはプログラム。
【請求項１５】
請求項１０〜１４のいずれかの装置またはプログラムにおいて、
前記大小推定手段は、前記抽出された車両画像をカメラからの距離に応じて正規化した時の車両画像における車両の占める領域面積も推定の根拠に用いることを特徴とする装置またはプログラム。
【請求項１６】
請求項１０〜１５のいずれかの装置またはプログラムにおいて、
前記車両認識手段は、少なくとも乗用車、バス、トラックの車種を判断するものであり、
前記大小推定手段は、前記車種ごとに分けて大小推定を行うことを特徴とする装置またはプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像した画像から、自動車などの大型車、小型車を推定する装置に関するものである。
【背景技術】
【０００２】
交通量の調査や施設における管理のために、自動車が大型車であるか小型車であるかを判断する必要がある。たとえば、交通量の調査においては、交差点などで調査員が目視にて、通過する車両の種類や大型小型などの分類を行って、その分類ごとに交通量を計数している。
【０００３】
近年、撮像画像中から自動車の部分を抽出し、当該自動車の種類（乗用車、トラックなど）を推定するソフトウエア（たとえばYOLO）が実用化されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１４２５８７
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のようなソフトウエアを交通量調査などに適用すると、自動車の種類は推定できたとしても、大型車であるか小型車であるかの推定まではできなかった。同一の種類の自動車は、大型であっても小型であっても類似の形状をしているためである。
【０００６】
また、自動車のナンバープレートの文字を読み取り、当該文字から種類などを推定するシステムも提案されている（特許文献１）。このシステムによれば、自動車の種類だけでなく、ナンバープレートの文字に現れた大型車、小型車の区別を取得することができる。
【０００７】
このようなナンバープレートの文字による推定を行えば、種類だけでなく大型・小型の区別も可能となる。
【０００８】
しかしながら、撮像距離や位置、天候などによって、ナンバープレートの文字を読み取れない可能性がある。このため、交通量調査などに用いることには制限があった。
【０００９】
この発明は上記のような問題点を解決して、柔軟性の高い車判定を行うことのできる車判定装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
この発明の独立して適用可能な特徴を以下に列挙する。
【００１１】
(1)(2)この発明に係る車推定装置は、車両を撮像して撮像画像を出力する撮像部と、撮像画像に含まれる車両を認識して出力する車両認識手段と、車両認識手段によって認識された車両の車両画像を抽出する車両画像抽出手段と、抽出された車両画像を受けて、当該画像中の車両の前後のタイヤ、側面を含む部位領域を抽出する部位抽出手段と、前記抽出された複数の部位領域の関係に基づいて、大型車か小型車かを推定する大小推定手段とを備えている。
【００１２】
したがって、類似した外形の車両であっても大型車・小型車を区別して推定することができる。
【００１３】
(3)この発明に係る車推定装置は、撮像部が、走行する車両を連続的に撮像して複数の撮像画像を出力するものであり、大小推定手段は、複数の撮像画像についての大型車か小型車かの判断を統合して、最終的な大型車か小型車かの判断を行うことを特徴としている。
【００１４】
したがって、より正確に推定を行うことができる。
【００１５】
(4)この発明に係る車推定装置は、部位抽出手段が、車両の前後のタイヤと側面に代えて、あるいは加えて、フロントガラス、リアガラスまたはナンバープレートを含む部位領域も抽出することを特徴としている。
【００１６】
したがって、これら領域に基づいて、大型小型の推定を行うことができる。
【００１７】
(5)この発明に係る車推定装置は、大小推定手段が、前記抽出された車両画像も推定の根拠に用いることを特徴としている。
【００１８】
したがって、より正確に推定を行うことができる。
【００１９】
(6)この発明に係る車推定装置は、大小推定手段が、前記抽出された車両画像の枠をカメラからの距離に応じて正規化した時の枠の大きさも推定の根拠に用いることを特徴としている。
【００２０】
したがって、より正確に推定を行うことができる。
【００２１】
(7)この発明に係る車推定装置は、大小推定手段が、前記抽出された車両画像をカメラからの距離に応じて正規化した時の車両画像における車両の占める領域面積も推定の根拠に用いることを特徴としている。
【００２２】
したがって、より正確に推定を行うことができる。
【００２３】
(8)この発明に係る車推定装置は、車両認識手段が、少なくとも乗用車、バス、トラックの車種を判断するものであり、大小推定手段は、前記車種ごとに分けて大小推定を行うことを特徴としている。
【００２４】
したがって、より正確に推定を行うことができる。
【００２５】
(9)(10)この発明に係る入場管理装置は、施設に入場しようとする車両を撮像して撮像画像を出力する撮像部と、前記撮像画像に含まれる車両を認識して出力する車両認識手段と、車両認識手段によって認識された車両の車両画像を抽出する車両画像抽出手段と、抽出された車両画像を受けて、当該画像中の車両の前後のタイヤ、側面を含む部位領域を抽出する抽出手段と、前記抽出された複数の部位領域の関係に基づいて、大型車か小型車かを推定する大小推定手段と、少なくとも前記推定結果が大型車であるか小型車であるかに基づいて、施設に入場するためのゲートの開閉を制御するゲート制御手段とを備えている。
【００２６】
したがって、大型車が小型車かを推定し、これに対応してゲートの開閉を制御することができる。
【００２７】
(11)(12)この発明に係る料金管理装置は、施設に入場しようとする車両を撮像して撮像画像を出力する撮像部と、前記撮像画像に含まれる車両を認識して出力する車両認識手段と、車両認識手段によって認識された車両の車両画像を抽出する車両画像抽出手段と、抽出された車両画像を受けて、当該画像中の車両の前後のタイヤ、側面を含む部位領域を抽出する抽出手段と、前記抽出された複数の部位領域の関係に基づいて、大型車か小型車かを推定する大小推定手段と、少なくとも前記推定結果が大型車であるか小型車であるかに基づいて、施設利用料金を算出する料金算出手段とを備えている。
【００２８】
したがって、大型車が小型車かを推定し、これに対応して料金を算出することができる。
【００２９】
(13)この発明に係る装置は、撮像部が、走行する車両を連続的に撮像して複数の撮像画像を出力するものであり、大小推定手段は、複数の撮像画像についての大型車か小型車かの判断を統合して、最終的な大型車か小型車かの判断を行うことを特徴としている。
【００３０】
したがって、より正確に推定を行うことができる。
【００３１】
(14)この発明に係る装置は、部位抽出手段が、車両の前後のタイヤと側面に代えて、あるいは加えて、フロントガラス、リアガラスまたはナンバープレートを含む部位領域も抽出することを特徴としている。
【００３２】
したがって、これら領域に基づいて、大型小型の推定を行うことができる。
【００３３】
(15)この発明に係る装置は、大小推定手段が、前記抽出された車両画像も推定の根拠に用いることを特徴としている。
【００３４】
したがって、より正確に推定を行うことができる。
【００３５】
(16)この発明に係る装置は、大小推定手段が、前記抽出された車両画像の枠をカメラからの距離に応じて正規化した時の枠の大きさも推定の根拠に用いることを特徴としている。
【００３６】
したがって、より正確に推定を行うことができる。
【００３７】
(17)この発明に係る装置は、大小推定手段が、前記抽出された車両画像をカメラからの距離に応じて正規化した時の車両画像における車両の占める領域面積も推定の根拠に用いることを特徴としている。
【００３８】
したがって、より正確に推定を行うことができる。
【００３９】
(18)この発明に係る装置は、車両認識手段が、少なくとも乗用車、バス、トラックの車種を判断するものであり、大小推定手段は、前記車種ごとに分けて大小推定を行うことを特徴としている。
【００４０】
したがって、より正確に推定を行うことができる。
【００４１】
「車両認識手段」は、実施形態においては、ステップＳ４がこれに対応する。
【００４２】
「車両画像抽出手段」は、実施形態においては、ステップＳ８がこれに対応する。
【００４３】
「部位抽出手段」は、実施形態においては、ステップＳ１０がこれに対応する。
【００４４】
「大小推定手段」は、少なくとも大型車であるか小型車であるかの区別を行うものであり、車種の判断をおこなうものも含む概念である。実施形態においては、ステップＳ１２がこれに対応する。
【００４５】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【図面の簡単な説明】
【００４６】
【図１】この発明の一実施形態による車推定装置の機能構成図である。
【図２】車推定装置のハードウエア構成である。
【図３】車推定プログラムのフローチャートである。
【図４】撮像画像と車両認識画像と部位推定画像の例である。
【図５】車両認識のための学習処理のフローチャートである。
【図６】学習のためのデータを示す図である。
【図７】車両を切り出した画像の例である。
【図８】部位推定のための学習処理のフローチャートである。
【図９】部位推定のための学習データを示す図である。
【図１０】大小推定のための学習処理のフローチャートである。
【図１１】学習のためのデータを示す図である。
【図１２】車種の修正のためのテーブルである。
【図１３】第２の実施形態による入場管理装置の機能構成である。
【図１４】ゲートの外観を示す図である。
【図１５】ハードウエア構成を示す図である。
【図１６】制御プログラムのフローチャートである。
【発明を実施するための形態】
【００４７】
１．第１の実施形態
1.1機能構成
図１に、この発明の一実施形態による車推定装置の機能構成を示す。撮像部２は、自動車を撮像して撮像画像を出力する。車両認識手段４は、撮像画像に含まれる車両を認識して出力する。たとえば、車両をバウンダリーボックスで囲って出力する。車両認識手段４は、たとえば、車両の画像にて学習させた推論手段によって構築することができる。
【００４８】
車両画像抽出手段６は、上記認識に基づいて車両部分の画像（車両画像）を抽出する。部位抽出手段８は、当該車両画像中の、前後のタイヤ、正面、側面、上面などの部位領域を抽出する。この部位抽出手段８は、部位を特定して学習させた推論手段によって構築することができる。
【００４９】
大小推定手段１０は、上記抽出された複数の部位領域の関係に基づいて、大型車であるか小型車であるかを推定する。この大小推定手段１０は、大型車、小型車につき、複数の部位領域の関係を特定して学習させた推論手段によって構築することができる。
【００５０】
以上のようにして大型車、小型車を推定することができる。
【００５１】
1.2ハードウエア構成
図２に、車推定装置のハードウエア構成を示す。ＣＰＵ３０には、メモリ３２、ディスプレイ３４、カメラ２、ハードディスク３６、ＤＶＤ−ＲＯＭドライブ３８、キーボード／マウス４０、通信回路４２が接続されている。
【００５２】
通信回路４２は、インターネットに接続するためのものである。ハードディスク３６には、オペレーティングシステム４４、車推定プログラム４６が記録されている。車推定プログラム４６は、オペレーティングシステム４４と協働してその機能を発揮するものである。
【００５３】
これらプログラムは、ＤＶＤ−ＲＯＭ４８に記録されていたものを、ＤＶＤ−ＲＯＭドライブ３８を介して、ハードディスク３６にインストールしたものである。
【００５４】
1.3車推定処理
図３に、車推定処理のフローチャートを示す。ＣＰＵ３０は、カメラ２による撮像画像を取得する（ステップＳ２）。この実施形態では、動画として撮像を行っている。図４Ａに、撮像画像の例を示す。この実施形態では、電柱や街頭の上にカメラ２を設けて、上方からのアングルにて撮像を行っている。
【００５５】
ＣＰＵ３０は、この撮像画像に含まれる車両を認識し車種を推定する（ステップＳ４）。この実施形態では、かかる推定処理のために学習済みの推論モデル（例えばディープラーニングによる機械学習のモデル）を用いている。
【００５６】
この実施形態においては、学習処理は、図２のコンピュータを用いて行うようにしている。もちろん、他のコンピュータを用いてもよい。
【００５７】
まず、図６Ａに示すような車両の含まれる画像データを多数用意して、ハードディスク３６に記録する。できれば、いろいろな車種、背景による画像が多数あることが好ましい。
【００５８】
この時、車両を撮像するアングルは、できるだけ実際に運用する場合のアングルに近いものであることが好ましい。たとえば、図４Ａに示すようなアングルにて撮像して運用を行うのであれば、これに近いアングルであることが好ましい。
【００５９】
それぞれの画像データ（オリジナル画像データ）を、ディスプレイ３４に表示する。、ユーザは、画像を見ながら、キーボード／マウス４０を操作して、図６Ｂに示すように車両部分を矩形（バウンダリーボックス）で囲い、当該車両の車種を入力する
これにより、図６Ｃに示すように、バウンダリーボックスの左上座標、右下座標（二次元画像中の座標）および車種が記録された解析データと、オリジナル画像データとが対応付けられてハードディスク３６に記録される。この実施形態では、車種として、乗用車、貨物車、バスを区別するようにしている。上記の処理を、全てのオリジナル画像について行う。これにより、多数の学習データが、ハードディスク３６に記録されることになる。
【００６０】
図５に、車両認識と車種推定のために、推定モデル（ディープラーニング）を学習する処理のフローチャートを示す。
【００６１】
ＣＰＵ３０は、ハードディスク３６からオリジナル画像を取得する（ステップＳ５２）。たとえば、図６Ａに示すようなオリジナル画像を読み出す。次に、ＣＰＵ３０は、オリジナル画像について、学習済みの推定モデル（ディープラーニング）により、車両認識と車種推定を行う（ステップＳ５４、Ｓ５６）。
【００６２】
次に、ＣＰＵ３０は、オリジナル画像に対応づけて記録されている解析データ（図６Ｃ）を読み出す（ステップＳ５８）。続いて、ＣＰＵ３０は、図６Ｃの解析データを教師データとし、車両認識と車両推定の結果に基づいて、ステップＳ５４、Ｓ５６における推定のためのパラメータを学習する（ステップＳ６０）。
【００６３】
以上のようにして、学習済みの推論モデルが生成される。なお、最初は、未学習の推論モデルあるいは学習不足の推論モデルであるが、上記の処理を繰り返すことで、十分に学習済みの推論モデルを得ることができる。
【００６４】
なお、この実施形態では、車両の前方からの写真だけでなく、後方や側面からの写真も学習データとして用いるようにしている。したがって、いずれの方向にて撮像された車両であっても推論を行うことができるような推論モデルを生成できる。運用時に前方など特定の方向からの車両だけを判断すればよいのであれば、前方のなど特定の方向だけからの写真に基づいて学習データを作成すればよい。
【００６５】
なお、学習済みの推論モデルとして、YOLOなどのプログラムを用いてもよい。また、YOLOなどのプログラムを追加学習して用いるようにしてもよい。
【００６６】
図３のステップＳ４においては、ＣＰＵ３０は、このようにして生成された推論モデルを用いて、撮像された画像（図４Ａ）に写し出された車両をバウンダリーボックスにて囲い、車種を推定する。
【００６７】
図４Ｂに、車両が認識されバウンダリーボックスにて囲われた画像を示す。また、図示していないが、各バウンダリーボックスに対応付けて推定した車種が記録される（図６Ｂのような形式にて記録される）。
【００６８】
続いて、ＣＰＵ３０は、バウンダリーボックスに基づいて、それぞれの車両の画像を切り出す（ステップＳ８）。切り出した車両画像の例を、図７に示す。
【００６９】
ＣＰＵ３０は、車両画像に基づいて、当該車両の部位推定を行う（ステップＳ１０）。なお、車両との距離によって切り出した画像の大きさが異なっている。そこで、この実施形態では距離に応じて異なる大きさとなっている車両画像を、統一した大きさに変換（正規化）してから推定を行うようにしている。たとえば、車両画像の横幅（バウンダリーボックスの横幅）を定められた幅となるように、車両画像全体を均等に拡大縮小する。
【００７０】
この実施形態では、かかる推定処理のために学習済みの推論モデル（例えばディープラーニングによる機械学習のモデル）を用いている。
【００７１】
この実施形態においては、学習処理は、図２のコンピュータを用いて行うようにしている。もちろん、他のコンピュータを用いてもよい。
【００７２】
図８に、学習処理のフローチャートを示す。この実施形態では、セマンティック・セグメンテーションによる推定処理を行うSegNet（https://qiita.com/uni-3/items/a62daa5a03a02f5fa46dにて入手可能）を、ディープラーニングのエンジンとして用いた。
【００７３】
まず、図９Ａに示すような自動車の含まれる画像データを多数用意して、ハードディスク３６に記録する。できれば、いろいろな車種、いろいろな背景による画像が多数あることが好ましい。
【００７４】
それぞれの画像データ（オリジナル画像データ）を、ディスプレイ３４に表示し、操作者が画像をみながら、マウス４０を操作して、前ナンバープレート、後ナンバープレート、前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、フロントガラス、左側面、右側面、背面、リアガラス、上面および背景（自動車以外の部分）を、それぞれ異なる色でラベル付けする。ラベル画像の例を図９Ｂに示す。生成されたラベル画像データは、オリジナルの画像データに対応付けて、ハードディスク３６に記録される。
【００７５】
以上のようにして、オリジナル画像データとこれに対応するラベル画像データが、多数、ハードディスク３６に記録されることとなる。
【００７６】
まず、ＣＰＵ３０は、ハードディスク３６からオリジナル画像データを取得する（ステップＳ６２）。たとえば、図９Ａのようなオリジナル画像を読みだす。次に、ＣＰＵ３０は、オリジナル画像について、学習済みのセマンティック・セグメンテーションにより、前ナンバープレート、後ナンバープレート、前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、フロントガラス、左側面、右側面、背面、リアガラス、上面の各部位を推定する（ステップＳ６４）。推定結果の画像を、図９Ｃに示す。図９Ｃに示すように、各部位ごとに異なる色が付された画像となっている。
【００７７】
この実施形態では、オリジナル画像に対して、プーリングおよび畳み込みを繰り返し、さらに、アップサンプリングと畳み込みを繰り返すことで推定結果の画像を得るようにしている。
【００７８】
次に、ＣＰＵ３０は、オリジナル画像に対応してハードディスク３６に記録されているラベル画像を読みだす（ステップＳ６６）。たとえば、図９Ｂのようなラベル画像が読みだされる。
【００７９】
続いて、ＣＰＵ３０は、図９Ｂのラベル画像を教師データとし、図９Ｃの推定結果画像に基づいて、ステップＳ６４における推定のためのパラメータを学習する（ステップＳ６８）。
【００８０】
全てのオリジナル画像・ラベル画像に基づいて学習を行うと、ＣＰＵ３０は、学習処理を終了する（ステップＳ６０、Ｓ７０）。なお、最初は、未学習の推論モデルあるいは学習不足の推論モデルであるが、上記の処理を繰り返すことで、十分に学習済みの推論モデルを得ることができる。
【００８１】
なお、上記実施形態では、車両一台ごとの画像に基づいて学習を行っている。しかし、複数の車両が撮像された画像に基づいて学習を行ってもよい。
【００８２】
図３のステップＳ１０において、ＣＰＵ３０は、上記のようにして学習された推定モデルを用い、一つの車両の部位領域を推定する（ステップＳ１０）。これにより、図４Ｃに示すように、自動車の各部位が推定される。この実施形態では、各部位ごとに領域分けされた（色彩、濃度などにより区別する）部位推定画像を出力するようにしている。
【００８３】
図４Ｃに部位推定画像の例を示す。この例の場合、前面、前ナンバープレート、フロントガラス、左側面、上面、左前タイヤ、左後タイヤが認識されている。
【００８４】
次に、ＣＰＵ３０は、上記の部位推定画像とステップＳ４にて推定した車種とに基づいて、大型車・小型車の推定を行う（ステップＳ１２）。
【００８５】
前述のように、この実施形態では、ステップＳ３において、乗用車、貨物車、バスの車種を得ている。しかし、貨物車の中には、小型貨物車（小型トラック）と普通貨物車（普通トラック）が含まれており、これらを区別するために、大型・小型の推定を行う。前者が小型であり、後者が大型である。
【００８６】
また、乗用車の中には、ワゴン車やマイクロバスのように、その形状から大型車であるバスと誤って認識されることもある。そこで、この実施形態では、これらを区別するために、大型・小型の推定を行う。前者が小型であり、後者が大型である。
【００８７】
以上のように、大型・小型の区別を行うことにより、道路交通センサスなどに用いられている分類である、乗用車（小型車）、小型貨物車（小型車）、バス（大型車）、普通貨物車（大型車）を得ることができる。
【００８８】
この実施形態では、大型・小型の推定処理のために学習済みの推論モデル（例えばディープラーニングによる機械学習のモデル）を用いている。
【００８９】
この実施形態においては、学習処理は、図２のコンピュータを用いて行うようにしている。もちろん、他のコンピュータを用いてもよい。
【００９０】
図１０に、学習処理のフローチャートを示す。まず、図１１Ａに示すような部位推定画像データを多数用意して、ハードディスク３６に記録する。できれば、いろいろな車種による画像が多数あることが好ましい。
【００９１】
それぞれの部位推定画像を、ディスプレイ３４に表示し、操作者が画像をみながら、キーボード／マウス４０を操作して、大型車・小型車の区別を入力する。なお、部位推定画像だけでは判別が難しい場合があるので、オリジナル画像も合わせて表示する。上述のように、乗用車（マイクロバス、ワゴン車を含む）や小型貨物車であれば小型車とし、バス、普通貨物車であれば大型車とする。この大型車・小型車の区別は、部位推定画像に対応付けて、ハードディスク３６に記録される。
【００９２】
以上のようにして、部位推定画像とこれに対応する大型車・小型車の区別が、多数ハードディスク３６に記録されることとなる。
【００９３】
まず、ＣＰＵ３０は、ハードディスク３６から部位推定画像を取得する（ステップＳ８２）。たとえば、図１１Ａのような部位推定画像を読みだす。次に、ＣＰＵ３０は、部位推定画像について、学習済みの推定エンジンにより、大型・小型の推定を行う（ステップＳ８４）。
【００９４】
次に、ＣＰＵ３０は、部位推定画像に対応してハードディスク３６に記録されている大型・小型の区別を読みだす（ステップＳ６６）。
【００９５】
続いて、ＣＰＵ３０は、読み出した大型・小型の区別を教師データとし、ステップＳ８４における推定結果に基づいて、ステップＳ８４における推定のためのパラメータを学習する（ステップＳ８８）。
【００９６】
全ての部位推定画像に基づいて学習を行うと、ＣＰＵ３０は、学習処理を終了する（ステップＳ８０、Ｓ９０）。なお、最初は、未学習の推論モデルあるいは学習不足の推論モデルであるが、上記の処理を繰り返すことで、十分に学習済みの推論モデルを得ることができる。
【００９７】
なお、この推定が機能している理由は、大型車と小型車とによって、外形形状が類似していたとしても、フロントガラスの占める割合や前後のタイヤ間隔などが異なるためであると思われる。
【００９８】
なお、上記実施形態では、車両一台ごとの画像に基づいて学習を行っている。しかし、複数の車両が撮像された画像に基づいて学習を行ってもよい。
【００９９】
図３のステップＳ１２において、ＣＰＵ３０は、上記のようにして学習された推定モデルを用い、部位推定画像に基づいて大型・小型の推定を行う。次に、ＣＰＵ３０は、この大型・小型の推定結果に基づいて、ステップＳ４における車種推定を修正する（ステップＳ１４）。
【０１００】
ステップＳ４では、乗用車、貨物車、バスの車種推定を行っていた。この実施形態では、ステップＳ１４において、図１２に示すように、大型・小型の推定に基づいて、車種推定を正確なものに修正している。
【０１０１】
次に、ＣＰＵ３０は、当該車両が連続して撮像されている動画の中で、最初に登場したかどうかを判断する。これは、類似形状の車両が初めて認識されたかどうかによって判断することができる。また、道路の進行方向との関係で、初めて登場したかどうかを判断する対象の車両を絞り込むことができる。たとえば、図４Ａの画像において、向かってくる車両であれば、ライン２００より上の部分にある車両のみを対象として判断することができる。他の方向に移動する車両についても同様である。
【０１０２】
初めて撮像された車両であれば、当該車両について新たなＩＤを生成し、当該車両に対応付けて修正した推定結果を記録する（ステップＳ２０）。また、既に認識済みの車両であれば、当該車両に対応付けて修正した推定結果を追加して記録する（ステップＳ１８）。
【０１０３】
ＣＰＵ３０は、上記の推定を、車両の数だけ繰り返す（ステップＳ６、Ｓ２２）。これにより、カメラによって撮像された画像に写し出された各車両について、車種の推定を行うことができる。
【０１０４】
次に、ＣＰＵ３０は、次の撮像画像を取り込み（ステップＳ２）、上記と同様にして、各車両の車種推定を行い、その結果を対応づけて記録する（ステップＳ４〜Ｓ２２）。
【０１０５】
以上を繰り返すと、車両の移動により、撮像されなくなるものがでてくる。当該車両について、記録された修正された車種推定結果（複数個ある）を統合して、最終的な車種推定結果を得て、当該最終的な車種推定結果を当該車両（車両ＩＤ）に対応づけて記録する（ステップＳ２４）。たとえば、複数ある車種推定結果のうち、最も多い車種推定結果を、最終的な車種推定結果とする。
【０１０６】
以上のようにして、リアルタイムに撮像を行いながら正確に車種を判断することができる。たとえば、交通量調査などにおける車種判定などに用いることができる。
【０１０７】
1.4その他
(1)上記実施形態では、ステップＳ１４において、部位推定画像に基づいて大型・小型の推定を行っている。しかし、ステップＳ８で抽出した車両画像（正規化したものが好ましい）も含めて推定に用いるようにしてもよい。
【０１０８】
(2)上記実施形態では、車両画像の大きさを正規化した後、推定を行うようにしている。しかし、正規化せずに推定を行うようにしてもよい。
【０１０９】
(3)上記実施形態では、まず、車種を推定してから、大型・小型の推定を行って、修正し最終的な車種を得ている。しかし、ステップＳ４において、車両の部位推定画像を用いて、最終的な車種の推定を一度に行ってもよい。
【０１１０】
(4)上記実施形態では、リアルタイムに車種の推定を行っている。しかし、記録済みの撮像画像に基づいて上記の処理を行って、車種の推定を行うようにしてもよい。この場合、カメラ２によって撮像した画像を可搬性記録媒体に記録し、これをハードディスク３６に読み込んで処理を行うようにしてもよい。
【０１１１】
(5)上記実施形態では、部位推定画像として、前面、前ナンバープレート、側面、タイヤ、フロントガラスなどの部位領域を明らかにしたものを用いている。しかし、大型車と小型車において、全体の大きさが分かる部位と、フロントガラスやタイヤ間隔やナンバープレートの大きさが分かるような部位を含む部位推定画像を用いることができる。たとえば、少なくとも、フロントガラスといずれかの側面を含む部位推定画像を用いてもよい。また、少なくとも、いずれかの前タイヤと後タイヤといずれかの側面を含む部位推定画像を用いてもよい。
【０１１２】
(6)上記実施形態では、全ての車両についての共通した学習済み推論モデルを構築して、大型車・小型車の推定をしている。しかし、ステップＳ４において推定した車種ごとに学習済み推論モデルを構築し、車種ごとに大型車・小型車の推定をしてもよい。また、車種の判定を行うようにしてもよい。
【０１１３】
(7)上記実施形態では部位推定画像に基づいて大型車・小型車の推論を行っている。しかし、これに代えて、あるいはこれに加えて、車両画像を正規化した時のバウンダリーボックス枠の大きさや車両が専有する面積などを推論の根拠として用いるようにしてもよい。
【０１１４】
(8)上記実施形態では、いろいろな方向に移動する車両を撮像している。しかし、カメラ設置の際に、一方にのみ移動する車（向かってくる車のみ等）だけが撮像されるように設定すれば、推定処理が容易となり精度も向上する。
【０１１５】
(9)上記実施形態では、同一の車両に対する複数の車両画像に基づいて、大型小型の判断を行っている。しかし、一枚の画像に基づいてこれを行うようにしてもよい。
【０１１６】
(10)上記実施形態およびその変形例は、その本質に反しない限り他の実施形態変形例と組み合わせて実施可能である。
【０１１７】
２．第２の実施形態
2.1機能構成
図１３に、この発明の一実施形態による入場管理システムの機能ブロック図を示す。撮像部２は、たとえば、施設などの駐車場入口に設けられ、入口ゲートに近づく車両を撮像する。車種推定手段１００は、たとえば、第１の実施形態にて説明した手法によって、撮像画像に基づいて車種を推定するものである。ゲート制御手段１５０は、当該推定された車種に基づいて、ゲートの開閉を制御するものである。たとえば、大型車と小型車によって、大型車のための駐車場へのゲート、小型車のための駐車場へのゲートを開けるかを制御する。
【０１１８】
2.2システム構成と動作
図１４に、入場管理システムの入場ゲートの外観を示す。小型車用ゲート１２０と大型車用ゲート１４０が設けられている。カメラ２は、これらのゲートに進入しようとする車両を撮像する。
【０１１９】
図１５に、ハードウエア構成を示す。コンピュータ１６０は、第１の実施形態における図２の構成と同様のものである。ただし、ＣＰＵ３０は、ゲート１２０、１４０の開閉を制御するゲート制御部１８０に対して、指令を与えることができるようになっている。
【０１２０】
図１６に、制御プログラムのフローチャートを示す。ＣＰＵ３０は、ステップＳ１１０において、カメラ２によって撮像した画像を取得する。撮像画像において車両が認識されなければ、ステップＳ１１０を繰り返す。
【０１２１】
車両が認識されると、ＣＰＵ３０は、第１の実施形態にて説明した処理により、車種（大型・小型）の推定を行う（ステップＳ１１４）。大型であると推定した場合、ＣＰＵ３０は、大型用ゲート１４０を開くようゲート制御部１８０に指示する（ステップＳ１１６）。また、小型であると推定した場合、ＣＰＵ３０は、小型用ゲート１２０を開くようゲート制御部１８０に指示する（ステップＳ１１６）。
【０１２２】
ゲートを開いた後、通過検出のセンサ（図示せず）からの出力を受けると、ＣＰＵ３０は、ゲートを閉じる（ステップＳ１１８）。
【０１２３】
以上のようにして、自動的に大型小型を判定して、行き先のゲートを選択して開閉することができる。
【０１２４】
2.3その他
(1)上記実施形態では、駐車場について説明したが、ドライブスルーサファリなどその他の施設についても同様に適用することができる。また、上記では、大型・小型の判断に基づいてゲートを選択的に開閉しているが、より細かい車種分けに応じてゲートを選択的に開閉するようにしてもよい。
【０１２５】
また、所定の車種に応じて（あるいは大型・小型に応じて）、ゲートを開けるかどうかを判断するようにしてもよい。たとえば、小型車専用の橋であれば、その入口で大型車に対してはゲートを開けないように制御することができる。
【０１２６】
(2)上記実施形態では、ゲートの開閉を制御する場合について説明した。しかし、車種推定（大型小型の推定を含む）に応じて、駐車料金や施設利用料金を算出するようにしてもよい。高速道路などの入り口において利用することができる。
【０１２７】
(3)上記実施形態およびその変形例は、その本質に反しない限り他の実施形態や変形例と組み合わせて実施可能である。
【図１】
0006900448.tif 000002
【図２】
0006900448.tif 000003
【図３】
0006900448.tif 000004
【図４】
0006900448.tif 000005
【図５】
0006900448.tif 000006
【図６】
0006900448.tif 000007
【図７】
0006900448.tif 000008
【図８】
0006900448.tif 000009
【図９】
0006900448.tif 000010
【図１０】
0006900448.tif 000011
【図１１】
0006900448.tif 000012
【図１２】
0006900448.tif 000013
【図１３】
0006900448.tif 000014
【図１４】
0006900448.tif 000015
【図１５】
0006900448.tif 000016
【図１６】
0006900448.tif 000017