(57)【特許請求の範囲】
【請求項１】
車両を含む入力画像より、ナンバープレートに対応するプレート画像領域を抽出するプレート画像領域抽出部と、
前記プレート画像領域のナンバープレート記載情報に対応する第１の領域の平均輝度と、前記プレート画像領域における前記ナンバープレートの背景に対応する第２の領域の平均輝度との輝度差を算出する輝度差算出部と、
前記算出された輝度差と、設定された標準輝度差に基づき、前記車両のナンバープレートにプレートカバーが取り付けられているか否かを判定する判定部と、
前記プレート画像領域を複数の領域に分割する領域分割部を備え、
前記輝度差算出部は、前記分割された各領域について前記輝度差を算出し、該算出した複数の輝度差のうち最も大きい輝度差を前記判定部に出力する、
車両画像認識装置。
【請求項２】
請求項１記載の車両画像認識装置であって、
前記領域分割部は、撮像時間帯に応じて、前記プレート画像領域を、水平方向または鉛直方向に設定した境界線で分割することを特徴とする車両画像認識装置。
【請求項３】
請求項２記載の車両画像認識装置であって、
前記入力画像より、前記車両のヘッドライトの点灯有無を検出するヘッドライト点灯検出部を備え、
前記ヘッドライト点灯検出部によりヘッドライトの点灯が検出された場合、前記領域分割部は、前記プレート画像領域を、鉛直方向に設定した境界線で分割することを特徴とする、
車両画像認識装置。
【請求項４】
請求項２記載の車両画像認識装置であって、
前記入力画像より、前記車両に対応する車両画像領域を抽出する車両画像領域抽出部を備え、
前記領域分割部が、前記プレート画像領域を鉛直方向に設定した境界線で分割するとき、
前記車両画像領域と前記プレート画像領域の位置関係に応じて、前記プレート画像領域の分割方法を変化させることを特徴とする車両画像認識装置。
【請求項５】
請求項２記載の車両画像認識装置であって、
前記入力画像に含まれる車両のサイズ種別を判別する車両サイズ種別判別部を備え、
前記領域分割部は、前記サイズ種別が大型車両である場合、前記プレート画像領域を、水平方向に設定した境界線で分割することを特徴とする車両画像認識装置。
【請求項６】
請求項１記載の車両画像認識装置であって、
前記領域分割部は、前記プレート画像領域を、それぞれが一つの文字又は数字を包含する複数の領域に分割することを特徴とする車両画像認識装置。
【請求項７】
車両を含む入力画像より、ナンバープレートに対応するプレート画像領域を抽出するプレート画像領域抽出部と、
前記プレート画像領域のナンバープレート記載情報に対応する第１の領域の平均輝度と、前記プレート画像領域における前記ナンバープレートの背景に対応する第２の領域の平均輝度との輝度差を算出する輝度差算出部と、
前記算出された輝度差と、設定された標準輝度差に基づき、前記車両のナンバープレートにプレートカバーが取り付けられているか否かを判定する判定部と、
前記プレート画像領域を複数の領域に分割し、該複数の領域のうち一部を選択する領域選択部を備え、
前記輝度差算出部は、前記選択された領域について前記輝度差を算出することを特徴とする車両画像認識装置。
【請求項８】
請求項７記載の車両画像認識装置であって、
前記領域選択部は、撮像時間帯に応じて、前記プレート画像領域を、水平方向または鉛直方向に設定した境界線で分割し、該複数の領域のうち一部を選択することを特徴とする車両画像認識装置。
【請求項９】
請求項８記載の車両画像認識装置であって、
前記入力画像より、前記車両のヘッドライトの点灯有無を検出するヘッドライト点灯検出部を備え、
前記ヘッドライト点灯検出部によりヘッドライトの点灯が検出された場合、前記領域選択部は、前記プレート画像領域を鉛直方向に設定した境界線で分割した複数の領域から一部を選択することを特徴とする車両画像認識装置。
【請求項１０】
請求項８記載の車両画像認識装置であって、
前記入力画像より、前記車両に対応する車両画像領域を抽出する車両画像領域抽出部を備え、
前記領域選択部が、前記プレート画像領域を鉛直方向に設定した境界線で分割するとき、
前記車両画像領域と前記プレート画像領域の位置関係に応じて、前記プレート画像領域の分割方法を変化させることを特徴とする車両画像認識装置。
【請求項１１】
請求項８記載の車両画像認識装置であって、
前記入力画像に含まれる車両のサイズ種別を判別する車両サイズ種別判別部を備え、
前記領域選択部は、前記サイズ種別が大型車両である場合、前記プレート画像領域を、水平方向に設定した境界線で分割した複数の領域のうち最も下側の領域以外を選択することを特徴とする車両画像認識装置。
【請求項１２】
請求項７記載の車両画像認識装置であって、
前記領域選択部は、前記プレート画像領域を、それぞれが一つの文字又は数字を包含する複数の領域に分割し、該複数の領域の一部を選択することを特徴とする車両画像認識装置。
【請求項１３】
コンピュータが、
車両を含む入力画像より、ナンバープレートに対応するプレート画像領域を抽出し、
前記プレート画像領域のナンバープレート記載情報に対応する第１の領域の平均輝度と、前記プレート画像領域における前記ナンバープレートの背景に対応する第２の領域の平均輝度との輝度差を算出し、
前記算出された輝度差と、設定された標準輝度差に基づき、前記車両のナンバープレートにプレートカバーが取り付けられているか否かを判定し、
前記プレート画像領域を複数の領域に分割し、
前記輝度差を算出する処理は、前記分割された各領域について前記輝度差を算出し、該算出した複数の輝度差のうち最も大きい輝度差を前記判定する処理に供給する、
車両画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両画像認識装置、及び車両画像認識方法に関する。
【背景技術】
【０００２】
従来、駐車場における車両管理を行ったり、盗難車両を発見する等の目的で、車両に取り付けられたナンバープレートをカメラで撮影し、撮影された画像を解析して数字や文字を読み取る技術が知られている。
【０００３】
ところで、ナンバープレートの汚れを防止し、或いはデザイン的な趣向等で、ナンバープレートに樹脂等で形成されたカバー（以下、プレートカバーと称する）を取り付ける運転者が存在する。しかしながら、プレートカバーの中には、光透過率を減少させるものや、赤外線を吸収又は反射するものが存在するため、画像から数字や文字を読み取ることをプレートカバーが妨げる場合がある。
【０００４】
これに関連し、赤外光による赤外画像と可視光による可視画像の双方を解析可能なナンバー読取装置が知られている。このナンバー読取装置は、昼夜判定部の判定結果に基づき昼間と判定された場合は可視画像によるナンバー読取結果を用い、夜間と判定された場合は赤外画像によるナンバー読取結果を用いる。また、このナンバー読取装置は、赤外画像によるナンバーの読み取りが不可で、可視画像においてのみナンバーの読み取りが可能であった場合に、赤外光を吸収又は反射するプレートカバーが取り付けられた、不正プレートとして検出する。
【０００５】
また、ナンバープレートを撮影する赤外カメラと、車両の全体画像を撮影する可視光カメラを備え、赤外及び可視光カメラにより撮影された画像に基づいて、車両番号情報及び全体画像情報を抽出するポータブル型車両番号認識装置が知られている。このポータブル型車両番号認識装置は、認識したナンバープレートの輝度情報と照明電流制御機構を連動させ、赤外照明装置の照明強度を制御する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２９９６４５号公報
【特許文献２】特開２００６−１９０１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来のナンバー読取装置は、赤外光撮影を不可能にするプレートカバーの存在を検知することができるに過ぎず、ある程度の光透過性を有するプレートカバーについて何ら監視を行うことができない。
【０００８】
また、上記従来のポータブル型車両番号認識装置は、そもそもプレートカバーの存在について考慮していない。
【０００９】
一つの側面では、本発明は、車両のナンバープレートにプレートカバーが取り付けられているか否かを、より正確に判定することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様は、車両を含む入力画像より、ナンバープレートに対応するプレート画像領域を抽出するプレート画像領域抽出部と、前記プレート画像領域のナンバープレート記載情報に対応する第１の領域の平均輝度と、前記プレート画像領域における前記ナンバープレートの背景に対応する第２の領域の平均輝度との輝度差を算出する輝度差算出部と、前記算出された輝度差と、設定された標準輝度差に基づき、前記車両のナンバープレートにプレートカバーが取り付けられているか否かを判定する判定部と、前記プレート画像領域を複数の領域に分割する領域分割部を備え、前記輝度差算出部は、前記分割された各領域について前記輝度差を算出し、該算出した複数の輝度差のうち最も大きい輝度差を前記判定部に出力する、車両画像認識装置である。
【発明の効果】
【００１１】
一実施態様によれば、車両のナンバープレートにプレートカバーが取り付けられているか否かを、より正確に判定することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施例に係る車両画像認識システムを示す図である。
【図２】車両画像認識装置１のハードウェア構成例である。
【図３】車両画像認識装置１の機能構成例である。
【図４】撮像画像から生成されるエッジ検出画像を示す図である。
【図５】ナンバープレートの構成を示す図である。
【図６】プレートカバーが取り付けられていないナンバープレートとプレートカバーが取り付けられたナンバープレートにおいて算出された輝度差率を、それぞれ閾値αと比較した図である。
【図７】複数の輝度差率に対して統計的な分析を行ってプレートカバー判定を行う様子を示す図である。
【図８】認識車両データベース６０として保存されるデータの一例である。
【図９】標準平均輝度算出部４４によって標準平均輝度データベース６２に格納されるデータの一例である。
【図１０】第１実施例の車両画像認識装置１により実行される処理の流れを示すフローチャートの一例である。
【図１１】本発明の第２実施例に係る車両画像認識装置２の機能構成例である。
【図１２】撮像された車両がヘッドライトを点灯させている場合に、プレート画像領域の輝度差が増減する様子と、これに対応したプレート画像領域の分割態様を示す図である。
【図１３】プレート画像領域が車両前面部の中央部と端部のいずれに存在するかを判定する様子を説明するための説明図である。
【図１４】領域分割部４６がプレート画像領域を分割する結果、輝度差率の最大値が閾値α以上となる様子を示す図である。
【図１５】撮像時間帯が日中である場合に、日光の影響によりプレート画像領域の輝度差が増減する様子と、これに対応したプレート画像領域の分割態様を示す図である。
【図１６】撮像時間帯が日中である場合に、領域Ａ、Ｂのそれぞれに対して算出される輝度差率と閾値αを比較した図である。
【図１７】撮像された車両が大型車両である場合に、ナンバープレートの汚れによってプレート画像領域の輝度差が増減する様子と、これに対応したプレート画像領域の分割態様を示す図である。
【図１８】撮像時間帯が日中であり、撮像された車両が大型車両である場合に、領域Ａ、Ｂ、Ｃのそれぞれに対して算出される輝度差率と閾値αを比較した図である。
【図１９】第２実施例の車両画像認識装置２により実行される処理の流れを示すフローチャートの一例である。
【図２０】第２実施例の車両画像認識装置２により実行される処理の流れを示すフローチャートの一例である。
【図２１】第２実施例の車両画像認識装置２により実行される処理の流れを示すフローチャートの他の例である。
【図２２】本発明の第３実施例に係る車両画像認識装置３の機能構成例である。
【図２３】第３実施例の車両画像認識装置３により実行される処理の流れを示すフローチャートの一例である。
【図２４】第３実施例の車両画像認識装置３により実行される処理の流れを示すフローチャートの一例である。
【図２５】第３実施例の車両画像認識装置３により実行される処理の流れを示すフローチャートの他の例である。
【図２６】本発明の第４実施例に係る車両画像認識装置４の機能構成例である。
【図２７】文字領域分割部５０によって分割される領域Ａ〜Ｇ、及び各領域に対して算出される輝度差率と閾値αとの比較を示す図である。
【図２８】第４実施例の車両画像認識装置４により実行される処理の流れを示すフローチャートの一例である。
【図２９】本発明の第５実施例に係る車両画像認識装置５の機能構成例である。
【図３０】第５実施例の車両画像認識装置５により実行される処理の流れを示すフローチャートの一例である。
【図３１】第５実施例の車両画像認識装置５により実行される処理の流れを示すフローチャートの一例である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。
【実施例】
【００１４】
＜第１実施例＞
以下、図面を参照し、本発明の第１実施例に係る車両画像認識装置、車両画像認識システム、車両画像認識方法、及び車両画像認識プログラムについて説明する。
【００１５】
［ハードウェア構成］
図１は、本発明の第１実施例に係る車両画像認識システムを示す図である。第１実施例に係る車両画像認識システムは、車両画像認識装置１及びカメラ１００を有する。車両画像認識装置１は、カメラ１００に接続され、カメラ１００により撮像された画像の画像データが入力される。
【００１６】
カメラ１００は、例えばＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像素子を利用したデジタルカメラである。カメラ１００は、例えば電柱の上部、駐車場の天井部、道路に懸架された構造物等、車両を正面又は背面から撮像可能な任意の位置に取り付けられる。
【００１７】
カメラ１００には、車両に赤外光を照射する赤外光照射ランプ１１０が併設され、カメラ１００は赤外光を撮像することが可能である。このため、夜間においては、赤外光照射ランプ１１０が赤外光を車両に照射してカメラ１００が赤外光を撮像することによって、画像におけるナンバープレートの文字が読み取り可能となる。日中の撮像動作と夜間の撮像動作の切替制御は、カメラ１００及び赤外光照射ランプ１１０が能動的に行ってもよいし、車両画像認識装置１が行ってもよい。なお、カメラ１００は、可視光を撮像するカメラと赤外光を撮像するカメラを別体として備えてもよいし、単独のカメラが可視光を撮像する動作と赤外光を撮像する動作を切り替えるものであってもよい。
【００１８】
図２は、車両画像認識装置１のハードウェア構成例である。車両画像認識装置１は、例えば、ＣＰＵ（Central  Processing  Unit）１０と、ドライブ装置１２と、補助記憶装置１６と、メモリ装置１８と、インターフェース装置２０とを備える。
【００１９】
ＣＰＵ１０は、例えば、プログラムカウンタや命令デコーダ、各種演算器、ＬＳＵ（Load  Store  Unit）、汎用レジスタ等を有するプロセッサである。ドライブ装置１２は、記憶媒体１４からプログラムやデータを読み込み可能な装置である。プログラムを記録した記憶媒体１４がドライブ装置１２に装着されると、プログラムが記憶媒体１４からドライブ装置１２を介して補助記憶装置１６にインストールされる。記憶媒体１４は、例えば、ＣＤ（Compact  Disc）、ＤＶＤ（Digital  Versatile  Disc）、ＵＳＢ（Universal  Serial  Bus）メモリ等の可搬型の記憶媒体である。補助記憶装置１６は、例えば、ＨＤＤ（Hard  Disk  Drive）やフラッシュメモリ、メモリカード、ＥＥＰＲＯＭ（Electrically  Erasable  and  Programmable  Read  Only  Memory）である。ＣＰＵ１０が実行するプログラムのインストールは、上記のように記憶媒体１４を用いる他、インターフェース装置２０がネットワークを介して他のコンピュータよりダウンロードし、補助記憶装置１６にインストールすることによって行うこともできる。インストール又は予め格納されたプログラムをＣＰＵ１０が実行することにより、図２に示す態様の情報処理装置が、本実施例の車両画像認識装置１として機能することができる。メモリ装置１８は、例えば、ＲＡＭ（Random  Access  Memory）である。インターフェース装置２０は、ネットワークへの接続を行う他、カメラ１００から画像データを取得してメモリ装置１８等に格納する処理等を行う。
【００２０】
［機能構成］
図３は、車両画像認識装置１の機能構成例である。車両画像認識装置１は、車両画像領域抽出部３０、プレート画像領域抽出部３２、ナンバー認識部３４、輝度差算出部３６、輝度差率算出部３８、プレートカバー判定部４０、判定結果保存部４２、及び標準平均輝度算出部４４を備える。これらの機能ブロックは、ＣＰＵ１０がプログラムを実行することにより機能する。なお、これらの機能ブロックが明確に分離したプログラムによって実現される必要はなく、サブルーチンや関数として他のプログラムによって呼び出されるものであってもよい。また、機能ブロックの一部が、ＬＳＩ（Large  Scale  Integrated  circuit）、ＩＣ（Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェア手段であっても構わない。
【００２１】
また、車両画像認識装置１は、補助記憶装置１６又はメモリ装置１８上に、認識車両データベース６０と標準平均輝度データベース６２を生成して処理に利用する。
【００２２】
車両画像領域抽出部３０は、メモリ装置１８等に格納された画像データに対してエッジ検出処理を行い、エッジ検出画像を生成する。エッジとは、例えば隣接画素との輝度差が所定値以上の画素である。また、エッジは、公知のＳＯＢＥＬフィルター等のフィルター処理によって検出されてもよい。図４は、撮像画像から生成されるエッジ検出画像を示す図である。図４（Ａ）は、撮像画像を示し、図４（Ｂ）は、エッジ検出画像を示す。車両画像領域抽出部３０は、更に、エッジ検出画像に対してパターンマッチング処理等を行い、画像において車両が占める車両画像領域を抽出する。
【００２３】
プレート画像領域抽出部３２は、車両抽出部３０が抽出した車両画像領域内で、ナンバープレートが占めるプレート画像領域を抽出する。プレート画像領域抽出部３２は、例えば、まず、車両画像領域内でナンバープレートが存在しそうな領域を探索領域とし、探索領域内でエッジが矩形に並んでいる領域をプレート画像領域として抽出する。プレート画像領域抽出部３２は、探索領域内でプレート画像領域が抽出できない場合、探索領域外でプレート画像領域を抽出する。また、プレート画像領域抽出部３２は、撮像画像におけるプレート画像領域に相当する箇所を解析し、プレートサイズやプレート色を取得してメモリ装置１８等に格納しておく。
【００２４】
ナンバー認識部３４は、プレート画像領域抽出部３２が抽出したプレート画像領域内で、ナンバープレートに記載された文字、数字、及び記号（−）を認識する。図５は、日本国におけるナンバープレートの構成を例示した図である。図示するように、ナンバープレートには、運輸支局等、分類番号、かな文字、一連指定番号が、背景領域とは異なる色彩で記載されている。ナンバープレートは、例えば白地に緑、緑地に白、黒地に黄色、黄色地に黒、青地に白等の色彩で文字等が記載される。以下、係る色彩の種別を「色彩種別」と称する。こうした色彩のコントラストはエッジとして現れるため、撮像画像から生成されるエッジ検出画像では、文字、数字、記号の輪郭上にエッジ点が並ぶことになる。
【００２５】
ナンバー認識部３４は、プレート画像領域に対して縮尺、傾き補正等を行い、補助記憶装置１６等に保持しているフォントのパターンと、上記エッジ点から認識される輪郭のマッチングを行い、ナンバープレートに記載された文字、数字、及び記号を認識する。ナンバー認識部３４は、ナンバープレートに記載された文字及び数字が何であるかを認識するだけでなく、エッジ点から認識される輪郭を用いて、画像における文字、数字、又は記号を示す領域（以下、「文字等領域」と称する）を特定する。
【００２６】
なお、画像における車両の認識や文字の認識については、既に種々の手法が公知となっており、本実施例の車両画像認識装置１は、上記説明した手法に限らず如何なる手法を用いてもよい。
【００２７】
輝度差算出部３６は、ナンバー認識部３４が特定した文字等領域と、プレート画像領域から文字等領域を除いた背景領域のそれぞれについて、平均輝度を算出する。平均輝度は、例えば各領域に含まれる各画素の輝度値を合計し、各領域に含まれる画素の数で除算することによって求められる。
【００２８】
輝度差算出部３６は、更に、上記算出した文字等領域の平均輝度と、背景領域の平均輝度との差分である輝度差を算出する。輝度差算出部３６は、文字等領域の平均輝度から背景領域の平均輝度を差し引いた値を輝度差としてもよいし、背景領域の平均輝度から文字等領域の平均輝度を差し引いた値を輝度差としてもよい。また、輝度差算出部３６は、上記いずれかの差し引いた値の絶対値を輝度差としてよい。以下、輝度差は絶対値であるものとする。
【００２９】
輝度差率算出部３８は、輝度差算出部３６が算出した輝度差と、標準平均輝度データベース６２に格納された標準平均輝度から得られる標準輝度差との比率を求めることにより、ナンバープレートに取り付けられたプレートカバーの光透過率を示す指標値を算出する。輝度差率算出部３８は、例えば輝度差算出部３６が算出した輝度差を、標準輝度差で除算して指標値を算出する。以下、係る指標値を「輝度差率」と称する。
【００３０】
標準輝度差は、例えば後述するように、プレートカバーが取り付けられていないと判定された車両に関する、文字等領域の平均輝度と背景領域の平均輝度をそれぞれ平均した標準平均輝度の差分である。
【００３１】
プレートカバー判定部４０は、輝度差率が閾値未満である場合に、カメラ１００によって撮像された車両のナンバープレートにプレートカバーが取り付けられていると判定する。また、プレートカバー判定部４０は、輝度差率が閾値以上である場合に、カメラ１００によって撮像された車両のナンバープレートにプレートカバーが取り付けられていないと判定する。
【００３２】
図６は、プレートカバーが取り付けられていないナンバープレートとプレートカバーが取り付けられたナンバープレートにおいて算出された輝度差率を、それぞれ閾値αと比較した図である。図６（Ａ）は、プレートカバーが取り付けられていないナンバープレートについて算出される輝度差率と閾値αとの比較を示し、図６（Ｂ）、はプレートカバーが取り付けられたナンバープレートについて算出される輝度差率と閾値αとの比較を示す。なお、後述のように標準輝度差を撮像条件に応じて設定しない場合、プレートカバー判定部４０が、撮像条件に応じて異なる閾値を設定してもよい。
【００３３】
また、プレートカバー判定部４０は、輝度差率を単純に閾値と比較するのでは無く、例えば撮像条件が共通する複数の輝度差率のうち、統計的に乖離した輝度差を、プレートカバーが取り付けられた車両の輝度差であると判定してもよい。図７は、複数の輝度差率に対して統計的な分析を行ってプレートカバー判定を行う様子を示す図である。プレートカバー判定部４０は、例えば輝度差率と出現頻度のヒストグラムを生成し、データの分布にギャップ等が存在する場合に、ギャップよりも輝度差率が高いものを「プレートカバー無し」と判定し、低いものを「プレートカバー有り」と判定してもよい。
【００３４】
判定結果保存部４２は、プレートカバーが取り付けられていると判定された車両について、ナンバー認識部３４が認識した文字及び数字、及び輝度差率算出部３８が算出した輝度差率等を含む判定結果を、認識車両データベース６０として保存する。
【００３５】
図８は、認識車両データベース６０として保存されるデータの一例である。認識車両データベース６０には、認識結果を特定する認識ＩＤ、認識日時（撮像日時でもよい）、ナンバー情報、プレートカバーの有無、光透過率（輝度差率）等が格納される。ナンバー情報は、例えばナンバー認識部３４が認識する運輸支局等、分類番号、かな文字、一連指定番号の他、プレート画像領域抽出部３２が認識するプレートサイズ、プレート色を含む。
【００３６】
標準平均輝度算出部４４は、プレートカバー判定部４０によりプレートカバーが取り付けられていないと判定された車両に関する文字等領域と背景領域の平均輝度をそれぞれ平均した、標準平均輝度を計算して、標準平均輝度データベース６２に格納する。平均値は、過去に計算対象としたデータ数をｎ、既存の平均値をＥ（ｎ）、今回計算する平均値をＥ（ｎ＋１）、今回計算に加える値をＡ（ｎ＋１）とすると、例えば、次式（１）によって求められる。
【００３７】
Ｅ（ｎ＋１）＝｛Ｅ（ｎ）×ｎ＋Ａ（ｎ＋１）｝／（ｎ＋１）  …（１）
【００３８】
ここで、標準平均輝度は、ナンバープレートの色彩や撮像条件に応じて変動することが想定されるため、例えば色彩種別毎、時間帯毎、天候毎に計算される。なお、標準平均輝度の元データが十分に蓄積されていない期間のために、カメラ１００の設置場所で実験等を行って得られたデータが、初期データとして用いられてもよい。
【００３９】
標準平均輝度算出部４４は、例えば内蔵のタイマを参照して時間帯を認識することができる。また、標準平均輝度算出部４４は、インターフェース装置２０及びネットワークを介して天候に関する情報を取得することができる。
【００４０】
また、標準平均輝度算出部４４は、カメラ１００により撮像された可視光画像全体の輝度平均に基づいて、環境の照度を算出し、時間帯毎、天候毎では無く、「環境照度毎」に標準平均輝度を計算してもよい。また、標準平均輝度算出部４４は、照度センサ等の出力により得られる照度に基づき、環境照度毎に標準平均輝度を計算してもよい。
【００４１】
このように、標準平均輝度算出部４４は、カメラ１００の撮像画像全体に影響を与える時間帯及び天候、又は環境照度毎に、標準平均輝度差及び標準輝度差を計算する。以下の説明では、車両画像認識装置１は、時間帯毎及び天候毎に標準平均輝度差及び標準輝度差を計算し、設定するものとする。図９は、標準平均輝度算出部４４によって標準平均輝度データベース６２に格納されるデータの一例である。
【００４２】
［フローチャート］
以下、第１実施例の車両画像認識装置１により実行される処理の流れについて説明する。図１０は、第１実施例の車両画像認識装置１により実行される処理の流れを示すフローチャートの一例である。本フローチャートは、例えばカメラ１００から画像データが入力される度に実行される。
【００４３】
まず、車両画像領域抽出部３０が、メモリ装置１８等に格納された画像データを読み込み（Ｓ２００）、車両画像領域を抽出する（Ｓ２０２）。
【００４４】
続いて、プレート画像領域抽出部３２が、車両画像領域内でプレート画像領域を抽出し（Ｓ２０４）、ナンバー認識部３４が、プレート画像領域内でナンバー（文字、数字、記号）を認識する（Ｓ２０６）。
【００４５】
輝度差算出部３６は、プレート画像領域に対して、文字等領域と背景領域のそれぞれについて平均輝度を算出し、文字等領域の平均輝度と背景領域の平均輝度の輝度差を算出する（Ｓ２０８）。
【００４６】
次に、輝度差率算出部３８が、輝度差率を算出し（Ｓ２１０）、プレートカバー判定部４０が、輝度差率が閾値未満であるか否かを判定する（Ｓ２１２）。
【００４７】
プレートカバー判定部４０は、輝度差率が閾値未満である場合、画像データに含まれる車両のナンバープレートにプレートカバーが取り付けられている（プレートカバー有り）と判定する（Ｓ２１４）。この場合、判定結果保存部４２は、判定結果と輝度差率（光透過率）、その他の事項を認識車両データベース６０に格納する（Ｓ２１６）。判定結果保存部４２は、データを認識車両データベース６０に格納する際に、ネットワークを介して同じデータを監視センタ等に送信してもよい。
【００４８】
一方、プレートカバー判定部４０により輝度差率が閾値以上である（プレートカバー無し）と判定された場合、標準平均輝度算出部４４は、標準平均輝度を計算し、標準平均輝度データベース６２を更新する（Ｓ２１８）。
【００４９】
なお、ナンバー認識がエラーとなった場合、すなわち文字等領域と背景領域が区別できなかった場合、判定結果保存部４２は、参考情報を認識車両データベース６０に格納する。参考情報には、取得可能な情報、例えば認識日時、算出可能な範囲での輝度差率等が含まれ得る。
【００５０】
［まとめ］
以上説明した第１実施例の車両画像認識装置１は、文字等部分の平均輝度と背景部分の平均輝度の輝度差を標準輝度差で除算することにより、プレートカバーの光透過率を示す指標値となる輝度差率を算出することができる。
【００５１】
また、第１実施例の車両画像認識装置１は、輝度差率を閾値と比較したり、輝度差率に対して統計処理を行うことにより、撮像された車両のナンバープレートに、プレートカバーが取り付けられているか否かを判定することができる。
【００５２】
＜第２実施例＞
以下、図面を参照し、本発明の第２実施例に係る車両画像認識装置、車両画像認識システム、車両画像認識方法、及び車両画像認識プログラムについて説明する。
【００５３】
ハードウェア構成については、第１実施例と同様であるため、各構成要素について同一の符号を付し、説明を省略する。
【００５４】
［機能構成］
図１１は、本発明の第２実施例に係る車両画像認識装置２の機能構成例である。車両画像認識装置２は、第１実施例の車両画像認識装置１が有する各構成要素に加え、領域分割部４６を備える。図１１に示す各機能ブロックは、ＣＰＵ１０がプログラムを実行することにより機能する。なお、これらの機能ブロックが明確に分離したプログラムによって実現される必要はなく、サブルーチンや関数として他のプログラムによって呼び出されるものであってもよい。また、機能ブロックの一部が、ＬＳＩ、ＩＣやＦＰＧＡ等のハードウェア手段であっても構わない。
【００５５】
また、車両画像認識装置２は、補助記憶装置１６又はメモリ装置１８上に、認識車両データベース６０と標準平均輝度データベース６２を生成して処理に利用する。
【００５６】
第２実施例に係る車両画像領域抽出部３０は、画像において車両が占める車両画像領域を抽出するのに加え、車両画像領域のサイズや形状に基づいて、車両のサイズ種別（特に、大型車両であるか否か）を判断する。
【００５７】
領域分割部４６は、プレート画像領域抽出部３２により抽出されたプレート画像領域を、複数の領域に分割する。
【００５８】
第２実施例に係る輝度差算出部３６は、領域分割部４６によって分割された各領域について、文字等領域の平均輝度、背景領域の平均輝度、及び輝度差を算出する。そして、第２実施例に係る輝度差算出部３６は、算出した複数の輝度差のうち最大の輝度差を、該当する車両についての輝度差として輝度差率算出部３８に出力する。
【００５９】
以下、第２実施例の車両画像認識装置２が、このような処理を行う理由について説明する。領域分割部４６は、撮像時間帯、ヘッドライト点灯の有無、ナンバープレートと車両の相対位置、車両のサイズ種別等の条件に基づいて、領域分割の態様を決定する。
【００６０】
〔夜間の場合〕
図１２は、撮像時間帯が夜間であり、撮像された車両がヘッドライトを点灯させている場合に、プレート画像領域の輝度差が増減する様子と、これに対応したプレート画像領域の分割態様を示す図である。夜間においては、ヘッドライトの光の影響で、プレート画像領域の輝度差が部分的に小さくなる場合がある。
【００６１】
図１２（Ａ）は、ナンバープレートが車両前面部の中央部に取り付けられている車両と、ヘッドライトの光の影響で部分的に輝度差が小さくなったプレート画像領域、及びこれに対応した領域分割の一例である。図示するように、ナンバープレートが車両前面部の中央部に取り付けられている車両の場合、プレート画像領域のうちヘッドライトに近い両端部で輝度差が小さくなる。従って、本来の輝度差を得るためには、プレート画像領域の中央部で輝度差を算出することが望ましい。
【００６２】
このため、領域分割部４６は、図１２（Ａ）に示すように、（i）撮像時間帯が夜間であり、且つ（ii）プレート画像領域が車両前面部の中央部に存在する場合、プレート画像領域を、例えば鉛直方向に二本設定した境界線で領域Ａ、Ｂ、Ｃに三分割する。「車両前面部」は、図４に示すように、カメラ１００が車両を正面から撮像した場合には車両画像領域と同一視することができるが、斜め方向からした場合には、例えば車両画像領域抽出部３０が、車両前面部を特定するためのパターンマッチングを行う。なお、領域分割部４６は、カメラ１００がロール角を持たずに設置されている場合は、画像の縦方向を水平方向とみなしてよいが、ロール角を持って設置されている場合は、ロール補正等の処理を行って鉛直方向の境界線を設定すると好適である。ここで、ロール角とは、カメラ１００の光軸回りのカメラ１００の回転角をいう。
【００６３】
一方、図１２（Ｂ）は、ナンバープレートが端部に取り付けられている車両と、ヘッドライトの光の影響で部分的に輝度差が小さくなったプレート画像領域、及びこれに対応した領域分割の一例である。図示するように、ナンバープレートが端部に取り付けられている車両の場合、プレート画像領域のうちヘッドライトに近い側で輝度差が小さくなる。従って、本来の輝度差を得るためには、プレート画像領域のうちヘッドライトから遠い側で輝度差を算出することが望ましい。
【００６４】
このため、領域分割部４６は、図１２（Ｂ）に示すように、（i）撮像時間帯が夜間であり、（iii）且つプレート画像領域が車両前面部の端部に存在する場合、プレート画像領域を、例えば鉛直方向に一本設定した境界線で領域Ａ、Ｂに二分割する。
【００６５】
領域分割部４６は、プレート画像領域が車両前面部の中央部と端部のいずれに存在するかを判定するために、例えば以下の処理を行う。図１３は、プレート画像領域が車両前面部の中央部と端部のいずれに存在するかを判定する様子を説明するための説明図である。領域分割部４６は、例えば、プレート画像領域Ｎの重心点Ｇが、車両前面部の水平方向に関する両端部の中間点Ｍから乖離したズレ量ｘを算出する。領域分割部４６は、例えば、ズレ量ｘを車両前面部の端部〜中間点の距離Ｌで除算した値が基準値以上であれば、車両前面部の端部に存在すると判定し、ズレ量ｘを距離Ｌで除算した値が基準値未満であれば、車両前面部の中央部に存在すると判定する。
【００６６】
このように、第２実施例の車両画像認識装置２は、撮像時間帯が夜間である場合に、鉛直方向の境界線でプレート画像領域を分割することにより、ヘッドライトの光の影響が小さい領域を作り出すことができる。この結果、車両画像認識装置２は、ヘッドライトの光の影響によって、本来の値よりも小さい輝度差が輝度差算出部３６により算出されることを抑制することができる。
【００６７】
また、第２実施例の車両画像認識装置２は、プレート画像領域が車両前面部の中央部に存在するか端部に存在するかによって、プレート画像領域を分割する態様を変更するため、ヘッドライトの光が輝度差率に与える影響を更に低減することができる。
【００６８】
図１４は、領域分割部４６がプレート画像領域を分割する結果、輝度差率の最大値が閾値α以上となる様子を示す図である。
【００６９】
図１４（Ａ）は、撮像時間帯が夜間であり、プレート画像領域が車両前面部の中央部に存在する場合に、領域Ａ、Ｂ、Ｃのそれぞれに対して算出される輝度差率と閾値αを比較した図である。図示するように、領域Ａ、Ｃについて算出された輝度差率は、ヘッドライトの光の影響で閾値α未満となる場合があるが、領域Ｂについて算出された輝度差率は、閾値α以上となる可能性が高い。輝度差算出部３６は、複数の輝度差のうち最大の輝度差を輝度差率算出部３８に出力するため、輝度差率算出部３８は、領域Ｂについての輝度差率を算出することになる。この結果、プレートカバー判定部４０は、「プレートカバー無し」と判定することになる。
【００７０】
図１４（Ｂ）は、撮像時間帯が夜間であり、プレート画像領域が車両前面部の端部に存在する場合に、領域Ａ、Ｂのそれぞれに対して算出される輝度差率と閾値αを比較した図である。図示するように、領域Ｂについて算出された輝度差率は、ヘッドライトの光の影響で閾値α未満となる場合があるが、領域Ａについて算出された輝度差率は、閾値α以上となる可能性が高い。輝度差算出部３６は、複数の輝度差のうち最大の輝度差を輝度差率算出部３８に出力するため、輝度差率算出部３８は、領域Ａについての輝度差率を算出することになる。この結果、プレートカバー判定部４０は、「プレートカバー無し」と判定することになる。
【００７１】
このように、第２実施例の車両画像認識装置２は、プレートカバーが取り付けられているか否かを判定する際に、ヘッドライトの光が与える影響を低減することができる。
【００７２】
なお、領域分割部４６は、「撮像時間帯が夜間である」という条件に代えて、或いは加えて、「撮像された車両がヘッドライトを点灯させていることが、ヘッドライト点灯検出部４５により検出された」という条件を用いてもよい。ヘッドライト点灯検出部４５は、例えばカメラ１００の撮像画像における最大輝度が基準値以上であり、撮像時間帯が夜間である場合に車両がヘッドライトを点灯させていると判定する。この場合も、車両画像認識装置２は、上記と同様の効果を奏することができる。
【００７３】
〔日中の場合〕
図１５は、撮像時間帯が日中である場合に、日光の影響によりプレート画像領域の輝度差が増減する様子と、これに対応したプレート画像領域の分割態様を示す図である。日中においては、上方向から照射する日光が車両のバンパーに遮られて影を作ることにより、プレート画像領域の輝度差が部分的に小さくなる場合がある。
【００７４】
図１５に示すように、撮像時間帯が日中である場合、プレート画像領域のうち上側の部分で輝度差が小さくなる。従って、本来の輝度差を得るためには、プレート画像領域の下側の部分で輝度差を算出することが望ましい。
【００７５】
このため、領域分割部４６は、図１５に示すように、（iv）撮像時間帯が日中である場合、プレート画像領域を、例えば水平方向に一本設定した境界線で領域Ａ、Ｂに二分割する。なお、領域分割部４６は、カメラ１００が水平方向に対してロール角を持たずに設置されている場合は、画像の横方向を水平方向とみなしてよいが、ロール角を持って設置されている場合は、ロール補正等の処理を行って水平方向の境界線を設定すると好適である。
【００７６】
このように、第２実施例の車両画像認識装置２は、撮像時間帯が日中である場合に、水平方向の境界線でプレート画像領域を分割することにより、日光が作り出す影の影響が小さい領域を作り出すことができる。この結果、車両画像認識装置２は、日光が作り出す影の影響によって、本来の値よりも小さい輝度差が輝度差算出部３６により算出されることを抑制することができる。
【００７７】
図１６は、撮像時間帯が日中である場合に、領域Ａ、Ｂのそれぞれに対して算出される輝度差率と閾値αを比較した図である。図示するように、領域Ａについて算出された輝度差率は、影の影響で閾値α未満となる場合があるが、領域Ｂについて算出された輝度差率は、閾値α以上となる可能性が高い。輝度差算出部３６は、複数の輝度差のうち最大の輝度差を輝度差率算出部３８に出力するため、輝度差率算出部３８は、領域Ｂについての輝度差率を算出することになる。この結果、プレートカバー判定部４０は、「プレートカバー無し」と判定することになる。
【００７８】
このように、第２実施例の車両画像認識装置２は、プレートカバーが取り付けられているか否かを判定する際に、日光が作り出す影が与える影響を低減することができる。
【００７９】
なお、領域分割部４６は、日中と夜間を区別する際に、季節に応じて異なる判断基準を用いると好適である。
【００８０】
〔車両が大型車両である場合〕
図１７は、撮像された車両が大型車両である場合に、ナンバープレートの下側の汚れによってプレート画像領域の輝度差が増減する様子と、これに対応したプレート画像領域の分割態様を示す図である。なお、図１７は、撮像時間帯が日中であることを前提としている。大型車両の場合、長時間の走行等により、特にナンバープレートの下側が汚れる場合がある。
【００８１】
このため、領域分割部４６は、（v）撮像された車両が大型車両である場合、プレート画像領域を、例えば水平方向に設定した境界線で領域に分割する。図１７の例では撮像時間帯が日中であるため、領域分割部４６は、プレート画像領域を、例えば水平方向に二本設定した境界線で領域Ａ、Ｂ、Ｃに三分割する。
【００８２】
このように、第２実施例の車両画像認識装置２は、撮像された車両が大型車両である場合に、水平方向の境界線でプレート画像領域を分割することにより、ナンバープレートの汚れの影響が小さい領域を作り出すことができる。この結果、車両画像認識装置２は、ナンバープレートの汚れの影響によって、本来の値よりも小さい輝度差が輝度差算出部３６により算出されることを抑制することができる。
【００８３】
図１８は、撮像時間帯が日中であり、撮像された車両が大型車両である場合に、領域Ａ、Ｂ、Ｃのそれぞれに対して算出される輝度差率と閾値αを比較した図である。図示するように、領域Ａ、Ｃについて算出された輝度差率は、影又は汚れの影響で閾値α未満となる場合があるが、領域Ｂについて算出された輝度差率は、閾値α以上となる可能性が高い。輝度差算出部３６は、複数の輝度差のうち最大の輝度差を輝度差率算出部３８に出力するため、輝度差率算出部３８は、領域Ｂについての輝度差率を算出することになる。この結果、プレートカバー判定部４０は「プレートカバー無し」と判定することになる。
【００８４】
このように、第２実施例の車両画像認識装置２は、プレートカバーが取り付けられているか否かを判定する際に、日光が作り出す影やナンバープレートの汚れが与える影響を低減することができる。
【００８５】
［フローチャート］
以下、第２実施例の車両画像認識装置２により実行される処理の流れについて説明する。図１９及び図２０は、第２実施例の車両画像認識装置２により実行される処理の流れを示すフローチャートの一例である。本フローチャートは、例えばカメラ１００から画像データが入力される度に実行される。
【００８６】
まず、車両画像領域抽出部３０が、メモリ装置１８等に格納された画像データを読み込み（Ｓ３００）、車両画像領域を抽出する（Ｓ３０２）。
【００８７】
続いて、プレート画像領域抽出部３２が、車両画像領域内でプレート画像領域を抽出し（Ｓ３０４）、ナンバー認識部３４が、プレート画像領域内でナンバー（文字、数字、記号）を認識する（Ｓ３０６）。
【００８８】
次に、領域分割部４６が、領域分割を行う（Ｓ３０８〜Ｓ３２０；図２０参照）。領域分割部４６は、まず、撮像時間帯が日中であるか否かを判定する（Ｓ３０８）。
【００８９】
撮像時間帯が日中である場合、領域分割部４６は、撮像された車両が大型車両であるか否かを判定する（Ｓ３１０）。
【００９０】
撮像された車両が大型車両である場合、領域分割部４６は、水平方向に二本設定した境界線でプレート画像領域を三分割する（Ｓ３１２）。撮像された車両が大型車両でない場合、領域分割部４６は、水平方向に一本設定した境界線でプレート画像領域を二分割する（Ｓ３１４）。
【００９１】
一方、撮像時間帯が日中でなく夜間である場合、領域分割部４６は、プレート画像領域の位置が車両前面部の中央部に存在するか否かを判定する（Ｓ３１６）。
【００９２】
プレート画像領域の位置が車両前面部の中央部に存在する場合、領域分割部４６は、鉛直方向に二本設定した境界線でプレート画像領域を三分割する（Ｓ３１８）。プレート画像領域の位置が車両前面部の端部に存在する場合、領域分割部４６は、鉛直方向に一本設定した境界線でプレート画像領域を二分割する（Ｓ３２０）。
【００９３】
輝度差算出部３６は、Ｓ３０８〜Ｓ３２０の処理によって分割された各領域について、文字又は数字の輪郭が全領域で認識可能であるか否かを判定する（Ｓ３２２＿１）。文字又は数字の輪郭については、例えば、ナンバー認識部３４によるナンバーの認識結果が援用される。すなわち、ナンバー認識部３４によるナンバーの認識を行う際に抽出されたエッジ点を連ねた線が、文字又は数字の輪郭として認識される。輝度差算出部３６は、例えば、輪郭が領域内で途切れていない領域を、文字又は数字の輪郭を認識可能な領域として扱う。
【００９４】
輝度差算出部３６は、文字又は数字の輪郭が全領域で認識可能である場合、全領域について、文字等領域と背景領域のそれぞれの平均輝度を算出して輝度差を算出し、算出した複数の輝度差の中で最大値となる輝度差を選択する（Ｓ３２２＿２）。
【００９５】
輝度差算出部３６は、文字又は数字の輪郭が全領域で認識可能でない場合、文字又は数字の輪郭が一部の領域で認識可能であるか否かを判定する（Ｓ３２２＿３）。
【００９６】
文字又は数字の輪郭が領域の境界線と交差する場合、同じ文字や数字であっても、ある領域内では輪郭が認識でき、他の領域では認識できないという状況が生じ得る。また、ある領域内に収まる文字や数字は輪郭が認識できるが、他の領域内に収まる文字や数字は輪郭が認識できないという状況も生じ得る。こうした状況においても、輪郭が認識できる領域を選択することで、有意な輝度差を算出することができる。
【００９７】
輝度差算出部３６は、文字又は数字の輪郭が一部の領域で認識可能である場合、当該一部の領域について、文字等領域と背景領域のそれぞれの平均輝度を算出して輝度差を算出し、算出した複数の輝度差の中で最大値となる輝度差を選択する（Ｓ３２２＿４）。
【００９８】
輝度差算出部３６は、文字又は数字の輪郭が一部の領域でも認識可能でない場合、参考情報を認識車両データベース６０に格納する（Ｓ３２２＿５）。
【００９９】
次に、輝度差算出部３６が選択した輝度差（最大値）に基づき、輝度差率算出部３８が、輝度差率を算出し（Ｓ３２４）、プレートカバー判定部４０が、輝度差率が閾値未満であるか否かを判定する（Ｓ３２６）。
【０１００】
プレートカバー判定部４０は、輝度差率が閾値未満である場合、画像データに含まれる車両のナンバープレートにプレートカバーが取り付けられている（プレートカバー有り）と判定する（Ｓ３２８）。この場合、判定結果保存部４２は、判定結果と輝度差率（光透過率）、その他の事項を認識車両データベース６０に格納する（Ｓ３３０）。判定結果保存部４２は、データを認識車両データベース６０に格納する際に、ネットワークを介して同じデータを監視センタ等に送信してもよい。
【０１０１】
一方、プレートカバー判定部４０により輝度差率が閾値以上である（プレートカバー無し）と判定された場合、標準平均輝度算出部４４は、標準平均輝度を計算し、標準平均輝度データベース６２を更新する（Ｓ３３２）。
【０１０２】
［他のフローチャート］
領域分割部４６が、「撮像時間帯が夜間である」という条件に加えて、「撮像された車両がヘッドライトを点灯させている」という条件を用いる場合、図２０のフローチャートは、以下のように変更される。図２１は、第２実施例の車両画像認識装置２により実行される処理の流れを示すフローチャートの他の例である。
【０１０３】
領域分割部４６は、まず、撮像時間帯が日中であるか否かを判定する（Ｓ３０８）。
【０１０４】
撮像時間帯が日中である場合、領域分割部４６は、撮像された車両が大型車両であるか否かを判定する（Ｓ３１０）。
【０１０５】
撮像された車両が大型車両である場合、領域分割部４６は、水平方向に二本設定した境界線でプレート画像領域を三分割する（Ｓ３１２）。撮像された車両が大型車両でない場合、領域分割部４６は、水平方向に一本設定した境界線でプレート画像領域を二分割する（Ｓ３１４）。
【０１０６】
一方、撮像時間帯が日中でなく夜間である場合、領域分割部４６は、撮像された車両のヘッドライトが点灯しているか否かを判定する（Ｓ３１５）。
【０１０７】
撮像された車両のヘッドライトが点灯している場合、領域分割部４６は、プレート画像領域の位置が車両前面部の中央部に存在するか否かを判定する（Ｓ３１６）。
【０１０８】
プレート画像領域の位置が車両前面部の中央部に存在する場合、領域分割部４６は、鉛直方向に二本設定した境界線でプレート画像領域を三分割する（Ｓ３１８）。プレート画像領域の位置が車両前面部の端部に存在する場合、領域分割部４６は、鉛直方向に一本設定した境界線でプレート画像領域を二分割する（Ｓ３２０）。
【０１０９】
撮像された車両のヘッドライトが点灯していない場合、領域分割部４６は、例えば領域分割を行わない。
【０１１０】
図２１に示す処理が終了すると、図１９のＳ３２２以下の処理が実行される。
【０１１１】
［まとめ］
以上説明した第２実施例の車両画像認識装置２は、第１実施例と同様、プレートカバーの光透過率を示す指標値となる輝度差率を算出することができ、撮像された車両のナンバープレートにプレートカバーが取り付けられているか否か判定することができる。
【０１１２】
更に、第２実施例の車両画像認識装置２は、領域分割部４６が種々の条件に基づいてプレート画像領域を分割するため、ヘッドライトの光、日光が作り出す影、ナンバープレートの汚れ等の影響が小さい領域を作り出すことができる。このため、第２実施例の車両画像認識装置２は、本来の値よりも小さい輝度差が算出されることを抑制することができる。この結果、第２実施例の車両画像認識装置２は、プレートカバーが取り付けられているか否かを、より正確に判定することができる。
【０１１３】
＜第３実施例＞
以下、図面を参照し、本発明の第３実施例に係る車両画像認識装置、車両画像認識システム、車両画像認識方法、及び車両画像認識プログラムについて説明する。
【０１１４】
ハードウェア構成については、第１実施例と同様であるため、各構成要素について同一の符号を付し、説明を省略する。
【０１１５】
［機能構成］
図２２は、本発明の第３実施例に係る車両画像認識装置３の機能構成例である。車両画像認識装置３は、第１実施例の車両画像認識装置１が有する各構成要素に加え、領域選択部４８を備える。図２２に示す各機能ブロックは、ＣＰＵ１０がプログラムを実行することにより機能する。なお、これらの機能ブロックが明確に分離したプログラムによって実現される必要はなく、サブルーチンや関数として他のプログラムによって呼び出されるものであってもよい。また、機能ブロックの一部が、ＬＳＩ、ＩＣやＦＰＧＡ等のハードウェア手段であっても構わない。
【０１１６】
また、車両画像認識装置３は、補助記憶装置１６又はメモリ装置１８上に、認識車両データベース６０と標準平均輝度データベース６２を生成して処理に利用する。
【０１１７】
第３実施例に係る車両画像領域抽出部３０は、第２実施例と同様、車両のサイズ種別（特に、大型車両であるか否か）を判断する。
【０１１８】
領域選択部４８は、プレート画像領域抽出部３２により抽出されたプレート画像領域から、特定の領域を選択する。
【０１１９】
第３実施例に係る輝度差算出部３６は、領域選択部４８によって選択された領域について文字等領域の平均輝度、背景領域の平均輝度、及び輝度差を算出する。
【０１２０】
第３実施例の車両画像認識装置３が、このような処理を行う理由については、第２実施例と同様である。領域選択部４８は、撮像時間帯、ヘッドライト点灯の有無、ナンバープレートと車両の相対位置、車両のサイズ種別等の条件に基づいて、特定の領域を選択する。
【０１２１】
〔夜間の場合〕
領域選択部４８は、（i）撮像時間帯が夜間であり、且つ（ii）プレート画像領域が車両前面部の中央部に存在する場合、プレート画像領域を、例えば鉛直方向に二本設定した境界線で三分割し、中央の領域を選択する。係る処理を行う理由については、図１２（Ａ）及び第２実施例の説明を援用することとして、説明を省略する。
【０１２２】
また、領域選択部４８は、（i）撮像時間帯が夜間であり、（iii）且つプレート画像領域が車両前面部の端部に存在する場合、プレート画像領域を、例えば鉛直方向に一本設定した境界線で二分割し、ヘッドライトから遠い側の領域を選択する。ここで、ヘッドライトから遠い側の領域は、「ナンバープレートに近い方の」ヘッドライトから遠い側の領域を意味する。係る処理を行う理由については、図１２（Ｂ）及び第２実施例の説明を援用することとして、説明を省略する。
【０１２３】
このように、第３実施例の車両画像認識装置３は、撮像時間帯が夜間である場合に、鉛直方向の境界線でプレート画像領域を分割し、ヘッドライトの光の影響が小さい領域を選択する。この結果、車両画像認識装置３は、ヘッドライトの光の影響によって、本来の値よりも小さい輝度差が輝度差算出部３６により算出されることを抑制することができる。
【０１２４】
また、第３実施例の車両画像認識装置３は、プレート画像領域が車両前面部の中央部に存在するか端部に存在するかによって、プレート画像領域を分割する態様及び選択する領域を変更する。この結果、第３実施例の車両画像認識装置３は、ヘッドライトの光が輝度差率に与える影響を更に低減することができる。
【０１２５】
これらによって、第３実施例の車両画像認識装置３は、プレートカバーが取り付けられているか否かを判定する際に、ヘッドライトの光が与える影響を低減することができる。
【０１２６】
なお、領域選択部４８は、第２実施例と同様、「撮像時間帯が夜間である」という条件に代えて、或いは加えて、「撮像された車両がヘッドライトを点灯させていることが、ヘッドライト点灯検出部４５により検出された」という条件を用いてもよい。
【０１２７】
〔日中の場合〕
領域選択部４８は、（iv）撮像時間帯が日中である場合、プレート画像領域を、例えば水平方向に一本設定した境界線で領域Ａ、Ｂに二分割し、下側の領域Ｂを選択する。係る処理を行う理由については、図１５及び第２実施例の説明を援用することとして、説明を省略する。
【０１２８】
このように、第３実施例の車両画像認識装置３は、撮像時間帯が日中である場合に、水平方向の境界線でプレート画像領域を分割して下側の領域を選択することにより、日光が作り出す影の影響が小さい領域を選択することができる。この結果、車両画像認識装置３は、日光が作り出す影の影響によって、本来の値よりも小さい輝度差が輝度差算出部３６により算出されることを抑制することができる。
【０１２９】
これによって、第３実施例の車両画像認識装置３は、プレートカバーが取り付けられているか否かを判定する際に、日光が作り出す影が与える影響を低減することができる。
【０１３０】
〔車両が大型車両である場合〕
領域選択部４８は、（v）撮像された車両が大型車両である場合、プレート画像領域を、例えば水平方向に設定した境界線で領域に分割し、最も下側以外の領域を選択する。係る処理を行う理由については、図１７及び第２実施例の説明を援用することとして、説明を省略する。
【０１３１】
このように、第３実施例の車両画像認識装置３は、撮像された車両が大型車両である場合、水平方向の境界線でプレート画像領域を分割し最も下側以外の領域を選択することにより、ナンバープレートの汚れの影響が小さい領域を選択することができる。この結果、車両画像認識装置３は、ナンバープレートの汚れの影響によって、本来の値よりも小さい輝度差が輝度差算出部３６により算出されることを抑制することができる。
【０１３２】
これによって、第３実施例の車両画像認識装置３は、プレートカバーが取り付けられているか否かを判定する際に、日光が作り出す影やナンバープレートの汚れが与える影響を低減することができる。
【０１３３】
［フローチャート］
以下、第３実施例の車両画像認識装置３により実行される処理の流れについて説明する。図２３及び図２４は、第３実施例の車両画像認識装置３により実行される処理の流れを示すフローチャートの一例である。本フローチャートは、例えばカメラ１００から画像データが入力される度に実行される。
【０１３４】
まず、車両画像領域抽出部３０が、メモリ装置１８等に格納された画像データを読み込み（Ｓ４００）、車両画像領域を抽出する（Ｓ４０２）。
【０１３５】
続いて、プレート画像領域抽出部３２が、車両画像領域内でプレート画像領域を抽出し（Ｓ４０４）、ナンバー認識部３４が、プレート画像領域内でナンバー（文字、数字、記号）を認識する（Ｓ４０６）。
【０１３６】
次に、領域選択部４８が、領域選択を行う（Ｓ４０８〜Ｓ４２０；図２４参照）。領域選択部４８は、まず、撮像時間帯が日中であるか否かを判定する（Ｓ４０８）。
【０１３７】
撮像時間帯が日中である場合、領域選択部４８は、撮像された車両が大型車両であるか否かを判定する（Ｓ４１０）。
【０１３８】
撮像された車両が大型車両である場合、領域選択部４８は、水平方向に二本設定した境界線でプレート画像領域を三分割し、中央の領域を選択する（Ｓ４１２）。撮像された車両が大型車両でない場合、領域選択部４８は、水平方向に一本設定した境界線でプレート画像領域を二分割し、下側の領域を選択する（Ｓ４１４）。
【０１３９】
一方、撮像時間帯が日中でなく夜間である場合、領域選択部４８は、プレート画像領域の位置が車両前面部の中央部に存在するか否かを判定する（Ｓ４１６）。
【０１４０】
プレート画像領域の位置が車両前面部の中央部に存在する場合、領域選択部４８は、鉛直方向に二本設定した境界線でプレート画像領域を三分割し、中央の領域を選択する（Ｓ４１８）。プレート画像領域の位置が車両前面部の端部に存在する場合、領域選択部４８は、鉛直方向に一本設定した境界線でプレート画像領域を二分割し、ヘッドライトから遠い側の領域を選択する（Ｓ４２０）。
【０１４１】
輝度差算出部３６は、Ｓ４０８〜Ｓ４２０の処理によって選択された領域に対して、文字等領域と背景領域のそれぞれの平均輝度を算出して輝度差を算出する（Ｓ４２２）。
【０１４２】
輝度差算出部３６は、Ｓ４０８〜Ｓ４２０の処理によって選択された領域において、文字又は数字の輪郭が認識可能であるか否かを判定する（Ｓ４２２＿１）。文字又は数字の輪郭については、例えば、ナンバー認識部３４によるナンバーの認識結果が援用される。輝度差算出部３６は、例えば、輪郭が領域内で途切れていない領域を、文字又は数字の輪郭を認識可能な領域として扱う。
【０１４３】
輝度差算出部３６は、選択された領域で文字又は数字の輪郭が認識可能である場合、当該選択された領域で文字等領域と背景領域のそれぞれの平均輝度を算出して輝度差を算出する（Ｓ４２２＿２）。
【０１４４】
輝度差算出部３６は、選択された領域で文字又は数字の輪郭が認識可能でない場合、文字又は数字の輪郭が他の領域で認識可能であるか否かを判定する（Ｓ４２２＿３）。
【０１４５】
輝度差算出部３６は、文字又は数字の輪郭が他の領域で認識可能である場合、当該他の領域において、文字等領域と背景領域のそれぞれの平均輝度を算出して輝度差を算出する（Ｓ４２２＿４）。
【０１４６】
輝度差算出部３６は、文字又は数字の輪郭が選択された領域でも他の領域でも認識可能でない場合、参考情報を認識車両データベース６０に格納する（Ｓ４２２＿５）。
【０１４７】
次に、輝度差算出部３６が算出した輝度差に基づき、輝度差率算出部３８が、輝度差率を算出し（Ｓ４２４）、プレートカバー判定部４０が、輝度差率が閾値未満であるか否かを判定する（Ｓ４２６）。
【０１４８】
プレートカバー判定部４０は、輝度差率が閾値未満である場合、画像データに含まれる車両のナンバープレートにプレートカバーが取り付けられている（プレートカバー有り）と判定する（Ｓ４２８）。この場合、判定結果保存部４２は、判定結果と輝度差率（光透過率）、その他の事項を認識車両データベース６０に格納する（Ｓ４３０）。判定結果保存部４２は、データを認識車両データベース６０に格納する際に、ネットワークを介して同じデータを監視センタ等に送信してもよい。
【０１４９】
一方、プレートカバー判定部４０により輝度差率が閾値以上である（プレートカバー無し）と判定された場合、標準平均輝度算出部４４は、標準平均輝度を計算し、標準平均輝度データベース６２を更新する（Ｓ４３２）。
【０１５０】
［他のフローチャート］
領域選択部４８が、「撮像時間帯が夜間である」という条件に加えて、「撮像された車両がヘッドライトを点灯させている」という条件を用いる場合、図２４のフローチャートは、以下のように変更される。図２５は、第３実施例の車両画像認識装置３により実行される処理の流れを示すフローチャートの他の例である。
【０１５１】
領域選択部４８は、まず、撮像時間帯が日中であるか否かを判定する（Ｓ４０８）。
【０１５２】
撮像時間帯が日中である場合、領域選択部４８は、撮像された車両が大型車両であるか否かを判定する（Ｓ４１０）。
【０１５３】
撮像された車両が大型車両である場合、領域選択部４８は、水平方向に二本設定した境界線でプレート画像領域を三分割し、中央の領域を選択する（Ｓ４１２）。撮像された車両が大型車両でない場合、領域選択部４８は、水平方向に一本設定した境界線でプレート画像領域を二分割し、下側の領域を選択する（Ｓ４１４）。
【０１５４】
一方、撮像時間帯が日中でなく夜間である場合、領域選択部４８は、撮像された車両のヘッドライトが点灯しているか否かを判定する（Ｓ４１５）。
【０１５５】
撮像された車両のヘッドライトが点灯している場合、領域選択部４８は、プレート画像領域の位置が車両前面部の中央部に存在するか否かを判定する（Ｓ４１６）。
【０１５６】
プレート画像領域の位置が車両前面部の中央部に存在する場合、領域選択部４８は、鉛直方向に二本設定した境界線でプレート画像領域を三分割し、中央の領域を選択する（Ｓ４１８）。プレート画像領域の位置が車両前面部の端部に存在する場合、領域選択部４８は、鉛直方向に一本設定した境界線でプレート画像領域を二分割し、ヘッドライトから遠い側の領域を選択する（Ｓ４２０）。
【０１５７】
撮像された車両のヘッドライトが点灯していない場合、領域選択部４８は、例えばプレート画像領域全体を選択する（Ｓ４２１）。
【０１５８】
図２５に示す処理が終了すると、図２３のＳ４２２以下の処理が実行される。
【０１５９】
［まとめ］
以上説明した第３実施例の車両画像認識装置３は、第１実施例と同様、プレートカバーの光透過率を示す指標値となる輝度差率を算出することができ、撮像された車両のナンバープレートにプレートカバーが取り付けられているか否か判定することができる。
【０１６０】
更に、第３実施例の車両画像認識装置３は、領域選択部４８が種々の条件に基づいてプレート画像領域から特定の領域を選択するため、ヘッドライトの光、日光が作り出す影、ナンバープレートの汚れ等の影響が小さい領域を選択することができる。このため、第３実施例の車両画像認識装置３は、本来の値よりも小さい輝度差が算出されることを抑制することができる。この結果、第３実施例の車両画像認識装置３は、プレートカバーが取り付けられているか否かを、より正確に判定することができる。
【０１６１】
＜第４実施例＞
以下、図面を参照し、本発明の第４実施例に係る車両画像認識装置、車両画像認識システム、車両画像認識方法、及び車両画像認識プログラムについて説明する。
【０１６２】
ハードウェア構成については、第１実施例と同様であるため、各構成要素について同一の符号を付し、説明を省略する。
【０１６３】
［機能構成］
図２６は、本発明の第４実施例に係る車両画像認識装置４の機能構成例である。車両画像認識装置４は、第１実施例の車両画像認識装置１が有する各構成要素に加え、文字領域分割部５０を備える。図２６に示す各機能ブロックは、ＣＰＵ１０がプログラムを実行することにより機能する。なお、これらの機能ブロックが明確に分離したプログラムによって実現される必要はなく、サブルーチンや関数として他のプログラムによって呼び出されるものであってもよい。また、機能ブロックの一部が、ＬＳＩ、ＩＣやＦＰＧＡ等のハードウェア手段であっても構わない。
【０１６４】
また、車両画像認識装置４は、補助記憶装置１６又はメモリ装置１８上に、認識車両データベース６０と標準平均輝度データベース６２を生成して処理に利用する。
【０１６５】
文字領域分割部５０は、プレート画像領域により抽出されたプレート画像領域を、文字、数字を含む複数の領域に分割する。
【０１６６】
第４実施例に係る輝度差算出部３６は、文字領域分割部５０によって分割された各領域について文字等領域の平均輝度、背景領域の平均輝度、及び輝度差を算出する。そして、第４実施例に係る輝度差算出部３６は、算出した複数の輝度差のうち最大の輝度差を、輝度差率算出部３８に出力する。
【０１６７】
図２７は、文字領域分割部５０によって分割される領域Ａ〜Ｇ、及び各領域に対して算出される輝度差率と閾値αとの比較を示す図である。図示するように、影等の影響で領域Ａ、Ｂにおけるナンバー認識が失敗した場合、領域Ａ、Ｂについての輝度差率は、エラー値となる場合があるが、他の領域Ｃ〜Ｇについては適正な輝度差率が算出される。文字領域分割部５０は、プレート画像領域を、例えば、運輸支局等が示される領域Ａ、分類番号が示される領域Ｂ、かな文字が示される領域Ｃ、一連指定番号が示される領域Ｄ〜Ｇに分割する。以下、係る領域を文字領域と称する。文字領域は、例えば、ナンバー認識部３４の認識処理によって認識された文字や数字を一つずつ包含する領域として設定される。また、文字領域は、予め判明しているナンバープレート内での相対位置に基づき、拡大・縮小処理等によって設定されてもよい。
【０１６８】
［フローチャート］
以下、第４実施例の車両画像認識装置４により実行される処理の流れについて説明する。図２８は、第４実施例の車両画像認識装置４により実行される処理の流れを示すフローチャートの一例である。本フローチャートは、例えばカメラ１００から画像データが入力される度に実行される。
【０１６９】
まず、車両画像領域抽出部３０が、メモリ装置１８等に格納された画像データを読み込み（Ｓ５００）、車両画像領域を抽出する（Ｓ５０２）。
【０１７０】
続いて、プレート画像領域抽出部３２が、車両画像領域内でプレート画像領域を抽出し（Ｓ５０４）、ナンバー認識部３４が、プレート画像領域内で、ナンバー（文字、数字、記号）を認識する（Ｓ５０６）。
【０１７１】
次に、文字領域分割部５０がプレート画像領域を、文字領域に分割する（Ｓ５０８）。
【０１７２】
次に、ナンバー認識部３４は、Ｓ５０６の認識処理において、全ての文字、及び数字について認識が成功したか否かを判定する（Ｓ５１０）。
【０１７３】
全ての文字、数字、及び記号について認識が成功しなかった場合、ナンバー認識部３４は、一部の文字、数字、及び記号について認識が成功したか否かを判定する（Ｓ５１２）。一部の文字、及び数字について認識が成功した場合、ナンバー認識部３４は、認識が失敗した領域を平均輝度及び輝度差の算出対象外に指定する（Ｓ５１４）。
【０１７４】
輝度差算出部３６は、Ｓ５０８において分割された各領域（Ｓ５１４で指定された領域を除く）に対して、文字等領域と背景領域のそれぞれの平均輝度を算出して輝度差を算出し、算出した複数の輝度差の中で最大値となる輝度差を選択する（Ｓ５１６）。
【０１７５】
次に、輝度差率算出部３８が、輝度差算出部３６が選択した輝度差（最大値）に基づき輝度差率を算出し（Ｓ５１８）、プレートカバー判定部４０が、輝度差率が閾値未満であるか否かを判定する（Ｓ５２０）。
【０１７６】
プレートカバー判定部４０は、輝度差率が閾値未満である場合、画像データに含まれる車両のナンバープレートにプレートカバーが取り付けられている（プレートカバー有り）と判定する（Ｓ５２２）。この場合、判定結果保存部４２は、判定結果と輝度差率（光透過率）、その他の事項を認識車両データベース６０に格納する（Ｓ５２４）。判定結果保存部４２は、データを認識車両データベース６０に格納する際に、ネットワークを介して同じデータを監視センタ等に送信してもよい。
【０１７７】
一方、プレートカバー判定部４０により輝度差率が閾値以上である（プレートカバー無し）と判定された場合、標準平均輝度算出部４４は、標準平均輝度を計算し、標準平均輝度データベース６２を更新する（Ｓ５２６）。
【０１７８】
Ｓ５１２において、全ての文字、及び数字について認識が失敗したと判定された場合、判定結果保存部４２は、参考情報を認識車両データベース６０に格納する（Ｓ５２８）。参考情報には、取得可能な情報、例えば認識日時、算出可能な範囲での輝度差率等が含まれ得る。
【０１７９】
［まとめ］
以上説明した第４実施例の車両画像認識装置４は、第１実施例と同様、プレートカバーの光透過率を示す指標値となる輝度差率を算出することができ、撮像された車両のナンバープレートにプレートカバーが取り付けられているか否か判定することができる。
【０１８０】
更に、第４実施例の車両画像認識装置４は、文字領域分割部５０がプレート画像領域を分割するため、ヘッドライトの光、日光が作り出す影、ナンバープレートの汚れ等の影響が小さい領域を作り出すことができる。このため、第４実施例の車両画像認識装置４は、本来の値よりも小さい輝度差が算出されることを抑制することができる。この結果、第４実施例の車両画像認識装置４は、プレートカバーが取り付けられているか否かを、より正確に判定することができる。
【０１８１】
＜第５実施例＞
以下、図面を参照し、本発明の第５実施例に係る車両画像認識装置、車両画像認識システム、車両画像認識方法、及び車両画像認識プログラムについて説明する。
【０１８２】
ハードウェア構成については、第１実施例と同様であるため、各構成要素について同一の符号を付し、説明を省略する。
【０１８３】
［機能構成］
図２９は、本発明の第５実施例に係る車両画像認識装置５の機能構成例である。車両画像認識装置５は、第１実施例の車両画像認識装置１が有する各構成要素に加え、文字領域選択部５２を備える。図２９に示す各機能ブロックは、ＣＰＵ１０がプログラムを実行することにより機能する。なお、これらの機能ブロックが明確に分離したプログラムによって実現される必要はなく、サブルーチンや関数として他のプログラムによって呼び出されるものであってもよい。また、機能ブロックの一部が、ＬＳＩ、ＩＣやＦＰＧＡ等のハードウェア手段であっても構わない。
【０１８４】
文字領域選択部５２は、第４実施例の文字領域分割部５０と同様、文字、数字を含む複数の領域に分割し、その中で条件に応じて領域を選択し、平均輝度及び輝度差の算出対象に指定する。文字領域選択部５２は、プレート画像領域を、運輸支局等が示される領域Ａ、分類番号が示される領域Ｂ、かな文字が示される領域Ｃ、一連指定番号が示される領域Ｄ〜Ｇに分割する（図２７参照）。
【０１８５】
［フローチャート］
以下、第５実施例の車両画像認識装置５により実行される処理の流れについて説明する。図３０及び３１は、第５実施例の車両画像認識装置５により実行される処理の流れを示すフローチャートの一例である。本フローチャートは、例えばカメラ１００から画像データが入力される度に実行される。
【０１８６】
まず、車両画像領域抽出部３０が、メモリ装置１８等に格納された画像データを読み込み（Ｓ６００）、車両画像領域を抽出する（Ｓ６０２）。
【０１８７】
続いて、プレート画像領域抽出部３２が、車両画像領域内でプレート画像領域を抽出し（Ｓ６０４）、ナンバー認識部３４が、プレート画像領域内でナンバー（文字、数字、記号）を認識する（Ｓ６０６）。
【０１８８】
次に、文字領域選択部５２が、領域選択を行う（Ｓ６０８〜Ｓ６１８）。文字領域選択部５２は、まず、撮像時間帯が日中であるか否かを判定する（Ｓ６０８）。
【０１８９】
撮像時間帯が日中である場合、文字領域選択部５２は、一連指定番号が示される領域Ｄ〜Ｇを選択する（Ｓ６１０）。
【０１９０】
一方、撮像時間帯が日中でなく夜間である場合、文字領域選択部５２は、プレート画像領域の位置が車両前面部の右側、中央部、左側のいずれに存在するか否かを判定する（Ｓ６１２）。係る判定において、文字領域選択部５２は、例えば第２実施例で図１３を用いて説明した手法を援用する。
【０１９１】
プレート画像領域の位置が車両前面部の右側（実際の車両では左側）に存在する場合、文字領域選択部５２は、運輸支局等が示される領域Ａ、かな文字が示される領域Ｃ、及び一連指定番号のうち前二桁が示される領域Ｄ、Ｅを選択する（Ｓ６１４）。
【０１９２】
プレート画像領域の位置が車両前面部の中央部に存在する場合、文字領域選択部５２は、一連指定番号のうち中央二桁が示される領域Ｅ、Ｆを選択する（Ｓ６１６）。
【０１９３】
プレート画像領域の位置が車両前面部の左側（実際の車両では右側）に存在する場合、文字領域選択部５２は、分類番号が示される領域Ｂ、及び一連指定番号のうち後ろ二桁が示される領域Ｆ、Ｇを選択する（Ｓ６１８）。
【０１９４】
輝度差算出部３６は、Ｓ６０８〜Ｓ６１８の処理によって選択された領域に対して、文字等領域と背景領域のそれぞれの平均輝度を算出して輝度差を算出する（Ｓ６２０）。
【０１９５】
次に、輝度差率算出部３８が、輝度差算出部３６が算出した輝度差に基づき輝度差率を算出し（Ｓ６２２）、プレートカバー判定部４０が、輝度差率が閾値未満であるか否かを判定する（Ｓ６２４）。
【０１９６】
プレートカバー判定部４０は、輝度差率が閾値未満である場合、画像データに含まれる車両のナンバープレートにプレートカバーが取り付けられている（プレートカバー有り）と判定する（Ｓ６２６）。この場合、判定結果保存部４２は、判定結果と輝度差率（光透過率）、その他の事項を認識車両データベース６０に格納する（Ｓ６２８）。判定結果保存部４２は、データを認識車両データベース６０に格納する際に、ネットワークを介して同じデータを監視センタ等に送信してもよい。
【０１９７】
一方、プレートカバー判定部４０により輝度差率が閾値以上である（プレートカバー無し）と判定された場合、標準平均輝度算出部４４は、標準平均輝度を計算し、標準平均輝度データベース６２を更新する（Ｓ６３０）。
【０１９８】
なお、第５実施例の車両画像認識装置５は、第４実施例と同様に、文字、数字の認識が失敗した領域を平均輝度及び輝度差の算出対象外に指定する処理を行ってもよい。
【０１９９】
また、第５実施例の車両画像認識装置５は、第２、第３実施例と同様、「撮像時間帯が夜間である」という条件に代えて、或いは加えて、「撮像された車両がヘッドライトを点灯させている」という条件を用いてもよい。
【０２００】
［まとめ］
以上説明した第５実施例の車両画像認識装置５は、第１実施例と同様、プレートカバーの光透過率を示す指標値となる輝度差率を算出することができ、撮像された車両のナンバープレートにプレートカバーが取り付けられているか否か判定することができる。
【０２０１】
更に、第５実施例の車両画像認識装置５は、文字領域選択部５２が種々の条件に基づいてプレート画像領域から特定の領域を選択するため、ヘッドライトの光、日光が作り出す影、ナンバープレートの汚れ等の影響が小さい領域を選択することができる。
このため、第５実施例の車両画像認識装置５は、本来の値よりも小さい輝度差が算出されることを抑制することができる。この結果、第５実施例の車両画像認識装置５は、プレートカバーが取り付けられているか否かを、より正確に判定することができる。
【０２０２】
なお、特許請求の範囲における「第１の領域」は、例えば各実施例の文字等領域に対応し、「第２の領域」は、例えば各実施例の背景領域に対応する。また、特許請求の範囲における「判定部」は、例えば各実施例の輝度差率算出部３８及びプレートカバー判定部４０に対応し、「指標値算出部」は、例えば各実施例の輝度差算出部３６に対応する。また、特許請求の範囲における「車両サイズ種別判別部」は、例えば各実施例の車両画像領域抽出部３０に対応する。
【０２０３】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０２０４】
例えば、各実施例では、プレート画像領域の位置が車両前面部の中央部、端部のいずれに存在するかによって領域を選択するものとしたが、車両画像認識装置は、プレート画像領域の位置が中央部から離れた量に応じて分割態様を変更してよい。例えば、車両画像認識装置は、プレート画像領域の位置が中央部から離れた量が大きくなる程、分割数を増やすものとしてもよい。プレート画像領域の位置が中央部から離れた量が大きいということは、ナンバープレートの位置がヘッドライトに近いことを意味し、この場合、輝度差率が正確に算出できない領域が増加することが予想されるからである。
【０２０５】
以上の説明に関し、さらに以下の項を開示する。
（付記１）
車両を含む入力画像より、ナンバープレートに対応するプレート画像領域を抽出するプレート画像領域抽出部と、
前記プレート画像領域のナンバープレート記載情報に対応する第１の領域の平均輝度と、前記プレート画像領域における前記ナンバープレートの背景に対応する第２の領域の平均輝度との輝度差を算出する輝度差算出部と、
前記算出された輝度差と、設定された標準輝度差に基づき、前記車両のナンバープレートにプレートカバーが取り付けられているか否かを判定する判定部と、
を備えた車両画像認識装置。
（付記２）
付記１記載の車両画像認識装置であって、
前記プレート画像領域を複数の領域に分割する領域分割部を備え、
前記輝度差算出部は、前記分割された各領域について前記輝度差を算出し、該算出した複数の輝度差のうち最も大きい輝度差を前記判定部に出力する、
付記１記載の車両画像認識装置。
（付記３）
付記２記載の車両画像認識装置であって、
前記領域分割部は、撮像時間帯に応じて、前記プレート画像領域を、水平方向または鉛直方向に設定した境界線で分割することを特徴とする車両画像認識装置。
（付記４）
付記３記載の車両画像認識装置であって、
前記入力画像より、前記車両のヘッドライトの点灯有無を検出するヘッドライト点灯検出部を備え、
前記ヘッドライト点灯検出部によりヘッドライトの点灯が検出された場合、前記領域分割部は、前記プレート画像領域を、鉛直方向に設定した境界線で分割することを特徴とする、
車両画像認識装置。
（付記５）
付記３記載の車両画像認識装置であって、
前記入力画像より、前記車両に対応する車両画像領域を抽出する車両画像領域抽出部を備え、
前記領域分割部が、前記プレート画像領域を鉛直方向に設定した境界線で分割するとき、
前記車両画像領域と前記プレート画像領域の位置関係に応じて、前記プレート画像領域の分割方法を変化させることを特徴とする車両画像認識装置。
（付記６）
付記３記載の車両画像認識装置であって、
前記入力画像に含まれる車両のサイズ種別を判別する車両サイズ種別判別部を備え、
前記領域分割部は、前記サイズ種別が大型車両である場合、前記プレート画像領域を、水平方向に設定した境界線で分割することを特徴とする車両画像認識装置。
（付記７）
付記２記載の車両画像認識装置であって、
前記領域分割部は、前記プレート画像領域を、それぞれが一つの文字又は数字を包含する複数の領域に分割することを特徴とする車両画像認識装置。
（付記８）
付記１記載の車両画像認識装置であって、
前記プレート画像領域を複数の領域に分割し、該複数の領域のうち一部を選択する領域選択部を備え、
前記輝度差算出部は、前記選択された領域について前記輝度差を算出することを特徴とする車両画像認識装置。
（付記９）
付記８記載の車両画像認識装置であって、
前記領域選択部は、撮像時間帯に応じて、前記プレート画像領域を、水平方向または鉛直方向に設定した境界線で分割することを特徴とする車両画像認識装置。
（付記１０）
付記９記載の車両画像認識装置であって、
前記入力画像より、前記車両に対応する車両画像領域を抽出する車両画像領域抽出部を備え、
前記ヘッドライト点灯検出部によりヘッドライトの点灯が検出された場合、前記領域選択部は、前記プレート画像領域を鉛直方向に設定した境界線で分割した複数の領域から一部を選択することを特徴とする車両画像認識装置。
（付記１１）
付記９記載の車両画像認識装置であって、
前記入力画像より、前記車両に対応する車両画像領域を抽出する車両画像領域抽出部を備え、
前記領域選択部が、前記プレート画像領域を鉛直方向に設定した境界線で分割するとき、
前記車両画像領域と前記プレート画像領域の位置関係に応じて、前記プレート画像領域の分割方法を変化させることを特徴とする車両画像認識装置。
（付記１２）
付記９記載の車両画像認識装置であって、
前記入力画像に含まれる車両のサイズ種別を判別する車両サイズ種別判別部を備え、
前記領域選択部は、前記サイズ種別が大型車両である場合、前記プレート画像領域を、水平方向に設定した境界線で分割した複数の領域のうち最も下側の領域以外を選択することを特徴とする車両画像認識装置。
（付記１３）
付記８記載の車両画像認識装置であって、
前記領域選択部は、前記プレート画像領域を、それぞれが一つの文字又は数字を包含する複数の領域に分割し、該複数の領域の一部を選択することを特徴とする車両画像認識装置。
（付記１４）
付記１ないし１３のいずれか１項記載の車両画像認識装置であって、
前記算出された輝度差と、設定された標準輝度差との比率を求めることにより、前記ナンバープレートに取り付けられたプレートカバーの光透過率を示す指標値を算出する指標値算出部を備える車両画像認識装置。
（付記１５）
付記３記載の車両画像認識装置であって、
前記領域分割部は、撮像時間帯が日中である場合、前記プレート画像領域を、水平方向に設定した境界線で分割することを特徴とする車両画像認識装置。
（付記１６）
付記３記載の車両画像認識装置であって、
前記領域分割部は、撮像時間帯が夜間である場合、前記プレート画像領域を、鉛直方向に設定した境界線で分割することを特徴とする車両画像認識装置。
（付記１７）
付記５記載の車両画像認識装置であって、
前記領域分割部が、前記プレート画像領域を鉛直方向に設定した境界線で分割するとき、
前記車両のプレート画像領域が、前記画像に含まれる車両前面部の水平方向に関する中央部に存在する場合、前記境界線を二本設定して前記プレート画像領域を三分割し、
前記プレート画像領域が、前記画像に含まれる車両前面部の水平方向に関する中央部に存在しない場合、前記境界線を一本設定して前記プレート画像領域を二分割することを特徴とする車両画像認識装置。
（付記１８）
付記３記載の車両画像認識装置であって、
前記領域分割部は、前記プレート画像領域を、それぞれが一つの文字又は数字を含む複数の領域に分割することを特徴とする車両画像認識装置。
（付記１９）
付記８記載の車両画像認識装置であって、
前記領域選択部は、撮像時間帯が日中である場合、前記プレート画像領域を水平方向に設定した境界線で分割した複数の領域のうち下側の領域を選択することを特徴とする車両画像認識装置。
（付記２０）
付記８記載の車両画像認識装置であって、
前記領域選択部は、撮像時間帯が夜間である場合、前記プレート画像領域を鉛直方向に設定した境界線で分割した複数の領域から一部を選択することを特徴とする車両画像認識装置。
（付記２１）
付記１１記載の車両画像認識装置であって、
前記領域選択部が、前記車両のプレート画像領域を鉛直方向に設定した境界線で分割するとき、
前記プレート画像領域が、前記画像に含まれる車両前面部の水平方向に関する中央部に存在する場合、前記境界線を二本設定して前記プレート画像領域を三分割して中央の領域を選択し、
前記プレート画像領域が、前記画像に含まれる車両前面部の水平方向に関する中央部に存在しない場合、前記境界線を一本設定して前記プレート画像領域を二分割してヘッドライトから遠い側の領域を選択することを特徴とする車両画像認識装置。
（付記２２）
付記８記載の車両画像認識装置であって、
前記領域選択部は、前記プレート画像領域を、それぞれが一つの文字又は数字を含む複数の領域に分割し、該複数の領域の一部を選択することを特徴とする車両画像認識装置。
（付記２３）
付記１ないし２２のいずれか１項記載の車両画像認識装置と、
車両のナンバープレートを撮像し、前記車両画像認識装置に画像を送信するカメラと、
を備える車両画像認識システム。
（付記２４）
コンピュータが、
車両を含む入力画像より、ナンバープレートに対応するプレート画像領域を抽出し、
前記プレート画像領域のナンバープレート記載情報に対応する第１の領域の平均輝度と、前記プレート画像領域における前記ナンバープレートの背景に対応する第２の領域の平均輝度との輝度差を算出し、
前記算出された輝度差と、設定された標準輝度差に基づき、前記車両のナンバープレートにプレートカバーが取り付けられているか否かを判定する、
車両画像認識方法。
（付記２５）
コンピュータに、
車両を含む入力画像より、ナンバープレートに対応するプレート画像領域を抽出させ、
前記プレート画像領域のナンバープレート記載情報に対応する第１の領域の平均輝度と、前記プレート画像領域における前記ナンバープレートの背景に対応する第２の領域の平均輝度との輝度差を算出させ、
前記算出された輝度差と、設定された標準輝度差に基づき、前記車両のナンバープレートにプレートカバーが取り付けられているか否かを判定させる、
車両画像認識プログラム
【符号の説明】
【０２０６】
１、２、３、４、５    車両画像認識装置
３０    車両画像領域抽出部
３２    プレート画像領域抽出部
３４    ナンバー認識部
３６    輝度差算出部
３８    輝度差率算出部
４０    プレートカバー判定部
４２    判定結果保存部
４４    標準平均輝度算出部
４５    ヘッドライト点灯検出部
４６    領域分割部
４８    領域選択部
５０    文字領域分割部
５２    文字領域選択部
６０    認識車両データベース
６２    標準平均輝度データベース
１００  カメラ
１１０  赤外光照射ランプ
【図１】
0005906856.tif 000002
【図２】
0005906856.tif 000003
【図３】
0005906856.tif 000004
【図５】
0005906856.tif 000005
【図７】
0005906856.tif 000006
【図８】
0005906856.tif 000007
【図９】
0005906856.tif 000008
【図１０】
0005906856.tif 000009
【図１１】
0005906856.tif 000010
【図１３】
0005906856.tif 000011
【図１９】
0005906856.tif 000012
【図２０】
0005906856.tif 000013
【図２１】
0005906856.tif 000014
【図２２】
0005906856.tif 000015
【図２３】
0005906856.tif 000016
【図２４】
0005906856.tif 000017
【図２５】
0005906856.tif 000018
【図２６】
0005906856.tif 000019
【図２８】
0005906856.tif 000020
【図２９】
0005906856.tif 000021
【図３０】
0005906856.tif 000022
【図３１】
0005906856.tif 000023
【図４】
0005906856.tif 000024
【図６】
0005906856.tif 000025
【図１２】
0005906856.tif 000026
【図１４】
0005906856.tif 000027
【図１５】
0005906856.tif 000028
【図１６】
0005906856.tif 000029
【図１７】
0005906856.tif 000030
【図１８】
0005906856.tif 000031
【図２７】
0005906856.tif 000032