(57)【要約】【課題】ナンバープレートが汚れたりした車両に対して法令に準拠して違法か否かを検出することを目的としたナンバープレート判定装置を提供することを目的とする。【解決手段】検査対象の他車両の画像を捉える画像取得手段３と他車両までの距離を計測する距離計測手段１００と、車両の存在を認識する車両認識手段１１１と、車両の種類からナンバープレートの位置を推定してナンバープレートを抽出するナンバープレート抽出手段１１２と、判断基準を法令に合わせて入力設定する入力手段５と、判断基準を記録格納する基準格納手段１３０と、検査基準に合わせて検査した結果を判定する見易さ判定手段１４０と、判定結果を通知する通知手段４を備える。【選択図】図３
2014115798.tif 000002
【特許請求の範囲】
【請求項１】
他車両のナンバープレートの画像を取得する画像取得手段と、
適用法令に基づきナンバープレートが見やすい状態か否かを判定する判定基準を格納した基準格納手段と、
前記画像取得手段が取得したナンバープレートの画像に基づいて前記画像取得手段から前記ナンバープレートまでの距離を算出する距離算出手段と、
前記画像取得手段が取得したナンバープレートの画像に基づいてナンバープレートの文字や数字の領域と背景の領域との輝度差を算出し、この算出結果と前記基準格納手段に格納した判定基準とに基づいて前記画像取得手段が取得したナンバープレートが見やすい状態か否かを判定する判定手段を備えたことを特徴とするナンバープレート判定装置。
【請求項２】
前記判定手段は、前記基準格納手段に格納された判定基準に基づいて、前記画像取得手段が取得したナンバープレートが適法か否かをさらに判定することを特徴とする請求項１に記載のナンバープレート判定装置。
【請求項３】
前記判定手段の判定結果を通知する通知手段をさらに備えたことを特徴とする請求項１または請求項２に記載のナンバープレート判定装置。
【請求項４】
前記基準格納手段に格納された判定基準を修正する入力手段をさらに備え、この入力手段によって前記基準格納手段に格納されている判定基準の判定閾値を修正することを特徴とする請求項１ないし請求項３のいずれかに記載のナンバープレート判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は走行中に前方または後方を走行している車両のナンバープレートを撮影し、画像処理によりナンバープレートの文字や数字が読み取りに支障ないコントラストになっているか、判定できるようにした、ナンバープレート判定装置に関するものである。
【背景技術】
【０００２】
従来、ナンバープレートの文字や数字の読みやすさを定量的に判断するシステムは存在せず、ナンバープレートの認識システムとして、カメラなどで車両の画像を取得し、画像認識によってナンバープレートを認識していた（例えば特許文献１）。さらに、一般的には道路上にカメラを設置し、通過走行車両の前面または後面を撮影しナンバープレートを車両の形状などから抽出、認識し、捜索車両の走行追跡などに使用されているＮシステム（自動車ナンバー自動読取装置）などが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−７２９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のナンバープレート認識システムにおいては、画像処理により文字や数字の認識を行い、ナンバープレートを読み取ることはできるが、ナンバープレートに泥が付いて汚れた状態や、ナンバープレートの保護のために色つきのカバーをつけて文字や数字のコントラストを低下させて故意に読み難くしている状態については認識の可否だけでは見やすさを定量的に判断できない。このため、パトカーでは目視しやすいコントラストが確保されているかを判断するのに時間を要し、その場での取り締りに支障をきたすという問題があった。
【０００５】
本発明は、従来の問題を解決するためになされたもので、目視しやすいコントラストが確保されているかを短時間で判断可能にし、その場での取り締りを容易にするナンバープレート判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明は、画像取得手段が取得したナンバープレートの画像に基づいてナンバープレートの文字や数字の領域と背景の領域との輝度差を算出し、この算出結果と基準格納手段に格納した判定基準とに基づいて画像取得手段が取得したナンバープレートが見やすい状態か否かを判定することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ナンバープレートが見にくい車両を不適格な車両として特定でき、その場での取り締まりを容易にし、改善を促すことができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】本発明におけるナンバープレート判定装置と周辺機器の車両への配置をイメージで説明する図
【図２】本発明におけるナンバープレート判定装置のハードウェア構成を説明する図
【図３】本発明におけるナンバープレート判定装置の機能ブロック図
【図４】本発明におけるナンバープレート判定装置でナンバープレートの輝度を判断する方法の画素の走査例を説明する図
【図５】本発明におけるナンバープレート判定装置でナンバープレートが汚れ全体の輝度が変化している例を説明する図
【図６】本発明におけるナンバープレート判定装置でナンバープレートの背景の一部分のコントラストが低下している例を説明する図
【図７】本発明におけるナンバープレート判定装置でナンバープレートの一部分の輝度が低下して見難くなっているか判定する例を説明する図
【図８】本発明におけるナンバープレート判定装置の動作を説明するメインフローチャート図
【図９】図８における車両認識処理を説明するフローチャート図
【図１０】図８におけるナンバープレート抽出処理を説明するフローチャート図
【図１１】図８における判定処理を説明するフローチャート図
【図１２】図１１における全体輝度算出処理を説明するフローチャート図
【図１３】図９における部分輝度算出処理を説明するフローチャート図
【図１４】本発明の実施形態における通知手段による表示例をイメージで説明する図
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態１におけるナンバープレート判定装置について図面を参照しながら説明する。
【００１０】
図１は本発明におけるナンバープレート判定装置の車内への配置をイメージで説明する図である。
【００１１】
図１において、ナンバープレート判定装置１は車内に搭載され、ナンバープレートが見やすい状態か否かを判定する。ナンバープレート判定装置１は、車両前方および後方の少なくとも１つに配置したソナーやステレオカメラなどの距離測定手段２と、車両前方および後方の少なくとも１つに配置したＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラなどの画像取得手段３と、判定結果を表示するディスプレイなどの通知手段４と接続される。距離センサ手段２は前方又は後方の検査対象車両までの距離を求めるために必要な情報をナンバープレート判定装置１に伝達する。画像取得手段３は前方を走行している検査対象車両の後部のナンバーを含む画像または後方を走行している検査対象車両の前部のナンバーを含む画像を電気信号に変換してナンバープレート判定装置１に伝達する。通知手段４は、乗車している人員が判定結果を視覚で確認できるようにナンバープレートの状態判定結果を表示する。通知手段４にスピーカ等の発声手段や鳴動手段を含めてディスプレイと連動させて聴覚で確認できるようにしても良い。前方を走行する車両と後方を走行する車両に関連は無いので前方と後方にカメラを取り付けると前方を走行する車両と後方を走行する車両を別々に確認することができる。検査車両の前後のナンバープレートを確認するには、自車両が検査対象の車両の後方を走行し、乗車している人員が通知手段４の表示によって後部のナンバープレートを確認し、次に、自車両が検査車両の前方を走行し、乗車している人員が通知手段４の表示によって検査車両の前方を確認すれば前後のナンバープレートを確認することができる。
【００１２】
以上のように車両内に配置されたナンバープレート判定装置１のハードウェア構成の一例を図２により説明する。
【００１３】
図２においてナンバープレート判定装置１は、距離測定手段２としてのステレオカメラ２０と、ナンバープレートの画像を入力する画像取得手段３としてのカメラ３０と、通知手段４として判定状態を表示する表示装置４０および判定状態を音声で発声するスピーカ４１と、判定閾値を入力するタッチパネル４２と接続される。カメラ３０は、ＣＭＯＳカメラ等撮像素子で構成され、受光画像を電子信号に変換する。なお、ステレオカメラによ
って、距離測定手段２と画像取得手段３を一つにまとめてもよい。ナンバープレート判定装置１の内部は、プログラムを制御するマイコンなどＣＰＵ１０（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）とプログラムを記憶するＲＯＭなどの第１の不揮発性記憶装置１１と動作中に使用する処理データを一時記憶するＲＡＭなどの揮発性記憶装置１２と法令や条例などの判定基準値を記録するＥＥＰＲＯＭなどの書き換え可能な第２の不揮発性記憶装置１３と、カメラ３０の画像を取得する画像Ｉ／Ｆ１４（Ｉｎｔｅｒｆａｃｅ）と、カメラ３０の画像を一時的に記録する画像記憶装置１５と、画像処理、画像認識、画像センシングをハードウェアで実現する画像処理ＬＳＩ１６（Ｌａｒｇｅ  Ｓｃａｌｅ
Ｉｎｔｅｇｒａｔｉｏｎ）と、判定状態を表示装置４０やスピーカ４１に出力する出力Ｉ／Ｆ１７と判定閾値などをタッチパネル４２から入力する入力Ｉ／Ｆ１８と、これらを互いに接続するバス１９で構成される。距離測定手段２としてステレオカメラ２０の代わりにソナーを用いても良い。この場合、ナンバープレート判定装置１は、図示しないソナーの距離演算回路を経由して入力Ｉ／Ｆ１８と接続して距離データを入手する。なお、画像処理ＬＳＩ１６によって行われる画像処理、画像認識、画像センシングはＣＰＵ１０でも処理可能であるため、処理時間に支障が無い場合、画像処理ＬＳＩ１６を構成から外してＣＰＵ１０で代替させても良い。
【００１４】
次に、図２のハードウェア構成に搭載する機能を図３に示すブロック図により説明する。
【００１５】
図３において、ナンバープレート判定装置１は、周辺機器である、対象物までの距離を計測する距離測定手段２とカメラなどの画像取得手段３と表示装置やスピーカなどの通知手段４と判定基準を入力する入力手段５に接続する。
【００１６】
ナンバープレート判定装置１は、距離計測手段１００とナンバープレート認識手段１１０と比較値算出手段１２０と基準格納手段１３０と判定手段１４０とを有する。
【００１７】
距離計測手段１００は、距離測定手段２から取得した情報に基づいて対象物までの距離を計測する。ナンバープレート認識手段１１０は、車両認識手段１１１とナンバープレート抽出手段１１２とを有し、距離測定手段２と画像取得手段３から取得した情報に基づいてナンバープレートを認識する。ナンバープレート抽出手段１１２は車両認識手段１１１で認識した車両画像からナンバープレートを抽出すると共に距離計測手段１００で計測した距離情報に基づいて、抽出したナンバープレートの寸法を算出し、この算出した寸法に基づいて大型番号標、中型番号標、小型番号標等、ナンバープレートの形状の種類を分類する。車両認識手段１１１は、画像取得手段３から取得した画像情報に基づいて、ナンバープレートの検査対象となる車両を画像認識する。
【００１８】
比較値算出手段１２０は、全体輝度算出手段１２１と部分輝度算出手段１２２とを有し、ナンバープレート認識手段１１０が認識したナンバープレートの全体部分と所定部分の輝度を比較する。全体輝度算出手段１２１はナンバープレートの全体が水垢などでくすんでいたり、文字の色が全体的に剥げてきていたり、保護カバーなどにより全体的に見難くなっている状態か否かを検出する。一方、部分輝度変化算出手段１２２はナンバープレートが部分的に汚れて一部分が見難くなっている状態か否かを検出する。
【００１９】
基準格納手段１３０は、変化する法令や条例の判断基準値を記憶しておく。入力手段５からの入力によってこの判定基準値は修正される。判定手段１４０は、比較値算出手段１２０が算出した比較結果が所定の基準を超えるか否か判定し、基準外の可能性がある場合、通知手段４が車両内の人員に条例等に対する違反を通知する。
【００２０】
次に全体輝度算出手段１２１と部分輝度算出手段１２２による輝度算出について説明す
る。具体的には、以下で、ナンバープレートの背景部分とそれ以外の文字や数字、記号（以下、文字等と記す）の部分のコントラストを輝度値で判定する一例を示す。但し、本発明は文字等の形状自体を判断するものでないため、文字等を判断する場合は文字等のパターン認識と併用すると良い。
【００２１】
まず、汚れていない理想的なナンバープレートのときの全体輝度算出手段１２１による輝度算出処理について説明する。
【００２２】
図４はナンバープレートの画素の輝度と画素数を表したヒストグラム図である。図４では、画素毎の最明値Ｌｍａｘと最暗値Ｌｍｉｎの中間値を閾値として明部Ｓ１と暗部Ｃ１に分類されている。一般的にコントラストは最暗値と最明値の差で求められるが、ナンバープレートの背景全体の輝度とそれ以外の文字等の部分の輝度の差により見易さが決まるため、一概に最暗値と最明値だけを見ても判断できない。理想的なナンバープレートは、背景部分と文字等の部分でそれぞれ最明値と最暗値が集中して二極化するが、ナンバープレートの経年変化による塗料の色剥げや水垢などの汚れにより、中間値が検出されてしまうようになる。そこで、明部Ｓ１の平均値Ｓ１ａｖｅと暗部Ｃ１の平均値Ｃ１ａｖｅを求め、背景部分と文字等部分で各々平滑化を行いその差をコントラストＰｃｏｎｔとする。判定手段１４０はこのＰｃｏｎｔが所定範囲か否かによって全体の見易さを判定する。なお、全ての画素を計算すると処理時間が増すため、ナンバープレート抽出手段１１２によって分類されたナンバープレートの形状の種類毎に文字の掛かる部分を走査して判断しても良い。その場合、地名と分類番号が表示されている上部４００と仮名と車両番号の下部４０１の部分を走査すれば簡易的に処理を早めることもできる。
【００２３】
次に、ナンバープレート全体が汚れてコントラストが低下したときの全体輝度算出手段１２１による輝度算出処理について図５を用いて説明する。
【００２４】
図５の理想的なナンバープレート５０では、図４の説明の方法によってＰｃｏｎｔ５１が得られる。一方全体的に汚れたナンバープレート５２ではＰｃｏｎｔ５３が得られる。したがって、全体的に汚れたナンバープレート５２では、理想的なナンバープレート５０に対してコントラストが小さくなったことが判断できる。
【００２５】
次に、ナンバープレートが部分的に汚れた場合の部分輝度算出手段１２２による輝度算出処理について図６を用いて説明する。ナンバープレートが部分的に汚れた場合、図４の方法だけでは検出できない。そこで部分的な判定方法が必要となる。
【００２６】
図６の理想的なナンバープレート６０では、ヒストグラム６１は、峰の数が２つになる。しかし部分的に汚れているナンバープレート６２では、部分的な汚れ６３の輝度が発生するため、ヒストグラム６４は、峰の数が３つになる。そこで、部分輝度算出手段１２２は所定の高さを超える峰の数が３つ以上の場合か否かよって部分的な汚れを判定する。
【００２７】
次に、図７により部分輝度算出手段１２２によるヒストグラムの峰の数の算出方法の一例を示す。ここでは単純に輝度の低い値と高い値から順次辿る方法を一例として説明するが、ヒストグラムの峰と谷を算出することができる方法であればよく、この手法に限定されるものではない。
【００２８】
図７では、輝度毎に画素数が計算され、ヒストグラム７０が作成される。ヒストグラム７０では、背景部分と文字等部分を示す２つの輝度で峰ができ、峰の間に谷がひとつできる。次に、部分輝度算出手段１２２は、ヒストグラム７０の細かい峰と細かい谷を平滑化するため適度な輝度毎にまとめてヒストグラム７１のように輝度値をまとめる。まとめられたヒストグラム７１の輝度値の最も低い値から高い値に順次データを比較し、画素数が
減少する直前の輝度値７２を暗部の峰とする。同様に輝度値の最も高い値から低い値に順次データを比較し、画素数が減少する直前の輝度値７３を明部の峰とする。峰を検出するには近似曲線を用いることによって細かい増減を吸収できる。次にヒストグラム７１で谷を検出するが暗部の峰から順次輝度値を上げていき、画素数の最低部を谷７４とする。同様に明部から順次輝度値を下げていき、谷７５を求める。更に暗部から辿った輝度値と明部から辿った輝度値が同じになるまで谷を確認し、真の谷７６を確定する。谷の検出も近似曲線で検出することができる。
【００２９】
次にナンバープレートの見易さの判定処理を図８から図１３までのフローチャートを用いて説明する。
【００３０】
図８はナンバープレート判定装置１の内部処理を示したメインフローチャートである。ナンバープレート判定装置１は電源を供給されると、画像入力処理Ｓ１で、画像取得手段３から前方又は後方の画像を取得する。次に取得した画像は画像記憶装置１５に格納され、車両認識処理Ｓ２でこの取得した画像内から車両を認識し抽出する。次に抽出された車両の領域からナンバープレート抽出処理Ｓ３でナンバープレートの領域を抽出する。次にナンバープレートの画像から、コントラストなどを算出し、ナンバープレートの見易さの判定処理Ｓ４を行う。その後、電源投入中は同じ処理をＳ１から順次繰り返す。
【００３１】
次に、図８の車両認識処理Ｓ２の詳細を図９を使用しフローチャートで説明する。
【００３２】
図９はナンバープレート判定装置１で使用する車両認識処理Ｓ２の例を示したフローチャートである。先ず前方の車両と思われる物体までの距離を距離計測手段１００によりＳ１１で求める。Ｓ１２において、車両認識手段１１１は、パターン認識するために画像データから輪郭抽出し、車両の外観を強調する。次に、Ｓ１３において、車両認識手段１１１は、輪郭抽出した画像に代表的な車種毎に後面パターンまたは前面パターンでマッチングを行いパターン認識させる。次に、Ｓ１４において、車両認識手段１１１は、パターン認識した車種の車両イメージと、距離から車両の高さ、幅の車両サイズを算出する。
【００３３】
次に認識できた車両イメージからナンバープレートを抽出する処理について図１０を用いて説明する。
【００３４】
図１０に示すように、先ずＳ２１において、ナンバープレート抽出手段１１２は、車両認識手段１１１が算出した車両の高さ、幅の車両サイズに基づいて、車両サイズにより使用される可能性のあるナンバープレートの色とサイズを特定する。なお、重量または改造によりナンバープレートが異なることもあるので、サイズによる判定にとどめてもよい。
【００３５】
次に、Ｓ２２において、ナンバープレート抽出手段１１２は、特定される色のフィルターをかけて各車両パターン毎にナンバープレートの位置が登録されたパターンを使用し、パターン認識する。これによって、ナンバープレートの位置を特定することができる。また、色によりフィルターをかけることにより業務用、自家用の違いを検出し、白色、緑色、黄色、黒色などナンバープレートの背景の色を特定することができる。
【００３６】
次に抽出したナンバープレートの見易さの判定処理について図１１を用いて説明する。
【００３７】
図１１では比較値算出手段１２０によって、Ｓ３１において全体輝度算出処理が行われ、ナンバープレート全体のコントラストが算出される。そして、Ｓ３２において部分輝度算出処理が行われる。
【００３８】
次に全体輝度算出処理Ｓ３１を図１２を用いてフローチャートで説明する。
【００３９】
図１２に示すように、先ず、Ｓ４１にて全体輝度算出手段１２１は、ナンバープレート画像の最暗値と最明値を求め中間値を閾値に設定する。次に、Ｓ４２にて全体輝度算出手段１２１は、ナンバープレート画像の画素を中間値で暗部と明部に分けて、暗部の平均値と明部の平均値をそれぞれ求める。このとき、ナンバープレート以外の画像からコントラストを求めて、補正しても良い。Ｓ４３において、全体輝度算出手段１２１は、Ｓ４２で算出された暗部の平均値と明部の平均値との差分によってコントラストを算出し、基準格納手段１３０に予め記憶された法令で許容される値として設定されたコントラストを上回るか確認する。閾値以下（Ｓ４３でＹＥＳ）の場合、Ｓ４４において通知手段４はコントラストが小さく、ナンバープレートが法令に適合していない可能性がある旨を通知する。一方、閾値より大きい場合（Ｓ４３でＮＯ）、次の処理に移行する。なお、Ｓ４３でＮＯの後に、Ｓ４４と同様の通知を行っても良い。例えば、通知手段４はナンバープレートが汚れていない旨を通知する。
【００４０】
次に部分的な汚れが有る場合の部分輝度算出処理Ｓ３２を図１３を用いてフローチャートで説明する。
【００４１】
図１３に示すように、先ず、Ｓ６１にて部分輝度算出手段１２２は、輝度で分類した画素数でヒストグラムを作成する。次に、Ｓ６２にて部分輝度算出手段１２２は、ヒストグラムより峰の数を算出する。次に、Ｓ６３にて部分輝度算出手段１２２は峰の数が２つであるか否かを判定する。その結果、峰の数が２つでない場合（Ｓ６３でＮＯ）、Ｓ６４にて部分輝度算出手段１２２は、文字等と背景の区別が付かないと判定し、通知手段４はナンバープレートに部分的な汚れが有る旨を通知する。また、ナンバープレートが見やすい状態でない旨や、適法な取り付け状態で無い旨を通知しても良い。Ｓ６３で峰の数が２つの場合（Ｓ６３でＹＥＳ）、背景と文字等の区別が付くと判定し、処理を終了する。なお、Ｓ６３でＹＥＳの後に、Ｓ６４と同様の通知を行っても良い。例えば、通知手段４はナンバープレートに部分的な汚れは無い旨を通知する。また、ナンバープレートが見やすい状態である旨や、適法な取り付け状態である旨を通知しても良い。
【００４２】
Ｓ６４の終了後、通知手段４のディスプレイには、算出されたデータや判定結果が表示される。図１４は、通知手段４への表示態様について説明した図である。Ｓ４４やＳ６４では算出されたコントラストに基づいて定性的な通知が行われたが、定性的な通知を行っても良い。例えば、図１４に示すように、通知手段４のディスプレイに、ナンバープレートの文字等と背景とのコントラストが全体の７０％相当との判定結果が示されている。輝度の数値でもパーセントでも基準格納手段１３０に格納した単位でも表示方法は問わない。また、定性的な表示として、コントラストが所定の閾値を超えたら「違反」の旨の表示を行っても良い。表示内容として、原画像とナンバープレートの大きさで判定した番号標の種別、背景色と文字色で判別した事業用自家用などの用途、輝度差で求めたコントラスト、ヒストグラムの峰の数により判断した判別色数などを表示しても良い。
【００４３】
以上のように本実施の形態によれば、ナンバープレートが見やすく付いているか判断することができるため、パトロール走行しながらその場で違法にナンバープレートを取り付けた車両を検出することができる。また、車両認識とナンバープレート検出を自動化することにより、乗車人員に手間を取らず違法検出することができるため、さらに誤検挙防止という効果が得られる。
【産業上の利用可能性】
【００４４】
本発明のナンバープレート判定装置は、パトロールカーなどに搭載しナンバープレートの汚れや、夜間の番号灯の適正照度などにより見難くなっていないか判断するのに有用である。
【符号の説明】
【００４５】
１      ナンバープレート判定装置
３      画像取得手段
４      通知手段
５      入力手段
１００  距離計測手段
１１１  車両認識手段
１１２  ナンバープレート抽出手段
１３０  基準格納手段
１４０  判定手段
【図１】
2014115798.tif 000003
【図２】
2014115798.tif 000004
【図３】
2014115798.tif 000005
【図４】
2014115798.tif 000006
【図５】
2014115798.tif 000007
【図６】
2014115798.tif 000008
【図７】
2014115798.tif 000009
【図８】
2014115798.tif 000010
【図９】
2014115798.tif 000011
【図１０】
2014115798.tif 000012
【図１１】
2014115798.tif 000013
【図１２】
2014115798.tif 000014
【図１３】
2014115798.tif 000015
【図１４】
2014115798.tif 000016