(57)【要約】【課題】撮影画像に書かれている記号の識別を従来よりも正確に行う。【解決手段】識別装置１に、数字ごとに、そのモデル画像の各画素がそのモデル画像の中で相対的に明るい、相対的に暗い、および中間的な明るさである、のうちのいずれの特徴を有するかを示すモデル数字データＤＴ１と、中間的な明るさであるときの明度を基準とする相対明度に応じた明るさの度合い、暗さの度合い、および当該中間的な明るさの度合いを示す明度所属度情報ＤＴ２と、を記憶する記憶装置と、入力画像の画素ごとに、その入力画像の中間的な明度に対する相対明度を算出する差分明度算出部１２２と、入力画像の画素ごとに、その画素の相対明度に基づいて３つの特徴のそれぞれの度合いを判別する所属度算出部１２３と、入力画像と各数字との適合の度合いを判別する適合度算出部１２４と、入力画像との適合の度合いの最も高い記号を識別結果として出力する結果表示部と、を設ける。【選択図】　　　図１０
2004139325.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる記号を識別する記号識別装置であって、
記号ごとに、当該記号のモデル画像を複数の分割領域に分割した場合の当該分割領域が、当該モデル画像の中で相対的に明るい、相対的に暗い、および中間的な明るさである、という３つの特徴のうちのいずれの特徴を有するかを示す記号特徴情報を記憶する記号特徴情報記憶手段と、
中間的な明るさであるときの明度を基準とする相対明度に応じた明るさの度合い、暗さの度合い、および当該中間的な明るさの度合いを示す明度度合い対応情報を記憶する明度度合い対応情報記憶手段と、
前記入力画像の中の中間的な明度である基準明度を決定する基準明度決定手段と、
前記入力画像を前記複数の分割領域に分割する画像分割手段と、
前記入力画像の分割領域ごとに、当該入力画像の前記基準明度に対する当該分割領域の相対明度を算出する分割領域明度算出手段と、
前記入力画像の分割領域ごとに、前記分割領域明度算出手段によって算出された当該分割領域の相対明度および前記明度度合い対応情報に基づいて、当該分割領域の前記３つの特徴のそれぞれの度合いを判別する分割領域特徴判別手段と、
前記入力画像と前記各記号との適合の度合いを、前記分割領域特徴判別手段によって判別された当該入力画像の各分割領域の前記３つの特徴のそれぞれの度合いおよび当該各記号の前記記号特徴情報に基づいて判別する適合度合い判別手段と、
少なくとも前記入力画像との適合の度合いの最も高い記号を識別結果として出力する識別記号出力手段と、
を有してなることを特徴とする記号識別装置。
【請求項２】
前記モデル画像および前記入力画像の１つの分割領域は、１つの画素であり、
前記入力画像は、ｍ×ｎ（ｍ≧１、ｎ≧１）の画素からなり、
前記記号特徴情報記憶手段は、前記記号特徴情報として、ｍ×ｎの画素数に補正したモデル画像の各画素が当該モデル画像において前記３つの特徴のうちのいずれの特徴を有するかを示す記号特徴情報を記憶する、
請求項１記載の記号識別装置。
【請求項３】
自動車のナンバープレートの画像を入力する画像入力手段と、
前記ナンバープレートの画像の中に含まれる複数の文字の部分をそれぞれ前記入力画像として抽出する数字画像抽出手段と、を有し、
前記識別記号出力手段は、前記各入力画像の前記適合の度合いの最も高い記号同士を組み合わせて前記識別結果を出力する、
請求項１または請求項２記載の記号識別装置。
【請求項４】
入力画像に含まれる記号を識別する記号識別方法であって、
記号ごとに、当該記号のモデル画像を複数の分割領域に分割した場合の当該分割領域が、当該モデル画像の中で相対的に明るい、相対的に暗い、および中間的な明るさである、という３つの特徴のうちのいずれの特徴を有するかを示す記号特徴情報を記憶しておき、
中間的な明るさであるときの明度を基準とする相対明度に応じた明るさの度合い、暗さの度合い、および当該中間的な明るさの度合いを示す明度度合い対応情報を記憶しておき、
前記入力画像の中の中間的な明度である基準明度を決定するステップと、
前記入力画像を前記複数の分割領域に分割するステップと、
前記入力画像の分割領域ごとに、当該入力画像の前記基準明度に対する当該分割領域の相対明度を算出するステップと、
前記入力画像の分割領域ごとに、当該入力画像の前記基準明度に対する当該分割領域の相対明度および前記明度度合い対応情報に基づいて、当該分割領域の前記３つの特徴のそれぞれの度合いを判別するステップと、
前記入力画像と前記各記号との適合の度合いを、当該入力画像の各分割領域の特徴および当該各記号の前記記号特徴情報に基づいて判別するステップと、
少なくとも前記入力画像との適合の度合いの最も高い記号を識別結果として出力するステップと、
を有してなることを特徴とする記号識別方法。
【請求項５】
記号ごとに、当該記号のモデル画像を複数の分割領域に分割した場合の当該分割領域が、当該モデル画像の中で相対的に明るい、相対的に暗い、および中間的な明るさである、という３つの特徴のうちのいずれの特徴を有するかを示す記号特徴情報を記憶する記号特徴情報記憶手段と、中間的な明るさであるときの明度を基準とする相対明度に応じた明るさの度合い、暗さの度合い、および当該中間的な明るさの度合いを示す明度度合い対応情報を記憶する明度度合い対応情報記憶手段と、を有し、入力画像に含まれる記号を識別するコンピュータに用いられるコンピュータプログラムであって、
前記入力画像の中の中間的な明度である基準明度を決定する処理と、
前記入力画像を前記複数の分割領域に分割する処理と、
前記入力画像の分割領域ごとに、当該入力画像の前記基準明度に対する当該分割領域の相対明度を算出する処理と、
前記入力画像の分割領域ごとに、当該入力画像の前記基準明度に対する当該分割領域の相対明度および前記明度度合い対応情報に基づいて、当該分割領域の前記３つの特徴のそれぞれの度合いを判別する処理と、
前記入力画像と前記各記号との適合の度合いを、当該入力画像の各分割領域の特徴および当該各記号の前記記号特徴情報に基づいて判別する処理と、
少なくとも前記入力画像との適合の度合いの最も高い記号を識別結果として出力する処理と、
をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影により得た画像に書かれている記号を識別する識別装置および識別方法に関する。
【０００２】
【従来の技術】
図２３は白さ、黒さ、および灰色さの所属度のメンバーシップ関数の例を示す図、図２４は数字ごとのファジィルールの例を示す図、図２５は従来の識別処理の流れを説明するフローチャート、図２６は２×４画素のサイズに変換した識別対象の画像の例を示す図、図２７は識別対象の画像の各画素の明度の例を示す図、図２８は識別対象の画像の各画素についての適合度の例を示す図である。
【０００３】
従来より、写真に写っている数字や文字などの記号を自動的に識別する方法が提案されている。例えば、防犯カメラや交通監視カメラなどによって撮影された自動車のナンバープレートに書かれている車両番号を識別する方法が提案されている。しかし、従来の方法により記号を識別するには、ある程度解像度の高い画像を取得する必要がある。したがって、低解像度の画像の場合は、人間（例えば、警察の捜査官や鑑識官など）が目視により識別している。低解像度の画像の識別には時間と労力を要するので、捜査官は精神的および肉体的な負担を強いられる。
【０００４】
そこで、低解像度の画像であっても自動的に記号を識別する方法が提案されている。例えば、非特許文献１に記載された方法によると、ファジィルールを用いて数字の識別を行うことができる。係る方法では、図２３に示す画素の明度に応じた白さ（Ｗ）、黒さ（Ｂ）、および灰色さ（Ｇ）の度合い（所属度）を表すメンバーシップ関数および図２４に示す数字ごとのファジィルールを用いて、図２５に示すような手順により数字の識別を行う。なお、このファジィルールは、数字のモデル画像を２×４画素に縮小したときの、各画素に表れる特徴を示すものである。ただし、「０」と「８」とは同じ特徴になるので、１つのグループとして取り扱っている。
【０００５】
識別対象の画像を、図２４のファジィルールに適用するために、図２６に示すような２×４画素のサイズに変換する（＃９１）。図２３の３つのメンバーシップ関数に基づいて各画素の明度（図２７参照）における白さ、黒さ、および灰色さの所属度を求める（＃９２）。これにより、図２８のような結果が得られる。
【０００６】
図２４のファジィルールおよび図２８の結果に基づいて、識別対象の画像と各数字との適合度を求める（＃９３）。例えば、識別対象の画像と「２」との適合度を求める場合は、画素Ｌ０の灰色さ（Ｇ）、画素Ｌ１の白さ（Ｗ）、画素Ｒ２の白さ（Ｗ）、および画素Ｒ３の灰色さ（Ｇ）の所属度を抽出し、その中の最小値を適合度として決定する。同様に、他の数字との適合度を求める。そして、適合度の最も高い数字を識別結果として出力する（＃９４）。
【０００７】
【非特許文献１】
日本鑑識科学技術学会誌　第６巻　別冊号　日本鑑識科学技術学会第７回学術集会講演要旨集（平成１３年１０月発行）　第１４０頁：「ファジィルールを用いた低解像度ナンバープレート数字の識別」：吉川　歩、藤田　和弘、稲垣　昭生
【０００８】
【解決しようとする課題】
ところが、上記の方法によると、識別対象の画像の明度が全体的に高すぎる場合または低すぎる場合に、誤認識を生じる可能性が高くなってしまう。例えば、明度が高すぎると、識別対象の画像全体の白さ（Ｗ）の所属度が強く表れてしまうので、識別対象の画像に書かれている数字が「１」であると誤って認識されやすくなってしまう。このように、上記の方法は、画像の撮影条件が悪い場合の画像は識別処理には適さない。撮影条件が悪く識別処理には適さない画像の例としては、明るすぎる、暗すぎる、ピントが合っていない、またはノイズが生じている（ディジタルカメラの場合）画像などが挙げられる。
【０００９】
本発明は、このような問題点に鑑み、撮影環境が良くない場所であっても記号の識別を従来よりも正確に行うことを目的とする。
【００１０】
【課題を解決するための手段】
本発明に係る記号識別装置は、入力画像に含まれる記号を識別する記号識別装置であって、記号ごとに、当該記号のモデル画像を複数の分割領域に分割した場合の当該分割領域が、当該モデル画像の中で相対的に明るい、相対的に暗い、および中間的な明るさである、という３つの特徴のうちのいずれの特徴を有するかを示す記号特徴情報を記憶する記号特徴情報記憶手段と、中間的な明るさであるときの明度を基準とする相対明度に応じた明るさの度合い、暗さの度合い、および当該中間的な明るさの度合いを示す明度度合い対応情報を記憶する明度度合い対応情報記憶手段と、前記入力画像の中の中間的な明度である基準明度を決定する基準明度決定手段と、前記入力画像を前記複数の分割領域に分割する画像分割手段と、前記入力画像の分割領域ごとに、当該入力画像の前記基準明度に対する当該分割領域の相対明度を算出する分割領域明度算出手段と、前記入力画像の分割領域ごとに、前記分割領域明度算出手段によって算出された当該分割領域の相対明度および前記明度度合い対応情報に基づいて、当該分割領域の前記３つの特徴のそれぞれの度合いを判別する分割領域特徴判別手段と、前記入力画像と前記各記号との適合の度合いを、前記分割領域特徴判別手段によって判別された当該入力画像の各分割領域の特徴および当該各記号の前記記号特徴情報に基づいて判別する適合度合い判別手段と、少なくとも前記入力画像との適合の度合いの最も高い記号を識別結果として出力する識別記号出力手段とを有してなる。
【００１１】
好ましくは、前記モデル画像および前記入力画像の１つの分割領域は、１つの画素であり、前記入力画像は、ｍ×ｎ（ｍ≧１、ｎ≧１）の画素からなり、前記記号特徴情報記憶手段は、前記記号特徴情報として、ｍ×ｎの画素数に補正したモデル画像の各画素が当該モデル画像において前記３つの特徴のうちのいずれの特徴を有するかを示す記号特徴情報を記憶する。
【００１２】
または、前記明度度合い対応情報は、中間的な明るさであるときの明度を基準とする相対明度をパラメータとするメンバーシップ関数である、明るさの度合いを示す明るさ度合い関数、暗さの度合いを示す暗さ度合い関数、および入力画像のすべての画素の明度の平均との近似度を示す平均明度度合い関数からなり、前記明るさ度合い関数は、当該関数をｆ（ｘ）と表したとき、α＜βなる任意の相対明度についてｆ（α）≦ｆ（β）を満たし、前記暗さ度合い関数は、当該関数をｇ（ｘ）と表したとき、α＜βなる任意の相対明度についてｇ（α）≧ｇ（β）を満たし、前記平均明度度合い関数は、上に凸の関数である。
【００１３】
または、自動車のナンバープレートの画像を入力する画像入力手段と、前記ナンバープレートの画像の中に含まれる複数の文字の部分をそれぞれ前記入力画像として抽出する数字画像抽出手段と、を有し、前記識別記号出力手段は、前記各入力画像の前記適合の度合いの最も高い記号同士を組み合わせて前記識別結果を出力する。
【００１４】
なお、本発明において、「記号」には、数字、文字、算術記号、および符号などの種々の記号が含まれる。
【００１５】
【発明の実施の形態】
図１はナンバープレート識別装置１の外観およびハードウェア構成の例を示す図、図２はナンバープレート識別装置１の機能的構成の例を示す図である。
【００１６】
本発明に係るナンバープレート識別装置１は、撮影により得た画像に写っている自動車のナンバープレートの４桁の番号（以下、「車両番号」と記載する。）を識別するための装置である。特に、画像に写っているナンバープレートが小さく、例えばモノクロ２５６階調程度で１つの数字のサイズが２×４画素程度であっても、識別が可能である。
【００１７】
ナンバープレート識別装置１は、図１（ｂ）に示すように、ＣＰＵ１０ａ、ＲＡＭ１０ｂ、ＲＯＭ１０ｃ、磁気記憶装置１０ｄ、ディスプレイ装置１０ｅ、マウスまたはキーボードなどの入力装置１０ｆ、および各種インタフェースなどによって構成される。ナンバープレート識別装置１には、ディジタルカメラ、ビデオテープレコーダ（ＶＴＲ）、またはイメージスキャナなどの画像入力装置２および印刷装置３を接続することができる。画像入力装置２から出力される画像信号がアナログ信号である場合は、Ａ／Ｄ変換装置によりディジタル信号に変換される。また、ナンバープレート識別装置１は、公衆回線、専用線、またはインターネットなどの通信回線を介して他のコンピュータとの間でデータの送受信を行うことができる。ナンバープレート識別装置１として、例えば図１（ａ）に示すようなパーソナルコンピュータまたはワークステーションなどが用いられる。
【００１８】
磁気記憶装置１０ｄには、ＯＳ（オペレーティングシステム）および後に説明する処理を行うためのプログラムおよびデータが記憶されている。プログラムおよびデータは必要に応じてＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによってプログラムが実行される。
【００１９】
このような構成によって、ナンバープレート識別装置１は、図２に示すように、前処理部１０１、数字識別処理部１０２、候補作成処理部１０３、明度所属度情報記憶部１０４、およびモデル数字データ記憶部１０５などの機能が実現される。
【００２０】
図３はモデル数字データＤＴ１の例を示す図、図４はモデル数字データＤＴ１を生成する手順の例を示す図、図５は２×４画素の位置および画素名を示す図、図６は各数字のモデル画像ＳＧＡおよび参照画像ＭＧの例を示す図、図７はモデル数字データＤＴ１の変形例を示す図である。
【００２１】
図２のモデル数字データ記憶部１０５は、図３に示すように、ナンバープレートに用いられる書体（フォント）の「０」〜「９」の各数字のモデル画像ＳＧＡの特徴のファジィルールを示すモデル数字データＤＴ１（ＤＴ１０、ＤＴ１２〜ＤＴ１７、ＤＴ１９）を記憶している。モデル数字データＤＴ１は、次のような手順で得られる。
【００２２】
例えば、「２」のモデル数字データＤＴ１２を生成する場合は、図４に示すように、まず、ナンバープレートと同じ書体の「２」のモデル画像ＳＧＡを用意する。モデル画像ＳＧＡは、状態のよい画像でなければならないが、高解像度である必要はない。例えば、３２×６４画素、モノクロ２５６階調程度の画像でよい。モデル画像ＳＧＡは、ナンバープレートの実物または雛形に書かれている数字を撮影所などの環境の整った場所で撮影して用意してもよいし、パーソナルコンピュータのＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃ）ソフトを用いて作成して用意してもよい。
【００２３】
モデル画像ＳＧＡの数字の体の部分を黒、背景の部分を白に置き換えて鮮鋭化し、鮮鋭画像ＳＧＢを生成する。生成された鮮鋭画像ＳＧＢを２×４の領域に分割し、分割されたそれぞれの領域（以下、「分割領域」と記載する。）をモザイク化して参照画像ＭＧを生成する。
【００２４】
生成された参照画像ＭＧの各分割領域は、「２」のモデル画像ＳＧＡを２×４画素の画像で表したときの各画素に対応していると言える。つまり、参照画像ＭＧは、ナンバープレートの撮影画像の中に写っている２×４画素の「２」の理想的なグレイスケールを示すものである。もちろん、実際の撮影画像は、周囲の明るさやカメラの特性などの影響を受けるので、例えば全体的に明るく（白く）なったり、暗く（黒く）なったり、またはコントラストが落ちたりして、参照画像ＭＧが示す通りの理想的な画像にはならない。
【００２５】
参照画像ＭＧを２×４画素の画像とみなし、各分割領域をそれぞれ１つの画素とみなす。以下、図５に示すように、２×４画素のうち左側の画素を上から順に「Ｌ０」〜「Ｌ３」と呼称し、右側の画素を上から順に「Ｒ０」〜「Ｒ３」と呼称する。
【００２６】
各画素（分割領域）が参照画像ＭＧの中で相対的に明るいか、相対的に暗いか、または平均的な（中間的な）明るさであるか、のうちのいずれの特徴を有しているかを判別する。そして、図３に示すように、相対的に明るい（Ｌｉｇｈｔ）、相対的に暗い（Ｄａｒｋ）、および平均的（Ａｖｅｒａｇｅ）と判別したそれぞれの画素に「Ｌｉ」、「Ｄａ」、および「Ａｖ」の符号を与える。このようにして、「２」のモデル数字データＤＴ１２の基本となる内容が得られる。括弧で括られた符号は、後に説明する適合度の算出の処理において用いないことを示している。
【００２７】
同様に、他の数字についても、図６に示すようにモデル画像ＳＧＡより参照画像ＭＧを生成し、これに基づいて各画素（分割領域）の特徴を判別し、各モデル数字データＤＴ１の基本となる内容を得る。「０」、「１」、および「８」の特徴は全て同じになる。そこで、これら３つの数字については１つの同じモデル数字データＤＴ１０を用いることとする。さらに、互いに似たような内容にならないように、各モデル数字データＤＴ１の内容の調整を行う。
【００２８】
以上のようにして、各数字のモデル数字データＤＴ１が得られる。なお、モデル数字データＤＴ１を実際の画素の配置の通りに記憶しておいてもよい。例えば、モデル数字データＤＴ１２の場合は、図７のような配置で記憶しておいてもよい。
【００２９】
図８は前処理部１０１の構成の例を示す図、図９は入力された画像ＴＧおよび抽出された数字画像ＩＧの例を示す図、図１０は数字識別処理部１０２の構成の例を示す図、図１１は差分明度ｄＶの算出方法の例を説明する図、図１２は明度所属度情報ＤＴ２の例を示す図、図１３は所属度結果情報ＤＴ３の例を示す図、図１４は数字画像ＩＧとモデル画像ＳＧＡとの適合度の算出方法の例を説明する図、図１５は適合度結果情報ＤＴ４の例を示す図である。
【００３０】
図２の前処理部１０１は、図８に示すように、画像入力部１１１、切出し処理部１１２、数字画像抽出部１１３、および画像表示部１１４などによって構成される。このような構成により、前処理部１０１は、識別対象のナンバープレートに書かれた数字を抽出する処理を行う。
【００３１】
画像入力部１１１は、図９に示すような識別対象のナンバープレートＮＢが写っている画像ＴＧの入力を行う。画像ＴＧは、駐車場などに設置された防犯カメラまたは幹線道路などに設置された交通監視カメラなどによる撮影によって得られたものである。または、一般のカメラまたはビデオカメラなどで撮影して得られたものであってもよい。画像ＴＧの中のナンバープレートＮＢは小さくてもよく、例えばモノクロ２５６階調の場合は数字１つ当たりのサイズが２×４画素程度であればよい。
【００３２】
切出し処理部１１２は、入力された画像ＴＧからナンバープレートＮＢの部分を切り出す。数字画像抽出部１１３は、図９に示すように、切り出されたナンバープレートＮＢの画像から自動車ナンバー（４桁のナンバー）の各桁の数字の画像を抽出する。これらの処理は、公知の画像認識処理を用いて自動的に行うようにすればよい。または、オペレータが操作をして行ってもよい。自動車のナンバープレートのアスペクト比（縦横比）および各桁の数字の位置は交通規則などにより定められているので、オペレータは、ナンバープレートＮＢ上の任意の２つの頂点を指定するだけで、ナンバープレートＮＢに書かれた各桁の数字の画像の範囲を決めることができる。
【００３３】
さらに、数字画像抽出部１１３は、抽出した各桁の画像をそれぞれ２×４画素になるように補正処理を行う。このようにして、４つの数字画像ＩＧが得られる。以下、これらの数字画像ＩＧを第１桁から順に「数字画像ＩＧ１」〜「数字画像ＩＧ４」と区別して記載することがある。
【００３４】
画像表示部１１４は、切り出されたナンバープレートＮＢの画像および４つの数字画像ＩＧを拡大してディスプレイ装置１０ｅの表示面に表示する。ただし、これらの画像は元々解像度が非常に低い上に、全体的に明るすぎたり暗すぎたりまたはコントラストが落ちていたりするので、拡大してもオペレータが数字を識別することは難しい。
【００３５】
図２の数字識別処理部１０２は、図１０に示すように、基準明度算出部１２１、差分明度算出部１２２、所属度算出部１２３、および適合度算出部１２４などによって構成される。このような構成により、数字識別処理部１０２は、各数字画像ＩＧに書かれている数字が何であるかを識別する処理を行う。
【００３６】
基準明度算出部１２１は、前処理部１０１により得られた数字画像ＩＧごとに、２×４の画素の明度の中間的な明度を算出する。例えば、全画素の相加平均を求めることにより算出する。または、最小二乗法によって算出してもよい。８つの画素の明度のうち４番目または５番目辺りの明度を中間的な明度としてもよい。このように、中間的な明度は、数字画像ＩＧの平均明度であると言える。この中間的な明度は、数字画像ＩＧの中における各画素の相対的な明度を求める際の基準として用いられる。以下、数字画像ＩＧの中間的な明度を「基準明度Ｖｋ」と記載する。
【００３７】
差分明度算出部１２２は、数字画像ＩＧの２×４の各画素と基準明度Ｖｋとの差分を算出する。つまり、数字画像ＩＧの中での各画素の相対的な明度（相対明度）を算出する。以下、算出された差分を「差分明度ｄＶ」と記載する。例えば、数字画像ＩＧ１の各画素の明度Ｖが図１１（ａ）に示す値であり基準明度Ｖｋ１がおよそ１４１である場合は、図１１（ｂ）に示すように差分明度ｄＶが算出される。
【００３８】
所属度算出部１２３は、数字画像ＩＧの２×４の画素に、前に述べた「明るい」、「暗い」、および「平均的」の３つの特徴がそれぞれどのくらい表れているかの度合い（所属度）を算出する。所属度は［０，１］の範囲にあり、所属度が大きいほど特徴がよく表れていると言える。所属度の算出は、その画素の差分明度ｄＶおよび次に説明する明度所属度情報ＤＴ２に基づいて行われる。
【００３９】
明度所属度情報ＤＴ２は、図２の明度所属度情報記憶部１０４に記憶されている。この明度所属度情報ＤＴ２は、差分明度ｄＶの各値に応じた上記の３つの特徴の所属度を示している。明度所属度情報ＤＴ２として、例えば、図１２（ａ）および次の式（１）〜（３）に示すような明るさ所属度関数Ｌｉ（ｄＶ）、暗さ所属度関数Ｄａ（ｄＶ）、および平均性所属度関数Ａｖ（ｄＶ）が用いられる。式（１）〜（３）の関数は、ファジィ理論におけるメンバーシップ関数であり、ファジィ集合を示すものである。
【００４０】
【数１】
2004139325.tif 000003
【００４１】
αの値が大きすぎると「平均的」が「明るい」および「暗い」よりも顕著に表れてしまい、小さすぎると「明るい」および「暗い」が「平均的」よりも顕著に表れてしまう。本実施例のようにナンバープレートの数字の識別の場合は、αの値は７５くらいが適当であることが実験により分かっている。
【００４２】
所属度算出部１２３は、これら３つの関数に各画素の差分明度ｄＶを代入することによって、各画素の３つの特徴の所属度を算出する。例えば、図１１（ｂ）に示す数字画像ＩＧ１の各画素の差分明度ｄＶを各関数に代入すると、図１３に示すような各特徴の所属度を示す所属度結果情報ＤＴ３が得られる。なお、各関数を差分明度ｄＶの整数値ごとにサンプリングして得られる図１２（ｂ）の明度所属度情報ＤＴ２’を用いて所属度を算出してもよい。
【００４３】
適合度算出部１２４は、算出された各数字画像ＩＧの所属度結果情報ＤＴ３およびモデル数字データ記憶部１０５に記憶されている各数字のモデル数字データＤＴ１に基づいて、その数字画像ＩＧが各数字のモデル画像ＳＧＡにどのくらい適合しているかを算出する。
【００４４】
例えば、数字画像ＩＧ１が「２」のモデル画像ＳＧＡにどのくらい適合しているかを算出する場合は、所属度結果情報ＤＴ３および「２」のモデル数字データＤＴ１２を用いて図１４に示すような手順で算出する。まず、図１４（ａ）のモデル数字データＤＴ１２の格納形式を図１４（ｃ）の所属度結果情報ＤＴ３の格納形式に対応するように、図１４（ｂ）のように変換する。例えば、図１４（ａ）に示すように画素Ｌ０＝Ａｖであれば、図１４（ｂ）の画素Ｌ０の列とＡｖの行との交点（マス目）に「１」を格納する。ただし、図１４（ａ）において括弧書きされている値は無視し、ないものとして取り扱う。
【００４５】
所属度結果情報ＤＴ３に格納されている各マス目の所属値とこれに対応するマス目に格納されている図１４（ｂ）の値とを積算する。ただし、モデル数字データＤＴ１２の空欄はｎｕｌｌ値（値なし）として取り扱う。これにより、図１４（ｄ）のようなデータが得られる。
【００４６】
係るデータによると、数字画像ＩＧ１の画素Ｌ０、Ｌ１、Ｌ３、Ｒ２とこれに対応する数字モデル「２」の画素との適合度がそれぞれ０．８９、１．００、０．９８、０．９８であることが分かる。これ以外の画素（１つも値が格納されていない列の画素）の適合度は参照しない。
【００４７】
そして、これらの適合度のうち最も値の小さいものを、数字画像ＩＧ１の全体と「２」のモデル画像ＳＧＡとの適合度として採用する。つまり、数字画像ＩＧ１と「２」のモデル画像ＳＧＡとの適合度は０．８９と算出される。なお、図１４（ｄ）の列ごとに最大値を選択し、図１４（ｅ）のようなテーブルを生成し、適合度の算出を行い易くしてもよい。この場合は、数字画像ＩＧとモデル画像ＳＧＡとの適合度の決定において空欄のマス目を参照しないようにするために、図１４（ｅ）の各マス目の既定値を便宜上「１．００」としておく。
【００４８】
「２」以外の各数字についても同様の処理を行うことにより、図１５（ａ）に示すように、数字画像ＩＧ１と各数字との適合度を示す適合度結果情報ＤＴ４１（ＤＴ４）が得られる。数字画像ＩＧ２〜ＩＧ４についても上記のように各数字との適合度を算出することにより、図１５（ｂ）〜（ｄ）に示す適合度結果情報ＤＴ４２〜ＤＴ４４が得られる。
【００４９】
例えば、適合度結果情報ＤＴ４１によると、数字画像ＩＧ１に書かれている数字は、「２」である可能性が最も高いことが分かる。したがって、数字画像ＩＧ１に書かれている数字は「２」であると識別することができる。しかし、自動車のナンバープレートの識別を行う場合などは、数字画像ＩＧに書かれている可能性のある数字を漏らさずに得ることが要求される。そこで、目的に応じて、適合度が第２位以降の数字も識別結果として出力してもよい。識別結果の出力の処理は、次に説明する図２の候補作成処理部１０３によって行われる。
【００５０】
図１６は候補作成処理部１０３の構成の例を示す図、図１７は適合度順識別結果画面ＨＧ１の構成の例を示す図、図１８は車両番号識別結果画面ＨＧ２の構成の例を示す図である。
【００５１】
候補作成処理部１０３は、図１６に示すように、桁数字ソート部１３１、番号候補作成部１３２、および結果表示部１３３などによって構成される。桁数字ソート部１３１は、第１桁〜第４桁のそれぞれについて、適合度結果情報ＤＴ４１〜ＤＴ４４に基づいて適合度の高い数字の順に並び替えを行う。結果表示部１３３は、各桁についての並び替えの結果および各数字の適合度を図１７のような適合度順識別結果画面ＨＧ１に表示する。
【００５２】
番号候補作成部１３２は、桁数字ソート部１３１による並び替えの結果に基づいて、ナンバープレートＮＢの車両番号の候補を幾つか作成する。例えば、各桁の適合度の第２位までの数字を選択し、これらの数字を組み合わせて車両番号の候補を作成する。なお、「０／１／８」が含まれる桁については、その桁の他の数字と合わせて４つの数字が選択されることになる。
【００５３】
結果表示部１３３は、作成された候補を、図１８に示す車両番号識別結果画面ＨＧ２のように表示する処理を行う。「０／１／８，２−６，５」または「０／１／８　２−６　５」のように第４桁と第３桁との間および第２桁と第１桁との間をカンマまたはスペースで区切ってテキスト形式で表示してもよい。これらの候補は、４つの桁の適合度が第１位、３つの桁の適合度が第１位で１つの桁の適合度が第２位、…のように、車両番号全体としての適合度が高いと推測される順に配置される。
【００５４】
なお、適合度順識別結果画面ＨＧ１の切換えボタンＢＮ１１または車両番号識別結果画面ＨＧ２の切換えボタンＢＮ２１をクリックすることにより、相互に画面を切換えることができる。また、印刷ボタンＢＮ１２、ＢＮ２２をクリックすることにより、桁数字ソート部１３１または番号候補作成部１３２の処理の結果すなわち識別結果を帳票またはイメージ画像として印刷することができる。
【００５５】
図１９はナンバープレート識別装置１の全体の処理の流れの例を説明するフローチャート、図２０は数字識別処理の流れの例を説明するフローチャート、図２１は番号候補作成処理の流れの例を説明するフローチャート、図２２は適合度算出処理の流れの例を説明するフローチャートである。
【００５６】
次に、ナンバープレートの画像を入力し識別結果を得るまでの処理の流れを、フローチャートを参照して説明する。図１９に示すように、まず、識別対象であるナンバープレートが写っている画像を入力する（＃１）。入力した画像をグレイスケールに変換し（＃２）、ナンバープレートの部分を切り出し（＃３）、各桁の数字の領域を数字画像ＩＧとして切り出す（＃４）。切り出された数字画像ＩＧは、２×４画素のサイズになるように補正しておく。なお、ステップ＃２とステップ＃３、＃４との処理の順序は、逆であってもよい。
【００５７】
数字画像ＩＧに書かれている数字を識別する処理を行う（＃５）。すなわち、図２０に示すように、まず、数字画像ＩＧの基準明度（平均明度）を算出する（＃５１）。例えば、数字画像ＩＧの２×４画素の相加平均を算出し、これを基準明度とする。図１１に示すように、２×４の画素ごとにその画素の明度から基準明度を引き算することにより、差分明度ｄＶを求める（＃５２）。画素ごとに、差分明度ｄＶおよび図１２に示す明度所属度情報ＤＴ２に基づいて、相対的な明るさの所属度Ｌｉ、相対的な暗さの所属度Ｄａ、および平均性の所属度Ａｖを求める（＃５３〜＃５５）。これにより、図１３のような所属度結果情報ＤＴ３が得られる。
【００５８】
数字画像ＩＧと「０／１／８」〜「９」の各数字のモデル画像ＳＧＡとの適合度を図２１に示す手順で算出する（＃５６）。まず、初期設定として、図１４（ｅ）および図１５（ａ）〜（ｄ）に示すテーブルの各マス目に既定値「１」を格納しておく（＃５６１）。
【００５９】
数字画像ＩＧの各画素の３つの特徴の所属度を図１３のように算出する（＃５６２）。数字画像ＩＧの画素ごとに、数字のモデル画像ＳＧＡをモザイク化した画像（参照画像ＭＧ）の対応する画素との適合度を、その数字画像ＩＧの所属度結果情報ＤＴ３およびそのモデル画像ＳＧＡのモデル数字データＤＴ１に基づいて求める（＃５６３）。例えば、第１桁の数字画像ＩＧ１と「２」のモデル画像ＳＧＡとの適合度を求める場合は、図１４に示すような積算を行うことにより、図１４（ｅ）のような適合度が得られる。
【００６０】
求められた適合度の中から最小値を選択し、これを数字画像ＩＧとモデル画像ＳＧＡとの適合値とする（＃５６４）。例えば図１４（ｅ）の場合は、数字画像ＩＧ１と「２」のモデル画像ＳＧＡとの適合値は０．８９となる。
【００６１】
図２０に戻って、ナンバープレートに書かれた４桁の数字画像ＩＧのすべてについて、ステップ＃５１〜＃５６の処理を繰り返す（＃５７でＹｅｓ）。これにより、図１５（ａ）〜（ｄ）に示すような適合度結果情報ＤＴ４が得られる。なお、図２０ではステップ＃５１〜＃５６の処理を一連の処理として１桁ずつ処理を行ったが、１つのステップごとに４桁分の処理を行ってもよい。
【００６２】
図１９に戻って、結果を表示するための番号候補作成処理を行う（＃６）。すなわち、図２２に示すように、まず、ナンバープレートの各桁について、その桁の数字画像ＩＧとの適合度が高い順に「０／１／８」〜「９」の数字を並び替える（＃６１）。
【００６３】
ナンバープレートの車両番号の識別結果を表示する場合は（＃６２でＹｅｓ）、例えば各桁の適合度が第２位までの数字を選択し（＃６３）、車両番号の組合せを作成する（＃６４）。そして、図１８に示すような車両番号識別結果画面ＨＧ２を表示する（＃６５）。一方、適合度の結果を表示する場合は（＃６２でＮｏ）、ステップ＃６１の並び替えの結果に基づいて、図１７に示すような適合度順識別結果画面ＨＧ１を表示する（＃６６）。
【００６４】
図１９に戻って、適合度順識別結果画面ＨＧ１または車両番号識別結果画面ＨＧ２において印刷ボタンＢＮ１２またはＢＮ２２がクリックされた場合は、識別結果の印刷処理を行う（＃７）。
【００６５】
本実施形態によると、識別対象の画像全体の中間的な明度を基準として用いることにより、撮影環境の悪い場所であっても従来よりも正確に識別対象に書かれた記号の識別を行うことができる。例えば、明るい場所、暗い場所、および霧が発生して画像のコントラストが低下してしまうような場所であっても識別を行うことができる。
【００６６】
なお、車両番号が１〜３桁である場合は、「・・・２」、「・・５２」、または「・６５２」のように、空白桁の「０」の代わりに「・」の記号が用いられる。本実施形態のナンバープレート識別装置１によって「・」が書かれている数字画像ＩＧの識別を行うと、その数字画像ＩＧは各数字のうち「０／１／８」との適合度が最も高くなることが実験により分かっている。したがって、「・」を「０」として取り扱い、番号の候補の１つとして例えば「００５２」が得られた場合は「・・５２」と置き換えるように構成してもよい。
【００６７】
図１２に示す明度所属度情報ＤＴ２すなわちメンバーシップ関数として、式（１）〜（３）以外のものを用いても構わない。所定の範囲−α＜ｄＶ＜αにおいて、明るさ所属度関数Ｌｉ（ｄＶ）、暗さ所属度関数Ｄａ（ｄＶ）、および平均性所属度関数Ａｖ（ｄＶ）が、それぞれ、単調増加関数、単調減少関数、および上に凸の関数であればよい。この場合に、これらの関数を用いた多くの実験データを取得し、図３に示すモデル数字データＤＴ１の内容をこれらの関数に適したものに変更することにより、識別の精度を高めることができる。
【００６８】
ナンバープレート識別装置１を他のシステムと連携させてもよい。例えば、各地方にある運輸局または陸運局の自動車登録システムと連携させ、自動車登録システムのデータベースに対して識別結果に示される自動車に関するデータ（例えば、所有者の氏名、住所、車種、車体の色、および登録日など）を照会できるように構成してもよい。さらに、図９の撮影画像（画像ＴＧ）に基づいて自動車の車種または車体の色を入力できるようにナンバープレート識別装置１を構成してもよい。これにより、図１８に示す多数の車両番号を特定の１つまたは幾つかの候補に絞り込むことができる。
【００６９】
ナンバープレート識別装置１によって、数字以外の記号、例えばアルファベット、平仮名、算術記号、または陸運局の所在を示す文字（例えば「品川」、「姫路」、「品」、および「姫」など）の識別も可能である。この場合は、これらの文字についてのモデル数字データＤＴ１を用意しておけばよい。これらの文字のモデル画像および識別対象の画像（数字画像ＩＧに相当する画像）のサイズは、２×４画素に限られない。例えば、３×６程度のサイズであってもよい。ナンバープレート以外に書かれた記号の識別も可能である。
【００７０】
その他、ナンバープレート識別装置１の全体または各部の構成、各画面の構成および内容、処理内容、処理順序などは、本発明の趣旨に沿って適宜変更することができる。
（付記１）入力画像に含まれる記号を識別する記号識別装置であって、
記号ごとに、当該記号のモデル画像を複数の分割領域に分割した場合の当該分割領域が、当該モデル画像の中で相対的に明るい、相対的に暗い、および中間的な明るさである、という３つの特徴のうちのいずれの特徴を有するかを示す記号特徴情報を記憶する記号特徴情報記憶手段と、
中間的な明るさであるときの明度を基準とする相対明度に応じた明るさの度合い、暗さの度合い、および当該中間的な明るさの度合いを示す明度度合い対応情報を記憶する明度度合い対応情報記憶手段と、
前記入力画像の中の中間的な明度である基準明度を決定する基準明度決定手段と、
前記入力画像を前記複数の分割領域に分割する画像分割手段と、
前記入力画像の分割領域ごとに、当該入力画像の前記基準明度に対する当該分割領域の相対明度を算出する分割領域明度算出手段と、
前記入力画像の分割領域ごとに、前記分割領域明度算出手段によって算出された当該分割領域の相対明度および前記明度度合い対応情報に基づいて、当該分割領域の前記３つの特徴のそれぞれの度合いを判別する分割領域特徴判別手段と、前記入力画像と前記各記号との適合の度合いを、前記分割領域特徴判別手段によって判別された当該入力画像の各分割領域の特徴および当該各記号の前記記号特徴情報に基づいて判別する適合度合い判別手段と、
少なくとも前記入力画像との適合の度合いの最も高い記号を識別結果として出力する識別記号出力手段と、
を有してなることを特徴とする記号識別装置。
（付記２）前記モデル画像および前記入力画像の１つの分割領域は、１つの画素であり、
前記入力画像は、ｍ×ｎ（ｍ≧１、ｎ≧１）の画素からなり、
前記記号特徴情報記憶手段は、前記記号特徴情報として、ｍ×ｎの画素数に補正したモデル画像の各画素が当該モデル画像において前記３つの特徴のうちのいずれの特徴を有するかを示す記号特徴情報を記憶する、
付記１記載の記号識別装置。
（付記３）前記明度度合い対応情報は、中間的な明るさであるときの明度を基準とする相対明度をパラメータとするメンバーシップ関数である、明るさの度合いを示す明るさ度合い関数、暗さの度合いを示す暗さ度合い関数、および入力画像のすべての画素の明度の平均との近似度を示す平均明度度合い関数からなり、
前記明るさ度合い関数は、当該関数をｆ（ｘ）と表したとき、α＜βなる任意の相対明度についてｆ（α）≦ｆ（β）を満たし、
前記暗さ度合い関数は、当該関数をｇ（ｘ）と表したとき、α＜βなる任意の相対明度についてｇ（α）≧ｇ（β）を満たし、
前記平均明度度合い関数は、上に凸の関数である、
付記１または付記２記載の記号識別装置。
（付記４）自動車のナンバープレートの画像を入力する画像入力手段と、
前記ナンバープレートの画像の中に含まれる複数の文字の部分をそれぞれ前記入力画像として抽出する数字画像抽出手段と、を有し、
前記識別記号出力手段は、前記各入力画像の前記適合の度合いの最も高い記号同士を組み合わせて前記識別結果を出力する、
付記１ないし付記３のいずれかに記載の記号識別装置。
（付記５）入力画像に含まれる記号を識別する記号識別方法であって、
記号ごとに、当該記号のモデル画像を複数の分割領域に分割した場合の当該分割領域が、当該モデル画像の中で相対的に明るい、相対的に暗い、および中間的な明るさである、という３つの特徴のうちのいずれの特徴を有するかを示す記号特徴情報を記憶しておき、
中間的な明るさであるときの明度を基準とする相対明度に応じた明るさの度合い、暗さの度合い、および当該中間的な明るさの度合いを示す明度度合い対応情報を記憶しておき、
前記入力画像の中の中間的な明度である基準明度を決定するステップと、
前記入力画像を前記複数の分割領域に分割するステップと、
前記入力画像の分割領域ごとに、当該入力画像の前記基準明度に対する当該分割領域の相対明度を算出するステップと、
前記入力画像の分割領域ごとに、当該入力画像の前記基準明度に対する当該分割領域の相対明度および前記明度度合い対応情報に基づいて、当該分割領域の前記３つの特徴のそれぞれの度合いを判別するステップと、
前記入力画像と前記各記号との適合の度合いを、当該入力画像の各分割領域の特徴および当該各記号の前記記号特徴情報に基づいて判別するステップと、
少なくとも前記入力画像との適合の度合いの最も高い記号を識別結果として出力するステップと、
を有してなることを特徴とする記号識別方法。
（付記６）記号ごとに、当該記号のモデル画像を複数の分割領域に分割した場合の当該分割領域が、当該モデル画像の中で相対的に明るい、相対的に暗い、および中間的な明るさである、という３つの特徴のうちのいずれの特徴を有するかを示す記号特徴情報を記憶する記号特徴情報記憶手段と、中間的な明るさであるときの明度を基準とする相対明度に応じた明るさの度合い、暗さの度合い、および当該中間的な明るさの度合いを示す明度度合い対応情報を記憶する明度度合い対応情報記憶手段と、を有し、入力画像に含まれる記号を識別するコンピュータに用いられるコンピュータプログラムであって、
前記入力画像の中の中間的な明度である基準明度を決定する処理と、
前記入力画像を前記複数の分割領域に分割する処理と、
前記入力画像の分割領域ごとに、当該入力画像の前記基準明度に対する当該分割領域の相対明度を算出する処理と、
前記入力画像の分割領域ごとに、当該入力画像の前記基準明度に対する当該分割領域の相対明度および前記明度度合い対応情報に基づいて、当該分割領域の前記３つの特徴のそれぞれの度合いを判別する処理と、
前記入力画像と前記各記号との適合の度合いを、当該入力画像の各分割領域の特徴および当該各記号の前記記号特徴情報に基づいて判別する処理と、
少なくとも前記入力画像との適合の度合いの最も高い記号を識別結果として出力する処理と、
をコンピュータに実行させるためのコンピュータプログラム。
【００７１】
【発明の効果】
本発明によると、撮影環境が良くない場所であっても記号の識別を従来よりも正確に行うことができる。
【図面の簡単な説明】
【図１】ナンバープレート識別装置の外観およびハードウェア構成の例を示す図である。
【図２】ナンバープレート識別装置の機能的構成の例を示す図である。
【図３】モデル数字データの例を示す図である。
【図４】モデル数字データを生成する手順の例を示す図である。
【図５】２×４画素の位置および画素名を示す図である。
【図６】各数字のモデル画像および参照画像の例を示す図である。
【図７】モデル数字データの変形例を示す図である。
【図８】前処理部の構成の例を示す図である。
【図９】入力された画像および抽出された数字画像の例を示す図である。
【図１０】数字識別処理部の構成の例を示す図である。
【図１１】差分明度の算出方法の例を説明する図である。
【図１２】明度所属度情報の例を示す図である。
【図１３】所属度結果情報の例を示す図である。
【図１４】数字画像とモデル画像との適合度の算出方法の例を説明する図である。
【図１５】適合度結果情報の例を示す図である。
【図１６】候補作成処理部の構成の例を示す図である。
【図１７】適合度順識別結果画面の構成の例を示す図である。
【図１８】車両番号識別結果画面の構成の例を示す図である。
【図１９】ナンバープレート識別装置の全体の処理の流れの例を説明するフローチャートである。
【図２０】数字識別処理の流れの例を説明するフローチャートである。
【図２１】番号候補作成処理の流れの例を説明するフローチャートである。
【図２２】適合度算出処理の流れの例を説明するフローチャートである。
【図２３】白さ、黒さ、および灰色さの所属度のメンバーシップ関数の例を示す図である。
【図２４】数字ごとのファジィルールの例を示す図である。
【図２５】従来の識別処理の流れを説明するフローチャートである。
【図２６】２×４画素のサイズに変換した識別対象の画像の例を示す図である。
【図２７】識別対象の画像の各画素の明度の例を示す図である。
【図２８】識別対象の画像の各画素についての適合度の例を示す図である。
【符号の説明】
１　ナンバープレート識別装置（記号識別装置）
１０３　候補作成処理部（識別記号出力手段）
１０４　明度所属度情報記憶部（明度度合い対応情報記憶手段）
１０５　モデル数字データ記憶部（記号特徴情報記憶手段）
１１１　画像入力部（画像入力手段）
１１３　数字画像抽出部（数字画像抽出手段）
１２１　平均明度算出部（基準明度決定手段）
１２２　差分明度算出部（分割領域明度算出手段）
１２３　所属度算出部（分割領域特徴判別手段）
１２４　適合度算出部（適合度合い判別手段）
ＤＴ１　モデル数字データ（記号特徴情報）
ＤＴ２　明度所属度情報（明度度合い対応情報）
Ｌ０〜Ｌ３、Ｒ０〜Ｒ３　画素（分割領域）
【図１】
2004139325.tif 000004
【図２】
2004139325.tif 000005
【図３】
2004139325.tif 000006
【図４】
2004139325.tif 000007
【図５】
2004139325.tif 000008
【図６】
2004139325.tif 000009
【図７】
2004139325.tif 000010
【図８】
2004139325.tif 000011
【図９】
2004139325.tif 000012
【図１０】
2004139325.tif 000013
【図１１】
2004139325.tif 000014
【図１２】
2004139325.tif 000015
【図１３】
2004139325.tif 000016
【図１４】
2004139325.tif 000017
【図１５】
2004139325.tif 000018
【図１６】
2004139325.tif 000019
【図１７】
2004139325.tif 000020
【図１８】
2004139325.tif 000021
【図１９】
2004139325.tif 000022
【図２０】
2004139325.tif 000023
【図２１】
2004139325.tif 000024
【図２２】
2004139325.tif 000025
【図２３】
2004139325.tif 000026
【図２４】
2004139325.tif 000027
【図２５】
2004139325.tif 000028
【図２６】
2004139325.tif 000029
【図２７】
2004139325.tif 000030
【図２８】
2004139325.tif 000031