(57)【要約】文字情報認識システムに対し、運搬可能で設置場所を自由に変えることができ、利便性及び運用性の向上を図る。検知センサ（１０）は、検知箇所に仮設して移動体を検知する。撮像装置（２０）は、撮像箇所に仮設して、検知された移動体を撮像し、静止画像として取り込む。認識部（３１ａ）は、静止画像から文字情報を認識する。記憶部（３２）は、照合したい文字情報をあらかじめ記憶する。照合部（３１ｂ）は、認識した文字情報と、あらかじめ記憶している文字情報とを照合する。データベース部（３３）は、照合の結果、文字情報が一致した場合に、認識した文字情報及び該当の静止画像を記憶する。
2004021266.tif 000002
【特許請求の範囲】
【請求項１】
移動体上の文字情報の認識を行う文字情報認識システムにおいて、
検知箇所に仮設して、移動体を検知する検知センサと、
撮像箇所に仮設して、検知された移動体を撮像する撮像装置と、
撮像画像を静止画像として取り込んで文字情報を認識する認識部と、照合したい文字情報をあらかじめ記憶する記憶部と、認識した文字情報と、あらかじめ記憶している文字情報とを照合する照合部と、照合の結果、文字情報が一致した場合に、認識した文字情報及び該当の静止画像を記憶するデータベース部と、から構成される可搬型の認識・照合装置と、
を有することを特徴とする文字情報認識システム。
【請求項２】
前記検知センサは、移動体に向けて超音波を放射し、反射信号により移動体の検知を行うことを特徴とする請求の範囲第１項記載の文字情報認識システム。
【請求項３】
前記記憶部は、記憶媒体を介して入力された登録データを記憶し、前記登録データには、移動体のナンバ、所有者氏名、登録した日付の少なくとも１つが含まれることを特徴とする請求の範囲第１項記載の文字情報認識システム。
【請求項４】
前記データベース部は、地図情報と移動体内の人物画像とをさらに記憶することを特徴とする請求の範囲第１項記載の文字情報認識システム。
【請求項５】
前記認識・照合装置は、衛星より位置情報を取得する位置情報取得部を有し、文字情報を照合して一致した場合、前記位置情報取得部で取得した文字情報一致領域を、データベース部が記憶している地図情報と共にディスプレイに表示することを特徴とする請求の範囲第１項記載の文字情報認識システム。
【請求項６】
前記認識・照合装置は、文字情報を照合して一致した場合、通知情報を無線信号に変換して無線機へ送信する変調部を有することを特徴とする請求の範囲第１項記載の文字情報認識システム。
【請求項７】
前記認識部は、前記撮像装置で撮像した画像をディスプレイに表示し、オペレータからの操作にもとづいて、移動体の撮像画像を静止画像として取り込み、取り込んだ静止画像から文字情報を認識することを特徴とする請求の範囲第１項記載の文字情報認識システム。
【請求項８】
移動体上の文字情報の認識・照合を行い、可搬型の認識・照合装置において、
移動体の撮像画像を静止画像として取り込んで文字情報を認識する認識部と、
照合したい文字情報をあらかじめ記憶する記憶部と、
認識した文字情報と、あらかじめ記憶している文字情報とを照合する照合部と、
照合の結果、文字情報が一致した場合に、認識した文字情報及び該当の静止画像を記憶するデータベース部と、
を有することを特徴とする認識・照合装置。
【請求項９】
前記記憶部は、記憶媒体を介して入力された登録データを記憶し、前記登録データには、移動体のナンバ、所有者氏名、登録した日付の少なくとも１つが含まれることを特徴とする請求の範囲第８項記載の認識・照合装置。
【請求項１０】
前記データベース部は、地図情報と移動体内の人物画像とをさらに記憶することを特徴とする請求の範囲第８項記載の認識・照合装置。
【請求項１１】
衛星より位置情報を取得する位置情報取得部を有し、文字情報を照合して一致した場合、前記位置情報取得部で取得した文字情報一致領域を、データベース部が記憶している地図情報と共にディスプレイに表示することを特徴とする請求の範囲第８項記載の認識・照合装置。
【請求項１２】
文字情報を照合して一致した場合、通知情報を無線信号に変換して無線機へ送信する変調部を有することを特徴とする請求の範囲第８項記載の認識・照合装置。
【請求項１３】
前記認識部は、前記撮像装置で撮像した画像をディスプレイに表示し、オペレータからの操作にもとづいて、移動体の撮像画像を静止画像として取り込み、取り込んだ静止画像から文字情報を認識することを特徴とする請求の範囲第８項記載の認識・照合装置。
【発明の詳細な説明】
【技術分野】  本発明は文字情報認識システムに関し、特に移動体上の文字情報の認識を行う文字情報認識システムに関する。
【背景技術】  近年、交通監視、高速道路料金所監視等の分野では、自動車、列車等の移動体上の文字列、例えば自動車のナンバプレートに記載の登録番号、または列車側部に記載の列車番号を、自動的に認識する文字情報認識システムの必要性が高まっている。
従来の文字情報認識システムは、電信柱や門柱などに固定的に撮像・認識装置を設置して、画像を監視する監視システムと、屋内に設置したサーバにより、監視された文字情報を処理する文字情報処理システムとから構成される。
図６は監視システムの設置状態を示す図である。ここでは、道路に沿って監視システム１１０が取り付けられている状態を示している。ポールＰ１、Ｐ２が道路１１１の端に設置され、撮像装置１１２ａがポールＰ１、撮像装置１１２ｂがポールＰ２に取り付けられる。撮像装置１１２ａ、１１２ｂは道路１１１のレーン毎に設けられており、撮像装置１１２ａは範囲Ａを、撮像装置１１２ｂは範囲Ｂを監視可能な範囲としている。また、移動体を認識するための認識装置１１３ａ、１１３ｂが道路１１１の端に設置される。
このように構成されたシステムにおいて、道路上を移動する移動体に対し、撮像装置１１２ａ、１１２ｂは、自己が担当するレーンを通過する移動体をそれぞれ撮像する。撮像された画像は、認識装置１１３ａ、１１３ｂに入り、移動体に記載されている文字情報が認識される。
図７は文字情報処理システムの構成を示す図である。図６で示した監視システム１１０で認識された文字情報を屋内で処理するための文字情報処理システム１２０の構成を示している。
認識装置で認識された文字情報は、複数地点から専用線１２１を介して集められ、回線集約装置１２２に入る。なお、収集される情報には、文字情報だけでなく、監視時刻情報や監視箇所情報なども含まれる。
回線集約装置１２２は、ＬＡＮ１２３を介して収集されたデータをサーバ１２４に送信する。サーバ１２４は、入力された文字情報とデータベース１２５に入っている情報とを比較照合する。
端末１２６からは、あらかじめ移動体に関する情報（例えば手配中の移動体のナンバ等）が入力され、データベース１２５に蓄積されている。サーバ１２４は、回線集約装置１２２から入力された文字情報とデータベース１２５に蓄積されている文字情報とを順次比較していく。
そして、入力された文字情報が、データベース１２５に蓄積されている情報と一致した場合、サーバ１２４はそのことを端末１２６に通知する。端末１２６では、一致した登録ナンバ等を即座にディスプレイに表示する。このようにして、あらかじめ登録されていた移動体のナンバが、オペレータに通知されることになる。
しかし、上記のような従来の文字情報認識システムでは、監視システム１１０を屋外に固定的に設置する構成なので、撮像装置１１２ａ、１１２ｂや認識装置１１３ａ、１１３ｂなどを固定取り付けするための大掛りな工事が必要であり、また、屋内には文字情報処理システム１２０として文字情報を処理するための管理センタなどを設ける必要があった。このように、従来の文字情報認識システムは、システム全体の規模が非常に大きいものであり、容易にシステムを構築できないといった問題があった。
さらに、従来の文字情報認識システムでは、一旦、撮像装置１１２ａ、１１２ｂや認識装置１１３ａ、１１３ｂを屋外に設置してしまうと、その後、設置場所を変更することは非常に困難であり、システムの運用性に柔軟性がなかった。
【発明の開示】
本発明はこのような点に鑑みてなされたものであり、運搬可能で設置場所を自由に変えることができ、利便性及び運用性の向上を図った文字情報認識システムを提供することを目的とする。
本発明では上記課題を解決するために、図１に示すような、移動体上の文字情報の認識を行う文字情報認識システム１において、検知箇所に仮設して、移動体を検知する検知センサ１０と、撮像箇所に仮設して、検知された移動体を撮像する撮像装置２０と、撮像画像を静止画像として取り込んで文字情報を認識する認識部３１ａと、照合したい文字情報をあらかじめ記憶する記憶部３２と、認識した文字情報と、あらかじめ記憶している文字情報とを照合する照合部３１ｂと、照合の結果、文字情報が一致した場合に、認識した文字情報及び該当の静止画像を記憶するデータベース部３３と、から構成される可搬型の認識・照合装置３０と、を有することを特徴とする文字情報認識システム１が提供される。
ここで、検知センサ１０は、検知箇所に仮設して移動体を検知する。撮像装置２０は、撮像箇所に仮設して、検知された移動体を撮像する。認識部３１ａは、静止画像から文字情報を認識する。記憶部３２は、照合したい文字情報をあらかじめ記憶する。照合部３１ｂは、認識した文字情報と、あらかじめ記憶している文字情報とを照合する。データベース部３３は、照合の結果、文字情報が一致した場合に、認識した文字情報及び該当の静止画像を記憶する。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
【図面の簡単な説明】  図１は、本発明の文字情報認識システムの原理図である。
図２は、文字情報認識システムのブロック構成を示す図である。
図３は、登録データの構成例を示す図である。
図４は、本発明の動作を示すフローチャートである。
図５は、車番認識処理の動作フローを示す図である。
図６は、監視システムの設置状態を示す図である。
図７は、文字情報処理システムの構成を示す図である。
【発明を実施するための最良の形態】  以下、本発明の実施の形態を図面を参照して説明する。図１は本発明の文字情報認識システムの原理図である。本発明の文字情報認識システム１は、検知センサ１０、撮像装置２０、認識・照合装置３０から構成されて、移動体上の文字情報の認識を行うシステムであり、運搬可能な可搬型のシステムである。
すなわち、本発明のシステムを構成する検知センサ１０、撮像装置２０、認識・照合装置３０は、設置・調整が容易であり、例えば自動車で目的地まで運搬でき、また一人で持ち運び可能な大きさになっている。
検知センサ１０は、検知箇所に仮設（一時的に設置する）して移動体を検知する。撮像装置２０は、撮像箇所に仮設して、検知された移動体を撮像する。認識・照合装置３０は、認識部３１ａ、記憶部３２、照合部３１ｂ、データベース部３３を含む。認識部３１ａは、撮像画像を静止画像として取り込んで文字情報を認識する。記憶部３２は、照合したい文字情報をあらかじめ記憶する。
照合部３１ｂは、認識した文字情報と、あらかじめ記憶している文字情報とを照合する。データベース部３３は、照合の結果、文字情報が一致（以下、ヒット）した場合に、認識した文字情報及び該当の静止画像を記憶する。
次に文字情報認識システム１の構成及び動作について詳しく説明する。図２は文字情報認識システム１のブロック構成を示す図である。図は、認識・照合装置３０の内部ブロック及びその周辺部を示している。
認識・照合装置３０の周辺部に対し、検知センサ１０は、超音波方式のセンサであり、超音波を移動体に放射し、移動体から反射されて返ってくる信号を測定して移動体の有無を判別する。このような超音波方式の検知センサを用いると、装置を小型化することができる。
一方、撮像装置２０には例えば、テレビカメラ２０−１、ビデオカメラ２０−２、ディジタルカメラ２０−３が用いられる。テレビカメラ２０−１、ビデオカメラ２０−２、ディジタルカメラ２０−３は、移動体を撮像する。無線機（トランシーバ）４１は、認識・照合装置３０から通知情報を無線で受ける。ディスプレイ４２は、各種の画像を表示し、操作部４３は、キーボードやマウス等から構成される。フレキシブルディスク４４は、あらかじめ別途作成した、照合したい文字情報（以下、登録データと呼ぶ）が保存された情報記憶媒体であり、接続部３７を介してセットされる。
認識・照合装置３０の内部ブロックに対し、ＣＰＵ部３１は、認識・照合の全体の動作を制御する（認識部３１ａ及び照合部３１ｂの機能を含む）。記憶部３２は、フレキシブルディスク４４を介して入力された登録データを記憶する。データベース部３３は、ヒットした時の文字情報と、そのときの静止画像とを記憶する。また、ヒット地点の表示のための地図情報や、移動体を撮像したときの人物画像なども記憶する。
インタフェース部３４ａは、検知センサ１０の出力をＣＰＵ部３１に送信するためのインタフェース処理を行う。キャプチャカード３５ａは、テレビカメラ２０−１と接続し、テレビカメラ２０−１からのアナログ画像信号をディジタル画像信号に変換する。インタフェース部３４ｂは、キャプチャカード３５ａの出力を受けてＣＰＵ部３１に送信するためのインタフェース処理を行う。
キャプチャカード３５ｂは、ビデオカメラ２０−２に接続し、ビデオカメラ２０−２からのアナログ画像信号をディジタル画像信号に変換する。インタフェース部３４ｃは、キャプチャカード３５ｂの出力、またはディジタルカメラ２０−３の出力を受けてＣＰＵ部３１に送信するためのインタフェース処理を行う（なお、ディジタルカメラ２０−３の出力は、ＲＳ４２２カード（直列インタフェース）によりＣＰＵ部３１に接続される）。
押しボタンスイッチ３６は、静止画像を捉えるためのボタンスイッチである（動作は後述する）。変調部３８は、ＣＰＵ部３１から送信された通知情報を無線周波数に変換してアンテナを介して出力する。ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信チップ（位置情報取得部に該当）３９は、ＧＰＳ衛星からの測位情報の受信機能を持ち、自分の位置情報（緯度、経度）を取得する。なお、図中、電源部（交流電源で動作する場合には、インバータも用意される）の図示は省略した。
次に記憶部３２への登録データの保存処理について説明する。記憶部３２には、あらかじめ移動体に関する情報を登録データとして記憶させておく。この登録データは、センタ側に設けられているホストコンピュータから読み出したものをフレキシブルディスク４４等の情報記憶媒体に書き込み、それを本システムのある場所まで持参して入力する。すなわち、登録データが記憶されたフレキシブルディスク４４を接続部３７に接続し、操作部４３から記憶指令を与える。
これにより、記憶部３２へフレキシブルディスク４４に記憶されていた登録データが転送されて保存されることになり、認識・照合装置３０に移動体に関する登録データを容易に記憶させることができる。なお、フレキシブルディスク４４では記憶容量が足りない場合には、フレキシブルディスクの代わりに容量の大きいＣＤ−ＲＷ装置を用いてもよい。
図３は登録データの構成例を示す図である。登録データ３２−１は、移動体のナンバ、移動体の所有者氏名、登録年月日、履歴（登録を更新した年月日）、その他の情報が記憶されている。このような登録データ３２−１を記憶しておくことで、移動体に関する情報を把握することが可能になる。
次にフローチャートを用いて全体の動作について説明する。図４は本発明の動作を示すフローチャートである。なお、撮像装置２０として、テレビカメラ２０−１を用いた場合について示す。
〔Ｓ１〕検知センサ１０は、所定の方向に対して常時超音波を発しており、移動体が検知域に入ってくると、移動体から超音波の反射信号が戻ってくる。この反射信号を検出することにより、移動体を検知する。
〔Ｓ２〕ＣＰＵ部３１は、検知センサ１０からの検知信号を受けると、インタフェース部３４ｂから入ってくるテレビカメラ２０−１で撮像した画像を静止画像として取り込む。テレビカメラ２０−１は、被写体領域を常時撮像しているので、インタフェース部３４ｂからは、常時テレビカメラ２０−１で撮像された画像が垂れ流しで入ってくるが、通常はその画像は捨てている。そして、検知センサ１０が移動体を検知した後に、所定時間経過後、テレビカメラ２０−１から出力される画像が、静止画像として取り込まれる。
ここで、検知センサ１０からの検知信号の通知処理について説明する。検知センサ１０から検知信号が有線または無線で送信される（有線の場合はＲＳ２３２Ｃなどを用いる）。そして、検知信号をキャッチした認識・照合装置３０では、ソフトウェア処理により、所定の時間リアルタイム保持されている動画の中から、車両通過タイミングにマッチした静止画像を取り出すことになる。
〔Ｓ３〕ＣＰＵ部３１は、ステップＳ２で取り込んだ静止画像から文字情報領域を切り出す。この文字情報領域を切り出す方式としては、１画面内を左上から右下に向けて順次スキャンすることにより、文字情報領域を抽出する方法などが採用される。このような方法を用いると、１画面内のどの場所に文字情報領域があっても該当の文字情報領域を検出することができる。なお、文字情報切り出しアルゴリズムについては後述する。
〔Ｓ４〕ＣＰＵ部３１は、切り出された文字領域に記憶されている文字情報を認識する。文字情報認識アルゴリズムについて後述する。
〔Ｓ５〕ＣＰＵ部３１は、入力された文字情報と、記憶部３２に記憶されている登録データとの比較照合を行う。この照合では、１文字ずつ行っていく。
〔Ｓ６〕記憶部３２内の登録データとテレビカメラ２０−１で読み込んだ文字情報とがヒットした場合、ＣＰＵ部３１はデータベース部３３に文字情報と、その文字情報を含む静止画像とを記憶する。
ここで、記憶部３２に記憶されている登録データと、読み込んだ文字情報とがヒットした時、データベース部３３に記憶されている地図情報と、ヒット領域（ＧＰＳ受信チップ３９で測定された認識・照合装置３０の位置）とをディスプレイ４４の地図上にスポットとして表示する。
また、撮像装置２０で移動体を撮像する時に、通常は移動体の情報に加えて人の顔画像も撮影されるのが通常である。そこで、本発明では移動体内にいる人の画像も抽出して、データベース部３３に蓄積する。このようにすれば、移動体に関して取得した情報を増やすことができる。
次に押しボタンスイッチ３６の動作について説明する。例えば、撮像装置２０として、ビデオカメラ２０−２を用いて移動体を撮像しているものとする。ビデオカメラ２０−２は、内蔵のビデオテープに撮像領域を常時撮影記録している。ビデオテープに画像が記録されたら、ＣＰＵ部３１は画像を読み出してディスプレイ４２に表示する。
オペレータは、ディスプレイ４２に表示されている画像を観察し、目的の移動体が撮像されていたら、押しボタンスイッチ３６を押す。この結果、移動体が入ってきた時点における静止画像がキャッチされる。ＣＰＵ部３１は、キャッチした静止画像から文字情報領域を切り出し、文字情報認識処理を行う。このように、本発明によれば、移動体をバッチ処理することも可能である。
また、ディジタルカメラ２０−３を用いた場合でも同様な処理を行うことができる。例えば、目的とする移動体が視野に入ってきたら、オペレータは押しボタンスイッチ３６を押す。この信号は、ディジタルカメラ２０−３にシャッタ信号として与えられ、ディジタルカメラ２０−３で移動体を撮影する。
ディジタルカメラ２０−３で撮影された静止画像は、インタフェース部３４ｃを介してＣＰＵ部３１に与えられる。ＣＰＵ部３１は、上述した同じ手順で静止画像から文字情報を認識し、ヒットした場合には静止画像とあわせてデータベース部３３に記憶させる。
一方、画像がヒットした時の処理では、ＣＰＵ部３１は、その結果をディスプレイ４４に表示させる。これにより、オペレータは目的とする移動体の登録ナンバを認識することができる。また、変調部３８により無線でトランシーバ４１に登録ナンバを転送する。この結果、トランシーバ４１を持っている人は、文字情報がヒットしたことを音声で認識することができる。
次に文字情報の認識処理の例として、車番（車両ナンバ）を認識する車番認識処理（文字情報切り出しアルゴリズム及び文字情報認識アルゴリズムも含めて）の概要について説明する。図５は車番認識処理の動作フローを示す図である。車番認識処理は、車両検知処理、初期探索処理、車番切り出し処理、詳細認識処理の順で行われる。
〔Ｓ１１〕車両検知処理では、撮像装置により撮像している動画像から車両が通過したことを認識し、対象画像を抽出する。
〔Ｓ１２〕初期探索処理では、車両検知処理で抽出された画像全体からプレートの可能性の高い矩形領域を探索する。
〔Ｓ１３〕車番切り出し処理では、初期探索処理で抽出されたプレート候補領域に対し、プレートかどうかの確認処理を行う。
〔Ｓ１４〕詳細認識処理では、車番切り出し処理で抽出されたプレート領域に対し、辞書画像とテンプレートマッチングによりマッチング率最大の文字を抽出して認識処理を行う。
ここで、テンプレートマッチングとは、観測パターン（観測プレート）そのものを、パターン毎に用意されているテンプレート（ここでは辞書画像と呼ぶ）と重ね合せることによって得られる両者の差、または相関を使って識別する方法をいう。テンプレートマッチングは、パターン認識において最も簡単な装置で実現できる。
次に車番切り出し処理の詳細について説明する。ステップＳ１３で上述した条件に合致する領域を探索するため、下記のような切り出し処理を行う。
（１）プレート水平方向傾き補正を行う。
（２）プレート垂直方向傾き補正を行う。
（３）一連番号周辺領域の傾き補正画像を作成する。
（４）上記プレート領域の２値化画像を作成する。
（５）一連番号文字領域を抽出する。
（６）一連番号の認識処理を行う。
（７）プレートらしさの確認（レイアウトチェック）、プレートサイズの判定を行う（プレートサイズ（大型または中型）は、認識された一連番号の大きさから判定する）。
また、詳細認識処理では、プレート画像の作成、陸支コード認識処理、用途コード認識処理、分類番号認識処理、一連番号再認識処理を行う。
以上説明したように、本発明の文字情報認識システム１は、移動体を検知する小型の検知センサ１０、汎用の撮像装置２０、読み込んだ文字情報と登録データとを照合してヒットした場合にデータベースに記憶する可搬型の認識・照合装置３０とを有し、システム全体の規模をコンパクトに構成した。これにより、映像を監視して文字情報を認識したい箇所に容易に設置でき、設置場所も自由に変更することができるので、使い勝手のよい文字情報認識サービスを実現することが可能になる。
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
【図１】
2004021266.tif 000003
【図２】
2004021266.tif 000004
【図３】
2004021266.tif 000005
【図４】
2004021266.tif 000006
【図５】
2004021266.tif 000007
【図６】
2004021266.tif 000008
【図７】
2004021266.tif 000009
【国際調査報告】
2004021266.tif 000010
2004021266.tif 000011
2004021266.tif 000012
2004021266.tif 000013