(57)【要約】【課題】処理負荷の増加、およびナンバープレートの認識漏れを抑制する。【解決手段】移動物体が走行する路面の動画像からナンバープレートの認識処理を行う認識部を備え、前記認識部は、前記路面における前記移動物体の混雑状態が第１の状態である場合、第１のフレームレートを有する動画像から選択された第１の画像に対してナンバープレートの認識処理を行い、前記路面における前記移動物体の混雑状態が前記第１の状態よりも混雑度が高い第２の状態である場合、前記第１のフレームレートよりも低い第２のフレームレートを有する動画像を構成する第２の画像に対してナンバープレートの認識処理を行う、ナンバープレート認識装置。【選択図】図３
2020008924.tif 000002
【特許請求の範囲】
【請求項１】
移動物体が走行する路面の動画像からナンバープレートの認識処理を行う認識部を備え、
前記認識部は、
前記路面における前記移動物体の混雑状態が第１の状態である場合、第１のフレームレートを有する動画像から選択された第１の画像に対してナンバープレートの認識処理を行い、
前記路面における前記移動物体の混雑状態が前記第１の状態よりも混雑度が高い第２の状態である場合、前記第１のフレームレートよりも低い第２のフレームレートを有する動画像を構成する第２の画像に対してナンバープレートの認識処理を行う、ナンバープレート認識装置。
【請求項２】
前記ナンバープレート認識装置は、前記第１のフレームレートを有する動画像を構成する画像群のうちで前記移動物体が検出された画像群から前記第１の画像を選択する画像選択部をさらに備える、請求項１に記載のナンバープレート認識装置。
【請求項３】
前記画像選択部は、前記移動物体が検出された画像群において、前記移動物体が最初に検出された画像と、前記移動物体が最後に検出された画像との中間の時系列位置に対応する画像を前記第１の画像として選択する、請求項２に記載のナンバープレート認識装置。
【請求項４】
前記路面は１または２以上の車線を有し、
前記認識部は、
前記第１の状態においては前記第１の画像における１の車線に対応する領域に対してナンバープレートの認識処理を行い、
前記第２の状態においては前記第２の画像における前記１の車線に対応する領域および前記１の車線の側部に対応する領域に対してナンバープレートの認識処理を行う、請求項１〜３のいずれか一項に記載のナンバープレート認識装置。
【請求項５】
前記移動物体が走行する路面の動画像は、前記移動物体の進行方向と反対側から前記路面を撮像して得られた動画像である、請求項４に記載のナンバープレート認識装置。
【請求項６】
前記ナンバープレート認識装置は、前記路面における前記移動物体の混雑状態を判定する判定部をさらに備える、請求項１〜５のいずれか一項に記載のナンバープレート認識装置。
【請求項７】
前記ナンバープレート認識装置は、
前記路面の動画像を構成する画像群に対して前記移動物体の検出処理を行う検出部と、
画像間での前記移動物体の検出位置の変化に基づき前記移動物体の移動速度を測定する速度測定部をさらに有し、
前記判定部は、前記速度測定部による測定の結果に基づいて前記路面における前記移動物体の混雑状態を判定する、請求項６に記載のナンバープレート認識装置。
【請求項８】
前記ナンバープレート認識装置は、前記路面の混雑状態を示す情報を取得する情報取得部をさらに備え、
前記判定部は、前記情報取得部により取得された情報に基づいて前記路面における前記移動物体の混雑状態を判定する、請求項６に記載のナンバープレート認識装置。
【請求項９】
前記判定部は、第１の時間帯においては前記路面における前記移動物体の混雑状態が前記第１の状態であると判定し、第２の時間帯においては前記路面における前記移動物体の混雑状態が前記第２の状態であると判定する、請求項６に記載のナンバープレート認識装置。
【請求項１０】
移動物体が走行する路面の動画像からナンバープレートの認識処理を行うことを含み、
前記ナンバープレートの認識処理を行うことは、
前記路面における前記移動物体の混雑状態が第１の状態である場合、第１のフレームレートを有する動画像から選択された第１の画像に対してナンバープレートの認識処理を行うことと、
前記路面における前記移動物体の混雑状態が前記第１の状態よりも混雑度が高い第２の状態である場合、前記第１のフレームレートよりも低い第２のフレームレートを有する動画像を構成する第２の画像に対してナンバープレートの認識処理を行うことと、
を含む、ナンバープレート認識方法。
【請求項１１】
コンピュータを、
移動物体が走行する路面の動画像からナンバープレートの認識処理を行う認識部を備え、
前記認識部は、
前記路面における前記移動物体の混雑状態が第１の状態である場合、第１のフレームレートを有する動画像から選択された第１の画像に対してナンバープレートの認識処理を行い、
前記路面における前記移動物体の混雑状態が前記第１の状態よりも混雑度が高い第２の状態である場合、前記第１のフレームレートよりも低い第２のフレームレートを有する動画像を構成する第２の画像に対してナンバープレートの認識処理を行う、ナンバープレート認識装置として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ナンバープレート認識装置、ナンバープレート認識方法およびプログラムに関する。
【背景技術】
【０００２】
近年、車両の検出処理および車両に設けられたナンバープレートの認識処理の開発が盛んに行われている。例えば、特許文献１には、繰り返し撮像して得られた複数の撮像画像の各々から異なる車線に対応する領域を切り出すこと、切り出された領域からナンバープレートを検出すること、いずれの車線に対応する領域が切り出される撮像画像かに応じて当該撮像画像を得るための露光量を変化させること、を行うナンバープレート検出装置が開示されている。当該ナンバープレート検出装置では、１台の撮像装置で広域な範囲からナンバープレートを検出可能である。
【０００３】
特許文献２には、撮像方向が異なる複数の撮像部により得られた画像を用いてナンバープレートに記載された情報を認識する車両監視装置が開示されている。この車両監視装置は、撮像部により得られた画像を複数の領域に分割し、複数の領域のうちの特定の領域から画像を切り出し、切り出された画像に対して車両の検出およびナンバープレートの認識を行う。画像の切出しは、車種判定結果、および車速度測定結果などにより決定される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−９５７６３号公報
【特許文献２】特開２０１７−８４４１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
処理負荷の軽減の観点、およびナンバープレートの認識精度の観点から、路面の動画像における車両領域の変化に基づきナンバープレートの認識対象とする画像を選択し、当該画像に対してナンバープレートの認識処理を行う方法も考えられる。しかし、渋滞状態においては、車両の一部が他の車両に隠れて車両領域が検出されず、結果、ナンバープレートの認識対象とする画像が適切に選択されず、ナンバープレートの認識漏れが生じることが懸念される。一方、渋滞状態において動画像を構成する全ての画像に対してナンバープレートの認識処理を行うと処理負荷が増加する。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、処理負荷の増加、およびナンバープレートの認識漏れを抑制することが可能な、新規かつ改良されたナンバープレート認識装置、ナンバープレート認識方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、移動物体が走行する路面の動画像からナンバープレートの認識処理を行う認識部を備え、前記認識部は、前記路面における前記移動物体の混雑状態が第１の状態である場合、第１のフレームレートを有する動画像から選択された第１の画像に対してナンバープレートの認識処理を行い、前記路面における前記移動物体の混雑状態が前記第１の状態よりも混雑度が高い第２の状態である場合、前記第１のフレームレートよりも低い第２のフレームレートを有する動画像を構成する第２の画像に対してナンバープレートの認識処理を行う、ナンバープレート認識装置が提供される。
【０００８】
前記ナンバープレート認識装置は、前記第１のフレームレートを有する動画像を構成する画像群のうちで前記移動物体が検出された画像群から前記第１の画像を選択する画像選択部をさらに備えてもよい。
【０００９】
前記画像選択部は、前記移動物体が検出された画像群において、前記移動物体が最初に検出された画像と、前記移動物体が最後に検出された画像との中間の時系列位置に対応する画像を前記第１の画像として選択してもよい。
【００１０】
前記路面は１または２以上の車線を有し、前記認識部は、前記第１の画像における１の車線に対応する領域に対してナンバープレートの認識処理を行い、前記第２の画像における前記１の車線に対応する領域および前記１の車線の側部に対応する領域に対してナンバープレートの認識処理を行ってもよい。
【００１１】
前記移動物体が走行する路面の動画像は、前記移動物体の進行方向と反対側から前記路面を撮像して得られた動画像であってもよい。
【００１２】
前記ナンバープレート認識装置は、前記路面における前記移動物体の混雑状態を判定する判定部をさらに備えてもよい。
【００１３】
前記ナンバープレート認識装置は、前記路面の動画像を構成する画像群に対して前記移動物体の検出処理を行う検出部と、画像間での前記移動物体の検出位置の変化に基づき前記移動物体の移動速度を測定する速度測定部をさらに有し、前記判定部は、前記速度測定部による測定の結果に基づいて前記路面における前記移動物体の混雑状態を判定してもよい。
【００１４】
前記ナンバープレート認識装置は、前記路面の混雑状態を示す情報を取得する情報取得部をさらに備え、前記判定部は、前記情報取得部により取得された情報に基づいて前記路面における前記移動物体の混雑状態を判定してもよい。
【００１５】
前記判定部は、第１の時間帯においては前記路面における前記移動物体の混雑状態が前記第１の状態であると判定し、第２の時間帯においては前記路面における前記移動物体の混雑状態が前記第２の状態であると判定してもよい。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、移動物体が走行する路面の動画像からナンバープレートの認識処理を行うことを含み、前記ナンバープレートの認識処理を行うことは、前記路面における前記移動物体の混雑状態が第１の状態である場合、第１のフレームレートを有する動画像から選択された第１の画像に対してナンバープレートの認識処理を行うことと、前記路面における前記移動物体の混雑状態が前記第１の状態よりも混雑度が高い第２の状態である場合、前記第１のフレームレートよりも低い第２のフレームレートを有する動画像を構成する第２の画像に対してナンバープレートの認識処理を行うことと、を含む、ナンバープレート認識方法が提供される。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、移動物体が走行する路面の動画像からナンバープレートの認識処理を行う認識部を備え、前記認識部は、前記路面における前記移動物体の混雑状態が第１の状態である場合、第１のフレームレートを有する動画像から選択された第１の画像に対してナンバープレートの認識処理を行い、前記路面における前記移動物体の混雑状態が前記第１の状態よりも混雑度が高い第２の状態である場合、前記第１のフレームレートよりも低い第２のフレームレートを有する動画像を構成する第２の画像に対してナンバープレートの認識処理を行う、ナンバープレート認識装置として機能させるための、プログラムが提供される。
【発明の効果】
【００１８】
以上説明した本発明によれば、処理負荷の増加、およびナンバープレートの認識漏れを抑制することが可能である。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態によるナンバープレート認識システムを示す説明図である。
【図２】撮像部１８の撮像範囲の一例を示す説明図である。
【図３】本発明の実施形態によるナンバープレート認識装置２０の構成を示す説明図である。
【図４】通常状態におけるフレーム画像の選択方法の具体例を示す説明図である。
【図５】渋滞状態におけるフレーム画像の選択方法の具体例を示す説明図である。
【図６】本発明の実施形態によるナンバープレート認識装置２０の動作を示すフローチャートである。
【図７】渋滞状態における車両１０の走行を示す説明図である。
【図８】第１の変形例によるナンバープレート認識装置２０の動作を示すフローチャートである。
【図９】ナンバープレート認識装置２０のハードウェア構成を示したブロック図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。
【００２２】
＜１．ナンバープレート認識システムの概要＞
本発明の実施形態は、路面を走行する車両のナンバープレートを認識するためのナンバープレート認識システムに関する。まず、図１および図２を参照し、本発明の実施形態によるナンバープレート認識システムの概要を説明する。
【００２３】
図１は、本発明の実施形態によるナンバープレート認識システムを示す説明図である。図１に示したように、車両１０と、路面撮像装置１６と、ナンバープレート認識装置２０と、を有する。路面撮像装置１６とナンバープレート認識装置２０はネットワーク１２を介して接続されている。ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００２４】
（車両）
車両１０は、移動体の一例であり、路面を走行する。車両１０はナンバープレートを有し、ナンバープレートには車両１０を識別する識別情報が形成されている。識別情報は、数字、文字および地名などを含む。なお、図１においては車両１０として四輪車を示しているが、二輪車、バスおよびトラックなどにも本発明の実施形態を適用可能である。
【００２５】
（路面撮像装置）
路面撮像装置１６は、道路脇に設置されており、支持フレーム部１７および撮像部１８を有する。支持フレーム部１７は、撮像部１８が路面を上方から撮像できる位置に撮像部１８を支持する。撮像部１８は、路面を撮像し、路面の動画像を取得する。撮像部１８は、ＣＣＤ（Ｃｈａｒｇｅｄ−ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅｓ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。撮像部１８は、所定の周期で繰り返し路面を撮像するように設定されており、環境変化に応じた露光時間およびシャッタースピードで路面を撮像する。
【００２６】
ここで、図２を参照し、撮像部１８の撮像範囲を説明する。図２は、撮像部１８の撮像範囲の一例を示す説明図である。図２に示したように、撮像部１８の撮像範囲は、少なくとも１の車線領域Ｘを含む。すなわち、撮像部１８は、撮像部１８の撮像範囲が車線領域Ｘを含むように支持フレーム部１７に支持される。
【００２７】
路面撮像装置１６は、撮像部１８により取得された路面の動画像をナンバープレート認識装置２０にネットワーク１２を介して送信する。なお、路面撮像装置１６からナンバープレート認識装置２０への路面の動画像の送信はリアルタイムで行われてもよいし、定期的に行われてもよいし、ナンバープレート認識装置２０からの要求に応じて行われてもよい。
【００２８】
（ナンバープレート認識装置）
ナンバープレート認識装置２０は、路面撮像装置１６から受信される路面の動画像から、路面を走行する車両１０のナンバープレートを認識する。ナンバープレート認識装置２０によるナンバープレートの認識結果の活用方法は特に限定されない。例えば、ナンバープレートの認識結果は高速道路の走行料金を処理するサーバに送信され、当該サーバがナンバープレートの認識結果を用いて走行料金の課金を実行してもよい。
【００２９】
＜２．ナンバープレート認識装置の構成＞
以上、本発明の実施形態によるナンバープレート認識システムの概要を説明した。続いて、本発明の実施形態によるナンバープレート認識装置２０の構成および動作を順次詳細に説明する。
【００３０】
図３は、本発明の実施形態によるナンバープレート認識装置２０の構成を示す説明図である。図３に示したように、本発明の実施形態によるナンバープレート認識装置２０は、通信部２２０、動画像記憶部２２４、車両検出部２２８、速度測定部２３２、渋滞判定部２３６、画像選択部２４０、選択画像記憶部２４４および認識部２４８を有する。
【００３１】
（通信部）
通信部２２０は、外部の装置と通信する。例えば、通信部２２０は、路面撮像装置１６から路面の動画像を受信する。また、通信部２２０は、認識部２４８によるナンバープレートの認識結果をサーバなどの外部装置に送信する。
【００３２】
（動画像記憶部）
動画像記憶部２２４は、通信部２２０により路面撮像装置１６から受信された路面の動画像を記憶する。動画像記憶部２２４に記憶される路面の動画像のフレームレートは特に限定されず、例えば３０ｆｐｓまたは６０ｆｐｓであってもよい。
【００３３】
（車両検出部）
車両検出部２２８は、動画像記憶部２２４に記憶された路面の動画像を構成する各フレーム画像に対して車両１０の検出処理を行う。車両検出部２２８は、各フレーム画像のオプティカルフローを解析することで車両１０を検出してもよい。または、車両検出部２２８は、機械学習により得られた車両１０を検出するための識別器を用いて、各フレーム画像から車両１０を検出してもよい。具体的には、車両検出部２２８は、フレーム画像の輝度勾配特徴量を使用し、事前に同様の輝度勾配特徴量で学習した識別器を用いて車両１０を検出してもよい。ここで、車両検出部２２８は、動画像記憶部２２４に記憶されている動画像を構成する全てのフレーム画像に対して車両１０の検出処理を行ってもよいし、動画像記憶部２２４に記憶されている動画像よりもフレームレートが低いフレーム画像群に対して車両１０の検出処理を行ってもよい。本明細書においては、車両検出部２２８が車両１０の検出処理を行う対象のフレーム画像群のフレームレートは第１のフレームレートと称する場合もある。
【００３４】
（速度測定部）
速度測定部２３２は、連続するフレーム画像間での車両１０の検出位置の変化に基づき、車両１０の移動速度を測定する。さらに、速度測定部２３２は、１分、１０分、または１時間などの単位時間ごとに、当該単位期間内に測定された車両１０の移動速度の平均値である平均移動速度を算出する。
【００３５】
（渋滞判定部）
渋滞判定部２３６は、路面における車両１０の混雑状態を判定する。渋滞判定部２３６は、速度測定部２３２により算出された平均移動速度に基づいて車両１０の混雑状態を判定してもよい。例えば、渋滞判定部２３６は、速度測定部２３２により算出された平均移動速度が閾値を上回る場合には混雑状態が通常状態（第１の状態）であると判定し、速度測定部２３２により算出された平均移動速度が閾値以下である場合には、混雑状態が通常状態よりも混雑度が高い渋滞状態（第２の状態）であると判定してもよい。上記閾値は、路面撮像装置１６が設置される位置に設定されている法定速度の所定の割合に相当する値であってもよい。
【００３６】
（画像選択部）
画像選択部２４０は、動画像記憶部２２４に記憶されている動画像から、認識部２４８によりナンバープレートの認識処理が行われることになるフレーム画像を選択する。ここで、画像選択部２４０は、渋滞判定部２３６による混雑状態の判定結果に応じて異なる方法でフレーム画像を選択する。以下、通常状態において用いられるフレーム画像の選択方法、および渋滞状態において用いられるフレーム画像の選択方法を説明する。
【００３７】
通常状態においては、各車両１０が他の車両１０に隠れ難いので、車両１０の検出は高精度に行われることが期待される。このため、通常状態においては、車両１０が検出されたフレーム画像に対してナンバープレートの認識処理を行えば、ナンバープレートの認識漏れが生じず、かつ、全てのフレーム画像に対してナンバープレートの認識処理を行う場合と比較して認識処理の負荷を大幅に低減することができる。
【００３８】
さらに、同一の車両１０は複数のフレーム画像に亘って検出されることが想定されるので、車両１０が検出された複数のフレーム画像のうちで、最もナンバープレートの認識に適したフレーム画像を選択することが、認識処理の負荷の観点からさらに望ましい。ここで、ある観点によれば、最もナンバープレートの認識に適したフレーム画像は、中心付近に車両１０が存在するフレーム画像である。このため、通常状態においては、画像選択部２４０は、車両１０が検出された最初のフレーム画像と、当該車両１０が検出された最後のフレーム画像との間の中間（特に、中心）の時系列位置に対応するフレーム画像を選択してもよい。以下、図４を参照してこのような通常状態におけるフレーム画像の選択方法の具体例を説明する。
【００３９】
図４は、通常状態におけるフレーム画像の選択方法の具体例を示す説明図である。図４に示した例では、フレーム画像ｆ１〜ｆ３、ｆ４〜ｆ６、ｆ７〜ｆ９で車両１０が検出されている。この例において、画像選択部２４０は、フレーム画像ｆ１〜ｆ３のうちの中心のフレーム画像ｆ２、フレーム画像ｆ４〜ｆ６のうちの中心のフレーム画像ｆ５、およびフレーム画像ｆ７〜ｆ９のうちの中心のフレーム画像ｆ８を選択する。
【００４０】
一方、渋滞状態においては、各車両１０が他の車両１０に隠れることにより車両１０が検出されない場合がある。このため、渋滞状態においては、車両１０が検出されたフレーム画像に対してナンバープレートの認識処理を行う方法では、ナンバープレートの認識漏れが生じ得る。路面の動画像を構成する全てのフレーム画像に対してナンバープレートの認識処理を行う方法を用いればナンバープレートの認識漏れは抑制され得るが、当該方法では認識処理の処理負荷が膨大になる。
【００４１】
このため、渋滞状態においては、画像選択部２４０は、動画像記憶部２２４に記憶されている動画像のフレームレートよりも低いフレームレート（第２のフレームレート）でフレーム画像を選択する。以下、図５を参照してこのような渋滞状態におけるフレーム画像の選択方法の具体例を説明する。
【００４２】
図５は、渋滞状態におけるフレーム画像の選択方法の具体例を示す説明図である。図５に示したフレーム画像群は、動画像記憶部２２４に記憶されている動画像を構成するフレーム画像群である。画像選択部２４０は、これらのフレーム画像群から、３０ｆｐｓ、１５ｆｐｓ、４ｆｐｓ、２ｆｐｓまたは１ｆｐｓなどのフレームレートで、等間隔にフレーム画像を選択する。図５においては、動画像記憶部２２４により選択されるフレーム画像にハッチングを付している。図５に示した例では、フレーム画像群のフレームレートが６０ｆｐｓである場合、動画像記憶部２２４により選択されるフレーム画像のフレーレートは４ｆｐｓである。
【００４３】
画像選択部２４０は、路面の混雑状態に応じて、上述した方法でフレーム画像を選択する。そして、画像選択部２４０は、通常状態および渋滞状態のいずれにおいても、選択したフレーム画像から、図２を参照して説明した車線領域Ｘを切り出す。切り出された車線領域Ｘが認識部２４８によりナンバープレートの認識処理が行われることになるので、当該切り出しは、ナンバープレートの認識処理が行われる範囲を制限する意味を持ち、結果、ナンバープレートの認識処理の負荷を軽減することが可能である。
【００４４】
（選択画像記憶部）
選択画像記憶部２４４は、画像選択部２４０により選択されたフレーム画像のうちで、画像選択部２４０により切り出された車線領域の画像を記憶する。選択画像記憶部２４４における記憶時間が一定時間に達した画像は削除されてもよいが、当該画像が削除される設定と、当該画像が削除されない設定との間で設定を変更可能であってもよい。
【００４５】
（認識部）
認識部２４８は、選択画像記憶部２４４に記憶された画像に対して、ナンバープレートの認識処理を行う。すなわち、認識部２４８は、通常状態においては、路面の動画像から車両１０が検出された最初のフレーム画像と、当該車両１０が検出された最後のフレーム画像との中間（特に、中心）の時系列位置に対応するフレーム画像に含まれる車線領域に対してナンバープレートの認識処理を行う。一方、認識部２４８は、渋滞状態においては、路面の動画像から当該動画像のフレームレートよりも低いフレームレートで選択されたフレーム画像に含まれる車線領域に対してナンバープレートの認識処理を行う。認識部２４８によるナンバープレートの認識結果は、通信部２２０から外部装置に送信される。
【００４６】
＜３．ナンバープレート認識装置の動作＞
以上、本発明の実施形態によるナンバープレート認識装置２０の構成を説明した。続いて、図６を参照し、本発明の実施形態によるナンバープレート認識装置２０の動作を整理する。
【００４７】
図６は、本発明の実施形態によるナンバープレート認識装置２０の動作を示すフローチャートである。図６に示したように、通信部２２０が路面撮像装置１６から路面の動画像の受信を開始すると、動画像記憶部２２４が通信部２２０により路面撮像装置１６から受信された路面の動画像を記憶する（Ｓ３０４）。
【００４８】
そして、車両検出部２２８が動画像を構成する各フレーム画像に対して車両１０の検出処理を行い、速度測定部２３２が車両１０の平均移動速度を算出する（Ｓ３０８）。続いて、渋滞判定部２３６が、速度測定部２３２により算出された平均移動速度に基づいて車両１０の混雑状態を判定する（Ｓ３１２）。
【００４９】
混雑状態が通常状態である場合（Ｓ３１６／通常状態）、画像選択部２４０は、車両１０が検出されたフレーム区間の中心の時系列位置に対応するフレーム画像を選択する（Ｓ３２０）。一方、混雑状態が渋滞状態である場合（Ｓ３１６／渋滞状態）、画像選択部２４０は、動画像記憶部２２４に記憶されている動画像のフレームレートよりも低いフレームレートでフレーム画像を選択する（Ｓ３２４）。Ｓ３２０の後、およびＳ３２４の後、画像選択部２４０は、選択されたフレーム画像から車線領域を切り出し、切り出された車線領域の画像を選択画像記憶部２４４が記憶する（Ｓ３２８）。
【００５０】
そして、認識部２４８が、選択画像記憶部２４４に記憶された画像に対して、ナンバープレートの認識処理を行う（Ｓ３３２）。認識部２４８によるナンバープレートの認識結果は、通信部２２０から外部装置に送信される（Ｓ３３６）。その後、路面撮像装置１６からの動画像の受信が終了するまで、Ｓ３０８〜Ｓ３３６の処理が繰り返される（Ｓ３４０）。
【００５１】
＜４．作用効果＞
以上説明した本発明の実施形態によれば、多様な作用効果が得られる。例えば、通常状態においては、ナンバープレートの認識処理のために、車両１０が検出された複数のフレーム画像のうちで最もナンバープレートの認識に適したフレーム画像を選択されるので、ナンバープレートの高精度な認識、および認識処理の負荷低減を実現することができる。また、渋滞状態においては、ナンバープレートの認識処理のために、動画像記憶部２２４に記憶されている動画像のフレームレートよりも低いフレームレートでフレーム画像を選択するので、ナンバープレートの認識漏れを抑制することが可能である。
【００５２】
＜５．変形例＞
以上、本発明の実施形態を説明した。以下では、本発明の実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。
【００５３】
（第１の変形例）
上記では、画像選択部２４０がフレーム画像から図２を参照して説明した車線領域Ｘを切り出す例を説明した。第１の変形例は、フレーム画像からの領域の切り出しに関する変形例である。以下、図７を参照して、第１の変形例の想起に至った背景を説明する。
【００５４】
図７は、渋滞状態における車両１０の走行を示す説明図である。図７に示したように、渋滞状態において、四輪車である車両１０ｖは車線内で走行する。一方、渋滞状態においては、二輪車である車両１０ｂは、車線の側部を走行して四輪車である車両１０ｖをすり抜け得る。車両１０ｖをすり抜ける二輪車のナンバープレートは、車線領域Ｘの画像からでは認識されない場合がある。
【００５５】
そこで、第１の変形例による画像選択部２４０は、通常状態においてはフレーム画像から車線領域Ｘを切り出し、渋滞状態においては車線領域Ｘに加えて車線領域Ｘの側部に対応する領域Ｙ１およびＹ２をフレーム画像から切り出す。車線領域Ｘの側部は、車線領域Ｘに隣接する他の車線領域であってもよいし、路側または路肩であってもよい。また、路肩の構成によっては、領域Ｙ１およびＹ２は、一部が車線領域Ｘと重複してもよいし、車線領域Ｘと離間して設けられてもよい。かかる構成により、渋滞状態において二輪車である車両１０ｂのナンバープレートの認識漏れを抑制することが可能である。なお、二輪車である車両１０ｂは一般的に背面にナンバープレートを有するので、第１の変形例では図７に示したように車両１０の進行方向の反対側から撮像部１８が路面を撮像する。以下、図８を参照して、第１の変形例によるナンバープレート認識装置２０の動作を整理する。
【００５６】
図８は、第１の変形例によるナンバープレート認識装置２０の動作を示すフローチャートである。Ｓ３０４〜Ｓ３１６までの処理は、図６を参照して説明したＳ３０４〜Ｓ３１６までの処理と実質的に同一であるので、Ｓ３０４〜Ｓ３１６までの処理のここでの詳細な説明は省略する。
【００５７】
混雑状態が通常状態である場合（Ｓ３１６／通常状態）、画像選択部２４０は、車両１０が検出されたフレーム区間の中心の時系列位置に対応するフレーム画像を選択する（Ｓ３２０）。そして、画像選択部２４０は、選択されたフレーム画像から車線領域を切り出し、切り出された車線領域の画像を選択画像記憶部２４４が記憶する（Ｓ３２８）。
【００５８】
一方、混雑状態が渋滞状態である場合（Ｓ３１６／渋滞状態）、画像選択部２４０は、動画像記憶部２２４に記憶されている動画像のフレームレートよりも低いフレームレートでフレーム画像を選択する（Ｓ３２４）。そして、画像選択部２４０は、選択されたフレーム画像から車線領域および側部領域を切り出し、切り出された車線領域および側部領域の画像を選択画像記憶部２４４が記憶する（Ｓ３３０）。
【００５９】
そして、認識部２４８が、選択画像記憶部２４４に記憶された画像に対して、ナンバープレートの認識処理を行う（Ｓ３３４）。認識部２４８によるナンバープレートの認識結果は、通信部２２０から外部装置に送信される（Ｓ３３６）。その後、路面撮像装置１６からの動画像の受信が終了するまで、Ｓ３０８〜Ｓ３３６の処理が繰り返される（Ｓ３４０）。
【００６０】
このような第１の変形例によれば、渋滞状態において二輪車である車両１０が車線の境界または路肩などの車線の側部を走行している場合でも、当該車両１０のナンバープレートを認識することが可能である。一方、通常状態においては、車線の側部をナンバープレートの認識処理の対象としないことにより、認識処理の処理負荷を低減することが可能である。
【００６１】
なお、上記では、車線領域および側部領域の切出しの後に車線領域および側部領域の認識処理が行われる例を説明したが、切出しと認識処理は領域ごとに順番に行われてもよい。例えば、画像選択部２４０が車線領域を切り出し、認識部２４８が車線領域に対してナンバープレートの認識処理を行った後に、画像選択部２４０が側部領域を切り出し、認識部２４８が側部領域に対してナンバープレートの認識処理を行ってもよい。反対に、画像選択部２４０が側部領域を切り出し、認識部２４８が側部領域に対してナンバープレートの認識処理を行った後に、画像選択部２４０が車線領域を切り出し、認識部２４８が車線領域に対してナンバープレートの認識処理を行ってもよい。また、領域Ｙ１およびＹ２を走行する二輪車は、比較的高速で走行していると考えられるので、渋滞状態における車線領域Ｘでのナンバープレート認識処理とは異なる認識処理を行ってもよい。例えば、通常状態における車線領域Ｘでのナンバープレート認識処理と同様に、動画像記憶部２２４に記憶されている動画像のフレームレートのような、渋滞状態の車線領域Ｘで用いるフレームレートよりも高いフレームレートで取得されたフレーム画像を用い、二輪車である車両１０ｂが検出された複数のフレーム画像のうちで最もナンバープレートの認識に適したフレーム画像を選択して認識を行う構成としてもよい。
【００６２】
（第２の変形例）
上記では、車両１０の平均移動速度に基づいて渋滞判定部２３６が路面の混雑状態を判定する例を説明した。第２の変形例は、路面の混雑状態の他の判定方法に関する。
【００６３】
例えば、通信部２２０が混雑情報を配信するサーバから混雑情報を受信し、渋滞判定部２３６は、通信部２２０により受信された混雑情報に基づいて路面の混雑状態を判定してもよい。または、路面撮像装置１６が設置された位置において渋滞が発生する曜日および時間帯などの統計データが存在する場合、当該統計データに基づき、通常状態の動作モードが有効化される第１の時間帯、および渋滞状態の動作モードが有効化される第２の時間帯が設定されてもよい。そして、渋滞判定部２３６は、第１の時間帯においては路面の混雑状態が通常状態であると判定し、第１の時間帯においては路面の混雑状態が通常状態であると判定してもよい。
【００６４】
なお、当該第２の変形例によれば、渋滞状態において、車両検出部２２８および速度測定部２３２が車両の検出処理および平均移動速度の算出処理を行わなくてもよい。このため、第２の変形例によれば、渋滞状態におけるナンバープレート認識装置２０の処理負荷を軽減することが可能である。
【００６５】
（第３の変形例）
上記では、混雑状態が通常状態および渋滞状態の２段階である例を説明した。しかし、混雑状態の段階は２段階に限定されず、例えば、混雑状態の段階は、通常状態、軽渋滞状態、および重渋滞状態など、３段階以上であってもよい。この場合、画像選択部２４０は、渋滞の程度が重いほど、低いフレームレートで動画像からフレーム画像を選択してもよい。かかる構成によれば、ナンバープレート認識装置２０の処理負荷を全体として低減することが可能である。
【００６６】
（第４の変形例）
上記では、一車線に対して本発明の実施形態を適用する例を説明したが、本発明の実施形態は複数車線に対しても適用可能である。例えば、道路に複数の撮像部１８を設け、各撮像部１８により得られた動画像を解析することにより、複数車線を対象にナンバープレートの認識処理を行うことが可能である。
【００６７】
＜６．ハードウェア構成＞
以上、本発明の各実施形態を説明した。上述した車両検出およびナンバープレートの認識などの情報処理は、ソフトウェアと、以下に説明するナンバープレート認識装置２０のハードウェアとの協働により実現される。
【００６８】
図９は、ナンバープレート認識装置２０のハードウェア構成を示したブロック図である。ナンバープレート認識装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、ナンバープレート認識装置２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインタフェース２１５とを備える。
【００６９】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってナンバープレート認識装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。これらＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、上述した車両検出部２２８、速度測定部２３２、渋滞判定部２３６、画像選択部２４０および認識部２４８などの機能が実現され得る。
【００７０】
ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【００７１】
入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサー、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。ナンバープレート認識装置２０のユーザは、該入力装置２０８を操作することにより、ナンバープレート認識装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００７２】
表示装置２０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。
【００７３】
ストレージ装置２１１は、本実施形態にかかるナンバープレート認識装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ  Ｓｔｒａｇｅ  Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。当該ストレージ装置２１１は、動画像記憶部２２４および選択画像記憶部２４４に対応する。
【００７４】
ドライブ２１２は、記憶媒体用リーダライタであり、ナンバープレート認識装置２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。
【００７５】
ネットワークインタフェース２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース２１５は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【００７６】
＜７．補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７７】
例えば、本明細書のナンバープレート認識装置２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、ナンバープレート認識装置２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００７８】
また、ナンバープレート認識装置２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述したナンバープレート認識装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【００７９】
１０  車両
１２  ネットワーク
１６  路面撮像装置
１７  支持フレーム部
１８  撮像部
２０  ナンバープレート認識装置
２２０  通信部
２２４  動画像記憶部
２２８  車両検出部
２３２  速度測定部
２３６  渋滞判定部
２４０  画像選択部
２４４  選択画像記憶部
２４８  認識部
【図１】
2020008924.tif 000003
【図２】
2020008924.tif 000004
【図３】
2020008924.tif 000005
【図４】
2020008924.tif 000006
【図５】
2020008924.tif 000007
【図６】
2020008924.tif 000008
【図７】
2020008924.tif 000009
【図８】
2020008924.tif 000010
【図９】
2020008924.tif 000011