(57)【要約】【課題】より高精度に画像フレームに含まれる認識対象を認識することを可能とする。【解決手段】撮像装置により撮像された動画像から、検出対象を含む画像フレーム群を選択する画像選択部と、前記画像フレーム群から１以上の基準フレームを選択する基準フレーム選択部と、前記基準フレームが撮像された時刻との関係が所定の条件を満たす時刻に撮像された画像フレームを前記画像フレーム群から解析フレームとして選択する解析フレーム選択部と、前記基準フレーム及び前記解析フレームにおける前記検出対象に含まれる認識対象を認識する認識部と、を備える、画像処理装置が提供される。【選択図】図２
2020052772.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された動画像から、検出対象を含む画像フレーム群を選択する画像選択部と、
前記画像フレーム群から１以上の基準フレームを選択する基準フレーム選択部と、
前記基準フレームが撮像された時刻との関係が所定の条件を満たす時刻に撮像された画像フレームを前記画像フレーム群から解析フレームとして選択する解析フレーム選択部と、
前記基準フレーム及び前記解析フレームにおける前記検出対象に含まれる認識対象を認識する認識部と、
を備える、画像処理装置。
【請求項２】
前記基準フレーム選択部は、前記画像フレーム群において、時間軸上で中央に位置する時刻に撮像された画像フレームを第１の基準フレームとして選択する、請求項１に記載の画像処理装置。
【請求項３】
前記解析フレーム選択部は、前記画像フレーム群において、前記第１の基準フレームが撮像された時刻から最も離れた時刻に撮像された画像フレームを前記解析フレームとして選択する、請求項２に記載の画像処理装置。
【請求項４】
前記基準フレーム選択部は、前記画像フレームが所定の物体を表す画像である確からしさの度合いに応じて、第２の基準フレームを選択し、
前記解析フレーム選択部は、前記第１の基準フレームに基づいて選択される前記解析フレームの候補が複数ある場合には、前記複数の候補のうち前記第２の基準フレームが撮像された時刻からより離れた時刻において撮像された候補を前記解析フレームとして選択する、
請求項３に記載の画像処理装置。
【請求項５】
前記認識部による前記認識対象の認識し易さを判定する精度判定部、を更に備え、
前記解析フレーム選択部は、前記精度判定部による判定の結果に応じて前記解析フレームを選択する、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記精度判定部は、前記認識対象におけるハレーションの有無に応じて前記認識部による前記認識対象の認識し易さを判定する、請求項５に記載の画像処理装置。
【請求項７】
前記認識対象は、前記画像フレーム群において、時間の経過とともに一定の方向に移動する、請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記認識対象は、車両のナンバープレートの画像である、請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
コンピュータに、
撮像装置により撮像された動画像から、検出対象を含む画像フレーム群を選択させ、
前記画像フレーム群から１以上の基準フレームを選択させ、
前記基準フレームが撮像された時刻との時間軸上での関係が所定の条件を満たす時刻に撮像された画像フレームを前記画像フレーム群から解析フレームとして選択させ、
前記基準フレーム及び前記解析フレームにおける前記検出対象に含まれる認識対象を認識させる、
画像処理プログラム。
【請求項１０】
動画像を撮像する撮像装置と、
前記動画像から、検出対象を含む画像フレーム群を選択する画像選択部と、
前記画像フレーム群から１以上の基準フレームを選択する基準フレーム選択部と、
前記基準フレームが撮像された時刻との時間軸上での関係が所定の条件を満たす時刻に撮像された画像フレームを前記画像フレーム群から解析フレームとして選択する解析フレーム選択部と、
前記基準フレーム及び前記解析フレームにおける前記検出対象に含まれる認識対象を認識する認識部と、
を備える、画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理プログラム及び画像処理システムに関する。
【背景技術】
【０００２】
従来、カメラにより撮像された動画像を画像処理することにより車両を検出し、当該車両が写された画像からナンバープレートの文字を認識する技術が提案されている。例えば、特許文献１には、動画像からナンバープレート等の検出対象を検出する処理において、時系列に並べられた画像フレームの中から検出処理の対象となるフレームを抜き出し、検出処理を行った画像フレーム内で同一の検出対象が２つの画像フレームで検出された場合には、その間の画像フレームに対してそれ以上検出処理を行わない技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−３１８６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、同一の検出対象が２つの画像フレームにおいて検出された段階で、当該２つの画像フレームの間の画像フレームに対して処理が行われない。しかし、特許文献１に記載の技術では、当該２つの画像フレームの質は考慮されていない。このため、検出の対象の物体が画像フレームの端に写っていたり、画像フレームの明るさやサイズなどが不適切である等、検出対象となる画像フレームがナンバープレートの文字等の認識対象の認識に適していない場合があるという問題があった。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、より高精度に画像フレームに含まれる認識対象を認識することが可能な、新規かつ改良された画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、撮像装置により撮像された動画像から、検出対象を含む画像フレーム群を選択する画像選択部と、前記画像フレーム群から１以上の基準フレームを選択する基準フレーム選択部と、前記基準フレームが撮像された時刻との関係が所定の条件を満たす時刻に撮像された画像フレームを前記画像フレーム群から解析フレームとして選択する解析フレーム選択部と、前記基準フレーム及び前記解析フレームにおける前記検出対象に含まれる認識対象を認識する認識部と、を備える、画像処理装置が提供される。
【０００７】
前記基準フレーム選択部は、前記画像フレーム群において、時間軸上で中央に位置する時刻に撮像された画像フレームを第１の基準フレームとして選択してもよい。
【０００８】
前記解析フレーム選択部は、前記画像フレーム群において、前記第１の基準フレームが撮像された時刻から最も離れた時刻に撮像された画像フレームを前記解析フレームとして選択してもよい。
【０００９】
前記基準フレーム選択部は、前記画像フレームが所定の物体を表す確からしさの度合いに応じて、第２の基準フレームを選択し、前記解析フレーム選択部は、前記第１の基準フレームに基づいて選択される前記解析フレームの候補が複数ある場合には、前記複数の候補のうち前記第２の基準フレームが撮像された時刻からより離れた時刻において撮像された候補を前記解析フレームとして選択してもよい。
【００１０】
前記画像処理装置は、前記認識部による前記認識対象の認識し易さを判定する精度判定部、を更に備え、前記解析フレーム選択部は、前記精度判定部による判定の結果に応じて前記解析フレームを選択してもよい。
【００１１】
前記精度判定部は、前記認識対象におけるハレーションの有無に応じて前記認識部による前記認識対象の認識し易さを判定してもよい。
【００１２】
前記認識対象は、前記画像フレーム群において、時間の経過とともに一定の方向に移動してもよい。
【００１３】
前記認識対象は、車両のナンバープレートの画像であってもよい。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、撮像装置により撮像された動画像から、検出対象を含む画像フレーム群を選択させ、前記画像フレーム群から１以上の基準フレームを選択させ、前記基準フレームが撮像された時刻との時間軸上での関係が所定の条件を満たす時刻に撮像された画像フレームを前記画像フレーム群から解析フレームとして選択させ、前記基準フレーム及び前記解析フレームにおける前記検出対象に含まれる認識対象を認識させる、画像処理プログラムが提供される。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、動画像を撮像する撮像装置と、前記動画像から、検出対象を含む画像フレーム群を選択する画像選択部と、前記画像フレーム群から１以上の基準フレームを選択する基準フレーム選択部と、前記基準フレームが撮像された時刻との時間軸上での関係が所定の条件を満たす時刻に撮像された画像フレームを前記画像フレーム群から解析フレームとして選択する解析フレーム選択部と、前記基準フレーム及び前記解析フレームにおける前記検出対象に含まれる認識対象を認識する認識部と、を備える、画像処理システムが提供される。
【発明の効果】
【００１６】
以上説明したように本発明によれば、より高精度に画像フレームに含まれる認識対象を認識することが可能になる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る画像処理システム１を示す図である。
【図２】第１の実施形態に係る画像処理装置２１の構成を示すブロック図である。
【図３】フレーム選択部２１０が基準フレーム及び解析フレームを選択する方法の一例を示す図である。
【図４】フレーム選択部２１０が基準フレーム及び解析フレームを選択する効果について説明するための図である。
【図５】第１の実施形態に係る画像処理装置２１が実施する処理例を示すフローチャートである。
【図６】第２の実施形態に係る画像処理装置２２の構成を示すブロック図である。
【図７】フレーム選択部５０２及び認識部５０６が基準フレーム及び解析フレームを選択する方法について説明するための図である。
【図８】第２の実施形態に係る画像処理装置２２が実施する処理の一例について説明する。
【図９】第２の実施形態における解析フレーム選択部２１４が解析フレームを選択する方法を示すフローチャートである。
【図１０】認識部５０６が解析フレームに対して実施する認識処理を示すフローチャートである。
【図１１】第１の変形例に係る画像処理装置２３の構成を示すブロック図である。
【図１２】画像処理装置２３が実施する認識処理を示すフローチャートである。
【図１３】画像処理装置２３が実施する統計処理を示すフローチャートである。
【図１４】第２の変形例に係る画像処理装置２４の構成を示すブロック図である。
【図１５】第２の変形例に係る画像処理装置２４が実施する処理を示すフローチャートである。
【図１６】画像処理装置２０のハードウェア構成を示したブロック図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
＜１．画像処理システムの概要＞
まず、図１を用いて本発明の一実施形態に係る画像処理システム１について説明する。図１は、本発明の一実施形態に係る画像処理システム１を示す図である。画像処理システム１は、撮像装置１０と画像処理装置２０とを備える。撮像装置１０と画像処理装置２０は、ネットワーク１５を介して接続されている。
【００２０】
（撮像装置）
撮像装置１０は、動画像を撮像する機能を有する。図１では、撮像装置１０は、検出対象となる車両１００のナンバープレート（以下、「ＮＰ」ともいう。）を撮像する。撮像装置１０は、撮像した動画像を画像処理装置２０に送信する。なお、図１では、撮像装置１０は、車両１００の後方のナンバープレートを撮像しているが、これに限らず、車両１００の前方のナンバープレートを撮像してもよい。
【００２１】
（画像処理装置）
画像処理装置２０は、撮像装置１０が撮像した動画像に含まれる認識対象を認識する機能を有する。本発明の一実施形態では、認識対象は車両１００のナンバープレートである。なお、図１では、画像処理装置２０は撮像装置１０とネットワークを介して接続されているが、これに限らず、画像処理装置２０は撮像装置１０とケーブル等により接続されていてもよい。さらに、画像処理装置２０は、撮像装置１０の内部に設けられていてもよい。
【００２２】
＜２．第１の実施形態＞
以下、図２〜図５を用いて、本発明の一実施形態である第１の実施形態について説明する。
【００２３】
＜＜２．１．画像処理装置の構成＞＞
まず、第１の実施形態に係る画像処理装置２１について説明する。図２は、第１の実施形態に係る画像処理装置２１の構成を示すブロック図である。
【００２４】
画像処理装置２１は、撮像装置１０により撮像された動画像から検出対象を含む画像フレーム群を選択し、当該画像フレーム群から１以上の基準フレームを選択する機能を有する。ここで、検出対象は、所定の物体を表す画像である。所定の物体は、例えば車両であってもよいし、工場のラインで運ばれる物品等であってもよいが、本実施形態では、所定の物体は車両である。
【００２５】
また、画像処理装置２１は、基準フレームが撮像された時刻との関係が所定の条件を満たす時刻に撮像された画像フレームを前記画像フレーム群から解析フレームとして選択する機能を有する。さらに、画像処理装置２１は、基準フレーム及び解析フレームにおける検出対象に含まれる認識対象を認識する機能を有する。これらの機能は、画像処理装置２１が備える取得部２０２、車両検出部２０４、車両判定部２０６、画像記憶部２０８、フレーム選択部２１０、認識部２１６、統合部２２６、及び出力部２２８により実現される。以下、画像処理装置２１が備える各機能部について説明する。
【００２６】
取得部２０２は、撮像装置１０が撮像した動画像を画像フレームとして撮像装置１０から取得する機能を有する。取得部２０２は、当該画像フレームを車両検出部２０４に伝達する。
【００２７】
車両検出部２０４は、取得部２０２から伝達された画像フレームに含まれる車両を検出する機能を有する。さらに、車両検出部２０４は、画像フレームに含まれる車両の車種、位置等の各種の車両情報を検出してもよい。また、車両検出部２０４は、検出された車両に対して固有のＩＤ（Identification）を付与してもよい。
【００２８】
車両検出部２０４は、例えば、オプティカルフロー等を用いた公知の画像処理技術により、当該画像フレームから車両を検出してもよい。また、車両検出部２０４は、当該画像フレームに対して、ニューラルネットワークなどの機械学習の方式を用いて車両を検出してもよい。車両検出部２０４は、当該画像フレーム及び車両検出部２０４が検出した車両情報を車両判定部２０６及び画像記憶部２０８に伝達する。
【００２９】
車両判定部２０６は、複数の画像フレームに含まれる車両が同一の車両であるか否かを判定する機能を有する。例えば、車両判定部２０６は、時間軸上で連続する時刻で撮像された２つの画像フレームに含まれる車両が同一であるか否かを判定してもよい。車両判定部２０６は、判定の結果をフレーム選択部２１０に伝達する。
【００３０】
画像記憶部２０８は、車両検出部２０４から伝達された画像フレームと、車両検出部２０４が検出した画像フレームに含まれる車両の情報を記憶する機能を有する。画像記憶部２０８により記憶された情報は、フレーム選択部２１０に伝達される。
【００３１】
フレーム選択部２１０は、画像記憶部２０８に記憶された複数の画像フレームから、検出対象を含む画像フレーム群を選択し、当該画像フレーム群から１以上の基準フレームを選択する機能を有する。さらに、フレーム選択部２１０は、基準フレームが撮像された時刻との関係が所定の条件を満たす時刻に撮像された画像フレームを当該画像フレーム群から解析フレームとして選択する機能を有する。これらのフレーム選択部２１０が有する機能は、フレーム選択部２１０が備える画像選択部２１１、基準フレーム選択部２１２、及び解析フレーム選択部２１４により実現される。以下、フレーム選択部２１０が備える各機能部について説明する。
【００３２】
画像選択部２１１は、車両判定部２０６が判定した結果に基づいて、画像記憶部２０８に記憶された複数の画像フレームから画像フレーム群を選択する機能を有する。より具体的には、画像選択部２１１は、同一の車両が含まれる複数の画像フレームを画像フレーム群として選択し得る。なお、同一の車両が写された複数の画像フレームの全てを画像フレーム群として選択する必要はなく、画像選択部２１１は、同一の車両が写された複数の画像フレームから例えば１枚置きに画像フレームを間引いて画像フレーム群を選択してもよい。
【００３３】
基準フレーム選択部２１２は、画像選択部２１１が選択した画像フレーム群から１以上の基準フレームを選択する機能を有する。例えば、基準フレーム選択部２１２は、画像フレーム群において、時間軸上で中央に位置する時刻に撮像された画像フレームを第１の基準フレームとして選択してもよい。当該第１の基準フレームでは、画像フレームの中央付近に認識対象が写されている可能性が高いため、認識部２１６は、当該第１の基準フレームにおける認識対象を認識しやすい場合がある。
【００３４】
さらに、基準フレーム選択部２１２は、画像フレームが車両を表す画像である確からしさの度合いに応じて第２の基準フレームを選択する。例えば、基準フレーム選択部２１２は、機械学習アルゴリズムに基づいて構築されたニューラルネットワークを用いて、画像フレームが車両を表す画像である確からしさの度合いを算出する。基準フレーム選択部２１２は、当該算出された度合いが最も高い画像フレームを第２の基準フレームとして選択してもよい。高い当該度合いを有する画像フレームには文字認識に適したナンバープレートが写されている可能性が高いため、認識部２１６がナンバープレートの認識をより高精度に実施することができるようになる。
【００３５】
解析フレーム選択部２１４は、基準フレームが撮像された時刻との関係が所定の条件を満たす時刻で撮像された画像フレームを画像フレーム群から解析フレームとして選択する機能を有する。例えば、解析フレーム選択部２１４は、画像フレーム群において、第１の基準フレームが撮像された時刻から最も離れた時刻に撮像された画像フレームを解析フレームとして選択してもよい。さらに、解析フレーム選択部２１４は、第１の基準フレームに基づいて選択される解析フレームの候補が複数ある場合には、当該複数の候補のうち第２の基準フレームが撮像された時刻からより離れた時刻に撮像された候補を解析フレームとして選択してもよい。
【００３６】
ここで、フレーム選択部２１０が基準フレーム及び解析フレームを選択する方法の一例について図３を用いて説明する。図３には、画像選択部２１１が選択した画像フレーム群の３つの例として、左から順に画像フレーム群３０２、３０６、及び３１０が示されている。
【００３７】
画像フレーム群３０２、３０６、及び３１０は、それぞれ複数の画像フレーム３０４、３０８、及び３１２で構成されている。なお、画像フレーム群に付された符号における数字の後のアルファベットは、互いに区別しないときは省略されている。画像フレーム３０４、３０８、及び３１２の各々の左側には番号が付されており、当該番号は、各々の画像フレーム群３０２、３０６、及び３１０において、画像フレームが撮像された順番に対応している。
【００３８】
まず、画像フレーム群３０２を用いて、フレーム選択部２１０が基準フレーム及び解析フレームを選択する方法の第１の例について説明する。まず、基準フレーム選択部２１２は、９枚の画像フレーム３０４のうち、時間軸上で中央に位置する時刻に撮像された５番の画像フレーム３０４ｂを第１の基準フレームとして選択する。さらに、基準フレーム選択部２１２は、画像フレーム群３０２において、車両を表す画像である確からしさの度合いが最も高い画像フレーム３０４ｃを第２の基準フレームとして選択する。次に、解析フレーム選択部２１４は、第１の基準フレームが撮像された時刻から最も離れた時刻に撮像された画像フレーム３０４ａ及び３０４ｄを解析フレームの候補として選択する。さらに、解析フレーム選択部２１４は、解析フレームの候補のうち、第２の基準フレームである画像フレーム３０４ｃが撮像された時刻からより遠い時刻において撮像された解析フレームの候補である画像フレーム３０４ａを解析フレームとして選択する。このようにして、基準フレーム及び解析フレームが選択される。
【００３９】
次に、画像フレーム群３０６を用いて、フレーム選択部２１０が基準フレーム及び解析フレームを選択する方法の第２の例について説明する。まず、基準フレーム選択部２１２は、９枚の画像フレーム３０８のうち、時間軸上で中央に位置する時刻に撮像された５番の画像フレーム３０８ｃを第１の基準フレームとして選択する。このとき、画像フレーム群３０６において、車両を表す画像である確からしさの度合いが最も高い画像フレームは、第１の基準フレームである画像フレーム３０８ｃである。この場合、基準フレーム選択部２１２は、画像フレーム群３０６において、当該度合いが２番目に高い画像フレーム３０８ｂを第２の基準フレームとして選択する。次に、解析フレーム選択部２１４は、第１の基準フレームが撮像された時刻から最も離れた時刻に撮像された画像フレーム３０８ａ及び３０８ｄを解析フレームの候補として選択する。さらに、解析フレーム選択部２１４は、解析フレームの候補のうち、第２の基準フレームである画像フレーム３０８ｂが撮像された時刻からより遠い時刻において撮像された解析フレームの候補である画像フレーム３０８ｄを解析フレームとして選択する。
【００４０】
次に、画像フレーム群３１０を用いて、フレーム選択部２１０が基準フレーム及び解析フレームを選択する方法の第３の例について説明する。第１及び第２の例では、画像フレーム群を構成する画像フレームの数は奇数の９枚であった。第３の例では、画像フレーム群３１０を構成する画像フレーム３１２の数が偶数の８枚である。このため、８枚の画像フレーム３１２のうち、時間軸上で中央に位置する時刻に撮像された画像フレームは画像フレーム３１２ｂ及び３１２ｃの２枚である。基準フレーム選択部２１２は、画像フレーム３１２ｂ及び３１２ｃのどちらの画像フレームも第１の基準フレームとして選択し得るが、ここでは基準フレーム選択部２１２は画像フレーム３１２ｃを第１の基準フレームとして選択する。さらに、基準フレーム選択部２１２は、画像フレーム群３１０において、車両を表す画像である確からしさの度合いが最も高い画像フレーム３１２ｂを第２の基準フレームとして選択する。次に、解析フレーム選択部２１４は、第１の基準フレームが撮像された時刻から最も離れた時刻に撮像された画像フレーム３１２ａを解析フレームとして選択する。
【００４１】
以上、フレーム選択部２１０が基準フレーム及び解析フレームを選択する方法の例を説明した。なお、図３に示した画像フレーム群を構成する画像フレームの数は９枚又は８枚であるが、これに限らず、画像フレーム群を構成する画像フレームの数は７枚以下であってもよいし、１０枚以上であってもよい。
【００４２】
ここで、図３に示したようにフレーム選択部２１０が基準フレーム及び解析フレームを選択する効果について図４を用いて説明する。図４には検出対象である車両４０１が写された画像フレーム３０４が時系列で並べられている。画像フレーム３０４の左側に付された番号は、図３における画像フレーム３０４の左側に付された番号に対応している。また、画像フレーム３０４の右側には、各々の画像フレーム３０４に写された車両４０１のナンバープレート４０２を拡大した画像４０４が示されている。
【００４３】
画像フレーム３０４を見ると、時刻が経過するとともに、車両４０１の位置は、画像フレーム３０４における上側に移動している。車両４０１の移動に伴い、車両４０１の後方のナンバープレート４０２の位置も画像フレーム３０４内において上側に移動する。
【００４４】
画像４０４におけるナンバープレート４０２には、ハレーション４０８が生じている。当該ハレーション４０８は、例えば、撮像装置１０が撮像するために照射した光が車両のナンバープレートに反射されることにより発生する。このため、車両の位置が移動すると、撮像装置１０が照射した光がナンバープレートにおいて反射される位置も移動する。例えば、図４におけるナンバープレート４０２ａでは、ハレーション４０８ａの位置は、Ｘの文字の直ぐ下側に位置している。一方、画像フレーム３０４ｂが撮像された時刻におけるナンバープレート４０２ｂでは、ハレーション４０８ｂの位置がＸの文字に重なっている。さらに、画像フレーム３０４ｃが撮像された時刻におけるナンバープレート４０２ｄでは、ハレーション４０８ｄの位置はＸの文字の直ぐ上側に位置している。このように、時刻が進むにつれて、ナンバープレート４０２におけるハレーション４０８の位置が移動する。
【００４５】
ナンバープレート４０２ｂでは上述のようにハレーション４０８ｂがＸの文字に重なっているのに対して、ナンバープレート４０２ａ又は４０２ｄではハレーション４０８ａ又は４０８ｄがＸの文字から外れた場所に位置している。このため、画像フレーム３０４ａ又は３０４ｄは、ナンバープレート４０２ａ又は４０２ｄを認識するのに適した画像フレームであることがいえる。
【００４６】
一般的に、画像フレーム群における時間軸上で中央に位置する時刻に撮像された画像フレームでは、画像フレームにおける中央にナンバープレートが位置する場合が多いため、画像フレーム３０４ｂではナンバープレートの認識処理に適している場合が多い。しかし、図４を用いて説明したように、ハレーションの影響により、画像フレーム３０４ｂがナンバープレート４０２ｂの文字認識に適さない画像フレームである場合がある。このような場合であっても、画像フレーム３０４ｂが撮像された時刻から最も離れた時刻に撮像された画像フレーム３０４ａ又は３０４ｄにおけるナンバープレート４０２ａ又は４０２ｄの文字認識を追加的に実施することにより、高精度のナンバープレートの文字認識を実施することができる。
【００４７】
以上、フレーム選択部２１０が図３を用いて説明した方法により基準フレーム及び解析フレームを選択する効果について説明した。
【００４８】
フレーム選択部２１０は、選択された基準フレーム及び解析フレームを認識部２１６に伝達する。また、フレーム選択部２１０は、統合部２２６に対して認識部２１６が認識した結果を統合するように指示する。
【００４９】
認識部２１６は、基準フレーム及び解析フレームにおける認識対象を認識し、当該認識された結果を記憶する機能を有する。認識部２１６が有する機能は、認識部２１６が備える認識対象検出部２１８、画像変換部２２０、文字認識部２２２、及び結果記憶部２２４により実現される。以下、認識部２１６が備える各機能部について説明する。
【００５０】
認識対象検出部２１８は、基準フレーム及び解析フレームにおける認識対象が含まれる画像領域を検出する機能を有する。より具体的には、認識対象検出部２１８は、基準フレーム及び解析フレームにおけるナンバープレートの画像領域を検出するナンバープレート検出処理を実施する機能を有する。例えば、認識対象検出部２１８は、公知のエッジ検出技術により、ナンバープレート検出処理を実施してもよい。また、認識対象検出部２１８は、機械学習アルゴリズムに基づいて生成されたニューラルネットワークを用いてナンバープレート検出処理を実施してもよい。認識対象検出部２１８は、ナンバープレート検出処理が実施された画像フレームを画像変換部２２０に伝達する。
【００５１】
画像変換部２２０は、認識対象検出部２１８によりナンバープレート検出処理を実施された基準フレーム及び解析フレームにおける、ナンバープレートが検出された画像領域の状態を変換する画像変換処理を実施する機能を有する。例えば、画像変換部２２０は、ナンバープレートが検出された画像領域に対して、公知の３次元フィッティング技術により基準フレーム及び解析フレームにおけるナンバープレートの４箇所の角を認識する。さらに、画像変換部２２０は、当該画像領域に対して既知のナンバープレートの形状に合わせるようにアフィン変換処理を実施することにより、画像領域におけるナンバープレートを正面に向かせる。画像変換部２００により画像変換処理を実施された基準フレーム及び解析フレームは、文字認識部２２２に伝達される。
【００５２】
文字認識部２２２は、画像フレームにおける画像変換処理された画像領域に対して、ナンバープレートの文字を認識する文字認識処理を実施する機能を有する。文字認識部２２２は、例えば、ナンバープレートに含まれる各々の文字を機械学習アルゴリズムに基づいて生成されたニューラルネットワークを用いて文字認識処理を実施してもよい。文字認識部２２２が文字認識処理を実施した結果は、当該文字認識処理を実施された画像フレームと対応付けて結果記憶部２２４に伝達される。
【００５３】
結果記憶部２２４は、文字認識部２２２が実施した文字認識処理の結果を記憶する機能を有する。結果記憶部２２４が記憶した情報は、統合部２２６に伝達される。
【００５４】
統合部２２６は、結果記憶部２２４が記憶した基準フレーム及び解析フレームの文字認識の結果に基づいて、統合処理を実施する機能を有する。より具体的には、統合部２２６は、文字認識部２２２が実施した文字認識処理の結果に基づいて、画像フレームに写された車両のナンバープレートの文字を決定する機能を有する。統合部２２６は、例えば、基準フレーム及び解析フレームの文字認識結果の多数決をとることにより、ナンバープレートの文字を決定してもよい。また、統合部２２６は、画像フレームにおけるナンバープレートの位置に基づいて、文字認識結果に重みづけを行い、重みの大きい文字認識結果を採用して、ナンバープレートも文字を決定してもよい。また、統合部２２６は、画像フレーム群において時間軸上で中央に近い時刻に撮像された画像フレームに対応する文字認識結果ほど大きな重みづけをしてもよい。一般的に、画像フレームの中心に位置しているナンバープレートの方が、画像フレームの端の方に位置しているナンバープレートよりも文字認識処理が容易である。統合部２２６が決定したナンバープレートの文字の情報は、当該決定されたナンバープレートの文字に対応する車両と対応付けられて出力部２２８に伝達される。
【００５５】
出力部２２８は、統合部２２６が決定したナンバープレートの文字の情報を例えば外部の表示装置（図示しない。）に出力する機能を有する。ナンバープレートの文字の情報は、当該ナンバープレートに対応する車両の情報と共に、表示装置などに出力され得る。これにより、ユーザーは、検出対象の車両におけるナンバープレートの文字を認識することができる。
【００５６】
以上、第１の実施形態に係る画像処理装置２１の構成について説明した。
【００５７】
＜＜２．２．処理例＞＞
次に、第１の実施形態に係る画像処理装置２１の処理例について説明する。以下、図５に示すフローチャートに沿って、第１の実施形態に係る画像処理装置２１が実施する処理例について説明する。なお、図５に示す処理は、撮像装置１０が動画像を撮像している間繰り返し実施される。
【００５８】
まず、取得部２０２が、撮像装置１０から画像フレームを取得する（ステップＳ１０１）。取得された画像フレームは、車両検出部２０４に伝達される。
【００５９】
次に、車両検出部２０４が、画像フレームに含まれる車両を検出し、車両情報を取得する（ステップＳ１０３）。次に、車両検出部２０４が、車両が検出されたか否かを判定する（ステップＳ１０５）。車両が検出されなかったことが判定された場合（ステップＳ１０５：Ｎｏ）、図５の処理は終了する。車両が検出されたことが判定された場合（ステップＳ１０５：Ｙｅｓ）、車両検出部２０４は、検出結果を車両判定部２０６に伝達する。さらに、車両検出部２０４は、車両情報と共に、当該車両情報に対応する画像フレームを画像記憶部２０８に伝達する。
【００６０】
車両が検出されたことが判定されると（ステップＳ１０５：Ｙｅｓ）、画像記憶部２０８が伝達された情報を記憶する（ステップＳ１０７）と、ステップＳ１０９に進む。
【００６１】
次に、車両判定部２０６が、検出された車両が前回の画像フレームに含まれる車両と異なるか否かを判定する（ステップＳ１０９）。検出された車両が前回の画像フレームに含まれる車両と同一である場合（ステップＳ１０９：Ｎｏ）、図５の処理は終了する。一方、検出された車両が前回の画像フレームに含まれる車両と異なる場合（ステップＳ１０９：Ｙｅｓ）、ステップＳ１１０に進む。
【００６２】
次に、画像選択部２１１が、画像フレーム群を画像記憶部２０８に記憶された画像フレームから選択する（ステップＳ１１０）。より具体的には、画像選択部２１１は、前回検出された車両と同一の車両が含まれる画像フレームを画像フレーム群として選択する。
【００６３】
次に、基準フレーム選択部２１２は、画像フレーム群から基準フレームを選択する（ステップＳ１１１）。基準フレーム選択部２１２は、例えば、画像フレーム群において、時間軸上で中央に位置する時刻に撮像された画像フレームを第１の基準フレームとして選択する。さらに、基準フレーム選択部２１２は、車両を表す画像である確からしさの度合いが最も高い画像フレームを第２の基準フレームとして選択する。
【００６４】
次に、解析フレーム選択部２１４は、解析フレームを選択する（ステップＳ１１３）。より具体的には、解析フレーム選択部２１４は、画像フレーム群３０２において、第１の基準フレームが撮像された時刻から最も遠い時刻に撮像された画像フレームを解析フレームの候補として選択する。さらに、解析フレーム選択部２１４は、当該解析フレームの候補が２枚ある場合には、当該候補のうち第２の基準フレームが撮像された時刻からより離れた時刻に撮像された候補を解析フレームとして選択する。
【００６５】
次に、認識対象検出部２１８が、基準フレーム又は解析フレームにおける認識対象であるナンバープレートを含む画像領域を検出する（ステップＳ１１５）。次に、画像変換部２２０が、検出された画像領域に対して、画像フレームにおけるナンバープレートが正面を向くように、画像変換処理を行う（ステップＳ１１７）。さらに、文字認識部２２２が、画像変換処理を施された画像におけるナンバープレートの文字を認識する（ステップＳ１１９）。文字認識された結果は結果記憶部２２４に伝達され、結果記憶部２２４が当該結果を記憶する。
【００６６】
次に、認識対象検出部２１８が、基準フレーム又は解析フレームの中にナンバープレート検出処理が未処理の画像フレームがあるか否かを判定する（ステップＳ１２１）。未処理の画像フレームがある場合（ステップＳ１２１：Ｎｏ）、ステップＳ１１５に戻り、ステップＳ１１５〜ステップＳ１２１の処理が再度実施される。未処理の画像フレームが無い場合（ステップＳ１２１：Ｙｅｓ）、ステップＳ１２３に進む。
【００６７】
次に、統合部２２６が、結果記憶部２２４が記憶した情報に基づいて、画像フレームに写された車両のナンバープレートの文字を決定する（ステップＳ１２３）。第１の実施形態では、統合部２２６は、基準フレーム及び解析フレームの文字認識結果の多数決をとることにより、ナンバープレートの文字を決定する。
【００６８】
次に、出力部２２８は、統合部２２６が決定したナンバープレートの文字の情報と共に当該ナンバープレートに対応する車両の情報を画像処理装置２１の外部の表示装置に出力する（ステップＳ１２５）。これにより、ユーザーは、表示装置を確認することにより、検出対象となった車両のナンバープレートを認識することができる。
【００６９】
以上、第１の実施形態に係る画像処理装置２１の処理例について説明した。第１の実施形態では、解析フレーム選択部２１４が、画像フレーム群において、第１の基準フレームである画像フレームが撮像された時刻から最も離れた時刻に撮像された画像フレームを解析フレームの候補として選択した。さらに、解析フレーム選択部２１４は、解析フレームの候補のうち、第２の基準フレームである画像フレームが撮像された時刻からより遠い時刻に撮像された候補を解析フレームとして選択した。図４を用いて説明したように、画像フレームにおけるハレーションの位置は、画像フレームが撮像された時刻に応じて異なる。このため、第１の基準フレーム及び第２の基準フレームにおけるナンバープレートの文字にハレーションが生じていても、解析フレームにおけるナンバープレートの文字にハレーションが発生していない可能性がある。このため、文字認識部２２２は、第１の基準フレーム、第２の基準フレーム、及び解析フレームの文字認識処理を実施することにより、高い精度でナンバープレートの文字を認識することができる。さらに、認識部２１６は画像フレーム群のうちの一部の画像フレームである基準フレーム及び解析フレームのみを認識処理すればよいので、認識部２１６がナンバープレートの文字を認識するための処理にかかる消費電力が低減される。
【００７０】
＜３．第２の実施形態＞
次に、本発明の一実施形態である第２の実施形態について説明する。
【００７１】
＜＜３．１．画像処理装置の構成＞＞
図６を用いて、第２の実施形態に係る画像処理装置２２の構成について説明する。ここでは、特に図２に示した画像処理装置２１と画像処理装置２２とで異なる構成について説明し、画像処理装置２１と画像処理装置２２とで共通する構成については省略する。
【００７２】
画像処理装置２２は、第１の実施形態における画像処理装置２１に比べて、認識部５０６に精度判定部５１０が追加されている。画像処理装置２２は、画像処理装置２１が有する機能に加えて、画像フレームにおける認識対象の認識し易さの度合いを判定し、当該判定の結果に応じて、解析フレームを選択する機能を有する。より具体的には、画像処理装置２２は、画像フレームにおけるナンバープレートにハレーションが発生しているか否かに応じて、解析フレームを選択する機能を有する。当該機能は、精度判定部５１０を備える認識部５１６及びフレーム選択部５０２により実現される。
【００７３】
ここで、第２の実施形態に係る画像処理装置２２が備える精度判定部５１０について説明する。精度判定部５１０は、画像フレームにおける認識対象の認識し易さを判定する機能を有する。例えば、画像フレームにおけるナンバープレートの明るさ、コントラスト、大きさ、画像フレームが撮像された時刻と画像フレーム群における時間軸上の中央との距離等が認識対象の認識し易さに影響を与える。また、ナンバープレートに雨、雪、影、又はハレーション等のナンバープレートの認識の妨害となる画像が写ると、文字認識部２２２が当該ナンバープレートの文字を認識しづらくなる。つまり、ナンバープレートに上記のようなナンバープレートの認識の妨害となる画像が写っていない認識対象ほど、文字認識部２２２は文字認識をし易くなる。第２の実施形態では、精度判定部５１０は、ナンバープレートにハレーションが発生していない場合に、ナンバープレートが認識し易いと判定する。
【００７４】
精度判定部５１０は、解析フレーム選択部５０４が選択し解析フレームにおけるナンバープレートの認識し易さに応じて、解析フレーム選択部５０４に新たな解析フレームを選択するように指示する。より具体的には、精度判定部５１０は、解析フレームにおけるナンバープレートにハレーションが発生している場合に、解析フレーム選択部５０４に新たな解析フレームを選択するように指示する。また、精度判定部５１０は、ナンバープレートにハレーションが発生している解析フレームについては、文字認識部２２２に当該解析フレームを伝達しなくてもよい。
【００７５】
ここで、精度判定部５１０が画像フレームにおけるハレーションの有無を判定する方法について説明する。ここではハレーションの形状は一例として円形であると仮定する。まず、精度判定部５１０は、画像変換部５０８により画像変換された画像フレームにおいて、ハレーションの中心位置を示す輝度の領域を検出する。次に、精度判定部５１０は、当該領域を中心として、標準偏差σの異なる複数のＤｏＧ（Difference  of  Gaussian）フィルタをかける。標準偏差σの値とハレーションの円の半径が近いほど、Ｄｏｇフィルタの応答値が高くなる。従って、精度判定部５１０は、Ｄｏｇフィルタの応答値を検出することで、ハレーションの有無と、当該ハレーションの半径を検知することができる。一方、ナンバープレートにハレーションが存在していない場合には、ハレーションの中心位置を示す輝度の領域が検出されない、又は検出されたとしても当該領域が円形の広がりを持たないため、Ｄｏｇフィルタの応答値はハレーションが存在している場合に比べて低くなる。従って、精度判定部５１０は、応答値に閾値で判定することにより、ハレーションの有無を判定することができる。なお、精度判定部５１０は、ハレーションの有無のみでなく、ハレーションの度合いを判定してもよい。ハレーションの度合いは、例えば、ハレーションと判定された領域の面積に応じて決定され得る。
【００７６】
ここで、図７を用いて、フレーム選択部５０２及び認識部５０６が基準フレーム及び解析フレームを選択する方法について説明する。図７には、画像選択部２１１が選択した画像フレーム群の３つの例として、左から順に画像フレーム群６０２、６０６、及び６１０が示されている。
【００７７】
まず、フレーム選択部５０２及び認識部５０６が基準フレーム及び解析フレームを選択する第１の方法について、画像フレーム群６０２を用いて説明する。画像フレーム群６０２は、図３において示した画像フレーム群３０２を構成する画像フレーム３０４と同様の画像フレーム６０４で構成されている。さらに、基準フレーム選択部２１２が、図３における画像フレーム群３０２を用いて説明した基準フレーム選択部２１２が基準フレームを選択する方法と同様にして、基準フレーム選択部２１２が第１の基準フレーム６０４ｂ及び第２の基準フレーム６０４ｃを選択する。
【００７８】
次に、解析フレーム選択部５０４が第１の基準フレーム６０４ｂが撮像された時刻から最も遠い時刻に撮像された画像フレーム６０４ａ及び６０４ｄを解析フレームの候補とする。さらに、解析フレーム選択部５０４は、解析フレームの候補のうち、第２の基準フレーム６０４ｃが撮像された時刻からより遠い時刻に撮像された画像フレーム６０４ａを解析フレームの第１候補とする。さらに、解析フレーム選択部５０４は、画像フレーム６０４ｄを解析フレームの第２候補とする。解析フレーム選択部５０４は、まず、解析フレームの第１候補である画像フレーム６０４ａを解析フレームとして選択する。
【００７９】
解析フレーム選択部５０４が解析フレームを選択すると、当該解析フレームは、解析フレーム選択部５０４から認識対象検出部２１８に伝達される。当該解析フレームは、認識対象検出部２１８によりナンバープレート検出処理され、画像変換部５０８により画像変換処理され、精度判定部５１０に伝達される。精度判定部５１０は、画像変換処理された解析フレームにおけるナンバープレートにハレーションが発生しているか否かを判定する。当該ナンバープレートにハレーションが発生していない場合には、解析フレームは文字認識部２２２に伝達され、文字認識部２２２が解析フレームに対して文字認識処理する。一方、ハレーションが当該ナンバープレートに発生している場合には、精度判定部５１０は、解析フレーム選択部５０４に新たな解析フレームを選択するように指示する。
【００８０】
すると、解析フレーム選択部５０４は、解析フレームの第２候補を解析フレームとして選択する。以下、当該解析フレームについても認識部５０６においてナンバープレート検出処理及び画像変換処理が実施される。当該解析フレームにおいて精度判定部５１０によりナンバープレートにハレーションが発生していないと判定されると、当該解析フレームについては文字認識される。一方、当該解析フレームにおいて精度判定部５１０によりナンバープレートにハレーションが発生していないと判定されると、当該解析フレームについて文字認識されない。従って、解析フレーム選択部５０４が選択した解析フレームの第１候補及び第２候補のいずれについても文字認識されない。
【００８１】
次に、フレーム選択部５０２及び認識部５０６が基準フレーム及び解析フレームを選択する第２の方法について、画像フレーム群６０６を用いて説明する。画像フレーム群６０６は、図３において示した画像フレーム群３０６を構成する画像フレーム３０８と同様の画像フレーム６０８で構成されている。さらに、基準フレーム選択部２１２が、図３における画像フレーム群３０６を用いて説明した基準フレーム選択部２１２が基準フレームを選択する方法と同様にして、基準フレーム選択部２１２が第１の基準フレーム６０８ｃ及び第２の基準フレーム６０８ｂを選択する。
【００８２】
次に、解析フレーム選択部５０４が第１の基準フレーム６０８ｃが撮像された時刻から最も遠い時刻に撮像された画像フレーム６０８ａ及び６０８ｄを解析フレームの候補とする。さらに、解析フレーム選択部５０４は、解析フレームの候補のうち、第２の基準フレーム６０８ｂが撮像された時刻からより遠い時刻に撮像された画像フレーム６０８ｄを解析フレームの第１候補とする。さらに、解析フレーム選択部５０４は、画像フレーム６０８ａを解析フレームの第２候補とする。解析フレーム選択部５０４が解析フレームの候補を選択すると、以下、第１の方法と同様にして、解析フレーム選択部５０４及び認識部５０６は、解析フレームの第１候補及び第２候補を処理する。
【００８３】
次に、フレーム選択部５０２及び認識部５０６が基準フレーム及び解析フレームを選択する第３の方法について、画像フレーム群６１０を用いて説明する。画像フレーム群６１０は、図３において示した画像フレーム群３１０を構成する画像フレーム３１２と同様の画像フレーム６１２で構成されている。さらに、基準フレーム選択部２１２が、図３における画像フレーム群３１０を用いて説明した基準フレーム選択部２１２が基準フレームを選択する方法と同様にして、基準フレーム選択部２１２が第１の基準フレーム６１２ｃ及び第２の基準フレーム６０８ｂを選択する。
【００８４】
次に、解析フレーム選択部５０４が第１の基準フレーム６１２ｃが撮像された時刻から最も遠い時刻に撮像された画像フレーム６１２ａを解析フレームの候補とする。さらに、解析フレーム選択部５０４は、第１の基準フレーム６１２ｃが撮像された時刻から２番目に遠い時刻に撮像された画像フレームのうち、第２の基準フレームである画像フレーム６１２が撮像された時刻からより遠い時刻に撮像された画像フレーム６１２を解析フレームの第２候補として選択する。解析フレーム選択部５０４が解析フレームの候補を選択すると、以下、第１の方法と同様にして、解析フレーム選択部５０４及び認識部５０６は、解析フレームの第１候補及び第２候補を処理する。
【００８５】
以上、第２の実施形態におけるフレーム選択部５０２及び認識部５０６が基準フレーム及び解析フレームを選択する方法の例について説明した。なお、ここでは、解析フレーム選択部５０４は、解析フレームの候補を２枚選択したが、これに限らず、解析フレームの候補を３枚以上選択してもよい。例えば、解析フレーム選択部５０４は、画像フレーム群６１０において、画像フレーム６１２ａ及び６１２ｄを除いて、第１の基準フレーム６１２ｃが撮像された時刻から最も遠い時刻に撮像された２番の画像フレームを解析フレームの第３候補として選択し得る。
【００８６】
＜＜３．２．処理例＞＞
以下、図８〜図１０に示すフローチャートに沿って、第２の実施形態に係る画像処理装置２２が実施する処理の一例について説明する。図８示す処理は、撮像装置１０が動画像を撮像している間繰り返し実施される。
【００８７】
ステップＳ２０１〜ステップＳ２１１における処理は、図５におけるステップＳ１０１〜ステップＳ１１１における処理と実質的に同じであるため、説明を省略する。
【００８８】
ステップＳ２１１の処理が終了すると、次に、解析フレーム選択部２１４は、解析フレームを選択する（ステップＳ２１３）。ステップＳ２１３における解析フレーム選択部２１４が解析フレームを選択する方法について、図９に示すフローチャートに沿って説明する。
【００８９】
まず、解析フレーム選択部５０４は、画像フレーム群において、第１の基準フレームが撮像された時刻から最も遠い時刻に撮像された画像フレームを解析フレームの候補として選択する（ステップＳ２１５）。なお、解析フレーム選択部５０４は、選択済みの状態になっている画像フレームは、解析フレームの候補から除外する。
【００９０】
解析フレームの候補が２枚である場合（ステップＳ２１７：Ｙｅｓ）、解析フレーム選択部５０４は、第２の基準フレームが撮像された時刻からより遠い時刻に撮像された解析フレームの候補を解析フレームとして選択する（ステップＳ２１９）。一方、解析フレームの候補が１枚である場合（ステップＳ２１７：Ｎｏ）、解析フレーム選択部５０４は、解析フレームの候補を解析フレームとして選択する（ステップＳ２２１）。
【００９１】
解析フレーム選択部５０４が解析フレームを選択すると、ステップＳ２２３に進み、解析フレーム選択部５０４は、当該解析フレームを選択済みの状態にする。解析フレームが選択済みの状態になると、図９の処理は終了する。
【００９２】
以上、解析フレーム選択部５０４が解析フレームを選択する方法について説明した。図９の処理が終了すると、図８におけるステップＳ２１３の処理が終了する。
【００９３】
次に、認識部５０６が、基準フレームに対して認識処理を実施する（ステップＳ２２５）。まず、認識対象検出部２１８が、基準フレームにおける認識対象であるナンバープレートを含む画像領域を検出する。次に、画像変換部５０８が、検出された画像領域に対して、ナンバープレートが正面を向くように、基準フレームに対して画像変換処理を行う。さらに、文字認識部２２２が、画像変換処理を施された画像におけるナンバープレートの文字を認識する。文字が認識された結果は結果記憶部２２４に伝達され、結果記憶部２２４は当該結果を記憶する。
【００９４】
次に、認識部５０６が、解析フレームに対して認識処理を実施する（ステップＳ２２７）。より具体的には、図１０に示す処理が実施される。以下、図１０に示すフローチャートに沿って、ステップＳ２２７における処理について説明する。
【００９５】
まず、認識部５０６が、解析フレームに対してナンバープレート検出処理及び画像変換処理を実施する（ステップＳ２２９）。
【００９６】
次に、精度判定部５１０が、解析フレームにおけるナンバープレートにハレーションが発生しているか否かを判定する（ステップＳ２３１）。ハレーションが発生していることが判定された場合（ステップＳ２３１：Ｙｅｓ）、ステップＳ２３３に進む。一方、ハレーションが発生していないことが判定された場合（ステップＳ２３１：Ｎｏ）、ステップＳ２３５に進む。以下、ステップＳ２３１においてＹｅｓと判定された場合の処理について説明した後、Ｎｏと判定された場合の処理について説明する。
【００９７】
ステップＳ２３１においてＹｅｓと判定された場合、精度判定部５１０は、精度判定部５１０が記憶しているカウンタの値を１上げる（ステップＳ２３３）。次に、精度判定部５１０は、カウンタの値が閾値以下であるか否かを判定する（ステップＳ２３７）。カウンタ値が閾値以下である場合（Ｓ２３７：Ｙｅｓ）、ステップＳ２３９に進む。カウンタ値が閾値より高い場合（Ｓ２３７：Ｎｏ）、図１０の処理は終了する。
【００９８】
ステップＳ２３７においてＹｅｓと判定された場合、精度判定部５１０の指示により、解析フレーム選択部５０４が解析フレームを新たに選択する（ステップＳ２３９）。より具体的には、図９を用いて説明した処理と実質的に同様の処理により、解析フレーム選択部５０４は、解析フレームを新たに選択する。解析フレーム選択部５０４が解析フレームを新たに選択すると、ステップＳ２２９に戻る。
【００９９】
次に、ステップＳ２３１においてＮｏと判定された場合について説明する。解析フレームにおけるナンバープレートにハレーションが発生していない場合（ステップＳ２３１：Ｎｏ）には、文字認識部２２２は、当該解析フレームに対して文字認識処理する（ステップＳ２３５）。文字認識処理が実施された結果は、結果記憶部２２４に記憶され、図１０の処理は終了する。
【０１００】
図１０の処理が終了すると、フレーム選択部５０２は、統合部２２６に統合処理を実施するように指示し、図１０におけるステップＳ２２７の処理が終了し、図８におけるステップＳ２４１に進む。
【０１０１】
ステップＳ２４１及びステップＳ２４３における処理は、図５に示したステップＳ１２３及びステップＳ１２５における処理と実質的に同様の処理であるため、説明を省略する。ステップＳ２４３の処理が終了すると、図８の処理が終了する。
【０１０２】
以上、第２の実施形態に係る画像処理装置２２が実施する処理について説明した。第２の実施形態では、解析フレームにおけるナンバープレートにハレーションが発生している場合には、新たな解析フレームが選択される。これにより、認識部５０６は、解析フレームに対して精度良く文字認識を実施することができる。また、新たな解析フレームが選択される回数は精度判定部５１０が記憶する閾値により制限されるため、フレーム選択部５０２や認識部５０６が実施する処理の負担が低減される。
【０１０３】
＜４．第１の変形例＞
次に、本発明の一実施形態に係る第１の変形例について説明する。
【０１０４】
＜＜４．１．画像処理装置の構成＞＞
まず、第１の変形例に係る画像処理装置２３の構成について説明する。図１１は、第１の変形例に係る画像処理装置２３の構成を示すブロック図である。第１の変形例に係る画像処理装置２３は、第２の実施形態に係る画像処理装置２２が有する機能に加えて、画像フレームにおけるハレーションの発生位置の統計情報を算出して、当該統計処理に基づいて解析フレームを選択する機能を有する。画像処理装置２３に加えられた機能は、画像処理装置２３が備える統計処理部７２４及び処理制御部７３０により実現される。以下、画像処理装置２３に追加された各機能部について説明する。
【０１０５】
まず、処理制御部７３０について説明する。処理制御部７３０は、画像処理装置２３が認識処理又は統計処理のどちらの処理を実施するのかを決定する機能を有する。例えば、処理制御部７３０は、フレーム選択部７０６から認識処理を実施するように指示を受けた場合に、認識対象検出部７１４に基準フレーム、解析フレーム及び認識処理フラグを伝達する。認識処理フラグが認識対象検出部７１４に伝達されることにより、認識部７１２は、基準フレーム及び解析フレームの認識処理を実施する。
【０１０６】
また、処理制御部７３０は、内部にタイマーを備えている。処理制御部７３０は、当該タイマーを用いて車両検出部２０４により最後に車両が検出された時刻から所定の時間が経過することを判定した場合に、画像記憶部７０４から同一のＩＤを有する車両が写された画像フレームを取得する。さらに、処理制御部７３０は、当該画像フレームとともに、画像フレームにおける車両の位置情報、当該画像フレームが撮像された時刻及び統計処理フラグを伝達する。これにより、認識部７１２及び統計処理部７２４が統計処理を実施する。また、当該統計処理は、車両が所定時間検出されない場合に実施されるため、認識処理と統計処理とが異なる時間に実施されるようになる。このため、画像処理装置２３が認識処理又は統計処理等の各種の演算処理を実施するための負担が低減される。
【０１０７】
次に、統計処理部７２４について説明する。統計処理部７２４は、精度判定部７１８から取得したハレーションの有無及び位置等の情報に基づいて、画像フレームにおけるハレーションの位置の統計情報を算出し、当該統計情報を記憶する機能を有する。なお、第１の変形例における精度判定部７１８は、画像フレームのナンバープレートにおけるハレーションの有無の判定のみでなく、画像フレームにおけるハレーションの位置を検出する機能も有している。統計処理部７２４が有する機能は、統計処理部７２４が備える統計情報算出部７２６及び統計情報記憶部７２８により実現される。
【０１０８】
統計情報算出部７２６は、精度判定部７１８から取得した情報に基づいて、過去の所定の時間での画像フレームにおける、ハレーションの位置と頻度を表す統計情報を算出する機能を有する。ここで、過去の所定の時間は、統計情報算出部７２６が統計情報を算出する時刻から当該時刻の例えば１時間程度前までの間の時間であり得る。統計情報算出部７２６が算出した統計情報は、統計情報記憶部７２８に記憶される。統計情報記憶部７２８に記憶された統計情報は、フレーム選択部７０６に伝達される。解析フレーム選択部７１０は、当該統計情報に基づいて、解析フレームを選択する。例えば、解析フレーム選択部７１０は、当該統計情報に基づいて、最もナンバープレートにハレーションが発生する確率が低い画像フレームを解析フレームとして選択し得る。また、解析フレーム選択部７１０は、当該統計情報に基づいて、ナンバープレートにハレーションが発生していないことが推定される画像フレームを解析フレームとして選択し得る。
【０１０９】
＜＜４．２．処理例＞＞
以下、図１２及び図１３を用いて、第１の変形例に係る画像処理装置２３が実施する処理例について説明する。図１２は、画像処理装置２３が実施する認識処理を示すフローチャートである。一方、図１３は、画像処理装置２３が実施する統計処理を示すフローチャートである。
【０１１０】
まず、図１２に示すフローチャートに沿って、第１の変形例に係る画像処理装置２３が実施する処理例について説明する。図１２に示す処理は、撮像装置１０が撮像をし続ける間繰り返し実施され得る。
【０１１１】
ステップＳ３０１及びステップＳ３０３における処理は、図５で示したステップＳ１０１及びステップＳ１０３における処理と実質的に同じ処理であるため、説明を省略する。
【０１１２】
ステップＳ３０１の処理が終了すると、車両検出部２０４が、車両が検出されたか否かを判定する（ステップＳ３０５）。車両が検出されなかったことが判定された場合（ステップＳ３０５：Ｎｏ）、図１２の処理は終了する。車両が検出されたことが判定された場合（ステップＳ３０５：Ｙｅｓ）、車両検出部２０４は、車両が検出されたことを表す情報を処理制御部７３０に伝達し、処理制御部７３０はタイマーをリセットする（ステップＳ３０７）。
【０１１３】
次に、車両検出部２０４は検出された車両の情報及び当該車両に対応する画像フレームを画像記憶部７０４に伝達し、画像記憶部７０４は車両検出部２０４から伝達されたこれらの情報を記憶し（ステップＳ３０９）、ステップＳ３１１に進む。
【０１１４】
ステップＳ３１１〜Ｓ３１３における処理は、図５で示したステップＳ１０９〜Ｓ１１１と実質的に同一の処理であるため、ここでは説明を省略する。ステップＳ３１３の処理が終了すると、ステップＳ３１５に進む。
【０１１５】
次に、解析フレーム選択部７１０は、画像フレーム群から解析フレームを選択する（ステップＳ３１５）。より具体的には、解析フレーム選択部７１０は、統計情報記憶部７２８から取得した統計情報に基づいて、解析フレームを選択する。例えば、解析フレーム選択部７１０は、当該統計情報に基づいて、画像フレーム群において、ハレーションが発生していないと推定される画像フレームを解析フレームとして選択し得る。
【０１１６】
ステップＳ３１３及びＳ３１５において選択された基準フレーム及び解析フレームは、画像記憶部７０４からフレーム選択部７０６を介して、処理制御部７３０に伝達される。処理制御部７３０は、基準フレーム、解析フレーム及び認識処理フラグを認識対象検出部７１４に伝達する。これにより、基準フレーム及び解析フレームに対して、認識部７１２により、以下のステップＳ３１７〜Ｓ３２１において認識処理が実施される。
【０１１７】
まず、認識対象検出部７１４が、基準フレーム及び解析フレームにおける認識対象であるナンバープレートを含む画像領域を検出する（ステップＳ３１７）。次に、画像変換部７１６が、検出された画像領域に対して、画像フレームにおけるナンバープレートが正面を向くように、画像変換処理を行う（ステップＳ３１９）。さらに、文字認識部７２０が、画像変換処理を施された画像におけるナンバープレートの文字を認識する（ステップＳ３２１）。文字認識された結果は結果記憶部７２２に伝達され、結果記憶部２２４は当該結果を記憶する。
【０１１８】
次に、認識対象検出部７１４が、基準フレーム及び解析フレームの中にナンバープレート検出処理が未処理の画像フレームがあるか否かを判定する（ステップＳ３２３）。未処理の画像フレームがある場合（ステップＳ３２３：Ｎｏ）、ステップＳ３１７に戻り、ステップＳ３１７〜ステップＳ３２１の処理が再度実施される。未処理の画像フレームが無い場合（ステップＳ３２３：Ｙｅｓ）、ステップＳ３２５に進む。このとき、フレーム選択部７０６から統合部７３２に統合処理を実施するように、実施命令が通知される。
【０１１９】
ステップＳ３２５及びＳ３２７における処理は、図５に示したステップＳ１２３及びＳ１２５と実質的に同一の処理であるため、ここでは説明を省略する。ステップＳ327の処理が終了すると、図１２の処理は終了する。
【０１２０】
以上、第１の変形例に係る画像処理装置２３が実施する認識処理について、図１２を用いて説明した。次に、画像処理装置２３が実施する統計処理について、図１３に示すフローチャートに沿って説明する。図１３に示す処理は、処理制御部７３０が、所定の時間、車両検出部２０４により車両が検出されていないことを判定したときに開始される。
【０１２１】
まず、処理制御部７３０が、画像記憶部７０４から同一の車両のＩＤを有する車両が写された複数の画像フレームを取得する（ステップＳ４０１）。処理制御部７３０は、取得した画像フレームとともに、統計処理フラグを認識対象検出部７１４に伝達する。これにより、認識部７１２及び統計処理部７２４により、統計処理が実施されるようになる。
【０１２２】
次に、認識対象検出部７１４が、ステップＳ４０１で取得された画像フレームにおけるナンバープレートを含む画像領域を検出する（ステップＳ４０３）。次に、画像変換部７１６が、検出された画像領域に対して、画像フレームにおけるナンバープレートが正面を向くように、画像変換処理を行う（ステップＳ４０５）。
【０１２３】
次に、精度判定部７１８が、画像変換処理を施された画像フレームにおけるナンバープレートにハレーションが発生しているか否かを判定する（ステップＳ４０７）。精度判定部７１８が判定した結果及び当該判定の対象となる車両情報は、統計情報算出部７２６に伝達される。
【０１２４】
次に、認識対象検出部７１４が、ステップＳ４０１で取得された画像フレームの中にナンバープレート検出処理が未処理の画像フレームがあるか否かを判定する（ステップＳ４０９）。未処理の画像フレームがある場合（ステップＳ４０９：Ｎｏ）、ステップＳ４０１に戻り、ステップＳ４０３〜ステップＳ４０９の処理が再度実施される。未処理の画像フレームが無い場合（ステップＳ４０９：Ｙｅｓ）、ステップＳ４１１に進む。
【０１２５】
次に、統計情報算出部７２６は、精度判定部７１８が判定したハレーションの有無及び車両情報に基づいて、ハレーションの発生状況の統計情報を算出する。例えば、統計情報算出部７２６は、画像フレームにおけるナンバープレートの位置とハレーションの有無を関係づける統計情報を算出する。算出された統計情報は、統計情報記憶部７２８に記憶される。なお、当該統計情報は、解析フレーム選択部７１０が解析フレームを選択するために用いられる。統計情報記憶部７２８が当該統計情報を記憶すると、図１３の処理は終了する。
【０１２６】
以上、画像処理装置２３が統計処理を実施する方法について説明した。
【０１２７】
第１の変形例では、画像処理装置２３は、統計情報に基づいて解析フレームを選択する。このため、画像処理装置２３は、精度よく、解析フレームにおけるナンバープレートの文字認識を実施することができる。さらに、画像処理装置２３は、車両が所定の期間検出されない場合に統計処理を実施するため、負担の小さい処理で当該統計処理を実施することができる。
【０１２８】
＜５．第２の変形例＞
次に、本発明の一実施形態の第２の変形例について説明する。第２の変形例に係る画像処理装置２４は、撮像装置１０から取得した画像フレームにおけるナンバープレートにハレーションが存在しない場合に文字認識処理を実施する。また、第２の変形例では、第１及び第２の実施形態、又は第１の変形例と異なり、基準フレーム及び解析フレームの選択が実施されない。
【０１２９】
＜＜５．１．画像処理装置の構成＞＞
図１４は、第２の変形例に係る画像処理装置２４の構成を示すブロック図である。画像処理装置２４の構成は、第２の実施形態に係る画像処理装置２２の構成とは、フレーム選択部５０２及び画像記憶部２０８を備えない点で異なる。
【０１３０】
また、第２の変形例に係る画像処理装置２４は、第２の実施形態に係る画像処理装置２２とは、情報が伝達について、以下の点で異なる。例えば、第２の実施形態に係る統合部２２６はフレーム選択部５０２の指示に基づいて統合処理を実施するのに対し、第２の変形例に係る統合部８１６は車両判定部８０２の指示に基づいて統合処理を実施する。また、第２の実施形態に係る認識対象検出部２１８はフレーム選択部５０２から取得した基準フレーム及び解析フレームに対してナンバープレート検出処理を実施するのに対し、第２の変形例に係る認識対象検出部８０６は車両検出部２０４から取得した画像フレームに対してナンバープレート検出処理を実施する。
【０１３１】
＜＜５．２．処理例＞＞
以下、第２の変形例に係る画像処理装置２４が実施する処理について、図１５に示すフローチャートに沿って説明する。なお、図１５に示す処理は、撮像装置１０が動画像を撮像している間繰り返し実施される。
【０１３２】
まず、取得部２０２が、撮像装置１０から画像フレームを取得する（ステップＳ５０１）。取得された画像フレームは、車両検出部２０４に伝達される。次に、車両検出部２０４が、画像フレームに含まれる車両を検出する（ステップＳ５０３）。
【０１３３】
次に、車両検出部２０４が、車両が検出されたか否かを判定する（ステップＳ５０５）。車両が検出されなかったことが判定された場合（ステップＳ５０５：Ｎｏ）、図１５の処理は終了する。車両が検出されたことが判定された場合（ステップＳ５０５：Ｙｅｓ）、車両検出部２０４は、検出結果を車両判定部８０２に伝達する。さらに、車両検出部２０４は、当該画像フレームを認識対象検出部８０６に伝達する。
【０１３４】
次に、車両判定部８０２が、検出された車両が前回の画像フレームに含まれる車両と異なるか否かを判定する（ステップＳ５０７）。検出された車両が前回の画像フレームに含まれる車両と同一である場合（ステップＳ５０７：Ｎｏ）、ステップＳ５１３に進む。一方、検出された車両が前回の画像フレームに含まれる車両と異なる場合（ステップＳ５０７：Ｙｅｓ）、ステップＳ５０９に進む。この場合、車両判定部８０２は、統合部８１６に統合処理を実施するように指示する。
【０１３５】
ステップＳ５０７においてＹｅｓと判定されると、統合部８１６が、結果記憶部８１４が記憶した基準フレーム及び解析フレームの文字認識の結果に基づいて、統合処理を実施する（ステップＳ５０９）。より具体的には、統合部８１６は、結果記憶部８１４に記憶された同一の車両についてのナンバープレートの複数の文字認識結果に基づいて、当該車両のナンバープレートの文字を決定する。例えば、統合部８１６は、基準フレーム及び解析フレームの文字認識結果の多数決をとることにより、ナンバープレートの文字を決定する。
【０１３６】
次に、出力部８１８は、統合部８１６が決定したナンバープレートの文字の情報を画像処理装置２４の外部の表示装置に出力する（ステップＳ５１１）。これにより、ユーザーは、表示装置を確認することにより、検出対象となった車両のナンバープレートを認識することができる。
【０１３７】
次に、認識対象検出部８０６が、車両検出部２０４から伝達された画像フレームにおけるナンバープレートを含む画像領域を検出する（ステップＳ５１３）。次に、画像変換部８０８が、検出された画像領域に対して、画像フレームにおけるナンバープレートが正面を向くように、画像変換処理を行う（ステップＳ５１５）。
【０１３８】
次に、精度判定部８１０が、画像変換処理を施された画像フレームにおけるナンバープレートにハレーションが発生しているか否かを判定する（ステップＳ５１７）。ハレーションが発生していない場合（ステップＳ５１７：Ｙｅｓ）、ステップＳ５１９に進む。一方、ハレーションが発生している場合（ステップＳ５１７：Ｎｏ）、図１５の処理は終了する。
【０１３９】
ステップＳ５１７においてＹｅｓと判定されると、文字認識部８１２が、画像変換処理を施された画像フレームにおけるナンバープレートの文字認識処理を実施する（ステップＳ５１９）。文字認識処理された結果は結果記憶部８１４に伝達され、結果記憶部８１４は当該結果を記憶する（ステップＳ５２１）。結果記憶部８１４が文字認識処理の結果を記憶すると、図１５に示す処理は終了する。
【０１４０】
以上、第２の変形例に係る画像処理装置２４が実施する処理について説明した。第２の実施形態では、画像フレームにおけるナンバープレートにハレーションが発生している場合（ステップＳ５１７：Ｎｏ）には、当該画像フレームについては文字認識処理が実施されない。従って、文字認識部８１２は、ナンバープレートにハレーションが発生していない画像フレームのみについて文字認識処理を実施することができるため、文字認識部８１２は精度よくナンバープレートの文字を認識することができる。
【０１４１】
なお、第２の変形例では、ナンバープレートにハレーションが発生しているか否かに応じて、文字認識部８１２が当該ナンバープレートの文字認識処理を実施するか否かが決定された。これに限らず、ナンバープレートにおけるハレーションの度合いに応じて、文字認識部８１２が当該ナンバープレートの文字認識処理を実施するか否かが決定されてもよい。ハレーションの度合いは、例えば、画像フレームにおいてハレーションと判定された領域の面積に基づいて決定されてもよい。
【０１４２】
＜６．ハードウェア構成＞
以上、本発明の実施形態を説明した。上述した基準フレーム及び解析フレームの選択および認識処理などの処理は、ソフトウェアと、以下に説明する画像処理装置２０のハードウェアとの協働により実現される。
【０１４３】
図１６は、画像処理装置２０のハードウェア構成を示したブロック図である。画像処理装置２０は、プロセッサ９０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、を備える。また、画像処理装置２０は、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、表示装置９０９と、音声出力装置９１０と、ストレージ装置（ＨＤＤ）９１１と、ドライブ９１２と、ネットワークインタフェース９１４とを備えることができる。
【０１４４】
プロセッサ９０１は、演算処理装置及び制御装置として機能し、各種プログラムに従って画像処理装置２０内の動作全般を制御する。また、プロセッサ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、プロセッサ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、プロセッサ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはホストバス９０４により相互に接続されている。プロセッサ９０１、ＲＯＭ９０２及びＲＡＭ９０３とソフトウェアとの協働により、車両検出部２０４、車両判定部２０６、フレーム選択部２１０、認識部２１６、及び統合部２２６などの機能が実現され得る。
【０１４５】
ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５及び外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１４６】
入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサー、スイッチ及びレバーなどメンバーが情報を入力するための入力手段と、メンバーによる入力に基づいて入力信号を生成し、プロセッサ９０１に出力する入力制御回路などから構成され得る。該入力装置９０８を操作することにより、画像処理装置２０に対して各種のデータを入力したり、処理動作を指示することもできる。
【０１４７】
表示装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置及びランプなどの表示装置を含む。また、音声出力装置９１０は、スピーカー及びヘッドホンなどの音声出力装置を含む。
【０１４８】
ストレージ装置９１１は、本実施形態にかかる画像記憶部２０８の記憶部の一例として構成されたデータ記憶用の装置である。ストレージ装置９１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９１１は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔｒａｇｅ  Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置９１１は、ストレージを駆動し、プロセッサ９０１が実行するプログラムや各種データを記憶する。
【０１４９】
ドライブ９１２は、記憶媒体用リーダライタであり、画像処理装置２０に内蔵、あるいは外付けされる。ドライブ９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９１３に記録されている情報を読み出して、ＲＡＭ９０３またはストレージ装置９１１に出力する。また、ドライブ９１２は、リムーバブル記憶媒体９１３に情報を書き込むこともできる。
【０１５０】
ネットワークインタフェース９１４は、例えば、ネットワーク１５に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース９１４は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応端末であっても、有線による通信を行うワイヤー端末であってもよい。
【０１５１】
＜７．補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１５２】
例えば、上記実施形態では、検出対象を車両、認識対象を車両のナンバープレートとしたが、本発明はかかる例に限定されない。例えば、検出対象を工場等で搬送される物品、認識対象を当該物品に付されるラベル等にしてもよい。当該検出対象は、画像フレーム群において、時間の経過とともに一定の方向に移動する物体であってもよい。この場合、本発明の一実施形態のように、検出対象に含まれる認識対象の認識のし易さが検出対象の移動とともに変化するため、基準フレームが撮像された時刻から離れた時刻に撮像された画像フレームを解析フレームとすることにより、精度よく認識対象を認識できる。
【０１５３】
また、本明細書の画像処理装置の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像処理装置の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１５４】
また、第１、第２の実施形態及び第１の変形例に係る基準フレーム選択部２１２、７０８は、第１及び第２の基準フレームを選択した。これに限らず、基準フレーム選択部２１２、７０８は、第１の基準フレーム又は第２の基準フレームに相当する画像フレームのうちのいずれかのみを基準フレームとして選択してもよい。この場合、解析フレーム選択部２１４、５０４、７１０は、画像フレーム群において、当該基準フレームが撮像された時刻から最も遠い時刻に撮像された画像フレームを解析フレームとして選択する。この場合にも、解析フレームの候補が２枚ある場合には、解析フレーム選択部２１４、５０４、７１０は、当該２枚の候補のうちの少なくともいずれか一方を解析フレームとして選択し得る。このように、第１の基準フレーム又は第２の基準フレームに相当する画像フレームのうちのいずれかのみが基準フレームとして選択される場合であっても、認識部２１６、５０６、７１２は、時間軸上で互いに離れた時刻で撮像された当該基準フレーム及び解析フレームに対して認識処理を実施することができる。例えば当該基準フレームにおけるナンバープレートにハレーションが発生している場合には、解析フレームにおけるナンバープレートにハレーションが発生していない可能性が高い。このため、認識部２１６、５０６、７１２は、高精度に認識処理を実施することができる。
【０１５５】
また、画像処理装置に内蔵されるプロセッサ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した画像処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【０１５６】
１０                              撮像装置
２０、２１、２２、２３、２４      画像処理装置
２０４                            車両検出部
２０６、７０２                    車両判定部
２１１、７０７                    画像選択部
２１２、７０８                    基準フレーム選択部
２１４、５０４、７１０            解析フレーム選択部
２１６、５０６、７１２、８０４    認識部
５１０、７１８                    精度判定部
２２２、７２０                    文字認識部
【図１】
2020052772.tif 000003
【図２】
2020052772.tif 000004
【図３】
2020052772.tif 000005
【図４】
2020052772.tif 000006
【図５】
2020052772.tif 000007
【図６】
2020052772.tif 000008
【図７】
2020052772.tif 000009
【図８】
2020052772.tif 000010
【図９】
2020052772.tif 000011
【図１０】
2020052772.tif 000012
【図１１】
2020052772.tif 000013
【図１２】
2020052772.tif 000014
【図１３】
2020052772.tif 000015
【図１４】
2020052772.tif 000016
【図１５】
2020052772.tif 000017
【図１６】
2020052772.tif 000018