(57)【特許請求の範囲】
【請求項１】
車両の所定方向を撮影した画像から特定画像領域を特定する際の検証用の正解データを生成する画像処理装置であって、
画素単位のテンプレートの大きさ及びフレーム中のテンプレートの位置の推定結果を取得する第１の取得手段と、
前記第１の取得手段により取得された推定結果で条件を拘束し、フレーム間で時系列データとして推定結果を取得する第２の取得手段と、を有し、
前記第２の取得手段で取得した推定結果に基づいて特定画像領域を特定することを特徴とする画像処理装置。
【請求項２】
前記第１の取得手段は、
画素単位の大きさの異なる複数のテンプレートのうち、１のテンプレートを用いてフレームに対してマッチング処理を行った場合のマッチング度と、他のテンプレートを用いて前記フレームに対してマッチング処理を行った場合のマッチング度との差が、所定の閾値以上であり、かつ、該１のテンプレートを用いて前記フレームに対してマッチング処理を行った場合のマッチング度が、該他のテンプレートを用いて前記フレームに対してマッチング処理を行った場合のマッチング度よりも大きい場合に、該１のテンプレートの大きさ及びフレーム中の該１のテンプレートの位置の推定結果を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の取得手段は、
前記１のテンプレートを用いて前記フレームに対してマッチング処理を行った場合のマッチング度が、前記１のテンプレートを用いて他のフレームに対してマッチング処理を行った場合のマッチング度より大きい場合に、前記１のテンプレートの大きさ及びフレーム中の前記１のテンプレートの位置の推定結果を取得することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
車両の所定方向を撮影した画像から特定画像領域を特定する際の検証用の正解データを生成する画像処理方法であって、
画素単位のテンプレートの大きさ及びフレーム中のテンプレートの位置の推定結果を取得する１次評価と、１次評価結果で条件を拘束し、フレーム間で時系列データとして推定結果を取得する２次評価の２段階で特定画像領域を特定する、
処理をコンピュータが実行することを特徴とする画像処理方法。
【請求項５】
画素単位のテンプレートの大きさ及びフレーム中のテンプレートの位置の推定結果を取得する１次評価と、１次評価結果で条件を拘束し、フレーム間で時系列データとして推定結果を取得する２次評価の２段階で特定画像領域を特定した検証用の正解データを用いて、車両の所定方向を撮影した画像から特定した特定画像領域を検証対象として評価する、
処理をコンピュータが実行することを特徴とする評価方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び評価方法に関する。
【背景技術】
【０００２】
従来より、車両にカメラを搭載し、前方車両等の物標を撮影することで得られた画像情報から、所定の物標を認識する認識システムが知られており、車両の走行制御等に用いられている。
【０００３】
このような認識システムについての認識性能の検証は、例えば、所定の物標についての正解データ（所定の物標の領域を示す正解データ）を予め用意しておき、認識システムにおける認識結果（認識した物標の領域を示すデータ）と比較することで行う。
【０００４】
ここで、認識性能の検証を正しく行うにあたっては、画像情報に含まれる各フレームについて高精度な正解データを用意しておくことが求められる。正解データを抽出する方法としては、物標を表すテンプレート画像とのマッチング処理を行い、各フレームにおいてテンプレート画像がマッチングする位置を算出し、算出した位置に応じた領域（マッチング領域）を特定する方法が挙げられる。上記の方法によれば、例えば、倍率の異なる複数のテンプレート画像を用いてマッチング処理を行うことで、物標までの距離がフレームごとに異なる場合であっても、それぞれのフレームに応じたテンプレート画像を用いてマッチング領域を特定することができる。この結果、物標までの距離が異なるフレームにおいて、正解データを抽出することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１１３１５８号公報
【特許文献２】国際公開第２００８／１１４６８３号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記方法の場合、各フレーム中において、物標がサブピクセルレベルの微小な移動やサイズ変化をしていた場合には、物標の正しい領域が認識できず、誤った領域をマッチング領域として特定してしまう。この場合、誤った正解データが抽出されることとなり、認識性能の検証を正しく行うことができない。
【０００７】
一つの側面では、微小な移動及びサイズ変化を行う物標に対して、高精度な位置特定を実現することを目的としている。
【課題を解決するための手段】
【０００８】
一態様によれば、車両の所定方向を撮影した画像から特定画像領域を特定する際の検証用の正解データを生成する画像処理方法であって、画素単位のテンプレートの大きさ及びフレーム中のテンプレートの位置の推定結果を取得する１次評価と、１次評価結果で条件を拘束し、フレーム間で時系列データとして推定結果を取得する２次評価の２段階で特定画像領域を特定する、処理をコンピュータが実行することを特徴とする。
【発明の効果】
【０００９】
微小な移動及びサイズ変化を行う物標に対して、高精度な位置特定を実現できる。
【図面の簡単な説明】
【００１０】
【図１】認識性能検証システムの全体構成の一例を示す図である。
【図２】認識システムの機能構成の一例を示す図である。
【図３】性能検証装置の機能を説明するための図である。
【図４】正解生成装置のハードウェア構成の一例を示す図である。
【図５】正解生成装置の機能構成の一例を示す図である。
【図６】画像追跡部の機能構成の一例を示す図である。
【図７】正解情報生成処理のフローチャートである。
【図８】テンプレート生成処理のフローチャートである。
【図９】テンプレート情報の一例を示す図である。
【図１０】マッチング処理のフローチャートである。
【図１１】マッチング処理を説明するための図である。
【図１２】マッチング結果情報の一例を示す図である。
【図１３】極大フレーム算出処理のフローチャートである。
【図１４】極大フレーム算出処理を説明するための図である。
【図１５】極大フレーム算出結果の具体例を示す図である。
【図１６】継続判定処理のフローチャートである。
【図１７】極大フレーム間算出処理のフローチャートである。
【図１８】極大フレーム間算出処理結果の具体例を示す図である。
【図１９】マッチング処理において、誤ったマッチング結果が得られる原因を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１２】
［第１の実施形態］
はじめに、車両に搭載される認識システムの認識性能を検証するための認識性能検証システムの全体構成について説明する。図１は、認識性能検証システムの全体構成の一例を示す図である。
【００１３】
図１に示すように、認識性能検証システム１００は、車両１１０と、格納装置１２０と、正解生成装置１３０と、性能検証装置１４０とを有する。
【００１４】
車両１１０は、認識システム１１１を搭載する。認識システム１１１は、車両１１０の所定方向（例えば、前方）の物標（例えば、前方車両）を撮影し、画像情報から前方車両を認識し、運転者への警告や、車両の走行制御を行う。
【００１５】
なお、物標とは、車両に限定されず、人物や動物、建物等の画像から特定可能な物体であればよい。また、上記の車両は、例えば、乗用車、バス、トラック、電車等であるが、これに限定されるものではなく、飛行機や船等でもよい。また、車両１１０の前方とは、例えば車両１１０本体の前方向でもよく、進行方向（例えば、車両１１０がバックしている場合の後方）であってもよい。
【００１６】
認識システム１１１により得られた画像情報は、格納装置１２０の画像情報格納部１２１に格納される。また、認識システム１１１により認識された前方車両についての認識結果は、認識結果格納部１１２に格納される。
【００１７】
格納装置１２０は、画像情報格納部１２１を有し、車両１１０の認識システム１１１により得られた画像情報を格納する。なお、画像情報格納部１２１に格納された画像情報は、正解生成装置１３０や性能検証装置１４０により読み出されて利用される。
【００１８】
正解生成装置１３０は、画像情報に含まれる各フレームの正解情報（正解データ）を生成する画像処理装置である。正解生成装置１３０には正解生成プログラムがインストールされており、正解生成装置１３０は、正解生成プログラムを実行することで、正解生成部１３１として機能する。
【００１９】
正解生成部１３１は、画像情報格納部１２１に格納された画像情報を読み出し、フレームごとに前方車両についての正解情報（前方車両の車両領域を特定するための情報）を生成する。また、正解生成部１３１は、生成した正解情報を、認識システム１１１の認識結果（検証対象）を検証する検証用の正解情報として、正解情報格納部１３２に格納する。
【００２０】
性能検証装置１４０は、性能比較部１４１を有する。性能比較部１４１は、画像情報格納部１２１より読み出した画像情報１５１に含まれる各フレームについて、認識結果格納部１１２より読み出した認識結果情報１５２と、正解情報格納部１３２より読み出した正解情報１５３とを比較する。
【００２１】
また、性能比較部１４１は、比較結果に基づいて、認識システム１１１の認識性能を検証し、性能比較結果を性能比較結果格納部１４２に格納する。
【００２２】
なお、図１の認識性能検証システム１００は、車両の台数を１台としているが、車両の台数は複数であってもよい。また、格納装置１２０、正解生成装置１３０、性能検証装置１４０は、例えば、１台のサーバ装置により実現してもよい。
【００２３】
次に、車両１１０に搭載された認識システム１１１の機能構成について説明する。図２は、認識システムの機能構成の一例を示す図である。図２に示すように、認識システム１１１は、撮像部２０１、認識部２０２、距離算出部２０３、警告部２０４、制御部２０５を有する。
【００２４】
撮像部２０１は、例えば、カメラであり、車両１１０の前方を走行する前方車両２１０を撮影する。撮像部２０１により撮影された画像情報は、格納装置１２０に送信され、画像情報格納部１２１に格納される。また、撮像部２０１により撮影された画像情報は、認識部２０２に入力される。
【００２５】
認識部２０２は、画像情報に含まれる各フレームについて画像認識処理を行い、各フレーム中の前方車両を認識する。また、認識部２０２は、認識結果（フレーム中の前方車両を示す領域の位置（座標）、前方車両の大きさ）を、車両領域（特定画像領域）を特定するための情報として認識結果格納部１１２に格納する。また、認識部２０２は、認識結果を距離算出部２０３に入力する。
【００２６】
距離算出部２０３は、認識部２０２による認識結果に基づいて、前方車両までの距離を算出する。また、距離算出部２０３は、算出した距離を警告部２０４及び制御部２０５に出力する。
【００２７】
警告部２０４は、距離算出部２０３により算出された距離に応じて、車両１１０の乗員に情報を提示することで、乗員に対して警告を行う。制御部２０５は、距離算出部２０３により算出された距離に応じて、車両１１０の走行速度を制御する。
【００２８】
次に、性能検証装置１４０の機能について説明する。図３は、性能検証装置の機能を説明するための図である。
【００２９】
図３に示すように、性能検証装置１４０の性能比較部１４１では、画像情報１５１に含まれる各フレーム中の前方車両の描画（以下、単に前方車両と略す）についての認識システム１１１による認識結果情報１５２を、認識結果格納部１１２より読み出す。
【００３０】
上述したように、認識結果情報１５２には、フレーム中の前方車両３０１を示す領域の位置（座標）、前方車両３０１を示す領域の大きさが含まれる（つまり、車両領域（特定画像領域）を特定するための情報が含まれる）。図３の例では、前方車両３０１を示す領域の座標（Ｘ座標及びＹ座標）として（Ｘｅ，Ｙｅ）が読み出され、前方車両３０１を示す領域の大きさ（幅及び高さ）として（Ｗｅ，Ｈｅ）が読み出された場合を示している。
【００３１】
また、性能比較部１４１は、画像情報１５１に含まれる各フレーム中の前方車両３０１について、正解情報格納部１３２より、正解情報１５３を読み出す。図３の例では、正解情報１５３として、前方車両３０１を示す領域の座標（Ｘｒ，Ｙｒ）が読み出され、前方車両３０１を示す領域の大きさ（Ｗｒ，Ｈｒ）が読み出された場合を示している。つまり、前方車両３０１の車両領域を特定するための情報が読み出された場合を示している。
【００３２】
性能比較部１４１は、認識結果情報１５２と正解情報１５３とを比較し、例えば、成就した座標が領域の大きさ等の差分値を算出する。また、性能比較部１４１は、算出した差分値に基づいて、認識システム１１１の認識性能を検証し、性能比較結果として性能比較結果格納部１４２に格納する。なお、性能比較部１４１は、性能比較結果を格納するにあたり、フレーム番号と対応付けて格納する。また、性能比較部１４１は、フレーム中に複数の前方車両が含まれる場合に、それぞれの車両を示す車両識別子と対応付けて格納する。
【００３３】
次に、正解生成装置１３０の詳細について説明する。図４は、正解生成装置のハードウェア構成の一例を示す図である。
【００３４】
図４に示すように、正解生成装置１３０は、ＣＰＵ４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３、補助記憶部４０４、通信部４０５を備える。また、正解生成装置１３０は、表示部４０６、操作部４０７、ドライブ部４０８を備える。なお、正解生成装置１３０の各部は、バス４０９を介して相互に接続されている。
【００３５】
ＣＰＵ４０１は、補助記憶部４０４にインストールされた各種プログラム（例えば、正解生成プログラム）を実行するコンピュータである。ＲＯＭ４０２は、不揮発性メモリである。ＲＯＭ４０２は、補助記憶部４０４に格納された各種プログラムをＣＰＵ４０１が実行するために必要な各種プログラム、データ等を格納する主記憶部として機能する。具体的には、ＲＯＭ４０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。
【００３６】
ＲＡＭ４０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリであり、主記憶部として機能する。ＲＡＭ４０３は、補助記憶部４０４に格納された各種プログラムがＣＰＵ４０１によって実行される際に展開される、作業領域を提供する。
【００３７】
補助記憶部４０４は、各種プログラムや、各種プログラムを実行したことで生成された情報（例えば、正解情報１５３）等を格納する。
【００３８】
通信部４０５は、正解生成装置１３０が格納装置１２０、性能検証装置１４０と通信するためのデバイスである。
【００３９】
表示部４０６は、格納装置１２０の画像情報格納部１２１より読み出した画像情報や、正解生成部１３１により生成された正解情報を表示する。
【００４０】
操作部４０７は、正解生成装置１３０の操作者が正解生成装置１３０に対して各種指示を入力するためのデバイスである。
【００４１】
ドライブ部４０８は記録媒体４１０をセットするためのデバイスである。ここでいう記録媒体４１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体４１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等も含まれる。
【００４２】
なお、本実施形態において、補助記憶部４０４に格納される各種プログラムは、例えば、配布された記録媒体４１０がドライブ部４０８にセットされ、該記録媒体４１０に記録された各種プログラムがドライブ部４０８により読み出されることでインストールされる。あるいは、通信部４０５を介してネットワークからダウンロードされることでインストールされる。
【００４３】
次に、正解生成装置１３０の機能構成について説明する。図５は、正解生成装置の機能構成の一例を示す図である。図５に示すように、正解生成装置１３０の正解生成部１３１は、映像表示部５０１、フレーム指定受け付け部５０２、領域指定受け付け部５０３、画像追跡部５０４、修正部５０５を有する。
【００４４】
映像表示部５０１は、正解生成装置１３０の操作者により指定された画像情報を、画像情報格納部１２１より読み出し、表示部４０６に表示する。また、映像表示部５０１は、読み出した画像情報を画像追跡部５０４に送信する。
【００４５】
フレーム指定受け付け部５０２は、表示部４０６に表示された画像情報の各フレームの中から、操作者より１のフレームについての指定を受け付け、受け付けたフレームを特定するフレーム番号を画像追跡部５０４に送信する。なお、本実施形態において、操作者は、表示部４０６に表示された画像情報の各フレームのうち、前方車両が含まれるフレームを指定する。また、操作者は、前方車両がより近傍に位置しているフレーム（すなわち、前方車両がより大きく映っているフレーム）を指定する。
【００４６】
領域指定受け付け部５０３は、フレーム指定受け付け部５０２を介して指定されたフレーム中において操作者により領域が指定された場合に、指定された領域の領域情報（領域の位置を示すＸ座標、Ｙ座標及び領域の大きさを示す幅、高さ）を受け付ける。また、領域指定受け付け部５０３は、受け付けた領域情報を画像追跡部５０４に送信する。図５の例は、領域の座標として（Ｘ０，Ｙ０）が送信され、領域の大きさとして（Ｗ０，Ｈ０）が送信されたことを示している。なお、本実施形態において、操作者は、指定したフレームにおいて、前方車両を示す領域を指定する。
【００４７】
画像追跡部５０４は、フレーム指定受け付け部５０２において指定されたフレーム及び領域指定受け付け部５０３において指定された領域に基づいて、テンプレート画像を生成する。本実施形態において、テンプレート画像とは、画像情報に含まれる各フレームから、所定の物標（前方車両）を示す領域を抽出するためのマッチング処理を行う際に用いられる画像である。
【００４８】
画像追跡部５０４は、生成したテンプレート画像を用いて、画像情報に含まれる各フレームのマッチング処理を行うことで、各フレームからマッチング領域（Ｘｒ，Ｙｒ，Ｗｒ，Ｈｒ）を抽出し、正解情報として出力する。また、画像追跡部５０４は、抽出したマッチング領域を、各フレームに重畳して表示する。
【００４９】
修正部５０５は、画像追跡部５０４より出力された正解情報について、操作者が、修正が必要であると判定した場合に、当該フレームの正解情報について、操作者による修正操作を受け付ける。また、操作者の修正操作に基づいて修正した正解情報を、フレームと対応付けて正解情報格納部１３２に格納する。
【００５０】
次に、正解生成部１３１の画像追跡部５０４の詳細について説明する。図６は、画像追跡部の詳細な機能構成を示す図である。
【００５１】
図６に示すように、画像追跡部５０４は、テンプレート生成部６０１、マッチング算出部６０２、極大フレーム算出部６０３、極大フレーム間算出部６０４を有する。
【００５２】
テンプレート生成部６０１は、映像表示部５０１より送信された画像情報のうち、フレーム指定受け付け部５０２により送信されたフレーム番号に基づいて特定されるフレームを抽出する。また、テンプレート生成部６０１は、抽出したフレームから、領域指定受け付け部５０３において指定された領域を抽出する。更に、テンプレート生成部６０１は、抽出した領域に基づいてテンプレート画像を生成し、テンプレート情報格納部６１１に格納する。
【００５３】
マッチング算出部６０２は、画像情報に含まれる各フレームについて、テンプレート情報格納部６１１に格納された各テンプレート画像を用いてマッチング処理を行う。マッチング算出部６０２では、マッチング処理を行うことで、各フレームについて、各テンプレート画像がマッチングする位置の推定結果（「マッチング位置」）を算出する。また、マッチング算出部６０２では、マッチング処理を行うことで、各フレームについて、各テンプレート画像がマッチングする位置における「マッチング度」を算出する。また、マッチング算出部６０２では、マッチング処理を行うことで、各フレームについて、各テンプレート画像がマッチングする位置と、各テンプレート画像の大きさとに基づいて「マッチング領域」（マッチング度が算出されたフレーム中の領域）を算出する。
【００５４】
更に、マッチング算出部６０２は、各テンプレート画像を示すテンプレート番号と、各テンプレート画像を用いてマッチング処理を行った際のマッチング位置、マッチング度とを対応付けて、マッチング結果情報としてマッチング結果情報格納部６１２に格納する。なお、マッチング算出部６０２では、テンプレート番号と、マッチング位置と、マッチング度とを、フレームと対応付けて格納するものとする。
【００５５】
極大フレーム算出部６０３は、マッチング結果情報格納部６１２に格納されたマッチング結果情報に基づいて、極大フレームを抽出する。極大フレームの詳細な説明は後述するとして、ここでは、極大フレームを以下のように定義する。
（ａ）所定の区間において連続する複数フレームのうちの１のフレームである。
（ｂ）各テンプレート画像のうち、マッチング度が最大のテンプレート画像を用いて、当該所定の区間において連続する複数フレームについてマッチング処理を行った場合に、当該所定の区間においてマッチング度が最大のフレームである。
（ｃ）上記（ｂ）において、マッチング度が最大のテンプレート画像とは、他のテンプレート画像のマッチング度との差が、所定の閾値以上であるテンプレート画像である。
【００５６】
極大フレーム算出部６０３は、抽出した極大フレームを示すフレーム番号を、極大フレーム情報として、極大フレーム情報格納部６１３に格納する。なお、極大フレーム算出部６０３では、少なくとも極大フレームを抽出する際に用いた、マッチング度が最大のテンプレート画像の大きさと、極大フレーム中のマッチング位置とを対応付けて、極大フレーム情報として極大フレーム情報格納部６１３に格納する。
【００５７】
極大フレーム間算出部６０４は、極大フレーム情報格納部６１３に格納された各極大フレームに対応付けて格納された、テンプレート画像の大きさと、マッチング位置とに基づいて、極大フレーム間の各フレームの正解情報を生成する際の拘束条件を算出する。
【００５８】
なお、拘束条件の詳細な説明は後述するものとして、ここでは、拘束条件を以下のように定義する。
（ａ）極大フレーム情報格納部６１３に格納された極大フレームのうち、連続する極大フレーム間の各フレームについて、マッチング処理を行う際の条件である。
（ｂ）連続する極大フレーム間の各フレームについてのマッチング処理は、当該極大フレームに対応付けて格納されたテンプレート画像の大きさと、マッチング位置とにより拘束される。
【００５９】
極大フレーム間算出部６０４は、各極大フレームについては、極大フレーム情報格納部６１３より読み出した、テンプレート画像の大きさと、マッチング位置とに基づいて特定されるマッチング領域を、正解情報として出力する。
【００６０】
また、極大フレーム間算出部６０４は、極大フレーム間の各フレームについては、拘束条件に基づいてマッチング処理を行うことで算出した、テンプレート画像の大きさとマッチング位置とに基づいて特定されるマッチング領域を、正解情報として出力する。
【００６１】
このように、画像追跡部５０４は、各フレームに対するマッチング処理結果を１次評価として取得する第１の取得手段（マッチング算出部６０２、極大フレーム算出部６０３）を有する。また、画像追跡部５０４は、マッチング処理結果（１次評価結果）から算出した極大フレームで条件を拘束し、極大フレーム間で時系列データとしてマッチング処理を行い、２次評価を取得する第２の取得手段（極大フレーム間算出部６０４）を有する。このように複数の段階（上述の例では、２段階）で評価処理を行うことで、画像追跡部５０４では、前方車両の車両領域を特定するための特定画像領域を正解情報として抽出する。なお、評価の段階は、２段階に限定されるものではなく、例えば３段階以上の評価に、上記の１次評価と２次評価とが含まれていればよい。
【００６２】
次に、画像追跡部５０４による正解情報生成処理の流れについて説明する。図７は、正解情報生成処理のフローチャートである。
【００６３】
ステップＳ７０１において、テンプレート生成部６０１はテンプレート生成処理を実行し、テンプレート画像を生成するとともに、生成したテンプレート画像をテンプレート情報格納部６１１に格納する。
【００６４】
ステップＳ７０２において、マッチング算出部６０２は、画像情報のフレームについてマッチング処理を実行し、マッチング結果情報をマッチング結果情報格納部６１２に格納する。
【００６５】
ステップＳ７０３において、極大フレーム算出部６０３は、画像情報のフレームについて、極大フレーム算出処理を実行し、極大フレーム情報を、極大フレーム情報格納部６１３に格納する。
【００６６】
ステップＳ７０４において、極大フレーム算出部６０３は、継続判定処理を実行し、次のフレームについて、マッチング処理（ステップＳ７０２）及び極大フレーム算出処理（ステップＳ７０３）を継続するか否かを判定する。
【００６７】
ステップＳ７０５において、極大フレーム算出部６０３が継続すると判定した場合（ステップＳ７０５において、Ｙｅｓ）には、ステップＳ７０２に戻る。これにより、次のフレームについて、マッチング処理（ステップＳ７０２）及び極大フレーム算出処理（ステップＳ７０３）が継続される。
【００６８】
一方、ステップＳ７０５において、極大フレーム算出部６０３が継続しないと判定した場合（ステップＳ７０５において、Ｎｏ）には、ステップＳ７０６に進む。
【００６９】
ステップＳ７０６において、極大フレーム間算出部６０４は、極大フレーム間算出処理を実行し、極大フレーム間の各フレームについてマッチング処理を行うことで正解情報を算出する。
【００７０】
ステップＳ７０７において、極大フレーム間算出部６０４は、ステップＳ７０６において算出した正解情報を含むすべての正解情報を修正部５０５に出力し、正解情報生成処理を終了する。
【００７１】
次に、正解情報生成処理の各工程（図７のテンプレート生成処理（Ｓ７０１）、マッチング処理（Ｓ７０２）、極大フレーム算出処理（Ｓ７０３）、継続判定処理（Ｓ７０４）、極大フレーム間算出処理（Ｓ７０６））の詳細について、以下に、順を追って説明する。
【００７２】
はじめに、テンプレート生成処理（ステップＳ７０１）について説明する。図８は、テンプレート生成部により実行されるテンプレート生成処理のフローチャートである。
【００７３】
ステップＳ８０１において、テンプレート生成部６０１は、初期テンプレート画像を切り出す。具体的には、映像表示部５０１より送信された画像情報の各フレームのうち、フレーム指定受け付け部５０２より送信されたフレーム番号により特定されるフレームであって、領域指定受け付け部５０３より送信された領域情報により特定される領域を切り出す。
【００７４】
ステップＳ８０２において、テンプレート生成部６０１は、ステップＳ８０１において切り出された領域を、初期テンプレート画像として、テンプレート情報格納部６１１に格納する。
【００７５】
ステップＳ８０３において、テンプレート生成部６０１は、ステップＳ８０２において格納された初期テンプレート画像に対して、幅方向及び高さ方向に、所定画素数分（例えば、１画素分）、縮小した場合のテンプレート画像のサイズを算出する。
【００７６】
ステップＳ８０４において、テンプレート生成部６０１は、ステップＳ８０３において算出したテンプレート画像のサイズが、所定のサイズ条件を満たすか否かを判定する。なお、所定のサイズ条件とは、各フレームについてマッチング処理を行うにあたって生成すべきテンプレート画像のサイズ範囲をいう。
【００７７】
ステップＳ８０４において、所定のサイズ条件を満たすと判定した場合（ステップＳ８０４において、Ｙｅｓ）には、ステップＳ８０５に進み、ステップＳ８０３において算出したサイズのテンプレート画像を生成する。その後、ステップＳ８０２に戻り、ステップＳ８０５において生成したテンプレート画像を、テンプレート情報格納部６１１に格納する。
【００７８】
一方、ステップＳ８０４において、所定のサイズ条件を満たさないと判定した場合（ステップＳ８０４において、Ｎｏ）には、テンプレート生成処理を終了する。
【００７９】
このようにテンプレート生成部６０１によりテンプレート生成処理が実行されることで、テンプレート情報格納部６１１には、生成されたテンプレート画像が格納される。
【００８０】
図９は、テンプレート情報の一例を示す図である。図９に示すように、テンプレート情報９００には情報の項目として、"テンプレート番号"、"テンプレート"、"テンプレートサイズ"が含まれる。
【００８１】
"テンプレート番号"には、テンプレート生成部６０１により生成されたテンプレート画像を特定するための番号が格納される。テンプレート番号は、テンプレート生成部６０１が、生成したテンプレート画像をテンプレート情報格納部６１１に格納する際に、テンプレート画像に対応付けて付与する。
【００８２】
"テンプレート"には、テンプレート生成部６０１が生成したテンプレート画像が格納される。
【００８３】
"テンプレートサイズ"には、テンプレート生成部６０１が生成したテンプレート画像のサイズ（幅×高さ）が格納される。
【００８４】
次に、マッチング処理（ステップＳ７０２）について説明する。図１０は、マッチング算出部により実行されるマッチング処理のフローチャートである。
【００８５】
ステップＳ１００１において、マッチング算出部６０２は、テンプレート番号（α）を取得する。なお、テンプレート番号（α）は、図７に示す正解情報生成処理において、１ループ前のステップＳ７０３（極大フレーム算出処理）において決定される番号である。したがって、マッチング算出部６０２では、ステップＳ７０３において決定されたテンプレート番号（α）を取得する。なお、図７に示す正解情報生成処理が１ループ目であった場合には、マッチング算出部６０２は、テンプレート番号（α）として、予め定められた初期値を取得する。
【００８６】
なお、本実施形態において、マッチング算出部６０２は、１つのフレームに対して、３つのテンプレート画像を用いてマッチング処理を行うものとする。
【００８７】
ステップＳ１００２において、マッチング算出部６０２は、フレーム番号（ｎ）のフレームを取得する。なお、フレーム番号（ｎ）は、図７に示す正解情報生成処理において、１ループ前のステップＳ７０３（極大フレーム算出処理）において決定される番号である。したがって、マッチング算出部６０２では、ステップＳ７０３において決定されたフレーム番号（ｎ）を取得する。なお、図７に示す正解情報生成処理が１ループ目であった場合には、マッチング算出部６０２は、フレーム番号（ｎ）として、予め定められた初期値を取得する。
【００８８】
ステップＳ１００３において、マッチング算出部６０２は、ステップＳ１００２においてフレーム番号（ｎ）のフレームを取得できたか否かを判定する。ステップＳ１００３において、取得できなかったと判定した場合（ステップＳ１００３において、Ｎｏ）には、マッチング処理を終了する。
【００８９】
一方、ステップＳ１００３において、取得できたと判定した場合（ステップＳ１００３において、Ｙｅｓ）には、ステップＳ１００４に進む。ステップＳ１００４において、マッチング算出部６０２は、テンプレート番号（α）、（α＋１）、（α＋２）により特定される３つのテンプレート画像を、テンプレート情報格納部６１１より読み出す。
【００９０】
ステップＳ１００５において、マッチング算出部６０２は、フレーム番号（ｎ）により特定されるフレームを、画像情報より抽出する。
【００９１】
ステップＳ１００６において、マッチング算出部６０２は、処理対象のフレームについて各テンプレート画像を用いて、それぞれマッチング度及びマッチング位置を算出する。具体的には、マッチング算出部６０２は、テンプレート番号（α）のテンプレート画像を用いて、フレーム番号（ｎ）のフレームについてマッチング処理を行い、マッチング位置及びマッチング度を算出する。
【００９２】
また、マッチング算出部６０２は、テンプレート番号（α＋１）のテンプレート画像を用いて、フレーム番号（ｎ）のフレームについてマッチング処理を行い、マッチング位置及びマッチング度を算出する。
【００９３】
更に、マッチング算出部６０２は、テンプレート番号（α＋２）のテンプレート画像を用いて、フレーム番号ｎのフレームについてマッチング処理を行い、マッチング位置及びマッチング度を算出する。
【００９４】
ステップＳ１００７において、マッチング算出部６０２は、ステップＳ１００６において、各テンプレート画像を用いて算出された、マッチング位置及びマッチング度を、マッチング結果情報格納部６１２に格納する。
【００９５】
次に、マッチング算出部６０２によるマッチング処理の具体例について、図１１を用いて説明する。図１１は、マッチング処理を説明するための図である。
【００９６】
図１１（ａ）は、テンプレート番号（α）により特定されるテンプレート画像１１０１を用いて、フレーム番号（ｎ）のフレーム１１１０についてマッチング処理を行った場合を示している。図１１（ａ）の例では、点線１１１１で示す領域において、テンプレート画像１１０１がマッチングしたことを示している。なお、点線１１１１で示す領域は、マッチング位置（Ｘｎ＿（α），Ｙｎ＿（α））とテンプレート画像１１０１の大きさに基づいて特定され、マッチング度はＭｎ＿（α）である。
【００９７】
図１１（ｂ）は、テンプレート番号（α＋１）により特定されるテンプレート画像１１０２を用いて、フレーム番号ｎのフレーム１１１０についてマッチング処理を行った場合を示している。図１１（ｂ）の例では、点線１１１２で示す領域において、テンプレート画像１１０２がマッチングしたことを示している。なお、点線１１１２で示す領域は、マッチング位置（Ｘｎ＿（α＋１），Ｙｎ＿（α＋１））とテンプレート画像１１０２の大きさに基づいて特定され、マッチング度はＭｎ＿（α＋１）である。
【００９８】
図１１（ｃ）は、テンプレート番号（α＋２）により特定されるテンプレート画像１１０３を用いて、フレーム番号（ｎ）のフレーム１１１０についてマッチング処理を行った場合を示している。図１１（ｃ）の例では、点線１１１３で示す領域において、テンプレート画像１１０３がマッチングしたことを示している。なお、点線１１１３で示す領域は、マッチング位置（Ｘｎ＿（α＋２），Ｙｎ＿（α＋２））とテンプレート画像１１０３の大きさに基づいて特定され、マッチング度はＭｎ＿（α＋２）である。
【００９９】
次に、マッチング算出部６０２によるマッチング処理によりマッチング結果情報格納部６１２に格納されたマッチング結果情報の具体例について説明する。図１２は、マッチング結果情報の一例を示す図である。
【０１００】
図１２に示すように、マッチング結果情報１２００には、情報の項目として、"フレーム番号"、"テンプレート番号"、"テンプレート画像の大きさ"、"マッチング度"、"マッチング位置"が含まれる。
【０１０１】
"フレーム番号"には、マッチング処理の処理対象となったフレームのフレーム番号が格納される。
【０１０２】
"テンプレート番号"には、処理対象となったフレームに対して、マッチング処理を行った際に用いたテンプレート画像を特定するテンプレート番号が格納される。
【０１０３】
"テンプレート画像の大きさ"には、各テンプレート番号により特定されるテンプレート画像の大きさ（幅、高さ）が格納される。
【０１０４】
"マッチング度"には、各テンプレート画像を用いてマッチング処理を行った際のマッチング度が格納される。
【０１０５】
"マッチング位置"には、各テンプレート画像を用いてマッチング処理を行った際のマッチング位置が格納される。
【０１０６】
次に、極大フレーム算出処理（ステップＳ７０３）について説明する。図１３は、極大フレーム算出処理のフローチャートである。ここでは、フレーム番号（ｎ）のフレームを処理対象として、フレーム番号（ｎ−１）のフレームが極大フレームであったかを判定する極大フレーム算出処理について説明する。
【０１０７】
ステップＳ１３０１において、極大フレーム算出部６０３は、フレーム番号（ｎ−１）のフレームに対して、各テンプレート画像がマッチング処理を行った場合のマッチング度のうち、最大のマッチング度を算出したテンプレート画像があるか否かを判定する。
【０１０８】
ステップＳ１３０１において、最大のマッチング度を算出したテンプレート画像がなかったと判定した場合（ステップＳ１３０１において、Ｎｏ）には、ステップＳ１３０７に進む。一方、ステップＳ１３０１において、最大のマッチング度を算出したテンプレート画像があると判定した場合（ステップＳ１３０１において、Ｙｅｓ）には、ステップＳ１３０２に進む。
【０１０９】
ステップＳ１３０２において、極大フレーム算出部６０３は、フレーム番号（ｎ−１）のフレームについて各テンプレート画像を用いてマッチング処理を行った場合のマッチング度を、マッチング結果情報１２００より読み出す。なお、フレーム番号（ｎ−１）のフレームについてのマッチング処理は、テンプレート番号（α）、（α＋１）、（α＋２）のテンプレート画像が用いられたとする。
【０１１０】
このため、ステップＳ１３０２において極大フレーム算出部６０３は、テンプレート番号（α）のテンプレート画像のマッチング度としてＭｎ−１＿（α）を読み出す。また、テンプレート番号（α＋１）のテンプレート画像のマッチング度としてＭｎ−１＿（α＋１）を読み出す。更に、テンプレート番号（α＋２）のテンプレート画像のマッチング度としてＭｎ−１＿（α＋２）を読み出す。
【０１１１】
なお、ステップＳ１３０２において読み出したマッチング度のうち、ここでは、Ｍｎ−１＿（α＋１）が最大のマッチング度であるとする。
【０１１２】
ステップＳ１３０３において、極大フレーム算出部６０３は、ステップＳ１３０２において読み出したマッチング度のうち、最大のマッチング度と、他のマッチング度との差が所定の閾値ＴＨより大きいか否かを判定する。換言すると、Ｍｎ−１＿（α＋１）−ＴＨ＞Ｍｎ−１＿（α）、Ｍｎ−１＿（α＋２）が成立するか否かを判定する。
【０１１３】
ステップＳ１３０３において、所定の閾値ＴＨ以下であると判定した場合（ステップＳ１３０３においてＮｏ）には、ステップＳ１３０７に進む。一方、所定の閾値ＴＨより大きいと判定した場合（ステップＳ１３０３において、Ｙｅｓ）には、ステップＳ１３０４に進む。
【０１１４】
ステップＳ１３０４において、極大フレーム算出部６０３は、フレーム番号（ｎ）のフレームに対して、テンプレート番号（α＋１）のテンプレート画像を用いてマッチング処理を行った場合のマッチング度をマッチング結果情報１２００より読み出す。具体的には、マッチング度Ｍｎ＿（α＋１）を読み出す。また、極大フレーム算出部６０３は、読み出したマッチング度Ｍｎ＿（α＋１）をマッチング度Ｍｎ−１＿（α＋１）と比較する。
【０１１５】
ステップＳ１３０４における比較の結果、１フレーム前のマッチング度Ｍｎ−１＿(α＋１)が、現在の処理対象のフレームのマッチング度Ｍｎ＿(α＋１)以下の場合（ステップＳ１３０４において、Ｎｏ）には、ステップＳ１３０７に進む。
【０１１６】
一方、ステップＳ１３０４における比較の結果、１フレーム前のマッチング度Ｍｎ-１＿(α＋１)の方が、現在の処理対象のフレームのマッチング度Ｍｎ＿（α＋１）より大きい場合（ステップＳ１３０４において、Ｙｅｓ）には、ステップＳ１３０５に進む。
【０１１７】
ステップＳ１３０５において、極大フレーム算出部６０３は、１フレーム前のフレーム（フレーム番号（ｎ−１）のフレーム）を、極大フレームとして、極大フレーム情報格納部６１３に格納する。
【０１１８】
ステップＳ１３０６において、極大フレーム算出部６０３は、次のフレーム（フレーム番号（ｎ＋１）のフレーム）に対するマッチング処理（ステップＳ７０２）及び極大フレーム算出処理（ステップＳ７０３）を実行する際に用いるテンプレート番号を決定する。
【０１１９】
例えば、最大のマッチング度がＭｎ−１＿（α＋１）であったとする。この場合、極大フレーム算出部６０３では、次のフレームに対するマッチング処理（ステップＳ７０２）及び極大フレーム算出処理（ステップＳ７０３）において、テンプレート番号（α）、（α＋１）、（α＋２）のテンプレート画像を用いることを決定する。
【０１２０】
また、例えば、最大のマッチング度がＭｎ＿（α）であったとする。この場合、極大フレーム算出部６０３では、次のフレームに対するマッチング処理（ステップＳ７０２）及び極大フレーム算出処理（ステップＳ７０３）において、テンプレート番号（α−１）、（α）、（α＋１）のテンプレート画像を用いることを決定する。
【０１２１】
すなわち、極大フレーム算出部６０３では、最大のマッチング度が算出されたテンプレート画像と、該テンプレート画像よりサイズが１つ大きいテンプレート画像とサイズが１つ小さいテンプレート画像とを、次のフレームのマッチング処理に用いることを決定する。
【０１２２】
ステップＳ１３０７において、極大フレーム算出部６０３は、フレーム番号をインクリメントし、次のフレームを処理対象にして、極大フレーム算出処理を終了する。
【０１２３】
次に、極大フレーム算出部６０３による極大フレーム算出処理の具体例について、図１４及び図１５を用いて説明する。図１４は、極大フレーム算出処理を説明するための図である。なお、図１４では、説明の簡略化のため、それぞれのフレームについてマッチング処理を行った際に用いたテンプレート画像の種類を２種類としている。
【０１２４】
図１４（ａ）において、横軸はフレーム番号を表しており、縦軸は、それぞれのフレーム番号のフレームにおけるマッチング度を示している。また、折れ線１４０１は、テンプレート番号（α＋１）のテンプレート画像を用いてマッチング処理を行った場合のマッチング度の変化を示している。更に、折れ線１４０２は、テンプレート番号（α）のテンプレート画像を用いてマッチング処理を行った場合のマッチング度の変化を示している。
【０１２５】
図１４（ａ）に示すように、区間１４１１に含まれる各フレームでは、テンプレート番号（α）のテンプレート画像を用いた場合のマッチング度と、テンプレート番号（α＋１）のテンプレート画像を用いた場合のマッチング度との差が所定の閾値ＴＨより大きい。したがって、区間１４１１内に含まれる各フレームが、極大フレームの候補となる。
【０１２６】
そこで、区間１４１１に含まれるマッチング度（区間１４１１の折れ線１４０１）について着目する。区間１４１１の折れ線１４０１は、フレーム番号（ｎ−１）からフレーム番号（ｎ）に移るときに、初めて減少に転じる。つまり、区間１４１１においては、フレーム番号（ｎ−１）に対応するマッチング度が最大であることがわかる。したがって、極大フレーム算出部６０３では、フレーム番号（ｎ−１）のフレームを、極大フレームと判定する。
【０１２７】
同様に、図１４（ｂ）も、横軸はフレーム番号を表しており、縦軸は、それぞれのフレーム番号のフレームにおけるマッチング度を示している。また、折れ線１４２１は、テンプレート番号（α）のテンプレート画像を用いてマッチング処理を行った場合のマッチング度の変化を示している。更に、折れ線１４２２は、テンプレート番号（α＋１）のテンプレート画像を用いてマッチング処理を行った場合のマッチング度の変化を示している。
【０１２８】
ただし、図１４（ｂ）の場合、区間１４３１に含まれる各フレームでは、テンプレート番号（α）のテンプレート画像を用いた場合のマッチング度と、テンプレート番号（α＋１）のテンプレート画像を用いた場合のマッチング度との差が所定の閾値ＴＨ以下である。したがって、区間１４３１内に含まれる各フレームは、極大フレームにはなりえない。
【０１２９】
図１５は、極大フレーム算出結果の具体例を示す図である。図１５（ａ）において、横軸はフレーム番号を示しており、縦軸は、テンプレート画像の大きさ（ここでは、テンプレート画像の幅）を示している。なお、直線１５０１は、各フレームにおける物標（前方車両３０１）の真の幅を示している。
【０１３０】
図１５（ａ）の例では、フレーム番号１のフレームが極大フレームと判定されたことを示している。また、極大フレームと判定されたフレームについて、マッチング処理を行った際に用いたテンプレート画像のうち、最大のマッチング度が算出されたテンプレート画像の幅がＷ１であったことを示している。
【０１３１】
また、図１５（ａ）の例では、フレーム番号６のフレームが極大フレームと判定されたことを示している。また、極大フレームと判定されたフレームについて、マッチング処理を行った際に用いたテンプレート画像のうち、最大のマッチング度が算出されたテンプレート画像の幅がＷ２であったことを示している。
【０１３２】
また、図１５（ａ）の例では、フレーム番号１１のフレームが極大フレームと判定されたことを示している。また、極大フレームと判定されたフレームについて、マッチング処理を行った際に用いたテンプレート画像のうち、最大のマッチング度が算出されたテンプレート画像の幅がＷ３であったことを示している。
【０１３３】
更に、図１５（ａ）の例では、フレーム番号１６のフレームが極大フレームと判定されたことを示している。また、極大フレームと判定されたフレームについて、マッチング処理を行った際に用いたマッチング画像のうち、最大のマッチング度が算出されたテンプレート画像の幅がＷ４であったことを示している。
【０１３４】
このように、極大フレーム算出部６０３では、物標（前方車両３０１）の真の幅と、テンプレート画像の幅（画素単位の幅）とが、一致するフレームを極大フレームと判定する。
【０１３５】
図１５（ｂ）は、図１５（ａ）における判定結果を、極大フレーム情報として、極大フレーム情報格納部６１３に格納した様子を示している。
【０１３６】
図１５（ｂ）に示すように、極大フレーム情報１５１０は情報の項目として、"極大フレーム番号"、"フレーム番号"、"テンプレート番号"、"テンプレート画像の大きさ"、"マッチング度"、"マッチング位置"が含まれる。
【０１３７】
"極大フレーム番号"には、極大フレームと判定されたフレームに付された固有の番号が格納される。"フレーム番号"には、極大フレームと判定されたフレームのフレーム番号が格納される。
【０１３８】
"テンプレート番号"には、極大フレームと判定されたフレームについて、最大のマッチング度を算出した際に用いたテンプレート画像を示すテンプレート番号が格納される。
【０１３９】
"テンプレート画像の大きさ"には、各テンプレート番号により特定されるテンプレート画像の大きさ（幅、高さ）が格納される。
【０１４０】
"マッチング度"には、極大フレームと判定されたフレームについて算出された、最大のマッチング度が格納される。
【０１４１】
"マッチング位置"には、極大フレームと判定されたフレームについて、最大のマッチング度を算出した際に用いたテンプレート画像のマッチング位置（座標）が格納される。
【０１４２】
図１５（ｂ）の例では、フレーム番号１のフレームが極大フレームと判定され、極大フレーム番号１として極大フレーム情報格納部６１３に格納されたことを示している。また、図１５（ｂ）の例では、極大フレーム番号１の極大フレームは、テンプレート番号１のテンプレート画像を用いてマッチング処理を行うことで、マッチング位置（Ｘ１＿（１）、Ｙ１＿（１））及びマッチング度Ｍ１＿（１）が算出されたことを示している。
【０１４３】
次に、継続判定処理（ステップＳ７０４）について説明する。図１６は、極大フレーム算出部により実行される継続判定処理のフローチャートであり、ここでは、フレーム番号（ｎ）のフレームについて、継続判定処理を実行する場合について説明する。
【０１４４】
ステップＳ１６０１において、極大フレーム算出部６０３は、フレーム番号（ｎ）のフレームについて、各テンプレート画像を用いてマッチング処理を行った場合のマッチング度のうち、最大のマッチング度を取得する。ここでは、テンプレート番号（α＋１）のテンプレート画像を用いた場合のマッチング度が、最大であったとする。そこで、極大フレーム算出部６０３では、最大のマッチング度Ｍｎ＿（α＋１）を取得する。
【０１４５】
ステップＳ１６０２において、極大フレーム算出部６０３は、最大のマッチング度Ｍｎ＿（α＋１）が所定のマッチング度閾値Ｍｔｈ未満であるか否かを判定する。ステップＳ１６０２において、所定のマッチング度閾値Ｍｔｈ以上であると判定した場合（ステップＳ１６０２において、Ｎｏ）には、ステップＳ１６０４に進み、処理を継続すると判定する。この場合、図７の正解情報生成処理において、マッチング処理（ステップＳＳ７０２）及び極大フレーム算出処理（ステップＳ７０３）が継続されることになる。
【０１４６】
一方、ステップＳ１６０２において、所定のマッチング度閾値Ｍｔｈ未満であると判定した場合（ステップＳ１６０２において、Ｙｅｓ）には、ステップＳ１６０３に進み、処理を継続しないと判定する。この場合、図７の正解情報生成処理において、ステップＳ７０６に進み、極大フレーム間算出処理が実行されることになる。
【０１４７】
次に、極大フレーム間算出処理（ステップＳ７０６）について説明する。図１７は、極大フレーム間算出処理のフローチャートである。
【０１４８】
ステップＳ１７０１において、極大フレーム間算出部６０４は、極大フレーム情報格納部６１３より、第１の極大フレーム番号（Ｎｓ）の極大フレーム（第１の極大フレーム）を読み出す。なお、第１の極大フレームとは、極大フレーム情報格納部６１３に格納された複数の極大フレームの中から連続する２つの極大フレームを読み出した場合の、古い方の極大フレームを指す。
【０１４９】
ステップＳ１７０２において、極大フレーム間算出部６０４は、極大フレーム情報格納部６１３より、極大フレーム番号（Ｎｓ＋１）の極大フレーム（第２の極大フレーム）を読み出す。なお、第２の極大フレームとは、極大フレーム情報格納部６１３に格納された複数の極大フレームの中から連続する２つの極大フレームを読み出した場合の、新しい方の極大フレームを指す。
【０１５０】
ステップＳ１７０３において、極大フレーム間算出部６０４は、第１の極大フレームと第２の極大フレームとから、拘束条件を生成する。本実施形態において、極大フレーム間算出部６０４により生成される拘束条件には、マッチング処理を行う際のテンプレート画像の種類と、マッチング処理を行うフレーム中の範囲とが含まれる。
【０１５１】
例えば、第１の極大フレームについてマッチング度を算出した際に用いられたテンプレート画像の種類が、テンプレート番号１のテンプレート画像であったとする（つまり、幅Ｗ１×高さＨ１のテンプレート画像であったとする）。また、第２の極大フレームについてマッチング度を算出した際に用いられたテンプレート画像の種類が、テンプレート番号２のテンプレート画像であったとする（つまり、幅Ｗ２×高さＨ２）のテンプレート画像であったとする）。この場合、テンプレート画像の種類に関する拘束条件は、"テンプレート番号１または２のいずれか"となる。
【０１５２】
また、第１の極大フレームについてのマッチング位置が（Ｘ１＿（１），Ｙ１＿（１））で、第２の極大フレームについてのマッチング位置が（Ｘ６＿（２），Ｙ６＿（２））であったとする。この場合、マッチング処理を行う範囲に関する拘束条件は、"２つのマッチング領域を含む所定範囲"となる。具体的には、
・マッチング位置（Ｘ１＿（１），Ｙ１＿（１））とテンプレート画像の大きさ（Ｗ１×Ｈ１）に基づくマッチング領域、
・マッチング位置（Ｘ６＿（２），Ｙ６＿（２））とテンプレート画像の大きさ（Ｗ２×Ｈ２）に基づくマッチング領域、
を含む所定範囲となる。
【０１５３】
ステップＳ１７０４において、極大フレーム間算出部６０４は、極大フレームと第２の極大フレームとの間の各フレームについて、ステップＳ１７０３において生成した拘束条件のもとで、マッチング処理を行う。
【０１５４】
ステップＳ１７０５において、極大フレーム間算出部６０４は、第１の極大フレームと第２の極大フレームとの間の各フレームについて、最大のマッチング度を算出した際に用いたテンプレート画像の種類と、マッチング位置とに基づいてマッチング領域を算出する。
【０１５５】
ステップＳ１７０６において、極大フレーム間算出部６０４は、すべての極大フレームについて、ステップＳ１７０２からステップＳ１７０５の処理を実行したか否かを判定する。ステップＳ１７０６において、未だ処理を実行していない極大フレームがあると判定した場合（ステップＳ１７０６において、Ｎｏ）には、ステップＳ１７０７に進む。
【０１５６】
ステップＳ１７０７において、極大フレーム間算出部６０４は、第１の極大フレーム番号（Ｎｓ）をインクリメントする。その後、ステップＳ１７０２に戻り、ステップＳ１７０２からステップＳ１７０５の処理を実行する。
【０１５７】
一方、ステップＳ１７０６において、すべての極大フレームについて処理を実行したと判定した場合（ステップＳ１７０６において、Ｙｅｓ）には、極大フレーム算出処理を終了する。
【０１５８】
次に、極大フレーム間算出部６０４による極大フレーム間算出処理の具体例について図１８及び図１９を用いて説明する。
【０１５９】
図１８は、極大フレーム間算出処理結果の具体例を示す図である。図１８において、横軸はフレーム番号を示しており、縦軸は、テンプレート画像の大きさ（ここでは、テンプレート画像の幅）を示している。
【０１６０】
図１８（ａ）の例は、フレーム番号１、６、１１、１６の各フレームが極大フレームであると判定された場合（図１５（ａ））における極大フレーム間算出処理の具体例を示したものである。
【０１６１】
図１８（ａ）に示すように、極大フレーム（極大フレーム番号（１））であると判定されたフレーム番号１のフレームは、幅Ｗ１のテンプレート画像を用いることで、最大のマッチング度が算出されている。また、極大フレーム（極大フレーム番号（２））であると判定されたフレーム番号６のフレームは、幅Ｗ２のテンプレート画像を用いることで、最大のマッチング度が算出されている。
【０１６２】
このため、極大フレーム間のフレーム（すなわち、フレーム番号２〜５の各フレーム）についてマッチング処理を行う場合、テンプレート画像の種類に関する拘束条件は、
・"テンプレート番号１または２のいずれか"
となる。
【０１６３】
また、マッチング処理を行う範囲に関する拘束条件は、
・"マッチング位置（Ｘ１＿（１），Ｙ１＿（１））とテンプレート画像の大きさ（Ｗ１×Ｈ１）に基づくマッチング領域"、
・"マッチング位置（Ｘ６＿（２），Ｙ６＿（２））とテンプレート画像の大きさ（Ｗ２×Ｈ２）に基づくマッチング領域"、
とを含む所定範囲となる。
【０１６４】
したがって、極大フレーム間算出部６０４は、これらの拘束条件のもとでフレーム番号２〜５の各フレームについてマッチング処理を行う。これにより、フレーム番号２〜５の各フレームについて、誤差の小さい正解情報を算出することができる。
【０１６５】
なお、図１８では、比較対象のために、拘束条件と無関係にマッチング処理を行った場合の処理結果を、図１８（ｂ）に示している。フレーム番号２〜５の各フレームについて、拘束条件と無関係にマッチング処理を行った場合、例えば、フレーム番号５のフレームについては、幅＝Ｗ３のテンプレート画像により最大のマッチング度が算出される。つまり、拘束条件と無関係にマッチング処理を行った場合、フレーム番号５のフレームにおいて、誤差の大きい正解情報が算出されることになる。
【０１６６】
同様に、図１８（ａ）に示すように、極大フレーム（極大フレーム番号（３））であると判定されたフレーム番号１１のフレームは、幅Ｗ３のテンプレート画像を用いることで、最大のマッチング度が算出されている。
【０１６７】
このため、極大フレーム間のフレーム（すなわち、フレーム番号７〜１０の各フレーム）についてマッチング処理を行う場合、テンプレート画像の種類に関する拘束条件は、
・"テンプレート番号２または３のいずれか"
となる。
【０１６８】
また、マッチング処理を行う範囲に関する拘束条件は、
・"マッチング位置（Ｘ６＿（２），Ｙ６＿（２））とテンプレート画像の大きさ（Ｗ２×Ｈ２）に基づくマッチング領域"、
・"マッチング位置（Ｘ１１＿（３），Ｙ１１＿（３））とテンプレート画像の大きさ（Ｗ３×Ｈ３）に基づくマッチング領域"、
とを含む所定範囲となる。
【０１６９】
したがって、極大フレーム間算出部６０４は、これらの拘束条件のもとでフレーム番号７〜１０の各フレームについてマッチング処理を行う。これにより、フレーム番号７〜１０の各フレームについて、誤差の小さい正解情報を算出することができる。
【０１７０】
なお、フレーム番号７〜１０の各フレームについて、拘束条件と無関係にマッチング処理を行った場合、図１８（ｂ）に示すように、例えば、フレーム番号８のフレームについては、幅＝Ｗ１のテンプレート画像により最大のマッチング度が算出される。つまり、拘束条件と無関係にマッチング処理を行った場合、フレーム番号８のフレームにおいて、誤差の大きい正解情報が算出されることになる。
【０１７１】
同様に、図１８（ａ）に示すように、極大フレーム（極大フレーム番号（４））であると判定されたフレーム番号１６のフレームは、幅Ｗ４のテンプレート画像を用いることで、最大のマッチング度が算出されている。
【０１７２】
このため、極大フレーム間のフレーム（すなわち、フレーム番号１２〜１５の各フレーム）についてマッチング処理を行う場合、テンプレート画像の種類に関する拘束条件は、
・"テンプレート番号３または４のいずれか"
となる。
【０１７３】
また、マッチング処理を行う範囲に関する拘束条件は、
・"マッチング位置（Ｘ１１＿（３），Ｙ１１＿（３））とテンプレート画像の大きさ（Ｗ３×Ｈ３）に基づくマッチング領域"、
・"マッチング位置（Ｘ１６＿（４），Ｙ１６＿（４））とテンプレート画像の大きさ（Ｗ４×Ｈ４）に基づくマッチング領域"、
とを含む所定範囲となる。
【０１７４】
したがって、極大フレーム間算出部６０４は、これらの拘束条件のもとでフレーム番号１２〜１５の各フレームについてマッチング処理を行う。これにより、フレーム番号１２〜１５の各フレームについて、誤差の小さい正解情報を算出することができる。
【０１７５】
なお、フレーム番号１２〜１５の各フレームについて、拘束条件と無関係にマッチング処理を行った場合、図１８（ｂ）に示すように、例えば、フレーム番号１５のフレームについては、幅＝Ｗ５のテンプレート画像により最大のマッチング度が算出される。つまり、拘束条件と無関係にマッチング処理を行った場合、フレーム番号１５のフレームにおいて、誤差の大きい正解情報が算出されることになる。
【０１７６】
なお、このように、拘束条件と無関係にマッチング処理を行った場合に、誤差の大きい正解情報が算出されるのは、極大フレーム間の各フレームにおいては、物標である前方車両がサブピクセルレベルで微小に移動しているためである。あるいは、サブピクセルレベルで微小にサイズ変更しているためである。
【０１７７】
これにより、マッチング処理において、誤ったマッチング処理が行われることになり、誤差の大きい正解情報が算出される結果となる。以下に、図１９を用いて、サブピクセルレベルの微小な移動やサイズ変更とマッチング結果との関係について説明する。
【０１７８】
図１９は、マッチング処理において、誤ったマッチング処理が行われる原因を説明するための図である。図１９（ａ）は、初期テンプレート画像１９０１からテンプレート画像１９０２、１９０３を生成した様子を示している。４×４画素のテンプレート画像１９０２、３×３画素のテンプレート画像１９０３は、８×８画素の初期テンプレート画像１９０１を縮小することで生成されたテンプレート画像である。
【０１７９】
このうち、テンプレート画像１９０２は、初期テンプレート画像１９０１の特徴領域１９１１の色情報を保ったまま縮小することで生成されたテンプレート画像である。つまり、初期テンプレート画像１９０１の特徴領域１９１１の色情報は、テンプレート画像１９０２の特徴領域１９２１の色情報として保たれている。
【０１８０】
一方、テンプレート画像１９０３は、初期テンプレート画像１９０１の色情報を保ったまま縮小することができず、特徴領域１９１１の色情報と特徴領域１９１１以外の色情報とが混在する画素（画素１９４１〜１９４３）が含まれるテンプレート画像である。これは、特徴領域１９３１がテンプレート画像１９０３において、サブピクセルレベルにまたがって存在しているためである。
【０１８１】
一方、図１９（ｂ）は、図１９（ａ）に示すテンプレート画像１９０２、１９０３を用いてマッチング処理を行ったことを示す図である。フレーム１９５０は、テンプレート画像１９０２を用いてマッチング処理を行った場合にマッチング度が最大となることを示している。一方、フレームの画像１９５１のように、物標（前方車両）が水平方向にサブピクセルレベルで移動すると、物標と物標以外の色情報とが混在する画素が出現することになる。
【０１８２】
この場合、テンプレート画像１９０３のマッチング度の方が、テンプレート画像１９０２のマッチング度よりも大きくなることがありえる。つまり、誤ったマッチング処理が行われることになる。
【０１８３】
上述したようなサブピクセルレベルの微小な移動やサイズ変更に対して、本実施形態では、微小な移動やサイズ変更のない極大フレームでのマッチング結果に基づいて拘束条件を算出する。そして、算出した拘束条件のもとでマッチング処理を行うため、誤ったマッチング処理が行われることが回避される。
【０１８４】
以上の説明から明らかなように、正解生成装置１３０は、サイズの異なる複数のテンプレート画像を用いて画像情報に含まれる各フレームとのマッチング処理を行うにあたり、極大フレームを算出する。また、正解生成装置１３０は、算出した極大フレーム間のフレームについてマッチング処理を行うにあたり、極大フレームについてのマッチング結果に基づいて拘束条件を生成する。更に、正解生成装置１３０は、生成した拘束条件に基づいて、極大フレーム間の各フレームについてマッチング処理を行う。
【０１８５】
これにより、極大フレーム間の各フレームにおいて、物標がサブピクセルレベルで移動した場合や、サイズがサブピクセルレベルで変化した場合であっても、誤ったマッチング処理が行われることが回避される。
【０１８６】
つまり、微小な移動及びサイズ変化を行う物標に対して、高精度な位置特定を実現することができる。
【０１８７】
［その他の実施形態］
上記第１の実施形態では、マッチング処理を行う際に、各フレームに対して用いるテンプレート画像の種類を３種類として説明したが、各フレームに対して用いるテンプレート画像の種類は、２種類以上であれば何種類であってもよい。
【０１８８】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
車両の所定方向を撮影した画像から特定画像領域を特定する際の検証用の正解データを生成する画像処理装置であって、
画素単位のテンプレートの大きさ及びフレーム中のテンプレートの位置の推定結果を取得する第１の取得手段と、
前記第１の取得手段により取得された推定結果で条件を拘束し、フレーム間で時系列データとして推定結果を取得する第２の取得手段と、を有し、
前記第２の取得手段で取得した推定結果に基づいて特定画像領域を特定することを特徴とする画像処理装置。
（付記２）
前記第１の取得手段は、
画素単位の大きさの異なる複数のテンプレートのうち、１のテンプレートを用いて前記フレームに対してマッチング処理を行った場合のマッチング度と、他のテンプレートを用いて前記フレームに対してマッチング処理を行った場合のマッチング度との差が、所定の閾値以上である場合に、該１のテンプレートの大きさ及びフレーム中の該１のテンプレートの位置の推定結果を取得することを特徴とする付記１に記載の画像処理装置。
（付記３）
前記第１の取得手段は、
前記１のテンプレートを用いて前記フレームに対してマッチング処理を行った場合のマッチング度が、前記１のテンプレートを用いて他のフレームに対してマッチング処理を行った場合のマッチング度より大きい場合に、前記１のテンプレートの大きさ及びフレーム中の前記１のテンプレートの位置の推定結果を取得することを特徴とする付記２に記載の画像処理装置。
（付記４）
車両の所定方向を撮影した画像から特定画像領域を特定する際の検証用の正解データを生成する画像処理方法であって、
画素単位のテンプレートの大きさ及びフレーム中のテンプレートの位置の推定結果を取得する１次評価と、１次評価結果で条件を拘束し、フレーム間で時系列データとして推定結果を取得する２次評価の２段階で特定画像領域を特定する、
処理をコンピュータが実行することを特徴とする画像処理方法。
（付記５）
画素単位のテンプレートの大きさ及びフレーム中のテンプレートの位置の推定結果を取得する１次評価と、１次評価結果で条件を拘束し、フレーム間で時系列データとして推定結果を取得する２次評価の２段階で特定画像領域を特定した検証用の正解データを用いて、車両の所定方向を撮影した画像から特定した特定画像領域を検証対象として評価する、
処理をコンピュータが実行することを特徴とする評価方法。
【０１８９】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１９０】
１００          ：認識性能検証システム
１１０          ：車両
１２０          ：格納装置
１３０          ：正解生成装置
１３１          ：正解生成部
５０４          ：画像追跡部
６０１          ：テンプレート生成部
６０２          ：マッチング算出部
６０３          ：極大フレーム算出部
６０４          ：極大フレーム間算出部
６１１          ：テンプレート情報格納部
６１２          ：マッチング結果情報格納部
６１３          ：極大フレーム情報格納部
９００          ：テンプレート情報
１２００        ：マッチング結果情報
【図１】
0006554943.tif 000002
【図２】
0006554943.tif 000003
【図３】
0006554943.tif 000004
【図４】
0006554943.tif 000005
【図５】
0006554943.tif 000006
【図６】
0006554943.tif 000007
【図７】
0006554943.tif 000008
【図８】
0006554943.tif 000009
【図９】
0006554943.tif 000010
【図１０】
0006554943.tif 000011
【図１１】
0006554943.tif 000012
【図１２】
0006554943.tif 000013
【図１３】
0006554943.tif 000014
【図１４】
0006554943.tif 000015
【図１５】
0006554943.tif 000016
【図１６】
0006554943.tif 000017
【図１７】
0006554943.tif 000018
【図１８】
0006554943.tif 000019
【図１９】
0006554943.tif 000020