(57)【要約】【課題】映像データ中から車両を検出し、監視、警報を行う方法の性能を評価する場合の作業の効率向上と再現性が図れる。【解決手段】入力が想定される映像シーンに、処理結果の期待値（正解情報）を付与した上であらかじめ格納しておき、映像データを評価対象処理方式で処理した結果と、正解情報とを比較して認識結果の評価を自動的に行うようにしたものである。【選択図】    図１
2004228852.tif 000002
【特許請求の範囲】
【請求項１】
映像データ中から車両を検出し、監視、警報を行う方法の性能を評価するために、入力映像を一定サンプリング時間毎に映像データとして蓄積し、この映像データに対して、正解情報、およびシーンの特徴記述を属性値として与えたものとを付加したデータベースを作成し、前記映像データを評価対象処理方式で処理した結果と、正解情報とを比較して認識結果の評価を行うことを特徴とする車両検出処理の評価支援方法。
【請求項２】
映像データ中から車両を検出し、監視、警報を行う方法の性能を評価するために、入力映像を一定サンプリング時間毎に映像データとして蓄積し、この映像データに対して、正解情報、およびシーンの特徴記述を属性値として与えたものとを付加したデータベースを作成し、前記映像データを評価対象処理方式で処理した結果の検出対象物の位置と、形状と、正解情報とを比較して認識結果の評価を行う車両検出処理の評価支援方法であって、
正解の教示を行うために、入力映像データ中の各フレーム内の対象物侯補による映像の複雑さを判定し、この判定結果に応じて、複数の教示方法に優先順位をつけてユーザに提示し、教示方法選択の支援を行うことを特徴とする車両検出処理の評価支援方法。
【請求項３】
映像データ中から車両を検出し、監視、警報を行う方法の性能を評価するために、入力映像を一定サンプリング時間毎に映像データとして蓄積し、この映像データに対して、正解情報、およびシーンの特徴記述を属性値として与えたものとを付加したデータベースを作成し、前記映像データを評価対象処理方式で処理した結果の検出対象物の位置と、形状と、正解情報とを比較して認識結果の評価を行う車両検出処理の評価支援方法であって、
正解の教示を行うために、入力映像データ中の各フレーム内の対象物侯補による映像の複雑さを判定し、この判定結果に応じて教示方法選択の支援を行い、映像が複雑な順に、信頼度は高いが処理が複雑である選択肢から、より信頼度が低いが、処理が簡便な教示方法として、
映像データ中の各フレームごとに対象物の位置と形状とを教示し、
一定時間間隔、または任意時間間隔での車両位置を真値として教示し、
上記時間間隔中では、前述の真値の教示位置を補間した結果をその区間での教示データとして用い、またはある程度信頼できる認識方式を用いて仮の教示データを作成するものを提示可能であることを特徴とする車両検出処理の評価支援方法。
【請求項４】
映像データ中から車両を検出し、監視、警報を行う方法の性能を評価するために、入力映像を一定サンプリング時間毎に映像データとして蓄積し、この映像データに対して、正解情報、およびシーンの特徴記述を属性値として与えたものとを付加したデータベースを作成し、前記映像データを評価対象処理方式で処理した結果の検出対象物位置、形状と、正解情報とを比較して認識結果の評価を行う車両検出処理の評価支援方法であって、
教示済みの正解データの確認作業を行うために、入力映像データ中の各フレーム内対象物侯補による映像の複雑さと、教示データがどのような手段を用いて教示されたのかに基づいて教示データの信頼度を判定し、その結果に応じて、複数の教示確認方法に優先順位をつけて提示し、ユーザによる選択の支援を行うことを特徴とする車両検出処理の評価支援方法。
【請求項５】
映像データ中から車両を検出し、監視、警報を行う方法の性能を評価するために、入力映像を一定サンプリング時間毎に映像データとして蓄積し、この映像データに対して、正解情報、およびシーンの特徴記述を属性値として与えたものとを付加したデータベースを作成し、前記映像データを評価対象処理方式で処理した結果の検出対象物位置、形状と、正解情報とを比較して認識結果の評価を行う車両検出処理の評価支援方法であって、
教示済みの正解データの確認作業を行うために、入力映像データ中の各フレーム内の対象物侯補による映像の複雑さと、教示データがどのような手段を用いて教示されたのかに基づいて教示データの信頼度を判定し、その結果に応じて、複数の教示確認方法に優先順位をつけて提示し、ユーザによる選択の支援を行い、映像が複雑で、かつ教示時に選択された方法の信頼度が低い順に、より確実だが処理に手間のかかる確認方法から優先的に提示し、その選択肢として、各フレームごとに対象物の位置と形状とを確認するか、あるいは一定フレームをスキップしながらの教示結果を確認するかを提示可能であることを特徴とする車両検出処理の評価支援方法。
【請求項６】
映像データ中から車両を検出し、監視、警報を行う方法の性能を評価するために、入力映像を一定サンプリング時間毎に映像データとして蓄積し、この映像データに対して、正解情報、およびシーンの特徴記述を属性値として与えたものとを付加したデータベースを作成し、前記映像データを評価対象処理方式で処理した結果の検出対象物位置、形状と、正解情報とを比較して認識結果の評価を行う車両検出処理の評価支援方法であって、
天候条件、照明条件、シーン条件等の属性データが付与済みである複数のフレームについて、フレームを代表する画像特徴量を求め、それらについてのシーンごとの代表値の範囲とフレームの前後関係とから、属性未付与フレームに対する属性値を推定し、それら属性未付与のフレームに伝播させることを可能とすることを特徴とすることを特徴とする車両検出処理の評価支援方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、映像データ中から車両を検出し、監視、警報を行う方法の性能を評価するための車両検出処理の評価支援方法に関する。
【０００２】
【従来の技術】
自動車運転時の安全性を向上させる目的で、運転時に計測可能な画像入力センサの計測結果を用いて、警告を発したり運転制御を行って事故を回避するための装置が数多く提案されている。
【０００３】
たとえば、自車前方に設置されたカメラを用いるものとして、走行路前面の単一カメラからの画像解析によって自車線を抽出し走行路逸脱警報を発するためのものや、走行路前面の複数カメラ画像の解析によりステレオの原理を用いて、走行路前面の障害物を検知したり、自車の前走車との距離を計測して追突警報を行うものなどがある。
【０００４】
また、自車後方に設置されたカメラを用いるものとして、自車の後方から接近して自車を追い越す動きのある他車を検知し、接触事故予防のための警報を発する装置などがある。
【０００５】
このような監視、警報装置（以下監視装置）において、種々のシーンの映像を入力とした場合の性能を、再現性良く、定量評価することは、製品仕様を決定する上で非常に重要であるが、そのための方法としては以下のようなものが用いられてきた。
【０００６】
１、  入力映像に対する監視、警報の基準を定性的に決めておき、アナログ、またはディジタルの映像を評価対象である監視装置の入力として与え、装置の出力結果を直接評価者が目視で判定した結果を集計する。
【０００７】
２、  あらかじめ入力映像に対する監視、警報の基準を定性的に決めておき、それにしたがって、たとえば車両を検出すべき、あるいは検出すべきでない複数の時間的に短いシーンを映像編集により集めておいて、これらを入力とした場合の監視装置の出力を集計して求める。
【０００８】
３、  あらかじめ入力映像に対する監視、警報の基準を定性的に決めておき、それにしたがって、入力映像に対する監視装置の出力の正解を映像データに付随させて定量的（すなわち検出有り／なし等）に作成しておき、監視装置の出力と前述の正解データとの比較結果を集計して求める。
【０００９】
上記作業のうち、”監視、警報の基準を決めておく”方法として、画像を用いた物体検出処理の中で抽出される特徴量に対して、あらかじめ信頼度を設定しておいて、実際の物体検出時に求められた特徴量についての信頼度を算出する公知特許として引用文献１が存在する。
【００１０】
また特に上記３項目の作業方法の内、３番目の方法で評価を行う場合には、入力される映像に対して、監視装置の”正解出力を教示する作業”が発生する。このような教示を効率化することを目的とした公知特許として、引用文献２が存在する。
【００１１】
前述したこれら従来技術による評価方法では、以下のような理由から、いずれも評価を行うための評価者の作業量、および作業時間が莫大なものとなるという問題があった。
【００１２】
まず２章の１番目の方法を用いた場合には、評価者は監視装置の入力映像と装置の出力とを同時にしかも長時間にわたって確認し続ける必要があるうえに、同時に瞬間瞬間での評価結果を記録しておく必要がある。
【００１３】
２章の２番目の方法を用いた場合には、評価者は監視装置の入力映像と装置の出力とを同時に確認し続ける必要は無いが、対象とする監視装置がある出力結果を出すと期待される映像シーンを切り出すために、一般に長時間にわたる映像編集作業が必要となる。
【００１４】
２章の３番目の方法を用いた場合には、評価作業自体は、映像シーンに対する正解と監視装置出力とを比較する作業であるから、正解データと監視装置出力の双方が電子的方法等で記録されていれば、機械化することは容易である。一方シーンに付随する正解データの入力作業は、評価に先だって行われるべきであるが、この作業は入力映像を目視で確認しながら正解を記録するというものであり、本質的には、２章の１番目の方法における評価作業と変わりが無い。
以上の理由から、監視装置の”正解出力データ”を事前に登録する作業を効率化することが、評価作業の中で最も工数のかかる部分だと考えられる。
【００１５】
前節に示した引用文献１は、入力映像に対する”正解出力データ”を求めるための中間段階出力である画像特徴量についての”信頼度”を教示しておくものである。ここでは入力映像に対する出力結果を教示するものではないため、教示に際して、入力映像に対する中間段階出力があらかじめ既知である必要があり、本特許で目的としている”監視装置・手法”の性能評価には使用できない。
【００１６】
一方、引用文献２では、移動ロボットの目標位置を効率的に教示する方法を示している点で、直接の監視装置出力を教示するものである。ただし今回特許で提案する”監視装置・手法”の性能評価の情况では、あらかじめオフラインで映像入力に対する”正解出力データ”を教示しておくことを想定しているのに対し、引用文献２では、実稼動中に物理的にロボットの移動位置を教示するために光学的マーカを用いることを提案しているため、今回特許で解決しようとしている情况では用いることができないという問題があった。
【００１７】
【引用文献１】
特願２００１−８４３７７
【引用文献２】
特願２００２−８２７２０
【発明が解決しようとする課題】
この発明は、映像データ中から車両を検出し、監視、警報を行う方法の性能を評価する場合の作業の効率向上と再現性が図れる車両検出処理の評価支援方法を提供することを目的としている。
【００１８】
【課題を解決するための手段】
この発明の車両検出処理の評価支援方法は、映像データ中から車両を検出し、監視、警報を行う方法の性能を評価するために、入力映像を一定サンプリング時間毎に映像データとして蓄積し、この映像データに対して、正解情報、およびシーンの特徴記述を属性値として与えたものとを付加したデータベースを作成し、前記映像データを評価対象処理方式で処理した結果と、正解情報とを比較して認識結果の評価を行うものである。
【００１９】
この発明の車両検出処理の評価支援方法は、映像データ中から車両を検出し、監視、警報を行う方法の性能を評価するために、入力映像を一定サンプリング時間毎に映像データとして蓄積し、この映像データに対して、正解情報、およびシーンの特徴記述を属性値として与えたものとを付加したデータベースを作成し、前記映像データを評価対象処理方式で処理した結果の検出対象物の位置と、形状と、正解情報とを比較して認識結果の評価を行うものであって、正解の教示を行うために、入力映像データ中の各フレーム内の対象物侯補による映像の複雑さを判定し、この判定結果に応じて、複数の教示方法に優先順位をつけてユーザに提示し、教示方法選択の支援を行うものである。
【００２０】
この発明の車両検出処理の評価支援方法は、映像データ中から車両を検出し、監視、警報を行う方法の性能を評価するために、入力映像を一定サンプリング時間毎に映像データとして蓄積し、この映像データに対して、正解情報、およびシーンの特徴記述を属性値として与えたものとを付加したデータベースを作成し、前記映像データを評価対象処理方式で処理した結果の検出対象物位置、形状と、正解情報とを比較して認識結果の評価を行う車両検出処理の評価支援方法であって、教示済みの正解データの確認作業を行うために、入力映像データ中の各フレーム内対象物侯補による映像の複雑さと、教示データがどのような手段を用いて教示されたのかに基づいて教示データの信頼度を判定し、その結果に応じて、複数の教示確認方法に優先順位をつけて提示し、ユーザによる選択の支援を行うものである。
【００２１】
この発明の車両検出処理の評価支援方法は、映像データ中から車両を検出し、監視、警報を行う方法の性能を評価するために、入力映像を一定サンプリング時間毎に映像データとして蓄積し、この映像データに対して、正解情報、およびシーンの特徴記述を属性値として与えたものとを付加したデータベースを作成し、前記映像データを評価対象処理方式で処理した結果の検出対象物位置、形状と、正解情報とを比較して認識結果の評価を行うものであって、天候条件、照明条件、シーン条件等の属性データが付与済みである複数のフレームについて、フレームを代表する画像特徴量を求め、それらについてのシーンごとの代表値の範囲とフレームの前後関係とから、属性未付与フレームに対する属性値を推定し、それら属性未付与のフレームに伝播させることを可能とするものである。
【００２２】
【発明の実施の形態】
以下に、オプティカルフロー検出を基本原理とする車載型映像監視装置によって監視を実施する場合に、この方式を用いて認識結果の性能評価を行うシステムの実施例を説明する。
【００２３】
［１  車両検出装置の評価用途での実施例の全体処理概要］
図１は本システムの実施例の全体構成図であり、映像入力手段１、属性教示用ＧＵＩ２、教示時間範囲指定手段３、映像特徴量算出手段４、教示方法優先度判定手段５、教示方法選択手段６、教示手段（１）７、教示手段（２）８、教示手段（３）９、教示確認方法提示手段１０、教示確認選択手段１１、教示確認手段（１）１２、教示確認手段（２）１３、データベース１４、属性判定特徴量算出手段１５、属性非付与類似フレーム検出手段１６、属性自動付与手段１７、映像監視手段１８、性能算出手段１９である。
【００２４】
本システム中の映像監視手段１８は、例えば自車両の斜め前方から、自車両の前に割り込んでくる車両を、映像データ中から抽出するような”車載映像監視装置”を想定している。検出手法としては、参考文献［１］に示すようなオプティカルフロー手法を用いた手段、または参考文献［２］に示すようなステレオ法によって自車前方の車両侯補の存在、および存在した場合には、その位置（２次元位置）を求めるようなもので良い。したがって、この手段の出力は、自車両斜め前方付近の位置に存在する車両の位置、または形状となる。
【００２５】
本システムは、大きく分けると、以下のような処理機能からなる。
１、  入力映像のディジタイズと蓄積
２、  入力映像への正解教示
３、  正解教示結果の確認
４、  シーンへの属性付与
５、  対象映像監視手段の出力と教示結果とから、性能算出
上記第１ステップ目では、まず車両走行が予想される種々のシーンの映像を収集しておき、これを映像入力手段１によって、ディジタイズ後、シーン名、撮像日時等、概略の検索属性とともにデータベース１４に格納する。
【００２６】
ここに映像は、一定周期Ｔ（たとえば３３ｍｓｅｃ）でサンプリングされ、サンプリングされた各画像（フレーム）が、各画素について所定のｂｉｔ数（モノクロでは８ｂｉｔｓ、カラーではＲ，Ｇ，Ｂ  各８ｂｉｔｓなど）を持つディジタル画像に変換されてファイルとして格納される。この格納ファイルは、前記シーン名、撮像日時、撮像場所、サンプリング周期、ｂｉｔ数等の情報、および映像を表すｂｉｔ列からなっているものであれば、どのような公知のディジタル映像型式でも良いが、上記フレームをそのフレーム番号を指定することで検索、表示できるようなものである必要がある。
【００２７】
次の第２ステップ目では、属性教示用ＧＵＩ２を用いて、ユーザがシステムとコマンドをやりとりし、各フレームごとの正解を教示する。ここでは後述のように、映像の特性にしたがって、システムが教示方法を優先度付きで提示し、ユーザは、このうちから選択した教示方法にしたがって教示を実行する。
【００２８】
ここに属性教示用ＧＵＩ２は、コンピュータ、および映像ｄｉｓｐｌａｙ装置とからなり、映像を連続表示、指定フレーム表示、１フレーム前進表示、１フレーム後退表示などが、メニューにしたがって行え、併せて、前記システムへのコマンドもメニューからの選択、またはダイアログへの入力によって行えるようなものである。
【００２９】
第３ステップ目では、上記第２ステップ目で教示された結果の確認と修整を行う。ここにおいては、属性教示用ＧＵＩ２を用いて、ユーザがシステムとコマンドをやりとりし、前述の確認と修整を行うが、映像の特性、および前のステップにて選択された教示方法とにしたがって、システムが教示結果の確認方法を優先度付きで提示する。したがって、ユーザは前ステップと同様に教示確認方法を前記提示項目の中から選択し、確認を行う。
【００３０】
第４ステップ目では、上記第２ステップ目、第３ステップ目と同様にユーザが属性教示用ＧＵＩ２を用いて、システムとコマンドをやりとりするが、ここでは、主にシーンの検索や性能評価条件を規定するための、属性を付与する。
【００３１】
ここでの属性は、まず対象とする映像の一部についてフレームごとに付与される。ここでこれら属性付与済みシーンについては、映像内の各フレーム中の画像特徴量を計測し、シーンとしてそれら特徴量の代表値を算出しておく。さらに前記で、属性未付与のシーンの各フレームについて、属性付与済みのシーンとの時間の前後関係、映像各フレーム内の画像特徴量と前述の画像特徴量代表値とを比較することで、属性付与済みシーンと同一とみなされる場合には、属性付与済みシーンの属性を自動的に割り付ける。
【００３２】
第５ステップでは、対象とする映像監視手段１８に対して、データベース１４に格納された映像を供給し、フレームごとに映像監視手段１８の出力結果と、あらかじめデータベース１４に格納されていた”正解データ”とを比較し、検出結果の正解／不正解を判定し、ある指定フレーム数内での正解と不正解との統計を計算することで、性能を算出する。（評価対象処理方式）
【００３３】
以下では、前記各ステップのうち、”入力映像への正解教示””正解教示結果の確認”、”シーンへの属性付与”について述べる。
４、１、１  入力映像への正解教示ステップの処理
図２は本実施例の正解データ教示処理の流れ図である。図中で、ユーザとシステムとのＧＵＩでのコマンドのやりとりの流れが示されている。また、図３から図６により、主要なステップにおける表示画面の様子が示される。
【００３４】
まず、データベース１４に格納されている映像ファイルのうち、教示を行うべきものを呼び出し（ＳＴ１）、図３に示す、属性教示用ＧＵＩ２画面に、図４にに示すように、その先頭フレーム画像を表示する（ＳＴ２）。映像ファイルは図中でｆｉｌｅのメニュー内から選択する。この時の内部処理としては、Ｕｎｉｘ等のファイル構造として用いられているｄｉｒｅｃｔｏｒｙ構造をｐｏｐ−ｕｐダイアログ上でｂｒｏｗｓｅしながらファイルを検索する。
【００３５】
つぎに教示範囲を指定するが、本ＧＵＩ上では、図４に示す画面上の”≪”（連続後退）、”＜”（後退）、”｜｜”（停止）、”＞”（前進）、”≫”（連続前進）のメニューを操作して教示したフレームを探す。すなわち”≪”（連続後退）、”≫”（連続前進）が指定された場合には、一定時間ごとにフレームを前進、後退しながら表示を行い、”｜｜”を指定することで、フレーム更新が停止してあるフレームのみを表示しつづけ、”＜”、”＞”では、１フレームずつのみの表示を行う。
【００３６】
上記操作でフレームが指定できたら、以下のメニュー操作で表示範囲を指定し（ＳＴ３）、後述の教示方法選択前処理の起動をシステムに指示する（図５参照）。
教示開始フレーム指定：”ｏｐｅｒａｔｅ”メニュー内のｓｔａｒｔを選択
教示終了フレーム指定：”ｏｐｅｒａｔｅ”メニュー内のｅｎｄを選択
教示方法選択前処理起動：”ｏｐｅｒａｔｅ”メニュー内のｓｅｔを選択
教示方法選択前処理とは、図２中のステップ４、５の”映像特徴量算出”、”教示方法優先度判定”とからなる。この処理の流れを後述する図７に示す。抽出する映像特徴量としては、グレースケール画像の複雑度を用いる。
【００３７】
ここに本実施例においては入力映像の各フレームがグレースケール画像であることを仮定している。そこで複雑度の一例として、まず入力グレースケール画像について以下の特徴量を求め（後述する図８（ａ）〜（ｅ）参照）、それらの線形結合結果を複雑度Ｃとして用いる。
【００３８】
特徴量は、
エッジ複雑度Ｌ（図８の（ｂ）参照）：エッジ抽出結果を固定閾値にて２値化後（ＳＴ２１、２２）、算出した連結領域数［３］（２次元的空間周波数を近似）（ＳＴ２３）。
【００３９】
水平方向複雑度Ｘｓ（図８の（ｃ）（ｄ）参照）：同上のエッジ２値化画像について、Ｘ軸への射影（周辺分布）を求めたとき（ＳＴ２４）、そのＸ軸方向についての標準偏差（ＳＴ２６）。
【００４０】
垂直方向複雑度Ｙｓ（図８の（ｅ）（ｆ）参照）：同上のエッジ２値化画像について、Ｙ軸への射影（周辺分布）を求めたとき（ＳＴ２５）、そのＹ軸方向についての標準偏差（ＳＴ２７）。
また線形結合式は、
Ｃ＝ＣＬ＊Ｌ＋Ｃｘ＊Ｘｓ＋Ｃｙ＊Ｙｓ          （１）
で定義する（ＳＴ２８）。ここにＣＬ，Ｃｘ，Ｃｙはそれぞれスケーリング定数である。
【００４１】
さらに、Ｃ１，Ｃ２をＣ１＞Ｃ２なる閾値としたとき、これら閾値との比較により（ＳＴ２９、３１）、以下のように教示処理を選択する（ＳＴ６）（図６参照）。
Ｃ＞Ｃ１：フレームごとの教示（ＳＴ７、３０）
Ｃ１＞＝Ｃ＞Ｃ２：補間教示（ＳＴ９、３２）
Ｃ２＞＝Ｃ：既存手法の結果による（ＳＴ１１、３３）
ここに、フレームごとの教示では、各フレームを順次表示しながら、車両が存在すると思われる位置に例えば矩形などの図形を描画し、フレームを更新するたびに図形の頂点の座標として、教示結果をデータベース１４に記憶するものであり（ＳＴ８）、図１では、教示手段（３）９として示される。
【００４２】
補間教示とは、画面中に車両が出現するフレームと、画面中から車両が消える前のフレームとで、車両の位置を教示しておき、それらフレームの間のフレームにおいては、座標を補間することによって作成された図形位置を教示結果とするものであり（ＳＴ１０）、図１においては、教示手段（２）８として示される。上述のようなフレーム間での位置補間の一例として、線形補間を用いるものの概念図を図９に示す。
【００４３】
この図９において、（ａ）における時刻ｔ＝ｔ０における抽出対象物教示位置と時刻ｔ＝ｔｎにおける抽出対象物教示位置（図９の（ｃ）参照）とを用いて、時刻ｔ＝ｔｉにおける線形補間結果を求めたものが図９の（ｂ）となる。
既存手法の結果による教示とは、現状評価しようとしている監視手法ではないが、ある程度性能が良いことがわかっている手法があった場合に、かわりにその手法の車両検出結果を用いるものである（ＳＴ１１）。たとえば、現在オプティカルフローによる車両検出位置の評価を行おうとしていた場合に、ステレオ法によって求められた車両検出結果を、教示結果の代用品として用いるということができるものであり、図１においては、教示手段（１）７として示されるものである。
【００４４】
教示結果は、図６に示すように、Ｃ２＞＝Ｃの場合には、”フレーム毎”、”線形補間”、”既存手法”をｐｏｐ−ｕｐ選択ｄｉａｌｏｇの上から下に順に表示するが、Ｃ１＞＝Ｃ＞Ｃ２の場合には、前記と同様の表示だが、”既存手法”の選択肢は網掛け表示を行うことで、ユーザに選択させにくくする。同様にＣ＞Ｃ１の場合には、”フレーム毎”以外の選択肢は網掛け表示を行う。
【００４５】
本ステップでの処理の最後に、システムによる侯補提示順序、およびユーザによって選択された侯補とをデータベース１４上の教示されたファイルの教示対象フレーム範囲に関連づけて記憶する。
【００４６】
［２  正解教示結果の確認ステップの処理］
図１０に本ステップの処理の流れを示す。本実施例においては、確認方法の選択肢としては、確認を行うためのフレームスキップ間隔を選択することとしている。したがって、より信頼度の高い教示が行われていたシーンについては、確認はより広いフレーム間隔ごとに間引いて行っても良いが、信頼度の低い教示を行っていたシーンについては、短いフレーム間隔で詳細に確認をすることをユーザに促す。
【００４７】
図１０にはユーザとシステムとのＧＵＩでのコマンドのやりとりの流れが示され、図１１から図１４には主要なステップにおける表示画面の様子が示される。そして、”映像ファイル読みだし”〜”確認フレーム範囲指定”までのステップ３１からステップ３３（図１１から図１３参照）を、図６のステップ１から３と同様に行った後、データベース１４内部に格納された”表示時侯補提示順序”、および”教示選択侯補”を設定されたフレーム範囲をキーとして検索し、抽出する（ＳＴ３４、３５）。
【００４８】
つぎに確認方法選択（ＳＴ３６）においては、以下図１５中の組み合わせにしたがって、確認時のフレームスキップ数を求める。図１５中で、たとえばＮｅ、Ｎｄ、Ｎｃ、Ｎｂは前記フレームスキップ数として許容される選択肢であり、この順で上からｐｏｐ  ｕｐ  ｄｉａｌｏｇ上に表示されてユーザの選択を促すことを意味する（ＳＴ３７）（図１４参照）。なおこの場合Ｎａは、網掛け表示され、ユーザから選択されにくくなる。
【００４９】
図１５中、Ｎａ＞Ｎｂ＞Ｎｃ＞Ｎｄ＞Ｎｅであり、特にＮｅ＝１（連続フレーム）としてあり、図１中の教示確認手段（１）１２を起動する。すなわち、メニュー中から、”＞”を指定するたびに、次フレームの教示結果が表示され、”＜”が指定されるたびに、前フレームの教示結果が表示される。それ以外の場合は、図１中の教示確認手段（２）１３を起動し、”≫”を指定するたびに、選択したスキップフレーム（Ｎ＝Ｎａ〜Ｎｄ）数のフレーム間隔ごとにフレームを連続前進表示し、”≪”を指定するたびに同様に連続後退表示する。
【００５０】
例えば図１５中の２行、１列目を見ると、システムから提示された教示方法の選択肢として最初に提示された侯補（もっともシステムが勧める教示方法）は”補間教示”であったが、その際にユーザが実際選択した教示方法は”フレーム毎の教示”であったことを示している。この場合には、複雑度からのシステムが推奨する教示方法に対し、ユーザが選択した教示方法の方がより確実性が高いため、教示結果の確認を行うためのスキップフレームの侯補としては、”Ｎｅ、Ｎｄ、Ｎｃ、Ｎｂ”というように、Ｎｅに比べて大きなスキップフレーム”Ｎｂ”などを使用する教示結果確認方法も選択肢として提示される。
【００５１】
反対に、図１５中の１行、２列目では、システムから提示された教示方法の選択肢は”フレーム毎の教示”であったのに対し、その際にユーザが選択した教示方法は”補間教示”であったことを示している。この場合には、複雑度からのシステムが推奨する教示方法は確実性の高い方法を要求しているのに対し、ユーザが選択した教示方法の方が確実性が低いため、教示結果の確認を行うためのスキップフレームの侯補としては、”Ｎｅ、Ｎｄ”というように、”Ｎｅ”と”Ｎｄ”という小さなフレームスキップしか選択できないように提示される。
［３シーンヘの属性付与ステップの処理］
図１６に本ステップの処理の流れを示す。この処理の概略を図２２に示す。
【００５２】
ユーザは、まず映像ファイルを読みだし（ＳＴ４１）、メニュー操作により属性付与を希望するフレームを探す（ＳＴ４２）（図１７、図１８参照）。そして、図６のステップ２、３での処理と同様に、属性付与開始を行うシーンの開始フレーム、終了フレームを指定する（ＳＴ４３、４４）。ここで、”ｏｐｅｒａｔｅ”メニュー内のａｎｎｏｔを選択することにより（図１９、図２０参照）、指定したフレーム範囲内の映像に対して、属性付与を行うためのｐｏｐ  ｕｐ  ｄｉａｌｏｇが起動するので属性を入力する（ＳＴ４５、４６）（図２１参照）。
【００５３】
システムはここで入力された属性をデータベース１４上の映像ファイルの指定フレーム範囲に対応づけして登録する。これに続いて、フレーム範囲内の各画像フレームについて、後述のように画像特徴量を抽出し（ＳＴ４７）、さらにフレーム範囲全体について、この画像特徴量の代表値を算出する（ＳＴ４８）。ここで、この特徴量代表値も属性と同様に指定フレーム範囲に対応づけして登録、格納する（ＳＴ４８）。
【００５４】
ここに特徴量としては、照明、天候、季節、時刻に関係するものとして、ここでは、例えば、各フレームｉ内のグレースケール画像に対する輝度頻度分布ｈｉを用いる。
代表値（ｖｅｃｔｏｒ）としては、輝度頻度分布ｈｉの各フレームについての平均値ＭＨと分散（分散共分散行列）ＶＨを用いる。
【００５５】
一方、フレーム指定範囲入力後に、”ｏｐｅｒａｔｅ”メニュー内のａｕｔｏ−ａｎｎｏｔを選択することにより（ＳＴ４５）、指定フレーム範囲内の各フレームごとに画像特徴量を算出し（ＳＴ４９）、代表値との比較（ＳＴ５０）を以下のように行う。
【００５６】
まず元対象フレームｆ（頻度分布はｈｆ）とｋ番目の属性付与済みシーンの代表値（Ｈｋ）との距離Ｄｋｆを以下のように求める。
【数１】
2004228852.tif 000003
【００５７】
ここで、上記距離が最少となるシーンｊに対する距離値が、あらかじめ求めた距離閾値Ｄｔより小さい場合には、このシーンの属性を現在対象としているフレームに対して自動的に付与する。この処理の概略を図２２に示す。この図２２は、入力画像に対する輝度頻度分布とシーン属性とが時間に沿って表現され、シーンへの自動属性付与処理を説明している。
【００５８】
図中で、時刻Ｔ＝ｔｉからのシーンｉ、時刻ｔ＝ｔｋからのシーンｋにはシーン属性がそれぞれマニュアルで”曇り”、および”晴れ”と設定されていた。一方、時刻Ｔｆにおいては、フレームにシーン属性は付与されていないため、各シーンとの間で式２に示す距離計算を行い、その値が最小となるシーンｉの属性を強制的に時刻ｔ＝ｆに付与している。また、上記において、現在の注目フレームが、ある属性付与済みシーン中の任意のフレームと時間閾値Ｔｔ以下だった場合には、距離計算は以下のように行う。
【数２】
2004228852.tif 000004
【００５９】
ここに
１＞Ｃｔ＞０                        （４）
なる定数とする。
【００６０】
実施例の効果
映像を用いた車両用監視システムにおいて、種々のシーンの映像を入力とした場合の性能を再現性良く、定量評価することは、製品仕様を決定する上で非常に重要であるが、評価を行う場合に評価者には、
監視装置の入力映像と装置出力とを同時にしかも長時間にわたって確認し続ける必要があるうえに、瞬間瞬間での評価結果を記録する必要がある。
【００６１】
長時間にわたる映像鶏集作業が必要となる。
正解データの入力作業においても、入力映像を目視で確認しながら正解を記録する必要がある。
このように、手間のかかる作業を長時間に渡って要求される。
したがって、このような作業を全体として見た場合に、この発明の第１のポイントとして、入力が想定される映像シーンに、処理結果の期待値（正解情報）を付与した上であらかじめ格納しておき、映像データを評価対象処理方式で処理した結果と、正解情報とを比較して認識結果の評価を自動的に行うこととで作業の効率向上と再現性が計れる。
【００６２】
ここで全体的な評価作業の中で、最も評価者の工数を必要とするものが、”正解教示”であろうと考えられる。
【００６３】
そこで発明の第２のポイントとして、入力作業工数の多さを入力映像の複雑さから判定し、複雑さに応じて”教示”方法を”簡便かつ信頼度の若干劣るもの”から、”手間がかかるが信頼度の高いもの”へと、可変できるインタフェースをユーザに提供することで、効率向上を計ることができる。一方で、”正解教示”自体にもヒューマンエラーの入る余地があるため、教示済みデータの確認は必要な処理となるが、前述のように”簡便な教示方法”によって入力された場合には教示自体の信頼度が低くなる場合が考えられる。
【００６４】
そこで、発明の第３のポイントとして、あらかじめ入力映像の複雑さと、どのような教示が行われたかにしたがって、順序づけされた教示結果確認方法の侯補を、ユーザに対して提示することにより、”教示済みデータ”の確認における効率を向上するとともに、信頼度向上も計ることができる。
【００６５】
さらに、”正解データ”以外の天候、照明等の条件を入力映像データに付与しておくことで、シーン検索によって、特定条件シーンにおける性能評価を行うことが可能となるが、発明の第４のポイントとして、ある少ないシーンのみにおいて、上述の検索条件を手動にて付与し、それらについての画像特徴量の代表値を統計的に自動算出し、未属性付与フレームについての同上の画像特徴量と比較することで、既条件付与シーンの属性代表値と未属性付与フレームの画像特徴量が近かかった場合に、その未属性付与フレームについても既条件付与シーンと同一の条件を自動付与することで、やはり手間のかかる検索条件のデータベース入力作業を半自動化でき、著しく効率を向上することができる。
参考文献
［１］  後側方監視特開２０００−１１１３３，  移動物体検出装置及びその方法
［２］  前方監視特開平７−３３４６７９，  領域抽出装置
［３］  高木，  下田，  画像解析ハンドブック，  ｐｐ５７８，  Ｊａｎ  １９９１
【発明の効果】
以上詳述したように、この発明によれば、映像データ中から車両を検出し、監視、警報を行う方法の性能を評価する場合の作業の効率向上と再現性が図れる車両検出処理の評価支援方法を提供できる。
【図面の簡単な説明】
【図１】この発明の実施形態を説明するための車載型映像監視装置の認識結果の性能評価を行うシステムの概略構成を示す図。
【図２】正解データ教示処理を説明するためのフローチャート。
【図３】ファイルのメニュー画面の表示例を示す図。
【図４】ファイルのメニュー画面の表示例を示す図。
【図５】ファイルのメニュー画面の表示例を示す図。
【図６】ファイルのメニュー画面の表示例を示す図。
【図７】正解データ教示方法の選択前処理を説明するためのフローチャート。
【図８】複雑度算出用特徴量の概念図。
【図９】線形補間教示の概念図。
【図１０】正解教示結果確認処理を説明するためのフローチャート。
【図１１】ファイルのメニュー画面の表示例を示す図。
【図１２】ファイルのメニュー画面の表示例を示す図。
【図１３】ファイルのメニュー画面の表示例を示す図。
【図１４】ファイルのメニュー画面の表示例を示す図。
【図１５】正解教示結果確認時のスキップフレーム数算出ルールを示す図。
【図１６】シーンへの属性付与ステップの処理を説明するためのフローチャート。
【図１７】ファイルのメニュー画面の表示例を示す図。
【図１８】ファイルのメニュー画面の表示例を示す図。
【図１９】ファイルのメニュー画面の表示例を示す図。
【図２０】ファイルのメニュー画面の表示例を示す図。
【図２１】ファイルのメニュー画面の表示例を示す図。
【図２２】シーンへの自動属性付与処理の概略を示す図。
【符号の説明】
１…映像入力手段、２…属性教示用ＧＵＩ、３…教示時間範囲指定手段、４…映像特徴量算出手段、５…教示方法優先度判定手段、６…教示方法選択手段、７…教示手段（１）、８…教示手段（２）、９…教示方法優先度判定手段、１０…教示確認方法提示手段、１１…教示確認選択手段、１２…教示確認手段（１）、１３…教示確認手段（２）、１４…データベース、１５…属性判定特徴量算出手段、１６…属性非付与類似フレーム検出手段、１７…属性自動付与手段、１８…１９…映像監視手段。
【図１】
2004228852.tif 000005
【図２】
2004228852.tif 000006
【図３】
2004228852.tif 000007
【図４】
2004228852.tif 000008
【図５】
2004228852.tif 000009
【図６】
2004228852.tif 000010
【図７】
2004228852.tif 000011
【図８】
2004228852.tif 000012
【図９】
2004228852.tif 000013
【図１０】
2004228852.tif 000014
【図１１】
2004228852.tif 000015
【図１２】
2004228852.tif 000016
【図１３】
2004228852.tif 000017
【図１４】
2004228852.tif 000018
【図１５】
2004228852.tif 000019
【図１６】
2004228852.tif 000020
【図１７】
2004228852.tif 000021
【図１８】
2004228852.tif 000022
【図１９】
2004228852.tif 000023
【図２０】
2004228852.tif 000024
【図２１】
2004228852.tif 000025
【図２２】
2004228852.tif 000026