(57)【要約】  本発明は、映像中の劣化した画像から抽出した特徴量に基づく検索対象であるオブジェクトの検索精度の低下を抑制する映像処理装置である。映像処理装置は、映像中から画像劣化の指標となる画像領域の画像を抽出して、画像領域の画像の画像劣化の度合いを推定する画像劣化推定部と、映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出部と、検索対象となるオブジェクトの特徴量を格納する特徴量データベースと、オブジェクトを映像中から検索する際に、抽出された特徴量と格納された特徴量とのマッチングを、画像劣化推定部が推定した画像劣化の度合いに基づいて制御するマッチング部と、を備える。
2015025704.tif 000002
【特許請求の範囲】
【請求項１】
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定手段と、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出手段と、
前記検索対象となるオブジェクトの特徴量を格納する特徴量データベースと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定手段が推定した画像劣化の度合いに基づいて制御するマッチング手段と、
を備える映像処理装置。
【請求項２】
前記オブジェクトの特徴量は、前記オブジェクトが有する模様の特徴量である請求項１に記載の映像処理装置。
【請求項３】
前記画像劣化推定手段は、前記オブジェクトが有する模様の種類に対応して、異なる度合いの画像劣化を推定する請求項２に記載の映像処理装置。
【請求項４】
前記オブジェクトの特徴量は、前記オブジェクトが有する色の特徴量をさらに含み、
前記マッチング手段は、前記画像劣化により前記模様の特徴量によるマッチングの信頼度が低下する場合に、前記色の特徴量によるマッチングを行なうように制御する請求項２または３に記載の映像処理装置。
【請求項５】
前記画像領域は、前記検索対象となるオブジェクトの一部である請求項１乃至４のいずれか１項に記載の映像処理装置。
【請求項６】
前記検索対象となるオブジェクトは人物であり、
前記画像劣化推定手段は、人物画像の一部である顔画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記人物の服または携帯物の特徴量である、請求項５に記載の映像処理装置。
【請求項７】
前記検索対象となるオブジェクトは車両であり、
前記画像劣化推定手段は、車両画像の一部であるナンバープレート画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記車両の車体または取付物ないし積載物の特徴量である、請求項５に記載の映像処理装置。
【請求項８】
前記画像領域は、前記映像中の特定領域である請求項１乃至７のいずれか１項に記載の映像処理装置。
【請求項９】
前記画像劣化推定手段は、既知の標識画像のエッジから画像劣化の度合いを推定する請求項８に記載の映像処理装置。
【請求項１０】
前記画像劣化推定手段は、既知のフラット画像の画素のばらつきから画像劣化の度合いを推定する請求項８に記載の映像処理装置。
【請求項１１】
前記画像劣化推定手段は、前記映像中から画像劣化の要因を認識して、前記要因に基づいて画像劣化の度合いを推定する請求項１乃至１０のいずれか１項に記載の映像処理装置。
【請求項１２】
少なくとも、前記画像劣化の度合いと、前記抽出した特徴量と、前記マッチングの結果との組み合わせを前記特徴量データベースにフィードバックする請求項１乃至１１のいずれか１項に記載の映像処理装置。
【請求項１３】
前記マッチング手段は、前記画像劣化の度合いと前記抽出した特徴量との、少なくとも２つの組み合わせをマッチングする請求項１乃至１２のいずれか１項に記載の映像処理装置。
【請求項１４】
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定ステップと、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出ステップと、
前記検索対象となるオブジェクトの特徴量を特徴量データベースに格納する格納ステップと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定ステップにおいて推定した画像劣化の度合いに基づいて制御するマッチングステップと、
を含む映像処理方法。
【請求項１５】
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定ステップと、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出ステップと、
前記検索対象となるオブジェクトの特徴量を特徴量データベースに格納する格納ステップと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定ステップにおいて推定した画像劣化の度合いに基づいて制御するマッチングステップと、
をコンピュータに実行させる映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中から対象とするオブジェクトを検索する技術に関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、映像中から、服装クエリーテキストで指定した色あるいは模様の服装をした人物を検索する技術が開示されている。また、特許文献２には、映像中の人物の服装の色あるいは模様の特徴量を、あらかじめ記憶した色あるいは模様の特徴量と比較して、エリアセキュリティーを判定する技術が開示されている。そして、非特許文献１には、映像中から人物位置を頭部により検出し、胴体モデルの上半身の色および模様の特徴量を人物特徴量として抽出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開ＷＯ２０１１／０４６１２８号公報
【特許文献２】特開２０１０−１９８２０７号公報
【非特許文献】
【０００４】
【非特許文献１】高橋祐介、平川康史、大網  亮磨、「プライバシーを考慮した人物特徴量抽出方式の検討」、映像情報メディア学会技術報告、３６（１８）、２３−２６、２０１２−０３−２３
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記文献に記載の技術では、カメラで取得した映像中の画像そのものが、カメラのぶれなどの機器状態、あるいは、天候などの撮像環境により劣化することが考慮されていない。その結果、映像中の劣化した画像から抽出した特徴量に基づく人物の検索精度が低下する、という問題に対処ができなかった。【０００６】
本発明の目的は、上述の課題を解決し、映像中の劣化した画像から抽出した特徴量に基づく検索対象であるオブジェクトの検索精度の低下を抑制する技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る映像処理装置は、
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定手段と、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出手段と、
前記検索対象となるオブジェクトの特徴量を格納する特徴量データベースと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定手段が推定した画像劣化の度合いに基づいて制御するマッチング手段と、
を備える。【０００８】
上記目的を達成するため、本発明に係る映像処理方法は、
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定ステップと、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出ステップと、
前記検索対象となるオブジェクトの特徴量を特徴量データベースに格納する格納ステップと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定ステップにおいて推定した画像劣化の度合いに基づいて制御するマッチングステップと、
を含む。【０００９】
上記目的を達成するため、本発明に係る映像処理プログラムは、
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定ステップと、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出ステップと、
前記検索対象となるオブジェクトの特徴量を特徴量データベースに格納する格納ステップと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定ステップにおいて推定した画像劣化の度合いに基づいて制御するマッチングステップと、
をコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、映像中の劣化した画像から抽出した特徴量に基づく検索対象であるオブジェクトの検索精度の低下を抑制することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態に係る映像処理装置の構成を示すブロック図である。
【図２】本発明の第２実施形態に係る映像処理装置の処理概要を示す図である。
【図３】本発明の第２実施形態に係る映像処理装置を含む映像処理システムの構成を示すブロック図である。
【図４Ａ】本発明の第２実施形態に係る映像処理装置の機能構成を示すブロック図である。
【図４Ｂ】本発明の第２実施形態に係る映像処理装置の人物特徴量ＤＢの構成を示す図である。
【図４Ｃ】本発明の第２実施形態に係る検索人物マッチング部が使用する人物マッチングテーブルの構成を示す図である。
【図４Ｄ】本発明の第２実施形態に係る映像選別部が使用する映像選別テーブルの構成を示す図である。
【図５Ａ】本発明の第２実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図５Ｂ】本発明の第２実施形態に係る服マッチング部の服特徴量ＤＢの構成を示す図である。
【図６】本発明の第２実施形態に係る服マッチング部の顔検出部の機能構成を示すブロック図である。
【図７Ａ】本発明の第２実施形態に係る服マッチング部の第１例の顔画像劣化量推定部の機能構成を示すブロック図である。
【図７Ｂ】本発明の第２実施形態に係る服マッチング部の第２例の顔画像劣化量推定部の機能構成を示すブロック図である。
【図７Ｃ】本発明の第２実施形態に係る顔画像劣化量推定部が使用する顔画像劣化量推定テーブルの構成を示す図である。
【図８Ａ】本発明の第２実施形態に係る服マッチング部の服特徴量マッチング部の機能構成を示すブロック図である。
【図８Ｂ】本発明の第２実施形態に係る服特徴量マッチング部が使用する服特徴量マッチングテーブルの構成を示す図である。
【図９】本発明の第２実施形態に係る映像処理装置のハードウェア構成を示すブロック図である。
【図１０】本発明の第２実施形態に係る映像処理装置の処理手順を示すフローチャートである。
【図１１Ａ】本発明の第２実施形態に係る服マッチング処理の手順を示すフローチャートである。
【図１１Ｂ】本発明の第２実施形態に係る画像劣化推定処理の手順を示すフローチャートである。
【図１１Ｃ】本発明の第２実施形態に係る特徴量抽出処理の手順を示すフローチャートである。
【図１１Ｄ】本発明の第２実施形態に係る特徴量マッチング処理の手順を示すフローチャートである。
【図１２】本発明の第３実施形態に係る映像処理装置の処理概要を示す図である。
【図１３Ａ】本発明の第３実施形態に係る映像処理装置の機能構成を示すブロック図である。
【図１３Ｂ】本発明の第３実施形態に係る検索車両マッチング部が使用する車両マッチングテーブルの構成を示す図である。
【図１４Ａ】本発明の第３実施形態に係る映像処理装置の車体マッチング部の機能構成を示すブロック図である。
【図１４Ｂ】本発明の第３実施形態に係る車体マッチング部の車体特徴量ＤＢの構成を示す図である。
【図１４Ｃ】本発明の第３実施形態に係る車体マッチング部のナンバープレート検出部の機能構成を示すブロック図である。
【図１５】本発明の第４実施形態に係る映像処理装置の処理概要を示す図である。
【図１６Ａ】本発明の第４実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図１６Ｂ】本発明の第４実施形態に係る服マッチング部の標識抽出部の機能構成を示すブロック図である。
【図１６Ｃ】本発明の第４実施形態に係る標識画像劣化量推定部が使用する標識画像劣化量推定テーブルの構成を示す図である。
【図１７】本発明の第５実施形態に係る映像処理装置の処理概要を示す図である。
【図１８Ａ】本発明の第５実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図１８Ｂ】本発明の第５実施形態に係るフラット画像劣化量推定部が使用するフラット画像劣化量推定テーブルの構成を示す図である。
【図１９】本発明の第６実施形態に係る映像処理装置の処理概要を示す図である。
【図２０Ａ】本発明の第６実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図２０Ｂ】本発明の第６実施形態に係る推定劣化量選択部が使用する推定劣化量選択テーブルの構成を示す図である。
【図２１Ａ】本発明の第７実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図２１Ｂ】本発明の第７実施形態に係る画像劣化量推定部が使用する画像劣化量推定テーブルの構成を示す図である。
【図２２】本発明の第８実施形態に係る映像処理装置の処理概要を示す図である。
【図２３】本発明の第８実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図２４】本発明の第８実施形態に係る制定劣化量算出部が使用する推定劣化量算出テーブルの構成を示す図である。
【図２５Ａ】本発明の第９実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図２５Ｂ】本発明の第９実施形態に係る服マッチング部の服特徴量ＤＢの構成を示す図である。
【図２６】本発明の第１０実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図２７Ａ】本発明の第１０実施形態に係る服マッチング部の服特徴量マッチング部の機能構成を示す図である。
【図２７Ｂ】本発明の第１０実施形態に係る服特徴量マッチング部が使用する服特徴量マッチングテーブルの構成を示す図である。
【発明を実施するための形態】
【００１２】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１３】
本明細書で使用される「検索対象であるオブジェクト」としては、特徴を有する人物や車両が含まれるが、これに限定されず、映像中から検索したい対象を全て含む概念である。例えば、人物の着る服や人物の携帯物として特定のカバンなどをオブジェクトとしても、車両の取付物や積載する荷物をオブジェクトとしてもよい。すなわち、検索しようとする全ての対象物がオブジェクトとなり得る。
【００１４】
［第１実施形態］
本発明の第１実施形態としての映像処理装置１００について、図１を用いて説明する。映像処理装置１００は、映像中から対象とするオブジェクトを検索する装置である。
【００１５】
図１に示すように、映像処理装置１００は、画像劣化推定部１０１と、特徴量抽出部１０２と、特徴量データベース１０３と、マッチング部１０４と、を含む。画像劣化推定部１０１は、映像中から画像劣化の指標となる画像領域の画像を抽出して、画像領域の画像の画像劣化の度合いを推定する。特徴量抽出部１０２は、映像中から検索対象となるオブジェクトの特徴量を抽出する。特徴量データベース１０３は、検索対象となるオブジェクトの特徴量を格納する。マッチング部１０４は、オブジェクトを映像中から検索する際に、抽出された特徴量と格納された特徴量とのマッチングを、画像劣化推定部１０１が推定した画像劣化の度合いに基づいて制御する。
【００１６】
本実施形態によれば、映像中の劣化した画像から抽出した特徴量に基づく検索対象であるオブジェクトの検索精度の低下を抑制することができる。
【００１７】
［第２実施形態］
次に、本発明の第２実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、映像中からオブジェクトとして人物を検索して、その人物が写った映像を選別する。また、本実施形態においては、人物を検索する特徴量の１つとして人物が有する服の色や模様の特徴量あるいは携帯物の色や模様の特徴量などを使用する。そして、画像劣化の度合いを映像中の検索対象となる人物の一部である顔画像の輪郭または顔領域内に含まれるパターンやエッジなどから推定し、推定画像劣化量に基づいて、例えば服特徴量マッチングを制御する。
【００１８】
ここで、画像劣化量とは、検索対象となるオブジェクトの画像の劣化の度合いを表す指標であり、劣化の要因（例えば、ぼけやぶれ、逆光など）ごとに定義されていてもよいし、要因ごとに求めた値から、要因ごとによらない抽象化した値に変換したものであってもよい。例えば、ぼけの場合には、推定される点広がり関数のパラメータの値でぼけの度合いを表現できるが、このパラメータと対応付けて画像劣化量を定義してもよい。あるいは、このパラメータそのものを画像劣化量として定義してもよい。なお、ぼけの度合いの記述方法はこの方式に限定されず、他の方法であってもよい。
【００１９】
《映像処理装置の処理概要》
図２は、本実施形態に係る映像処理装置２００の処理概要を示す図である。
【００２０】
映像処理装置２００は、種々の映像２１１〜２１ｎの映像データから特徴ある人物を検索する。例えば、映像２４０からドクロ模様の服を着た人物２４１を特定して、人物２４１が映った映像を選別する。この人物検索において、人物が着る服の色や模様などの特徴を特徴量として抽出して、あらかじめ格納された服の色や模様などの特徴量２２０と服特徴量マッチング部２３０においてマッチングして人物を特定する。
【００２１】
この時に、映像２１１〜２１ｎは、カメラの状態（例えば、ぶれや焦点ずれなど）によって画像劣化が発生したり、天候などの撮像環境（例えば、霧や雨滴、あるいは逆光など）によって画像劣化が発生したりする。図２において、映像２１１は画像劣化のない映像、映像２１２は霧による画像劣化がある映像、映像２１ｎはぶれや焦点ずれによる画像劣化がある映像である。かかる画像劣化の映像から、人物の服の模様を特徴量としてマッチングを行なうと、特徴量の精度劣化により人物検索の信頼性が低下することになる。例えば、ストライプや水玉あるいは格子模様の服であれば、画像劣化により線や水玉が明確に分離して認識されなくなる。一方、もともとぼやけた模様の服を着ている人物を検索対象と認識してしまうこともあり得る。
【００２２】
本実施形態においては、服の模様を１つの特徴量として、人物検索の特徴量マッチングを行なう場合に、服の模様の特徴量マッチングの精度が低下しやすい画像劣化の度合いを、顔画像の比較から推定して推定劣化量を生成する。そして、特徴量マッチングにおいて、推定劣化量に対応してマッチングの信頼度を生成して通知する。あるいは、推定劣化量が所定閾値を超えて信頼度が著しく低下した場合には、例えば、服の模様の特徴量マッチングは行なわずに、特徴量マッチングの信頼度が低下しない、例えば、服の色の特徴量マッチングの結果を採用する。なお、中間の状態では、それぞれの特徴量マッチングに重み付けをしてマッチング結果を生成する。
【００２３】
このように処理することにより、画像劣化の発生による特徴量マッチングの精度低下を防ぎ、画像劣化においても人物検索の精度を維持する。
【００２４】
《システム構成》
図３は、本実施形態に係る映像処理装置２００を含む映像処理システム３００の構成を示すブロック図である。
【００２５】
映像処理システム３００は、監視用のカメラ３１０と、映像送信部３２０と、ネットワーク３３０と、本実施形態の映像処理装置２００と、を有する。映像送信部３２０は、カメラ３１０が撮像した映像を、ネットワーク３３０を介して、映像処理装置２００に送信する。なお、映像送信部３２０は、カメラ３１０と一体でもよい。本実施形態の映像処理装置２００は、図２で示したように、カメラ３１０からの映像から検索対象であるオブジェクト（本例では、人物）を検索して、オブジェクトを含む映像を選別（例えば類似度が一定以上のものを選別）する。また、選別した映像からさらにオブジェクトを解析するようにしてもよい。なお、本実施形態においては、選別した映像からさらにオブジェクトを解析する処理については、詳説しない。
【００２６】
《映像処理装置の機能構成》
図４Ａは、本実施形態に係る映像処理装置２００の機能構成を示すブロック図である。
【００２７】
映像処理装置２００は、複数のマッチング部４０１〜４０３と、人物特徴量ＤＢ４０４と、検索人物マッチング部４０５と、映像蓄積部４０６とを備える。さらに、映像処理装置２００は、破線で示した映像選別部４０７も備えていてもよい。複数のマッチング部４０１〜４０３は、例えば、検索人物の顔によるマッチングを行なう顔マッチング部４０１と、検索人物の服によるマッチングを行なう服マッチング部４０２と、検索人物の携帯物によるマッチングを行なう携帯物マッチング部４０３と、を含む。人物特徴量ＤＢ４０４は、複数のマッチング部４０１〜４０３に、あらかじめ格納されたマッチングのための人物のそれぞれの特徴量を提供する。映像蓄積部４０６は、カメラ３１０から送信された映像を検索可能に蓄積する。検索人物マッチング部４０５は、複数のマッチング部４０１〜４０３のマッチング結果を組み合わせて、映像中の人物を検索する。映像選別部４０７は、検索人物マッチング部４０５によりマッチングした人物を含む映像を、映像蓄積部４０６から取り出して、解析などの次の処理に送る。なお、選別する映像は、映像単位、時間単位、あるいは検索人物を含む映像であってもよい。
【００２８】
（人物特徴量ＤＢ）
図４Ｂは、本実施形態に係る映像処理装置２００の人物特徴量ＤＢ４０４の構成を示す図である。人物特徴量ＤＢ４０４は、人物検索において種々のマッチングに使用される特徴量を格納する。なお、人物特徴量ＤＢ４０４の構成は、図４Ｂに限定されない。例えば、特徴量は、テキスト形式で数値化されたデータでなくてもよく、バイナリデータとして格納するようになっていてもよい。例えばＭＰＥＧ−７で規格化された特徴量形式のバイナリデータであってもよい。また、顔特徴量は目鼻口などの個々の部分領域ごとに特徴化されていなくてもよく、顔全体として特徴量化されていてもよい。
【００２９】
人物特徴量ＤＢ４０４は、検索するマッチングオブジェクトＩＤ（本例では、検索する人物ＩＤ）に対応付けて、使用される特徴量を格納する。例えば、顔マッチングに使用される顔特徴量４１２、服マッチングに使用される服特徴量４１３、携帯物マッチングに使用される携帯物特徴量４１４、姿（体形）マッチングに使用される姿（体形）特徴量４１５などを格納する。
【００３０】
（人物マッチングテーブル）
図４Ｃは、本実施形態に係る検索人物マッチング部４０５が使用する人物マッチングテーブル４０５ａの構成を示す図である。人物マッチングテーブル４０５ａは、種々のマッチング結果からトータルの人物検索を行なうために、検索人物マッチング部４０５が使用するテーブルである。ここでは、便宜上、テーブル形式で記述した例を示すが、マッチング結果の格納は、必ずしもテーブル形式で行う必要はなく、同等の内容を格納可能な任意の形式（例えば、これらの値を格納するための変数を有する構造体など）でもよい。
【００３１】
人物マッチングテーブル４０５ａは、各マッチング特徴量ＩＤ４２１に対応付けて、各マッチング部４０１〜４０３において抽出された抽出特徴量４２２と、それぞれのマッチング結果４２３と、マッチング結果の信頼度４２４と、を記憶する。そして、人物マッチングテーブル４０５ａは、それらを考慮したトータルマッチング結果４２５を記憶する。
【００３２】
（映像選別テーブル）
図４Ｄは、本実施形態に係る映像選別部４０７が使用する映像選別テーブル４０７ａの構成を示す図である。映像選別テーブル４０７ａは、検索人物マッチング部４０５のトータルマッチング結果から検索人物である信頼度が所定閾値より高ければ、その検索人物を含む映像の選別を行なうために、映像選別部４０７が使用するテーブルである。ここでは、便宜上、テーブル形式で記述した例を示すが、選別結果の格納は、図４Ｃと同様に、必ずしもテーブル形式でなくてもよい。
【００３３】
映像選別テーブル４０７ａは、映像ＩＤ４３１に対応付けて、検索する追跡人物ＩＤ４３２と、トータルのマッチング結果４３３と、映像選別結果４３４と、を記憶する。映像選別結果４３４には、選別あるいは非選別を記憶するが、例えば、後続の解析時に使用できるように信頼度を付してもよい。すなわち、後続の解析処理を行う際に、信頼度情報を見て、映像を用いるかどうかをそのときに判断するようにしてもよい。
【００３４】
《服マッチング部の機能構成》
図５Ａは、本実施形態に係る映像処理装置２００の服マッチング部４０２の機能構成を示すブロック図である。以下、本実施形態においては、服マッチング部４０２を主に説明するが、他のマッチング部の構成も同様である。本実施形態においては、服マッチングにおいて画像劣化の影響を受ける服の模様について詳細に説明する。しかしながら、他のマッチング部における画像劣化の影響を受ける特徴量についても、服の模様と同様の処理が可能である。
【００３５】
服マッチング部４０２は、顔検出部５０１と、顔画像劣化量推定部５０２と、服特徴量抽出部５０３と、服特徴量ＤＢ５０４と、服特徴量マッチング部２３０と、を備える。顔検出部５０１は、映像から人物の顔を検出する。顔画像劣化量推定部５０２は、顔検出部５０１が検出した顔画像から画像劣化量を推定する。なお、顔検出部５０１と顔画像劣化量推定部５０２とにより、本実施形態の画像劣化推定部を構成する。服特徴量抽出部５０３は、映像蓄積部４０６から読み出された映像に映った人物の服の特徴量を抽出する。服特徴量ＤＢ５０４は、服特徴量抽出部５０３が抽出した特徴量とマッチングするための、検索用の服の特徴量を格納する。なお、服特徴量ＤＢ５０４は、図４Ａの人物特徴量ＤＢ４０４と共用であっても、人物特徴量ＤＢ４０４から取得した服の特徴量を格納してもよい。服特徴量マッチング部２３０は、服特徴量抽出部５０３が抽出した特徴量と服特徴量ＤＢ５０４に格納された特徴量とをマッチングして、マッチした場合は服マッチング結果を、検索人物マッチング部４０５に出力する。
【００３６】
（服特徴量ＤＢ）
図５Ｂは、本実施形態に係る服マッチング部４０２の服特徴量ＤＢ５０４の構成を示す図である。服特徴量ＤＢ５０４は、人物検索のための服マッチング用の服の特徴量を人物特徴量ＤＢ４０４から取得して格納する。なお、服特徴量ＤＢ５０４の構成は、図５Ｂに限定されない。例えば、色はＨＳＶヒストグラムや代表色特徴量、模様はエッジヒストグラムやガボールウェーブレット特徴など、バイナリの特徴量データを格納するようになっていてもよい。
【００３７】
服特徴量ＤＢ５０４は、検索人物の服を識別するための特徴量テーブル５１０と、マッチング結果への画像劣化の影響を格納する画像劣化テーブル５２０と、を含む。なお、本実施形態においては、画像劣化テーブル５２０は、服特徴量ＤＢ５０４に格納されて、服特徴量マッチング部２３０がマッチングを制御するために使用するが、服特徴量マッチング部２３０や顔画像劣化量推定部５０２に格納されていてもよい。
【００３８】
特徴量テーブル５１０は、検索人物の服を識別する検索服ＩＤ５１１に対応付けて、服マッチングに使用される色特徴量５１２と、模様特徴量５１３と、形状特徴量５１４と、を格納する。一方、画像劣化テーブル５２０は、服マッチングの特徴量対象５２１に対応付けて、判定信頼度５２３を格納する。また、特徴量テーブル５１０は、信頼度低下要因５２２と、マッチング時の重み付け５２４も格納してもよい。ここで、信頼度低下要因とは、信頼度が低下した要因が推定可能な場合に、その推定結果を格納するものである。例えば、ぶれが要因と推定される場合には、そのことを示す情報を記述する。なお、画像劣化の影響が大きく人物検索には使用されない場合には、マッチング時の重み付け５２４にゼロが格納されて、かかる特徴量は人物検索には使用しない。また、画像劣化テーブル５２０では、特徴量対象の詳細に対して信頼度を判定するようになっているが、詳細まで分かれていなくてもよく、色、模様、形状といった対象の単位ごとに算出するようになっていてもよい。
【００３９】
（顔検出部）
図６は、本実施形態に係る服マッチング部４０２の顔検出部５０１の機能構成を示すブロック図である。顔検出部５０１は、映像蓄積部４０６からの映像から顔を検出する。
【００４０】
顔検出部５０１は、顔画像特徴点抽出部６０１と、顔検出用ＤＢ６０２と、顔画像抽出部６０３と、を備える。顔画像特徴点抽出部６０１は、映像中から顔の輪郭、顔の色、顔の部位（眉毛、目、鼻、口など）の特徴点を抽出して、顔検出用ＤＢ６０２に格納された特徴点とマッチングして、顔領域であることを判定する。顔検出用ＤＢ６０２は、顔画像であることを示す特徴点を格納する。顔画像抽出部６０３は、顔画像特徴点抽出部６０１で顔領域と判定された領域の画像を顔画像として抽出する。なお、ここで述べた顔検出方法はあくまでも一例であり、これ以外の顔検出方法を用いてもよい。例えば、顔画像の特徴を学習させたニューラルネットワークに画像を直接入力し、個別の特徴点を検出することなく、入力された画像が顔かどうかを判定するようにしてもよい。
【００４１】
なお、顔検出用ＤＢ６０２には、種々の特徴ある顔画像の輪郭やエッジ、例えば、日本人と外人、男性と女性、大人と子供の顔画像の輪郭やエッジを格納してもよい。また、検出する顔画像は、映像中に存在するどの顔画像でもよいが、複数の顔画像が検出された場合は、顔検出部５０１において、所定サイズの顔画像（カメラからの距離に対応する）を選択したり、他のマッチングにより検索人物候補となった人物の顔画像を選択したりしてもよい。あるいは、複数の顔画像について顔画像劣化量推定部５０２に出力し、顔画像劣化量推定部５０２において複数の顔画像の平均劣化量を算出したり、劣化量の推定に適した顔画像を選択したりしてもよい。
【００４２】
（顔画像劣化量推定部）
図７Ａは、本実施形態に係る服マッチング部４０２の第１例の顔画像劣化量推定部５０２Ａの機能構成を示すブロック図である。顔画像劣化量推定部５０２Ａは、顔検出部５０１が検出した顔画像から画像劣化量を推定する。
【００４３】
顔画像劣化量推定部５０２Ａは、顔画像比較部７０１と、顔画像ＤＢ７０２と、劣化量算出部７０３と、を備える。顔画像比較部７０１は、顔検出部５０１が検出した顔画像の輪郭やエッジなどを、顔画像ＤＢ７０２に格納された標準の顔画像の輪郭やエッジなどと比較して、その相違量、例えばシャープさの違いなどを出力する。顔画像ＤＢ７０２は、標準の顔画像の輪郭やエッジなどを格納する。なお、実際には、各カメラが撮像する環境における標準の顔画像と比較するのが望ましいので、あらかじめ各カメラで撮像した顔画像の輪郭やエッジなどを格納しておき、撮像場所に対応づけられた映像ＩＤを用いて標準の顔画像を選択してもよい。また、撮像場所に対応する標準の顔画像、あるいはその顔から抽出した輪郭やエッジなどの特徴量を、映像ＩＤを用いて選択して顔画像ＤＢ７０２にダウンロードしてもよい。劣化量算出部７０３は、顔画像比較部７０１が出力した標準顔画像と映像から検出した顔画像とのシャープさなどの相違から、画像の劣化量を推定算出する。
【００４４】
図７Ｂは、本実施形態に係る服マッチング部４０２の第２例の顔画像劣化量推定部５０２Ｂの機能構成を示すブロック図である。顔画像劣化量推定部５０２Ｂも、顔検出部５０１が検出した顔画像から画像劣化量を推定する。
【００４５】
顔画像劣化量推定部５０２Ｂは、顔画像ＤＢ７０２と、画像劣化量識別部７０４と、を備える。画像劣化量識別部７０４では、顔画像の劣化度ごとに学習させた識別器を用いて顔画像劣化量を判定する。例えば、ぼけの程度ごとに学習させたニューラルネットワークに対して顔画像を入力し、ぼけの程度を判定するようにしてもよい。また、用いる識別器はニューラルネットワークに限らない。例えば、ＳＶＭ（サポートベクターマシン）識別器やＧＬＶＱ（一般化学習ベクトル）識別器でもよい。これらの場合には、顔画像の輪郭やエッジなどの特徴量を抽出し、識別器に入力する。このため、ぼけの程度ごとに学習画像を用意し、これらの画像の特徴量を用いて識別器を学習させておき、画像劣化量を判定する。
【００４６】
図７Ｃは、本実施形態に係る顔画像劣化量推定部５０２Ａが使用する顔画像劣化量推定テーブル５０２ａの構成を示す図である。本テーブルは、画像劣化量が画像劣化要因ごとに、その程度を表すパラメータと対応付けて決められている場合に用いる。顔画像劣化量推定テーブル５０２ａは、顔画像比較部７０１が出力した標準顔画像と映像から検出した顔画像との相違から、その劣化要因などに対応して画像劣化量を推定するため、顔画像劣化量推定部５０２Ａが使用するテーブルである。
【００４７】
顔画像劣化量推定テーブル５０２ａは、画像劣化指標７１１に対応付けて画像劣化量７１２を記憶する。なお、図７Ｃにおいては、劣化要因などに対応して画像劣化量を推定するようにしたが、顔画像比較部７０１が出力した標準顔画像と映像から検出した顔画像との相違の程度をそのまま数値化してもよい。また、画像劣化要因とそのパラメータを対応づけたもの自体を画像劣化量として定義する場合には、このテーブルは用いずに、推定する画像劣化要因とパラメータを合わせて画像劣化量とする。
【００４８】
（服特徴量マッチング部）
図８Ａは、本実施形態に係る服マッチング部４０２の服特徴量マッチング部２３０の機能構成を示すブロック図である。服特徴量マッチング部２３０は、映像から抽出した特徴量と格納された特徴量とをマッチングして、その特徴量に類似する服が映像中に有るか否かを判定する。
【００４９】
服特徴量マッチング部２３０は、特徴量比較部８０１とマッチング信頼度付加部８０２とを備える。特徴量比較部８０１は、服特徴量抽出部５０３が映像から抽出した特徴量と、服特徴量ＤＢ５０４に格納された特徴量とを比較する。マッチング信頼度付加部８０２は、特徴量比較部８０１の比較結果に画像劣化推定部からの画像劣化量を付加して、服マッチング結果として出力する。あるいは、画像劣化量を画像劣化の度合いに応じた特徴量の信頼性を表す信頼度に変換して付加するようにしてもよい。信頼度の値は、例えば、服特徴量によるマッチング結果がどの程度正しいかを各画像劣化量に対してあらかじめ算出し、その割合を信頼度として算出しておけばよい。
【００５０】
なお、図８Ａにおいては、画像劣化量を特徴量比較部８０１の比較結果に付加したが、画像劣化量に基づいて、特徴量比較部８０１の比較を変更したり、特徴量比較部８０１の比較結果に重み付けをしたりしてもよい。重み付けの場合に、例えば、画像劣化により服の模様のマッチング結果は使用せず、色のマッチング結果を使用する場合には、模様の比較結果の重み付けをゼロにする。
【００５１】
図８Ｂは、本実施形態に係る服特徴量マッチング部２３０が使用する服特徴量マッチングテーブル２３０ａの構成を示す図である。服特徴量マッチングテーブル２３０ａは、服特徴量マッチングを行なうために、服特徴量マッチング部２３０が使用するテーブルである。ここでは、便宜上、テーブル形式で記述した例を示すが、マッチング結果の格納は、図４Ｃと同様に、必ずしもテーブル形式でなくてもよい。
【００５２】
服特徴量マッチングテーブル２３０ａは、識別対象ＩＤ８１１と特徴量対象８１２とに対応付けて、画像劣化推定部からの推定画像劣化量８１３を記憶する。さらに、服特徴量マッチングテーブル２３０ａは、推定画像劣化量８１３に基づく信頼度判定結果８１４と、マッチング時の重み付け８１５と、を記憶してもよい。そして、特徴量対象のマッチング結果を組み合わせた１つの服ＩＤに対応して、マッチング結果８１６を記憶する。
【００５３】
《映像処理装置のハードウェア構成》
図９は、本実施形態に係る映像処理装置２００のハードウェア構成を示すブロック図である。なお、図９には、映像中の人物検索時に使用する１つの特徴量である服の特徴量に関連する構成が図示されており、他の特徴量に関連する構成や複数の特徴量によるトータルマッチングのための構成については省略されている。しかしながら、それらは図９と同様の構成により実現できる。
【００５４】
図９で、ＣＰＵ９１０は演算制御用のプロセッサであり、ＣＰＵ９１０がＲＡＭ９４０を使用しながらストレージ９５０に格納されたプログラムおよびモジュールを実行することで、図４Ａに示された映像処理装置２００の各機能構成部の機能が実現される。ＲＯＭ９２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部９３０は、ネットワークを介して外部装置と通信する。なお、ＣＰＵ９１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵを含んでもよい。
【００５５】
ＲＡＭ９４０は、ＣＰＵ９１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ９４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。入力映像９４１は、映像蓄積部４０６に蓄積する映像あるいは映像蓄積部４０６からオブジェクト（本例では人物）を検索するための読み出された映像である。抽出顔画像９４２は、映像の画像劣化を推定するために抽出された顔画像である。画像劣化量９４３は、抽出顔画像９４２から推定された画像の劣化量である。抽出服特徴量９４４は、映像中の人物が着ている服から抽出された特徴量である。なお、服領域については、例えば、頭部あるいは顔領域の抽出から胴体部位を推定するなどの既知の方法により抽出が可能である。検索服特徴量９４５は、服特徴量ＤＢ５０４に格納された検索人物の着ている検索服の特徴量である。マッチング結果９４６は、画像劣化量９４３を考慮して、抽出服特徴量９４４と検索服特徴量９４５との比較から得られた、対象服か否かを示す結果情報である。信頼度（重み付け）９４７は、画像劣化量９４３に対応するマッチング結果９４６の信頼の程度である。なお、信頼度（重み付け）９４７は、マッチング結果９４６に添付されても、あるいは、マッチング結果９４６に組み込まれていてもよい。入出力データ９４８は、入出力インタフェース９６０を介して入出力される入出力データを示す。送受信データ９４９は、通信制御部９３０を介して送受信される送受信データを示す。
【００５６】
ストレージ９５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。映像蓄積部４０６は、各カメラ３１０から収集された映像を蓄積する。人物特徴量ＤＢ４０４は、検索する人物の特徴量を人物ＩＤに対応付けて格納するデータベースである。服特徴量ＤＢ５０４は、検索する人物の服の特徴量を服ＩＤに対応付けて格納するデータベースである。なお、服特徴量ＤＢ５０４は人物特徴量ＤＢ４０４に含まれてもよい。顔検出用ＤＢ６０２は、映像から顔画像を検出ための顔の特徴（輪郭、色、部位など）を格納するデータベースである。顔画像劣化量推定テーブル５０２ａは、顔画像劣化量推定部５０２が画像劣化量の推定のために使用するテーブルである。服特徴量抽出テーブル５０３ａは、服特徴量抽出部５０３が映像から服特徴量を抽出するために使用するテーブルである。服特徴量マッチングテーブル２３０ａは、服特徴量マッチング部２３０が服特徴量のマッチングにために使用するテーブルである。なお、各テーブルはＲＡＭ９４０に確保されてもよい。
【００５７】
ストレージ９５０には、以下のプログラムが格納される。映像処理装置制御プログラム９５１は、本映像処理装置２００の全体を制御する制御プログラムである。服マッチングモジュール９５２は、映像処理装置制御プログラム９５１における人物検索のため、映像中の服特徴量と服特徴量ＤＢ５０４に格納された服特徴量とをマッチングするモジュールである。画像劣化推定モジュール９５３は、映像から所定領域の画像を抽出して、抽出画像に基づいて映像中の画像劣化を推定するモジュールである。特徴量抽出モジュール９５４は、映像から人物検索のために人物の有する特徴量を抽出するモジュールである。特徴量マッチングモジュール９５５は、検索対象の人物を見付けるため、特徴量抽出モジュール９５４が抽出した特徴量と検索する人物の特徴量とをマッチングするモジュールである。なお、本実施形態において、画像劣化推定モジュール９５３は顔画像から画像劣化を推定し、特徴量抽出モジュール９５４および特徴量抽出モジュール９５４は服特徴量、特に服の模様の特徴量の抽出およびマッチングを行なう。
【００５８】
入出力インタフェース９６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース９６０には、表示部９６１、キーボード、タッチパネル、ポインティンデバイスなどの操作部９６２が接続される。
【００５９】
なお、図９のＲＡＭ９４０やストレージ９５０には、映像処理装置２００が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
【００６０】
《映像処理装置の処理手順》
図１０は、本実施形態に係る映像処理装置２００の処理手順を示すフローチャートである。このフローチャートは、図９のＣＰＵ９１０がＲＡＭ９４０およびストレージ９５０を使用しながら実行し、図４Ａあるいは図５Ａの機能構成部を実現する。
【００６１】
映像処理装置２００は、ステップＳ１００１において、映像蓄積部４０６から対象人物を検索するための映像を取得する。次に、映像処理装置２００は、ステップＳ１００３において、取得した映像中から人物画像を検出する。映像処理装置２００は、ステップＳ１００５において、検出した人物について特定の服の服マッチングを実行するか否かを判定する。
【００６２】
服マッチングを実行する場合、映像処理装置２００は、ステップＳ１００７において、服マッチング処理を実行する（図１１Ａ参照）。服マッチング処理を完了すると、映像処理装置２００は、ステップＳ１００９において、他のマッチング（顔や携帯物など）を実行するか否かを判定する。マッチングがオブジェクトとして特定の服を検索する場合、映像処理装置２００は、ステップＳ１０１１において、服マッチング結果から検索対象オブジェクトを含む映像を選別する。一方、他のマッチングも含めたオブジェクトを検索する場合、映像処理装置２００は、ステップＳ１０１３において、他のマッチング処理を実行し、ステップＳ１０１１においては、複数のマッチング結果を組み合わせて検索対象オブジェクトを含む映像を選別する。
【００６３】
（服マッチング処理）
図１１Ａは、本実施形態に係る服マッチング処理（Ｓ１００７）の手順を示すフローチャートである。
【００６４】
映像処理装置２００は、ステップＳ１１０１において、映像から顔画像を検出して画像劣化を推定する画像劣化推定処理を実行する。次に、映像処理装置２００は、ステップＳ１１０３において、映像から検出した服の特徴量を抽出する服特徴量抽出処理を実行する。そして、映像処理装置２００は、ステップＳ１１０５において、抽出した服特徴量とあらかじめ準備した検索人物の服特徴量とをマッチングする服特徴量マッチング処理を実行する。
【００６５】
（画像劣化推定処理）
図１１Ｂは、本実施形態に係る画像劣化推定処理（Ｓ１１０１）の手順を示すフローチャートである。
【００６６】
映像処理装置２００は、ステップＳ１１１１において、映像から顔画像を検出する。次に、映像処理装置２００は、ステップＳ１１１３において、標準顔画像を読み出す。次に、映像処理装置２００は、ステップＳ１１１５において、映像から抽出した顔画像と標準顔画像とのシャープさなどを比較する。そして、映像処理装置２００は、ステップＳ１１１７において、ステップＳ１１１５の顔画像の比較結果から画像劣化量を推定する。なお、画像劣化量は、標準顔画像との比較ではなく、検出した顔画像の輪郭や部位エッジなどのシャープさの数値に対応する画像劣化量を生成してもよい。なお、ここで述べた画像劣化量推定処理はあくまでも一例であり、標準画像を用いない、前述の他の方法でもよい。
【００６７】
（服特徴量抽出処理）
図１１Ｃは、本実施形態に係る特徴量抽出処理（Ｓ１１０３）の手順を示すフローチャートである。
【００６８】
映像処理装置２００は、ステップＳ１１３１において、映像から服領域の画像を抽出する。なお、服領域については、例えば、頭部あるいは顔領域の抽出から胴体部位を推定するなどの既知の方法により抽出が可能である。次に、映像処理装置２００は、ステップＳ１１３３において、服領域中の服画像から特徴量を抽出する。特徴量は、例えば、色特徴量や模様特徴量など、あるいはそれらの組み合わせ特徴量である。
【００６９】
（服特徴量マッチング処理）
図１１Ｄは、本実施形態に係る特徴量マッチング処理（Ｓ１１０５）の手順を示すフローチャートである。
【００７０】
映像処理装置２００は、ステップＳ１１５１において、画像劣化量推定処理で推定した画像劣化量を取得する。次に、映像処理装置２００は、ステップＳ１１５３において、服特徴量抽出処理で抽出した特徴量を取得する。次に、映像処理装置２００は、ステップＳ１１５５において、検索する人物（あるいは検索する服）の服特徴量を服特徴量ＤＢ５０４から取得する。次に、映像処理装置２００は、ステップＳ１１５７において、ステップＳ１１５１において取得した画像劣化量に基づいて、服マッチングに使用する特徴量を選択する。あるいは、複数の特徴量に対して服マッチングへの寄与率を示す重み付けをする。そして、映像処理装置２００は、ステップＳ１１５９において、画像劣化量を考慮した服特徴量のマッチングを実行する。映像処理装置２００は、ステップＳ１１６１において、服マッチングの結果を出力する。
【００７１】
本実施形態によれば、映像中の人物の顔画像に基づいて画像劣化を推定し、特に、画像劣化に影響され易い服の模様の特徴量のマッチングを制御することによって、映像中の劣化した画像から抽出した特徴量に基づく人物の検索精度の低下を抑制することができる。
【００７２】
［第３実施形態］
次に、本発明の第３実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態と比べると、検索対象のオブジェクトが車両である点で異なる。特に、本実施形態においては、車両を検索する特徴量の１つとして車両が有する車体の色や模様の特徴量あるいは積載物の色や模様の特徴量などを使用する。本実施形態においては、車両画像の一部であるナンバープレート画像の輪郭またはエッジから画像劣化の度合いを推定する。そして、この画像劣化の度合いに基づいて、車体または取付物ないし積載物の色や模様の特徴量のマッチングを制御して、車両の検索を行なう。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００７３】
《映像処理装置の処理概要》
図１２は、本実施形態に係る映像処理装置１２００の処理概要を示す図である。なお、図１２においては、検索対象が図２の人物から車両に変わり、画像劣化を推定する領域が図２の顔からナンバープレートに変わっているが、その処理は同様である。
【００７４】
映像処理装置１２００は、種々の映像１２１１〜２１ｎの映像データから特徴ある車両を検索する。例えば、映像１２４０から車両１２４１を特定して、車両１２４１が映った映像を選別する。この車両検索において、車体の色や模様（輪郭線の模様）などの特徴を特徴量として抽出して、あらかじめ格納された検索対象の車体色や車体模様などの特徴量１２２０と車体特徴量マッチング部１２３０においてマッチングして車両を特定する。
【００７５】
この時に、映像１２１１〜１２１ｎは、カメラの状態（例えば、ぶれや焦点ずれなど）
によって画像劣化が発生したり、天候などの撮像環境（例えば、霧や雨滴、あるいは逆光など）によって画像劣化が発生したりする。図１２において、映像１２１１は画像劣化のない映像、映像１２１２は霧による画像劣化がある映像、映像１２１ｎはぶれや焦点ずれによる画像劣化がある映像である。かかる画像劣化の映像から、特に車体模様を特徴量としてマッチングを行なうと、特徴量の精度劣化により車両検索の信頼性が低下することになる。すなわち、車体の模様は線模様なので、画像劣化により線がぼやけたりぶれたりすると、明確に認識されなくなる。
【００７６】
本実施形態においては、車体模様を１つの特徴量として、車両検索の特徴量マッチングを行なう場合に、車体模様の特徴量マッチングの精度が低下しやすい画像劣化の度合いを、ナンバープレート画像の比較から推定して推定劣化量を生成する。そして、特徴量マッチングにおいて、推定劣化量に対応してマッチングの信頼度を生成して通知する。あるいは、推定劣化量が所定閾値を超えて信頼度が著しく低下した場合には、例えば、車体模様の特徴量マッチングは行なわずに、特徴量マッチングの信頼度が低下しない、例えば、車体色の特徴量マッチングの結果を採用する。なお、中間の状態では、それぞれの特徴量マッチングに重み付けをしてマッチング結果を生成する。
【００７７】
このように処理することにより、画像劣化の発生による特徴量マッチングの精度低下を防ぎ、画像劣化においても車両検索の精度を維持する。
【００７８】
《映像処理装置の機能構成》
図１３Ａは、本実施形態に係る映像処理装置１２００の機能構成を示すブロック図である。
【００７９】
映像処理装置１２００は、複数のマッチング部１３０１〜１３０３と、車両特徴量ＤＢ１３０４と、検索車両マッチング部１３０５と、映像蓄積部１３０６とを備える。さらに、映像処理装置１２００は、破線で示す映像選別部１３０７も備えていてもよい。複数のマッチング部１３０１〜１３０３は、例えば、ナンバープレートマッチング部１３０１と、車体マッチング部１３０２と、取付物マッチング部１３０３と、を含む。ここで、ナンバープレートマッチング部１３０１は、検索車両のナンバープレートによるマッチングを行なう。車体マッチング部１３０２は、検索車両によるマッチングを色と線模様とを含む車体に対して行なう。取付物マッチング部１３０３は、検索車両の取付物によるマッチングを行なう。なお、車両の積載物の色や模様によるマッチングを含んでもよい。車両特徴量ＤＢ１３０４は、複数のマッチング部１３０１〜１３０３に、あらかじめ格納されたマッチングのための車両を検索するためのそれぞれの特徴量を提供する。映像蓄積部１３０６は、カメラ３１０から送信された映像を検索可能に蓄積する。検索車両マッチング部１３０５は、複数のマッチング部１３０１〜１３０３のマッチング結果を組み合わせて、映像中の車両を検索する。映像選別部１３０７は、検索車両マッチング部１３０５によりマッチングした車両を含む映像を、映像蓄積部１３０６から取り出して、解析などの次の処理に送る。なお、選別する映像は、映像単位、時間単位、あるいは検索車両を含む映像であってもよい。
【００８０】
（車両マッチングテーブル）
図１３Ｂは、本実施形態に係る検索車両マッチング部１３０５が使用する車両マッチングテーブル１３０５ａの構成を示す図である。車両マッチングテーブル１３０５ａは、種々のマッチング結果からトータルの車両検索を行なうために、検索車両マッチング部１３０５が使用するテーブルである。ここでは、便宜上、テーブル形式で記述した例を示すが、マッチング結果の格納は、図４Ｃと同様に、必ずしもテーブル形式でなくてもよい。
【００８１】
車両マッチングテーブル１３０５ａは、各マッチング特徴量ＩＤ１３２１に対応付けて、各マッチング部１３０１〜１３０３において抽出された抽出特徴量１３２２と、それぞれのマッチング結果１３２３と、マッチング結果の信頼度１３２４と、を記憶する。そして、車両マッチングテーブル１３０５ａは、それらを考慮したトータルマッチング結果１３２５と、を記憶する。
【００８２】
《車両マッチング部の機能構成》
図１４Ａは、本実施形態に係る映像処理装置１２００の車体マッチング部１３０２の機能構成を示すブロック図である。以下、本実施形態においては、車体マッチング部１３０２を主に説明するが、他のマッチング部の構成も同様である。本実施形態においては、車両マッチングにおいて画像劣化の影響を受ける車体の線模様について詳細に説明する。しかしながら、他のマッチング部における画像劣化の影響を受ける特徴量についても、線模様と同様の処理が可能である。
【００８３】
車体マッチング部１３０２は、ナンバープレート検出部１４０１と、プレート画像劣化量推定部１４０２と、車体特徴量抽出部１４０３と、車体特徴量ＤＢ１４０４と、車体特徴量マッチング部１２３０と、を備える。ナンバープレート検出部１４０１は、映像から車両のナンバープレート画像（以下、プレート画像と呼ぶ）を検出する。プレート画像劣化量推定部１４０２は、ナンバープレート検出部１４０１が検出したプレート画像から画像劣化量を推定する。なお、ナンバープレート検出部１４０１とプレート画像劣化量推定部１４０２とにより、本実施形態の画像劣化推定部を構成する。車体特徴量抽出部１４０３は、映像蓄積部１３０６から読み出された映像に映った車両の車体の特徴量（色や輪郭線模様）を抽出する。車体特徴量ＤＢ１４０４は、車体特徴量抽出部１４０３が抽出した特徴量とマッチングするための、検索用の車体特徴量を格納する。なお、車体特徴量ＤＢ１４０４は、図１３Ａの車両特徴量ＤＢ１３０４と共用であっても、車両特徴量ＤＢ１３０４から取得した車体の特徴量を格納してもよい。車体特徴量マッチング部１２３０は、車体特徴量抽出部１４０３が抽出した特徴量と車体特徴量ＤＢ１４０４に格納された特徴量とをマッチングして、マッチした場合は車体マッチング結果を、検索車両マッチング部１３０５に出力する。
【００８４】
（車両特徴量ＤＢ）
図１４Ｂは、本実施形態に係る車体マッチング部１３０２の車体特徴量ＤＢ１４０４の構成を示す図である。車体特徴量ＤＢ１４０４は、車両検索のための車体マッチング用の車体特徴量を車両特徴量ＤＢ１３０４から取得して格納する。なお、車体特徴量ＤＢ１４０４の構成は、図１４Ｂに限定されない。例えば、色はＨＳＶヒストグラムや代表色特徴量、模様はエッジヒストグラムやガボールウェーブレット特徴など、バイナリの特徴量データを格納するようになっていてもよい。
【００８５】
車体特徴量ＤＢ１４０４は、検索車両の車体を識別するための特徴量テーブル１４１０と、マッチング結果への画像劣化の影響を格納する画像劣化テーブル１４２０と、を含む。なお、本実施形態においては、画像劣化テーブル１４２０は、車体特徴量ＤＢ１４０４に格納されて、車体特徴量マッチング部１２３０がマッチングを制御するために使用するが、車体特徴量マッチング部１２３０やプレート画像劣化量推定部１４０２に格納されていてもよい。
【００８６】
特徴量テーブル１４１０は、検索車両の車体を識別する検索車体ＩＤ１４１１に対応付けて、車体マッチングに使用される色特徴量１４１２と、模様特徴量１４１３と、形状特徴量１４１４と、を格納する。一方、画像劣化テーブル１４２０は、車体マッチングの特徴量対象１４２１に対応付けて、判定信頼度１４２３を格納する。また、特徴量テーブル１４１０は、信頼度低下要因１４２２と、マッチング時の重みづけ１４２４も格納してもよい。信頼度低下要因については、画像劣化テーブル５２０の場合と同様である。なお、画像劣化の影響が大きく車両検索には使用されない場合には、マッチング時の重み付け１４２４にゼロが格納されて、かかる特徴量は車両検索には使用しない。また、画像劣化テーブル１４２０では、特徴量対象の詳細に対して信頼度を判定するようになっているが、詳細まで分かれていなくてもよく、色、模様、形状といった対象の単位ごとに算出するようになっていてもよい。
【００８７】
（ナンバープレート検出部）
図１４Ｃは、本実施形態に係る車体マッチング部１３０２のナンバープレート検出部１４０１の機能構成を示すブロック図である。ナンバープレート検出部１４０１は、映像蓄積部１３０６からの映像からナンバープレートを検出する。
【００８８】
ナンバープレート検出部１４０１は、プレート画像特徴点抽出部１４３１と、プレート検出用ＤＢ１４３２と、プレート画像抽出部１４３３と、を備える。プレート画像特徴点抽出部１４３１は、映像中からナンバープレートの輪郭、ナンバープレートの色、ナンバープレートの部位の特徴点を抽出して、プレート検出用ＤＢ１４３２に格納された特徴点とマッチングして、ナンバープレート領域であることを判定する。プレート検出用ＤＢ１４３２は、プレート画像であることを示す特徴点を格納する。プレート画像抽出部１４３３は、プレート画像特徴点抽出部１４３１でナンバープレート領域と判定された領域の画像をプレート画像として抽出する。なお、ここで述べたナンバープレート検出方法はあくまでも一例であり、これ以外のナンバープレート検出方法を用いてもよいのは、顔検出部５０１の場合と同様である。
【００８９】
なお、プレート検出用ＤＢ１４３２には、種々の特徴あるプレート画像の輪郭やエッジ、例えば、乗用車と貨物車、自家用と事業用、軽自動車、二輪車などのプレート画像の輪郭やエッジを格納してもよい。また、検出するプレート画像は、映像中に存在するどのプレート画像でもよいが、複数のプレート画像が検出された場合は、ナンバープレート検出部１４０１において、所定サイズのプレート画像（カメラからの距離に対応する）を選択する。あるいは、他のマッチングにより検索車両候補となった車両のプレート画像を選択してもよい。あるいは、複数のプレート画像についてプレート画像劣化量推定部１４０２に出力し、プレート画像劣化量推定部１４０２において複数のプレート画像の平均劣化量を算出したり、劣化量の推定に適したプレート画像を選択したりしてもよい。
【００９０】
本実施形態によれば、映像中の車両のプレート画像に基づいて画像劣化を推定し、特に、画像劣化に影響され易い車両の車体の特徴量のマッチングを制御することによって、映像中の劣化した画像から抽出した特徴量に基づく車両の検索精度の低下を抑制することができる。
【００９１】
［第４実施形態］
次に、本発明の第４実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態と比べると、映像劣化の度合い推定を顔画像でなく、固定カメラにおいては映像中の特定領域にある既知の標識画像を使用する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、人物検索を例に説明するが、車両検索など他のオブジェクト検索にも適用され、同様の効果を奏する。
【００９２】
《映像処理装置の処理概要》
図１５は、本実施形態に係る映像処理装置１５００の処理概要を示す図である。なお、図１５において、図２と同様の要素には同じ参照番号を付して、説明を省略する。
【００９３】
映像処理装置１５００は、種々の映像１５１１〜１５１ｎの映像データから特徴ある人物を検索する。例えば、映像１５４０からドクロ模様の服を着た人物２４１を特定して、人物２４１が映った映像を選別する。この人物検索において、人物が着る服の色や模様などの特徴を特徴量として抽出して、あらかじめ格納された服の色や模様などの特徴量２２０と服特徴量マッチング部２３０においてマッチングして人物を特定する。
【００９４】
この時に、映像１５１１〜１５１ｎは、カメラの状態（例えば、ぶれや焦点ずれなど）
によって画像劣化が発生したり、天候などの撮像環境（例えば、霧や雨滴、あるいは逆光など）によって画像劣化が発生したりする。図１５において、映像１５１１は画像劣化のない映像、映像１５１２は霧による画像劣化がある映像、映像１５１ｎはぶれや焦点ずれによる画像劣化がある映像である。かかる画像劣化の映像から、人物の服の模様を特徴量としてマッチングを行なうと、特徴量の精度劣化により人物検索の信頼性が低下することになる。例えば、ストライプや水玉あるいは格子模様の服であれば、画像劣化により線や水玉が明確に分離して認識されなくなる。一方、もともとぼやけた模様の服を着ている人物を検索対象と認識してしまうこともあり得る。
【００９５】
本実施形態においては、服の模様を１つの特徴量として、人物検索の特徴量マッチングを行なう場合に、服の模様の特徴量マッチングの精度が低下しやすい画像劣化の度合いを、映像内の特定位置に撮像された標識画像の比較から推定して推定劣化量を生成する。そして、特徴量マッチングにおいて、推定劣化量に対応してマッチングの信頼度を生成して通知する。あるいは、推定劣化量が所定閾値を超えて信頼度が著しく低下した場合には、例えば、服の模様の特徴量マッチングは行なわずに、特徴量マッチングの信頼度が低下しない、例えば、服の色の特徴量マッチングの結果を採用する。なお、中間の状態では、それぞれの特徴量マッチングに重み付けをしてマッチング結果を生成する。
【００９６】
このように処理することにより、映像内の特定位置に撮像された標識画像から画像劣化を推定して、画像劣化の発生による特徴量マッチングの精度低下を防ぎ、画像劣化においても人物検索の精度を維持する。
【００９７】
《服マッチング部の機能構成》
図１６Ａは、本実施形態に係る映像処理装置１５００の服マッチング部１６００の機能構成を示すブロック図である。なお、図１６Ａにおいて、図５Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。
【００９８】
服マッチング部１６００は、標識抽出部１６０１と、標識画像劣化量推定部１６０２と、服特徴量抽出部５０３と、服特徴量ＤＢ５０４と、服特徴量マッチング部２３０と、を備える。標識抽出部１６０１は、映像から特定領域に撮像された標識を抽出する。標識画像劣化量推定部１６０２は、標識抽出部１６０１が抽出した標識画像から画像劣化量を推定する。なお、標識抽出部１６０１と標識画像劣化量推定部１６０２とにより、本実施形態の画像劣化推定部を構成する。
【００９９】
（標識抽出部）
図１６Ｂは、本実施形態に係る服マッチング部１６００の標識抽出部１６０１の機能構成を示すブロック図である。
【０１００】
標識抽出部１６０１は、標識画像抽出部１６１１と、映像フレーム・テンプレート１６１２とを備える。標識画像抽出部１６１１は、映像フレーム・テンプレート１６１２に記憶された映像内の特定位置の特定領域から標識画像を抽出する。映像フレーム・テンプレート１６１２は、標識の映像中の特定位置の特定領域を記憶している。なお、本実施形態において、カメラは固定であり、カメラ位置や撮像方向、あるいは標識位置が変更された場合は、映像フレーム・テンプレート１６１２を変更して、常に標識を抽出できるようにする。
【０１０１】
（標識画像劣化量推定テーブル）
図１６Ｃは、本実施形態に係る標識画像劣化量推定部１６０２が使用する標識画像劣化量推定テーブル１６０２ａの構成を示す図である。標識画像劣化量推定テーブル１６０２ａは、常態で撮像された標準標識画像と映像から検出した標識画像との相違から、その劣化要因などに対応して画像劣化量を推定するため、標識画像劣化量推定部１６０２が使用するテーブルである。
【０１０２】
標識画像劣化量推定テーブル１６０２ａは、標識ＩＤ１６２１に対応付けて、標識位置１６２２と、抽出した標識画像１６２３と、輪郭やエッジなどの抽出データ１６２４と、参照する標準標識画像１６２５と、を記憶する。そして、標識画像劣化量推定テーブル１６０２ａは、抽出した標識画像１６２３と参照する標準標識画像１６２５との比較結果から生成された画像劣化量１６２６を記憶する。
【０１０３】
本実施形態によれば、映像中の標識画像に基づいて画像劣化を推定し、特に、画像劣化に影響され易い特徴量のマッチングを制御することによって、映像中の劣化した画像から抽出した特徴量に基づく検索対象となるオブジェクトの検索精度の低下を抑制することができる。
【０１０４】
［第５実施形態］
次に、本発明の第５実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第４実施形態と比べると、映像中の特定領域として表面がフラットな画像を抽出して画素のばらつきから画像劣化を推定する点で異なる。その他の構成および動作は、第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、人物検索を例に説明するが、車両検索など他のオブジェクト検索にも適用され、同様の効果を奏する。
【０１０５】
《映像処理装置の処理概要》
図１７は、本実施形態に係る映像処理装置１７００の処理概要を示す図である。なお、図１７において、図２と同様の要素には同じ参照番号を付して、説明を省略する。
【０１０６】
映像処理装置１７００は、種々の映像１７１１〜１７１ｎの映像データから特徴ある人物を検索する。例えば、映像１７４０からドクロ模様の服を着た人物２４１を特定して、人物２４１が映った映像を選別する。この人物検索において、人物が着る服の色や模様などの特徴を特徴量として抽出して、あらかじめ格納された服の色や模様などの特徴量２２０と服特徴量マッチング部２３０においてマッチングして人物を特定する。
【０１０７】
この時に、映像１７１１〜１７１ｎは、カメラの状態（例えば、ぶれや焦点ずれなど）
によって画像劣化が発生したり、天候などの撮像環境（例えば、霧や雨滴、あるいは逆光など）によって画像劣化が発生したりする。図１７において、映像１７１１は画像劣化のない映像、映像１７１２は霧による画像劣化がある映像、映像１７１ｎはぶれや焦点ずれによる画像劣化がある映像である。かかる画像劣化の映像から、人物の服の模様を特徴量としてマッチングを行なうと、特徴量の精度劣化により人物検索の信頼性が低下することになる。例えば、ストライプや水玉あるいは格子模様の服であれば、画像劣化により線や水玉が明確に分離して認識されなくなる。一方、もともとぼやけた模様の服を着ている人物を検索対象と認識してしまうこともあり得る。
【０１０８】
本実施形態においては、人物検索の特徴量マッチングを行なう場合に、服の模様の特徴量マッチングの精度が低下しやすい画像劣化の度合いを、映像内の特定位置に撮像されたフラット画像の撮像環境による画素ばらつきなどから推定する。なお、フラット画像としては、表面がフラットな標識や看板、あるいは、建物の一部などの経時変化の無い映像内の物が選択される。図１７においては、路側にある大型看板の周囲のフラット面が選択されている。そして、特徴量マッチングにおいて、推定劣化量に対応してマッチングの信頼度を生成して通知する。あるいは、推定劣化量が所定閾値を超えて信頼度が著しく低下した場合には、例えば、服の模様の特徴量マッチングは行なわずに、特徴量マッチングの信頼度が低下しない、例えば、服の色の特徴量マッチングの結果を採用する。なお、中間の状態では、それぞれの特徴量マッチングに重み付けをしてマッチング結果を生成する。
【０１０９】
このように処理することにより、映像内の特定位置に撮像された標識画像から画像劣化を推定して、画像劣化の発生による特徴量マッチングの精度低下を防ぎ、画像劣化においても人物検索の精度を維持する。
【０１１０】
《服マッチング部の機能構成》
図１８Ａは、本実施形態に係る映像処理装置１７００の服マッチング部１８００の機能構成を示すブロック図である。なお、図１６Ａにおいて、図５Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。
【０１１１】
服マッチング部１８００は、フラット領域抽出部１８０１と、フラット画像劣化量推定部１８０２と、服特徴量抽出部５０３と、服特徴量ＤＢ５０４と、服特徴量マッチング部２３０と、を備える。フラット領域抽出部１８０１は、映像から特定領域に撮像されたフラット領域を抽出する。フラット画像劣化量推定部１８０２は、フラット領域抽出部１８０１が抽出したフラット画像の撮像環境による画素ばらつきなどから画像劣化量を推定する。なお、フラット領域抽出部１８０１とフラット画像劣化量推定部１８０２とにより、本実施形態の画像劣化推定部を構成する。
【０１１２】
（フラット画像劣化量推定テーブル）
図１８Ｂは、本実施形態に係るフラット画像劣化量推定部１８０２が使用するフラット画像劣化量推定テーブル１８０２ａの構成を示す図である。フラット画像劣化量推定テーブル１８０２ａは、常態で撮像されたフラット画像と映像から検出したフラット画像との相違から、その劣化要因などに対応して画像劣化量を推定するため、フラット画像劣化量推定部１８０２が使用するテーブルである。
【０１１３】
フラット画像劣化量推定テーブル１８０２ａは、フラット領域ＩＤ１８２１に対応付けて、フラット領域位置１８２２と、抽出したフラット画像１８２３と、画素ばらつきなどの抽出データ１８２４と、参照するフラット画像１８２５と、を記憶する。そして、フラット画像劣化量推定テーブル１８０２ａは、抽出したフラット画像１８２３と参照するフラット画像１８２５との比較結果から生成された画像劣化量１８２６を記憶する。
【０１１４】
本実施形態によれば、映像中のフラット画像の画素ばらつきなどに基づいて画像劣化を推定し、特に、画像劣化に影響され易い特徴量のマッチングを制御する。かかる制御によって、映像中の劣化した画像から抽出した特徴量に基づく検索対象となるオブジェクトの検索精度の低下を抑制することができる。
【０１１５】
［第６実施形態］
次に、本発明の第６実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態乃至第５実施形態と比べると、複数の領域の画像に基づいて生成した推定画像劣化の度合いからオブジェクトの特徴に基づいて選択して、特徴量のマッチングの制御に使用する点で異なる。その他の構成および動作は、第２実施形態乃至第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、人物検索を例に説明するが、車両検索など他のオブジェクト検索にも適用され、同様の効果を奏する。
【０１１６】
《映像処理装置の処理概要》
図１９は、本実施形態に係る映像処理装置１９００の処理概要を示す図である。なお、図１９には、画像劣化量の生成までを示すが、画像劣化量を使用して映像からオブジェクトを検索する処理は図２と同様であり、図示および説明を省略する。
【０１１７】
映像処理装置１９００は、種々の映像１９１１〜１９１ｎの映像データから特徴ある人物を検索する。この時に、映像１９１１〜１９１ｎは、カメラの状態（例えば、ぶれや焦点ずれなど）によって画像劣化が発生したり、天候などの撮像環境（例えば、霧や雨滴、あるいは逆光など）によって画像劣化が発生したりする。図１９において、映像１９１１は霧による画像劣化がある映像、映像１９１２は雨滴による画像劣化がある映像、映像１９１３は逆光による画像劣化がある映像、映像１９１４は夜街燈による画像劣化がある映像、映像２１ｎはぶれや焦点ずれによる画像劣化がある映像である。なお、画像劣化の要因は上記例に限定されない。例えば、朝日などの照り返しやスモッグなども含む。かかる画像劣化の映像から、人物の服の模様を特徴量としてマッチングを行なうと、特徴量の精度劣化により人物検索の信頼性が低下することになる。例えば、ストライプや水玉あるいは格子模様の服であれば、画像劣化により線や水玉が明確に分離して認識されなくなる。一方、もともとぼやけた模様の服を着ている人物を検索対象と認識してしまうこともあり得る。
【０１１８】
本実施形態においては、推定劣化量選択部１９０２が、既知画像との比較で画像劣化を推定できる複数の画像領域から得られた複数の画像劣化量から、マッチングする特徴量に影響を与える画像劣化量を選択する。あるいは、複数の画像劣化量を組み合わせて、服特徴量マッチングに使用する画像劣化量を生成する。そして、特徴量マッチングにおいて、推定劣化量に対応してマッチングの信頼度を生成して通知する。あるいは、推定劣化量が所定閾値を超えて信頼度が著しく低下した場合には、例えば、服の模様の特徴量マッチングは行なわずに、特徴量マッチングの信頼度が低下しない、例えば、服の色の特徴量マッチングの結果を採用する。なお、中間の状態では、それぞれの特徴量マッチングに重み付けをしてマッチング結果を生成する。
【０１１９】
複数の画像劣化量を組み合わせて服特徴量マッチングに使用する画像劣化量を算出する方式はいろいろとあるが、例えば、最も画像劣化量が大きいものを選択する方式や、モデル化して算出する方式などがある。モデル化は、経験的な値からヒューリスティックに定めてもよいし、複数の画像を用いて学習させることにより、定めてもよい。
【０１２０】
このように処理することにより、複数の画像劣化量からマッチングする特徴量に対応した画像劣化量を生成して、画像劣化の発生による特徴量マッチングの精度低下を防ぎ、画像劣化においても人物検索の精度を維持する。
【０１２１】
《服マッチング部の機能構成》
図２０Ａは、本実施形態に係る映像処理装置１９００の服マッチング部２０００の機能構成を示すブロック図である。なお、図２０Ａにおいて、図５Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。
【０１２２】
服マッチング部２０００は、画像劣化推定部を構成する、顔画像による画像劣化推定部２００１と、標識画像による画像劣化推定部２００２と、フラット画像による画像劣化推定部２００３と、推定劣化量選択部１９０２と、を備える。なお、各画像劣化推定部２００１、２００２および２００３は、図５Ａ、図１６Ａおよび図１８Ａの画像劣化推定部に相当する。推定劣化量選択部１９０２は、複数の画像劣化推定部２００１〜２００３から使用する画像劣化量を選択する。
【０１２３】
（推定劣化量選択テーブル）
図２０Ｂは、本実施形態に係る推定劣化量選択部１９０２が使用する推定劣化量選択テーブル１９０２ａの構成を示す図である。推定劣化量選択テーブル１９０２ａは、複数領域の画像に基づいて画像劣化量を推定するため、推定劣化量選択部１９０２が使用するテーブルである。
【０１２４】
推定劣化量選択テーブル１９０２ａは、劣化量を推定する画像２０１１に対応付けて、推定された推定劣化量２０１２と、特徴量マッチングへの寄与度を決める重み付け２０１３と、選択する場合の優先順位２０１４と、を記憶する。そして、推定劣化量選択テーブル１９０２ａは、推定劣化量選択部１９０２が生成した画像劣化量２０１５を記憶する。
【０１２５】
本実施形態によれば、映像中の複数領域の画像に基づいて、検索対象となるオブジェクトの特徴に対応して適切な画像劣化を推定し、特に、画像劣化に影響され易い特徴量のマッチングを制御する。この制御によって、映像中の劣化した画像から抽出した特徴量に基づく検索対象となるオブジェクトの検索精度の低下を抑制することができる。
【０１２６】
［第７実施形態］
次に、本実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態乃至第６実施形態と比べると、複数の画像劣化要因に基づいて生成した推定画像劣化の度合いから適切な劣化要因に基づいて選択して、特徴量のマッチングの制御に使用する点で異なる。その他の構成および動作は、第２実施形態乃至第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、人物検索を例に説明するが、車両検索など他のオブジェクト検索にも適用され、同様の効果を奏する。
【０１２７】
《服マッチング部の機能構成》
図２１Ａは、本実施形態に係る映像処理装置の服マッチング部２１００の機能構成を示すブロック図である。なお、図２１Ａにおいて、図５Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。
【０１２８】
服マッチング部２１００は、画像劣化推定部を構成する、映像から霧が出ていることを検出する霧検出部２１１１と、映像から雨滴があることを検出する雨滴検出部２１１２と、標識抽出部１６０１と、画像劣化量推定部２１０２と、を備える。画像劣化量推定部２１０２は、霧検出部２１１１と、雨滴検出部２１１２と、標識抽出部１６０１とからの情報に基づいて、マッチングする特徴量に影響する画像劣化量を推定する。
【０１２９】
ここで、霧検出部２１１１は、例えば、画面全体が霧によって全体的に見えにくくなる傾向を学習した検出器を用いて霧を検出する。例えば、霧の状態とそうでない状態の両方の学習用画像を準備し、ニューラルネットワークを学習させ、学習させたニューラルネットワークを用いて霧を検出することができる。この際、現場の画像を事前に取得可能な場合には、学習画像に現場の画像を含めることで、より正確な霧検出が可能となる。同様に、雨滴についても、降雨状態の画像とそうでない画像とを入力し、学習させることで、検出器を構築可能である。カメラのレンズに雨滴が付着する場合も、同様に検出可能である。なお、ここで示した霧や雨滴の検出方法はあくまでも一例であり、これ以外の方法を用いてもよい。さらに、単に霧や雨滴を検出するだけでなく、その程度（霧の濃さや雨滴の量など）も同時に検出可能になっていてもよい。これは、霧や雨滴の程度ごとに映像を取得し、学習させることにより実現できる。
【０１３０】
（画像劣化量推定テーブル）
図２１Ｂは、本実施形態に係る画像劣化量推定部２１０２が使用する画像劣化量推定テーブル２１０２ａの構成を示す図である。画像劣化量推定テーブル２１０２ａは、複数の劣化要因の画像に基づいて画像劣化量を推定するため、画像劣化量推定部２１０２が使用するテーブルである。
【０１３１】
画像劣化量推定テーブル２１０２ａは、画像劣化の原因となる劣化要因２１２１に対応付けて、特徴量マッチングへの寄与度を決める重み付け２１２２と、選択する場合の優先順位２１２３と、を記憶する。そして、画像劣化量推定テーブル２１０２ａは、画像劣化量推定部２１０２が生成した画像劣化量２１２４を記憶する。
【０１３２】
本実施形態によれば、映像中からの複数の劣化要因に基づいて推定した画像劣化の度合いから、劣化要因に対応してあるいは組み合わせて適切な画像劣化を推定し、特に、画像劣化に影響され易い特徴量のマッチングを制御する。この制御によって、映像中の劣化した画像から抽出した特徴量に基づく検索対象となるオブジェクトの検索精度の低下を抑制することができる。
【０１３３】
［第８実施形態］
次に、本発明の第８実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態乃至第７実施形態と比べると、オブジェクトを検索するための特徴量の基となる対象画像の種類に対応して、画像劣化を推定する点で異なる。本実施形態においては、映像中から人物を検索する場合に、服の模様の種類に対応して異なる度合いの画像劣化を推定する例を説明する。その他の構成および動作は、第２実施形態乃至第７実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、人物検索を例に説明するが、車両検索など他のオブジェクト検索にも適用され、同様の効果を奏する。
【０１３４】
《映像処理装置の処理概要》
図２２は、本実施形態に係る映像処理装置２２００の処理概要を示す図である。なお、図２２には、画像劣化量の生成までを示すが、画像劣化量を使用して映像からオブジェクトを検索する処理は図２と同様であり、図示および説明を省略する。また、図１９と同様の要素には同じ参照番号を付して、説明を省略する。
【０１３５】
映像処理装置２２００は、種々の映像１９１１〜１９１ｎの映像データから特徴ある人物を検索する。この時に、映像１９１１〜１９１ｎは、カメラの状態（例えば、ぶれや焦点ずれなど）によって画像劣化が発生したり、天候などの撮像環境（例えば、霧や雨滴、あるいは逆光など）によって画像劣化が発生したりする。かかる画像劣化の映像から、人物の服の模様を特徴量としてマッチングを行なうと、特徴量の精度劣化により人物検索の信頼性が低下することになる。例えば、ストライプや水玉あるいは格子模様の服であれば、画像劣化により線や水玉が明確に分離して認識されなくなる。一方、もともとぼやけた模様の服を着ている人物を検索対象と認識してしまうこともあり得る。
【０１３６】
本実施形態においては、推定劣化量算出部２２０２が、既知画像との比較で画像劣化を推定できる複数の画像領域から得られた複数の画像劣化量から、マッチングする特徴として本例では模様種類により特徴量に影響を与える画像劣化量を選択する。あるいは、複数の画像劣化量を組み合わせて、服特徴量マッチングに使用する画像劣化量を算出する。
【０１３７】
このように処理することにより、マッチングする特徴に対応した画像劣化量を算出して、画像劣化の発生による特徴量マッチングの精度低下を防ぎ、画像劣化においても人物検索の精度を維持する。
【０１３８】
《服マッチング部の機能構成》
図２３は、本実施形態に係る映像処理装置２２００の服マッチング部２３００の機能構成を示すブロック図である。なお、図２３において、図５Ａおよび図２０Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。
【０１３９】
服マッチング部２３００は、画像劣化推定部を構成する、顔画像による画像劣化推定部２００１と、標識画像による画像劣化推定部２００２と、フラット画像による画像劣化推定部２００３と、推定劣化量算出部２２０２と、を備える。推定劣化量算出部２２０２は、複数の画像劣化推定部２００１〜２００３から特徴量マッチングする模様種類に基づいて推定劣化量を算出する。
【０１４０】
（推定劣化量算出テーブル）
図２４は、本実施形態に係る推定劣化量算出部２２０２が使用する推定劣化量算出テーブル２２０２ａの構成を示す図である。推定劣化量算出テーブル２２０２ａは、特徴量マッチングする模様種類に基づいて推定劣化量を算出するため、推定劣化量算出部２２０２が使用するテーブルである。
【０１４１】
推定劣化量算出テーブル２２０２ａは、特徴量マッチングする模様種類２４０１に対応付けて、複数の劣化量推定画像２４０２を記憶する。そして、推定劣化量算出テーブル２２０２ａは、劣化量推定画像２４０２に対応して、劣化量推定画像２４０２から推定された推定劣化量２４０３と、推定劣化量２４０３から模様種類に対応して算出された算出劣化量２４０４と、を記憶する。さらに、推定劣化量算出テーブル２２０２ａは、特徴量マッチングの重み付け２４０５を記憶する。
【０１４２】
ここで、算出劣化量は、推定劣化量を模様の種類に応じて補正した劣化量である。例えば、もともと無地に近い模様であれば、劣化の影響を受けにくいが、細かいエッジが多く出現するストライプのような模様の場合には、劣化の度合いが大きくなるにつれ、急激にマッチングの精度が落ちる。このため、無地に近い模様に対しては、算出劣化量が小さくなるように設定し、ストライプのような模様に対しては算出劣化量が大きくなるように設定する。この度合いは、学習によって算出してもよいし、経験等に基づいて、ヒューリスティックに定めてもよい。なお、ここでは、直接、劣化量推定画像を記憶している場合について述べたが、推定劣化量から算出劣化量を求める変換モデルのみを記憶するようにしてもよい。具体的には、劣化推定量の各値に対して対応する算出劣化量を記憶するようにしておけばよい。あるいは、劣化推定量と算出推定量の関係を近似する回帰モデルを求め、このモデルを記述するパラメータを格納しておき、劣化推定量から算出推定量を算出するようにしてもよい。
【０１４３】
本実施形態によれば、オブジェクトを検索するための特徴量の基となる対象画像の種類に対応して適切な画像劣化を推定し、特に、画像劣化に影響され易い特徴量のマッチングを制御する。この制御によって、映像中の劣化した画像から抽出した特徴量に基づく検索対象となるオブジェクトの検索精度の低下を抑制することができる。
【０１４４】
［第９実施形態］
次に、本実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態乃至第８実施形態と比べると、マッチングのための特徴量を格納する特徴量データベースに、画像劣化の推定、特徴量の抽出、特徴量のマッチング結果をフィードバックすることにより、以後の処理のために学習する点で異なる。その他の構成および動作は、第２実施形態乃至第８実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、人物検索を例に説明するが、車両検索など他のオブジェクト検索にも適用され、同様の効果を奏する。
【０１４５】
《服マッチング部の機能構成》
図２５Ａは、本実施形態に係る映像処理装置の服マッチング部２５００の機能構成を示すブロック図である。なお、図２５Ａにおいて、図５Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。
【０１４６】
服マッチング部２５００の服特徴量ＤＢ２５０４は、服特徴量抽出部５０３が抽出した特徴量とマッチングするための、検索用の服の特徴量を格納する。さらに、服特徴量ＤＢ２５０４は、フィードバックされた、画像劣化推定部からの画像劣化量と、服特徴量抽出部５０３が抽出した服特徴量と、検索人物マッチング部４０５の人物マッチング結果とを対応付けて、格納する。そして、以降の人物検索のための特徴量マッチングに、画像劣化をより反映させて、かつ、より精度の高い人物検索をするために使用される。
【０１４７】
具体的には、画像劣化量と信頼度の関係を学習し、画像劣化量から信頼度を算出するモデルのパラメータを更新する。例えば、画像劣化がぶれの場合には、フィードバックした結果から、同一人物の服の特徴量が、ぶれていない場合に比べてぶれた場合にどの程度変化したかを求め、画像劣化量として求まるぶれの量と特徴量の変化の度合いを対応づける。これを複数のサンプルに対して行うことで、画像劣化量と信頼度の関係を求め、逐次更新していく。ここで、異なるフレーム間で同一人物の特徴量を対応づけるには、対象人物を追跡する必要があるが、この追跡処理には、既存の様々な方式を利用可能である。あるいは、オペレータが明示的に同一人物か否かを入力し、対応づけるようにしてもよい。同様に、霧や雨滴の場合も、その程度が異なるフレーム間で同一人物の特徴量同士を比較することによって、画像劣化量と信頼度の関係をフィードバックした結果から算出できる。
【０１４８】
（服特徴量ＤＢ）
図２５Ｂは、本実施形態に係る服マッチング部２５００の服特徴量ＤＢ２５０４の構成を示す図である。なお、図２５Ｂにおいて、図５Ｂと同様の要素には同じ参照番号を付して、説明を省略する。
【０１４９】
服特徴量ＤＢ２５０４は、図５Ｂの特徴量テーブル５１０と画像劣化テーブル５２０とに加えて、フィードバックされたマッチング情報２５３０が格納される。マッチング情報２５３０は、検索対象の服ＩＤ２５３１に対応付けて、抽出特徴量２５３２と、推定した画像劣化量と、服マッチング結果２５３４と、人物マッチング結果２５３５と、を格納する。
【０１５０】
本実施形態によれば、画像劣化の推定、特徴量の抽出、特徴量のマッチング結果を特徴量データベースにフィードバックして、以後の処理のために利用する。この学習によって、映像中の劣化した画像から抽出した特徴量に基づく検索対象となるオブジェクトの検索精度の低下を、さらに抑制することができる。
【０１５１】
［第１０実施形態］
次に、本発明の第３実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態乃至第９実施形態と比べると、特徴量データベースの特徴量とのマッチングに加えて、映像中の異なる画像の画像劣化の度合いおよび抽出した特徴量をマッチングする点で異なる。その他の構成および動作は、第２実施形態乃至第９実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、人物検索を例に説明するが、車両検索など他のオブジェクト検索にも適用され、同様の効果を奏する。
【０１５２】
《服マッチング部の機能構成》
図２６は、本実施形態に係る映像処理装置の服マッチング部２６００の機能構成を示すブロック図である。図２６において、図５Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。
【０１５３】
服マッチング部２６００は、複数組みの、顔検出部５０１と、顔画像劣化量推定部５０２と、服特徴量抽出部５０３と、を備える。あるいは、同じ顔検出部５０１と、顔画像劣化量推定部５０２と、服特徴量抽出部５０３と、を繰り返して使用してもよい。服特徴量マッチング部２６３０は、この複数組みの、画像劣化推定部からの画像劣化量と、服特徴量抽出部５０３からの服特徴量とをマッチングさせて、マッチング結果を生成する。
【０１５４】
（服特徴量マッチング部）
図２７Ａは、本実施形態に係る服マッチング部２６００の服特徴量マッチング部２６３０の機能構成を示す図である。なお、図２７Ａにおいては、比較する一方を画像劣化量Ａおよび服特徴量Ａ、他方を画像劣化量Ｂおよび服特徴量Ｂ、とする。
【０１５５】
服特徴量マッチング部２６３０は、画像劣化量Ａと画像劣化量Ｂとを比較する劣化量比較部２７０１と、服特徴量Ａと服特徴量Ｂとを比較する特徴量比較部２７０２と、を備える。そして、服特徴量マッチング部２６３０は、画像劣化量の比較結果と服特徴量との比較結果から、服のマッチング結果を算出するマッチング結果算出部２７０３を備える。
【０１５６】
（服特徴量マッチングテーブル）
図２７Ｂは、本実施形態に係る服特徴量マッチング部２６３０が使用する服特徴量マッチングテーブル２６３０ａの構成を示す図である。服特徴量マッチングテーブル２６３０ａは、複数の画像劣化量および服特徴量から服マッチング結果を生成するために服特徴量マッチング部２６３０により使用されるテーブルである。ここでは、便宜上、テーブル形式で記述した例を示すが、マッチング結果の格納は、図４Ｃと同様に、必ずしもテーブル形式でなくてもよい。
【０１５７】
服特徴量マッチングテーブル２６３０ａは、検索対象の服ＩＤ２７１１に対応付けて、画像劣化量Ａ２７１２と、画像劣化量Ｂ２７１３と、劣化量比較結果２７１４と、を記憶する。また、服特徴量マッチングテーブル２６３０ａは、検索対象の服ＩＤ２７１１に対応付けて、服特徴量Ａ２７１５と、服特徴量Ｂ２７１６と、服特徴量比較結果２７１７と、を記憶する。そして、服特徴量マッチングテーブル２６３０ａは、劣化量比較結果２７１４と、を記憶する。また、服特徴量マッチングテーブル２６３０ａは、劣化量比較結果２７１４と服特徴量比較結果２７１７とにから服マッチング結果を生成するマッチングアルゴリズム２７１８と、生成された服マッチング結果１７１９と、を記憶する。
【０１５８】
本実施形態によれば、推定した画像劣化の度合いおよび抽出した特徴量の組み合わせでマッチングをする。したがって、映像中の劣化した画像から抽出した特徴量に基づく検索対象となるオブジェクトの検索精度の低下を抑制しながら、同じ環境中の画像から精度よくオブジェクトを検索できる。
【０１５９】
［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【０１６０】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する映像処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
【０１６１】
［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定手段と、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出手段と、
前記検索対象となるオブジェクトの特徴量を格納する特徴量データベースと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定手段が推定した画像劣化の度合いに基づいて制御するマッチング手段と、
を備える映像処理装置。
（付記２）
前記オブジェクトの特徴量は、前記オブジェクトが有する模様の特徴量である付記１に記載の映像処理装置。
（付記３）
前記画像劣化推定手段は、前記オブジェクトが有する模様の種類に対応して、異なる度合いの画像劣化を推定する付記２に記載の映像処理装置。
（付記４）
前記オブジェクトの特徴量は、前記オブジェクトが有する色の特徴量をさらに含み、
前記マッチング手段は、前記画像劣化により前記模様の特徴量によるマッチングの信頼度が低下する場合に、前記色の特徴量によるマッチングを行なうように制御する付記２または３に記載の映像処理装置。
（付記５）
前記画像領域は、前記検索対象となるオブジェクトの一部である付記１乃至４のいずれか１項に記載の映像処理装置。
（付記６）
前記検索対象となるオブジェクトは人物であり、
前記画像劣化推定手段は、人物画像の一部である顔画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記人物の服または携帯物の特徴量である、付記５に記載の映像処理装置。
（付記７）
前記検索対象となるオブジェクトは車両であり、
前記画像劣化推定手段は、車両画像の一部であるナンバープレート画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記車両の車体または取付物ないし積載物の特徴量である、付記５に記載の映像処理装置。
（付記８）
前記画像領域は、前記映像中の特定領域である付記１乃至７のいずれか１項に記載の映像処理装置。
（付記９）
前記画像劣化推定手段は、既知の標識画像のエッジから画像劣化の度合いを推定する付記８に記載の映像処理装置。
（付記１０）
前記画像劣化推定手段は、既知のフラット画像の画素のばらつきから画像劣化の度合いを推定する付記８に記載の映像処理装置。
（付記１１）
前記画像劣化推定手段は、前記映像中から画像劣化の要因を認識して、前記要因に基づいて画像劣化の度合いを推定する付記１乃至１０のいずれか１項に記載の映像処理装置。
（付記１２）
少なくとも、前記画像劣化の度合いと、前記抽出した特徴量と、前記マッチングの結果との組み合わせを前記特徴量データベースにフィードバックする付記１乃至１１のいずれか１項に記載の映像処理装置。
（付記１３）
前記マッチング手段は、前記画像劣化の度合いと前記抽出した特徴量との、少なくとも２つの組み合わせをマッチングする付記１乃至１２のいずれか１項に記載の映像処理装置。
（付記１４）
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定ステップと、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出ステップと、
前記検索対象となるオブジェクトの特徴量を特徴量データベースに格納する格納ステップと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定ステップにおいて推定した画像劣化の度合いに基づいて制御するマッチングステップと、
を含む映像処理方法。
（付記１５）
前記オブジェクトの特徴量は、前記オブジェクトが有する模様の特徴量である付記１４に記載の映像処理方法。
（付記１６）
前記画像劣化推定ステップにおいては、前記オブジェクトが有する模様の種類に対応して、異なる度合いの画像劣化を推定する付記１５に記載の映像処理方法。
（付記１７）
前記オブジェクトの特徴量は、前記オブジェクトが有する色の特徴量をさらに含み、
前記マッチングステップにおいては、前記画像劣化により前記模様の特徴量によるマッチングの信頼度が低下する場合に、前記色の特徴量によるマッチングを行なうように制御する付記１５または１６に記載の映像処理方法。
（付記１８）
前記画像領域は、前記検索対象となるオブジェクトの一部である付記１４乃至１７のいずれか１項に記載の映像処理方法。
（付記１９）
前記検索対象となるオブジェクトは人物であり、
前記画像劣化推定ステップにおいては、人物画像の一部である顔画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記人物の服または携帯物の特徴量である、付記１８に記載の映像処理方法。
（付記２０）
前記検索対象となるオブジェクトは車両であり、
前記画像劣化推定手段においては、車両画像の一部であるナンバープレート画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記車両の車体または取付物ないし積載物の特徴量である、付記１８に記載の映像処理方法。
（付記２１）
前記画像領域は、前記映像中の特定領域である付記１４乃至２０のいずれか１項に記載の映像処理方法。
（付記２２）
前記画像劣化推定ステップにおいては、既知の標識画像のエッジから画像劣化の度合いを推定する付記２１に記載の映像処理方法。
（付記２３）
前記画像劣化推定ステップにおいては、既知のフラット画像の画素のばらつきから画像劣化の度合いを推定する付記２１に記載の映像処理方法。
（付記２４）
前記画像劣化推定ステップにおいては、前記映像中から画像劣化の要因を認識して、前記要因に基づいて画像劣化の度合いを推定する付記１４乃至２３のいずれか１項に記載の映像処理方法。
（付記２５）
少なくとも、前記画像劣化の度合いと、前記抽出した特徴量と、前記マッチングの結果との組み合わせを前記特徴量データベースにフィードバックする付記１４乃至２４のいずれか１項に記載の映像処理方法。
（付記２６）
前記マッチングステップにおいては、前記画像劣化の度合いと前記抽出した特徴量との、少なくとも２つの組み合わせをマッチングする付記１４乃至２５のいずれか１項に記載の映像処理方法。
（付記２７）
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定ステップと、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出ステップと、
前記検索対象となるオブジェクトの特徴量を特徴量データベースに格納する格納ステップと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定ステップにおいて推定した画像劣化の度合いに基づいて制御するマッチングステップと、
をコンピュータに実行させる映像処理プログラム。
（付記２８）
前記オブジェクトの特徴量は、前記オブジェクトが有する模様の特徴量である付記２７に記載の映像処理プログラム。
（付記２９）
前記画像劣化推定ステップにおいては、前記オブジェクトが有する模様の種類に対応して、異なる度合いの画像劣化を推定する付記２８に記載の映像処理プログラム。
（付記３０）
前記オブジェクトの特徴量は、前記オブジェクトが有する色の特徴量をさらに含み、
前記マッチングステップにおいては、前記画像劣化により前記模様の特徴量によるマッチングの信頼度が低下する場合に、前記色の特徴量によるマッチングを行なうように制御する付記２８または２９に記載の映像処理プログラム。
（付記３１）
前記画像領域は、前記検索対象となるオブジェクトの一部である付記２７乃至３０のいずれか１項に記載の映像処理プログラム。
（付記３２）
前記検索対象となるオブジェクトは人物であり、
前記画像劣化推定ステップにおいては、人物画像の一部である顔画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記人物の服または携帯物の特徴量である、付記３１に記載の映像処理プログラム。
（付記３３）
前記検索対象となるオブジェクトは車両であり、
前記画像劣化推定手段においては、車両画像の一部であるナンバープレート画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記車両の車体または取付物ないし積載物の特徴量である、付記３１に記載の映像処理プログラム。
（付記３４）
前記画像領域は、前記映像中の特定領域である付記２７乃至３３のいずれか１項に記載の映像処理プログラム。
（付記３５）
前記画像劣化推定ステップにおいては、既知の標識画像のエッジから画像劣化の度合いを推定する付記３４に記載の映像処理プログラム。
（付記３６）
前記画像劣化推定ステップにおいては、既知のフラット画像の画素のばらつきから画像劣化の度合いを推定する付記３４に記載の映像処理プログラム。
（付記３７）
前記画像劣化推定ステップにおいては、前記映像中から画像劣化の要因を認識して、前記要因に基づいて画像劣化の度合いを推定する付記２７乃至３６のいずれか１項に記載の映像処理プログラム。
（付記３８）
少なくとも、前記画像劣化の度合いと、前記抽出した特徴量と、前記マッチングの結果との組み合わせを前記特徴量データベースにフィードバックする付記２７乃至３７のいずれか１項に記載の映像処理プログラム。
（付記３９）
前記マッチングステップにおいては、前記画像劣化の度合いと前記抽出した特徴量との、少なくとも２つの組み合わせをマッチングする付記２７乃至３８のいずれか１項に記載の映像処理プログラム。
【０１６２】
この出願は、２０１３年８月２３日に出願された日本国特許出願  特願２０１３−１７３１６５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2015025704.tif 000003
【図３】
2015025704.tif 000004
【図４Ａ】
2015025704.tif 000005
【図４Ｂ】
2015025704.tif 000006
【図４Ｃ】
2015025704.tif 000007
【図４Ｄ】
2015025704.tif 000008
【図５Ａ】
2015025704.tif 000009
【図５Ｂ】
2015025704.tif 000010
【図６】
2015025704.tif 000011
【図７Ａ】
2015025704.tif 000012
【図７Ｂ】
2015025704.tif 000013
【図７Ｃ】
2015025704.tif 000014
【図８Ａ】
2015025704.tif 000015
【図８Ｂ】
2015025704.tif 000016
【図９】
2015025704.tif 000017
【図１０】
2015025704.tif 000018
【図１１Ａ】
2015025704.tif 000019
【図１１Ｂ】
2015025704.tif 000020
【図１１Ｃ】
2015025704.tif 000021
【図１１Ｄ】
2015025704.tif 000022
【図１３Ａ】
2015025704.tif 000023
【図１３Ｂ】
2015025704.tif 000024
【図１４Ａ】
2015025704.tif 000025
【図１４Ｂ】
2015025704.tif 000026
【図１４Ｃ】
2015025704.tif 000027
【図１６Ａ】
2015025704.tif 000028
【図１６Ｂ】
2015025704.tif 000029
【図１６Ｃ】
2015025704.tif 000030
【図１８Ａ】
2015025704.tif 000031
【図１８Ｂ】
2015025704.tif 000032
【図２０Ａ】
2015025704.tif 000033
【図２０Ｂ】
2015025704.tif 000034
【図２１Ａ】
2015025704.tif 000035
【図２１Ｂ】
2015025704.tif 000036
【図２３】
2015025704.tif 000037
【図２４】
2015025704.tif 000038
【図２５Ａ】
2015025704.tif 000039
【図２５Ｂ】
2015025704.tif 000040
【図２６】
2015025704.tif 000041
【図２７Ａ】
2015025704.tif 000042
【図２７Ｂ】
2015025704.tif 000043
【図２】
2015025704.tif 000044
【図１２】
2015025704.tif 000045
【図１５】
2015025704.tif 000046
【図１７】
2015025704.tif 000047
【図１９】
2015025704.tif 000048
【図２２】
2015025704.tif 000049
【国際調査報告】
2015025704.tif 000050
2015025704.tif 000051
2015025704.tif 000052