(57)【要約】【課題】画像から適切に検索対象を検出する対象検出装置を提供する。【解決手段】第１領域を分割した第１部分領域ごとの特徴量および信頼度を記憶する記憶部１２１と、画像データを入力する映像入力部１０１と、画像データから対象を含む第２領域を抽出する対象抽出部１０２と、第２領域を分割した第２部分領域ごとに信頼度を算出する信頼度算出部１０３と、第２部分領域ごとに特徴量を算出する特徴量算出部１０５と、第１部分領域および第２部分領域の組み合わせのそれぞれについて、第１部分領域の特徴量と第２部分領域の特徴量との間の部分類似度を算出し、部分類似度と各部分領域の信頼度との積の和である対象類似度を算出する類似度算出部１０６と、対象類似度が第１閾値より大きい場合に、第１領域に含まれる対象と第２領域に含まれる対象とが一致すると判断する判断部１０７と、を備えた。【選択図】        図１
2009075868.tif 000002
【特許請求の範囲】
【請求項１】
注目する対象を含む領域として学習画像データから抽出された第１領域を分割した第１部分領域ごとの画像の特徴量と、前記第１部分領域ごとの抽出の信頼度と、を記憶する記憶部と、
入力画像データを入力する入力部と、
入力画像データから前記対象を含む領域の候補である第２領域を抽出する抽出部と、
前記第２領域を分割した第２部分領域ごとに前記信頼度を算出する信頼度算出部と、
前記第２部分領域ごとに前記特徴量を算出する特徴量算出部と、
前記第１部分領域および前記第１部分領域に対応する前記第２部分領域の組み合わせのそれぞれについて、前記記憶部に記憶された前記第１部分領域の前記特徴量と、算出された前記第２部分領域の前記特徴量との間の類似度である部分類似度を算出し、前記部分類似度と、前記記憶部に記憶された前記第１部分領域の前記信頼度と、算出された前記第２部分領域の前記信頼度との積を算出し、前記組み合わせのそれぞれについて算出した前記積の和である対象類似度を算出する類似度算出部と、
前記対象類似度と予め定められた第１閾値とを比較し、前記対象類似度が前記第１閾値より大きい場合に、前記第２領域は前記対象を含むと判断する判断部と、
を備えたことを特徴とする対象検出装置。
【請求項２】
前記信頼度算出部は、前記第２領域の幅に対する前記第２領域の高さの割合を表す縦横比を算出し、前記縦横比が予め定められた基準値より小さい場合は前記第２領域の上方および下方の少なくとも一方に領域を追加して前記第２領域の高さを増加させ、追加した領域を含む前記第２部分領域に対して、追加した領域を含まない前記第２部分領域より小さい前記特徴量を算出すること、
を特徴とする請求項１に記載の対象検出装置。
【請求項３】
前記信頼度算出部は、前記縦横比が前記基準値より小さい場合は、前記第２領域の上方に追加する上領域の高さと下方に追加する下領域の高さとの比が異なる複数の前記上領域と前記下領域との組み合わせのそれぞれについて前記特徴量を算出し、
前記類似度算出部は、算出された前記特徴量のそれぞれに対して、前記対象類似度を算出し、
前記判断部は、算出された前記特徴量のそれぞれに対して算出された前記対象類似度のうち、最も大きい前記対象類似度を前記第１閾値と比較すること、
を特徴とする請求項２に記載の対象検出装置。
【請求項４】
前記信頼度算出部は、前記第２領域の幅に対する前記第２領域の高さの割合を表す縦横比を算出し、前記縦横比が予め定められた基準値より大きい場合は前記第２領域の左方および右方の少なくとも一方に領域を追加して前記第２領域の幅を増加させ、追加した領域を含む前記第２部分領域に対して、追加した領域を含まない前記第２部分領域より小さい前記特徴量を算出すること、
を特徴とする請求項１に記載の対象検出装置。
【請求項５】
前記信頼度算出部は、前記縦横比が前記基準値より大きい場合は、前記第２領域の左方に追加する左領域の幅と右方に追加する右領域の幅との比が異なる複数の前記左領域と前記右領域との組み合わせのそれぞれについて前記特徴量を算出し、
前記類似度算出部は、算出された前記特徴量のそれぞれに対して、前記対象類似度を算出し、
前記判断部は、算出された前記特徴量のそれぞれに対して算出された前記対象類似度のうち、最も大きい前記対象類似度を前記第１閾値と比較すること、
を特徴とする請求項４に記載の対象検出装置。
【請求項６】
前記信頼度算出部は、前記第２領域の幅に対する前記第２領域の高さの割合を表す縦横比を算出し、前記縦横比が前記基準値より小さい場合は前記第２領域の下方に領域を追加して前記第２領域の高さを増加させ、追加した領域を含む前記第２部分領域に対して、追加した領域を含まない前記第２部分領域より小さい前記特徴量を算出すること、
を特徴とする請求項１に記載の対象検出装置。
【請求項７】
前記抽出部は、入力画像データから、前記対象の構成要素ごとに、前記構成要素を含む領域である構成領域を抽出することによって、抽出した複数の前記構成領域からなる前記第２領域を抽出し、
前記信頼度算出部は、前記構成領域である前記第２部分領域ごと、または前記構成領域をさらに分割した前記第２部分領域ごとに前記信頼度を算出すること、
を特徴とする請求項１に記載の対象検出装置。
【請求項８】
前記類似度算出部は、前記組み合わせのうち、前記第１部分領域の前記信頼度および対応する前記第２部分領域の前記信頼度が共に予め定められた第２閾値より大きい前記組み合わせについて前記積を算出し、算出した前記積の和である前記対象類似度を算出すること、
を特徴とする請求項１に記載の対象検出装置。
【請求項９】
前記記憶部は、前記第１領域を横方向の分割線で分割した前記第１部分領域ごとの前記特徴量と、前記第１部分領域ごとの前記信頼度とを記憶し、
前記信頼度算出部は、前記第２領域を横方向の分割線で分割した前記第２部分領域ごとに前記信頼度を算出すること、
を特徴とする請求項１に記載の対象検出装置。
【請求項１０】
注目する対象を検出する対象検出装置における対象検出方法であって、
前記対象検出装置は、
前記対象を含む領域として学習画像データから抽出された第１領域を分割した第１部分領域ごとの画像の特徴量と、前記第１部分領域ごとの抽出の信頼度と、を記憶する記憶部を備え、
入力部が、入力画像データを入力する入力ステップと、
抽出部が、入力画像データから前記対象を含む領域の候補である第２領域を抽出する抽出ステップと、
信頼度算出部が、前記第２領域を分割した第２部分領域ごとに前記信頼度を算出する信頼度算出ステップと、
特徴量算出部が、前記第２部分領域ごとに前記特徴量を算出する特徴量算出ステップと、
類似度算出部が、前記第１部分領域および前記第１部分領域に対応する前記第２部分領域の組み合わせのそれぞれについて、前記記憶部に記憶された前記第１部分領域の前記特徴量と、算出された前記第２部分領域の前記特徴量との間の類似度である部分類似度を算出し、前記部分類似度と、前記記憶部に記憶された前記第１部分領域の前記信頼度と、算出された前記第２部分領域の前記信頼度との積を算出し、前記組み合わせのそれぞれについて算出した前記積の和である対象類似度を算出する類似度算出ステップと、
判断部が、前記対象類似度と予め定められた第１閾値とを比較し、前記対象類似度が前記第１閾値より大きい場合に、前記第２領域は前記対象を含むと判断する判断ステップと、
を備えたことを特徴とする対象検出方法。
【請求項１１】
コンピュータに実行させる対象検出プログラムであって、
前記コンピュータは、
前記対象を含む領域として学習画像データから抽出された第１領域を分割した第１部分領域ごとの画像の特徴量と、前記第１部分領域ごとの抽出の信頼度と、を記憶する記憶部を備え、
入力画像データを入力する入力手順と、
入力画像データから前記対象を含む領域の候補である第２領域を抽出する抽出手順と、
前記第２領域を分割した第２部分領域ごとに前記信頼度を算出する信頼度算出手順と、
前記第２部分領域ごとに前記特徴量を算出する特徴量算出手順と、
前記第１部分領域および前記第１部分領域に対応する前記第２部分領域の組み合わせのそれぞれについて、前記第１部分領域の前記特徴量と、前記第２部分領域の前記特徴量との間の類似度である部分類似度を算出し、前記部分類似度と、前記第１部分領域の前記信頼度と、前記第２部分領域の前記信頼度との積を算出し、前記組み合わせのそれぞれについて算出した前記積の和である対象類似度を算出する類似度算出手順と、
前記対象類似度と予め定められた第１閾値とを比較し、前記対象類似度が前記第１閾値より大きい場合に、前記第２領域は前記対象を含むと判断する判断手順と、
を前記コンピュータに実行させる対象検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像・映像中から人物などの注目物体を抽出し、その色・模様・形などの特徴を比較することで、指定された注目物体と対応するものを異なる画像・映像中から検索・抽出する装置、方法およびプログラムに関するものである。
【背景技術】
【０００２】
映像から移動する物体を含む変動領域を抽出し、複数の映像から抽出した変動領域の類似度等を算出することによって変動領域を対応づけることによって、特定人物や特定物体を追跡または検索する方法が知られている。
【０００３】
例えば、非特許文献１および２では、指定人物として登録されている色情報に類似する色領域を抽出することによって指定人物を追跡する技術が提案されている。また、特許文献１では、映像から抽出した変動領域をブロックに分割し、そのブロックの色情報をもとに人物の対応付けをとることで、特定人物を追跡・検索する技術が提案されている。
【０００４】
【非特許文献１】先山卓朗、島田伸敬、三浦純、白井良明．色情報を利用した指定人物の追跡．FIT2003８（第２回情報科学技術フォーラム）、No.I-085,pp.183-184,September 2003．
【非特許文献２】先山卓朗、三浦純、白井良明．色特徴に基づく指定人物追跡．FIT2004（第３回情報科学技術フォーラム）、No.I-036,pp.79-80,September 2004．
【特許文献１】特開２００５−２０２９３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の方法は、検索対象として指定された指定人物の全身が変動領域として抽出されることを前提としているため、例えば、上半身のみが見えている映像と全身が見えている映像との対応付けが取れないまたは対応付けが困難になるという問題があった。すなわち、指定人物の体の一部が他の人物等によって隠れる場合に、適切に指定人物を追跡・検索できないという問題があった。
【０００６】
なお、非特許文献１の方法は、人物領域を追跡して徐々に人物領域を更新していくことにより、身体の一部が隠蔽された場合でも人物領域を検出可能だが、静止画像同士を照合する場合のように、追跡処理が適用できない場合には対応できない。
【０００７】
本発明は、上記に鑑みてなされたものであって、検索対象が含まれる画像が動画像であるか静止画像であるかを問わず、検索対象の一部が隠れている場合であっても、画像から適切に検索対象を検出できる装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、注目する対象を含む領域として学習画像データから抽出された第１領域を分割した第１部分領域ごとの画像の特徴量と、前記第１部分領域ごとの抽出の信頼度と、を記憶する記憶部と、入力画像データを入力する入力部と、入力画像データから前記対象を含む領域の候補である第２領域を抽出する抽出部と、前記第２領域を分割した第２部分領域ごとに前記信頼度を算出する信頼度算出部と、前記第２部分領域ごとに前記特徴量を算出する特徴量算出部と、前記第１部分領域および前記第１部分領域に対応する前記第２部分領域の組み合わせのそれぞれについて、前記記憶部に記憶された前記第１部分領域の前記特徴量と、算出された前記第２部分領域の前記特徴量との間の類似度である部分類似度を算出し、前記部分類似度と、前記記憶部に記憶された前記第１部分領域の前記信頼度と、算出された前記第２部分領域の前記信頼度との積を算出し、前記組み合わせのそれぞれについて算出した前記積の和である対象類似度を算出する類似度算出部と、前記対象類似度と予め定められた第１閾値とを比較し、前記対象類似度が前記第１閾値より大きい場合に、前記第２領域は前記対象を含むと判断する判断部と、を備えたことを特徴とする。
【０００９】
また、本発明は、上記装置を実行することができる方法およびプログラムである。
【発明の効果】
【００１０】
本発明によれば、検索対象の一部が隠れている場合であっても、画像を照合することにより適切に検索対象を検出することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下に添付図面を参照して、この発明にかかる装置、方法およびプログラムの実施の形態を詳細に説明する。なお、以下では、検索する対象を人物として説明するが、検索対象は人物に限定されず、車や動物など映像に出現する任意の物体を検索対象とすることができる。
【００１２】
（第１の実施の形態）
第１の実施の形態にかかる対象検出装置は、抽出した人物領域を所定数の部分領域に分割し、部分領域ごとに算出した類似度（部分類似度）の総和を人物領域全体の類似度（対象類似度）として算出することにより、類似する人物領域を検索するものである。このとき、抽出した人物領域の縦横比を基準値と比較することにより、検索対象である人物の一部が隠れているか否かを判断し、隠れている部分については抽出の信頼度を小さく算出し、信頼度で重みづけた部分類似度の総和を対象類似度として算出する。
【００１３】
図１は、第１の実施の形態にかかる対象検出装置１００の構成を示すブロック図である。図１に示すように、対象検出装置１００は、記憶部１２１と、映像入力部１０１と、対象抽出部１０２と、信頼度算出部１０３と、領域分割部１０４と、特徴量算出部１０５と、類似度算出部１０６と、判断部１０７と、を備えている。
【００１４】
記憶部１２１は、比較する検索対象を事前に抽出するための学習用映像データに対して、後述する特徴量算出部１０５等が算出した特徴量等の算出結果を対応づけて記憶するものである。図２は、記憶部１２１に記憶されたデータのデータ構造の一例を示す説明図である。図２に示すように、記憶部１２１は、検索対象となる人物を識別する対象ＩＤと、特徴量１〜Ｊ（Ｊは１以上の自然数）と、信頼度１〜Ｊとを対応づけたデータを記憶している。
【００１５】
特徴量１〜Ｊは、人物領域をＪ個に分割した部分領域ごとの特徴量を表す。また、信頼度１〜Ｊは、Ｊ個の部分領域ごとの信頼度を表す。以下では、ｊ番目の特徴量および信頼度を、それぞれＦｊおよびｃｊと記載する。なお、特徴量および信頼度の算出方法については後述する。
【００１６】
なお、記憶部１２１は、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。
【００１７】
映像入力部１０１は、動画像データまたは静止画像データである映像データを入力するものである。映像入力部１０１は、ビデオカメラ（図示せず）で撮影された映像データを入力してもよいし、記憶部１２１の記憶装置に記憶された画像ファイルから映像データを入力してもよい。また、映像入力部１０１は、ネットワークを介して外部装置から映像データを入力するように構成してもよい。
【００１８】
対象抽出部１０２は、入力された映像データから人物領域を抽出するものである。固定カメラの映像であれば、対象抽出部１０２は、例えば、背景差分法によって変動領域を抽出し、抽出した変動領域を人物領域とする。また、非固定カメラの映像や静止画像のように背景差分法が適用できない対象の場合には、対象抽出部１０２は、人物パターンと照合することにより人物領域を直接検出する方法、または抽出対象の輪郭の断片を照合することによってより高精度に人物領域を抽出する方法などを適用できる。
【００１９】
なお、対象抽出部１０２による人物領域の抽出方法はこれに限られず、映像データから対象人物の全部または一部を抽出可能な方法であればあらゆる方法を適用できる。
【００２０】
信頼度算出部１０３は、抽出された人物領域の部分領域ごとの抽出の信頼度を算出するものである。抽出の信頼度とは、抽出の確からしさの度合いを表すものであり、抽出された部分領域が確かに人物の一部である場合に大きな値をとり、隠れなどによって人物ではない可能性が高い場合に小さな値をとる。
【００２１】
信頼度算出部１０３は、まず、対象抽出部１０２が人物領域を抽出したときの抽出方法に応じて、抽出の信頼度を算出する。例えば、所定のパターンと照合して人物領域を抽出する方法の場合は、信頼度算出部１０３は、当該パターンとの類似度を信頼度として算出することができる。
【００２２】
また、信頼度算出部１０３は、抽出された人物領域の縦横比を算出し、縦横比と予め定められた縦横比の基準とを比較することにより、隠れ領域が存在するか否かを推定する。隠れ領域とは、他の人物等により指定された人物の人物領域が隠れている領域をいう。隠れ領域が存在すると推定される場合は、信頼度算出部１０３は、縦横比が基準値と一致するように隠れ領域を追加して人物領域を拡張する。
【００２３】
そして、信頼度算出部１０３は、後述する領域分割部１０４が人物領域を分割した部分領域のそれぞれに対して信頼度を算出する。具体的には、信頼度算出部１０３は、隠れ領域以外の領域を分割した部分領域については、人物領域全体を抽出したときの信頼度を割り当てる。また、信頼度算出部１０３は、隠れ領域を分割した部分領域については、隠れ領域以外の領域より小さい信頼度を算出する。例えば、信頼度が０以上１以下の値をとる場合、信頼度算出部１０３は、隠れ領域に対して０．１を信頼度として算出する。
【００２４】
領域分割部１０４は、抽出された人物領域、または隠れ領域が追加された人物領域を複数の部分領域に分割するものである。領域分割部１０４は、任意の形状および大きさの部分領域に分割することができる。ただし、照合の精度を高めるために、領域分割部１０４は、人物領域の縦方向にＪ等分したスライス状に人物領域を分割するのが望ましい。
【００２５】
なお、信頼度算出部１０３が抽出された人物領域に隠れ領域を追加した場合は、領域分割部１０４は、抽出された人物領域と隠れ領域との境界で分割するように構成してもよい。さらに、領域分割部１０４は、隠れ領域との境界の位置に関わらずＪ等分に分割するように構成してもよい。この場合、抽出された人物領域と隠れ領域とを共に含む部分領域に対しては、信頼度算出部１０３は、人物領域および隠れ領域の割合に応じて信頼度を重み付け加算して信頼度を算出するように構成してもよい。
【００２６】
特徴量算出部１０５は、分割された部分領域ごとに、色・模様・形などの画像データに関する特徴量を算出するものである。算出する特徴量としては、色ヒストグラム、フーリエ記述子およびウェーブレット係数などのテクスチャ（模様）特徴量など、画像検索に関して従来から用いられているあらゆる特徴量を適用できる。特徴量算出部１０５は、隠れ領域に対応する部分領域についても、当該領域の画像から算出された特徴量をそのまま用いる。もしくは、例えば、平均的な特徴量として定められた固定値を当該領域に対する特徴量として算出しても構わない。
【００２７】
類似度算出部１０６は、記憶部１２１に事前に記憶された特徴量と、検索対象を検索するために指定された検索対象映像データから算出された特徴量とを元に、学習用映像データから抽出された人物領域と、検索対象映像データから抽出された人物領域とが類似する度合いを表す対象類似度を算出するものである。対象類似度の算出方法については後述する。
【００２８】
判断部１０７は、算出された対象類似度と所定の閾値とを比較し、対象類似度が閾値より大きい場合に、学習用映像データから抽出された検索対象と、検索対象映像データから抽出された検索対象とが一致すると判断する。
【００２９】
次に、第１の実施の形態にかかる対象検出装置１００による学習処理について図３を用いて説明する。学習処理とは、複数の画像内の検索対象の対応関係を判断するための比較対象となる情報として、事前に入力された映像データから検索対象の特徴量等を算出し、記憶部１２１に保存する処理をいう。図３は、第１の実施の形態における学習処理の全体の流れを示すフローチャートである。
【００３０】
まず、映像入力部１０１が、学習用映像データを入力する（ステップＳ３０１）。次に、対象抽出部１０２は、入力された学習用映像データから人物領域を抽出する（ステップＳ３０２）。
【００３１】
次に、信頼度算出部１０３は、検索対象に隠れ領域が存在するか否かを判定する隠れ判定処理を実行する（ステップＳ３０３）。隠れ判定処理の詳細については後述する。
【００３２】
隠れ判定処理の後、領域分割部１０４は、抽出された人物領域または隠れ領域が追加された人物領域を、Ｊ個の部分領域に分割する（ステップＳ３０４）。
【００３３】
図４および図５は、部分領域の分割方法の一例を示す図である。図４は、人物領域の縦方向および横方向のそれぞれを所定数に等分するように分割した例を示している。このような分割方法では、人物の左右の動きによって領域の対応する部位が変化するため、マッチングが安定しないという問題がある。例えば、同図では、人物の動作前の部分領域４０１と、人物の動作前の部分領域４０２とは、それぞれ異なる部位である腕および胴体に対応している。このため、例えば色情報に基づく特徴量を用いた場合、特徴量の相違が大きくなり、対応しない領域であると判断される可能性が高くなる。
【００３４】
一方、図５は、人物領域の縦方向にスライス状に分割した例を示している。このような分割方法であれば、人物が左右に動いた場合であっても、各部位は同一領域内にとどまる可能性が高く、マッチングが安定する。例えば、同図では、人物の動作前の部分領域５０１と、人物の動作前の部分領域５０２とは、それぞれ腕および胴体をほぼ同じ割合で含んでいる。このため、例えば色情報に基づく特徴量を用いた場合であっても、特徴量の相違が小さく、対応する領域であると判断される可能性が高い。
【００３５】
図３に戻り、領域分割部１０４が人物領域を部分領域に分割した後、信頼度算出部１０３は、分割したＪ個の部分領域ごとに信頼度ｃｊを算出する（ステップＳ３０５）。具体的には、信頼度算出部１０３は、隠れ領域が含まれない部分領域に対しては、人物領域を抽出したときの信頼度をそれぞれ割り当てる。また、信頼度算出部１０３は、隠れ領域が含まれる部分領域に対しては、所定の信頼度（例えば０．１）を割り当てる。
【００３６】
次に、特徴量算出部１０５は、分割されたＪ個の部分領域ごとに特徴量Ｆｊを算出する（ステップＳ３０６）。そして、特徴量算出部１０５は、算出した部分領域ごとの特徴量Ｆｊと信頼度ｃｊとを記憶部１２１に保存し（ステップＳ３０７）、学習処理を終了する。
【００３７】
次に、ステップＳ３０３の隠れ判定処理の詳細について説明する。図６は、第１の実施の形態における隠れ判定処理の全体の流れを示すフローチャートである。
【００３８】
まず、信頼度算出部１０３は、抽出された人物領域の縦横比ｒを算出する（ステップＳ６０１）。縦横比ｒは、人物領域の幅をｗ、高さをｈとすると、ｒ＝ｈ／ｗで表される。
【００３９】
次に、信頼度算出部１０３は、算出した縦横比ｒと、予め平均的な人物の縦横比として求めた縦横比の基準値Ｒより小さいか否かを判断する（ステップＳ６０２）。
【００４０】
図７は、人物の縦横比を求める方法を説明するための模式図である。図７に示すように、平均的な人物の高さの基準値をＨおよび幅の基準値をＷとし、それぞれ例えばＨ＝２およびＷ＝１であるとすると、縦横比の基準値Ｒは、Ｒ＝Ｈ／Ｗ＝２のように求めることができる。
【００４１】
縦横比ｒが基準値Ｒより小さい場合（ステップＳ６０２：ＹＥＳ）、信頼度算出部１０３は、検索対象の隠れ領域が存在すると推定する（ステップＳ６０３）。そして、信頼度算出部１０３は、縦横比が基準値に一致するように、抽出された人物領域に隠れ領域を追加する（ステップＳ６０４）。具体的には、信頼度算出部１０３は、（Ｒ−ｒ）／Ｒによって算出した隠れ領域の割合にしたがい、人物領域の上方および下方の少なくとも一方に隠れ領域を追加する。
【００４２】
なお、信頼度算出部１０３は、上方および下方のいずれの方向に、どのような割合で隠れ領域が存在するかを判定することができない。そこで、信頼度算出部１０３が、上方および下方に追加する隠れ領域の割合の合計が（Ｒ−ｒ）／Ｒを満たす複数の組み合わせで隠れ領域を追加するように構成してもよい。
【００４３】
図８は、このような構成で追加される複数の隠れ領域の組み合わせの一例を示す図である。図８の左側には、人物領域８０１と下方のみに追加された隠れ領域８１１との組み合わせの例が示されている。また、図８の中央には、人物領域８０２と上方に追加された隠れ領域８１２と下方に追加された隠れ領域８１３との組み合わせの例が示されている。さらに、図８の右側には、人物領域８０３と上方のみに追加された隠れ領域８１４との組み合わせの例が示されている。
【００４４】
なお、このように構成する場合、複数の組み合わせのそれぞれについて、これ以降の処理（領域分割処理、特徴量算出処理、および特徴量保存処理）を実行する。そして、後述する検出処理では、組み合わせそれぞれについて算出した特徴量および信頼度を用いて類似度を判定し、最も類似度の高いものを採用するように構成する。
【００４５】
また、一般に人物の高さ方向については下半身が隠れることが多いため、信頼度算出部１０３は、高さ方向の隠れ領域は下半身領域に発生していると限定するように構成してもよい。これにより、隠れ判定処理の処理量を削減することができる。
【００４６】
また、これまでは縦横比をｒ＝ｈ／ｗとし、縦横比が基準値より小さい場合、すなわち、高さ方向に隠れ領域が存在する場合のみについて説明した。幅方向に隠れ領域が存在する場合については、基準値Ｒ（＝２）より大きいか否かを判定することにより上記と同様の隠れ領域推定・追加処理を行えばよい。また、縦横比をｒ’＝ｗ／ｈに置き換えて、同様に置き換えた基準値Ｒ’＝Ｗ／Ｈ（＝０．５）より小さいか否かを判定することにより上記と同様の隠れ領域推定・追加処理を行うように構成してもよい。
【００４７】
なお、図６のような隠れの推定は、対象抽出部１０２において背景差分で抽出された変動領域をそのまま人物領域として用いるような場合に必要となる。この場合、変動領域は必ずしも人物領域全体を抽出しているとは限らず、背景によって隠された領域があるとその部分は変動として抽出されないため、そのような隠れ領域を推定する必要がある。
【００４８】
一方、対象抽出部１０２として、背景差分処理と人物検出処理を併用するような場合は、図６のような隠れの推定は必ずしも必要ない。この場合は、背景差分により抽出された変動領域に対して、それを含む周辺領域から人物検出処理を行って人物領域を抽出する。そのため、抽出された人物領域のうち、変動領域ではない領域が隠れ領域であると判定できる。
【００４９】
また、対象抽出部１０２として人物検出処理のみを用いる場合は、人物領域（全身）とその抽出信頼度が得られるのみであるため、領域分割部１０４が分割する各部分領域の信頼度として当該抽出信頼度を用いる。
【００５０】
ここで、ステップＳ３０２の人物領域抽出処理、ステップＳ３０５の信頼度算出処理、およびステップＳ３０６の特徴量算出処理の具体例について図９〜図１４を用いて説明する。図９〜図１１は、隠れ領域が存在しない場合の各処理の様子を説明する図である。また、図１２〜図１４は、隠れ領域が存在する場合の各処理の様子を説明する図である。
【００５１】
図９は、隠れ領域が存在しないため、対象となる人物の全体が人物領域９０１として抽出された例を示している。図１０は、このような人物領域９０１をスライス状の部分領域に分割し、それぞれに対して同一の信頼度を算出した例を示している。図１１は、各部分領域ごとに特徴量Ｆｊを算出したことを示している。
【００５２】
一方、図１２は、隠れ領域が存在するため、対象となる人物の上半身のみ人物領域１２０１として抽出された例を示している。そして、下半身部分が、隠れ領域として推定されて追加されたことを示している。
【００５３】
また、図１３は、隠れ領域を追加した人物領域をスライス状の部分領域に分割し、それぞれに対して信頼度を算出した例を示している。この場合は、最初に抽出された人物領域１２０１に対応する部分領域に対しては、抽出時の信頼度が算出されるが、隠れ領域に対応する部分領域に対しては、小さい信頼度が算出される。
【００５４】
また、図１４は、各部分領域ごとに特徴量Ｆｊを算出したことを示している。後述するように、検出処理では、部分領域ごとに特徴量Ｆｊを信頼度で重みづけることにより、複数の人物領域間の対象類似度を算出する。したがって、例えば図１４の例では、隠れ領域１４０１以外の領域について算出された特徴量が、対象類似度の算出で重視されることになる。
【００５５】
次に、第１の実施の形態にかかる対象検出装置１００による検出処理について図１５を用いて説明する。検出処理とは、学習処理で記憶した特徴量等と、新たに入力された映像データから算出された特徴量等とを用いて、入力された映像データから抽出された人物領域と、学習用映像データから抽出された人物領域との対応関係を検出する処理をいう。図１５は、第１の実施の形態における検出処理の全体の流れを示すフローチャートである。
【００５６】
まず、映像入力部１０１が、検索対象映像データを入力する（ステップＳ１５０１）。以下、ステップＳ１５０２からステップＳ１５０６までの、人物領域抽出処理、隠れ判定処理、信頼度算出処理、領域分割処理、および特徴量算出処理は、学習処理のステップＳ３０２からステップＳ３０６までと同様の処理なので、その説明を省略する。
【００５７】
検索対象映像データに対して特徴量を算出した後、類似度算出部１０６は、算出した特徴量と、記憶部１２１に記憶されている特徴量とを用いて、対象類似度を算出する（ステップＳ１５０７）。以下に対象類似度の具体的な算出方法について説明する。
【００５８】
以下では、比較対象となる人物の対象ＩＤをｉ、特徴量をＦｉ，ｊ（ｊ＝１〜Ｊ）、および信頼度をｃｉ，ｊとする。また、入力された検索対象映像データから抽出された人物領域に対して算出された特徴量をＦｉｎｐｕｔ，ｊ、信頼度をｃｉｎｐｕｔ，ｊとする。
【００５９】
この場合、類似度算出部１０６は、以下の（１）式または（２）式によって、人物領域間の類似度である対象類似度Ｓｉｎｐｕｔ，ｊを算出する。
【数１】
2009075868.tif 000003
【００６０】
なお、ｓｉｍｉｌａｒｉｔｙ（Ｆｉｎｐｕｔ，ｊ，Ｆｉ，ｊ）は、特徴量Ｆｉｎｐｕｔと、特徴量Ｆｉ，ｊとの間の類似度である部分類似度を表す。類似度算出部１０６は、例えば、ベクトルで表された特徴量については、特徴量ベクトルの相関値を部分類似度として算出する。また、特徴量がヒストグラムである場合は、類似度算出部１０６は、ヒストグラムインターセクションによって部分類似度を算出する。このように、類似度算出部１０６は、特徴量の算出方法に応じて従来から用いられているあらゆる特徴量間の類似度算出方法を適用できる。
【００６１】
なお、（２）式は、全体の信頼度で正規化して対象類似度Ｓｉｎｐｕｔ，ｊを算出するものである。（２）式によれば、部分的な隠れに対しては（１）式よりも安定になる可能性がある。
【００６２】
（１）式または（２）式に示すように、部分類似度に対して、比較する双方の人物領域の部分領域ごとの信頼度をそれぞれ乗じ、すべての部分領域で総和を算出することにより、人物領域全体の対象類似度を算出している。すなわち、信頼度が小さい場合には、対応する部分領域についての部分類似度は、対象類似度全体に対する重みが小さくなる。これにより、例えば、隠れ領域が追加された場合であっても対象類似度の算出に与える影響を小さくし、隠れが存在する場合のマッチングを安定化させることができる。
【００６３】
なお、隠れ領域の場合は、重み付けによって影響を小さくできるとしても、特徴量間の類似度（部分類似度）自体が低くなる可能性が高いため、全体の類似度（対象類似度）の精度を低下させる原因となる。例えば、全身が映っている人物と上半身のみが映っている人物とを比較したときに、隠れている下半身部分に対応する部分類似度が低いため、対象類似度が低くなりマッチングが失敗する場合がある。
【００６４】
そこで、このような場合に、隠れていない部分（上半身）のみで類似度を評価することにより、隠れが存在する場合のマッチングを安定化させることができる。例えば、類似度を以下の（３）〜（５）式を用いて算出するように構成すればよい。
【数２】
2009075868.tif 000004
ここで、ｍｉｎ（Ａ，Ｂ）は、ＡとＢとのうち値が小さい方を意味する。また、Ｄは、信頼度ｃｉｎｐｕｔ，ｄとｃｉ，ｄとが少なくとも閾値Ｔ以上である部分領域ｄの集合を表す。また、ｎｕｍ（Ｄ）は、集合Ｄの要素数を表す。
【００６５】
このようにして対象類似度を算出することにより、隠れ領域などの信頼度が小さい部分領域は集合Ｄから排除され、対象類似度の算出時に考慮されなくなるため、隠れが存在する場合のマッチングを安定化させることができる。
【００６６】
（１）式、（２）式、または（３）〜（５）式によって対象類似度を算出した後、判断部１０７は、対象類似度が所定の閾値より大きいか否かを判断する（ステップＳ１５０８）。大きい場合は（ステップＳ１５０８：ＹＥＳ）、判断部１０７は、対象ＩＤ＝ｉの人物と、入力された検索対象映像データ内の人物とが対応すると判断する（ステップＳ１５０９）。
【００６７】
対象類似度が閾値より大きくない場合は（ステップＳ１５０８：ＮＯ）、判断部１０７は、対象ＩＤ＝ｉの人物と、入力された検索対象映像データ内の人物とが対応しないと判断する（ステップＳ１５１０）。
【００６８】
このように、第１の実施の形態にかかる対象検出装置では、抽出した人物領域の縦横比を基準値と比較することにより、検索対象である人物の一部が隠れているか否かを判断し、隠れている部分については抽出の信頼度を小さく算出し、信頼度で重みづけた部分類似度の総和を対象類似度として算出することができる。そして、このようにして算出した対象類似度を用いて、人物領域間の対応関係を判定することができる。これにより、検索対象の一部が隠れている場合であっても、画像を照合することにより適切に検索対象を検出することができる。
【００６９】
（第２の実施の形態）
第２の実施の形態にかかる対象検出装置は、人物の構成要素である部位ごとの領域（構成領域）を抽出することによって、人物全体の領域（人物領域）を抽出するものである。
【００７０】
図１６は、第２の実施の形態にかかる対象検出装置１６００の構成を示すブロック図である。図１６に示すように、対象検出装置１６００は、記憶部１２１と、映像入力部１０１と、対象抽出部１６０２と、信頼度算出部１６０３と、領域分割部１６０４と、特徴量算出部１０５と、類似度算出部１０６と、判断部１０７と、を備えている。
【００７１】
第２の実施の形態では、対象抽出部１６０２、信頼度算出部１６０３、および領域分割部１６０４の機能が第１の実施の形態と異なっている。その他の構成および機能は、第１の実施の形態にかかる対象検出装置１００の構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。
【００７２】
対象抽出部１６０２は、入力された映像データから、人物の各部位に対応した領域である構成領域をそれぞれ抽出する。例えば、対象抽出部１６０２は、頭部、左肩部、右肩部、胸部、左腕部、右腕部、腹部、左脚部、および右脚部の９個の部位ごとに構成領域を抽出する。抽出方法としては、部位ごとの照合パターンと比較することにより構成領域を抽出する方法などの、従来から用いられているあらゆる方法を適用できる。
【００７３】
信頼度算出部１６０３は、抽出された構成領域を部分領域として、部分領域ごとの信頼度を算出する。信頼度算出部１６０３は、例えば、部位ごとの照合パターンに対する類似度を部分領域ごとの信頼度として算出する。なお、後述する領域分割部１６０４が構成領域をさらに細分化した場合は、信頼度算出部１６０３は、その分割単位をそれぞれ部分領域として信頼度を算出する。この場合、信頼度算出部１６０３は、分割前の構成領域についての照合パターンとの類似度を、分割後の各部分領域の信頼度として算出すればよい。
【００７４】
領域分割部１６０４は、抽出された人物領域を複数の部分領域に分割するものである。最も簡単な方法としては、領域分割部１６０４は、部位ごとに抽出された構成領域をそのまま部分領域として人物領域を分割する。領域分割部１６０４が、構成領域をさらに細分化した部分領域に分割してもよい。
【００７５】
次に、第２の実施の形態にかかる対象検出装置１６００による学習処理について図１７を用いて説明する。図１７は、第２の実施の形態における学習処理の全体の流れを示すフローチャートである。
【００７６】
まず、映像入力部１０１が、学習用映像データを入力する（ステップＳ１７０１）。次に、対象抽出部１６０２は、入力された学習用映像データから、部位ごとに人物領域を抽出する（ステップＳ１７０２）。すなわち、対象抽出部１６０２は、人物の各部位に対応した構成領域をそれぞれ抽出することによって、各構成領域からなる人物領域を抽出する。
【００７７】
次に、信頼度算出部１６０３は、部位ごとに、構成領域と照合パターンとの類似度を信頼度として算出する（ステップＳ１７０３）。次に、領域分割部１６０４は、人物領域を部分領域に分割する（ステップＳ１７０４）。上述のように、領域分割部１６０４は、構成領域単位で人物領域を部分領域に分割するか、または構成領域をさらに細分化するように人物領域を部分領域に分割する。なお、領域分割部１６０４が構成領域を細分化した場合は、信頼度算出部１６０３は、細分化した部分領域のそれぞれに対して、細分化する前の対応する構成領域の信頼度を割り当てる。
【００７８】
ステップＳ１７０５からステップＳ１７０６までの、特徴量算出処理および特徴量保存処理は、第１の実施の形態にかかる対象検出装置１００におけるステップＳ３０６からステップＳ３０７までと同様の処理なので、その説明を省略する。
【００７９】
次に、第２の実施の形態にかかる対象検出装置１６００による検出処理について図１８を用いて説明する。図１８は、第２の実施の形態における検出処理の全体の流れを示すフローチャートである。
【００８０】
ステップＳ１８０１からステップＳ１８０４までの、映像データ入力処理、人物領域抽出処理、信頼度算出処理、および領域分割処理は、図１７の学習処理のステップＳ１７０１からステップＳ１７０４までと同様の処理なので、その説明を省略する。
【００８１】
また、ステップＳ１８０５からステップＳ１８０９までの、特徴量算出処理および対応判断処理は、第１の実施の形態にかかる対象検出装置１００におけるステップＳ１５０６からステップＳ１５１０までと同様の処理なので、その説明を省略する。
【００８２】
このように、第２の実施の形態は、人物領域の抽出方法が異なる以外は、第１の実施の形態と同様の方法によって、検索対象の対応関係を判定することができる。
【００８３】
次に、第２の実施の形態における、人物領域抽出処理、信頼度算出処理、および特徴量算出処理の具体例について図１９〜図２４を用いて説明する。図１９〜図２１は、隠れ領域が存在しない場合の各処理の様子を説明する図である。また、図２２〜図２４は、隠れ領域が存在する場合の各処理の様子を説明する図である。
【００８４】
図１９は、隠れ領域が存在しないため、対象となる人物の全体が抽出されたことを示している。また、同図は、部位ごとに抽出された構成領域の一例として、頭部の構成領域１９０１、左肩部の構成領域１９０２、胸部の構成領域１９０３、左腕部の構成領域１９０４、腹部の構成領域１９０５、および左脚部の構成領域１９０６が示されている。
【００８５】
図２０は、このような構成領域を部分領域として、部分領域それぞれに対して算出された信頼度の例を示している。一般に、部分領域ごとに異なる信頼度が算出される。
【００８６】
図２１は、各部分領域ごとに特徴量Ｆｊを算出したことを示している。
【００８７】
一方、図２２は、隠れ領域が存在する場合に、部位ごとに抽出された部分領域の例を示している。同図のように下半身部分に隠れ領域が存在する場合であっても、対象抽出部１６０２は、すべての部位に対応する構成領域を抽出する。
【００８８】
また、図２３は、このような構成領域を部分領域として、部分領域それぞれに対して算出された信頼度の例を示している。同図に示すように、下半身部分に隠れ領域が存在するため、下半身側の部位に対応する部分領域に対して、他の部分領域より小さい信頼度が算出される。
【００８９】
また、図２４は、各部分領域ごとに特徴量Ｆｊを算出したことを示している。図２４の例では、下半身側の部位に対応する部分領域２４０１について算出された特徴量は、信頼度が小さいため対象類似度の算出で重視されない。これにより、隠れ領域が存在する場合であってもマッチングを安定化させることができる。
【００９０】
このように、第２の実施の形態にかかる対象検出装置では、人物を構成する部位ごとに領域を抽出する方法であっても、第１の実施の形態と同様の検出処理を適用できる。これにより、検索対象の一部が隠れている場合であっても、画像を照合することにより適切に検索対象を検出することができる。
【００９１】
（変形例）
なお、部位ごとに領域を抽出する別の方法として、モーションキャプチャの技術を適用するように構成してもよい。図２５は、モーションキャプチャ技術の概要を説明するための模式図である。図２５に示すように、モーションキャプチャ技術では、各部位モデルを含む人体全体の人体モデルとのマッチングを行う。
【００９２】
より具体的には、対象抽出部１６０２は、画像のエッジ情報やシルエット情報をもとに人体モデルとのマッチングを行って部位ごとに領域を抽出する。また、信頼度算出部１６０３は、人体モデルのマッチングの際の各部位モデルとのマッチングスコアを各部分領域の信頼度として算出する。そして、領域分割部１６０４は人体モデルとの対応にしたがって人物領域を各部位に分割する。
【００９３】
次に、第１または第２の実施の形態にかかる対象検出装置のハードウェア構成について図２６を用いて説明する。図２６は、第１または第２の実施の形態にかかる対象検出装置のハードウェア構成を示す説明図である。
【００９４】
第１または第２の実施の形態にかかる対象検出装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disc）ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置と、各部を接続するバス６１を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００９５】
第１または第２の実施の形態にかかる対象検出装置で実行される対象検出プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００９６】
また、第１または第２の実施の形態にかかる対象検出装置で実行される対象検出プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１または第２の実施の形態にかかる対象検出装置で実行される対象検出プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００９７】
また、第１または第２の実施の形態の対象検出プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００９８】
第１または第２の実施の形態にかかる対象検出装置で実行される対象検出プログラムは、上述した各部（映像入力部、対象抽出部、信頼度算出部、領域分割部、特徴量算出部、類似度算出部、判断部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１（プロセッサ）が上記記憶媒体から対象検出プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。
【産業上の利用可能性】
【００９９】
以上のように、本発明にかかる装置、方法およびプログラムは、映像・画像データから抽出した対象物の照合することにより映像を検索する装置、または映像・画像データ中の対象物を追跡する装置に適している。
【図面の簡単な説明】
【０１００】
【図１】第１の実施の形態にかかる対象検出装置の構成を示すブロック図である。
【図２】記憶部に記憶されたデータのデータ構造の一例を示す説明図である。
【図３】第１の実施の形態における学習処理の全体の流れを示すフローチャートである。
【図４】部分領域の分割方法の一例を示す図である。
【図５】部分領域の分割方法の一例を示す図である。
【図６】第１の実施の形態における隠れ判定処理の全体の流れを示すフローチャートである。
【図７】人物の縦横比を求める方法を説明するための模式図である。
【図８】複数の隠れ領域の組み合わせの一例を示す図である。
【図９】隠れ領域が存在しない場合の人物領域抽出処理の様子を説明する図である。
【図１０】隠れ領域が存在しない場合の信頼度算出処理の様子を説明する図である。
【図１１】隠れ領域が存在しない場合の特徴量算出処理の様子を説明する図である。
【図１２】隠れ領域が存在する場合の人物領域抽出処理の様子を説明する図である。
【図１３】隠れ領域が存在する場合の信頼度算出処理の様子を説明する図である。
【図１４】隠れ領域が存在する場合の特徴量算出処理の様子を説明する図である。
【図１５】第１の実施の形態における検出処理の全体の流れを示すフローチャートである。
【図１６】第２の実施の形態にかかる対象検出装置の構成を示すブロック図である。
【図１７】第２の実施の形態における学習処理の全体の流れを示すフローチャートである。
【図１８】第２の実施の形態における検出処理の全体の流れを示すフローチャートである。
【図１９】隠れ領域が存在しない場合の人物領域抽出処理の様子を説明する図である。
【図２０】隠れ領域が存在しない場合の信頼度算出処理の様子を説明する図である。
【図２１】隠れ領域が存在しない場合の特徴量算出処理の様子を説明する図である。
【図２２】隠れ領域が存在する場合の人物領域抽出処理の様子を説明する図である。
【図２３】隠れ領域が存在する場合の信頼度算出処理の様子を説明する図である。
【図２４】隠れ領域が存在する場合の特徴量算出処理の様子を説明する図である。
【図２５】モーションキャプチャ技術の概要を説明するための模式図である。
【図２６】第１または第２の実施の形態にかかる対象検出装置のハードウェア構成を示す説明図である。
【符号の説明】
【０１０１】
５１  ＣＰＵ
５２  ＲＯＭ
５３  ＲＡＭ
５４  通信Ｉ／Ｆ
６１  バス
１００  対象検出装置
１０１  映像入力部
１０２  対象抽出部
１０３  信頼度算出部
１０４  領域分割部
１０５  特徴量算出部
１０６  類似度算出部
１０７  判断部
１２１  記憶部
４０１、４０２、５０１、５０２  部分領域
８０１、８０２、８０３  人物領域
８１１、８１２、８１３、８１４  隠れ領域
９０１  人物領域
１２０１  人物領域
１４０１  隠れ領域
１６００  対象検出装置
１６０２  対象抽出部
１６０３  信頼度算出部
１６０４  領域分割部
１９０１、１９０２、１９０３、１９０４、１９０５、１９０６  構成領域
２４０１  部分領域
【図１】
2009075868.tif 000005
【図２】
2009075868.tif 000006
【図３】
2009075868.tif 000007
【図４】
2009075868.tif 000008
【図５】
2009075868.tif 000009
【図６】
2009075868.tif 000010
【図７】
2009075868.tif 000011
【図８】
2009075868.tif 000012
【図９】
2009075868.tif 000013
【図１０】
2009075868.tif 000014
【図１１】
2009075868.tif 000015
【図１２】
2009075868.tif 000016
【図１３】
2009075868.tif 000017
【図１４】
2009075868.tif 000018
【図１５】
2009075868.tif 000019
【図１６】
2009075868.tif 000020
【図１７】
2009075868.tif 000021
【図１８】
2009075868.tif 000022
【図１９】
2009075868.tif 000023
【図２０】
2009075868.tif 000024
【図２１】
2009075868.tif 000025
【図２２】
2009075868.tif 000026
【図２３】
2009075868.tif 000027
【図２４】
2009075868.tif 000028
【図２５】
2009075868.tif 000029
【図２６】
2009075868.tif 000030