(57)【要約】【課題】所望のフレーム内の所定領域、撮影場所内の所定領域に、被写体が存在する映像区間を検索して、ユーザに選択しやすい形で提示し、再生編集への利用を容易にする。【解決手段】顔検出手段２２０は、被写体が存在するフレーム内の領域と区間を被写体シーケンスとして検出する。顔シーケンス記憶手段２４０は、前記被写体シーケンスを記憶する。再生指示・条件設定手段５１０は、前記被写体の出現するフレーム内の領域を指定する。再生対象区間決定手段５２０は、顔シーケンス記憶手段２４０に記憶された前記被写体の存在するフレーム内の領域を読み出し、前記フレーム内の領域に被写体が出現する区間を検索する。表示手段５４０は、前記検索の結果を表示する。【選択図】  図１
2010041247.tif 000002
【特許請求の範囲】
【請求項１】
被写体が存在するフレーム内の領域と区間を被写体シーケンスとして検出する被写体検出手段と、
前記被写体シーケンスを記憶する記憶手段と、
前記被写体の出現するフレーム内の領域を指定する指定手段と、
前記記憶手段に記憶された前記被写体の存在するフレーム内の領域を読み出し、前記フレーム内の領域に被写体が出現する区間を検索する検索手段と、
前記検索の結果を表示する表示手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記表示手段は、検索結果である候補区間を、区間中の被写体の画像を用いて表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示手段は、検索結果である候補区間の時間軸上の位置を表示することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記検索手段の時間軸の探索範囲を指定する手段を更に備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記検索手段の被写体の数を指定する手段を更に備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
被写体が存在するフレーム内の領域と区間を被写体シーケンスとして検出する工程と、
前記被写体シーケンスを記憶する工程と、
前記被写体の出現するフレーム内の領域を指定する工程と、
前記被写体の存在するフレーム内の領域を読み出し、前記フレーム内領域に被写体が出現する区間を検索する工程と、
前記検索の結果を表示する工程とを有することを特徴とする画像処理方法。
【請求項７】
請求項６に記載の方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像再生および編集装置において、映像中に所定の被写体が所定の領域に写っている画像を検索する方法および装置等に関するものである。
【背景技術】
【０００２】
映像から所定の被写体が写っているか否かを検索する画像検索装置が特許文献１に記載されている。特許文献１では、映像から顔を検出する手段と、検出した顔を識別する手段を設け、映像中から顔が写っているフレームを検出し、前記フレームから顔画像を抽出することが開示されている。より詳しくは、抽出した全ての顔画像から同一登場人物の顔をグループ化し、登場人物別にその代表顔画像を抽出するようにし、映像中の登場人物の顔を識別するようにしている。また、顔を検出する際に、顔の数、顔の向き、性別、表情、眼鏡の有無、ひげの有無を指定できるとしている。
【０００３】
また特許文献２には、移動する被写体を検出し、予め指定した所定の領域内に進入したことを検出できるようにした技術が開示されている。
【０００４】
【特許文献１】特開２００１−１６７１１０号公報
【特許文献２】特開２００１−２４５２７８号公報
【非特許文献１】Rowley et al, "Neural network-based face detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998
【非特許文献２】Yang et al, "Detecting Faces in Images: A Survey", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24 , NO.1, JANUARY 2002
【非特許文献３】Wiskott et al, "Face Recognition by Elastic Bunch Graph Matching", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.19 , NO.7, JULY 1997
【非特許文献４】Schmid and Mohr, "Local Greyvalue Invariants for Image Retrieval", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.19 , NO.5, MAY 1997
【発明の開示】
【発明が解決しようとする課題】
【０００５】
例えば、動画を編集する際、所定の構図(フレーム内に、顔が真中にある、２つの顔が均等に並んでいる、など)で撮影された区間を利用したいということがある。また、例えば、ある場所の所定の領域(部屋のドア付近、など)での人の行動を監視したい、といったことがある。このように、顔のフレーム内の位置や、撮影場所内の位置を特定した区間を検索し、再生や編集などに利用したい場合がある。
【０００６】
しかしながら特許文献１では、フレーム内の所定領域、或いは、撮影場所内の所定領域に顔が存在する区間のみ、といった指定が出来ない。また、映像中に登場する人物の顔画像を表示するだけであるので、映像中の撮影場所内の所定領域に顔が存在する区間を表示したり、再生したり、することはできない。
【０００７】
また、特許文献２では、フレーム内の所定の領域に移動する被写体が進入した時点を検出するだけなので、再びフレーム内の所定の領域から出て行く時点を検出ことができない。また、移動する被写体しか検出できないので、例えば、撮影開始時からフレーム内の所定の領域に、被写体が存在していた場合は、検出することができない。よって、特定の被写体（顔）が、所定の領域内に存在している動画区間を検出し、再生することはできない。
【０００８】
本発明は係る問題に鑑みて、所望のフレーム内の所定領域、撮影場所内の所定領域に、被写体が存在する映像区間を検索して、ユーザに選択しやすい形で提示し、再生編集への利用を容易にすることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、被写体が存在するフレーム内の領域と区間を被写体シーケンスとして検出する被写体検出手段と、前記被写体シーケンスを記憶する記憶手段と、前記被写体の出現するフレーム内の領域を指定する指定手段と、前記記憶手段に記憶された前記被写体の存在するフレーム内の領域を読み出し、前記フレーム内の領域に被写体が出現する区間を検索する検索手段と、前記検索の結果を表示する表示手段とを備えたことを特徴とする。
また、本発明の画像処理方法は、被写体が存在するフレーム内の領域と区間を被写体シーケンスとして検出する工程と、前記被写体シーケンスを記憶する工程と、前記被写体の出現するフレーム内の領域を指定する工程と、前記被写体の存在するフレーム内の領域を読み出し、前記フレーム内領域に被写体が出現する区間を検索する工程と、前記検索の結果を表示する工程とを有することを特徴とする。
また、本発明のプログラムは、上記に記載の方法の各工程をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１０】
本発明によれば、所望のフレーム内の所定領域、または、撮影場所内の所定領域に、被写体が存在する映像区間を検索して、ユーザが選択しやすい形で提示できるようにしたので、映像内容の把握が容易になり、その再生や編集への利用が容易になる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。なお、本実施形態では、検索対象の被写体として人物、特に顔を扱い、映像中から人物が写っている被写体シーケンス、その代表画像として顔画像を抽出し、表示することにより映像内容の把握ができるような画像処理装置について説明する。
【００１２】
＜第１の実施の形態＞
図１に本発明の第１の実施の形態の概略構成を示す。１００は映像入力手段であり、例えばカムコーダなどで構成され、動画像データを撮像あるいはその他公知の手段により入力する。また、デジタル画像データを保持する記憶媒体から動画像データを読み込むようなコンピュータ・システムのインターフェース機器であってもよい。
【００１３】
２００は顔シーケンス生成部であり、入力した映像を解析し、顔が写っている映像期間において各フレームから顔画像を抽出し、被写体シーケンスとして出力する。なお、ここで被写体（顔）シーケンスとは、連続した映像期間から抽出された顔画像および、その付帯情報の集まりを言う。付帯情報としては、顔画像を抽出したフレームの番号、顔シーケンスの区間、そのフレームにおける顔画像を切り取った領域の情報、個々の顔シーケンスを識別するためのＩＤ、顔シーケンスの代表画像、顔シーケンスを代表する特徴量などがある。
【００１４】
顔シーケンス生成部２００は、画像メモリ２１０、顔検出手段２２０、顔追跡手段２３０、顔シーケンス記憶手段２４０、顔特徴量算出手段２５０より構成される。
【００１５】
画像メモリ２１０は、映像入力手段１００から出力された動画像データをフレームごとに一時的に記憶する。顔検出手段（被写体検出手段）２２０は、動画像データの所定のフレームから人物顔パターンの検出を行い、時間軸上の位置を検出結果として出力する。顔追跡手段２３０は、顔検出手段２２０で検出された人物顔パターンを後続するフレーム中から探索し、その追跡結果を顔シーケンス記憶手段２４０に出力する。顔特徴量算出手段２５０は、顔検出手段２２０で検出された人物顔パターン(顔画像)から顔特徴量を抽出し、顔シーケンスの代表特徴量として顔シーケンス記憶手段２４０に記憶する。なお、このときの顔画像も、顔シーケンスの代表画像として併せて顔シーケンス記憶手段２４０に記憶する。
【００１６】
５００は再生部であり、ユーザから指定された条件に対応する映像区間を再生する。再生部５００は、再生指示・条件設定手段５１０、再生対象区間決定手段５２０、同一人物判定手段５３０、表示手段５４０からなる。
【００１７】
再生指示・条件設定手段５１０は、顔出現領域などの再生条件を設定し、再生の指示を受け付ける手段である。再生対象区間決定手段５２０は、再生条件に合う映像区間を顔シーケンス記憶手段２４０より顔シーケンスを参照して決定するものである。同一人物判定手段５３０は、再生対象区間中に同じ人物の区間があるかどうかを判定するものである。表示手段５４０は、再生条件に相当する再生対象区間の候補を表示、及び、再生映像を表示するものである。
以上の各ブロックは不図示の制御手段により動作を制御される。
【００１８】
次に、本実施の形態に係る動画像の登録の動作について、図２および図３に従って説明する。図２は本実施の形態に係る登録処理の概略フローを示す図、図３は図２の各ステップに沿って映像データ解析の進捗状況を示す図である。
【００１９】
まず、映像入力手段１００は所望の動画像データをフレームごとに画像メモリ２１０に読み込む（Ｓ１００）。ここで読み込まれた画像データは、例えば８ビットの画素により構成される２次元配列のデータであり、Ｒ、Ｇ、Ｂ、３つの面により構成される。このとき、画像データがＭＰＥＧ、ＪＰＥＧ等の方式により圧縮されている場合は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データとする。
【００２０】
次に、顔検出手段２２０は、動画像データの所定のフレームから人物顔パターンの検出を行い、その検出結果を出力する（Ｓ２００）。すなわち、動画像データの所定フレーム間隔ごとに各フレームから顔検出を行う。本実施の形態では、以下の非特許文献１で提案されているニューラル・ネットワークにより画像中の顔パターンを検出する方法を適用した場合について説明する。
【００２１】
まず、顔の検出を対象とする画像データをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンによりあらかじめ学習されており、例えば、ニューラル・ネットワークの出力が０以上なら顔、それ以外は非顔であると判別する。そして、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、例えば、図５に示すように画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、様々な大きさの顔の検出に対応するため、図５に示すように読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。
【００２２】
以上説明した顔検出の結果、図３に示すように映像データＡの所定間隔のフレームにおいて顔を検出した結果、Ｂのようにフレーム中から切り取られた矩形の画像パターンが顔画像として抽出される。なお、画像中から顔を検出する方法は上で説明したニューラル・ネットワークによる方法に限定されるものではなく、例えば非特許文献２に挙げられている各種方式が適用可能である。
【００２３】
次に、顔追跡手段２３０は、顔検出手段２２０で検出された人物顔パターンごとに後続するフレーム中から顔パターンを探索し、その追跡結果を顔シーケンス記憶手段２４０に出力する（Ｓ３００）。
【００２４】
すなわち、図３に示すように所定フレーム間隔で検出された顔画像Ｂのそれぞれについて後続するフレームで追跡を行う。その結果、顔画像を抽出したフレームの番号、そのフレームにおける顔画像を切り取った領域の情報、などの付帯情報と共に時間的に連続した顔画像の集まりが顔シーケンスＣとして出力される。なお、図３の例では、顔シーケンスとして、Ｃ１,Ｃ２,Ｃ３,Ｃ４の４つが生成されている。
【００２５】
以下、顔シーケンス生成の詳細について説明する。図４は顔シーケンスの生成の処理フローを示す図である。まず、顔パターンの領域情報をもとに後続のフレームにおいて顔パターンの探索を行う探索領域を設定する（Ｓ３０１）。顔検出手段２２０において顔を検出したフレームの次フレームから探索を行う場合には、顔検出結果である顔の領域に対して水平、垂直位置について所定量だけその中心位置をずらした近傍の矩形領域を顔の探索範囲とする。さらに後続するフレームについて探索を行う場合には、同様に顔の追跡結果である顔の領域を利用する。
【００２６】
そして、探索領域内で切り取られた領域と探索する顔パターンとの相関をもとに顔の追跡を行う（Ｓ３０２）。すなわち、探索領域として設定された中心位置を中心として探索する顔パターンと同じ大きさの矩形領域を順次切出し、切り出した領域と探索する顔パターンとの輝度分布をテンプレートとした相関値を算出する。そして、相関値が最も高い領域を顔パターンの追跡結果として、その相関値とともに出力する。なお、ここで顔パターンの追跡のために輝度分布の相関値を用いたが、ＲＧＢごとの画素値分布の相関を用いてもよい。また、領域内での輝度分布やＲＧＢ値のヒストグラムなど画像特徴量の相関を用いてもよい。
【００２７】
次に、顔の追跡処理で出力された相関値が所定の値以上であるかを判定し、所定の値以上の場合には、類似度が高いので顔が正確に追跡できたと判断し、処理をＳ３０４に移す。また、所定値以下の場合には、類似度が低いので顔が追跡できなかったと判断し、顔の追跡を終了する（Ｓ３０３）。
【００２８】
そして、追跡できた顔画像および付帯情報を顔シーケンス記憶手段２４０に出力する（Ｓ３０４）。その後、顔の追跡を後続する次のフレームに移し、Ｓ３０１に処理を移す（Ｓ３０５）。以上の処理を次の顔検出処理対象の直前のフレームまで繰り返し行うことで検出した顔ごとの顔シーケンスを得る。
【００２９】
以上の説明では、顔検出手段２２０で検出された人物顔パターンごとに後続するフレーム中から顔パターンを探索し、追跡するようにしたが、合わせて顔を検出した前のフレームにおいても顔パターンを探索し、追跡するようにしてもよい。その他、例えば動画像から動きベクトルを求め、動きベクトルを手がかりにして顔の追跡を行うようにしてもよい。
【００３０】
次に、顔特徴量算出手段２５０において顔シーケンスを代表する顔特徴量が抽出される（Ｓ４００）。すなわち、図３に示すように各顔シーケンスＣからそれぞれ代表顔特徴量Ｄが出力される。顔シーケンスを代表する顔特徴量として顔検出手段２２０で検出された顔画像を用いる。これは、顔の証明条件や顔の向きなどの条件がよいほど顔検出されやすいので、顔シーケンスを代表する顔画像としてふさわしいと考えられるからである。顔特徴量算出手段２５０は、顔画像から顔の判定に有効な顔特徴点の探索を行う。例えば、顔の特徴点としては目尻、口の両端、鼻の頂点、などをパターン照合に基づき抽出する。
【００３１】
そして、各特徴点において局所輝度分布をガボールウェーブレット変換により特徴量として抽出し、ベクトル化する。なお、顔特徴量抽出方法の詳細については非特許文献３に記載されている。但し、顔特徴量として以上の方法に限定されるものではなく、非特許文献４に記載されているローカル記述子を各特徴点で求めるようにしてもよいし、顔画像の輝度分布のヒストグラムなど単純なものを用いてもよい。
【００３２】
顔特徴量は、抽出に利用した顔画像とともに顔シーケンス記憶手段２４０に顔シーケンスの一部として記憶する。なお、顔検出で使用した顔画像から求めた顔特徴量を、顔シーケンスを代表する代表顔特徴量としたが、この方法に限ったものではない。例えば以下のような方法もある。
【００３３】
まず、顔シーケンス中の全てのフレーム、或いは、一部のフレームの顔画像からそれぞれ顔特徴量を求める。そして、複数の顔特徴量を入力として所定のクラスタ数においてＫ−ｍｅａｎｓ法を適用する。このクラスタリングの結果から顔シーケンスの顔特徴を最も良く表す顔特徴量を代表顔特徴量とする。
【００３４】
次に、本実施の形態に係る再生の動作について、図６に従って説明する。図６は本実施の形態に係る再生処理の概略フローを示す図である。
【００３５】
まず、ユーザは、再生指示・条件設定手段５１０を介して、再生条件の設定を行う（Ｓ５００）。再生条件として、フレーム中の顔の出現を期待する領域(以下、顔出現領域)、顔のサイズ、顔出現領域における顔の探索範囲(時間または顔の数)、顔出現領域に"のみ"顔が出現する区間か、顔出現領域以外に顔が出現するも"含む"か、が設定可能である。なお、このときのユーザインターフェースの詳細については後述する。
【００３６】
次に、再生対象区間決定手段５２０は、再生条件に合う映像区間を顔シーケンス記憶手段２４０より顔シーケンスを参照して決定する（Ｓ６００）。まず、複数の顔シーケンスのそれぞれについて、ユーザの設定した顔出現領域に含まれる区間を探す。これは、フレームごとの顔画像の領域情報を参照し、顔出現領域に含まれているかどうかによって判定する。なお、ユーザが顔出現領域を厳密には設定できないと考えられるので、顔画像の領域が顔出現領域を所定量はみ出していても、許容するように判定する方が望ましい。
【００３７】
そして、顔出現領域に"のみ"顔が出現する区間が指定されている場合は、顔出現領域内に顔領域が存在していても、顔出現領域外にも顔が存在している場合は、対象区間から外す。
【００３８】
次に、顔のサイズが指定されていれば、更にこの条件で、候補区間を絞り込む。これは、フレームの顔画像の領域からサイズを算出し、指定された顔のサイズと所定量以内で等しいかどうかによって判定する。このとき、顔のサイズと等しくない区間は、ユーザの設定が変更されたときのために、メモリ中に保持しておく。
【００３９】
このようにして再生対象区間を決定するが、顔の探索範囲が設定されている場合は、これに合わせた範囲のみを実際に再生可能な区間として扱う。範囲外の再生対象区間は、ユーザの設定が変更されたときのために、メモリ中に保持しておく。ここで顔の探索範囲とは、時間で指定する場合は、例えば、現時点から３０分以内の間に顔出現領域に出現する顔の区間であり、顔の個数で指定した場合は、例えば、現時点から顔出現領域に出現する３人分の顔に対応する区間である。
【００４０】
なお、顔のサイズや顔の探索範囲が指定された場合は、条件外の再生対象区間をメモリ中に保持しておくとした。これはユーザが設定を変更したした際にも、すばやく結果を表示するためである。しかしもちろん、装置の処理速度が十分であるならば、メモリ中に保持せず、条件が指定されるたびに毎回検索しなおしてももちろん構わない。
【００４１】
次に、同一人物判定手段５３０は、Ｓ６００で決定された複数の再生対象区間の中で、同じ人物の区間があるかどうかを判定する(Ｓ７００)。
【００４２】
同じ領域に時間を置いて同じ人物が映っている場合がある。これを判定するために、再生対象区間に入る顔シーケンスの代表顔特徴量を顔シーケンス記憶手段２４０より読み出し、類似度を算出する。代表顔特徴量の類似度としては特徴ベクトル同士のユークリッド距離の逆数を用いる。そして、類似度が所定の値よりも大きい場合には、顔シーケンスは同一の人物のものであると見なし、類似度が所定の値よりも小さい場合には、異なる人物のものであると見なす。そして、同一の人物に属する顔シーケンスの中で再生対象区間となるのは何箇所あるかカウントし、また、人物の数もカウントする。
【００４３】
次に、表示手段５４０は、再生条件に相当する再生対象区間の候補を表示する(Ｓ８００)。なお、ユーザが把握しやすいように代表顔画像を用いて表示を行う。また、Ｓ７００でカウントした再生対象区間となるのは何箇所あるか、人物数も同時に表示し、ユーザが再生区間を選択しやすくする。なお、このときのユーザインターフェースの詳細については後述する。
【００４４】
そして、再生指示・条件設定手段５１０を介してユーザが再生区間を選択し(Ｓ９００)、表示手段５４０は選択された再生区間の再生を行う(Ｓ１０００)。
【００４５】
次に、再生時のユーザインターフェースについて図７、８を用いて説明する。図７は再生指示及び再生条件の指定を行う際のインターフェースの一例である。
【００４６】
９０１は本インターフェース全体である。９０２はマウスなどのポインティングデバイスによって操作できるカーソルであり、顔出現領域の指定や、各種の再生条件の設定や再生の指示を行うことができる。９０３は再生画面である。９０４はカーソル９０２によって指定できる顔出現領域である。
【００４７】
顔出現領域９０４を指定すると再生対象区間の判定処理が行われ、結果である再生対象区間は、候補領域９０５に表示される。候補領域９０５には、各再生対象区間を含む顔シーケンスの代表顔画像によって、再生対象区間の候補が表示される。これにより、ユーザは顔によって各区間を選択することができる。各区間の再生は、候補領域９０５に表示された代表顔画像をクリックすることで再生することができる。
【００４８】
９０６はユーザ指定による顔のサイズである、顔候補領域９０４内で、ユーザは更に顔のサイズを指定することも可能である。顔のサイズ９０６を指定すると顔出現領域９０４に出現する顔で、かつ、顔のサイズにほぼ等しい顔が出現する区間が候補となる。９０７は、顔出現領域に"のみ"顔が出現する区間か、顔出現領域以外に顔が出現するも"含む"か、を選択するボタンである。ラジオボタンで構成され、どちらか一方のみが選択可能となっている。９０８は、探索範囲の時間である。ここで指定された時間の範囲に現れる顔のみを対象とする。
【００４９】
９０９は、探索範囲の顔の数である。ここで指定された人数分に対応する区間のみを対象とする。９０６から９０９までの条件は、設定すると、メモリ上で顔候補の絞込みが行われ、結果は候補領域９０５に表示される。９１０は指定された全ての条件にあう顔（人）の数である。９１１は、同じ顔の区間が複数回存在するときに表示される、回数である。９１２は、再生対象区間を再生中に、次の再生対象区間へジャンプし、再生させるためのボタンである。候補領域９０５には、再生対象区間に対応する顔画像が表示されるが、これでは動画中のどの区間であるかが把握できない。
【００５０】
これを確認する際には再生区間画面（図８）を表示させる。再生区間画面では、顔出現領域９０４内を右クリックすると、全ての条件に対応する再生対象区間に関する情報が表示され、候補領域９０５で、顔画像を右クリックすると、クリックされた顔画像に対応する再生対象区間が表示される。図８は再生区間画面の一例である。
【００５１】
図８において、１００１及び１０２１は動画区間全体を示すバーである。１００１は、候補領域９０５で、顔画像を右クリックしたときの表示を示しており、１０２１は、顔出現領域９０４内を右クリックしたときの表示を示している。
【００５２】
１００２、１００３、１００４、及び、１０２２、１０２３、１０２４、１０２５は、再生対象区間の動画中の位置と長さを示している。
【００５３】
１０２１においては、更に、再生対象区間がどの顔(人物)に対応するか区別できるように、１０２２、１０２３、１０２４、１０２５のように顔画像を同時に表示している。１００２、１００３、１００４、及び、１０２２、１０２３、１０２４、１０２５をクリックすることによって、所望の区間の再生や動画編集への利用などを行うことができる。
【００５４】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。第１の実施の形態では、ユーザはフレーム内の顔の出現する領域を指定できたのに対し、第２の実施の形態では、撮影した場所の中で、顔の出現する領域を指定できるようにする。よって、ユーザインターフェースなど、第１の実施の形態と同様であるものについては、説明を省略する。
【００５５】
図９に本発明の第１の実施の形態の概略構成を示す。第１の実施の形態と共通のものには同じ番号を付与し、説明は省略する。
【００５６】
２６０はフレーム画像からカメラの操作を判定するカメラ操作判定手段である。このための手法としては、ハフ変換を用いて動きのベクトルの消失点を求め、複数有る消失点のうちの最大の投票数を得た消失点を背景に対する消失点とし、カメラ操作情報に関する拘束式を説くなどの手法がある。カメラ操作情報と消失点との関係やカメラ操作情報を求める手法は、例えば「金谷健一著、『画像理解』、森北出版」などに詳しい。
【００５７】
次に、本実施の形態の動作の登録の動作について、図１０の概略フローを示す図を用いて説明する。なお、図１０において、図２と同じ番号が付与されているものは第１の実施例と同じであるので、説明は省略する。
【００５８】
Ｓ１２００においては、フレーム画像からカメラ操作の判定を行う。カメラ操作とは、パン、チルト、ズームなどである。次に、Ｓ１３００において、顔シーケンスのフレーム内の顔画像の領域情報を撮影場所内領域情報に変換する。例として、図１１を用いて説明する。
【００５９】
図１１において、１３０１はフレーム内領域の水平方向の重心位置を示すものである。時間は上から下へ流れているものとする。フレーム内領域は、区間１３０２で左向きに動き、区間１３０３でほぼ停止しており、区間１３０４で再び左に動いている。このとき、カメラ操作判定手段２６０において、区間１３０４において右パンの操作がなされていたと判定されている。即ち、区間１３０４でフレーム内領域が左に動いているのは、右パン操作を行った結果である。よって、区間１３０２，１３０３はフレーム内領域をそのまま撮影場所内領域として利用し、区間１３０４については、撮影場所内領域としては停止した状態に変換する。垂直方向に関しても同様にチルト操作とフレーム内領域の動きを考慮することで撮影場所内領域に変換できる。なお、撮影場所内領域の座標系としては、撮影者の撮影範囲をカバーするために、撮影者を中心とした円柱座標や極座標を用いるようにすればよい。なお、撮影場所内領域を顔シーケンスの一部として、顔シーケンス記憶手段２４０に記憶する。
【００６０】
再生時の処理は、第１の実施の形態と構成やユーザインターフェースなどは同じであるが、以下の点が異なる。Ｓ６００において、指定された顔出現領域を、撮影場所内領域の座標系に変換し、顔シーケンスのフレーム内領域情報ではなく撮影場所内領域を参照するようにする。
【００６１】
＜その他の実施の形態＞
次に、その他の実施の形態について説明する。第２の実施の形態において、カメラ操作はフレーム画像から抽出するように構成した。しかし、カメラのセンサやボタン操作の情報から取得するように構成しても構わない。例えば、パン、チルトなどの情報は防振のためのジャイロセンサを利用することで取得できるし、ズームの情報はズームボタンの操作情報によって取得できる。本実施の形態の構成に加え、更に、代表特徴量と対応する人物名のＤＢを備え、このＤＢと代表特徴量の類似度を求めることで、顔シーケンスの名前を特定することができる。このような構成とした場合は、クエリとして名前を条件と指定することができるようになる。また、検索結果についても名前を表示するようにすることが可能になる。
【００６２】
また、第１の実施の形態と第２の実施の形態をひとつの装置で実現し、モードの切り替えなどで、フレーム内領域指定か、撮影場所領域指定か、の検索を選択できるようにしてもよい。
【００６３】
以上説明したように、本実施の形態では、クエリとして複数の顔が指定された場合に、顔シーケンスの類似度、繰り返し頻度から相関を判定するようにしたので、複数の顔が同一フレーム内に映っていない映像区間も検索できる。また、検索結果の表示方法を変えることにより、複数の顔が映っている区間とそうでない区間、クエリにない顔も同時に映っている区間の区別をつけやすくした。よって、様々な条件の区間を同時に表示させても、ユーザが所望の条件の区間の選択を容易にすることができる。また、相関度を、複数の顔が同一フレーム内にあるときは時間から、同一フレーム内にないときは、繰り返し頻度から求めるようにし、ユーザに提示できるようにした。よって、ユーザは複数の顔が同時に映っている複数の区間から、より相関度の高いものから優先的に利用するなど、所望の区間を選択することが出来る。
なお、以上の実施の形態では被写体パターンとして人物の顔を検出し、顔シーケンスを生成するようにしたが、映像の内容が把握できるものであれば、その他の被写体のパターンであってもよいことは言うまでもない。
【００６４】
また、本発明を実現するために、上述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。
【００６５】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６６】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６７】
また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。
【００６８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１の実施の形態に係る機能構成を示す図である。
【図２】本発明の第１の実施の形態に係る登録処理の概略フローを示す図である。
【図３】本発明の第１の実施の形態に係る映像データ解析の進捗状況を示す図である。
【図４】本発明の第１の実施の形態に係る顔シーケンスの生成の処理フローを示す図である。
【図５】本発明の第１の実施の形態に係る画像中の顔パターンの検出方法を説明する図である。
【図６】本発明の第１の実施の形態に係る再生処理の概略フローを示す図である。
【図７】本発明の第１の実施の形態において、再生指示及び再生条件の設定を行う際のインターフェースの一例を示す図である。
【図８】本発明の第１の実施の形態における再生区間画面の表示例を示す図である。
【図９】本発明の第２の実施の形態に係る機能構成を示す図である。
【図１０】本発明の第２の実施の形態に係る登録処理の概略フローを示す図である。
【図１１】本発明の第２の実施の形態に係るフレーム内領域から撮影場所内領域への変換を説明するための図である。
【符号の説明】
【００７０】
１００  映像入力手段
２００  顔シーケンス生成部
２１０  画像メモリ
２２０  顔検出手段
２３０  顔追跡手段
２４０  顔シーケンス記憶手段
２５０  顔特徴量算出手段
２６０  カメラ操作判定手段
５００  再生部
５１０  再生指示・条件設定手段
５２０  再生対象区間決定手段
５３０  同一人物判定手段
５４０  表示手段
【図１】
2010041247.tif 000003
【図２】
2010041247.tif 000004
【図３】
2010041247.tif 000005
【図４】
2010041247.tif 000006
【図５】
2010041247.tif 000007
【図６】
2010041247.tif 000008
【図７】
2010041247.tif 000009
【図８】
2010041247.tif 000010
【図９】
2010041247.tif 000011
【図１０】
2010041247.tif 000012
【図１１】
2010041247.tif 000013