(57)【要約】【課題】複数のフレームの画像について所定の画像部分に関する情報を登録する画像処理システムで、例えば、顔画像などの登録に要する演算処理を軽減し、画像の登録に要する処理時間の短縮を図る。【解決手段】複数のフレームの画像を時系列順に処理する場合、初期探索手段が所定数の初期のフレームの画像において当該フレームの内に設定される所定の局所領域の内で探索対象となる画像部分を探索し、追従探索手段が前記初期のフレームより時系列順で後のフレームの画像において当該フレームの内にそれより時系列順で前のフレームの画像で得られた前記探索の結果に基づく情報を用いて局所領域を設定し当該局所領域の内で探索対象となる画像部分を探索し、画像部分情報登録手段が探索された画像部分の一部又は全部について当該画像部分に関する情報を登録する。【選択図】  図１
2010140425.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームの画像について所定の画像部分に関する情報を登録する画像処理システムにおいて、
前記複数のフレームの画像を時系列順に処理し、
所定数の初期のフレームの画像において、当該フレームの内に設定される所定の局所領域の内で探索対象となる画像部分を探索する初期探索手段と、
前記初期のフレームより時系列順で後のフレームの画像において、当該フレームの内にそれより時系列順で前のフレームの画像で得られた前記探索の結果に基づく情報を用いて局所領域を設定し、当該局所領域の内で探索対象となる画像部分を探索する追従探索手段と、
前記初期探索手段及び前記追従探索手段により探索された画像部分の一部又は全部について、当該画像部分に関する情報を登録する画像部分情報登録手段と、
を備えたことを特徴とする画像処理システム。
【請求項２】
複数のフレームの画像について所定の画像部分に関する情報を登録する画像処理システムにおいて、
前記複数のフレームの画像を逆時系列順に処理し、
所定数の初期のフレームの画像において、当該フレームの内に設定される所定の局所領域の内で探索対象となる画像部分を探索する初期探索手段と、
前記初期のフレームより逆時系列順で後のフレームの画像において、当該フレームの内にそれより逆時系列順で前のフレームの画像で得られた前記探索の結果に基づく情報を用いて局所領域を設定し、当該局所領域の内で探索対象となる画像部分を探索する追従探索手段と、
前記初期探索手段及び前記追従探索手段により探索された画像部分の一部又は全部について、当該画像部分に関する情報を登録する画像部分情報登録手段と、
を備えたことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、類似顔画像検索システムにおける顔画像の登録に関し、特に、顔画像の登録に要する演算処理を軽減する技術に関する。
【背景技術】
【０００２】
今日の犯罪発生の増加に伴い、複数台の撮像装置による監視映像を長期にわたり保存することが求められている。これまで、小型店舗等では単体の撮像装置による直近の監視映像だけの保存が一般的であったが、磁気記録装置の大容量化や、撮像装置の普及に伴い、容易に長時間、多地点による監視が可能となった。これにより、映像の監視者の負担は増加する一方であり、監視者の負担軽減を目的に、録画した監視映像から特定の人物や特定のシーンを探し出すことが、顔検出等の物体検出や画像の構図、色分布等を用いた類似画像検索技術により可能となってきている。
しかしながら、撮像装置による監視映像からの顔検出等の物体検出や画像の構図を分析する演算処理については、計算機にかかる負荷が高く、リアルタイムで画像検索を行うことは困難である。このため、顔検出等の物体検出処理の演算量を削減し、処理時間を短縮することについて研究が行われている。
【０００３】
図７には、従来技術に係る監視映像を対象とした類似顔画像検索システムの構成の一例を示してある。
ネットワーク１０４、１０５は、各装置を相互に接続してデータ通信を行う専用線やイントラネット、インターネット、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の通信網である。
撮像装置１０１は、撮像した映像に対してデジタル変換処理を行い、変換された映像データをネットワーク１０４を介して録画装置１０２へ出力するネットワークカメラ等の装置である。
録画装置１０２は、マイクロコンピュータなどを備え、ネットワーク１０４を介して撮像装置１０１から入力された画像データをＨＤＤ（ハードデスク装置）等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。
【０００４】
監視端末１０３は、ネットワーク１０５を介して録画装置１０２から取得した画像データを、液晶ディスプレイやＣＲＴ等のモニタに画面表示するＰＣ（パーソナルコンピュータ）等の装置である。監視端末１０３は、録画画像、検索結果画像、類似画像検索メニューなどを表示するモニタや、キーボードやマウス等のユーザ入力部などを備え、録画装置１０２に記録された映像の再生や、類似画像検索等のユーザインタフェースを提供する。
【０００５】
録画装置１０２は、ネットワーク送受信部１１１、映像記録部１１２、映像配信部１１３、画像特徴量記録部１１４、画像特徴量抽出部１１５、画像類似度判定部１１６、顔探索部１１７の各機能部を備えている。
ネットワーク送受信部１１１は、ネットワーク１０４、１０５で接続した装置とのデータの送受信を行う処理部である。ここで、送受信するデータは、例えば、撮像装置１０１から送信された撮像画像、監視端末１０３からの映像再生要求や検索要求や画像登録（処理）要求、監視端末１０３への配信画像や検索結果である。
【０００６】
撮像装置１０１からネットワーク１０４を介してネットワーク送受信部１１１により受信された撮像画像は、ネットワーク送受信部１１１から映像記録部１１２へ出力される。また、監視端末１０３からネットワーク１０５を介して受信された信号について、映像再生要求信号は映像配信部１１３へ、検索要求信号は画像類似度判定部１１６へ、画像登録要求信号は画像特徴量記録部１１４へ、それぞれ出力される。また、配信画像は映像配信部１１３から、検索結果は画像類似度判定部１１６から、それぞれネットワーク送受信部１１１に入力され、監視端末１０３へ送信される。
【０００７】
映像記録部１１２は、撮像装置１０１からネットワーク１０４を介して入力された画像データをＨＤＤ等（図示せず）の記録媒体へ記録する処理部である。画像データを記録する際には、後で画像データを取り出すための情報、例えば、装置内でユニークであるように録画開始からフレーム単位で順に割り振ったフレーム番号を同時に記録する。また、画像が何時に撮像されたものであるかを識別するための情報、例えば、画像時刻も同時に記録する。ここで、画像時刻としては、例えば、録画装置１０２に内蔵している時計機能部から出力される装置時刻、或いは、撮像装置１０１に内蔵している時計機能部から出力される装置時刻が用いられる。
【０００８】
映像配信部１１３は、映像記録部１１２や画像特徴量記録部１１４などの記録媒体に記録されている画像データの配信を行う処理部である。映像配信部１１３は、監視端末１０３からネットワーク１０５を介して入力された映像再生要求信号に応じて配信画像を決定し、フレーム番号や画像時刻を利用して記録媒体から画像データを読み出して、ネットワーク送受信部１１１に入力する。
【０００９】
画像特徴量記録部１１４は、画像特徴量を記録媒体へ記録する処理部である。画像特徴量は、映像記録部１１２で記録された画像データを顔探索部１１７へ出力することにより取得される顔画像データを画像特徴量抽出部１１５へ出力することにより取得される。画像特徴量を記録する際には、顔探索部１１７に入力された画像データに対応するフレーム番号も同時に記録する。
以降では、この記録により生成されるフレーム番号と画像特徴量で構成されるリストデータを画像特徴量リストデータと称する。
処理の開始は登録要求部１２５において決定される。
【００１０】
画像特徴量抽出部１１５は、顔探索部１１７から入力された顔画像データの特徴量を画像認識技術を用いて算出する処理部である。ここで、画像の特徴量としては、例えば、画像の色分布やエッジパターンの構図分布やそれらの組合せ等が用いられる。
【００１１】
画像類似度判定部１１６は、画像検索を行い、検索結果を出力する処理部である。画像類似度判定部１１６は、類似度を判定するために検索される画像の雛形として指定された検索画像を顔探索部１１７へ出力することで取得される顔画像の画像特徴量と、映像記録部１１２の記録媒体に記録されている画像データの顔画像の画像特徴量から類似度を算出し、算出された類似度の大小から検索結果を生成する。具体的には、例えば、類似度が所定値より大きいものを検索結果とする。ここで、検索画像は、監視端末１０３からネットワーク１０５を介して入力された検索要求信号の中に含まれている。記録媒体に記録されている顔画像データの画像特徴量は、フレーム番号を利用して画像特徴量記録部１１４に記録された画像特徴量リストデータから取得する。
なお、類似度の算出方法については、種々なものが用いられてもよく、例えば、非特許文献１の論文を参照することができる。
【００１２】
監視端末１０３は、ネットワーク送受信部１２１、検索要求部１２２、検索結果表示部１２３、映像再生部１２４、登録要求部１２５の各機能部を備えている。
ネットワーク送受信部１２１は、ネットワーク１０５で接続した録画装置１０２とのデータの送受信を行う処理部である。ここで、送受信するデータは、例えば、録画装置１０２への映像再生要求信号、検索要求信号や、録画装置１０２からの配信画像、検索結果である。
【００１３】
録画装置１０２から受信された信号として、配信画像は映像再生部１２４へ、検索結果は検索結果表示部１２３へ、それぞれ出力される。また、映像再生要求信号は映像再生部１２４から、検索要求信号は検索要求部１２２から、登録要求は登録要求部１２５から、ネットワーク送受信部１２１にそれぞれ入力され、ネットワーク送受信部１２１からネットワーク１０５を介して録画装置１０２へ送信される。
【００１４】
検索要求部１２２は、監視端末１０３のモニタ上に表示される画面から与えられたユーザによる検索操作を検索要求信号へ変換して出力する処理部である。
検索結果表示部１２３は、入力された録画装置１０２からの検索結果を監視端末１０３のモニタ上に表示される画面に描画する処理部である。
映像再生部１２４は、監視端末１０３のモニタ上に表示される画面から与えられたユーザによる再生操作を映像再生要求信号へ変換して出力する処理部である。また、映像再生部１２４は、入力された録画装置１０２からの配信画像を監視端末１０３のモニタ上に表示される画面に描画する処理も行う。
登録要求部１２５は、監視端末１０３のモニタ上に表示される画面から与えられたユーザによる登録の開始指示となる画像登録操作を登録要求信号へ変換して出力する処理部である。
【００１５】
【特許文献１】特開２００８−１０９３３６号公報
【特許文献２】特開２００７−０４２０７２号公報
【非特許文献１】「大規模な画像集合のための表現モデル」、廣池敦  他、日本写真学会誌、２００３年６６巻１号、Ｐ９３−Ｐ１０１
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら、従来技術に係る類似顔画像検索システムでは、顔検出処理の演算量が多く、大量に蓄積された映像からの類似顔検索、又は、リアルタイムでの類似顔検索の妨げとなっていた。このため、従来技術に係る類似顔画像検索システムでは、撮像装置１０１で撮像された画像から顔領域を抽出する処理の演算処理量を削減し、顔画像の特徴量の登録に要する処理時間の短縮を図ることが強く要求されていた。
【００１７】
例えば、従来技術に係る顔探索に要する演算量の削減では、監視映像の特徴を利用していなかった。監視映像は、撮影方向、撮影範囲が固定である監視カメラで撮像される場合が多い。また、建物内の狭い廊下に設置された監視カメラやエスカレータの昇降位置に設置された監視カメラによる監視映像では、撮像される人の移動方向が一定であり、一連のシーンにおいて被写体の大きさの変化もほぼ一定であるという特徴がある。つまり、フレーム内で、人が集中的に現れ始める、又は、集中的に現れ終る（消える）局所領域が存在するという特徴がある。
【００１８】
本発明は、このような従来の事情に鑑み為されたもので、例えば、顔画像などの登録に要する演算処理を軽減し、画像の登録に要する処理時間の短縮を図ることができる画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するため、本発明では、複数のフレームの画像について所定の画像部分に関する情報を登録する画像処理システムにおいて、次のような構成とした。
すなわち、本画像処理システムでは、前記複数のフレームの画像を時系列順に処理する。初期探索手段が、所定数の初期のフレームの画像において、当該フレームの内に設定される所定の局所領域の内で探索対象となる画像部分を探索する。追従探索手段が、前記初期のフレームより時系列順で後のフレームの画像において、当該フレームの内にそれより時系列順で前のフレームの画像で得られた前記探索の結果に基づく情報を用いて局所領域を設定し、当該局所領域の内で探索対象となる画像部分を探索する。画像部分情報登録手段が、前記初期探索手段及び前記追従探索手段により探索された画像部分の一部又は全部について、当該画像部分に関する情報を登録する。
【００２０】
従って、複数のフレームの画像を時系列順に処理し、時系列順で前のフレームの画像で得られた情報を用いて時系列順で後のフレームの画像について探索対象となる画像部分を探索することにより、探索対象となる画像部分の探索処理に要する負担を軽減することができ、例えば、顔画像などの登録に要する演算処理を軽減し、画像の登録に要する処理時間の短縮を図ることができる。
【００２１】
ここで、画像処理システムとしては、種々な構成のものが用いられてもよく、例えば、撮像装置、録画装置、監視端末（装置）を有するようなものを用いることができる。
また、画像としては、例えば、撮像装置により撮像された画像（映像）などを用いることができる。
また、複数のフレームとしては、例えば、時間的に連続したフレームが用いられてもよく、或いは、間引きなどされて時間的に飛んだフレームが用いられてもよい。
また、複数のフレームの数としては、種々な数が用いられてもよい。
【００２２】
また、所定の画像部分としては、種々なものが用いられてもよく、例えば、人の顔や所定の物体などの画像部分を用いることができる。
また、所定の画像部分に関する情報としては、種々なものが用いられてもよく、例えば、画像部分の特徴を表す特徴量などの情報を用いることができる。
また、情報を登録する態様としては、例えば、情報をメモリに記録（記憶）する態様を用いることができる。
【００２３】
また、初期のフレームの数（所定数）としては、種々な数が用いられてもよく、例えば、２が用いられる。
また、初期のフレームの内に設定される所定の局所領域としては、種々なものが用いられてもよく、例えば、予め設定された領域が用いられる。具体例として、時間が経過するに従って探索対象となる画像部分が大きくなるような場合には初期の局所領域として小さい面積の領域を設定し、時間が経過するに従って探索対象となる画像部分が小さくなるような場合には初期の局所領域として大きい面積の領域を設定することができる。
【００２４】
また、初期のフレームより時系列順で後のフレームの画像において、それより時系列順で前のフレームの画像で得られた探索の結果に基づく情報を用いて局所領域を設定する方法としては、種々なものが用いられてもよく、例えば、探索対象となる画像部分の動きベクトルや、探索対象となる画像部分の大きさ（例えば、面積）や、探索対象となる画像部分の大きさ（例えば、面積）の変化の具合などの１つ以上の情報を用いて、所定の演算式により演算される領域を設定するような方法を用いることができる。
また、探索された画像部分に関する情報を登録する対象としては、例えば、探索された画像部分の全て（例えば、全てのフレーム）であってもよく、或いは、探索された画像部分の一部（例えば、一部のフレーム）であってもよい。
【００２５】
本発明では、複数のフレームの画像について所定の画像部分に関する情報を登録する画像処理システムにおいて、次のような構成とした。
すなわち、本画像処理システムでは、前記複数のフレームの画像を逆時系列順（時系列順とは逆の順）に処理する。初期探索手段が、所定数の初期のフレームの画像において、当該フレームの内に設定される所定の局所領域の内で探索対象となる画像部分を探索する。追従探索手段が、前記初期のフレームより逆時系列順で後のフレームの画像において、当該フレームの内にそれより逆時系列順で前のフレームの画像で得られた前記探索の結果に基づく情報を用いて局所領域を設定し、当該局所領域の内で探索対象となる画像部分を探索する。画像部分情報登録手段が、前記初期探索手段及び前記追従探索手段により探索された画像部分の一部又は全部について、当該画像部分に関する情報を登録する。
【００２６】
従って、複数のフレームの画像を逆時系列順に処理し、逆時系列順で前のフレームの画像で得られた情報を用いて逆時系列順で後のフレームの画像について探索対象となる画像部分を探索することにより、探索対象となる画像部分の探索処理に要する負担を軽減することができ、例えば、顔画像などの登録に要する演算処理を軽減し、画像の登録に要する処理時間の短縮を図ることができる。
ここで、逆時系列順で処理する場合については、上述した時系列順で処理する場合と比べて、処理対象となるフレームの時間的な順序が逆であり、その点を考慮すれば、同様なことが言える。
【００２７】
一構成例として、上述した時系列順又は逆時系列順に処理する画像処理システムにおいて、前記追従探索手段により探索された画像部分に関する情報に基づいて、（又は、前記初期探索手段及び前記追従探索手段により探索された画像部分に関する情報に基づいて、）探索対象となる画像部分の探索を省略するフレームを決定し、決定したフレームの画像での前記探索を省略する探索省略手段を備えた。
【００２８】
従って、所定のフレームについては探索対象となる画像部分の探索を省略することにより、更に、探索対象となる画像部分の探索処理に要する負担を軽減することができ、例えば、顔画像などの登録に要する演算処理を軽減し、画像の登録に要する処理時間の短縮を図ることができる。
ここで、探索対象となる画像部分の探索を省略するフレームを決定する方法としては、種々なものが用いられてもよく、例えば、探索対象となる画像部分が所定の大きさ（例えば、面積）未満となる（又は、以下となる）と予想されるようなフレームを決定するような方法を用いることができる。
【発明の効果】
【００２９】
以上説明したように、本発明に係る画像処理システムによると、探索対象となる画像部分の探索処理に要する負担を軽減することができ、例えば、顔画像などの登録に要する演算処理を軽減し、画像の登録に要する処理時間の短縮を図ることができる。
【発明を実施するための最良の形態】
【００３０】
本発明に係る実施例を図面を参照して説明する。
まず、本提案の概要を示す。
本例では、人が集中的に現れ始める固定の局所領域が存在するという監視映像の特徴を利用する。前記した局所領域において顔探索することで、人が通過するシーンを検知することができる。
以降では、一連のシーンの最初のフレームを検知するための領域である前記した局所領域を初期探索領域と称する。
【００３１】
本例では、初期探索領域で顔探索をし、人の通過を待ち受ける。初期探索領域においては、撮像される人の大きさはほぼ一定であり、例えば、小サイズの顔を初期探索領域で探索すればよい。また、初期探索領域で顔が検出されたフレーム以降のフレームでは一連のシーンで既に検出した顔領域の重心座標から算出した動きベクトル及び一連のシーンで既に検出した顔サイズを用いて、次フレームでの顔領域の重心座標及び顔サイズを推定し、顔探索の領域及び顔探索の最小サイズ及び最大サイズを変更する。
【００３２】
また、本例では、逆時系列順にフレームの登録を行ってもよい。時系列順に監視映像を登録する場合には、小さい初期探索領域で待ち受け、小サイズの顔で限定することで演算量の削減ができる。一方、逆時系列順に登録する場合には、人が集中的に通り過ぎる局所領域を初期探索領域とし、大きい顔を初期探索領域で顔探索することで、遠方の人の小さい顔を検出するための演算量を削減することができる。また、逆時系列順に登録する場合には、一連のシーンにおいて、先に大きい顔画像が得られるため、そのシーン以降のフレームで検出する顔サイズ等を推定することで、顔探索するフレームを選別することができる。
【００３３】
図１には、本発明の一実施例に係る監視映像を対象とした類似顔画像検索システムの構成の一例を示してある。
本例の類似顔画像検索システムは、撮像装置１と、録画装置２と、監視端末３と、撮像装置１と録画装置２を接続するネットワーク４と、録画装置２と監視端末３を接続するネットワーク５を備えている。
ここで、撮像装置１やネットワーク４、５としては、例えば、図７に示されるもの（同一の名称のもの）と同様なものを用いることができる。
なお、ネットワーク４とネットワーク５としては、必ずしも別個なものでなくてもよく、同一のネットワークが使用されてもよい。
【００３４】
録画装置２は、ネットワーク送受信部１１、映像記録部１２、映像配信部１３、画像特徴量記録部１４、画像特徴量抽出部１５、画像類似度判定部１６、顔探索部１７、シーン顔探索部１８を備えている。
録画装置２は、マイクロコンピュータなどを備え、ネットワーク４を介して撮像装置１から入力された画像データをＨＤＤ（ハードデスク装置）等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。
【００３５】
ここで、ネットワーク送受信部１１、映像記録部１２、映像配信部１３、画像特徴量抽出部１５、画像類似度判定部１６、顔探索部１７としては、例えば、図７に示されるもの（同一の名称のもの）と同様なものを用いることができる。
本例の録画装置２では、例えば図７に示される録画装置１０２と比べて、概略的には、図７に示される各処理部に加えて、シーン顔探索部１８を備えており、また、画像特徴量記録部１４の機能が異なっている。
【００３６】
監視端末３は、ネットワーク送受信部２１、検索要求部２２、検索結果表示部２３、映像再生部２４、登録要求部２５を備えている。
ここで、ネットワーク送受信部２１、検索要求部２２、検索結果表示部２３、映像再生部２４としては、例えば、図７に示されるもの（同一の名称のもの）と同様なものを用いることができる。
本例の監視端末３では、例えば図７に示される監視端末１０３と比べて、概略的には、登録要求部２５の機能が異なっている。
【００３７】
本例の登録要求部２５は、例えば図７に示される登録要求部１２５と同様な機能を有しており、更にそれに加えて、監視端末３においてユーザによる登録方法の選択及び入力等された開始、終了フレーム番号の値から登録要求信号を作成して、録画装置２の画像特徴量記録部１４に登録開始を指示する機能（画像登録要求の機能）を有している。
【００３８】
録画装置２のシーン顔探索部１８は、録画装置２に録画されている画像から顔領域を検出する処理部である。ここで、顔探索部１７（及び、図７に示される顔探索部１１７）は、画像から所定の最小又は最大の顔を探索する機能のみを有している。これに対して、シーン顔探索部１８は、一連のシーンとしてこれまでに検出できた顔領域の重心座標、大きさ（サイズ）、顔検出数を内部メモリに記録及び参照することで、次フレームで顔探索する領域、顔最小及び最大サイズを算出し、顔探索する機能を有している。
【００３９】
録画装置２の画像特徴量記録部１４は、シーン顔探索部１８を用いて、録画装置２のＨＤＤ等に蓄積された画像から顔画像の特徴量の登録を行う。また、監視端末３の登録要求部２５においてユーザが指定した登録方法に則り登録方法を変更する機能を有している。
【００４０】
図２には、建物内の廊下を遠方から手前に通り過ぎる人を監視するために設置された撮像装置１（例えば、監視カメラ）の映像の一例を模式的に示してある。これは、監視映像を対象とした類似顔画像検索システムの登録処理で用いる監視映像の一つである。
以下の顔画像登録方法（登録方法１）〜（登録方法３）の各別にシーン顔探索部１８で行われる顔探索処理について説明する。
（登録方法１）時系列順に登録する場合
（登録方法２）逆時系列順に登録する場合
（登録方法３）逆時系列順に登録し、一連のシーンにおいて、小さい顔の顔探索を省略する場合
【００４１】
（登録方法１）時系列順に登録する場合について説明する。
登録に用いるフレームは、ユーザが指定するフレーム又は録画装置２に蓄積された映像の先頭フレームから、ユーザが指定するフレーム又は録画装置２に蓄積された映像の最終フレームまでである。先頭フレームから順に各フレーム番号を元にして登録を行う。ここでは、フレーム番号順に登録する方法について説明するが、例えば、人が通り過ぎるシーンにおいてフレーム間の画像差異が小さい場合等には、登録するフレームを一定値で飛ばしてもよい。
以降、一定値で登録するフレームを飛ばすことをフレーム飛ばしと称する。
【００４２】
シーン顔探索部１８は、撮像装置１が撮像する映像の全領域３１での顔探索ではなく、撮像範囲に人が写り始める位置となる局所領域３２で顔を検出することができるフレームまで、局所領域３２で顔探索を行う。この例では、局所領域３２を初期探索領域とする。
ここでは、初期探索領域を局所領域３２としたが、用いる映像毎に適切な領域をユーザが指定することができる。また、システムの運用前に監視映像のサンプル映像を取得して、監視カメラの撮像範囲の全領域で顔探索を予め行っておき、人の軌跡情報を収集し、所定の大きさ以下の顔を検出した領域等を自動で初期探索領域として設定してもよい。
【００４３】
局所領域３２で顔を検出することができたら、人が通過する一連のシーンが開始されたとし、時系列順で次フレーム以降は、それまでに検出した顔領域の重心座標を利用して、次フレームでの顔領域を推定する。ここで、座標は、例えば、撮像装置１で得られる画像の左上を原点とし、水平方向をＸ軸、垂直方向をＹ軸として定義される。
【００４４】
図３には、一連のシーンでこれまでに検出できた顔から次フレームでの顔領域を推定するための動きベクトルを算出する場合の一例を示してある。これは、監視映像を対象とした類似顔画像検索システムの登録処理において動きベクトルを求める例である。
ここで、図３に示される局所領域３２は、図２に示される初期探索領域である局所領域３２を表している。一連のシーンにおいて、動きベクトルを算出するためには、少なくとも２つのフレームでの顔領域の重心座標が必要であるため、動きベクトルによる顔探索領域の推定は、局所領域３２で顔検出した後、３フレーム目以降となる。
【００４５】
重心座標４１、４２は、局所領域３２で検出された顔領域の重心座標を表している。図３では、一連のシーンにおいて、それぞれのフレーム毎に連続して同一人物の顔を検出し、顔領域の重心座標が４つ得られているとし、次フレームの動きベクトルの算出方法について示している。
重心座標４１、４２に加え、重心座標４３、４４は、順に、既に得られた顔領域の重心座標の重心とする。
【００４６】
重心座標４１〜４４に基づいて各フレーム間の重心のｘ座標、ｙ座標の移動量から動きベクトル５１、５２、５３を算出することができる。具体的には、顔領域の重心座標の重心４１、４２から算出される動きベクトル５１と、顔領域の重心座標の重心４２、４３から算出される動きベクトル５２と、顔領域の重心座標の重心４３、４４から算出される動きベクトル５３がある。動きベクトル５１、５２、５３から動きベクトル５４を算出する。
【００４７】
動きベクトル５４は、以下の（式１）で求めることができる。
以下の（式１）は既に検出した顔座標で求められた動きベクトルＺｉ（ｉ＝１、２、３、・・・、ｎ）を用いて、現フレームから次フレームでの顔領域の重心の移動方向を示す動きベクトルＺを算出する式である。
なお、Ｚｉ、Ｚはベクトルを表すとし、ｎは２以上の値であるとする。
【００４８】
【数１】
2010140425.tif 000003
【００４９】
ここで、動きベクトルＺｉ毎に重みＷｉ（＞＝１）（ｉ＝１、２、３、・・・、ｎ）を定義する。各フレーム間の動きベクトルＺｉは、時刻ｉに対応するフレームで検出した顔領域の重心座標（Ｘｉ、Ｙｉ）と時刻（ｉ−１）に対応するフレームで検出した顔領域の重心座標（Ｘｉ−１、Ｙｉ−１）を用いて、Ｚｉ＝（Ｘｉ−Ｘｉ−１、Ｙｉ−Ｙｉ−１）で求められる。
【００５０】
動きベクトルＺｉ毎の重みＷｉに関して、例えば、Ｗｉ＝１とすれば、動きベクトルＺは、それぞれの動きベクトルＺｉの重みを等しくした場合である。各フレーム間の顔領域の移動量変化が少なく、次のフレームでの実際の移動量もそれまでと同じ程度である可能性が高ければ、精度の高い動きベクトルＺが得られる。一方、監視映像内の遠方の場合と手前で撮影される場合では移動量が大きく異なるならば、Ｗｉ＝ｉとし、遠方で得た動きベクトルＺｉ１と手前で得た動きベクトルＺｉ２（ｉ２＞ｉ１）の重みに差を付けて、直近の動きベクトルＺｉ２を重視することで、歩行していた人が急に立ち止まったり、移動方向を変更するなど、監視映像内の人の移動量の変化が激しい場合においても、動きベクトルＺにより人の移動を追従することができる。
なお、動きベクトルＺの算出に用いる重みは、上記に限定するものではない。
【００５１】
動きベクトルＺが得られれば、直近のフレームでの顔領域の重心座標を原点として動きベクトルＺにて次フレームでの顔座標の推定重心座標を求めることができる。図３の例では、動きベクトル５４から推定した次フレームでの顔領域の推定重心座標が推定重心座標４５である。この推定重心座標４５を中心（或いは、中心でなくてもよい）に小領域で顔探索を行えば、顔探索に要する演算量を削減することができる。顔探索を行う小領域の大きさは、例えば、次フレームでの顔サイズを推定することで決定することができる。具体例として、一連のシーンで検出できた顔サイズの履歴から次フレームでの顔サイズを推定することができ、この推定顔サイズに所定の倍率（例えば、予め設定された値）を掛けた大きさの領域にて顔探索を行う。
【００５２】
以降では、領域サイズ及び動きベクトルＺから決定される領域５５を追従顔探索領域と称する。
この追従顔探索領域による顔探索をすることで、演算量を削減することができる。また、例えば、更に演算量を削減するために、顔探索を行う顔最小サイズ及び顔最大サイズを適切に設定する必要がある。本例では、次フレームでの顔探索の最小及び最大のサイズは、上述の推定顔サイズを元に決定する。例えば、直近のフレームで検出した顔の顔サイズを推定顔サイズとすると、その推定顔サイズの横の画素数Ｆを基準に、顔探索の最小サイズを０．９×Ｆ、最大サイズを１．１×Ｆと決定する。
【００５３】
（登録方法２）逆時系列順に登録する場合について説明する。
上記した（登録方法１）では、時系列順のフレームにて顔探索をする方法について説明した。ここでは、逆時系列順に顔探索する方法について説明する。
登録に用いるフレームは、ユーザが指定するフレーム又は録画装置２に蓄積された映像の最終のフレームから、ユーザが指定するフレーム又は録画装置２に蓄積された映像の最初のフレームまでである。上記した（登録方法１）と同様に、フレーム飛ばしによる登録を行ってもよい。
【００５４】
逆時系列順に登録する場合には、一連のシーンで人が監視映像から見えなくなるフレームにおいて局所領域３３（図２参照。）で顔探索を行う。局所領域３３は、人が監視映像から見えなくなる領域であり、一連のシーンおいて最も顔サイズが大きくなる。このため、局所領域３３で顔探索する際の顔探索最小サイズを全領域から顔探索する場合よりも大きくすることができる。顔探索において検出可能な最小顔サイズと演算量において負相関があることは、自明である。つまり、顔探索最小サイズを大きくすればするほど、演算量を削減することができる。
【００５５】
逆時系列順に顔探索を行う場合には、各フレーム間の動きベクトルは時系列順の場合と比較して方向が逆になるだけであり、動きベクトルの算出方法は上記した（登録方法１）の場合と同様である。
逆時系列順に登録する場合には、一連のシーンで検出できる顔サイズは徐々に小さくなる。よって、顔探索の最小及び最大のサイズの算出方法では、例えば、一連のシーンで既に検出した直近のフレームでの顔サイズを基準に所定のサイズだけ小さくしたり、一連のシーンで既に検出した顔サイズの縮小率から推定される顔サイズなどを用いる。
【００５６】
（登録方法３）逆時系列順に登録し、一連のシーンにおいて、小さいサイズの顔探索を省略する場合について説明する。
上記した（登録方法２）では、逆時系列順に登録する方法について説明した。逆時系列順に登録すると、例えば図２に示されるような遠方から人が通り過ぎる映像において、人が通り過ぎるシーン毎にサイズが大きい顔から順に検出できることになる。
類似顔画像検索をするためには、一連のシーンにおいて、サイズの大きい顔を得ることが望ましい。時系列順に登録した場合では、初期探索窓（初期探索領域）から顔探索領域を追従させ、小さい顔から順に大きい顔まで全て検出する必要があった。しかしながら、逆時系列順では、大きい顔を先に検出することができるため、一連のシーンにおいて、小さい顔が撮像されていると推定されるフレーム、つまり、時系列順で前方のフレームでの顔探索処理を省略することができる。
【００５７】
ここで、一連のシーンにおいて、顔探索するフレームを選別する方法について説明する。
一連のシーンにおいて、既に幾つかのフレームで顔を検出できている場合、それ以降のフレームで顔探索しないとする判定と、それ以降いずれのフレームまでを省略するかの判定をする必要がある。
【００５８】
以降のフレームで顔探索しないとする判定の基準としては、例えば、一連のシーンでこれまでに所定の数以上の顔検出ができているか、所定のサイズ以上の顔画像を得られているか、などがある。具体的には、例えば、一連のシーンでこれまでに所定の数以上の顔検出ができている場合に以降のフレームで顔探索しないと判定することや、或いは、所定のサイズ以上の顔画像を得られていない場合に以降のフレームで顔探索しないと判定することができる。
また、以降のいずれのフレームまでを省略できるかの判定では、例えば、これまでに検出できた顔サイズの縮小率αと省略するフレーム数βで算出される推定サイズｓを用いることで、時系列順でいずれのフレームから一連のシーンが開始されたかを推定することができ、この推定されたフレームまで省略することができる。
【００５９】
図４には、逆時系列順に顔画像を登録した場合に、顔探索を省略することができるフレームの一例を示してある。これは、監視映像を対象とした類似顔画像検索システムの登録処理において、逆時系列順に登録した場合に小さい顔の探索を省略するフレーム制御を示している。
具体的には、逆時系列順に登録を行い、フレーム６９、６８にて初期探索領域で顔検出することができ、フレーム６８以降、フレーム６７、６６、６５にて追従顔探索領域で顔探索を行い、これにより、各フレームで顔検出することができ、５つの顔画像が得られている場合である。
【００６０】
ここでは、顔画像サイズとして顔画像の横の画素数を用いる。フレーム６５で得られる顔画像の横の画素数をｓ６５、フレーム６６で得られる顔画像の横の画素数をｓ６６、フレーム６７で得られる顔画像の横の画素数をｓ６７、フレーム６８で得られる顔の横の画素数をｓ６８とする。
なお、本例では、顔画像サイズとして、顔画像の横の画素数を用いたが、縦の画素数、或いは、面積などを用いることもできる。顔探索を省略する判定の基準を、一連のシーンで顔画像を４つ以上得られていることとすれば、フレーム６４以降の顔探索を省略することができる。
【００６１】
ここで、図４の例の場合、顔画像の縮小率αは、以下の縮小率の例（縮小率の例１）〜（縮小率の例４）などで求めることができる。
（縮小率の例１）
α＝（ｓ６８−ｓ６７）／ｓ６８
（縮小率の例２）
α＝（ｓ６７−ｓ６６）／ｓ６７
（縮小率の例３）
α＝（ｓ６６−ｓ６５）／ｓ６６
（縮小率の例４）
α＝｛（ｓ６８−ｓ６７）／ｓ６８＋（ｓ６７−ｓ６６）／ｓ６７＋（ｓ６６−ｓ６５）／ｓ６６｝／３
【００６２】
縮小率αの定義は、各フレーム間の顔サイズの変化率であり、上記は、その一例である。また、縮小率αによる縮小回数をβとする。つまり、ｓ６５を基準とすると、一連のシーンが開始されたフレームの推定顔サイズは、（αβ×ｓ６５）で求めることができる。ここで、時系列順でシーンが開始されるフレームの顔サイズをＳｆｉｒｓｔと予め決定しておくことで、Ｓｆｉｒｓｔ＞（αβ×ｓ６５）となるフレームまで顔探索を省略することができる。
例えば、省略が可能なフレーム数が２と算出されれば、フレーム６４、６３の顔探索を省略し、フレーム６２以降（図４の例では、フレーム６２、６１）において初期探索領域での顔探索を再開する。
【００６３】
また、例えば、監視映像がエスカレータの昇降位置に設置された場合など、人が通過するほとんどのシーンにおいて、人の移動速度は一定であり、顔を検出するフレームがほぼ同じであるならば、予め省略するフレーム数を固定にしてもよい。
【００６４】
次に、上記した（登録方法１）及び（登録方法２）に対応した図５、上記した（登録方法３）に対応した図６を参照して、本例における監視映像を対象とした類似顔画像検索システムの登録処理の流れの例を示す。
本例では、類似顔画像検索システムの処理は、登録処理、録画処理、映像再生処理、類似画像検索処理の４つに大別されるが、録画処理、映像再生処理、類似画像検索処理については、例えば図７に示されるようなものなど、従来技術に係る録画処理、映像再生処理、類似画像検索処理と同様な処理を用いることができ、ここでは、詳しい説明を省略する。
【００６５】
図５には、監視映像を対象とした類似顔画像検索システムにおける前記の（登録方法１）及び（登録方法２）での登録処理の流れの一例を示してある。ステップＳ１〜Ｓ２７は録画装置２により行われる処理であり、タイミングＳ３１は監視端末３により行われる処理に関する。
ステップＳ１において、録画装置２は、ユーザによる監視端末３の登録実行操作（登録方法の決定を含む）により登録要求部２５にて作成された登録要求信号を受信するまで待機する。登録要求信号の受信が完了したら、ステップＳ２へ進む。
タイミングＳ３１は、監視端末３と録画装置２との間の通信を表している。
【００６６】
ステップＳ２において、ユーザの操作内容を検証する。検証内容は、顔画像の登録方法の種類、登録開始フレーム番号及び登録終了フレーム番号である。ユーザによる登録要求に不足がある場合には、ステップＳ１へ進む。ユーザの登録要求が正しければ、ステップＳ３へ進む。
ステップＳ３において、ステップＳ１で受信した顔画像の登録方法の種類を、内部メモリに記憶し、ステップＳ４へ進む。
ステップＳ４において、ステップＳ１で受信した登録開始フレーム番号及び登録終了フレーム番号を内部メモリに記憶する。登録開始フレーム番号を現フレーム番号として設定し、ステップＳ５へ進む。
【００６７】
ステップＳ５において、使用する初期探索領域の選択を実施し、ステップＳ６へ進む。本例では、顔画像の登録方法の種類が、前述の画像の（登録方法１）である場合には、局所領域３２の位置、大きさを初期探索領域の位置、大きさとして内部メモリに記憶し、また、前述の画像の（登録方法２）である場合には、局所領域３３の位置、大きさを初期探索領域の位置、大きさとして内部メモリに記憶する。
ステップＳ６において、顔探索領域の位置、大きさを算出し、ステップＳ７へ進む。顔探索領域の位置、大きさは、ステップＳ５において選択した初期探索領域の位置、大きさを内部メモリから読み出すことにより求める。
【００６８】
ステップＳ７において、顔探索の最小及び最大サイズを算出し、ステップＳ８へ進む。顔探索最小及び最大サイズは、ステップＳ５において選択した初期探索領域用の顔探索最小サイズ及び最大サイズを内部メモリから読み出すことにより求める。本例では、これらの値は、システムに予め設定され、内部メモリに記憶されているものとする。
ステップＳ８において、現フレーム番号に基づいて画像を読み出し、ステップＳ９へ進む。
ステップＳ９において、現フレーム番号を更新し、ステップＳ１０へ進む。顔画像の登録方法の種類が、前述の画像の（登録方法１）である場合には、例えば、現フレーム番号に１を加算した値を新たに現フレーム番号とし、また、前述の画像の（登録方法２）である場合には、例えば、現フレーム番号から１を減算した値を新たに現フレーム番号とする。
【００６９】
ステップＳ１０において、ステップＳ６で算出した顔探索領域の位置と大きさ、及びステップＳ７で算出した顔探索最小最大サイズで、顔探索を行う。顔（顔の画像部分）が検出されたら、一連のシーンが開始されたと判断し、ステップＳ１１へ進み、また、顔が検出されなかったらステップＳ２４へ進む。
ステップＳ２４において、登録終了判定を行う。この判定は、現フレーム番号と終了フレーム番号の比較により、具体的には、例えば、現フレーム番号が終了フレーム番号になったら登録終了とする。登録終了と判定した場合には、ステップＳ２７へ進み、それ以外の場合には、ステップＳ８へ進む。
ステップＳ１１において、内部メモリに記憶しておいた一連のシーンにおける顔検出数と顔領域の重心座標、顔サイズの検出履歴を全て初期化する。
ステップＳ１２において、現フレーム番号に基づいて画像を読み出し、ステップＳ１３へ進む。
【００７０】
ステップＳ１３において、一連のシーンにおける顔検出数が２つ以上ならステップＳ１４へ進み、また、２つ未満ならステップＳ２５へ進む。
ステップＳ１４において、追従顔探索領域の位置を算出し、ステップＳ１５へ進む。追従顔探索領域の位置は、図３を参照して説明したように、一連のシーンにおける顔領域の重心座標の履歴から求めた動きベクトルから算出する。
ステップＳ１５において、追従顔探索領域の大きさを算出し、ステップＳ１６へ進む。追従顔探索領域の大きさは、図３を参照して説明したように、一連のシーンにおける顔サイズの履歴から求めた推定顔サイズから算出する。
ステップＳ１６において、追従顔探索領域用の顔探索の最小最大サイズを算出し、ステップＳ１７へ進む。このサイズは、上述したように、一連のシーンにおける顔サイズの履歴から求めた推定顔サイズから算出する。
【００７１】
ステップＳ２５において、初期探索領域の位置、大きさの算出を実施し、ステップＳ２６へ進む。この算出は、例えば、ステップＳ６の処理と同様な方法で行う。
ステップＳ２６において、初期探索領域用の顔探索の最小最大サイズを算出し、ステップＳ１７へ進む。この算出は、例えば、ステップＳ７と同様な方法で行う。
【００７２】
ステップＳ１７において、ステップＳ１４、Ｓ１５、Ｓ１６、又は、ステップＳ２５、Ｓ２６で算出した顔探索領域の位置、大きさ及び顔探索の最小最大サイズで顔探索を行う。顔が検出されたら、ステップＳ１８へ進み、また、顔が検出されなかったらステップＳ２１へ進む。
ステップＳ１８において、ステップＳ１７で検出された顔画像に対して、その画像特徴量を抽出し、ステップＳ１９へ進む。
ステップＳ１９において、ステップＳ１８で抽出した画像特徴量を記録媒体に記録し、ステップＳ２０へ進む。
ステップＳ２０において、ステップＳ１７で検出できた顔領域の重心座標及びサイズを内部メモリ上の検出履歴に追加し、顔検出数に１を加算し、ステップＳ２１へ進む。
【００７３】
ステップＳ２１において、現フレーム番号を更新し、ステップＳ２２へ進む。顔画像の登録方法の種類が、前述の画像の（登録方法１）である場合には、例えば、現フレーム番号に１を加算した値を新たに現フレーム番号とし、また、前述の画像の（登録方法２）である場合には、例えば、現フレーム番号から１を減算した値を新たに現フレーム番号とする。
ステップＳ２２において、登録終了判定を行う。この判定は、現フレーム番号と終了フレーム番号の比較により、具体的には、例えば、現フレーム番号が終了フレーム番号になったら登録終了とする。登録終了であると判定した場合には、ステップＳ２７へ進み、それ以外の場合には、ステップＳ２３へ進む。
【００７４】
ステップＳ２３において、一連のシーンが終了したか否かを判定する。この判定には、例えば、顔を検出できなかったフレームの連続度や、直近のフレームで検出できた顔のサイズの所定の値との大小関係などを基準として用い、具体的には、例えば、顔を検出できなかったフレームの連続度が所定値を超えたら終了とし、或いは、直近のフレームで検出できた顔のサイズが所定の値を超えたら（又は、所定の値未満となったら）終了とする。一連のシーンがまだ継続していると判定されたら、ステップＳ１２へ進み、また、一連のシーンが終了したと判定されたら、ステップＳ６へ進む。
ステップＳ２７において、登録処理を終了する。
【００７５】
図６には、監視映像を対象とした類似顔画像検索システムにおける前記の（登録方法３）での登録処理の流れの一例を示してある。
ここで、図６に示されるフローチャートは、図５に示されるフローチャートと比べて、ステップＳ４１、Ｓ４２、Ｓ４３を加えたものとなっており、図５に示されるのと同様なステップＳ１〜Ｓ２７、Ｓ３１については同一の符号を付してあり詳しい説明を省略する。ステップＳ４１〜Ｓ４３は録画装置２により行われる処理である。
【００７６】
ステップＳ４１は、ステップＳ１１の後に処理が実施され、当該ステップＳ４１の条件判定により、ステップＳ４２、Ｓ４３の処理が実施される。また、ステップＳ２３においてシーン未終了である場合にはステップＳ４１へ進む。
ステップＳ４１において、一連のシーン内のフレームでの顔探索を早期に終了するか否かの判定（シーン早期終了判定）を行う。このシーン早期終了判定は、例えば、一連のシーン内での顔検出数と所定の値との大小関係や、前のフレームで検出できた顔のサイズと所定サイズとの大小関係などを基準に用いることができ、具体的には、例えば、一連のシーン内での顔検出数が所定の値を超えたら早期に終了することや、或いは、前のフレームで検出できた顔のサイズが所定サイズ未満となったら早期に終了することができる。シーン早期終了判定によって、シーン内の顔探索を現フレームで終了すると判定した場合には、ステップＳ４２へ進み、また、シーン内の顔探索を継続すると判定した場合には、ステップＳ１２へ進む。
【００７７】
ステップＳ４２において、一連のシーン内で検出した顔サイズの履歴から前述の縮小率α、省略フレーム数βを算出し、省略可能なフレーム数を決定し、ステップＳ４３へ進む。
ステップＳ４３において、現フレーム番号を更新し、ステップＳ２４へ進む。ここでは、次のシーンの顔探索を行うため、ステップＳ４２で求めた省略可能なフレーム数βを現フレーム番号から減算した値を新たに現フレーム番号とする。
【００７８】
以上、具体的な実施の形態により本提案を説明したが、本提案は上記の実施の形態には限定されず、例えば、上記では、登録の機能を録画装置２に実装する構成を説明したが、録画装置とは別の装置に実装するような構成であってもよい。
本例においては、顔画像の検出処理時間の短縮による類似顔画像の登録処理時間の短縮を実現する構成を示したが、検出する対象が顔でない場合においても適用が可能であり、各種の物体検出技術を用いることで、特定の物体の類似画像検索システムに同様に適用することができる。
更に、本例においては、検索画像を、撮像装置１で撮影され録画装置２に記録された画像から選択する場合について示したが、例えば、撮像装置１とは異なる機器により撮影された画像とすることも可能である。
以上、本提案を上記の実施の形態で具体的に説明したが、上記の実施の形態は本提案の例示であって、本提案は上記の実施の形態に限定されないことは言うまでもない。
【００７９】
図２に示される監視映像を参照して、本例により得られる効果の具体例を示す。
図２には、建物内の廊下を遠方から手前に通り過ぎる人を監視するために設置された監視カメラの映像の一例が示されている。撮像装置１で撮像された映像の全領域３１が示されている。
本例では、監視映像の特徴を利用することで、撮像装置１が撮像する全領域３１での顔探索ではなく、初期探索領域である局所領域３２にて顔探索することで、探索領域の縮小により演算量を削減することができる。更に、初期探索領域で顔を検出したフレーム以降では、一連のシーンで検出した顔の顔領域及び顔サイズを用いることで、次フレームでの顔領域を推定でき、その推定した領域において顔探索することで演算量の削減を実現することができる。
【００８０】
また、他の例として、初期探索領域３３にて時系列と逆順に顔探索する場合には、小さいサイズの顔を探索する必要がないことによって、演算量を削減することができる。更に、逆時系列順に登録する場合には、一連のシーンにおいて大きい顔から先に取得できるため、それ以降のフレームでの小さい顔が存在するフレームにおいて顔探索する必要がなくなる。探索領域の縮小、又は、探索の最小サイズ及び最大サイズの限定による演算量の削減量は、画角、被写体の大きさ等により異なるが、定性的には自明である。また、一連のシーンにおいて、大きい顔を取得したフレームは、最も人を識別し易いベストショットフレームとして選択することができるという効果もある。
【００８１】
具体例として、シーン顔探索部１８は、監視映像の特徴を利用して、撮像装置１で得られる画像の局所領域３２、又は、局所領域３３に注目して、局所領域で人の通過を待ち受ける。初期探索領域以降のフレームでは、追従顔探索領域にて顔探索を行う。
また、逆時系列順に登録を行う場合には、一連のシーン内での顔サイズをこれまでに検出した顔サイズから推定する。この推定により、小さい顔があると予想されるフレームの顔探索を省略することができる。
【００８２】
以上のように、本例の類似顔画像検索システムでは、次のような構成例（構成例１）〜（構成例５）を有する。
（構成例１）初期窓の基本的な構成例である。
撮像装置１と、撮像装置１で撮像された画像を録画する録画装置２と、監視端末３を有し、任意の顔画像に対する類似顔画像を録画装置２に記録された画像から検索する機能と、検索された画像を監視端末３に表示する機能を備えた類似顔画像検索システムにおいて、固定の局所領域を顔探索領域とする初期探索機能を設けた。
【００８３】
（構成例２）初期窓で時系列で待ち受ける構成である。
撮像装置１と、撮像装置１で撮像された画像を録画する録画装置２と、監視端末３を有し、任意の顔画像に対する類似顔画像を録画装置２に記録された画像から検索する機能と、検索された画像を監視端末３に表示する機能と、上記した（構成例１）に係る機能を備えた類似顔画像検索システムにおいて、小面積の固定の局所領域を顔探索領域とし、領域中の小サイズの顔を探索する初期探索機能と、時系列順にフレーム登録する機能を設けた。
【００８４】
（構成例３）初期窓で時系列で待ち受けて追従する構成
撮像装置１と、撮像装置１で撮像された画像を録画する録画装置２と、監視端末３を有し、任意の顔画像に対する類似顔画像を録画装置２に記録された画像から検索する機能と、検索された画像を監視端末３に表示する機能と、上記した（構成例１）に係る機能を備えた類似顔画像検索システムにおいて、顔検出フレームより後のフレームにおける顔探索を、一連のシーンで既に検出した顔領域の動きベクトル及び顔サイズから算出される顔探索領域及び顔探索の最小及び最大サイズによって行う。
【００８５】
（構成例４）初期窓で逆時系列順で待ち受ける構成である。
撮像装置１と、撮像装置１で撮像された画像を録画する録画装置２と、監視端末３を有し、任意の顔画像に対する類似顔画像を録画装置２に記録された画像から検索する機能と、検索された画像を監視端末３に表示する機能と、（構成例１）に係る機能を備えた類似顔画像検索システムにおいて、大面積の固定の局所領域を顔探索領域とし、領域中の大サイズの顔を探索する初期探索機能と、逆時系列順にフレーム登録する機能を設けた。
【００８６】
（構成例５）初期窓で逆時系列順で待ち受けて、シーン内で早期に顔探索を終了する構成である。
撮像装置１と、撮像装置１で撮像された画像を録画する録画装置２と、監視端末３を有し、任意の顔画像に対する類似顔画像を録画装置２に記録された画像から検索する機能と、検索された画像を監視端末３に表示する機能と、（構成例４）に係る機能を備えた類似顔画像検索システムにおいて、顔探索フレームを選別する機能を設けた。
【００８７】
なお、本例の類似顔画像検索システム（画像処理システムの一例）では、録画装置２において、画像特徴量記録部１４がシーン顔探索部１８により、時系列順又は逆時系列順で、初期探索を行う機能により初期探索手段が構成されており、その後に追従探索を行う機能により追従探索手段が構成されており、所定の条件を満たすフレームでは探索を省略する機能により探索省略手段が構成されており、また、画像特徴量記録部１４が画像特徴量リストデータ（フレーム番号と画像特徴量との対応）をメモリに記録する機能により画像部分情報登録手段が構成されている。
【００８８】
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【図面の簡単な説明】
【００８９】
【図１】本発明の一実施例に係る類似顔画像検索システムの構成例を示す図である。
【図２】監視カメラの映像の一例を示す図である。
【図３】動きベクトルを算出する場合の一例を示す図である。
【図４】逆時系列順に顔画像を登録した場合に顔探索を省略することができるフレームの一例を示す図である。
【図５】（登録方法１）及び（登録方法２）での登録処理の流れの一例を示す図である。
【図６】（登録方法３）での登録処理の流れの一例を示す図である。
【図７】類似顔画像検索システムの構成例を示す図である。
【符号の説明】
【００９０】
１・・撮像装置、  ２・・録画装置、  ３・・監視端末、  ４、５・・ネットワーク、  １１・・ネットワーク送受信部、  １２・・映像記録部、  １３・・映像配信部、  １４・・画像特徴量記録部、  １５・・画像特徴量抽出部、  １６・・画像類似度判定部、  １７・・顔探索部、  １８・・シーン顔探索部、  ２１・・ネットワーク送受信部、  ２２・・検索要求部、  ２３・・検索結果表示部、  ２４・・映像再生部、  ２５・・登録要求部、  ３１・・全領域、  ３２、３３・・局所領域、  ４１〜４４・・顔領域の重心座標、  ４５・・顔領域の推定重心座標、  ５１〜５４・・動きベクトル、  ５５・・追従顔探索領域、  ６１、６２、６８、６９・・初期探索領域での顔探索フレーム、  ６３、６４・・顔非探索フレーム、  ６５〜６７・・初期探索領域又は追従顔探索領域での顔探索フレーム、
【図１】
2010140425.tif 000004
【図２】
2010140425.tif 000005
【図３】
2010140425.tif 000006
【図４】
2010140425.tif 000007
【図５】
2010140425.tif 000008
【図６】
2010140425.tif 000009
【図７】
2010140425.tif 000010