(57)【要約】  動画ファイルの中から類似顔画像検索に使用する検索キー顔画像を効率良く捜すことが可能な画像検索システムを提供する。  撮像装置と、撮像装置から入力された動画ファイルを記録媒体に記録する画像検索サーバと、監視端末とから構成され、監視端末からの指示に基づき、画像検索サーバが、動画ファイルを構成する複数の画像フレームに映る顔画像の特徴量を抽出し、顔画像の類似度を評価し、検索キー顔画像を指定して、指定された当該検索キー顔画像に対して類似顔画像検索を行う画像検索システムであって、画像検索サーバは、監視端末からの指示に基づき、所定の動画ファイルを構成する複数の画像フレームの中から顔が映る顔画像フレームを検索する顔画像検索手段を備え、監視端末は、画像検索サーバから所定の動画ファイルをダウンロードして再生表示する動画再生表示エリアと、画像検索サーバの顔画像検索手段が検索した顔画像フレームの情報を基に、当該顔画像フレームの撮像時間をライン表示するタイムライン表示エリアと、を有する表示部を備えることを特徴とする。
2015178234.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と、前記撮像装置から入力された動画ファイルを記録媒体に記録する画像検索サーバと、監視端末とから構成され、前記監視端末からの指示に基づき、前記画像検索サーバが、前記動画ファイルを構成する複数の画像フレームに映る顔画像の特徴量を抽出し、顔画像の類似度を評価し、検索キー顔画像を指定して、指定された当該検索キー顔画像に対して類似顔画像検索を行う画像検索システムであって、
前記画像検索サーバは、前記監視端末からの指示に基づき、所定の動画ファイルを構成する複数の画像フレームの中から顔が映る顔画像フレームを検索する顔画像検索手段を備え、
前記監視端末は、前記画像検索サーバから前記所定の動画ファイルをダウンロードして再生表示する動画再生表示エリアと、前記画像検索サーバの前記顔画像検索手段が検索した前記顔画像フレームの情報を基に、当該顔画像フレームの撮像時間をライン表示するタイムライン表示エリアと、を有する表示部を備えることを特徴とする画像検索システム。
【請求項２】
請求項１記載の画像検索システムにおいて、
前記監視端末は、前記タイムライン表示エリアの位置を選択する選択手段を備え、前記選択手段で前記顔画像フレームの撮像時間が表示されたラインの任意の位置を選択すると、前記動画再生表示エリアに当該位置に応じた顔画像フレームを再生表示することを特徴とする画像検索システム。
【請求項３】
請求項２に記載の画像検索システムにおいて、
前記監視端末は、前記選択手段により、類似顔画像検索の検索キー顔画像として使用する前記顔画像フレームを選択して、当該顔画像フレーム情報を前記画像検索サーバに送信し、
前記画像検索サーバは、前記監視端末から送信された前記顔画像フレーム情報に基づいて、類似顔画像検索を行うことを特徴とする画像検索システム。  
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索システムに係り、特に、動画ファイルの中から類似顔画像検索に使用する検索キー顔画像を効率良く捜すことが可能な画像検索システムに関する。
【背景技術】
【０００２】
従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて注意する、対応する、或いは映像を記録するものである。【０００３】
映像監視システムにおいて、映像を記録するための記録媒体には、従来のビデオテープ媒体から、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年ではこのような記録媒体の大容量化が進んでいる。
記録媒体の大容量化は、記録できる映像の量を飛躍的に増大させ、より多地点や長時間の記録を可能にしつつある反面、記録映像を目視でチェックする負担の増加が問題点として顕在化しつつある。【０００４】
このような背景から、記録した映像（動画ファイル）の中から所望の画像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象（イベント）の発生に対して、画像認識技術を用いてリアルタイムに自動検知して映像と共に記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。
人物検索機能とは、映像中への人物の登場を自動検知の対象として、リアルタイムに記録し、事後に記録画像中から人物登場画像を探し出せる機能である。【０００５】
機能面から人物検索機能は、以下の２種類に大別される。
１つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場（イベント）の有無を、単純に探し出す機能である。検索結果にはイベントの有無に加え、イベント有と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像（人物登場画像）等を提示する。なお、この検索のクエリ（Ｑｕｅｒｙ）には、イベント発生時刻や撮像装置番号等の検索対象範囲を絞込むための情報として与える場合が多い。以下では、この検索対象範囲を絞込むための情報を、「絞込みパラメータ」ということにする。【０００６】
２つ目は、類似人物検索機能である。上述の登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、或いは他の地点の撮像装置で撮影されていないかどうかを、記録画像中から探し出す機能である。検索結果には、特定人物が映った他の画像の有無に加え、有の場合には、その数と撮影時刻、撮像装置番号、撮影した画像（人物登場画像）、後述の類似度等を返す。
特定人物の指定は、探したい人物が映った画像（以降、検索キー画像）をユーザが１ケ指定することで実施される。検索キー画像は、記録画像や外部装置からの任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、記録画像中の人物の画像特徴量と照合し、その類似性（類似度）を求め、同一人物判定を実施することにより実現される。同一人物判定では、一例として、比較する２つの画像の人物について画像特徴量の類似度を求め、その結果（類似度）が所定の基準値以上である場合に、これらの人物は同一人物であると判定する。なお、記録画像中の人物の画像特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索のクエリにおいても、絞込みパラメータを与えることが可能である場合が多い。【０００７】
両検索機能のどちらにおいても、検索結果には記録画像を取り出すためのリンケージ情報が付与されており、検索結果から記録画像の頭出し再生が可能になっている。
特許文献１には、このように検索キー画像を指定して、検索結果の画像から選択して、別の表示領域に表示して、それを次の検索キー画像にするなどしてユーザの利便性を高めるようにした画像検索装置が開示されている。
また、特許文献２には、ユーザの利便性をさらに高める類似画像検索システムが開示されている。この特許文献２では、ユーザは、類似画像検索の結果に対して、人名や特徴などのキーワードを付与する。画像検索には、二種類の検索方法が用意されており、キーワードが付与された画像を検索の対象から除く類似画像検索と、キーワードを付与された画像のみを検索の対象とする登場イベント検索がある。ユーザは、類似画像検索を複数回行い、充分多くの画像にキーワードを付与した判断をした後に、登場イベント検索を行う。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１２３１９６号公報
【特許文献２】特開２０１１−０９０４７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、複数の監視エリアに設置した撮像装置で撮影した大量の動画ファイルは、画像記録装置に記録・保存される。そして、類似画像検索において、類似する顔画像を検索する場合には、監視者が監視端末を操作して、画像記録装置に記録・保存しておいた所定の動画ファイルを読み出して保存し、所定の動画ファイルの中から類似顔画像検索の基にする検索キー顔画像を捜して、その顔画像を設定・登録する必要がある。【００１０】
そこで、動画ファイルの中から検索キー顔画像を捜す際、監視者は、動画ファイルを再生中に人物の有無を確認し、例えば、不審な人物が映っている箇所（フレーム）があれば一旦動画ファイルの再生を停止させ、目視でそのフレーム画像に映っている人物の顔を確認し、顔がはっきりと映っているかどうかを判断する。そして、人物の顔がはっきりと映っていれば、その人物の顔画像を検索キー顔画像として設定・登録し、その後、その検索キー画像を基にして、複数の撮像装置で撮影した複数の動画ファイルについて、類似顔画像検索を行う。【００１１】
しかし、一旦停止したフレーム画像に映っている人物の顔が、後ろ向きであったり、横向きであったり、または、ぼやけていてはっきりしていなかった場合には、類似顔画像検索には不向きな顔画像であるため、再度、動画再生、一旦停止、及び顔の状態確認を行う必要がある。
つまり、監視者は、類似顔画像検索に使用する検索キー顔画像として適した顔画像を捜すために、動画ファイルの再生、一旦停止、及び顔の状態確認の一連の動作を複数回繰り返す必要があり、非常に時間と手間がかかるという問題があった。
また、監視者は、明らかに類似顔画像検索が可能な顔画像だと判断しても、類似顔画像検索を行う画像検索サーバ側で、顔の角度、大きさ、照明などによる影響によって、検索キー顔画像として使用できないと判断される場合もある。【００１２】
本発明は、このような従来の事情に鑑みなされたものであり、動画ファイルの中から類似顔画像検索に使用する検索キー顔画像を効率良く捜すことが可能な画像検索システムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するための本発明に係る画像検索システムは、撮像装置と、前記撮像装置から入力された動画ファイルを記録媒体に記録する画像検索サーバと、監視端末とから構成され、前記監視端末からの指示に基づき、前記画像検索サーバが、前記動画ファイルを構成する複数の画像フレームに映る顔画像の特徴量を抽出し、顔画像の類似度を評価し、検索キー顔画像を指定して、指定された当該検索キー顔画像に対して類似顔画像検索を行う画像検索システムであって、前記画像検索サーバは、前記監視端末からの指示に基づき、所定の動画ファイルを構成する複数の画像フレームの中から顔が映る顔画像フレームを検索する顔画像検索手段を備え、前記監視端末は、前記画像検索サーバから前記所定の動画ファイルをダウンロードして再生表示する動画再生表示エリアと、前記画像検索サーバの前記顔画像検索手段が検索した前記顔画像フレームの情報を基に、当該顔画像フレームの撮像時間をライン表示するタイムライン表示エリアと、を有する表示部を備えることを特徴とする。【００１４】
また、上記目的を達成するための本発明に係る画像検索システムは、上記した画像検索システムにおいて、前記監視端末は、前記タイムライン表示エリアの位置を選択する選択手段を備え、前記選択手段で前記顔画像フレームの撮像時間が表示されたラインの任意の位置を選択すると、前記動画再生表示エリアに当該位置に応じた顔画像フレームを再生表示することを特徴とする。【００１５】
また、上記目的を達成するための本発明に係る画像検索システムは、上記した画像検索システムにおいて、前記監視端末は、前記選択手段により、類似顔画像検索の検索キー顔画像として使用する前記顔画像フレームを選択して、当該顔画像フレーム情報を前記画像検索サーバに送信し、前記画像検索サーバは、前記監視端末から送信された前記顔画像フレーム情報に基づいて、類似顔画像検索を行うことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、動画ファイルの中から類似顔画像検索に使用する検索キー顔画像を効率良く捜すことが可能な画像検索システムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態１に係る画像検索システムのシステム構成を例示する図である。
【図２】本発明の実施形態１に係る画像検索システムに用いる撮像装置２０１のハードウェア構成を例示する図である。
【図３】本発明の実施形態１に係る画像検索システムに用いる画像検索サーバ１０２のハードウェア構成を例示する図である。
【図４】本発明の実施形態１に係る画像検索システムに用いる監視端末１０３のハードウェア構成を例示する図である。
【図５】本発明の画像検索システムに用いられる動画ファイルテーブル３００のデータ構造の一実施例を示す図である。
【図６】本発明の画像検索システムに用いられる属性情報データテーブル３１０のデータ構造の一実施例を示す図である。
【図７】本発明の実施形態１に係る画像検索システムにおいて、監視端末１０３と画像検索サーバ１０２との間の処理シーケンスの一実施例を示す図である。
【図８】本発明の実施形態１に係る画像検索システムにおいて、動画ファイルの中から類似顔画像検索に使用する検索キー顔画像を設定・登録し、類似顔画像検索を実施するまでの操作を説明するための検索画面の一実施例を示した図である。
【発明を実施するための形態】
【００１８】
＜実施形態１＞   以下、本発明の実施形態１に係る画像検索システムについて、図面を参照して説明する。なお、各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避けるため、説明を省略するようにした。
【００１９】
まず、図１〜図４を参照して、本発明の実施形態１に係る画像検索システムの構成について説明する。
図１には、本発明の実施形態１に係る画像検索システムのシステム構成を例示してある。
本発明の画像検索システムは、図１に示すように、ネットワーク２００に、撮像装置２０１、画像検索サーバ１０２、監視端末１０３が接続され、互いに通信可能な状態で構成される。
【００２０】
ネットワーク２００は、データ通信を行う専用ネットワークやイントラネット、インターネット、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の各装置を相互に接続して通信を行う通信手段である。
【００２１】
撮像装置２０１は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子等で撮像した画像にデジタル変換処理を施し、変換結果の画像データを、ネットワーク２００を介して画像検索サーバ１０２へ出力するネットワークカメラや監視カメラ等の装置である。
【００２２】
画像検索サーバ１０２は、ネットワーク２００を介して撮像装置２０１より入力された画像データをＨＤＤ等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。また、本サーバは、本発明の方式を含む人物検索機能も搭載している。
画像検索サーバ１０２は、機能構成として、画像送受信部２１０、画像記録部２１１、再生制御部２１２、人物領域検出部２１３、人物特徴量抽出部２１４、顔領域検出部１１１、顔特徴量抽出部１１２、人物・顔特徴量記録部２１５、属性情報記録部２１６、要求受信部２１７、顔画像検索部２１８、類似顔画像検索部２１９、検索結果送信部２２０の各処理部を有する。
【００２３】
画像送受信部２１０は、サーバ外部からの画像の入出力を行う処理部であり、撮像装置２０１からの入力画像データの受信、監視端末１０３への出力画像データの送信を行う。
画像記録部２１１は、入力画像データの記録媒体への書込みや出力画像データの記録媒体からの読出しを行う。書込みの際には、画像データに加え、画像データを読出す際の情報となる画像ＩＤ（画像の識別情報）も併せて記録する。また、画像記録部２１１は、記録媒体の記憶容量が満杯になるのを防止するため、古い画像データに新たに撮影した画像データを自動的に上書きするようにしている。
再生制御部２１２は、監視端末１０３への映像再生を制御する。
【００２４】
人物領域検出部２１３は、入力画像データに対し画像認識技術を用いた人物検出を行い、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出を行う。
人物特徴量抽出部２１４は、人物領域検出部２１３で検出した領域に対して画像認識技術を用いて特徴量算出を行う。ここで算出する人物特徴量とは、例えば、人物の輪郭の形状や方向、皮膚の色、歩容（どの脚をどのようにどんなタイミングで動かすかといった脚の捌き方）などである。
顔領域検出部１１１は、人物領域検出部２１３で検出した領域に対し画像認識技術を用いて顔の領域を判定し、その領域の座標算出を行う。
顔特徴量抽出部１１２は、顔領域検出部１１１で検出した領域に対して画像認識技術を用いて特徴量算出を行う。ここで算出する顔特徴量とは、例えば、人物を特定する代表的な部位である顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ、形状、配置関係等である。
なお、本実施形態においては、人物特徴量抽出部２１４及び顔特徴量抽出部１１２で使用する特徴量の種類や数はいずれであってもよい。
【００２５】
人物・顔特徴量記録部２１５は、人物特徴量抽出部２１４及び顔特徴量抽出部１１２で算出した特徴量の記録媒体への書込みと読出しを行う。画像記録部２１１における画像データの記録媒体と本処理部における人物・顔特徴量の記録媒体とは同一であっても別個であってもよい。
属性情報記録部２１６は、画像データに関連する属性情報の記録媒体への書込みと読出しを行う。属性情報とは、例えば、画像の撮影時刻や撮像装置番号等である。
【００２６】
要求受信部２１７は、監視端末１０３からの検索要求、動画ファイルダウンロード要求、顔画像一覧取得要求および検索キー顔画像登録要求の受信を行う。
顔画像検索部２１８は、要求受信部２１７にて受信した要求が顔画像検索要求であった場合に、顔画像検索を行う。顔画像検索部２１９は、人物・顔特徴量記録部２１５に登録された顔特徴量を基に、顔として類似顔画像検索が可能な顔画像ファイルを抽出する。
類似顔画像検索部２１９は、要求受信部２１７にて受信した要求が類似顔画像検索要求であった場合に、類似顔画像検索を行う。
【００２７】
検索結果送信部２２０は、顔画像検索部２１８や類似顔画像検索部２１９から得た顔画像検索結果や類似顔画像検索結果の監視端末１０３への送信を行う。
【００２８】
監視端末１０３は、ネットワーク機能を有する一般のＰＣ（パーソナルコンピュータ）で実現してもよいし、専用の検索端末でもよい。
監視端末１０３は、機能構成として、検索要求送信部２２１、検索結果受信部２２２、検索結果表示部２２３、再生画像表示部２２４、画面操作検知部２２５の各処理部を有する。
【００２９】
検索要求送信部２２１は、顔画像検索要求および類似顔画像検索要求の画像検索サーバ１０２への送信を行う。類似顔画像検索要求の場合、検索要求データには、類似顔画像検索の検索キーとして、所望の検索キー顔画像或いは所望の検索キー顔画像を特定するための画像ＩＤが含まれる。また、検索要求データには、複数の検索キーを含めることも可能である。
検索結果受信部２２２は、検索結果の画像検索サーバ１０２からの受信を行う。検索結果として受信するデータには、画像検索サーバ１０２において、顔画像検索を実施して得られた顔検出時刻、また、類似顔画像検索を実施して得られた画像の集合が含まれる。なお、集合を構成する個々の画像は、画像検索サーバ１０２に記録された画像から画像サイズ縮小処理等を施して生成される。以下、この個々の画像を「検索結果画像」、検索結果として送受信するデータを「検索結果データ」という。
【００３０】
検索結果表示部２２３は、検索結果受信部２２２にて受信した検索結果の画面表示を行う。表示される画面例については後述する。
再生画像表示部２２４は、画像検索サーバ１０２から入力された画像データの画面への連続動画表示を行う。
画面操作検知部２２５は、ユーザによる操作内容の検知及び取得を行う。
【００３１】
図２には、本発明の実施形態１に係る画像検索システムに用いる撮像装置２０１のハードウェア構成を例示してある。
撮像装置２０１のハードウェア構成は、図２に示すように、撮像部２４１、主記憶部２４２、符号化部２４３、ネットワークインタフェース（Ｉ／Ｆ）２４４が、バス２４０で結合された形態である。
【００３２】
撮像部２４１は、レンズを通して撮像した光信号をデジタルデータに変換する。符号化部２４３は、撮像部２４１が出力するデジタルデータを符号化して、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの画像データに変換する。主記憶部２４２は、撮像したデジタルデータ、符号化された画像データを記憶する。ネットワークＩ／Ｆ２４４は、バス２４０に結合され、ネットワーク２００を介して、主記憶部２４２上の画像データを画像検索サーバ１０２に送信するためのインタフェースである。
【００３３】
図３には、本発明の実施形態１に係る画像検索システムに用いる画像検索サーバ１０２のハードウェア構成を例示してある。
画像検索サーバ１０２のハードウェア構成は、図３に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２５１、主記憶部２５２、補助記憶部２５３、ネットワークＩ／Ｆ２５４が、バス２５０で結合された形態である。
【００３４】
ＣＰＵ２５１は、画像検索サーバ１０２の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２５２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの半導体装置で実現され、検索のための画像データやＣＰＵ２５１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２５３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２５２より大容量のメモリであり、画像データやプログラムを格納する。ネットワークＩ／Ｆ２５４は、ネットワーク２００を介して、撮像装置２０１からの画像データを受信したり、監視端末１０３から検索キーを受信したり、監視端末１０３に画像データを送信するためのインタフェースである。
【００３５】
図４には、本発明の実施形態１に係る画像検索システムに用いる監視端末１０３のハードウェア構成を例示してある。
監視端末１０３のハードウェア構成は、図４に示すように、ＣＰＵ２６１、主記憶部２６２、補助記憶部２６３、表示Ｉ／Ｆ２６４、入出力Ｉ／Ｆ２６５、ネットワークＩ／Ｆ２６６が、バス２６０で結合された形態である。また、表示Ｉ／Ｆ２６４は、表示装置２７０と接続され、入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続される。
【００３６】
ＣＰＵ２６１は、監視端末１０３の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２６２は、ＤＲＡＭなどの半導体装置で実現され、表示のための画像データやＣＰＵ２６１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２６３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２６２より大容量のメモリであり、検索キーワード、画像データやプログラムを格納する。表示Ｉ／Ｆ２６４は、表示装置２７０と接続するためのインタフェースである。入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続するためのインタフェースである。ネットワークＩ／Ｆ２６６は、ネットワーク２００を介して、画像検索サーバ１０２からの画像データを受信したり、画像検索サーバ１０２に検索キーを送信するためのインタフェースである。
表示装置２７０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの装置であり、画像や動画をその表示部に表示する装置である。監視者は、表示装置２７０の表示部に表示された画像を、キーボード２８０やマウス２８２などの入出力装置を操作して、例えばＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）操作することによって、監視端末１０３及び画像検索システムを操作する。
【００３７】
次に、図５及び図６を用いて本発明の実施形態１に係る画像検索システムに用いられるデータ構造について説明する。図５は、本発明の画像検索システムに用いられる動画ファイルテーブル３００のデータ構造の一実施例を示す図である。また、図６は、本発明の画像検索システムに用いられる属性情報データテーブル３１０のデータ構造の一実施例を示す図である。
【００３８】
動画ファイルテーブル３００は、動画ファイル毎に画像データを格納するためのテーブルである。動画ファイルテーブル３００には、各動画ファイルを構成する画像データ毎に画像ＩＤ３０１が付され、付された画像ＩＤと関連付けられたフレームデータ３０２とが記録される。フレームデータ３０２は、例えば、ＪＰＥＧ形式のデータなどで記録される。
【００３９】
属性情報データテーブル３１０は、画像データを解析した結果の画像についての属性情報データを格納するためのテーブルである。属性情報データテーブル３１０には、登録ＩＤ３１１が識別のために付与され、付与された登録ＩＤ３１１と関連付けられて、画像ＩＤ３１２、特徴量３１３、カメラＩＤ３１４及び時刻情報３１５が記録される。
例えば、付与された登録ＩＤ３１１と関連付けられて、動画ファイルテーブル３００に格納された画像フレームの一部が、画像ＩＤ３１２により指定される。また、その画像の人物・顔特徴量は、特徴量３１３に、撮像した撮像装置２０１のＩＤは、カメラＩＤ３１４に、フレームの撮像時刻に関する情報は、時刻情報３１５にと、各々のフィールドに格納される。
【００４０】
なお、例えば、録画のフレームレートが、３０ｆｐｓ（Ｆｒａｍｅｓ  Ｐｅｒ  Ｓｅｃｏｎｄ）のときに、画像の解析を行うのは、その中で、人がいると認識した部分であり、最大３ｆｐｓ程度のフレームレートで画像を捉えて解析を行うのが一般的である。
【００４１】
次に、図７及び図８を用いて、本発明の実施形態１に係る画像検索システムにおける監視端末１０３と画像検索サーバ１０２との間の処理シーケンスについて説明する。図７は、本発明の実施形態１に係る画像検索システムにおいて、監視端末１０３と画像検索サーバ１０２との間の処理シーケンスの一実施例を示す図である。また、図８は、本発明の実施形態１に係る画像検索システムにおいて、動画ファイルの中から類似顔画像検索に使用する検索キー顔画像を設定・登録し、類似顔画像検索を実施するまでの操作を説明するための検索画面の一実施例を示した図である。
【００４２】
図７に示すように、ステップＳ１０１において、監視者は、監視端末１０３を操作して、所望の監視領域を撮影している撮像装置２０１と、その撮像装置２０１が撮影した時間を指定し、画像検索サーバ１０２に対して、所望の動画ファイル（１）のダウンロード要求を行う。
ステップＳ１０２において、画像検索サーバ１０２では、画像送受信部２１０が、画像記録部２１１の動画ファイルテーブル３００から、監視端末１０３より要求された動画ファイル（１）を読み出して、監視端末１０３に送信する。
ステップＳ１０３において、監視端末１０３では、画像検索サーバ１０２から動画ファイル（１）が送信されると、再生画像表示部２２４が、表示装置２７０の図８に示す操作画面上に、動画ファイル（１）の自動再生を開始する。図８に示す操作画面５００において、５０１は動画再生エリアであって、受信した動画ファイル（１）は動画再生エリア５０１に自動再生され、監視者は、巻き戻し、再生、一時停止及び早送りの各ボタンを備えた動画再生用ボタン群５０３を操作しながら、画面に不審な人物などが映っていないかの確認を始める。
【００４３】
ステップＳ１０４において、監視端末１０３では、検索要求送信部２２１が動画ファイル（１）に関する顔画像検索実行コマンドを画像検索サーバ１０２に送信する。
ステップＳ１０５において、画像検索サーバ１０２では、監視端末１０３から送信された顔画像検索実行コマンドに応答して、顔画像検索部２１８が画像記録部２１１の動画ファイルテーブル３００から動画ファイル（１）を読み出して、顔画像検索処理を開始する。
ステップＳ１０６において、監視端末１０３では、検索要求送信部２２１が動画ファイル（１）に関する顔画像一覧取得コマンドを画像検索サーバ１０２に送信する。
ステップＳ１０７において、画像検索サーバ１０２では、監視端末１０３から送信された顔画像一覧取得コマンドに応答して、顔画像検索処理によってその時までに抽出した顔画像フレーム情報（識別ＩＤ、時刻情報等）をリスト化して監視端末１０３に送信する。
ステップＳ１０８において、監視端末１０３では、画像検索サーバ１０２から送信された顔画像フレーム情報リストに基づいて、再生画像表示部２２４が図８に示す操作画面５００のタイムライン表示エリア５０４上に、斜線で示すように、顔検出時刻ライン５０４ａを表示する。
【００４４】
その後、ステップＳ１０９において、監視端末１０３では、検索要求送信部２２１が定期的に画像検索サーバ１０２に対して動画ファイル（１）に関する顔画像一覧取得コマンドを送信する。
ステップＳ１１０において、画像検索サーバ１０２では、監視端末１０３からの顔画像一覧取得コマンドに応答して、顔画像検索処理によってその時までに抽出した顔画像フレーム情報（識別ＩＤ、時刻情報等）をリスト化して監視端末１０３に送信する。
ステップＳ１１１において、監視端末１０３では、画像検索サーバ１０２から送信された顔画像フレーム情報リストに基づいて、再生画像表示部２２４が図８に示す操作画面５００のタイムライン表示エリア５０４上に、顔検出時刻ライン５０４ａをライン表示する。
なお、監視端末１０３と画像検索サーバ１０２との間では、ステップＳ１０９〜ステップＳ１１１の処理を、画像検索サーバ１０２での動画ファイル（１）内の顔画像検索が終了するまで繰り返し行う。
【００４５】
画像検索サーバ１０２では、動画ファイル（１）内の顔画像検索が終了すると（ステップＳ１１２）、顔画像検索終了応答を監視端末１０３に送信する（ステップＳ１１３）。
ステップＳ１１４において、監視端末１０３では、検索要求送信部２２１が顔画像検索終了時までの動画ファイル（１）に関する顔画像一覧取得コマンドを画像検索サーバ１０２に送信する。
ステップＳ１１５において、画像検索サーバ１０２では、監視端末１０３から送信された顔画像一覧取得コマンドに応答して、顔画像検索処理によって顔画像検索終了時までに抽出した顔画像フレーム情報（識別ＩＤ、時刻情報等）をリスト化して監視端末１０３に送信する。
ステップＳ１１６において、監視端末１０３では、画像検索サーバ１０２から送信された顔画像フレーム情報リストに基づいて、再生画像表示部２２４が図８に示す操作画面５００のタイムライン表示エリア５０４上に、顔検出時刻ライン５０４ａをライン表示する。
【００４６】
上述したように、監視者が監視端末１０３を操作して、所望の動画ファイル（１）を再生し不審な人物等の監視を始めると同時に、監視端末１０３から画像検索サーバ１０２に対して動画ファイル（１）に関する顔画像検索要求が為されるので、監視者の目視による監視行動と並行して画像検索サーバ１０２で顔画像検索処理が行われることになる。
つまり、監視端末１０３での動画ファイル（１）再生による監視者の目視監視（顔画像検索）に比べて、画像検索サーバ１０２での顔画像検索処理の方が処理速度が速いため、図８の操作画面５００において、動画再生エリア５０１で動画ファイル（１）を再生中に、ステップＳ１０８、Ｓ１１１及びＳ１１６による顔検出時刻のタイムライン表示処理によって、タイムライン表示エリア５０４の動画ファイル（１）の開始時刻(タイムライン表示エリア５０４の左端)から動画ファイル（１）の終了時刻(タイムライン表示エリア５０４の右端)に向かって徐々に顔検出時刻ライン５０４ａ（斜線部）が増えていくことになる。なお、エリア５０４ｂ内に示す下向きの矢印は、画像検索サーバ１０２での顔画像検索処理の進行状況を示している。
【００４７】
そこで、ステップＳ１１７において、監視者は、監視端末１０３の操作画面５００で動画ファイル（１）再生による目視監視（顔画像検索）中であっても、類似顔画像検索に使用する検索キー顔画像を捜すために、マウス２８２を使ったドラッグ操作によって、例えば、図８のエリア５０５ａ内の上向きの矢印をエリア５０５ｂ内の上向き点線の矢印の位置に移動させることにより、上向きの矢印が示す時刻での顔画像フレームを動画再生エリア５０１内に表示させて、検索キー顔画像に使用するか否かの確認及び選択を効率良く行うことができる。
また、操作画面５００には、類似顔画像検索に使用する検索キー顔画像を選択するための前顔画像検出位置ボタン５０２ａ及び次顔画像検出位置ボタン５０２ｂを有している。前顔画像検出位置ボタン５０２ａを押下することにより、上記した上向き矢印が現在示している時刻の顔画像フレームの前に存在する顔画像フレームの位置に移動して、当該顔画像フレームを動画再生エリア５０１内に表示させ、また、次顔画像検出位置ボタン５０２ｂを押下することにより、上記した上向き矢印が現在示している時刻の顔画像フレームの次に存在する顔画像フレームの位置に移動して、当該顔画像フレームを動画再生エリア５０１内に表示させる。
【００４８】
次に、監視者は、複数の顔画像フレームの中から類似顔画像検索に使用する検索キー顔画像を含む顔画像フレームが決まった場合に、操作画面５００右下にある類似顔画像検索実行ボタン５０６を押下することにより、類似顔画像検索に使用する検索キー顔画像を含む顔画像フレーム情報が画像検索サーバ１０２に送信される（ステップＳ１１８）。
ステップＳ１１９において、画像検索サーバ１０２では、属性情報記録部２１６が監視端末１０３から送信された類似顔画像検索に使用する検索キー顔画像を含む顔画像フレーム情報を基に属性情報データテーブル３１０に設定・登録を行う。
ステップＳ１２０において、画像検索サーバ１０２では、監視端末１０３から送信された類似顔画像検索に使用する検索キー顔画像に基づいて、所定の動画ファイルを対象に、特開２０１２−２４２８７８号公報等に開示された公知の技術を使い類似顔画像検索を行う。
【００４９】
以上説明したように、本発明の実施形態１に係る画像検索システムによれば、動画ファイルの中から類似顔画像検索に使用する検索キー顔画像を効率良く捜すことが可能な画像検索システムを提供することができる。
【００５０】
なお、上記実施形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【符号の説明】
【００５１】
１０２：画像検索サーバ、１０３：監視端末、１１１：顔領域検出部、１１２：顔特徴量抽出部、２００：ネットワーク、２０１：撮像装置、２１０：画像送受信部、２１１：画像記録部、２１２：再生制御部、２１３：人物領域検出部、２１４：人物特徴量抽出部、２１５：人物・顔特徴量記録部、２１６：属性情報記録部、２１７：要求受信部、２１８：顔画像検索部、２１９：類似顔画像検索部、２２０：検索結果送信部、２２１：検索要求送信部、２２２：検索結果受信部、２２３：検索結果表示部、２２４：再生画像表示部、２２５：画面操作検知部、２４０：バス、２４１：撮像部、２４２：主記憶部、２４３：符号化部、２４４：ネットワークインタフェース、２５０：バス、２５１：ＣＰＵ、２５２：主記憶部、２５３：補助記憶部、２５４：ネットワークインタフェース、２６０：バス、２６１：ＣＰＵ、２６２：主記憶部、２６３：補助記憶部、２６４：表示インタフェース、２６５：入出力インタフェース、２６６：ネットワークインタフェース、２７０：表示装置、２８０：キーボード、２８２：マウス、  ３００：動画ファイルテーブル、３０１：画像ＩＤ、３０２：フレームデータ、３１０：属性情報データテーブル、３１１：登録ＩＤ、３１２：画像ＩＤ、３１３：特徴量、３１４：カメラＩＤ、３１５：時刻情報、５００：操作画面、５０１：動画再生エリア、５０２ａ：前顔画像検出位置ボタン、５０２ｂ：次顔画像検出位置ボタン、５０３：動画再生用ボタン群、５０４：タイムライン表示エリア、５０４ａ：顔検出時刻ライン、５０４ｂ：エリア、５０５ａ：エリア、５０５ｂ：エリア、５０６：類似顔画像検索実行ボタン。 
【図１】
2015178234.tif 000003
【図２】
2015178234.tif 000004
【図３】
2015178234.tif 000005
【図４】
2015178234.tif 000006
【図５】
2015178234.tif 000007
【図６】
2015178234.tif 000008
【図７】
2015178234.tif 000009
【図８】
2015178234.tif 000010
【手続補正書】
【提出日】平成28年11月21日(2016.11.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置と、前記撮像装置から入力された動画ファイルを記録媒体に記録する画像検索サーバと、監視端末とから構成され、前記監視端末からの指示に基づき、前記画像検索サーバが、前記動画ファイルを構成する複数の画像フレームに映る顔画像の特徴量を抽出し、顔画像の類似度を評価し、検索キー顔画像を指定して、指定された当該検索キー顔画像に対して類似顔画像検索を行う画像検索システムであって、
前記監視端末は、前記画像検索サーバから所定の動画ファイルをダウンロードして再生表示する動画再生表示エリアを有する表示部と、
前記画像検索サーバから前記所定の動画ファイルをダウンロードすると、当該動画ファイルに関する顔画像の検索の実行コマンドと、前記顔画像の取得コマンドと、を前記画像検索サーバへ送信する検索要求送信部と、を備え、
前記画像検索サーバは、前記監視端末からの前記実行コマンドに基づき、前記所定の動画ファイルを構成する複数の画像フレームの中から顔が映る顔画像フレームを検索する顔画像検索手段と、
前記取得コマンドに基づき、前記顔画像検索手段が検索した前記顔画像フレームの情報を、前記監視端末へ送信する検索結果送信部と、を備え、
さらに、前記監視端末の前記表示部は、前記画像検索サーバから受信した前記顔画像フレームの情報を基に、当該顔画像フレームの撮像時間をライン表示するタイムライン表示エリアを有する
ることを特徴とする画像検索システム。
【請求項２】
請求項１記載の画像検索システムにおいて、
前記監視端末は、前記タイムライン表示エリアの位置を選択する選択手段を備え、前記選択手段で前記顔画像フレームの撮像時間が表示されたラインの任意の位置を選択すると、前記動画再生表示エリアに当該位置に応じた顔画像フレームを再生表示することを特徴とする画像検索システム。
【請求項３】
請求項２に記載の画像検索システムにおいて、
前記監視端末は、前記選択手段により、類似顔画像検索の検索キー顔画像として使用する前記顔画像フレームを選択して、当該顔画像フレーム情報を前記画像検索サーバに送信し、
前記画像検索サーバは、前記監視端末から送信された前記顔画像フレーム情報に基づいて、類似顔画像検索を行うことを特徴とする画像検索システム。
【請求項４】
撮像装置と、前記撮像装置から入力された動画ファイルを記録媒体に記録する画像検索サーバと、監視端末とから構成され、前記監視端末からの指示に基づき、前記画像検索サーバが、前記動画ファイルを構成する複数の画像フレームに映る顔画像の特徴量を抽出し、顔画像の類似度を評価し、検索キー顔画像を指定して、指定された当該検索キー顔画像に対して類似顔画像検索を行う画像検索システムにおける検索画面表示方法であり、
前記監視端末が、前記画像検索サーバから所定の動画ファイルをダウンロードして再生表示するステップと、
前記監視端末が、前記所定の動画ファイルに関する顔画像の検索の実行コマンドを、前記画像検索サーバへ送信するステップと、
前記画像検索サーバが、前記実行コマンドを受信すると、前記実行コマンドに基づき、前記所定の動画ファイルを構成する複数の画像フレームの中から顔が映る顔画像フレームの検索を開始するステップと、
前記監視端末が、前記顔画像フレームの情報の取得コマンドを、前記画像検索サーバへ送信するステップと、
前記画像検索サーバが、前記取得コマンドを受信すると、前記取得コマンドを受信した時までに検索した前記顔画像フレームの情報を、前記監視端末へ送信するステップと、
前記監視端末が、前記顔画像フレームの情報を受信すると、前記顔画像フレームの情報に基づいて、当該顔画像フレームの撮影時間をライン表示するステップと、
を有することを特徴とする検索画面表示方法。
【国際調査報告】
2015178234.tif 000011
2015178234.tif 000012
2015178234.tif 000013
2015178234.tif 000014