(57)【要約】【課題】画像を検索する画像検索装置で、利用者（ユーザ）の利便性を高める。【解決手段】検索手段５が画像を検索し、表示手段４が検索された画像に関する情報を表示する第１表示領域と第１表示領域に表示された画像に関する情報の中から選択されたものに関する情報を表示する第２表示領域を有する表示内容を表示し、受付手段４が表示された表示内容が有する第１表示領域に表示された画像に関する情報の中から１つ以上を選択する指示をユーザから受け付け、制御手段４がユーザから受け付けられた指示に基づいて第１表示領域に表示された画像に関する情報の中から選択されたものに関する情報が第２表示領域に表示されるように制御する。【選択図】  図１
2009123196.tif 000002
【特許請求の範囲】
【請求項１】
画像を検索する画像検索装置において、
画像を検索する検索手段と、
前記検索手段により検索された画像に関する情報を表示する第１表示領域と、前記第１表示領域に表示された画像に関する情報の中から選択されたものに関する情報を表示する第２表示領域を有する表示内容を表示する表示手段と、
前記表示手段により表示された表示内容が有する前記第１表示領域に表示された画像に関する情報の中から１つ以上を選択する指示をユーザから受け付ける受付手段と、
前記受付手段によりユーザから受け付けられた指示に基づいて、前記第１表示領域に表示された画像に関する情報の中から選択されたものに関する情報が前記第２表示領域に表示されるように制御する制御手段と、
を備えたことを特徴とする画像検索装置。
【請求項２】
画像を検索する画像検索装置において、
画像を検索する検索手段と、
前記検索手段により検索された画像に関する情報を表示する第１表示領域と、前記第１表示領域に表示された画像に関する情報の中から選択されたものに関する情報を表示する第２表示領域を有する表示内容を表示する表示手段と、
前記表示手段により表示された表示内容が有する前記第１表示領域に表示された画像に関する情報の中から１つを選択する指示をユーザから受け付ける受付手段と、
前記受付手段によりユーザから受け付けられた指示に基づいて、前記選択された画像と、その画像の前後フレームに対応する少なくとも１つの画像とをもとに高解像画像を生成する生成手段と、
前記生成手段により生成された高解像画像を前記第２表示領域に表示する制御手段と
を備えたことを特徴とする画像検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を検索する画像検索装置に関し、特に、画像検索について、利用者（ユーザ）の利便性を高めることができる画像検索装置を提供することを目的とする。  
なお、本明細書では、２つの画像の類似度が大きい方が２つの画像の特徴量がより近い（２つの画像がより似ている）とする。
【背景技術】
【０００２】
昨今、映像監視システムが大規模化や広域化する中で、監視カメラの数は増大しており、映像を目視でチェックするシステムでは監視担当者の負荷が増大している。また、大量の記録画像から必要な画像を探し出すために、膨大な時間がかかるようになってきている。  
このような問題に鑑み、例えば、センサアラーム等を用いて事象発生と連動した必要な部分のみの画像録画を行う技術や、各種の事象を検索条件として記録画像を検索する技術が開発されている。
【０００３】
このような技術を使用したシステムでは、検出対象となる事象を予め設定しておく必要があり、予め設定されていない事象が発生した場合には、録画がされていないか、或いは、録画がされている場合であっても記録画像を人により目視等でチェックする必要があった。  
これに対して、最近では、予め検出対象となる事象を設定していなくても、キー画像を使用して、記録画像からキー画像に類似する画像を検索する技術が提案されている。これは、キー画像の画像特徴量と記録画像の画像特徴量との類似度を計算して、類似度が大きい記録画像を検索結果としてピックアップするものである。
【０００４】
【特許文献１】特開２００７−０９７０９０号公報
【特許文献２】特開２００３−１５０６３４号公報
【特許文献３】特開２００６−１６３５２７号公報
【特許文献４】特開２００５−００４７２７号公報
【特許文献５】特開２００５−３４６２３３号公報
【特許文献６】特開２００４−３３４３３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば、人物検索等を目的としている画像特徴量を利用した画像検索では、キー画像との類似度は高いが、明らかに別人である画像や、関係のない画像が検索結果として表示される場合がある。  
また、キー画像が正面顔を映したものである場合には、検索結果としては正面顔を映した画像が上位を占め、同一人物であっても斜め顔を映した画像は下位になる傾向がある。逆に、斜め顔を映したものをキー画像として使用した場合には、斜め顔を映した画像が検索結果の上位を占める傾向がある。
【０００６】
このように、キー画像の選択によって検索結果の上位に含まれる画像は変化し、異なったキー画像を使用して複数回検索を行うことにより、検索対象となる人物が映った画像をより多く得ることができる。  
この場合、キー画像との類似度がある程度小さい画像をキー画像として再利用することにより、広い特徴量空間を効率的に検索することができると考えられる。
【０００７】
また、現行の監視カメラ映像の解像度は、６４０×４８０ピクセルのＶＧＡ程度で、映像中で検出できる人物顔の大きさは、最小幅は２０ピクセル程度である。キー画像を利用した顔画像検索では、検索結果を表示画面に表示する場合、全体画像を類似度順に表示し、その後、全体画像の詳細や人物の顔を確認するために、検索結果から選択した画像を拡大表示することが一般的に行われている。しかしながら、拡大表示をおこなっても、幅２０ピクセル程度の顔の解像度では人物の特定が困難であることが多い。
【０００８】
本発明は、このような従来の事情に鑑み為されたもので、画像検索について、利用者（ユーザ）の利便性を高めることができる画像検索装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明では、画像を検索する画像検索装置において、次のような構成とした。
すなわち、検索手段が、画像を検索する。  
表示手段が、所定の表示内容を表示する。この表示内容は、前記検索手段により検索された画像に関する情報を表示する第１表示領域と、前記第１表示領域に表示された画像に関する情報の中から選択されたものに関する情報を表示する第２表示領域を有する。  
受付手段が、前記表示手段により表示された表示内容が有する前記第１表示領域に表示された画像に関する情報の中から１つ以上を選択する指示をユーザから受け付ける。制御手段が、前記受付手段によりユーザから受け付けられた指示に基づいて、前記第１表示領域に表示された画像に関する情報の中から選択されたものに関する情報が前記第２表示領域に表示されるように制御する。
【００１０】
従って、画像の検索結果が第１表示領域に表示され、その検索結果の中からユーザにより選択された画像に関する情報が第２表示領域に表示されることにより、例えば、ユーザは、検索結果の中の一部の画像に関する情報を異なる表示領域（第２表示領域）に持続的に表示させて、次の検索のためのキー画像にする、或いは、時系列順に再生させるなどのように、種々な用途に利用することができる。このように、利用者（ユーザ）の利便性を高めることができる。
【００１１】
ここで、画像としては、種々なものが用いられてもよく、例えば、画像フレームが用いられてもよく、或いは、複数の画像フレームの集合が用いられてもよい。  
また、画像を検索する手法としては、種々なものが用いられてもよく、一例として、キー画像の特徴量との類似度に基づいて、検索対象となる画像群の中から、類似する画像或いは類似しない画像を検索するような手法を用いることができる。
【００１２】
また、第１表示領域や第２表示領域に表示される画像に関する情報としては、種々な情報が用いられてもよく、例えば、画像そのものの情報や、画像を縮小したもの（縮小画像）の情報や、画像の類似度の情報などを用いることができる。  
また、同一の画像について、第１表示領域に表示される画像に関する情報と、第２表示領域に表示される（選択された）その画像に関する情報としては、例えば、同一の情報が用いられてもよく、或いは、異なる情報が用いられてもよい。  
また、第１表示領域と第２表示領域は、１つの画面の表示内容に表示される。なお、１つの画面の表示内容に他の表示領域（つまり、３つ以上の異なる表示領域）が設けられてもよい。
【００１３】
また、ユーザ（人）から指示を受け付ける受付手段としては、種々なものが用いられてもよく、例えば、ユーザにより操作されるキーボードやマウスなどを用いることができる。
また、第１表示領域に表示された（１つ以上の）画像に関する情報の中から１つ以上を選択する仕方としては、種々なものが用いられてもよく、例えば、１つずつ選択する仕方や、或いは、２つ以上をまとめて選択する仕方などを用いることができる。
【００１４】
また、本発明に係る画像検索装置の他の態様は、画像を検索する画像検索装置において、画像を検索する検索手段と、前記検索手段により検索された画像に関する情報を表示する第１表示領域と、前記第１表示領域に表示された画像に関する情報の中から選択されたものに関する情報を表示する第２表示領域を有する表示内容を表示する表示手段と、前記表示手段により表示された表示内容が有する前記第１表示領域に表示された画像に関する情報の中から１つを選択する指示をユーザから受け付ける受付手段と、前記受付手段によりユーザから受け付けられた指示に基づいて、前記選択された画像と、その画像の前後フレームに対応する少なくとも１つの画像とをもとに高解像画像を生成する生成手段と、前記生成手段により生成された高解像画像を前記第２表示領域に表示する制御手段とを備えるものである。
【００１５】
このように構成することで、画像の検索結果が第１表示領域に表示され、その検索結果の中からユーザにより選択された画像の高解像度画像が第２表示領域に表示されるため、例えば、ユーザは、映像監視本来の目的である人物特定や状況の詳細確認を容易に行うことができる。このように、利用者（ユーザ）の利便性を高めることができる。
【発明の効果】
【００１６】
以上説明したように、本発明に係る画像検索装置によると、画像の検索結果が第１表示領域に表示され、その検索結果の中からユーザにより選択された画像に関する情報が第２表示領域に表示されることにより、利用者（ユーザ）の利便性を高めることができる。
【発明を実施するための最良の形態】
【００１７】
本発明に係る実施の形態を図面を参照して説明する。
（第１実施形態）  
図１には、本発明の第１実施形態に係る画像検索装置の構成例を示してある。
本例の画像検索装置は、複数であるｎ個の撮像装置Ａ１〜Ａｎと、画像記録部１と、画像特徴量抽出部２と、画像特徴量記録部３と、画像検索部４と、ユーザインタフェース部５と、これらの処理部Ａ１〜Ａｎ、１〜５を通信可能に接続する回線６を備えている。
【００１８】
各撮像装置Ａ１〜Ａｎは、例えば、監視のためのカメラ等から構成されており、撮影対象となる領域の画像を撮影して、撮影した画像を画像記録部１へ送信する。
画像記録部１は、画像を記録するためのメモリを有しており、各撮像装置Ａ１〜Ａｎにより撮影された画像を受信して、各撮像装置Ａ１〜Ａｎを単位として（つまり、各撮像装置Ａ１〜Ａｎ毎に）、受信した画像を時系列的に記録（記憶）する。
【００１９】
画像特徴量抽出部２は、撮像装置Ａ１〜Ａｎから出力される画像の特徴量を抽出する。
画像特徴量記録部３は、特徴量を記録するためのメモリを有しており、例えば、画像記録部１に記録された画像の特徴量を記録（記憶）する。
ユーザインタフェース部４は、例えば、利用者（ユーザ）により操作されて各種の情報や指示等を受け付けるためのキーボードやマウスなどを備えるとともに、ユーザに対して各種の情報を表示するための画面などを備えており、本例では、検索条件を入力することや、検索結果を表示することを行う。
【００２０】
画像検索部５は、ユーザインタフェース部４により入力された検索条件を基に、画像特徴量記録部３を使用して、画像記録部１に記録された画像の検索処理を行う。
図２には、画像検索部５などにより行われる画像検索処理の流れの一例を示してある。  
（１）ユーザインタフェース部４は、検索範囲やキー画像といった検索条件が例えばユーザから入力されると、それに基づいて、画像検索部５に対して検索要求を発する。
【００２１】
画像検索部５は、検索要求を受け取ると、例えば画像特徴量抽出部２を用いて、検索要求に含まれるキー画像の特徴量を抽出する。
（２）また、画像検索部５は、検索要求に含まれる検索範囲の特徴量を画像特徴量記録部３から読み出すために、画像特徴量記録部３に対して画像特徴量要求を発する。
【００２２】
（３）これに応じて、画像検索部５は、画像特徴量記録部３から画像特徴量要求に対する応答（画像特徴量応答）を受け取る。
（４）必要に応じて、画像検索部５は、２回以上、画像特徴量記録部３に対して画像特徴量要求を発する。
（５）これに応じて、画像検索部５は、画像特徴量記録部３から画像特徴量要求に対する応答（画像特徴量応答）を受け取る。
【００２３】
このような画像特徴量要求及び画像特徴量応答を行うことにより、画像検索部５は、検索範囲に含まれる全ての画像の特徴量を取得する。
（６）画像検索部５は、キー画像の特徴量と画像特徴量記録部３から読み出した各画像の特徴量との類似度を計算する。そして、画像検索部５は、計算した類似度が所定の閾値より大きい特徴量を持つ画像に関するデータを検索結果として、その検索応答をユーザインタフェース部４へ送信する。
【００２４】
（７）ユーザインタフェース部４は、検索応答により通知された検索結果から再生する画像を選択し、選択した画像を画像記録部１から読み出すために、画像記録部１に対して画像要求を発する。
（８）これに応じて、ユーザインタフェース部４は、画像記録部１から画像要求に対する応答（画像応答）を受け取る。
【００２５】
（９）必要に応じて、ユーザインタフェース部４は、２回以上、画像記録部１に対して画像要求を発する。
（１０）これに応じて、ユーザインタフェース部４は、画像記録部１から画像要求に対する応答（画像応答）を受け取る。
このような画像要求及び画像応答を行うことにより、ユーザインタフェース部４は、画像記録部１から画像を読み出す。そして、ユーザインタフェース部４は、読み出した画像を再生して表示する。
【００２６】
図３には、ユーザインタフェース部４による画面表示の一例を示してある。
本例では、ユーザインタフェース部４の画面は、検索範囲入力画面１１と、キー画像指定画面１２と、検索結果表示画面１３と、選択画像表示画面１４と、画像再生画面１５から構成される。
【００２７】
検索範囲入力画面１１では、検索範囲とする撮像装置Ａ１〜Ａｎを同定するカメラＩＤと、検索時刻を入力する。カメラＩＤとしては、複数のカメラＩＤを指定してもよい。本例では、各撮像装置Ａ１〜Ａｎに異なるカメラＩＤが割り当てられており、識別可能となっている。また、検索範囲とする検索時刻としては、本例では、開始時刻と終了時刻が指定される。また、「実行」ボタンが押されると、検索が実行される。
【００２８】
キー画像指定画面１２では、検索を行うキー画像を指定する。キー画像としては、例えば、画像記録部１に記録された画像、或いは、その他の画像ファイルやＷｅｂページなどの画像をコピー及びペーストするなどして使用することができる。
検索結果表示画面１３では、検索結果として得られた画像の縮小画像及び付加情報を表示する。
【００２９】
選択画像表示画面１４では、検索結果表示画面１３に表示された縮小画像をポインティングデバイスによるドラッグ及びドロップの操作等により選択して移動した縮小画像を表示する。
選択画像表示画面１４には、キー画像として登録するための「キー画像登録」ボタンや、並べ替えを行うための「並べ替え」ボタンや、再生を行うための「再生」ボタンが設けられており、各ボタンが押されると各処理が実行される。
【００３０】
例えば、検索結果表示画面１３や選択画像表示画面１４では、ユーザからの指示に応じて、表示されている画像を、所定の順序（例えば、時系列順や類似度順など）に並べ替えて表示する。
画像再生画面１５では、ユーザインタフェース部４における再生処理の起動により、選択された画像群を所定の順序で再生表示する。
【００３１】
図４には、ユーザインタフェース部４の内部の構成例を示してある。
本例では、検索範囲入力部２１と、キー画像指定部２２と、検索要求生成部２３と、検索結果表示部２４と、選択画像表示部２５と、再生画像表示部２６と、インタフェース部から構成される。
【００３２】
図５Ａ、５Ｂ、５Ｃには、ユーザインタフェース部４により行われる処理の手順の一例を示してある。  
図５Ａに示される処理について説明する。  
ユーザインタフェース部４では、検索処理が起動されると（ステップＳ１）、検索範囲入力部２１から検索範囲のカメラＩＤと検索時刻を読み出し（ステップＳ２）、キー画像指定部２２からキー画像の情報を読み出す（ステップＳ３）。  
次に、読み出した情報を基にして、検索要求生成部２３により検索要求を生成し、生成した検索要求を画像検索部４へ送る（ステップＳ４）。ユーザインタフェース部４では、画像検索部４から検索結果を受け取ると（ステップＳ５）、受け取った検索結果に含まれる画像の縮小画像と付加情報を検索結果表示部２４により検索結果表示画面１３に表示する（ステップＳ６）。
【００３３】
ユーザインタフェース部４では、検索結果表示部２４により表示された縮小画像をポインティングデバイスによるドラッグ及びドロップ操作等により選択し、選択した縮小画像とその付加情報を選択画像表示部２５により選択画像表示画面１４に表示する。本例では、一度選択された縮小画像は、解除の操作をするまで保持され、表示され続ける。
【００３４】
図５Ｂに示される処理について説明する。  
ユーザインタフェース部４では、表示された画像の並べ替え要求があった場合には、要求に応じて表示している縮小画像の並べ替えを行う。並べ替えとしては、例えば、時系列順、時系列の逆順、類似度が大きい順、類似度が小さい順などのように、ユーザの利便性を高めることが可能な各種の順序指定を設けてよい。
【００３５】
例えば、選択画像表示部２５は、画像の時系列順の並べ替え要求があった場合には（ステップＳ１１）、選択画像表示画面１４において、撮影時刻が最も古い縮小画像を左端の最も上段に表示し、次に古い縮小画像をその右隣に表示し、以降についても時系列順に右隣に表示していき、そして、上段が一杯になったら次の段の左端に表示し、以降についても同様に、時系列順に右隣に表示を行っていくようにして、画像を並べ替える（ステップＳ１２）。
【００３６】
図５Ｃに示される処理を説明する。  
ユーザインタフェース部４では、画像の再生要求があった場合には（ステップＳ２１）、選択画像表示画面１４において、まず、左端の最も上段の縮小画像を選択し（ステップＳ２２）、選択した縮小画像に対応する画像を選択画像表示部２５から画像記録部１に対して要求する（ステップＳ２３）。
【００３７】
ユーザインタフェース部４では、画像記録部１から応答画像を受信すると（ステップＳ２４）、再生画像表示部２６によりその画像を画像再生画面１５に再生表示する（ステップＳ２５）。
前記の画像の表示が終了すると、全ての選択画像の再生が終了したか否かを判定して（ステップＳ２６）、終了していない場合には、選択画像表示画面１４において前回に選択された縮小画像の右隣の縮小画像（段が変わる場合には、１つ下の段の左端の画像）を選択し（ステップＳ２２）、上記と同様な処理を行う（ステップＳ２３〜ステップＳ２６）。
【００３８】
このように、選択画像表示画面１４において、まずは左から右へ向かって縮小画像の選択をしていき、上段の再生処理が終了すると、次の段の処理へ移っていく。そして、選択画像表示画面１４に表示された全ての縮小画像に対応する画像の表示が終了すると（ステップＳ２６）、画像の再生処理を終了する。
【００３９】
図６には、画像の時系列再生表示の様子の一例を示してある。  
具体的には、図６（ａ）にはユーザインタフェース部４の選択画像表示画面１４の様子を示してあり、図６（ｂ）にはユーザインタフェース部４の内部の様子を示してあり、図６（ｃ）には画像記録部１からの読み出し画像群を示してあり、図６（ｄ）にはユーザインタフェース部４の画像再生画面１５での画像再生の順番を示してある。  
本例では、選択画像表示画面１４において、縮小画像が時系列順に並べ替えられているとする。
【００４０】
図６（ｂ）に示されるように、ユーザインタフェース部４では、当該ユーザインタフェース部４の内部に保持されている選択画像表示画面１４の縮小画像に対応する画像のカメラＩＤ、時刻、時間長、画像記録場所のデータを使用して、図６（ｃ）に示されるように、画像記録部１から、カメラＩＤと時刻に対応する画像フレームを開始フレームとする連続する画像フレームを時間長分読み出す。  
なお、本例では、画像記録部１に記録される画像は、カメラＩＤと時刻により該当するフレームを特定することが可能な形式で保存されている。
【００４１】
図６（ｄ）に示されるように、ユーザインタフェース部４では、画像再生画面１５に、開始フレームから時間長分だけ連続する画像フレームを、開始フレームから順次再生表示する。このとき、１つの縮小画像に対応する画像の再生表示が終了したら、次の縮小画像について同様な再生表示処理を行う。  
このように動作することで、検索結果から選択された画像を時系列順に再生表示することができる。
【００４２】
図７には、画像検索部５により行われる処理の手順の一例を示してある。  
画像検索部５は、ユーザインタフェース部４から検索要求を受け取ると（ステップＳ３１）、検索要求に含まれるキー画像の特徴量を抽出する（ステップＳ３２）。  
また、画像検索部５は、検索要求に含まれる検索範囲のカメラＩＤ及び時刻に対応する画像の特徴量を画像特徴量記録部３から読み出して、キー画像の特徴量との類似度を計算する（ステップＳ３３）。
【００４３】
そして、画像検索部５は、計算した類似度が所定の閾値Ｔｈより大きい場合（他の例として、所定の閾値Ｔｈ以上である場合としてもよい）には（ステップＳ３４）、それについて、読み出した特徴量に対応する画像に関するデータ（例えば、その画像のデータや、計算した類似度のデータ）をメモリに保存する（ステップＳ３５）。  
画像検索部５は、検索範囲の全ての特徴量について読み出し等の処理が終了したか否かを判定して（ステップＳ３６）、終了していない場合には、上記と同様な処理を行う（ステップＳ３３〜ステップＳ３６）。  
一方、検索範囲の全ての特徴量について読み出し等の処理が終了した場合には、画像検索部５は、保存している画像に関するデータ（例えば、画像のデータや、類似度のデータ）をユーザインタフェース部４へ応答する（ステップＳ３７）。
【００４４】
ここで、画像記録部１は、監視カメラにより得られた映像をネットワーク経由で記録するネットワークデジタルレコーダー等の画像記録装置に相当するものである。一般的に、映像監視システムの画像記録装置から画像を読み出す場合には、画像記録装置に対してカメラ番号（本例では、カメラＩＤ）と時刻情報を指定して該当する画像を読み出すことが行われる。
【００４５】
また、本例では、画像特徴量抽出部２は、監視カメラ等の撮像装置Ａ１〜Ａｎにより撮影された時系列的に連続した画像フレームから代表フレームを選択し、代表フレームの特徴量を抽出する。  
なお、画像特徴量抽出部２へ供給する画像フレーム（特徴量を抽出する対象となる画像）としては、例えば、画像記録部１から供給されてもよく、或いは、カメラ等の撮像装置Ａ１〜Ａｎから直接的に供給されてもよい。
【００４６】
また、代表フレームの選択方法としては、種々な方法が用いられてもよく、例えば、一定時間毎に代表フレームを選択する方法や、或いは、画像に変化があった場合における画像フレームを代表フレームとして選択する方法や、或いは、センサアラーム等のような外部からの通知に同期して代表フレームを選択する方法などを用いることができる。  
一例として、画像に変化があった場合に代表フレームを選択する方法では、画像フレーム毎に色合いや形状等の変化を監視し、その変化により連続する画像フレームを意味のある単位に分割し、その単位での代表的なフレームを選択する。特徴量としては、例えば、色合いや形状等のように画像の特徴を示す多次元ベクトルなどが使用される。  
画像特徴量抽出部２は、抽出した特徴量を画像特徴量記録部３に保存する。
【００４７】
図８（ａ）には、画像特徴量記録部３における特徴量のデータ形式の一例を示してある。  
本例の画像特徴量記録部３に記録される特徴量のデータは、カメラＩＤ、時刻、時間長、画像特徴量、縮小画像データ、画像記録場所といった情報から構成される。
【００４８】
カメラＩＤは、画像を撮影した撮像装置Ａ１〜Ａｎを同定する識別子（ＩＤ）である。  
時刻は、代表フレームが代表する連続した画像フレームの開始フレームの時刻を表し、また、時間長は、その後に続く連続した画像フレームの時間長を表す。  
画像特徴量は、代表フレームの画像特徴量である。  
縮小画像データは、代表フレームの縮小画像のデータである。  
画像記録場所は、画像記録部１の場所を同定するものであり、例えば、画像記録部１のＩＰアドレスなどが用いられる。  
なお、縮小画像データは、代表フレームの選択時に、画像特徴量抽出部２により元となる画像フレームから生成する。
【００４９】
図８（ｂ）には、画像検索部５における検索結果のデータ形式の一例を示してある。  
本例の画像検索部５により得られる検索結果のデータは、カメラＩＤ、時刻、時間長、類似度、縮小画像データ、画像記録場所といった情報から構成される。  
ここで、類似度を除く各情報の内容については、図８（ａ）に示される特徴量のデータの場合と同様である。
【００５０】
類似度は、画像検索部５においてキー画像との特徴量の距離を計算して得られる。  
一例として、画像特徴量記憶部３に保存されているｉ番目の特徴量（ｉ番目の画像の特徴量）とキー画像の特徴量との距離Ｚｉは、画像特徴量記憶部３に保存されているｉ番目の特徴量をＸｉ＝（ｘｉ１，ｘｉ２，・・・，ｘｉｍ）とし、キー画像の特徴量をＹ＝（ｙ１，ｙ２，・・・，ｙｍ）とし、特徴量の要素毎の重要度を表す重み付け係数をＷ＝（ｗ１，ｗ２，・・・，ｗｍ）とすると、（式１）で定義することができる。  
なお、この例では、画像の特徴を表す要素として複数であるｍ個の要素が設けられており、各要素毎の特徴量がｘｉｊやｙｊ（ｊ＝１〜ｍ）で表されている。
【００５１】
【数１】
2009123196.tif 000003
ここで、距離Ｚｉは、値が小さいほど２つの画像が似ていることを示すため、Ｚｉの値が小さいほど類似度は大きいことになる。  
他の一例として、類似度として、前記した特徴量に基づく距離Ｚｉから適当な変換を行って得られる数字を使用することもできる。  
例えば、距離を正規化することで０≦Ｚｉ≦１として、｛類似度＝（１−Ｚｉ）×１０００｝とすることができ、この場合、類似度を１０００〜０の数値で表現することができる。
【００５２】
図９（ａ）、（ｂ）には、ユーザインタフェース部４における検索結果の表示の例を示してある。  
ユーザインタフェース部４は、画像検索部５から検索結果を受信すると、検索結果に含まれる縮小画像と類似度を検索結果表示画面１３に表示する。  
また、本例では、縮小画像と類似度の情報は、選択画像表示画面１４においても、同様に表示される。
【００５３】
ここで、類似度の表示の方法としては、種々な方法が用いられてもよい。  
図９（ａ）には、１０００〜０などの数値で類似度を表現して表示した場合の一例を示してあり、各縮小画像の下に各縮小画像の類似度が示されている。  
図９（ｂ）には、色の濃淡で類似度を表現して表示した場合の一例を示してあり、各縮小画像の濃淡が類似度に応じて制御されている。本例では、類似度が大きいほど濃い色とし、類似度が小さいほど淡い色としてある。  
このような表示を行うことで、ユーザにとって類似度の大小を分かり易く提示することができるとともに、検索結果の画像をキー画像として利用する場合の利便性を高めることもできる。
【００５４】
なお、画像検索装置において使用する画像の特徴量としては、必ずしも画像フレーム全体の特徴量に限定されず、例えば、システムの目的などに応じて、顔を検出した顔領域或いはオブジェクトを検出したオブジェクト領域などのように画像フレーム中の一部の領域の特徴量を使用してよい。
【００５５】
また、画像検索装置における各手段（各機能）は、必ずしも各々独立したハードウエアで実現されなくてもよく、例えば、１つのハードウエアで複数の手段を実現してもよい。
以上のように、第１実施形態では、検索条件に合致した画像を検索する画像検索装置において、撮像装置Ａ１〜Ａｎ単位に画像を時系列記録する画像記録部１と、撮像装置Ａ１〜Ａｎから出力される画像の特徴量を抽出する画像特徴量抽出部２と、画像記録部１に記録された画像の特徴量を記録する画像特徴量記録部３と、検索条件を入力することや検索結果を表示することを行うユーザインタフェース部４と、入力された検索条件に基づいて画像の特徴量を使用して画像記録部１に対する検索処理を行う画像検索部５を有している。そして、ユーザインタフェース部４は、第１の表示領域（検索結果表示画面１３）に検索結果を表示し、第２の表示領域（選択画像表示画面１４）に第１の表示領域に表示された検索結果から選択されたものを表示し、第２の表示領域に表示された検索結果について時系列順に再生表示する。  
また、第１実施形態の画像検索装置では、ユーザインタフェース部４は、検索結果に類似度などの情報を付加して表示領域に表示する。  
また、第１実施形態の画像検索装置では、類似度の情報として、例えば、数字或いは色の情報を用いた表示を行う。
【００５６】
このように、第１実施形態の画像検索装置では、画像特徴量を使用した画像検索において、検索結果を示す第１の表示領域（検索結果表示画面１３）と、そこからユーザが選んだ画像を（持続的に）表示する第２の表示領域（選択画像表示画面１４）を備えている。また、第２の表示領域に示される画像に時刻や類似度の情報を付加して表示することや、それらをキーにしてソートすることや、ソートされた順で再生することができる。
【００５７】
従って、第１実施形態の画像検索装置では、例えば、映像監視システムにおいて、人物や物体等の画像特徴量を利用して画像検索を行うに際して、利便性の高いユーザインタフェースを提供することができる。  
具体的には、ユーザインタフェース部４において選択画像を表示する第２の表示領域（選択画像表示画面１４）を設けることにより、必要のない画像が混ざった検索結果から必要とする画像（のみ）を選択して保持させることができる。更に、選択された画像群を時系列的に再生することにより、特定の人物等の移動経路や行動の分析を容易とすることができる。また、検索結果に類似度の情報を付加して表示することにより、ユーザにとって類似度の大小を分かり易く提示することができるとともに、検索結果の画像をキー画像として利用する場合の利便性を高めることができる。
【００５８】
なお、第１の実施形態の画像検索装置では、画像検索部５が画像を検索する機能により検索手段が構成されており、ユーザインタフェース部４が図３に示される検索結果表示画面１３（第１表示領域）と選択画像表示画面１４（第２表示領域）を有する表示内容を画面に表示する機能により表示手段が構成されており、ユーザインタフェース部４がユーザから検索結果の中の１つ以上の選択指示を受け付ける機能により受付手段が構成されており、例えばユーザインタフェース部４が検索結果表示画面１３（第１表示領域）の中からユーザにより選択された情報が選択画像表示画面１４（第２表示領域）に表示されるように制御する機能により制御手段が構成されている。
【００５９】
（第２実施形態）  
次に本発明の第２実施形態に係る画像検索装置について説明する。  
図１０は本発明の第２実施形態に係る画像検索装置の構成図である。この第２実施形態に係る画像検索装置は、上記第１実施形態の図１に示した構成に、さらに高解像画像生成部７を追加したものである。その他の構成は第１実施形態と同じであるので、上記図１と同一部分には同一符号を付し、詳しい説明は省略する。
【００６０】
高解像画像生成部７は、ユーザから詳細表示要求を受けた場合に、画像記録部１に記録された複数の画像を用いて高解像画像を生成する。
図１１Ａ及び図１１Ｂは、この画像検索装置の動作を示すシーケンス図である。なお、図１１Ａは、選択画像の前後フレームを用いて高解像画像を生成する場合の動作を示し、図１１Ｂは、選択画像との類似度が高いフレームを用いて高解像画像を生成する場合の動作を示している。また、図１１Ａ及び図１１Ｂにおいて、上段は画像検索処理を示し、下段は、詳細表示要求処理を示す。
【００６１】
まず、図１１Ａ及び図１１Ｂに示される画像検索処理について説明する。
（１）ユーザインタフェース部４は、検索範囲やキー画像といった検索条件が例えばユーザから入力されると、画像検索部５に対して検索要求を発する。
画像検索部５は、検索要求を受け取ると、例えば画像特徴量抽出部２を用いて、検索要求に含まれるキー画像の特徴量を抽出する。
【００６２】
（２）また、画像検索部５は、検索要求に含まれる検索範囲の特徴量を画像特徴量記録部３から読み出すために、画像特徴量記録部３に対して画像特徴量要求を発する。
（３）これに応じて、画像検索部５は、画像特徴量記録部３から画像特徴量要求に対する応答（画像特徴量応答）を受け取る。
【００６３】
（４）必要に応じて、画像検索部５は、２回以上、画像特徴量記録部３に対して画像特徴量要求を発する。
（５）これに応じて、画像検索部５は、画像特徴量記録部３から画像特徴量要求に対する応答（画像特徴量応答）を受け取る。
このような画像特徴量要求及び画像特徴量応答を行うことにより、画像検索部５は、検索範囲に含まれる全ての画像の特徴量を取得する。
【００６４】
（６）画像検索部５は、キー画像の特徴量と画像特徴量記録部３から読み出した各画像の特徴量との類似度を計算する。そして、画像検索部５は、計算した類似度が所定の閾値より大きい特徴量を持つ画像に関するデータを検索結果として、その検索応答をユーザインタフェース部４へ送信する。
【００６５】
ここで、ユーザインタフェース部４に表示される画面構成について説明する。図１２はユーザインタフェース部４による画面表示の一例である。ユーザインタフェース部４の画面は、検索範囲入力画面１１と、キー画像指定画面１２と、検索結果表示画面１３と、選択画像表示画面１４と、画像再生画面１５と、詳細画像表示画面１６から構成される。
【００６６】
検索範囲入力画面１１では、検索範囲の撮像装置Ａ１〜Ａｎを同定するカメラＩＤと検索時刻を入力する。カメラＩＤとしては、複数のカメラＩＤを指定してもよい。本例では、各撮像装置Ａ１〜Ａｎに異なるカメラＩＤが割り当てられており、識別可能となっている。また、検索範囲とする検索時刻としては、本例では、開始時刻と終了時刻が指定される。また、「実行」ボタンが押されると、検索が実行される。
【００６７】
キー画像指定画面１２では、検索を行うキー画像を指定する。キー画像としては、例えば、画像記録部１に記録された画像、或いは、その他の画像ファイルやＷｅｂページなどの画像をコピー及びペーストするなどして使用することができる。
検索結果表示画面１３は、検索結果として得られた画像の縮小画像と付加情報を表示する。
【００６８】
画像再生画面１５は、ユーザインタフェース部４における再生処理の起動により、選択された画像群を所定の順序で再生表示する。
選択画像表示画面１４には、検索結果表示画面１３に表示された縮小画像のうちポインティングデバイス等の操作によりユーザに選択された画像が表示される。また、選択画像表示画面１４には、「詳細表示」ボタンが設けられ、選択画像表示画面１４に表示された画像を高解像度化して表示するなど選択された画像の詳細を確認する場合に使用される。
【００６９】
詳細画像表示画面１６は、「詳細表示」ボタンが押下された場合に、選択画像表示画面１４に表示された画像の詳細画像を表示する。詳細画像表示画面１６には、詳細表示の各種表示モードを指定する「設定」ボタンが設けられる。
次に、図１１Ａに示される詳細表示要求処理について説明する。
【００７０】
（７ａ）ユーザインタフェース部４は、選択画像表示画面１４において「詳細表示」ボタンが押下されると、高解像画像生成部７に対して詳細表示要求を発する。
（８ａ）高解像画像生成部７は、画像記録部１に対して選択画像表示画面１４に表示された画像を取得するための画像要求を発する。
【００７１】
（９ａ）これに応じて、高解像画像生成部７は、画像記録部１から画像要求に対する応答（画像応答）を受け取る。
（１０ａ）高解像画像生成部７は、選択画像表示画面１４に表示された画像の前後のフレームの画像を取得するために、画像記録部１に対して２回以上画像要求を発する。
【００７２】
（１１ａ）これに応じて、高解像画像生成部７は、画像記録部１から画像要求に対する応答（画像応答）を受け取る。
（１２ａ）高解像画像生成部７は、上記受け取った複数の画像をもとに高解像度画像を生成し、生成した高解像度画像を含む詳細表示要求に対する応答（高解像画像応答）をユーザインタフェース部４に送る。  
そして、ユーザインタフェース部４は、高解像画像生成部７から受け取った高解像画像を詳細画像表示画面１６に表示する。
【００７３】
次に、図１１Ｂに示される詳細表示要求処理について説明する。  
（７ｂ）ユーザインタフェース部４は、選択画像表示画面１４において「詳細表示」ボタンが押下されると、高解像画像生成部７に対して詳細表示要求を発する。
（８ｂ）高解像画像生成部７は、選択画像表示画面１４に表示されている画像をキー画像とする検索要求を画像検索部５に対して発する。
【００７４】
画像検索部５は、検索要求を受取ると、例えば画像特徴量抽出部２を用いて、検索要求に含まれるキー画像の特徴量を抽出する。
（９ｂ）画像検索部５は、検索要求に含まれるキー画像の特徴量を画像特徴量記録部３から読み出すために、画像特徴量記録部３に対して画像特徴量要求を発する。
【００７５】
（１０ｂ）これに応じて、画像検索部５は、画像特徴量記録部３から画像特徴量要求に対する応答（画像特徴量応答）を受け取る。
（１１ｂ）必要に応じて、画像検索部５は、２回以上、画像特徴量記録部３に対して画像特徴量要求を発する。
（１２ｂ）これに応じて、画像検索部５は、画像特徴量記録部３から画像特徴量要求に対する応答（画像特徴量応答）を受け取る。
【００７６】
このような画像特徴量要求及び画像特徴量応答を行うことにより、画像検索部５は、検索範囲に含まれる全ての画像の特徴量を取得する。
（１３ｂ）画像検索部５は、キー画像の特徴量と画像特徴量記録部３から読み出した各画像の特徴量との類似度を計算する。そして、画像検索部５は、計算した類似度が所定の閾値より大きい特徴量を持つ画像に関するデータを検索結果として、その検索応答を高解像画像生成部７へ送信する。
【００７７】
（１４ｂ）高解像画像生成部７は、画像記録部１に対して選択画像表示画面１４に表示された画像を取得するための画像要求を発する。
（１５ｂ）これに応じて、高解像画像生成部７は、画像記録部１から画像要求に対する応答（画像応答）を受け取る。
【００７８】
（１６ｂ）高解像画像生成部７は、上記検索結果をもとに選択画像表示画面１４に表示された画像との類似度の高い画像を取得するために、画像記録部１に対して２回以上画像要求を発する。
（１７ｂ）これに応じて、高解像画像生成部７は、画像記録部１から画像要求に対する応答（画像応答）を受け取る。
【００７９】
（１８ｂ）高解像画像生成部７は、上記受け取った複数の画像をもとに高解像度画像を生成し、生成した高解像度画像を含む詳細表示要求に対する応答（高解像画像応答）をユーザインタフェース部４に送る。  
そして、ユーザインタフェース部４は、高解像画像生成部７から受け取った高解像画像を詳細画像表示画面１６に表示する。
【００８０】
図１３Ａ及び１３Ｂは、詳細表示要求処理の手順の一例を示したものである。  
図１３Ａ及び１３Ｂの処理に先立ち、上記第１の実施形態の図５Ａに示した手順と同様に、画像検索処理を行う。すなわち、ユーザインタフェース部４は、検索処理が起動されると検索範囲入力画面１１のカメラＩＤと検索時刻を読み出し、キー画像指定画面１２のキー画像を読み出す。上記読み出した情報をもとに検索要求を生成し、生成した検索要求を画像検索部５に送る。ユーザインタフェース部４は、画像検索部５から検索結果を受取ると、その検索結果に含まれる画像の縮小画像と付加情報を検索結果表示画面１３に表示する。  
ユーザインタフェース部４は、検索結果表示画面１３で表示された縮小画像をポインティングデバイスの操作等により選択し、選択した画像を選択画像表示画面１４に表示する。
【００８１】
図１３Ａは、選択画像の前後のフレームを使用して高解像画像を生成する手順を示すフローチャートである。  
高解像画像生成部７は、ユーザインタフェース部４より詳細表示要求があると（ステップＳ４１）、選択画像とその画像の前後フレームに対応する画像を画像記録部１から読み出し（ステップＳ４２）、読み出した選択画像とその画像の前後フレームに対応する画像とをもとに高解像画像を生成する（ステップＳ４３）。複数フレームの画像から高解像画像を生成する方法は、例えば、“複数のデジタル画像データによる超解像処理、Ricoh Technical Report No.24, NOVEMBER, 1998”、あるいは“超解像ソリューション、NEC技報Vol.60 No.2/2007”などの文献に記載されている。そして、高解像画像生成部７は、上記生成した高解像画像をユーザインタフェース部４に送る（ステップＳ４４）。
【００８２】
図１３Ｂは、選択画像との類似度が高い画像フレームを使用して高解像画像を生成する手順を示すフローチャートである。  
高解像画像生成部７は、ユーザインタフェース部４より詳細表示要求があると（ステップＳ５１）、選択画像をキー画像として画像検索５に検索要求する（ステップＳ５２）。高解像画像生成部７は、画像検索部５より検索応答を受け取ると、検索結果の画像から類似度の高い順に１又は複数フレームを選択する（ステップＳ５３）。高解像画像生成部７は、選択画像及び上記１又は複数フレームの画像を画像記録部１から読み出し（ステップＳ５４）、選択画像及び上記１又は複数フレームの画像データから高解像度画像を生成する（ステップＳ５５）。複数フレームの画像から高解像画像を生成する手法は、上記と同様である。高解像画像生成部７は、生成した高解像画像をユーザインタフェース部４に送る（ステップＳ５６）。
【００８３】
複数フレームの画像から高解像画像を生成する場合、各フレーム画像のずれ量が小さいことが望ましいが、前後のフレームの画像であってもずれ量が大きく、高解像画像の生成に適さない場合がある。図１３Ｂの例では、記録画像全体から選択画像に最も類似度の高い画像を検索して使用するため、高解像画像の生成に有効となる。
【００８４】
図１４Ａは、選択画像の前後のフレームを使用して高解像画像を生成する手順におけるデータの流れを模式的に表した図である。  
具体的には、図１４Ａ（ａ）にはユーザインタフェース部４の選択画像表示画面１４の様子を示してあり、図１４Ａ（ｂ）にはユーザインタフェース部４の内部の様子を示してあり、図１４Ａ（ｃ）には高解像画像生成部７の処理手順を示してあり、図１４Ａ（ｄ）には画像記録部１からの読み出し画像群を示してある。
【００８５】
選択画像の前後のフレームを使用して高解像画像を生成する場合には、図１４Ａ（ｂ）に示されるように、ユーザインタフェース部４では、当該ユーザインタフェース部４の内部に保持されている選択画像表示画面１４に表示された画像のカメラＩＤ、時刻、及び画像記録場所のデータを高解像画像生成部７に供給する。そうすると、高解像画像生成部７は、図１４Ａ（ｄ）に示されるように、画像記録部１から、カメラＩＤと時刻に対応する画像フレームとその前後の画像フレームを読み出す。なお、本例では、画像記録部１に記録される画像は、カメラＩＤと時刻により該当するフレームを特定することが可能な形式で保存されているものとする。図１４Ａ（ｃ）に示されるように、高解像度画像生成部７は、上記読み出された選択画像とその画像の前後フレームに対応する画像とをもとに高解像画像を生成し、ユーザインタフェース部４に送る。
【００８６】
一方、図１４Ｂは、選択画像との類似度が高い画像フレームを使用して高解像画像を生成する手順におけるデータの流れを模式的に表した図である。  
具体的には、図１４Ｂ（ａ）にはユーザインタフェース部４の選択画像表示画面１４の様子を示してあり、図１４Ｂ（ｂ）にはユーザインタフェース部４の内部の様子を示してあり、図１４Ｂ（ｃ）には高解像画像生成部７の処理手順を示してあり、図１４Ｂ（ｄ）には画像検索部５が示してあり、図１４Ｂ（ｅ）には画像記録部１からの読み出し画像群を示してある。
【００８７】
図１４Ｂ（ｂ）に示されるように、ユーザインタフェース部４では、当該ユーザインタフェース部４の内部に保持されている選択画像表示画面１４に表示された画像のカメラＩＤ、時刻、画像記録場所、及び特徴量のデータを高解像画像生成部７に供給する。そうすると、高解像画像生成部７は、画像検索部５により選択画像と類似度の高い画像を検索する。画像検索部５は、図１４Ｂ（ｃ）に示されるように、例えば、選択画像と類似度の大きい画像から順に、カメラＩＤ、時刻、画像記録場所、類似度を表した検索結果を高解像画像生成部７に供給する。
【００８８】
高解像画像生成部７は、図１４Ｂ（ｅ）に示されるように、例えば選択画像とこの選択画像との類似度の高い２画像を、それぞれ対応するカメラＩＤ、時刻、及び画像記録場所のデータを用いて画像記録部１から読み出す。図１４Ｂ（ｃ）に示されるように、高解像度画像生成部７は、上記読み出された選択画像とこの選択画像と類似度の高い画像をもとに高解像画像を生成し、ユーザインタフェース部４に送る。
【００８９】
上記図１４Ａ及び図１４Ｂのように動作することで、検索結果から選択された画像が鮮明化して表示されるため、映像監視本来の目的である人物特定や状況の詳細確認を容易とすることができる。
図１５（ａ）は、特徴量記憶部３における特徴量のデータ形式の一例を示す。第２の実施形態の画像特徴量記録部３に記録される特徴量のデータは、カメラＩＤ、時刻、画像記録場所、画像特徴量、縮小画像データといった情報から構成される。
【００９０】
カメラＩＤは、画像を撮影した撮像装置を同定する識別子（ＩＤ）である。
時刻は、画像フレーム撮影時刻等を表す。画像記録場所は、画像記録部１の場所を同定するもので、画像記録部１のＩＰアドレスなどである。
画像特徴量は、画像フレームの画像特徴量である。
【００９１】
縮小画像データは、画像フレームの縮小画像のデータである。なお、縮小画像データは、特徴量抽出部２で元となる画像フレームから生成する。
図１５（ｂ）は、画像検索部５における検索結果のデータ形式の一例を示す。第２の実施形態の画像検索部５により得られる検索結果のデータは、カメラＩＤ、時刻、画像記録場所、類似度、縮小画像データといった情報から構成される。ここで、類似度を除く各情報の内容については、図１５（ａ）の特徴量のデータの場合と同様である。
【００９２】
類似度は、上記第１の実施形態と同様に、画像検索部５においてキー画像との特徴量の距離を計算して得られる。
図１６は、撮像装置から出力される画像に顔等のオブジェクトが検出された場合に、撮像装置から取得する画像の記録フレームレートを上げる手順を示す。
【００９３】
特徴量抽出部２において顔等のオブジェクトが検出された場合（ステップＳ６１）、オブジェクト検出イベントを画像記録部１に通知する（ステップＳ６２）。画像記録部１は、撮像装置Ａ１〜Ａｎからの画像取得フレームレートを上げる（ステップＳ６３）。一定区間のフレームを取得した後（ステップＳ６４）、画像記録部１は、撮像装置Ａ１〜Ａｎからの画像取得フレームレートを元に戻す（ステップＳ６５）。このようにすることで、画像のズレ量の少ない複数フレームの画像を記録保存することができるので、高解像画像の生成に有効となる。
【００９４】
ところで、動画像を構成する各フレーム画像がぼけていても動画再生してみると、再生を止めて見た場合よりも画像が鮮明に見える錯視現象としてＭＳ（Motion  Sharpening）が知られている。このことを利用して、画像検索装置は、複数画像を連続的に再生表示することで画像を鮮明化して表示してもよい。
【００９５】
図１７（ａ）は、選択画像であるＮ番目の画像フレームと、選択画像の１フレーム前のＮ−１番目の画像フレームと選択画像の１フレーム後のＮ＋１番目のフレームを表している。これらの画像群をＮ−１→Ｎ→Ｎ＋１→Ｎ→Ｎ−１と連続的に再生することで、画像を鮮明化して表示してもよい。
【００９６】
図１７（ｂ）は、選択画像である類似度１０００の画像フレームと選択画像との類似度が高い類似度９９９の画像と類似度９９８の画像を表している。これらの画像群を類似度１０００→９９９→９９８→９９９→１０００と連続的に再生することで、画像を鮮明化して表示してもよい。
【００９７】
連続的再生表示に使用する画像は、上記高解像画像生成部７にて、前記高解像画像を生成する場合と同様の方法にて取得され、ユーザインタフェース部４に供給される。ユーザインタフェース部４は、供給された複数の画像群を予め定められた間隔、たとえば、１／３０秒毎に表示する。また、表示する順番については、上記の他、Ｎ−１→Ｎ→Ｎ＋１→Ｎ−１→Ｎ→Ｎ＋１など各種設定可能としてもよい。
【００９８】
高解像画像の表示や連続再生表示、連続再生表示時の使用画像、表示間隔、表示順序などは、ユーザインタフェース部４の設定ボタンから設定するなどして設定可能とする。
連続再生による画像の鮮明化では、複数の画像から一枚の高解像画像を生成する場合に比較して、画像処理が不要になるため、開発工数が少なく、また低コストなハードウエアで画像検索装置を実現することができる。
【００９９】
なお、上記第２実施形態で鮮明化して表示する画像は、画像フレーム全体に限定する必要はなく、システムの目的に応じて、顔検出した顔領域や、オブジェクト検出したオブジェクト領域といった画像フレームの一部領域でもよい。また、鮮明化に使用する画像は、前後１フレーム等に限定されることなく、前後２フレーム、後２フレームのように各種設定可能とすることができる。  
また、上記画像検索装置における各部（各機能）は各々独立したハードウエアで実現されなくてもよく、１つのハードウエアで複数の部を実現してもよい。
【０１００】
以上述べたように、上記第２の実施形態では、検索条件に合致した画像を検索する画像検索装置において、撮像装置Ａ１〜Ａｎ単位に画像を時系列記録する画像記録部１と、撮像装置Ａ１〜Ａｎから出力される画像の特徴量を抽出する画像特徴量抽出部２と、画像記録部１に記録された画像の特徴量を記録する画像特徴量記録部３と、検索条件を入力することや検索結果を表示することを行うユーザインタフェース部４と、入力された検索条件に基づいて画像の特徴量を使用して画像記録部１に対する検索処理を行う画像検索部５と、高解像度画像を生成する高解像度生成部７とを有している。そして、ユーザインタフェース部４は、第１の表示領域（検索結果表示画面１３）に検索結果を表示し、第１表示領域に表示された検索結果から１つを選択する指示をユーザから受け付ける。高解像度生成部７は、ユーザインタフェース部４によりユーザから受け付けられた指示に基づいて、上記選択された画像と、その画像の前後フレームに対応する少なくとも１つの画像とをもとに高解像画像を生成する。ユーザインタフェース部４は、生成された高解像画像を第２表示領域（詳細画像表示画面１６）に表示する。
【０１０１】
また、第２の実施形態の画像検索装置では、高解像度生成部７は、ユーザインタフェース部４によりユーザから受け付けられた指示に基づいて、上記選択された画像と、その画像との類似度が閾値を超える少なくとも１つの画像とをもとに高解像画像を生成する。
【０１０２】
また、第２の実施形態の画像検索装置では、ユーザインタフェース部４は、ユーザから受け付けられた指示に基づいて、上記選択された画像と、その画像の前後フレームに対応する少なくとも１つの画像とを連続的に再生する。
また、第２の実施形態の画像検索装置では、ユーザインタフェース部４は、ユーザから受け付けられた指示に基づいて、上記選択された画像と、その画像との類似度が閾値を超える少なくとも１つの画像とを連続的に再生する。
【０１０３】
したがって、第２の実施形態の画像検索装置では、例えば、映像監視システムにおいて、人物や物体等の画像特徴量を利用して画像検索を行うに際して、利便性の高いユーザインタフェースを提供することができる。すなわち、ユーザインタフェース部４において詳細画像表示画面１６を設け、検索結果の画像を鮮明化して表示することにより、映像監視本来の目的である人物の特定や状況の詳細確認を容易とすることができる。
【０１０４】
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
【０１０５】
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
【０１０６】
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【０１０７】
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【０１０８】
【図１】本発明の第１実施形態に係る画像検索装置の構成例を示す図である。
【図２】画像検索処理のシーケンスの一例を示す図である。
【図３】ユーザインタフェース部による画面表示の一例を示す図である。
【図４】ユーザインタフェース部の内部構成の一例を示す図である。
【図５Ａ】ユーザインタフェース部により行われる処理の手順の例を示す図である。
【図５Ｂ】ユーザインタフェース部により行われる処理の手順の例を示す図である。
【図５Ｃ】ユーザインタフェース部により行われる処理の手順の例を示す図である。
【図６】画像の時系列再生表示の様子の一例を示す図である。
【図７】画像検索部により行われる処理の手順の一例を示す図である。
【図８】（ａ）は画像特徴量記録部における特徴量のデータ形式の一例を示す図であり、（ｂ）は画像検索部における検索結果のデータ形式の一例を示す図である。
【図９】（ａ）、（ｂ）はユーザインタフェース部における検索結果の表示の例を示す図である。
【図１０】本発明の第２実施形態に係る画像検索装置の構成例を示す図である。
【図１１Ａ】画像検索処理のシーケンスの一例を示す図である。
【図１１Ｂ】画像検索処理のシーケンスの一例を示す図である。
【図１２】ユーザインタフェース部による画面表示の一例を示す図である。
【図１３Ａ】ユーザインタフェース部により行われる処理の手順の例を示す図である。
【図１３Ｂ】ユーザインタフェース部により行われる処理の手順の例を示す図である。
【図１４Ａ】画像の時系列再生表示の様子の一例を示す図である。
【図１４Ｂ】画像の時系列再生表示の様子の一例を示す図である。
【図１５】（ａ）は画像特徴量記録部における特徴量のデータ形式の一例を示す図であり、（ｂ）は画像検索部における検索結果のデータ形式の一例を示す図である。
【図１６】画像検索部により行われる処理の手順の一例を示す図である。
【図１７】（ａ）、（ｂ）はユーザインタフェース部における検索結果の表示の例を示す図である。
【符号の説明】
【０１０９】
Ａ１〜Ａｎ・・撮像装置、  １・・画像記録部、  ２・・画像特徴量抽出部、  ３・・画像特徴量記録部、  ４・・ユーザインタフェース部、  ５・・画像検索部、  ６・・回線、  １１・・検索範囲入力画面、  １２・・キー画像指定画面、  １３・・検索結果表示画面、  １４・・選択画像表示画面、  １５・・画像再生画面、  ２１・・検索範囲入力部、  ２２・・キー画像指定部、  ２３・・検索要求生成部、  ２４・・検索結果表示部、  ２５・・選択画像表示部、  ２６・・再生映像表示部、  ７・・高解像画像生成部、  １６・・詳細画像表示画面。
【図１】
2009123196.tif 000004
【図２】
2009123196.tif 000005
【図３】
2009123196.tif 000006
【図４】
2009123196.tif 000007
【図５Ａ】
2009123196.tif 000008
【図５Ｂ】
2009123196.tif 000009
【図５Ｃ】
2009123196.tif 000010
【図６】
2009123196.tif 000011
【図７】
2009123196.tif 000012
【図８】
2009123196.tif 000013
【図９】
2009123196.tif 000014
【図１０】
2009123196.tif 000015
【図１１Ａ】
2009123196.tif 000016
【図１１Ｂ】
2009123196.tif 000017
【図１２】
2009123196.tif 000018
【図１３Ａ】
2009123196.tif 000019
【図１３Ｂ】
2009123196.tif 000020
【図１４Ａ】
2009123196.tif 000021
【図１４Ｂ】
2009123196.tif 000022
【図１５】
2009123196.tif 000023
【図１６】
2009123196.tif 000024
【図１７】
2009123196.tif 000025