(57)【要約】【課題】  ユーザが事象発生シーンを比較的短時間で検索でき且つ／またはユーザの目視確認の負担を軽減するようユーザを支援する映像検索装置を提供する。【解決手段】  事象発生シーンとその前後を記録した映像データから事象発生シーンを検索する映像検索装置６は、映像データを蓄積する映像蓄積部８と、映像蓄積部に蓄積された映像データに基づいて、探索すべき時刻に関連する画像を表示する表示部１０と、表示部に表示させた探索すべき第１の時刻に関連する画像からユーザにより第１の時刻が事象発生の前か後かの判定情報を入力するための入力部１２と、入力部を介して入力させた判定情報に基づいて次に探索すべき方向が未来方向か過去方向かを決定するとともに、次に探索すべき第２の時刻を、第１の時刻と決定した探索すべき方向に関し第１の時刻に最も近い探索済みの第３の時刻との間の探索区間内で決定する探索時刻決定部１８と、を備える。【選択図】図２
2006080947.tif 000002
【特許請求の範囲】
【請求項１】
事象発生シーンとその前後を記録した映像データから事象発生シーンを検索する映像検索装置において、
映像データを蓄積する映像蓄積部と、
映像蓄積部に蓄積された映像データに基づいて、探索すべき時刻に関連する画像を表示する表示部と、
表示部に表示させた探索すべき第１の時刻に関連する画像からユーザにより第１の時刻が事象発生の前か後かの判定情報を入力させるための入力部と、
入力部を介して入力させた判定情報に基づいて次に探索すべき方向が未来方向か過去方向かを決定するとともに、次に探索すべき第２の時刻を、第１の時刻と決定した探索すべき方向に関し第１の時刻に最も近い探索済みの第３の時刻との間の探索区間内で決定する探索時刻決定部と、
を備えた映像検索装置。
【請求項２】
入力部は、表示部に第２の時刻に関連する画像を表示させた後、該画像から事象発生前であるか後かを判定できない場合に、ユーザにより判定不可情報が入力されるようになっており、
探索時刻決定部は、上記探索区間内で第２の時刻とは異なる時刻を、次に探索すべき時刻として決定する、
ことを特徴とする請求項１記載の映像検索装置。
【請求項３】
事象発生シーンとその前後を記録した映像データから事象発生シーンを検索する映像検索装置において、
映像データを蓄積する映像蓄積部と、
映像蓄積部に蓄積された映像データに基づいて、探索すべき時刻に関連する画像を表示する表示部と、
表示部に表示させた探索すべき第１の時刻に関連する画像からユーザにより第１の時刻が事象発生の前か後かの判定情報を入力させるための入力部と、
入力部を介して入力させた判定情報に基づいて次に探索すべき方向が未来方向か過去方向かを決定するとともに、第１の時刻と決定した探索すべき方向に関し第１の時刻に最も近い探索済みの第３の時刻との間を、探索区間として決定する探索区間決定部と、
を備え、
表示部は上記探索区間を表示し、あるいは、装置は探索区間を提示する提示部をさらに備え、
入力部は、表示部に表示または提示部に提示させた探索区間内の時刻をユーザにより次に検索すべき時刻として入力させる、
ことを特徴とする映像検索装置。
【請求項４】
事象発生シーンとその前後を記録した映像データから事象発生シーンを検索する映像検索装置において、
映像データを蓄積する映像蓄積部と、
映像蓄積部に蓄積された映像データに基づいて、探索すべき第１の時刻が事象発生の前か後かを画像処理により判定する事象前後判定部と、
事象前後判定部による判定情報に基づいて次に探索すべき方向が未来方向か過去方向かを決定するとともに、次に探索すべき第２の時刻を、第１の時刻と決定した探索すべき方向に関し第１の時刻に最も近い探索済みの第３の時刻との間の探索区間内で決定する探索時刻決定部と、
を備えた映像検索装置。
【請求項５】
探索時刻決定部は、事象前後判定部が第２の時刻が事象発生前であるか後かを判定できない場合に、上記探索区間内で第２の時刻とは異なる時刻を次に探索すべき時刻として決定する、
ことを特徴とする請求項４記載の映像検索装置。
【請求項６】
事象発生シーンとその前後を記録した映像データから事象発生シーンを検索する映像検索装置において、
映像データを蓄積する映像蓄積部と、
映像蓄積部に蓄積された映像データに基づいて、探索すべき第１の時刻が事象発生の前か後かを画像処理により判定する事象前後判定部と、
事象前後判定部による判定情報に基づいて次に探索すべき方向が未来方向か過去方向かを決定するとともに、第１の時刻と決定した探索すべき方向に関し第１の時刻に最も近い探索済みの第３の時刻との間を探索区間として決定する探索区間決定部と、
探索区間を提示する提示部と、
提示に提示させた探索区間内の時刻をユーザにより次に検索すべき時刻として入力させる入力部と、
を備えた映像検索装置。
【請求項７】
上記探索区間が所定値以下となると、該探索区間内の映像データに基づいて画像処理により事象発生シーンを検出する事象発生検出部をさらに備えた請求項１〜６のいずれか一つに記載の映像検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データから事象の発生シーンを検索する映像検索装置に関する。
【背景技術】
【０００２】
現在、ある事象が発生（例えば事故、災害など）した場合、監視カメラなどを用いて記録した映像データを利用して事象の発生をユーザが確認することが行われている。特に事象の発生時が既知でない場合において、膨大な量の映像データから事象発生シーンをユーザが検索する負担を軽減するために、ユーザが素早く検索できるようユーザを支援する装置が求められている。
【０００３】
例えば特許文献１には、動画像（映像データ）の再生に先立って、映像データの時系列的に連続する２つの画像フレーム間で、あるパラメータ（色成分、輝度成分など）の変化が基準の差分値以上である場合に、時系列的に新しい方の画像フレームをインデックス画像として取得する画像処理を行い、該インデックス画像を表示させる装置が開示されている。したがって、ユーザは、表示された複数のインデックス画像を参照して、目視で所望の映像シーンを見つけることができる。
【特許文献１】特開平６−３８１６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の装置では、事象に適するようにパラメータの選択や基準差分値の設定ができなければ、インデックス画像に事象発生シーンが含まれないため、事象発生シーンを検索できない。また、インデックス画像に事象発生シーンが含まれるようパラメータの選択を行ったとしても、事象発生シーンのみをインデックス画像として取得することは困難で他のインデックス画像を多数取得するため、ユーザが目視で確認する負担が増加する。さらに、検索範囲が長時間であると画像処理に時間を要し、ユーザが事象発生シーンを素早く検索できない。
【０００５】
そこで、本発明は、ユーザが事象発生シーンを比較的短時間で検索でき且つ／またはユーザの目視確認の負担を軽減するようユーザを支援する映像検索装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る映像検索装置の一態様は、
事象発生シーンとその前後を記録した映像データから事象発生シーンを検索する映像検索装置において、
映像データを蓄積する映像蓄積部と、
映像蓄積部に蓄積された映像データに基づいて、探索すべき時刻に関連する画像を表示する表示部と、
表示部に表示させた探索すべき第１の時刻に関連する画像からユーザにより第１の時刻が事象発生の前か後かの判定情報を入力させるための入力部と、
入力部を介して入力させた判定情報に基づいて次に探索すべき方向が未来方向か過去方向かを決定するとともに、次に探索すべき第２の時刻を、第１の時刻と決定した探索すべき方向に関し第１の時刻に最も近い探索済みの第３の時刻との間の探索区間内で決定する探索時刻決定部と、
を備えることを特徴とする。
ここで、時刻に関連する画像とは、該時刻の静止画像および／または該時刻を含む時間の映像（動画像）を指す。また、探索すべき時刻および探索済みの時刻とは、事象発生前か後かを判定すべき時刻および判定が既に終了した時刻を指す。
【発明の効果】
【０００７】
本発明の一態様によれば、第１の時刻が事象発生の前か後かをユーザに目視判定させる。そして、第１の時刻が事象発生後であれば、第１の時刻よりも時系列的に古い一つまたはそれ以上の既に探索済みの時刻から第１の時刻に最も近い既に探索済みの第３の時刻を求め、第１の時刻と第３の時刻の間の探索区間から次に探索すべき第２の時刻を決定する。逆に、第１の時刻が事象発生前であれば、第１の時刻よりも時系列的に新しい一つまたはそれ以上の既に探索済みの時刻から第１の時刻に最も近い既に探索済みの第３の時刻を求め、第１の時刻と第３の時刻の間の探索区間から次に探索すべき第２の時刻を決定する。これを繰り返すことで、事象発生シーンを含む探索区間が絞り込まれることになる。したがって、十分に探索区間が絞り込まれた後で探索区間の映像を観察することで、ユーザは、比較的短時間で事象発生シーンを見つけることができる。
【発明を実施するための最良の形態】
【０００８】
以下、添付図面を参照して本発明の実施の形態を説明する。以下では、本発明に係る映像検索装置を監視システムに適用した例を説明する。しかしながら、本発明は、監視映像から事象発生シーンを検索する形態に限定するものではなく、例えば、監視以外の目的でビデオカメラで撮像した映像データから事象発生シーン（例えば事故）を検索する形態や、映像コンテンツデータ（例えば、映画の未編集の映像）などから特定のシーン（事象発生シーンに対応）を含む映像データを抽出することにより編集処理の作業効率を高める形態（いわゆる映像コンテンツ制作・編集の支援）など、種々の分野に適用可能である。
【０００９】
実施の形態１．
図１は、本発明に係る映像検索装置の実施の形態１を備えた監視システムを示す。このシステム２は、複数の地点に配置されたビデオカメラ４と、これらビデオカメラ４とネットワークＮ（例えばＬＡＮ、インターネット）を介して接続された映像検索装置（サーバ）６とを備える。
【００１０】
本実施形態に係る映像検索装置６は、以下に説明するように、複数の時刻に関しユーザに事象発生前か後かを判定させながら、事象発生シーンを含む時間区間を逐次絞り込むことで、最終的にユーザが事象発生シーンを検索できるようにするためのものである。図２に示すように、映像検索装置６は、各ビデオカメラ４で撮像した映像データを時刻に対応付けて蓄積する映像蓄積部８と、一台またはそれ以上のモニタ、ＶＲＡＭなどを含み、ビデオカメラ４のリアルタイム映像および映像蓄積部８に蓄積された保存映像を表示する表示部１０と、モニタの表示画面上でカーソルなどを移動させるマウスなどを含み、ユーザからの各種指令を受け付ける入力部１２と、映像検索装置６全体を制御し、映像蓄積部８で蓄積した映像データから（監視システム２による監視を行う）ユーザが希望する事象発生シーンを検索するのに必要な所定の演算を行う制御部１４と、を備える。以下の説明では、一台のモニタに一台のビデオカメラ４に関する映像が表示されるものとする。
【００１１】
監視システム２は、各ビデオカメラ４のリアルタイムの監視映像を表示部１０の対応するモニタに表示する監視モード［図３（ａ）参照］、および、ユーザが入力部１２を介して選択したモニタに映像蓄積部８に蓄積された映像を表示する検索モード（なお、このモードでは、選択されないモニタには監視映像が表示されたままである。）［図３（ｂ）参照］を有する。監視モードにおいてユーザが図３（ａ）の画面右下にある「シーン検索」をクリックすると表示部１０に検索モードの表示画面［図３（ｂ）］を表示させ、検索モードにおいてユーザが図３（ｂ）の画面右下にある「ライブ監視」をクリックすると、表示部１０は、監視モードの表示画面［図３（ａ）］を表示するようになっている。監視モードの表示画面［図３（ａ）］にはまた、中央にリアルタイムの映像、下側部分に、監視カメラの番号、現在時刻、などが表示されるようになっている。検索モードの表示画面［図３（ｂ）］には、その中央に所定の時刻の静止画像、下部に「発生後」、「発生前」、「判定不可」、「映像再生」のボタン、上部に上記時刻、などが表示されるようになっている。所定の時刻は、後述する探索時刻決定部により決定される時刻である。
【００１２】
「発生後」、「発生前」は、表示された静止画像が事象発生後あるいは事象発生前の画像であるかをユーザが指示するためのものである。「判定不可」は、表示された静止画像からは対応する時刻が事象が発生した前か後かが判定できないことをユーザが指示するためのものである。「映像再生」は、クリックされると、静止画像を表示する画面から図３（ｃ）の画面に切り替わって映像が再生できるようになっている。図３（ｃ）に示す表示画面では、中央に映像を表示する部分、下部に通常再生、早送り再生、巻き戻し再生などを指示するためのボタン、「検索」ボタン、などが表示されるようになっている。「検索」をクリックすると、図３（ｂ）の表示画面に戻るようになっている。
【００１３】
制御部１４は、事象前後設定部１６、探索時刻決定部１８、および表示制御部２０を備える。
【００１４】
事象前後設定部１６は、検索モードにおいて、ユーザが表示部１０に表示された静止画像を目視確認しながら入力部１２を介して「発生後」あるいは「発生前」をクリックすると、表示された時刻を事象発生後の時刻あるいは事象発生前の時刻として設定するようになっている。事象前後設定部１６はまた、監視モードの途中でユーザが検索モードを選択した場合、選択した時点の時刻を事象発生後の時刻として設定するようになっている。
【００１５】
探索時刻決定部１８は、事象前後設定部１６で設定された時刻が事象発生後の時刻であれば、事象発生後の時刻から所定時間前の時刻、事象前後設定部１６で設定された時刻が事象発生前の時刻であれば、事象発生前の時刻から所定時間後の時刻を、次にユーザに提示する静止画像の時刻（言い換えれば、次に探索すべき時刻）として決定するようになっている。
【００１６】
本願では、続けて行われる２つの探索時刻同士（次に探索すべき時刻と現在探索中の時刻、および、既に探索済みの２つの時刻同士）の時間関係を方向で表し、この方向を探索方向という。具体的に、特定の探索時刻がその直前に探索した時刻に対し過去であれば、特定の探索時刻の直前に探索した時刻に対する探索方向を「過去方向」、特定の探索時刻がその直前に探索した時刻に対し未来であれば、特定の探索時刻の直前に探索した時刻に対する探索方向を「未来方向」とする。現在探索中の時刻および以前に探索済みの時刻群に関し探索方向が常に過去方向である場合、次に探索すべき時刻の現在探索中の時刻に対する方向が過去方向であった場合（すなわち、現在探索中の時刻の静止画像が事象発生後の画像であった場合）、探索時刻決定部１８は、現時点で探索対象であった時刻から所定時間（デフォルト値として用意されるが、ユーザが適宜変更してもよい。）前の時刻を次に探索すべき時刻として決定する。現在探索中の時刻（第１の時刻）および以前に探索済みの時刻群に関し探索方向が常に過去方向である場合、次の探索方向が未来方向であった場合（すなわち、現在探索中の時刻の静止画像が事象発生前の画像であった場合）、事象が発生した時刻は、現時点で探索対象であった時刻（第１の時刻）から未来方向に最も近い探索済みの時刻（第３の時刻）との間の時間区間（探索区間）に存在するため、探索時刻決定部１８は、次に探索すべき時刻（第２の時刻）を現時点で探索対象であった時刻（第１の時刻）から未来方向に最も近い探索済みの時刻（第３の時刻）の間で決定する。一例として探索区間の中央（デフォルト値として用意されるが、ユーザが適宜変更してもよい。）を次に探索すべき時刻と決定する。現在探索中の時刻（第１の時刻）および以前に探索済みの時刻群に関し探索方向が未来方向を含む場合、次の探索方向が過去方向であった場合（すなわち、現在探索中の時刻の静止画像が事象発生後の画像であった場合）、事象が発生した時刻は、現時点で探索中の時刻（第１の時刻）から過去方向に最も近い探索済みの時刻（第３の時刻）との間の時間区間（探索区間）に存在するため、探索時刻決定部１８は、次に探索すべき時刻（第２の時刻）を現時点で探索対象であった時刻（第１の時刻）から過去方向に最も近い探索済みの時刻（第３の時刻）の間で決定する。
【００１７】
探索時刻決定部１８は、次に探索すべき時刻（第２の時刻）の静止画像を表示部１０に表示させた後、ユーザが表示部１０に表示された画面から対応する時刻で事象が発生した後か前かが判定できないとし、入力部１２を介して「判定不可」をクリックすると、直前に探索した時刻（第１の時刻）と過去方向または未来方向に最も近い探索済みの時刻（第３の時刻）との間の時間区間（探索区間）内の別の時刻を、次に探索すべき時刻として再設定するようになっている。これにより、事象発生前後の判定が不可能な部分を一部含む映像データからも事象発生シーンを検索できる。但し、判定不可となる時刻が検索モードになって最初に探索すべき時刻の場合、探索区間は定義されていないため、検索時刻決定部１８は、別の時刻を適宜選択するようにしてある。
【００１８】
表示制御部２０は、動画像（映像）および所定の静止画像を表示するよう表示部１０を制御するためのもので、映像蓄積部８で蓄積した映像データに基づいて、映像、および、探索時刻決定部１８で決定した時刻に関する静止画像を、表示部１０に表示させるようになっている。
【００１９】
次に、図１〜３および図４のフローチャートを参照して、映像検索装置６による検索処理の一例を説明する。以下では、ある監視区域で事象（例えば盗難などの事件）が発生したとの通報をもとにユーザが監視区域のビデオカメラで得られるライブ映像で事象発生を確認した後、事象発生の原因を蓄積画像から検索することを想定して説明する。
【００２０】
まず、ステップＳ１で、監視モードにおいて、ユーザがビデオカメラを選択しライブ映像で事象の発生（例えば、盗難により物が紛失したこと）を確認した後、ユーザが表示画面［図３（ａ）］の「シーン検索」をクリックすると、事象前後設定部１６は、選択した時点の時刻ｔ０を事象発生後の時刻として設定する。ステップＳ２でインデックスｉを１に設定する。ステップＳ３で、探索時刻決定部１８は、ユーザに事象発生前か後かを判定させる時刻ｔｉを決定する。ステップＳ４で、表示制御部２０は、時刻ｔｉに関する静止画像を表示部１０に表示させる［図３（ｂ）］。ステップＳ５で、ユーザが表示画面の「判定不可」をクリックしたか否かを判定する。ユーザが「判定不可」をクリックしない場合、ステップＳ６に進み、ユーザが表示画面の「映像再生」をクリックしたか否かを判定する。
【００２１】
ステップＳ６で、ユーザが表示画面の「映像再生」をクリックしていない場合、ステップＳ７に進み、ユーザが表示画面の「発生前」をクリックしたか「発生後」をクリックしたかを判定する。
【００２２】
ステップＳ７で、ユーザが「発生前」をクリックした場合（すなわち、ユーザが時刻ｔｉでは事象がまだ発生していないと判定）、ステップＳ８で、時刻ｔｉと時刻ｔｉよりも時系列的に新しい最も近い探索済みの時刻との間の区間（探索区間）内の時刻を次に探索すべき時刻ｔｉ＋１として決定する。その後、ステップＳ９で、インデックスｉをインクリメントした後、フローはステップＳ４に戻り、次に探索すべき時刻ｔｉ＋１について画像が表示されることになる。ステップＳ７で、ユーザが「発生後」をクリックした場合（すなわち、ユーザが時刻ｔｉでは事象が既に発生したと判定）、ステップＳ１０で、時刻ｔｉと時刻ｔｉよりも時系列的に古い最も近い探索済みの時刻との間の区間（探索区間）内の時刻を次に探索すべき時刻ｔｉ＋１として決定する。その後、フローはステップＳ９に進む。なお、映像検索装置６は、時刻ｔｉの画像をユーザが目視して事象の発生シーンが確認できるようであれば、入力部１２を介して指示することで、検索処理が終了するように構成してもよい。
【００２３】
ステップＳ４〜Ｓ９を繰り返すことで、ユーザに複数の時刻に関し事象発生前か後かを判定させながら、事象発生シーンを含む時間区間が逐次絞り込まれることになる。絞り込みの様子を示す例を図５に示す。まず、事象発生後の時刻ｔ０が設定された後［図５（ａ）］、探索すべき時刻ｔ１が設定される［図５（ｂ）］。図では、事象発生シーンが含まれる区間を斜線で示してある。ユーザにより時刻ｔ１が事象発生前の時刻であると判定されると、探索区間［ｔ０，ｔ１］内の時刻ｔ２が次に探索すべき時刻として決定される［図５（ｃ）］。ユーザにより時刻ｔ２が事象発生後の時刻であると判定されると、探索区間［ｔ１，ｔ２］内の時刻ｔ３が次に探索すべき時刻として決定される［図５（ｄ）］。ユーザにより時刻ｔ３が事象発生前の時刻であると判定されると、探索区間［ｔ２，ｔ３］（時刻ｔ３に対し未来方向には既に探索済みの時刻として時刻ｔ０とｔ２があるが、時刻ｔ３に最も近い時刻ｔ２が未来方向に関して時刻ｔ３に最も近い）内の時刻ｔ４が次に探索すべき時刻として決定される［図５（ｅ）］。その後、ユーザにより時刻ｔ４が事象発生後の時刻であると判定されると、探索区間［ｔ３，ｔ４］内の時刻が次に探索すべき時刻として決定されることになる。
【００２４】
ステップＳ５で、ユーザが「判定不可」をクリックすれば、時刻ｔｉでは事象が発生した前か後かを判定できないとしてステップＳ３に戻り、探索時刻決定部１８は、時刻ｔｉとは異なる時刻を探索すべき時刻として再度決定する。
【００２５】
ステップＳ６で、ユーザが「映像再生」をクリックした場合、ステップＳ１１に進み、表示制御部２０は、探索すべき時刻ｔｉと探索方向に関して最も近い探索済みの時刻との間の探索区間の映像を表示部１０に表示させる［図３（ｃ）］。この探索区間の映像には事象発生シーンが含まれているため、探索区間を絞り込んだ後でユーザが映像を再生すれば、他の区間では探索する必要がないため、ユーザが事象発生シーンを容易に且つ素早く検索できる。探索区間を所定時間内に絞り込むまでは「映像再生」をクリックしても映像の再生が禁止されるようにしてもよい。あるいは、ステップＳ６の代わりに、探索区間が所定の値以下になれば、自動的に映像の再生が開始されるようにしてもよい（これについては実施の形態２で詳しく説明されている。）。
【００２６】
本フローチャートでは、ステップＳ１で事象発生後の時刻ｔ０を検索モードを選択した時刻としたが、ユーザが適宜選択してもよい。さらに事象発生前の時刻が既知であれば、ユーザが該時刻を設定できるようにしてもよい（すなわち、ステップＳ３で、時刻ｔ１をユーザが設定する。）
【００２７】
以下では、図６〜８を参照して、ある監視区域に放置物らしき鞄があるとの通報をもとにユーザが監視区域のビデオカメラで得られるライブ映像で放置物を確認した後、どのように鞄が置かれたか（事象発生シーン）を蓄積画像から検索する具体例を説明する。
【００２８】
まず、監視モードでユーザが該当するビデオカメラを選択し、表示画面［図６（ａ）］に表示された「シーン検索」をクリックすると、監視システム２は検索モードの表示画面［図６（ｂ）］に切り替わる。このとき、事象前後設定部１６は、選択した時刻（１８：００）を事象（放置）発生後の時刻として設定する。探索時刻決定部１８は、４時間前の１４：００をユーザが事象発生前か後かを判定すべき時刻として決定し、その結果、１４：００の静止画像が表示部１０に表示される。表示画面の上部には、ユーザが検索し易いよう、探索区間を絞り込む様子を数値や図形などで表示するようにしてある。図の例では、探索対象時刻を示すとともに、事象発生シーンが含まれる区間を斜線で示してある。
【００２９】
１４：００には鞄があることをユーザが確認し「発生後」をクリックすると、探索時刻決定部１８は、さらに４時間前の１０：００を次の探索時刻として決定し、その結果、１０：００の静止画像が表示部１０に表示される［図６（ｃ）］。１０：００には鞄がないことをユーザが確認し「発生前」をクリックすると、探索時刻決定部１８は、探索区間の中央の時刻を次の探索時刻として決定するように設定されているとし、探索区間［１０：００、１４：００］の間にある１２：００を次の探索時刻として決定し、その結果、１２：００の静止画像が表示部１０に表示される［図７（ｄ）］。１２：００には鞄がないことをユーザが確認し「発生前」をクリックすると、探索時刻決定部１８は、探索区間［１２：００、１４：００］として該区間内にある１３：００を次の探索時刻として決定し、その結果、１３：００の静止画像が表示部１０に表示される［図７（ｅ）］。
【００３０】
１３：００の静止画像では鞄が放置された位置が車で遮蔽されており、ユーザは事象発生の前か後かを確認できないため、「判定不可」をクリックする。その結果、探索時刻決定部１８は、探索区間［１２：００、１４：００］内の別の時刻１２：４０を探索すべき時刻として再度決定する。その結果、１２：４０の静止画像が表示部１０に表示される［図８（ｆ）］。１２：４０には鞄があることをユーザが確認し「発生後」をクリックすると、探索時刻決定部１８は、探索区間［１２：００、１２：４０］内にある１２：２０を次の探索時刻として決定し、その結果、１２：２０の静止画像が表示部１０に表示される。後２回事象発生前か後かの判定を行わせることで５分の探索区間（図の例では［１２：００、１２：０５］）に絞り込まれる。その後、ユーザは「映像再生」をクリックすると、［図３（ｃ）］の画面が表示され、探索区間［１２：００、１２：０５］の映像を、通常再生、早送り再生、巻き戻し再生しながら観察し、男性が鞄を置き去ったのを確認する［図８（ｇ）］。
【００３１】
この例では、８回の事象前後判定（検索モードを選択する際の判定を除き、判定不可の場合を含む）で５分の探索区間に絞り込め、１回の判定に３０秒、最後の放置シーンの確認に１分必要だったと仮定すると、合計５分で検索できることになる。本実施形態に係る映像検索装置６は、上述した従来の装置のように画像処理で事象発生シーンを検索する場合に比べて短時間で検索できる。
【００３２】
なお、１０：００〜１８：００の映像を等間隔に分割して例えば１６個のサムネイル画像を表示し、それら画像のうち事象発生直後と直前の２つの画像を目視確認して２つの画像の時刻の間の区間を探索区間として決定し、さらに例えば１６個のサムネイル画像を表示して、新たな探索区間を決定する方法を考えると、２段階で探索区間を２分まで絞り込むことは可能である。しかし、表示するサムネイル画像は１６×２＝３２個であり、ユーザが確認すべき画像は多くなる。これに対し、本実施形態に係る映像検索装置６は、目視確認すべき画像は少なく、したがってユーザの負担が少ない利点を有する。
【００３３】
本実施形態では、次に探索すべき時刻を探索時刻決定部１８で決定したが、代わりに、ユーザが現在探索中の画像を目視して事象発生の前か後かを判定した後、表示部１０に事象発生シーンが含まれる探索区間［図３（ｂ）の表示画面の上部に示す区間］を表示し、ユーザが表示画面を参照し、入力部１２を介して次に探索すべき時刻を指示できるようにしてもよい。表示部１０の代わりに別の手段（例えば音声）を用いて探索区間をユーザに提示するようにしてもよい。この場合、制御部１４は、探索時刻決定部１８の代わりに、次に探索すべき方向が未来方向か過去方向かを決定するとともに、現時点で探索対象であった時刻と決定した方向に関し該時刻に最も近い探索済みの時刻との間を探索区間として決定する探索区間決定部を備えることになる。
【００３４】
また、検索開始時または検索途中で表示画面中事象に関連する領域（例えば、放置物が存在する領域）をユーザの指示にしたがって拡大表示できるようにしたり、時間帯によっては暗い画像の場合には輝度補正や積分処理を行うようにしたりして、これにより、ユーザに事象の発生の前か後かの判定を行わせる時刻の画像を見易くするようにしてもよい。
【００３５】
さらに、本実施形態では、まず事象発生後の時刻ｔ０を基準にしてから探索区間の絞り込みを行ったが、代わりに、事象発生前の時刻を基準にしてもよい。この場合、探索時刻決定部１８による時刻決定は次のようになる。現在探索中の時刻および以前に探索済みの時刻群に関し探索方向が常に未来方向である場合、次に探索すべき時刻の現在探索中の時刻に対する方向が未来方向であった場合（すなわち、現在探索中の時刻の静止画像が事象発生前の画像であった場合）、探索時刻決定部１８は、所定時間後の時刻を次に探索すべき時刻として決定する。現在探索中の時刻（第１の時刻）および以前に探索済みの時刻群に関し探索方向が常に未来方向である場合、次の探索方向が過去方向であった場合（すなわち、現在探索中の時刻の静止画像が事象発生後の画像であった場合）、事象が発生した時刻は、現時点で探索対象であった時刻（第１の時刻）から過去方向に最も近い探索済みの時刻（第３の時刻）との間の時間区間（探索区間）に存在するため、探索時刻決定部１８は、次に探索すべき時刻（第２の時刻）を現時点で探索対象であった時刻（第１の時刻）から過去方向に最も近い探索済みの時刻（第３の時刻）の間で決定する。
【００３６】
実施の形態２．
図９は、本発明に係る映像蓄積装置の実施の形態２を示す。以下の説明において、実施の形態１と同一または類似の構成要素は、同一の符号または同一の符号に適当な添字を付して表す。本実施形態に係る映像蓄積装置６Ａは、実施の形態１に係る映像蓄積装置６と類似しているが、その制御部１４Ａは、ユーザによる指令に基づいて対象時刻の静止画像が事象発生前か後に関するものかを設定する事象前後設定部１６の代わりに、上記静止画像が事象発生前か後に関するものかを画像処理により自動的に判定する事象前後判定部２２を備える。
【００３７】
詳しくは、事象前後判定部２２は、事象発生後の画像フレームと探索時刻決定部１８が決定した探索すべき時刻の画像フレーム（静止画像）との所定のパラメータ（例えば、色成分、輝度成分など）についての差分を求め、該差分に基づいて探索すべき時刻が事象発生前か後かを判定するようになっている。事象発生後の画像フレームは、例えば、監視システム（図１参照）のユーザが監視モードから検索モードに切り替える際の時刻に関するものが用いられる。しかしながら、例えば放置物が既に現場から撤去されるなどして、監視モードでユーザが確認を行う時点で映像中に事象発生を示す特徴が含まれない場合、事象発生後の画像フレームとして別の時刻に関するものを用いてもよい。事象前後判定部２２で事象発生前後を簡易且つ高速に判定するために、事象の種類（例えば、放置、盗難などの事件、土砂崩れなどの災害）を（入力部１２を介して）ユーザが設定したり、画像フレームの一部の領域（例えば、画像フレーム内の放置物が置かれた領域）をユーザが設定し、該領域のみに関してのみ差分を求めるようにするなど、検索する事象に適したパラメータ（事象の種類、画像フレーム内の領域など）をユーザが設定できるようにするのが好ましい。
【００３８】
探索時刻で例えば放置物が遮蔽されるなどした場合に事象前後判定部２２で判定できない場合がある。この場合、実施の形態１と同様に、探索時刻決定部１８は、別の時刻を直前に探索した時刻と過去方向または未来方向に最も近い探索済みの時刻との間の時間区間（探索区間）内の別の時刻を、探索すべき時刻として再設定するようになっている。これにより、事象発生前後の判定が不可能な部分を一部含む映像データからも事象発生シーンを検索できる。但し、判定不可の現在時刻が検索モードになって最初に探索すべき時刻の場合、探索区間は定義されていないため、探索時刻決定部１８は別の時刻を適宜選択するようにしてある。
【００３９】
制御部１４Ａは、探索区間を予め決められた値（例えば５分）と比較して探索区間が十分絞り込めたか否かを判定する探索区間絞り込み判定部２４を備える。探索区間絞り込み判定部２４は、探索区間が十分絞り込まれた場合、所定の信号を表示制御部２０に送出するようになっている。
【００４０】
本実施形態では、ユーザによりある探索すべき時刻が事象発生前、事象発生後、あるいは該時刻では判定ができないことを指示する必要がなく、したがって、表示部１０には、例えば図３（ｂ）のような表示画面は現れず、表示制御部２０は、探索区間が十分絞り込まれると探索区間絞り込み判定部２４から信号を受けて、表示部１０に例えば図３（ｃ）のような画面を表示させ、これによりユーザが映像を再生できるようにする。あるいは、表示制御部２０は、探索区間を十分絞り込んだ後で自動的に映像の再生を開始するようにしてもよい。
【００４１】
次に、図９および図１０のフローチャートを参照して、映像検索装置６Ａによる検索処理の一例を説明する。
【００４２】
まず、ステップＳ１００１で、ユーザが入力部１２を介して検索対象の事象に適したパラメータ（例えば、事象の種類、画像フレーム内の領域）の指定を行う。ステップＳ１００２で、ユーザが入力部１２を介して、事象発生後の時刻ｔ０を設定する。例えば、監視モードでユーザが表示画面［図３（ａ）］の「シーン検索」をクリックする時点の時刻を事象発生後の時刻ｔ０として設定する。ステップＳ１００３でインデックスｉを１に設定する。このとき、事象前後判定部２２は、時刻ｔ０の画像フレームを映像蓄積部８から取り込む。ステップＳ１００４で、探索時刻決定部１８は、事象発生前か後かを探索すべき時刻ｔｉを決定する。
【００４３】
次に、事象前後判定部２２は、時刻ｔｉの画像フレームを映像蓄積部８から取り込み、ステップＳ１００１で設定されたパラメータおよび時刻ｔｉの画像フレームに基づいて該時刻が事象発生前か後かを判定する（ステップＳ１００５，Ｓ１００６）。判定できない場合（ステップＳ１００５でＮＯ）、フローはステップＳ１００４に戻り、探索時刻決定部１８は、直前に探索した時刻と時刻ｔｉの過去方向または未来方向に最も近い探索済みの時刻との間の時間区間（探索区間）内の別の時刻を、探索すべき時刻として再設定する。判定不可の時刻が検索モードになって最初に探索すべき時刻の場合、探索区間は定義されていないため、探索時刻決定部１８は、別の時刻を探索すべき時刻として再設定する。
【００４４】
時刻ｔｉが事象発生前と判定された場合（ステップＳ１００６でＹＥＳ）、ステップＳ１００７に進み、時刻ｔｉと時刻ｔｉよりも時系列的に新しい最も近い探索済みの時刻との間の探索区間内の時刻を次に探索すべき時刻ｔｉ＋１として決定する。その後、フローはステップＳ１００８に進む。ステップＳ１００６で、時刻ｔｉが事象発生後と判定された場合、ステップＳ１００９に進み、時刻ｔｉと時刻ｔｉよりも時系列的に古い最も近い探索済みの時刻との間の探索区間内の時刻を次に探索すべき時刻ｔｉ＋１として決定する。その後、フローはステップＳ１００８に進む。
【００４５】
ステップＳ１００８で、探索区間絞り込み判定部２４は、探索区間［ｔｉ，ｔｉ＋１］が所定値以下であるか否か、言い換えれば、探索区間が十分絞り込めているか否かを判定する。十分絞り込めていなければ、ステップＳ１０１０でインデックスｉをインクリメントし、フローはステップＳ１００５に戻る。そして、次の探索すべき時刻ｔｉ＋１について事象前後判定部２２による判定が行われることになる。十分絞り込めていれば、ステップＳ１０１１に進み、表示制御部２０は、探索区間絞り込み判定部２４から信号を受けて、表示部１０に図３（ｃ）のような画面を表示させる。ここで、ユーザが「映像再生」をクリックすれば、ステップＳ１０１２に進み、表示制御部２０は、探索区間［ｔｉ，ｔｉ＋１］の映像を表示部１０に表示させる。ステップＳ１０１１，Ｓ１０１２の代わりに、表示制御部２０は、探索区間が所定値以下になれば、自動的に映像の再生を開始してもよい。
【００４６】
本実施形態によれば、事象前後判定部２２が画像処理により自動的に事象発生前後の判定を行うため、ユーザの目視確認の負担を軽減できる。
【００４７】
本実施形態では、事象前後判定部２２で判定する探索時刻の画像フレームと比較する画像フレームとして事象発生後に関するものを用いたが、代わりに、（例えば、盗難物など事象に関連する物が事象発生前の画像フレーム内にある場合に）事象発生前の画像フレームを用いてもよい。
【００４８】
また、事象前後判定部２２で各探索時刻が事象発生の前か後かを判定した後、判定結果と該時刻の画像を表示部１０に表示させ、これにより画像処理による判定をユーザが随時確認できるようにしてもよい。
【００４９】
さらに、本実施形態では、次に探索すべき時刻を探索時刻決定部１８が決定したが、代わりに、事象発生シーンが含まれる探索区間を表示部１０［図３（ｂ）参照］あるいは音声など他の手段を利用してユーザに提示するようにし、事象前後判定部２２で探索時刻が事象発生の前か後かを判定した後に、提示された探索区間を参照して、ユーザに次に探索すべき時刻を入力部１２を介して決定させるようにしてもよい。
【００５０】
実施の形態３．
図１１は、本発明に係る映像検索装置の実施の形態３を示す。この映像検索装置６Ｂの制御部１４Ｂは、実施の形態２の構成に加えて、探索区間が十分絞り込めた場合に画像処理を用いて事象が発生したシーンに係る画像フレームを検出する事象発生検出部２６を備える。事象発生検出部２６は、例えば、所定のパラメータ（例えば色成分、輝度成分など）に関して、時系列的に並ぶ２つの画像フレーム間の差分に基づいて画像処理を行う。事象発生検出部２６は、探索区間絞り込み判定部２４から所定の信号を受けて、検出処理を開始するようになっている。
【００５１】
事象発生検出部２６で事象発生シーンに係る画像フレームを検出した場合、表示制御部２０は、事象発生検出部２６から所定の信号を受けて、表示部１０に該画像フレームおよび「映像再生」のボタンを含む図３（ｃ）に類似した画面を表示するようになっている。
【００５２】
図１２は、映像検索装置６Ｂの映像検索の一例を示すフローチャートである。ステップＳ１２０１〜Ｓ１２１１は、図１０のフローチャートのステップＳ１００１〜Ｓ１０１１と同じである。但し、ステップＳ１２０１で、検索対象の事象に適したパラメータとして事象発生検出部２６による画像処理に関連するものの指定（例えば、フレーム間差分処理のための画像のフレーム間隔など）も行う。ステップＳ１２０８で、探索区間絞り込み判定部２４で探索区間［ｔｉ，ｔｉ＋１］が所定値以下と判定した場合（すなわち探索区間が十分絞り込めた）場合、ステップＳ１２１１に進み、事象発生検出部２６は、探索区間絞り込み判定部２４から信号を受け、映像蓄積部８の探索区間内の映像データに基づいて画像処理を行い、事象発生シーンに係る画像フレームを検出する。その後、表示制御部２０は、事象発生検出部２６から信号を受け、表示部１０に上記画像フレームおよび「映像再生」を表示させる。ユーザは、表示画面に表示された「映像再生」をクリックすることで、事象発生シーンを含む映像（事象発生シーンに係る画像フレームとその前後の画像フレーム）を観察できる（ステップＳ１２１２，Ｓ１２１３）。
【００５３】
本実施形態によれば、探索区間が絞り込まれた後で事象発生検出部２６が画像処理を行うことで事象発生シーンを検出するようにしたので、ユーザの目視確認の負担を軽減するとともに、装置６Ｂ側の演算量を軽減し高速に事象発生シーンを検索できる。
【００５４】
ステップＳ１２１２では「映像再生」をクリックした場合に映像が再生されるようにしたが、事象発生検出部２６による検出に誤りがあった場合、ユーザの指令に基づいてさらに画像処理を行わせるようにしてもよい。例えば、探索区間を画成する時系列的に古い時刻から画像処理を開始し、ある時刻の画像フレームが取得されても、該画像フレームに事象発生シーンが現れていない場合、上記時刻以降の区間に関して画像処理を行わせるようにする。
【００５５】
実施の形態１において、探索区間が所定値以下となった場合にも同様に、画像処理により事象発生シーンを検出するようにしてもよく、この構成も本発明の範囲内に含まれる。
【００５６】
以上、本発明に係る具体的な実施の形態について説明したが、本発明はこれらに限らず種々改変可能である。例えば、上記実施形態では、ある時刻が事象発生前か後かを判定（ユーザ判定または画像処理による自動判定）するのに該時刻の静止画像を利用するようにしたが、該時刻を含む時間（例えば、数秒）の動画像を利用して該時刻が事象発生前か後かを判定（ユーザ判定または画像処理による自動判定）するようにしてもよい。このために、実施の形態１では、探索すべき時刻の静止画像の代わりに該時刻を含む時間の動画像（映像）を表示部１０に表示するように構成する。実施の形態２では、事象前後判定部２２は、画像処理時、探索すべき時刻を含む時間の映像データを映像蓄積部８から取り込むように構成する。
【００５７】
また、実施の形態１では、ビデオカメラ４の映像データをネットワークＮを介してオンラインで映像検索装置６の映像蓄積部８に受け渡すようにしたが、本発明の範囲には、映像蓄積部として映像データを記録した可搬型の記録メディア（例えば、ＣＤ−ＲＷ、光磁気ディスクなど）を用いる構成も含まれる。
【００５８】
さらに、映像蓄積部８に蓄積される映像データは時刻と対応付けられているが、例えば映像コンテンツ制作・編集などの場合、この時刻は現実の時刻である必要はなく仮想的な時刻でもよい。
【図面の簡単な説明】
【００５９】
【図１】本発明に係る映像検索装置の実施の形態１を備えた監視システムを示す全体構成図。
【図２】図１の映像検索装置のブロック図。
【図３】（ａ）監視モードの表示画面を示す図。（ｂ）検索モードの表示画面を示す図。（ｃ）検索モードにおいて、図３（ｂ）の「映像再生」をクリックした後の表示画面を示す図。
【図４】図２の映像検索装置の検索処理の一例を示すフローチャート。
【図５】探索区間の絞り込み処理を説明するための図。
【図６】（ａ）は、監視モードの表示画面を示す図で、（ｂ），（ｃ）は、検索途中の検索モードの表示画面を示す図。
【図７】（ｄ），（ｅ）は、検索途中の検索モードの表示画面を示す図。
【図８】（ｆ）検索途中の検索モードの表示画面を示す図。（ｇ）図８（ｆ）の「映像再生」をクリックして図３（ｃ）の表示画面に切り替わった後に、事象発生シーンを捕らえた表示画面を示す図。
【図９】本発明に係る映像検索装置の実施の形態２を示すブロック図。
【図１０】図９の映像検索装置の検索処理の一例を示すフローチャート。
【図１１】本発明に係る映像検索装置の実施の形態３を示すブロック図。
【図１２】図１１の映像検索装置の検索処理の一例を示すフローチャート。
【符号の説明】
【００６０】
６  映像検索装置
【図１】
2006080947.tif 000003
【図２】
2006080947.tif 000004
【図３】
2006080947.tif 000005
【図４】
2006080947.tif 000006
【図５】
2006080947.tif 000007
【図６】
2006080947.tif 000008
【図７】
2006080947.tif 000009
【図８】
2006080947.tif 000010
【図９】
2006080947.tif 000011
【図１０】
2006080947.tif 000012
【図１１】
2006080947.tif 000013
【図１２】
2006080947.tif 000014