(57)【要約】【課題】大容量の蓄積映像の場合でも高速に目的の時点の映像を検索することができる映像検索装置を得る。【解決手段】予測度計算装置４は、画像再生装置２で、検索元の画像から検索先の画像へと再生する画像が遷移した場合、検索元の画像から検索先の画像への遷移の頻度に基づいて検索の予測度を算出する。予測画像格納装置６は、予測度に応じて画像格納装置１に格納されている画像を取り出して格納する。画像格納装置１で検索処理が行われた場合、全体の映像が格納されている画像格納装置１の検索に先立ってこの予測画像格納装置６の映像を検索する。【選択図】図１
2009271767.tif 000002
【特許請求の範囲】
【請求項１】
再生対象となる画像を格納する画像格納装置と、
前記画像格納装置に格納された画像を再生する画像再生装置と、
前記画像再生装置で、検索元の画像から検索先の画像へと再生する画像が遷移した場合、当該検索元の画像から検索先の画像への遷移の頻度に基づいて検索の予測度を算出する予測度計算装置と、
前記予測度計算装置で算出された予測度に基づいて、検索先の画像を前記画像格納装置より取り出して格納する予測画像格納装置とを備え、
前記画像再生装置は、前記画像の遷移を行う場合、最初に前記予測画像格納装置の画像を検索することを特徴とする映像検索装置。
【請求項２】
検索元の画像と検索先の画像のうち、少なくとも一方は、複数の画像をブロックにまとめた画像ブロックであることを特徴とする請求項１記載の映像検索装置。
【請求項３】
予測度計算装置は、画像再生装置で検索元の画像から検索先の画像へと再生する画像が遷移する度に、予測度を更新することを特徴とする請求項１または請求項２記載の映像検索装置。
【請求項４】
画像ブロックを予測度に基づいて統合または分割することを特徴とする請求項２記載の映像検索装置。
【請求項５】
予測度計算装置は、予測度の算出を正規分布の確率に基づいて行い、予測画像格納装置は、前記予測度に応じた複数の画像を格納することを特徴とする請求項１から請求項４のうちのいずれか１項記載の映像検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像記録装置に蓄積された映像データベースより、指定の画像を検索する映像検索装置に関するものである。
【背景技術】
【０００２】
時刻情報を伴った映像記録が蓄積されている場合、目的の映像を得るための検索処理を行うには、予め目的の映像がどこにあるか分からないため、各画像に付随した時刻情報を走査して、目的の時刻に当たるかもしくは目的の時刻の映像がないことが判明するまで全ての映像を走査する必要がある。目的の映像を得るには、予め、アラームやインデックス情報を映像に付加するアラーム付加装置を用いて情報を付加しておくことにより、検索の際にはこの情報を参照して目的の映像を得る方法がある。
【０００３】
また、従来、目的の映像を得る検索処理を行う手法として、ある時間間隔で時間情報等を挿入し、検索時にその一定時間間隔で挿入した情報を利用することにより、希望時点の映像を得る手法があった（例えば、特許文献１参照）。また、要約した映像を再生する目的で、ユーザが過去に行った操作、例えば通常の再生／早送り／巻き戻し操作等の履歴などのユーザ操作情報を収集し、これらの情報を用いて、ユーザが望む要約映像を類推する手法があった（例えば、特許文献２参照）。
【０００４】
【特許文献１】特開２０００−３０３１９号公報
【特許文献２】特開２００７−１８９４４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のような時間情報をある一定間隔で挿入することによる高速検索では、蓄積映像が大容量化すると、挿入する時間情報自体も膨大となる。挿入時間情報の時間間隔を大きくして高速に検索することが考えられるが、この場合、挿入時間間隔が離れてしまうため、目的の映像が挿入時間情報直後の時点にあれば高速に検索できるが、離れた時点に目的の映像がある場合はやはり検索に時間がかかってしまう。
【０００６】
この発明は上記のような課題を解決するためになされたもので、大容量の蓄積映像の場合でも高速に目的の時点の映像を検索することができる映像検索装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る映像検索装置は、画像格納装置に格納された画像を再生する画像再生装置と、画像再生装置で、検索元の画像から検索先の画像へと再生する画像が遷移した場合、検索元の画像から検索先の画像への遷移の頻度に基づいて検索の予測度を算出する予測度計算装置と、予測度計算装置で算出された予測度に基づいて、検索先の画像を画像格納装置より取り出して格納する予測画像格納装置とを備え、画像再生装置は、画像の遷移を行う場合、最初に予測画像格納装置の画像を検索するようにしたものである。
【発明の効果】
【０００８】
この発明の映像検索装置は、現在の状態から検索されると予測される画像を予め予測画像格納装置に用意しておき、検索処理が行われた場合に、全体の映像が格納されている画像格納装置の検索に先立ってこの予測画像格納装置の映像を検索するようにしたので、大容量の蓄積映像の場合でも高速に目的の時点の映像を検索することができる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１は、この発明の実施の形態１による映像検索装置を示す構成図である。
図において、映像検索装置は、画像格納装置１、画像再生装置２、画像表示装置３、予測度計算装置４、予測度格納装置５、予測画像格納装置６を備えている。画像格納装置１は、再生対象となる全ての画像を格納する記憶装置である。画像再生装置２は、画像格納装置１に格納されている画像または予測画像格納装置６に格納されている画像を取り出して再生を行う機能部である。即ち、画像再生装置２は、検索処理が行われると先ず予測画像格納装置６から画像を探し、この予測画像格納装置６から目的の画像が見つからなかった場合には、次に画像格納装置１から画像を探し、映像が見つかると目的の画像を画像表示装置３に出力するよう構成されている。画像表示装置３は、画像再生装置２から出力された画像を表示するディスプレイである。予測度計算装置４は、画像再生装置２で、検索元の画像から検索先の画像へと再生する画像が遷移した場合、検索元の画像から検索先の画像への遷移の頻度に基づいて検索の予測度を算出する機能部である。予測度格納装置５は、予測度計算装置４で算出された予測度を格納する装置である。即ち、予測度計算装置４は、ユーザの検索操作が行われる度にある時点からある時点の検索先への検索され易さを表す予測度を計算し、得られた予測度を予測度格納装置５に格納する。予測画像格納装置６は、予測度格納装置５に格納された予測度に基づいて画像格納装置１に格納されている画像を取り出して格納する格納部である。
【００１０】
次に、実施の形態１の映像検索装置の動作について説明する。
予測度は蓄積映像のある時点からある時点への検索が行われる可能性を示し、ユーザの検索処理が行われる度に予測度の更新が行われる。即ち、画像再生装置２において、検索処理が行われた場合、予測度計算装置４はこの検索処理に基づいて予測度を更新する。尚、検索処理とは、検索元画像から映像の早送りや巻き戻しといった通常再生以外の操作で検索先画像へ再生する画像が遷移することを指す。このような検索処理としては、例えば、画像格納装置１に監視画像が蓄積され、この監視画像で監視対象となるような何かが映っている時間帯の映像を検索するといったものである。また、検索先画像としては、通常再生以外の操作を実行中にある画像が所定時間以上通常再生された場合にその画像を検索先画像として決定し、早送りや巻き戻し中の一時的な通常再生では検索先画像としては認識しない。
【００１１】
予測度計算装置４における予測度の更新の方法は、検索処理の行われた予測度が大きくなるように更新を行う。予測度が更新されると予測画像格納装置６の画像も予測度の値に応じて更新する。
図２は、検索処理のフローチャートである。
検索処理を行わない場合（ステップＳＴ１：Ｎｏ）は、表示すべき画像を取得し（ステップＳＴ２）、その画像を表示する（ステップＳＴ３）。即ち、この動作は、画像再生装置２が画像格納装置１の画像を通常再生し、画像表示装置３で表示する処理である。
一方、検索処理を行う場合（ステップＳＴ１：Ｙｅｓ）、画像再生装置２は、先ず、予測画像格納装置６の検索を行う（ステップＳＴ４）。このステップＳＴ４において目的の画像が見つかれば、予測度計算装置４は予測度の更新を行う（ステップＳＴ６）。即ち、予測度計算装置４は更新した予測度を予測度格納装置５に格納する。ステップＳＴ４において、予測画像格納装置６から目的の画像が見つからなかった場合は、画像格納装置１の検索を行い（ステップＳＴ５）、予測度計算装置４は予測度の更新を行う（ステップＳＴ６）。尚、予測度の更新については後述する。
予測度の更新後、予測画像格納装置６は、予測度格納装置５の予測度に基づいて、画像の更新を行う（ステップＳＴ７）。また、予測度計算装置４は、画像フレームのいくつかをまとめたブロックの統合・分割を行う（ステップＳＴ８）。その後、画像再生装置２は、目的の画像を取得し（ステップＳＴ２）、画像表示装置３で画像の表示を行う（ステップＳＴ３）。
【００１２】
即ち、実施の形態１の映像検索装置は、現在の状態から検索されると予測される画像を予め予測画像格納装置６に用意しておき、検索処理が行われた場合に、全体の映像が格納されている画像格納装置１の走査処理に先立ってこの予測画像格納装置６の映像を走査する。予測画像格納装置６の走査で目的の映像を取得すれば検索処理は終了し、画像格納装置１の走査は行わない。予測画像格納装置６に格納する映像は、検索されると予測される可能性を定量化した予測度を用いて決定される。予測度はある初期値を持ち、検索処理が行われる度に値を更新する。また効率的な予測度の計算を行うために複数の画像フレームをまとめて画像ブロックとして扱い、またその画像ブロックを検索処理に応じて分割・統合を行う。
【００１３】
次に、予測度の算出について説明する。
予測度は、
Ｐ（ｔi→ｔj）…（式１）
で定義される。ここでｔi，ｔjは、画像フレームの時刻を示す。この定義によると、画像フレーム数をＮとした場合、予測度は、ある時刻ｔiと検索先の時刻ｔjとの組み合わせで決まる値であるのでNＣ2の組み合わせの数を確保する必要がある。そこで、あるまとまりの時点情報ｔi-n，ｔi-n+1，…ｔi-1，ｔi，ｔi+1，…ｔi+nを、図３および図４のように一つの時点情報Ｂi（以下ブロックと呼ぶ）とする。つまり画像フレーム８（図４参照）のいくつかを一つのブロック７（図３、図４参照）にまとめることで、確保する予測度の数を減らすことができる。この場合、予測度は、
Ｐ（Ｂi→Ｂj）…（式２）
で定義される。
【００１４】
この構成により、時刻ｔiからｔjの画像を予測することから、ブロックＢi（ｔiの画像を含むまとめられた時点情報）からＢj（ｔjを含むまとめられた時点情報）の画像を予測することになるため、例えば、ｔiからｔj-1への検索が行われた場合は、時点情報がまとめられていない構成（時刻ｔiからｔjの画像を予測する構成）であれば予測できないが、時点情報がまとめられている場合はＢiからＢjへの予測を行った場合、Ｂjはｔj-1を含んでいるため予測が成功することになる。
【００１５】
予測画像格納装置６に格納する画像の決定は、上記の式２で定義した予測度計算装置４の計算する予測度を用いて決定する。予測度は、ある時点からある時点への遷移に対する定量的な値であり、検索元の画像が属するブロックが、検索先の画像が属するブロックへ検索される可能性を表す。予測度の計算方法は、上記内容を示す定量的値であればどんなものでもよいが、例えば、初期値を０として、あるブロックＢ1からあるブロックＢ2へ検索処理が行われた場合に、Ｂ1からＢ2への遷移の予測度Ｐ（Ｂ1→Ｂ2）の値を１だけ増加させる、といった方法で計算することが考えられる。このようにして算出される予測度を用いて予測画像格納装置６に格納する画像ブロックを決定する。つまりＢiからＢx（ｘ＝１，２，…，Ｎ（Ｎはブロック総数））への遷移を表す予測度Ｐ（Ｂi→Ｂx）があった場合、この予測度の大きいＢxの順に予測画像格納装置６に格納するブロックを決定する（下式３）。
【数１】
2009271767.tif 000003
但し、予測度の更新が進んでおらず、予測度の最大となるブロックが決定できない場合、つまり予測度の計算があまり進んでいない状態は、予測度の総和がある一定の値以上になっていないことを検知して、予測画像格納装置６に格納するブロックはランダムなブロックにしておくことも考えられる。
【００１６】
図５及び図６に予測画像格納装置６における格納状態を示す。図５は、予測画像格納装置６における一つの格納装置９（Ｂiバッファ）を示しており、ある検索元の画像ブロックに対する予測度の大きい順に検索元の画像ブロック７（Ｂj…Ｂk）が格納されている。予測画像格納装置６は、このような格納装置９が図６に示すように複数（Ｂ1バッファ〜ＢNバッファ）備えられており、それぞれが検索元のブロックに対応した検索先のブロックを格納している。
【００１７】
このような構成により、予測度の大きなブロックを予測画像格納装置６に格納することができ、検索処理に応じた予測画像を予測画像格納装置６に格納することができる。
【００１８】
また、予測度の計算としては、上記のように検索元の画像フレームの属するブロックから検索先の画像フレームの属するブロックへの遷移の予測度を更新するだけでなく、検索先の画像フレームの近傍の予測度を更新することも可能である。つまり検索先ブロックを中心から離れるに従って更新する予測度の増分を減ずるなどのようにすることが考えられる。例えば、ＢiからＢjへの検索処理があった場合、ＢiからＢjへの遷移の予測度Ｐ（Ｂi→Ｂj）を増加させるだけでなく、ＢiからＢj-1への予測度Ｐ（Ｂi→Ｂj-1）、ＢiからＢj+1への予測度Ｐ（Ｂi→Ｂj+1）も更新する。また、このときＢiからＢjへの遷移の予測度Ｐ（Ｂi→Ｂj）は１増加、ＢiからＢj-1、ＢiからＢj+1への遷移の予測度Ｐ（Ｂi→Ｂj-1）,Ｐ（Ｂi→Ｂj+1）は０．５増加など、検索先Ｂjから離れるに従って増分を減らすなどとする。
Ｐ（Ｂi→Ｂj）←Ｐ（Ｂi→Ｂj）＋１
Ｐ（Ｂi→Ｂjー1）←Ｐ（Ｂi→Ｂjー1）＋０．５
Ｐ（Ｂi→Ｂj+1）←Ｐ（Ｂi→Ｂj+1）＋０．５      …（式４）
尚、近傍の範囲（上記例の場合±１）、増分の値（上記例の場合０．５）は任意に設定可能である。この更新方法により、効率のよい予測度の計算が可能となる。
【００１９】
次に、図２のステップＳＴ８で示したブロックの統合・分割について説明する。
実施の形態１の映像検索装置では、図７〜図９に示すように、画像ブロックについて統合・分割を行う。つまり、一定期間検索処理が行われないブロックについては、図７に示すように、その隣のブロックと一つのブロックとして統合を行う。また、頻繁に検出処理が行われるブロックは、図８に示すように、二つのブロックに分割を行う。そしてその場合、Ｂi+1，Ｂi+2を統合したブロックをＢIとした場合、予測度計算装置４で算出する予測度は、
Ｐ（Ｂx→ＢI）＝average（Ｐ（Ｂx→Ｂi+1），Ｐ（Ｂx→Ｂi+2））…（式５）
（ｘ＝１，２，…，Ｎ）（Ｎはブロック総数）
とし、統合前のブロックの予測度を平均した値とする。統合するブロックは図７に示すような隣り合う二つのブロックに限らず、隣り合わないブロックでもよい。例えば、図９のように、ブロックＢi+1とＢi+4が統合されブロックＢJになった場合の予測度は式５の場合と同様に、
Ｐ（Ｂx→ＢJ）＝average（Ｐ（Ｂx→Ｂi+1），Ｐ（Ｂx→Ｂi+4））
（ｘ＝１，２，…，Ｎ）（Ｎはブロック総数）
とする。
【００２０】
図８のように、Ｂi+1がＢi+1,1，Ｂi+1,2というブロックに分割された場合、それぞれの予測度は、
Ｐ（Ｂx→Ｂi+1,1）＝Ｐ（Ｂx→Ｂi+1,2）＝Ｐ（Ｂx→Ｂi+1）…（式６）
（ｘ＝１，２，…Ｎ）（Ｎはブロック総数）
とし、分割される前の値を継承する。また、分割後のブロック数は二つに限らず三つ以上に分割してもよい。
【００２１】
この仕組みにより、ブロックを統合した場合は予測度の組み合わせ総数が減り、その結果、予測画像格納装置６に格納する際の予測度が最大となるブロックの検索処理が高速になる。また、ブロックを分割した場合は、予測画像格納装置６に格納するブロックの一つ当たりの画像フレーム数が少なくなり、その結果、多くの予測画像を格納することが可能となるので、予測が成功する可能性が高くなるという効果を奏する。
【００２２】
以上のように、実施の形態１の映像検索装置によれば、再生対象となる画像を格納する画像格納装置と、画像格納装置に格納された画像を再生する画像再生装置と、画像再生装置で、検索元の画像から検索先の画像へと再生する画像が遷移した場合、検索元の画像から検索先の画像への遷移の頻度に基づいて検索の予測度を算出する予測度計算装置と、予測度計算装置で算出された予測度に基づいて、検索先の画像を画像格納装置より取り出して格納する予測画像格納装置とを備え、画像再生装置は、画像の遷移を行う場合、最初に予測画像格納装置の画像を検索するようにしたので、大容量の蓄積映像の場合でも高速に目的の時点の映像を検索することができる。
【００２３】
また、実施の形態１の映像検索装置によれば、検索元の画像と検索先の画像のうち、少なくとも一方は、複数の画像をブロックにまとめた画像ブロックとしたので、予測画像を複数の画像でまとめて扱うため、予測の精度を向上させることができる。
【００２４】
また、実施の形態１の映像検索装置によれば、予測度計算装置は、画像再生装置で検索元の画像から検索先の画像へと再生する画像が遷移する度に、予測度を更新するようにしたので、検索操作に応じた予測度の再計算が逐次的に行われ、常にユーザの検索操作を反映した予測度とすることができる。
【００２５】
また、実施の形態１の映像検索装置によれば、画像ブロックを予測度に基づいて統合または分割するようにしたので、検索操作に応じた画像ブロックの再構成が行われ、効率よく検索画像の予測を行うことができる。
【００２６】
実施の形態２．
実施の形態２は、予測度の算出を正規分布の確率を用いて行うようにしたものである。図面上の構成は実施の形態１と同様であるため、図１の構成を用いて説明する。
実施の形態２の予測度計算装置４では、あるブロックからの予測画像ブロックを、図１０に示すように、平均、分散でパラメータ化された正規分布の確率で決定し、これを予測度を示す値として予測度格納装置５に格納する。図１０では、各ブロックにそれぞれ確率分布を持ち、横軸の示すブロックへの遷移確率を示している。予測画像格納装置６に格納する画像の決定の際に、この確率分布に従って確率的に予測画像の決定を行う。更に、この分布の平均、分散の値は、例えば分散を１、平均を自身のブロックから一番遠い時点のブロックを示すインデックス、という適当な初期値に設定しておき、検索処理が行われた場合に、検索処理の結果に応じて平均、分散の値を更新する。
【００２７】
平均値の更新方法は、図１１に示すように、例えば、検索処理がブロックＢjに行われた場合、元々の分布（図１１点線の曲線）の平均値ｍをある一定の割合でＢjに近づける（図１１実線の曲線）。近づける割合は、パラメータα（０＜α≦１）で制御を行う。また、分散の更新方法は、図１２に示すように、例えば、検索処理がブロックＢjに行われた場合、ブロックＢjが元々の分布（図１２点線の曲線）の分散の内側にある場合は、分布の分散値を小さくし、分布の分散の外側にある場合は、分布の分散値を大きくするという更新を行う。更新の割合は、分散更新パラメータβ（０＜β≦１）によって制御を行う。図１２は、元々の分布（点線、分散値σ）がＢjへ検索処理が行われた場合に、Ｂjが元々の分布の分散の外側にあるため、分布の分散値をβの割合大きくし、βσとしたときの様子である。一方、図１３は、逆に、検索先Ｂjが分布の分散の内側にあるときに分布の分散値をβの割合だけ小さくし、σ／βとしたときの様子である。
【００２８】
この仕組みにより、予測画像ブロックを正規分布の確率を用いて行うことにより、予測度の総数は、予測度が検索元ブロックと検索先ブロックの遷移の数だけあるので、ブロックの総数がＮの場合、NＣ2の組み合わせ数となる。しかし上記確率分布を使用する手法であればＮ×２（平均、分散）の予測度数となる。NＣ2＞２Ｎとなるのは、Ｎ＞５であるが、Ｎ≦５となるのは、画像フレームが大変少ない場合（例えば５フレーム）か、もしくはブロックに含む画像フレームを多くした場合（例えば数時間分の映像を１ブロックにするなど）であり、通常想定される蓄積映像であればＮ＞５を満たす。そのためこの条件下では保持する値を少なくすることが可能となる効果を奏する。
【００２９】
以上のように、実施の形態２の映像検索装置によれば、予測度計算装置は、予測度の算出を正規分布の確率に基づいて行い、予測画像格納装置は、予測度に応じた複数の画像を格納するようにしたので、予測画像格納装置に格納する画像の数を少なくすることができる。
【図面の簡単な説明】
【００３０】
【図１】この発明の実施の形態１による映像検索装置を示す構成図である。
【図２】この発明の実施の形態１による映像検索装置の動作を示すフローチャートである。
【図３】この発明の実施の形態１による映像検索装置の複数の画像ブロックを示す説明図である。
【図４】この発明の実施の形態１による映像検索装置の一つの画像ブロックを示す説明図である。
【図５】この発明の実施の形態１による映像検索装置の予測画像格納装置における一つの画像バッファを示す説明図である。
【図６】この発明の実施の形態１による映像検索装置の予測画像格納装置の画像バッファを示す説明図である。
【図７】この発明の実施の形態１による映像検索装置におけるブロックの統合を示す説明図である。
【図８】この発明の実施の形態１による映像検索装置におけるブロックの分解を示す説明図である。
【図９】この発明の実施の形態１による映像検索装置における隣り合わないブロックの統合を示す説明図である。
【図１０】この発明の実施の形態２による映像検索装置の予測度の算出方法を示す説明図である。
【図１１】この発明の実施の形態２による映像検索装置の予測度の更新（その１）を示す説明図である。
【図１２】この発明の実施の形態２による映像検索装置の予測度の更新（その２）を示す説明図である。
【図１３】この発明の実施の形態２による映像検索装置の予測度の更新（その３）を示す説明図である。
【符号の説明】
【００３１】
１  画像格納装置、２  画像再生装置、３  画像表示装置、４  予測度計算装置、５  予測度格納装置、６  予測画像格納装置、７  画像ブロック、８  画像フレーム、９  格納装置。
【図１】
2009271767.tif 000004
【図２】
2009271767.tif 000005
【図３】
2009271767.tif 000006
【図４】
2009271767.tif 000007
【図５】
2009271767.tif 000008
【図６】
2009271767.tif 000009
【図７】
2009271767.tif 000010
【図８】
2009271767.tif 000011
【図９】
2009271767.tif 000012
【図１０】
2009271767.tif 000013
【図１１】
2009271767.tif 000014
【図１２】
2009271767.tif 000015
【図１３】
2009271767.tif 000016