(57)【要約】【課題】位置が特定できる被写体が映っている部分を、オペレータへの負荷が軽く、高速に検索できる映像検索装置、および映像検索システムを得る。【解決手段】映像データ１を、映像フレームの時系列集合である映像生データ５と、各映像フレームの撮像範囲を示す撮像範囲データ１０を含む映像属性データ６で構成し、映像検索部３では、入力手段７が被写体の位置データおよび被写体と撮像範囲の位置関係を含む検索要求を受け付け、検索処理手段８が位置データと映像蓄積部２内の撮像範囲データから互いの位置関係を計算し、受け付けた検索要求を満足する映像フレームを求めて、出力手段９よりその検索結果を検索アプリケーション実行部４に出力する。【選択図】図１
2008171434.tif 000002
【特許請求の範囲】
【請求項１】
映像データを蓄積する映像蓄積部と、問い合わせ元からの検索要求に対して、当該検索要求の検索条件を満足する映像データを検索してその結果を前記問い合わせ元に回答する映像検索部から構成される映像検索装置において、
前記映像蓄積部に蓄積される映像データが、映像フレームの時系列集合である映像生データと、各映像フレームの撮像範囲を示す撮像範囲データを含む映像属性データから構成され、
前記映像検索部が、
被写体の位置データ、および前記被写体と撮像範囲との位置関係として、前記被写体が撮像される方向に関する条件を含む検索要求を受け付ける入力手段と、
前記位置データと撮像範囲データから前記被写体が撮像される方向を計算し、指定された前記撮像される方向に関する条件を含む検索要求を満足する映像フレームを求める検索処理手段と、
前記検索処理手段の検索結果を前記問い合わせ元に出力する出力手段を有することを特徴とする映像検索装置。
【請求項２】
映像検索部の入力手段が、複数の被写体が撮像される方向に関する条件を含む検索要求を受け付けるものであり、
前記映像検索部の検索処理手段が、複数の被写体の位置データと撮影範囲データから前記複数の被写体が撮像される方向を計算し、指定された前記撮像される方向に関する条件を含む検索要求を満足する映像フレームを求めるものであることを特徴とする請求項１記載の映像検索装置。
【請求項３】
映像蓄積部に蓄積される映像データの映像属性データが、各映像フレームの撮像範囲を示す撮像範囲データ、および前記各映像フレームの撮像時刻を示す撮像時刻データを含み、
映像検索部の入力手段が、被写体の位置データおよび前記被写体と前記撮像範囲との位置関係と、前記撮像時刻の範囲を示す撮像時間区間を含む検索要求を受け付けるものであり、
前記映像検索部の検索処理手段が、前記位置データと前記撮像範囲データから互いの位置関係を計算し、指定された前記位置関係および撮像時間区間を含む検索要求を満足する映像フレームを求めるものであることを特徴とする請求項１または請求項２記載の映像検索装置。
【請求項４】
映像蓄積部に蓄積される映像データの映像属性データが、各映像フレームの撮像範囲を示す撮像範囲データ、および前記各映像フレームの撮像時刻を計算するための撮像時刻データを含み、
映像検索部の入力手段が、被写体の位置データおよび前記被写体と前記撮像範囲との位置関係と、前記撮像時刻の範囲を示す撮像時間区間を含む検索要求を受け付けるものであり、
前記映像検索部の検索処理手段が、前記位置データと前記撮像範囲データから互いの位置関係を、前記撮像時刻データから撮像時刻を計算し、指定された前記位置関係および撮像時間区間を含む検索要求を満足する映像フレームを求めるものであることを特徴とする請求項１または請求項２記載の映像検索装置。
【請求項５】
映像データの映像属性データにおける撮像範囲データが、複数の時間的に連続する映像フレーム集合毎に、その集合に含まれる映像フレーム全体の撮像範囲を示す第一の撮像範囲データと、各映像フレームもしくは前記映像フレーム集合を分割した映像フレームサブ集合毎に、その撮像範囲を示す第二の撮像範囲データから構成され、
映像検索部の検索処理手段が、まず前記第一の撮像範囲データを基に前記映像フレーム集合に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、さらにその映像フレーム集合に属する各映像フレームまたは映像フレームサブ集合に対して、前記第二の撮像範囲データを基に位置関係を計算し、前記検索要求を満足する映像フレームを求めることを特徴とする請求項１または請求項２記載の映像検索装置。
【請求項６】
映像データの映像属性データにおける撮像範囲データが、複数の時間的に連続する映像フレーム集合毎に、その集合に含まれる映像フレーム全体の撮像範囲を示す第一の撮像範囲データと、各映像フレームもしくは前記映像フレーム集合を分割した映像フレームサブ集合毎に、その撮像範囲を計算するための第三の撮像範囲データから構成され、映像検索部の検索処理手段が、まず前記第一の撮像範囲データを基に前記映像フレーム集合に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、さらにその映像フレーム集合に属する各映像フレームまたは映像フレームサブ集合の撮像範囲を、前記第三の撮像範囲データを基に求めて位置関係を計算し、前記検索要求を満足する映像フレームを求めることを特徴とする請求項１または請求項２記載の映像検索装置。
【請求項７】
映像データの映像属性データにおける撮像範囲データが、複数のカメラで撮像された映像データに対して、第一の撮像範囲データおよび第二の撮像範囲データに加えて、前記カメラ毎にそのカメラで撮像された前記映像データに属する映像フレーム全体の撮像範囲を示す第四の撮像範囲データから構成され、
映像検索部の検索処理手段が、まず前記第四の撮像範囲データを基に前記各カメラに属する映像フレーム全体に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得るカメラを求め、次に前記第一の撮像範囲データを基にそのカメラで撮像された映像フレーム集合に対する位置関係を計算して、前記検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、さらにその映像フレーム集合に属する各映像フレームまたは映像フレームサブ集合に対して、前記第二の撮像範囲データを基に位置関係を計算し、前記検索要求を満足する映像フレームを求めるものであることを特徴とする請求項５記載の映像検索装置。
【請求項８】
映像データの映像属性データにおける撮像範囲データが、複数のカメラで撮像された映像データに対して、第一の撮像範囲データおよび第三の撮像範囲データに加えて、前記カメラ毎にそのカメラで撮像された前記映像データに属する映像フレーム全体の撮像範囲を示す第四の撮像範囲データから構成され、
映像検索部の検索処理手段は、まず前記第四の撮像範囲データを基に前記各カメラに属する映像フレーム全体に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得るカメラを求め、次に前記第一の撮像範囲データを基にそのカメラで撮像された映像フレーム集合に対する位置関係を計算して、前記検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、さらに前記第三の撮像範囲データを基に、その映像フレーム集合に属する各映像フレームまたは映像フレームサブ集合の撮像範囲を求めて位置関係を計算し、前記検索要求を満足する映像フレームを求めるものであることを特徴とする請求項６記載の映像検索装置。
【請求項９】
請求項１から請求項８のうちのいずれか１項記載の映像検索装置と、
前記映像検索装置に検索要求を送出する問い合わせ元としての検索アプリケーション実行部と、
被写体について、少なくともその被写体の位置データを管理するサブシステムから構成される映像検索システムであって、
前記検索アプリケーション実行部が、指定された被写体について、その位置データを前記サブシステムから獲得し、前記映像検索装置に獲得した位置データを含む検索要求を送出するものであることを特徴とする映像検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、記録装置に蓄積された多数の映像データの中から、所望の物体や空間といった被写体が映っている映像データあるいは映像データ部分を、被写体の位置データをキーとして検索する映像検索装置、および指定された被写体の位置データを獲得してこの映像検索装置に検索要求を送出する映像検索システムに関するものであり、例えばセキュリティ監視、プラント運転制御、設備管理、映画や放送番組の制作といった分野に適するものである。
【背景技術】
【０００２】
セキュリティ監視やプラント運転制御では、建物や設備がある現場の状況を複数の監視カメラで撮像し、現場と離れた監視センタにて必要な映像を切り替えて表示する映像監視が行われている。図２２は一般的な映像監視システムの構成例を示すブロック図であり、現場の状況を雲台カメラやカメラロボットを含む複数のカメラで撮像し、その映像データをローカルコントローラよりネットワークに送信し、当該ネットワークで接続された現場より離れた監視センタの監視ステーションにてその映像を監視する。その結果、障害の発生などが発見されると、当該監視ステーションより必要に応じて、ネットワークで接続された設備コントローラに指示して、現場の機器の障害復旧等を制御する。
【０００３】
なお、この監視センタにおいては、表示する映像はライブ映像により現時点の状況を確認する以外に、ビデオテープレコーダ（以下、ＶＴＲという）やハードディスク装置などに記録された蓄積映像を検索して表示し、事件発生前の状況を確認したり、現象を繰り返し表示して詳細に分析するといった作業が行われる。映像データの情報量は膨大なものとなるため、その蓄積には主としてＶＴＲが使用されていたが、動画像の圧縮・蓄積・伝送技術の進展と普及により、最近では動画像をディジタル圧縮してハードディスク装置等に記録する映像監視装置も製品化されている。
【０００４】
このように、監視映像をディジタル化して蓄積することにより、記録を止めずに蓄積映像を表示できる、過去の映像を素早く読み出し表示できる、センサデータや運転データ等の数値データと関連付けて検索・表示できるなどの効果があるため、図２２に示す映像監視システムなどにおいては、今後益々、多量の映像データを一時的あるいは長期間保存することになるのは確実である。その際、多数のカメラで撮像された多量の映像データから、必要な時に必要な映像データを高速に検索する機能を有する映像検索装置が重要となる。
【０００５】
ここで、図２３は例えば特許文献１に示された、従来の映像検索装置の構成を示すブロック図である。図において、１は映像データ、２は映像蓄積部であり、３は映像検索部、４は検索アプリケーションである。５は映像データ１の映像生データ、６はその映像属性データであり、７は映像検索部３の入力手段、８はその検索処理手段、９は出力手段である。
【０００６】
次に動作について説明する。
映像蓄積部２に蓄積される映像データ１は、各カメラに対して例えば最新の１０分間の映像をエンドレスに記録するものや、現場に設置された各種センサからのアラーム発報により例えば発報前後１分間の映像を記録するものなどがある。各映像データ１は１枚の画像である映像フレームが時間的に連続した映像生データ５と、撮像したカメラのＩＤ、記録のトリガとなったアラームのＩＤ、撮像時刻などを記述した映像属性データ６から構成されている。
【０００７】
オペレータの指示により、検索アプリケーション４はアラームＩＤやカメラＩＤをキーとして該当する映像データを検索するように、映像検索部３に対して検索要求を送出する。映像検索部３ではこの検索要求を入力手段７で受け付けると、検索処理手段８にて映像蓄積部２から映像属性データ６を読み出し、指定されたアラームＩＤやカメラＩＤとマッチする映像データ１をサーチする。映像検索部３は次に、そのマッチした映像データ１のＩＤ一覧を、検索結果として出力手段９より検索アプリケーション４に回答する。検索アプリケーション４はこの検索結果をもとに、自動的あるいはオペレータの指示に従い、該当する映像生データ５を映像蓄積部２から取り出して表示する。
【０００８】
【特許文献１】「セキュリティ監視用ディジタル画像記録装置」，Ｓａｎｙｏ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｖｉｅｗ  Ｖｏｌ．２８，Ｎｏ．２，ｐｐ．５０−５７  ０ｃｔ．１９９６
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来の映像検索装置は以上のように構成されているので、例えば装置ＡのバルブＢとか、Ｘ丁目Ｙ番地といった、被写体が映っている映像部分のみを見たいという要求に対して、該当箇所を担当するカメラのＩＤや該当箇所と関連するアラームＩＤから、可能性のある映像データ１を検索することしかできず、オペレータ自身が検索結果の映像全てに目を通し、該当する映像部分を探し出さねばならず、特に、パン・チルト・ズームが可能な雲台付きカメラや、カメラそのものが移動するカメラロボットの場合には、固定のアングルで決められた被写体のみを写していないので、該当する映像部分が少ない場合もあり、無駄な作業が増えてしまい、オペレータへの負荷が増大するといった課題があった。
【００１０】
この発明は上記のような課題を解決するためになされたもので、蓄積された多量の映像データから、位置が特定できる被写体が映っている映像データ部分を高速に検索できる映像検索装置、および被写体を管理するサブシステムから指定された被写体の位置データを獲得して上記映像検索装置に検索要求を送出する映像検索システムを得ることを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係る映像検索装置は、映像データを蓄積する映像蓄積部と、問い合わせ元からの検索要求に対して、検索要求の検索条件を満足する映像データを検索してその結果を問い合わせ元に回答する映像検索部から構成される映像検索装置において、映像蓄積部に蓄積される映像データが、映像フレームの時系列集合である映像生データと、各映像フレームの撮像範囲を示す撮像範囲データを含む映像属性データから構成され、映像検索部が、被写体の位置データ、および被写体と撮像範囲との位置関係として、被写体が撮像される方向に関する条件を含む検索要求を受け付ける入力手段と、位置データと撮像範囲データから被写体が撮像される方向を計算し、指定された撮像される方向に関する条件を含む検索要求を満足する映像フレームを求める検索処理手段と、検索処理手段の検索結果を問い合わせ元に出力する出力手段を有するものである。
【００１２】
この発明に係る映像検索装置は、映像検索部の入力手段が、複数の被写体の投影面での関係に関する条件を含む検索要求を受け付けるものであり、映像検索部の検索処理手段が、複数の被写体の位置データと撮影範囲データから複数の被写体の投影面での関係を計算し、指定された投影面での関係に関する条件を含む検索要求を満足する映像フレームを求めるものである。
【００１３】
この発明に係る映像検索装置は、映像属性データが、各映像フレームの撮像範囲を示す撮像範囲データとともに、各映像フレームを撮像した時刻を示す撮像時刻データを含み、映像検索部において、被写体の位置データおよび被写体と撮像範囲の位置関係と、撮像時刻の範囲を示す撮像時間区間とを含んだ検索要求を、その入力手段で受け付け、その検索処理手段にて、位置データと撮像範囲データから互いの位置関係を計算して、受け付けた検索要求を満足する映像フレームを求めるようにしたものである。
【００１４】
この発明に係る映像検索装置は、映像属性データが、各映像フレームの撮像範囲を示す撮像範囲データとともに、各映像フレームの撮像時刻を計算するための撮像時刻データを含み、映像検索部において、被写体の位置データおよび被写体と撮像範囲との位置関係と、撮像時刻の範囲を示す撮像時間区間とを含む検索要求を、その入力手段で受け付け、その検索処理手段にて、位置データと撮像範囲データから互いの位置関係を計算するとともに、撮像時刻データから撮像時刻を計算して、受け付けた検索要求を満足する映像フレームを求めるようにしたものである。
【００１５】
この発明に係る映像検索装置は、複数の時間的に連続する映像フレーム集合毎にその集合に含まれる映像フレーム全体の撮像範囲を示す第一の撮像範囲データと、各映像フレームまたは映像フレーム集合を分割した映像フレームサブ集合の撮像範囲を示す第二の撮像範囲データとによって、映像属性データの撮像範囲データを構成し、映像検索部において、その検索処理手段が、まず第一の撮像範囲データを基に映像フレーム集合に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、次いでその映像フレーム集合に属する各映像フレームまたは映像フレームサブ集合に対して、第二の撮像範囲データを基に位置関係を計算して、検索要求を満足する映像フレームを求めるようにしたものである。
【００１６】
この発明に係る映像検索装置は、複数の時間的に連続する映像フレーム集合毎に、その集合に含まれる映像フレーム全体の撮像範囲を示す第一の撮像範囲データと、各映像フレームまたは映像フレーム集合を分割した映像フレームサブ集合の撮像範囲を計算するための第三の撮像範囲データとによって、映像属性データの撮像範囲データを構成し、映像検索部において、その検索処理手段が、まず第一の撮像範囲データを基に映像フレーム集合に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、次いでその映像フレーム集合に属する映像フレームまたは映像フレームサブ集合の撮像範囲を、第三の撮像範囲データを基に求めて位置関係を計算し、検索要求を満足する映像フレームを求めるようにしたものである。
【００１７】
この発明に係る映像検索装置は、第一の撮像範囲データおよび第二の撮像範囲データに、カメラ毎にそのカメラで撮像された映像データに属する映像フレーム全体の撮像範囲を示す第四の撮像範囲データを加えて撮像範囲データを構成し、映像検索部において、その検索処理手段が、まず各カメラに属する映像フレーム全体に対する位置関係を第四の撮像範囲データを基に計算して、検索要求を満足する映像フレームが存在し得るカメラを求め、次いでそのカメラで撮像された映像フレーム集合に対する位置関係を第一の撮像範囲データを基に計算して、検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、さらにその映像フレーム集合に属する各映像フレームまたは映像フレームサブ集合に対して、第二の撮像範囲データを基に位置関係を計算して検索要求を満足する映像フレームを求めるようにしたものである。
【００１８】
この発明に係る映像検索装置は、第一の撮像範囲データおよび第三の撮像範囲データに、カメラ毎にそのカメラで撮像された映像データに属する映像フレーム全体の撮像範囲を示す第四の撮像範囲データを加えて撮像範囲データを構成し、映像検索部において、その検索処理手段が、まず各カメラに属する映像フレーム全体に対する位置関係を第四の撮像範囲データを基に計算して、検索要求を満足する映像フレームが存在し得るカメラを求め、次いでそのカメラで撮像された映像フレーム集合に対する位置関係を第一の撮像範囲データを基に計算して、検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、さらにその映像フレーム集合に属する映像フレームまたは映像フレームサブ集合の撮像範囲を、第三の撮像範囲データを基に求めて位置関係を計算し、検索要求を満足する映像フレームを求めるようにしたものである。
【００１９】
この発明に係る映像検索システムは、上記発明の映像検索装置と、映像検索装置に検索要求を送出する問い合わせ元としての検索アプリケーション実行部と、被写体について、少なくともその被写体の位置データを管理するサブシステムから構成される映像検索システムであって、検索アプリケーション実行部が、指定された被写体について、その位置データを前記サブシステムから獲得し、映像検索装置に獲得した位置データを含む検索要求を送出するようにしたものである。
【発明の効果】
【００２０】
この発明によれば、映像データを蓄積する映像蓄積部と、問い合わせ元からの検索要求に対して、検索要求の検索条件を満足する映像データを検索してその結果を問い合わせ元に回答する映像検索部から構成される映像検索装置において、映像蓄積部に蓄積される映像データが、映像フレームの時系列集合である映像生データと、各映像フレームの撮像範囲を示す撮像範囲データを含む映像属性データから構成され、映像検索部が、被写体の位置データ、および被写体と撮像範囲との位置関係として、被写体が撮像される方向に関する条件を含む検索要求を受け付ける入力手段と、位置データと撮像範囲データから被写体が撮像される方向を計算し、指定された撮像される方向に関する条件を含む検索要求を満足する映像フレームを求める検索処理手段と、検索処理手段の検索結果を問い合わせ元に出力する出力手段を有するよう構成したので、位置が特定できる被写体について、撮像範囲との位置関係を満足する映像データ部分のみを検索して自動的に切り出すことが可能となり、オペレータは位置関係を満足しない映像部分まで見る必要がなくなるため、短時間で業務を遂行することができ、オペレータへの負荷を軽減できる映像検索装置が得られる効果がある。また、例えば、ある被写体が投影面の中央に映った映像部分のみを見たいといった場合には、より精度の高い検索を行うことが可能となり、オペレータは検索結果の中から不要な映像部分を見る必要がなくなるという効果がある。
【００２１】
この発明によれば、映像検索部の入力手段が、複数の被写体の投影面での関係に関する条件を含む検索要求を受け付けるものであり、映像検索部の検索処理手段が、複数の被写体の位置データと撮影範囲データから複数の被写体の投影面での関係を計算し、指定された投影面での関係に関する条件を含む検索要求を満足する映像フレームを求めるよう構成したので、検索条件として単一の被写体に関するものだけではなく、複数の被写体に対して、各領域の位置データと投影面での互いの位置や大きさの関係を組み合わせた条件を含む検索要求にも容易に拡張することができる。
【００２２】
この発明によれば、映像属性データとして、各映像フレームの撮像範囲を示す撮像範囲データ、および撮像した時刻を示す撮像時刻データを含み、映像検索部において、入力手段が被写体の位置データおよび被写体と撮像範囲の位置関係と、撮像時刻の範囲を示す撮像時間区間を含む検索要求を受け付け、検索処理手段が位置データと撮像範囲データから互いの位置関係を計算して、受け付けた検索要求を満足する映像フレームを求めるように構成したので、ある被写体のある時間帯の映像のみ検索したい場合には、より精度の高い検索を行うことが可能となり、オペレータは検索結果の中から不要な映像部分を見る必要がなくなるという効果がある。
【００２３】
この発明によれば、映像属性データとして、各映像フレームの撮像範囲を示す撮像範囲データ、および撮像した時刻を計算するための撮像時刻データを含み、映像検索部において、入力手段が被写体の位置データおよび被写体と撮像範囲の位置関係と、撮像時刻の範囲を示す撮像時間区間を含む検索要求を受け付け、検索処理手段が位置データと撮像範囲データから互いの位置関係を計算するとともに、撮像時刻データから撮像時刻を計算して、受け付けた検索要求を満足する映像フレームを求めるように構成したので、ある被写体のある時間帯の映像のみ検索したい場合には、より精度の高い検索を行うことが可能となり、オペレータは検索結果の中から不要な映像部分を見る必要がなくなるとともに、撮像時刻データの格納のための記憶容量を削減でき、検索処理時間の短縮が可能になるなどの効果がある。
【００２４】
この発明によれば、撮像範囲データを、複数の時間的に連続する映像フレーム集合毎にその集合に含まれる映像フレーム全体の撮像範囲を示す第一の撮像範囲データと、各映像フレームの撮像範囲を示す第二の撮像範囲データとで構成し、映像検索部において、検索処理手段がまず第一の撮像範囲データを基に映像フレーム集合に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、さらにその映像フレーム集合に属する各映像フレームに対して第二の撮像範囲データを基に位置関係を計算して、検索要求を満足する映像フレームを求めるように構成したので、蓄積された全ての映像データにおける全ての映像フレームに対して、撮像範囲データの読み込み、位置関係計算および判定を行う必要がなくなり、検索処理時間を短縮できるという効果がある。
【００２５】
この発明によれば、撮像範囲データを、複数の時間的に連続する映像フレーム集合毎にその集合に含まれる映像フレーム全体の撮像範囲を示す第一の撮像範囲データと、各映像フレームの撮像範囲を計算するための第三の撮像範囲データとで構成し、映像検索部において、検索処理手段がまず第一の撮像範囲データを基に映像フレーム集合に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、さらにその映像フレーム集合に属する映像フレームの撮像範囲を第三の撮像範囲データを基に求めて位置関係を計算し、検索要求を満足する映像フレームを求めるように構成したので、全ての映像データにおける全ての映像フレームに対して、撮像範囲データの読み込みと、位置関係の計算および判定を行う必要がなくなり、検索処理時間の短縮が可能になるとともに、各映像フレームの撮像範囲データを少ないデータ量で記述することができて、記録装置の容量を削減できるなどの効果がある。
【００２６】
この発明によれば、撮像範囲データを、第一の撮像範囲データおよび第二の撮像範囲データに、カメラ毎にそのカメラで撮像された映像データに属する映像フレーム全体の撮像範囲を示す第四の撮像範囲データを加えて構成し、映像検索部において、検索処理手段がまず第四の撮像範囲データを基に、各カメラに属する映像フレーム全体に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得るカメラを求め、次に第一の撮像範囲データを基に、そのカメラで撮像された映像フレーム集合に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、さらにその映像フレーム集合に属する各映像フレームに対して、第二の撮像範囲データを基に位置関係を計算して検索要求を満足する映像フレームを求めるように構成したので、蓄積された全ての映像データについて、位置関係の計算および判定を行う必要がなくなり、検索検索処理を高速化できる効果がある。
【００２７】
この発明によれば、撮像範囲データを、第一の撮像範囲データおよび第三の撮像範囲データに、カメラ毎にそのカメラで撮像された映像データに属する映像フレーム全体の撮像範囲を示す第四の撮像範囲データを加えて構成し、映像検索部において、検索処理段がまず第四の撮像範囲データを基に、各カメラに属する映像フレーム全体に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得るカメラを求め、次に第一の撮像範囲データを基に、そのカメラで撮像された映像フレーム集合に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、さらにその映像フレーム集合に属する映像フレームの撮像範囲を、第三の撮像範囲データを基に求めて位置関係を計算し、検索要求を満足する映像フレームを求めるように構成したので、蓄積された全ての映像データについて、位置関係の計算および判定を行う必要がなくなって、検索処理を高速化できるとともに、各映像フレームの撮像範囲データを少ないデータ量で記述することができて、記録装置の容量を削減できるなどの効果がある。
【００２８】
この発明によれば、映像蓄積部に蓄積される映像データを、映像フレームの時系列集合である映像生データと、各映像フレームの撮像範囲を示す撮像範囲データを含む映像属性データとで構成し、映像検索部では、入力手段が被写体の位置データと被写体と撮像範囲の位置関係とを含む検索要求を検索アプリケーション実行部より受け付け、検索処理手段がその位置データと映像蓄積部にある撮像範囲データから互いの位置関係を計算し、受け付けた位置関係を含む検索要求を満足する映像フレームを求め、出力手段がその検索結果を検索アプリケーション実行部に出力し、検索アプリケーション実行部ではオペレータ等から指定された被写体の位置データを、各被写体について、少なくともその位置データを管理しているサブシステムから獲得し、映像検索装置に獲得した位置データを含む検索要求を送出するように構成したので、オペレータは被写体の位置データを自分自身で探してキーボート等で入力する必要がないため、例えば、設備運転表や地図からビジュアルにオブジェクトを選択することで、そのオブジェクトが映っている映像データを検索して表示することが可能となり、操作性のよい映像検索システムが得られる効果がある。
【発明を実施するための最良の形態】
【００２９】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による映像検索装置の構成を示すブロック図である。図において、１は当該映像検索装置によって検索される映像データであり、２はこの映像データ１を蓄積する映像蓄積部である。３は問い合わせ元からの検索要求に対して、その検索条件を満足する映像データ１を映像蓄積部２より検索し、結果を回答する映像検索部であり、４はオペレータ等の指示に従って映像検索部３に検索要求を送出する、問い合わせ元としての検索アプリケーション実行部である。
【００３０】
また、５は１枚の画像である映像フレームが時間的に連続した時系列集合による映像生データであり、６はその映像生データ５を撮像したカメラのＩＤや記録のトリガとなったアラームのＩＤなどを含む、当該映像生データ５の属性情報を記述する映像属性データである。映像データ１はこの映像生データ５および映像属性データ６によって構成されている。７は問い合わせ元である検索アプリケーション実行部４からの検索要求を受け付ける入力手段、８は映像蓄積部２に格納された映像データ１より、その検索要求を満足する映像データを求める検索処理手段であり、９はその検索結果を検索アプリケーション実行部４へ出力する出力手段である。映像検索部３はこの入力手段７、検索処理手段８、および出力手段９を有している。なお、これらは、図２３に同一符号を付して示した、従来のそれらに相当する部分である。
【００３１】
また、１０は各映像フレームの撮像範囲を示す撮像範囲データであり、カメラの位置（Ｘ，Ｙ，Ｚ）、水平方向の撮像角度（ＨＬ，ＨＲ）、垂直方向の撮像角度（ＶＵ，ＶＤ）、撮像距離（ＤＮ，ＤＦ）で規定される撮像範囲が、各映像フレーム毎に格納されている。前記映像属性データ６は、カメラＩＤやアラームＩＤとともにこの撮像範囲データ１０を含んでいる点で、図２３に同一符号を付して示した従来のそれとは異なっている。
【００３２】
次に動作について説明する。
所望の被写体が映っている映像を探して表示したい場合、オペレータは検索アプリケーション実行部４に対して被写体の位置データ（ｘ，ｙ，ｚ）を与えて検索を指示する。この検索の指示を受けた検索アプリケーション実行部４は映像検索部３に対して、その位置データと被写体と撮像範囲の位置関係“ｉｎｃｌｕｄｅ”をパラメータとする検索要求を送出する。映像検索部３の入力手段７はこの検索アプリケーション実行部４からの検索要求を受け付けると、検索処理手段８に映像データ１の検索処理の実行を指示する。
【００３３】
次に、この検索処理手段８による検索処理について説明する。図２はこの実施の形態１における検索処理の手順を示すフローチャートであり、検索処理手段８はこの図２に示す手順に従って、検索アプリケーション実行部４からの検索要求を満足する映像フレームをサーチし、検索結果リストに登録してゆく。すなわち、まずステップＳＴ１０１で映像データのカウンタｉを“１”に初期設定して、ステップＳＴ１０２で＃１〜＃Ｍ個の映像データ１について、その全てを調べたかどうかチェックする。この場合には、まだ完了していないのでステップＳＴ１０３に分岐して、映像フレームのカウンタｊを“１”に初期設定し、ステップＳＴ１０４にてその＃ｉ（この場合は＃１）映像データ１に含まれている＃１〜＃Ｆｉの映像フレームについて、その全てを調べたかどうかチェックする。この場合には、まだ完了していないのでステップＳＴ１０５に分岐して、＃ｉ映像データ１の＃ｊ（この場合は＃１）映像フレームの撮像範囲データ１０を読み込む。
【００３４】
次にステップＳＴ１０６に進み、物体や空間などの被写体の与えられた位置データと、ステップＳＴ１０５にて読み込んだ撮像範囲データ１０より、＃ｉ映像データ１の＃ｊ映像フレームにおける被写体と撮像範囲の相互の位置関係を計算し、ステップＳＴ１０７においてその＃ｉ映像データ１の＃ｊ映像フレームにおける互いの位置関係が、検索要求に含まれている指定された位置関係を満足しているか否かの判定を行う。具体的には、ステップＳＴ１０６において、位置データと撮像範囲データ１０から被写体が撮像範囲に含まれるか否かという包合関係の計算を行い、ステップＳＴ１０７では、その＃ｉ映像データ１の＃ｊ映像フレームにおける包含関係が、指定された包含関係を満足しているか否かについて判定する。
【００３５】
判定の結果、指定された位置関係を満足しれていれば、ステップＳＴ１０８にて検索結果リストにその＃ｊ映像フレームを登録した後、ステップＳＴ１０９で映像フレームのカウンタｊをインクリメントする。一方、満足していなければ、直接ステップＳＴ１０９に分岐してカウンタｊのインクリメントのみを行う。その後、処理をステップＳＴ１０４に戻して上記ステップＳＴ１０４〜ステップＳＴ１０９の一連の処理を繰り返す。＃ｉ映像データ１について、その＃１〜＃Ｆｉの映像フレームの全てについて上記処理が完了すると、ステップＳＴ１１０に分岐して映像データのカウンタｉをインクリメントする。その後、処理をステップＳＴ１０２に戻して上記ステップＳＴ１０２〜ステップＳＴ１１０の一連の処理を繰り返す。＃１〜＃ＭのＭ個の映像データ１の全てについて上記処理が完了すると、当該検索処理手段８による検索処理を終了し、出力手段９に検索条件を満足する映像フレームが登録された検索結果リストを渡す。
【００３６】
出力手段９は図１に示すような、映像データ１を識別する映像ＩＤと、該当する映像フレームの開始番号と終了番号による検索結果リストを、検索結果として検索アプリケーション実行部４に回答し、検索アプリケーション実行部４はその検索結果リストをオペレータに表示する。オペレータがそれを基に、該当する映像データ部分の表示を指示すれば、検索アプリケーション実行部４は映像蓄積部２から該当する映像データ部分の映像生データ５を取り出して表示する。
【００３７】
ここで、映像データ１は、例えば図３のようなデータ構造をしている。図３はこの実施の形態１における映像データ１のデータ構造を示す説明図であり、図中の１１は、映像生データ５を指定するポインタと映像属性データ６を指定するポインタを含む映像データ管理テーブルである。このように、映像データ管理テーブル１１から映像生データ５や映像属性データ６に、そして映像属性データ６から撮像範囲データ１０に、それぞれアドレスポインタを使ってアクセスできるようになっている。なお、撮像範囲データ１０は、図１の例では各映像フレーム毎に、また図３の例では連続する１０枚の映像フレーム集合毎にデータが記述されている。記述されるデータ項目としては、カメラの位置（Ｘ，Ｙ，Ｚ）、水平方向の撮像角度（ＨＬ，ＨＲ）、垂直方向の撮像角度（ＶＵ，ＶＤ）、および撮像距離（ＤＮ，ＤＦ）であり、カメラの位置は被写体の位置データと同じグローバル座標系で表され、水平方向および垂直方向の撮像角度と撮像距離はカメラの位置を中心とする極座標系で表される。
【００３８】
また、図４は被写体と撮像範囲の関係を示す説明図であり、図中の１２は被写体である。この図４はＸ−Ｙの２次元平面にて、被写体の位置データと映像フレームの撮像範囲データの関係を示している。＃１映像フレームおよび＃１０映像フレームにおけるカメラ位置は（ｘ１，ｙ１）＝（ｘ１０，ｙ１０）にある。映像フレームの撮像範囲は、水平方向の撮像角度（ＨＬ，ＨＲ）かつカメラからの撮像距離（ＤＮ，ＤＦ）で規定される、ハッチングを施したドーナツ状の部分に相当する。ここでは、☆印で表される被写体１２は＃１映像フレームの撮像範囲には含まれず、＃１０映像フレームの撮像範囲に含まれる。なお、その包含関係は以下に示す式（１）および式（２）から容易に判定できる。
ＨＲ≦θ＝ｔａｎ-1｛（ｙ−Ｙ１）／（ｘ−Ｘ１）｝≦ＨＬ……（１）
ＤＮ≦ｄ＝｛（ｘ−Ｘ１）2＋（ｙ−Ｙ１）2｝1/2≦ＤＦ……（２）
【００３９】
撮像範囲の距離はカメラのズーム値（焦点距離）や監視対象の建物や設備の配置から決められる。例えば、部屋の中に設置されたカメラは部屋の外を撮像することはできず、撮像範囲の距離を部屋内に設定しておけば正しい検索結果を返すことができる。図５はこの撮像範囲の距離とカメラの焦点距離の関係を示す説明図であり、図中の１２は被写体、１３はカメラの被写体１２が投影される投影面である。この図５に示すように、ズーム値すなわち焦点距離を変化させると、投影面１３での被写体１２の大きさは変化するが、例えば近い焦点距離では遠方の被写体１２は詳細に観察できないので、目的に応じてズーム値の変化によって撮像範囲の距離の値をダイナミックに変えることは有効である。
【００４０】
以上のように、この実施の形態１によれば、映像蓄積部２に蓄積される映像データ１を映像フレームの時系列集合である映像生データ５と、各映像フレームの撮像範囲を示す撮像範囲データ１０を含む映像属性データ６とで構成し、映像検索部３では、入力手段７が物体や空間などの被写体１２の位置データ、および被写体１２と撮像範囲の位置関係を含む検索要求を受け付け、検索処理手段８がその位置データと映像蓄積部２にある撮像範囲データ１０から、互いの位置関係を計算し、指定された位置関係を含む検索要求を満足する映像フレームを求め、出力手段９がその検索結果を問い合わせ元に出力するようにしたので、位置が特定できる被写体１２が映っている映像データ部分のみを検索して自動で切り出すことが可能となって、オペレータは被写体１２の映っていない映像部分まで見る必要がなくなるため、短時間で業務を遂行でき、作業にともなう疲労も少なくなるという効果が得られる。
【００４１】
なお、以上の説明において被写体の位置データとして点（ｘ，ｙ，ｚ）を与えるようにしたが、位置データは２次元あるいは３次元の領域で与えても、あるいは時間的に変化する軌跡で与えてもよい。このように領域や軌跡で与える場合には、全体が完全に含まれる、一部が含まれるといったバリエーションにも容易に拡張できる。また、位置データとして例えば領域Ａ，Ｂ両方が含まれるといった複数要素の組み合わせにも対応できる。
【００４２】
さらに、水平および垂直の撮像範囲データ１０として最小角度と最大角度で与えるようにしたが、カメラの向きと水平および垂直の広がりを表す角度で与えてもよく、広がりは焦点距離やズーム値からも計算でき、種々の極座標系パラメータが考えられる。
【００４３】
また、映像データ１のデータ構造は図３に示されるもののみに限定されるものではなく、例えば、図６に示すように、撮像範囲データ１０が映像生データ５の各映像フレームのヘッダ部に記述されるような構造であってもよい。
【００４４】
実施の形態２．
上記実施の形態１では、撮像範囲データをカメラの極座標系で定義した場合について説明したが、被写体の座標系で定義するようにしてもよい。実施の形態２はそのような映像検索装置に関するもので、実施の形態１とは撮像範囲データの座標系とデータ構造が異なるだけで、装置の構成や検索処理の手順は同様である。図７はこの実施の形態２における撮像範囲データの座標系とデータ構造を示す説明図である。図において、１０ａは外接台形による撮像範囲データ、１０ｂは外接矩形による撮像範囲データであり、１２は被写体である。
【００４５】
以下、その撮像範囲データの座標系およびデータ構造について説明する。この実施の形態２における撮像範囲データの座標系は、被写体１２の位置を表すグローバル座標系であり、図７では２つの例が示されている。その一つは、極座標系の撮像範囲であるドーナツ上の領域に外接する台形によって定義される、外接台形による撮像範囲データ１０ａである。なお、３次元の場合には、外接する角錐台にて定義される撮像範囲データとなる。この領域に被写体１２が含まれるか否かの判定は、２次元であれば被写体１２の位置（ｘ，ｙ）と外接台形を構成する４つの直線との上下関係、３次元であれば被写体位置（ｘ，ｙ，ｚ）と外接角錐台を構成する６つの面との上下関係を計算すればよく、その計算方法は幾何数学の基本公式を用いればよいので、ここではその説明を省略する。
【００４６】
もう一つは、極座標系の撮像範囲であるドーナツ上の領域に外接する矩形によって定義される、外接矩形による撮像範囲データ１０ｂである。なお、３次元の場合には、外接する直方体にて定義される撮像範囲データとなる。この場合、被写体１２がその領域に含まれるか否かの判定は、２次元であれば外接矩形を構成する直線との上下関係の計算が、また３次元であれば外接直方体を構成する面との上下関係の計算が、単に位置（ｘ，ｙ，ｚ）の各成分の大小比較となるため、さらに簡単である。
【００４７】
以上のように、この実施の形態２によれば、映像属性データ６の撮像範囲データ１０を被写体１２の位置を表す座標系で記述するようにしたので、極座標系のように毎回被写体１２の位置を極座標値に変換する処理が不要となるため、位置関係の判定処理を、簡単かつ高速に処理することができ、特に外接矩形や外接直方体で定義する場合には、真の撮像領域との誤差は大きくなるものの、より簡単かつ高速に位置関係の判定処理を行うことができるという効果が得られる。
【００４８】
実施の形態３．
上記各実施の形態では、被写体と撮像範囲との包含関係によって検索する場合について説明したが、被写体の投影面での大きさや位置によって検索を行うようにすることも可能である。図８はそのようなこの実施の形態３による映像検索装置の、投影面での被写体の位置関係を示す説明図であり、図中の１２は被写体、１３は投影面である。なお、同図（ａ）は被写体１２が投影面１３の中央にある場合を示し、同図（ｂ）は被写体１２が投影面１３の中央からずれている場合を示している。
【００４９】
この実施の形態３は、映像検索部３の入力手段７が、被写体１２と撮像範囲との位置関係として、被写体１２の投影面１３での大きさや位置といった、投影面１３での関係に関する条件を含んだ検索要求を受け付け、検索処理手段８が図２に示したステップＳＴ１０６において、位置データと撮像範囲データ１０から被写体１２の投影面１３での関係を計算することを除けば、実施の形態１の場合と同様である。
【００５０】
例えば、図８（ａ）に示すように、“Ａ”という被写体１２が中央に映っている映像部分のみを検索したい場合、検索要求の位置データとして位置（ｘ，ｙ，ｚ）、大きさ（Δｘ，Δｙ，Δｚ）を与え、関係として位置データで指定した領域が合まれ、かつ中央に位置するという“ｉｎｃｌｕｄｅ  ＆  ｃｅｎｔｅｒ”を指定する。検索処理手段８は図２のステップＳＴ１０６にて、まず指定された領域がカメラの投影面にどう投影されるかを計算する。
【００５１】
計算方法は図５に示すように、例えば被写体１２とカメラレンズが正対している場合、カメラレンズの焦点距離をＦ、レンズから被写体１２までの距離をＬとすると、投影面１３の座標系Ｘ−Ｙと正対し、レンズの中心線と被写体１２の交点を原点とするローカル座標系ｘ−ｙにおいて、点（ｘ０，ｙ０）が投影面１３上で投影される位置（Ｘ０，Ｙ０）は、次に示す式（３）で与えられる。
（Ｘ０，Ｙ０）＝（ｘ０，ｙ０）×Ｆ÷Ｌ  ……  （３）
【００５２】
なお、被写体１２がカメラレンズと正対していない場合には、被写体１２を正対するローカル座標系ｘ−ｙに写像した後、上記式（３）による計算によって求めればよい。
【００５３】
この計算により、検索要求で指定された領域が、例えば図８（ａ）に示すように投影面１３の中央にあるのか、同図（ｂ）に示すように投影面１３の端にあるのかを求めることができる。
【００５４】
以上のように、この実施の形態３によれば、映像検索部３の入力手段７が被写体１２と撮像範囲の位置関係として、被写体１２の投影面１３での大きさや位置といった、投影面での関係に関する条件を含む検索要求を受け付け、検索処理手段８が位置データと撮像範囲データから被写体１２の投影面１３での関係を計算し、指定された投影面１３での関係を含む検索要求を満足する映像フレームを求めるようにしたので、例えば、ある被写体１２が投影面１３の中央に映った映像部分のみを見たいというような場合には、より精度のよい検索を行うことができ、オペレータは検索結果の中から不要な映像部分（例えば、被写体１２の一部のみが映っている映像部分）を見る必要がなくなるという効果が得られる。
【００５５】
なお、以上の説明において、投影面１３での関係として被写体１２の領域が投影面１３の中央にあるか否かという位置関係を指定したが、指定した領域が投影面１３である面積以上を占める場合（すなわち、被写体１２がある大きさ以上に見える場合）という大きさの関係や、位置と大きさを組み合わせた関係を指定することも可能である。
【００５６】
また、検索条件として単一の被写体１２に関するものだけではなく、複数の被写体１２に対して、各領域の位置データと投影面１３での互いの位置や大きさの関係を組み合わせた条件を含む検索要求、例えば投影面１３で“Ａ”という被写体１２が“Ｂ”という被写体１２の右隣に映っている映像部分を検索するといった検索要求にも容易に拡張することができる。
【００５７】
実施の形態４．
上記実施の形態１および実施の形態２では、被写体と撮像範囲との包含関係によって検索する場合について、また実施の形態３では、被写体の投影面での大きさや位置によって検索する場合について説明したが、撮像方向によって検索を行うようにしてもよい。図９はそのようなこの実施の形態４による映像検索装置における被写体と検索方向の関係を示す説明図であり、＃１〜＃４の４台のカメラで被写体１２を撮像した場合について示している。
【００５８】
この実施の形態４は、映像検索部３の入力手段７が、被写体１２と撮像範囲との位置関係として、被写体１２が撮像される方向に関する条件を含む検索要求を受け付け、検索処理手段８が図２のステップＳＴ１０６およびＳＴ１０７にて、位置データと撮像範囲データ１０から被写体１２の撮像方向を計算して判定することを除けば、実施の形態１の場合と同様である。
【００５９】
例えば、図９に示すように、被写体１２が＃１〜＃４の４つのカメラから撮像されており、被写体１２のＮ面にある一点（指定点）に関して、ベクトルＶ１を中心に±θの角度内で映っている映像部分を検索したいとする。その場合、検索要求として、関係条件である方向指定“ｄｉｒｅｃｔ”と、指定点の座標（ｘ，ｙ，ｚ）、撮像方向のベクトルＶ１、および角度範囲±θを与える。検索処理手段８は、図２に示したステップＳＴ１０６およびＳＴ１０７において、各映像フレームがその指定点を含むか否かをまず計算し、含まれていれば、指定点からカメラに向かうベクトルＶ２と撮像方向のベクトルＶ１から、ベクトル間の角度φを求め、角度範囲±θと比較する。すなわち、次の式（４）によって判定によってすることができる。
θ  ≧  φ  ≧  −θ  …………  （４）
【００６０】
なお、両ベクトル間の角度φは、両ベクトルの内積をＶ１・Ｖ２とすると、次に示す式（５）で求められる。
φ＝ａｒｃｃｏｓ（Ｖ１・Ｖ２÷（｜Ｖ１｜×｜Ｖ２｜））  ……  （５）
【００６１】
以上のように、この実施の形態４によれば、映像検索部３の入力手段７が被写体１２と撮像範囲の位置関係として、被写体１２が撮像される方向に関する条件を含む検索要求を受け付け、検索処理手段８が位置データと撮像範囲データから被写体１２の撮像方向を計算し、指定された撮像方向を含む検索要求を満足する映像フレームを求めるようにしたので、例えば、ある被写体１２をある角度範囲で映している映像部分のみを見たいというような場合には、より精度のよい検索を行うことが可能となり、オペレータは検索結果の中から不要な映像部分を見る必要がなくなるという効果が得られる。
【００６２】
なお、以上の説明において、検索条件として単一の被写体１２に対する検索について示したが、複数の被写体１２に対する撮像方向を指定した組み合わせの検索要求にも容易に拡張することができる。
【００６３】
実施の形態５．
上記各実施の形態では、被写体と撮像範囲との包含関係、被写体の投影面での大きさや位置、さらには撮像方向などによって検索するものを示したが、被写体と撮像範囲との位置関係に加えて、その撮像時間も条件として検索を行うようにしてもよい。図１０はそのようなこの実施の形態５による映像検索装置における映像データのデータ構造を示す説明図であり、図中の１１は映像データ管理テーブル、１４は撮像範囲・撮像時刻データである。この撮像範囲・撮像時刻データ１４は、各映像フレームの撮像範囲を示す撮像範囲データ１０と、その映像フレームを撮像した時刻を示す撮像時刻データ１５を含んでいる。
【００６４】
なお、この実施の形態５は、被写体と撮像範囲の位置関係に加えて、撮像時間も検索要求で指定できるようにしたもので、その装置構成は図１に示した実施の形態１の場合と同様であるが、映像データ１のデータ構造と検索処理手段８の処理手順が異なるので、以下、それらを中心に説明する。
【００６５】
図１０に示すように、映像データ１の映像属性データ６は、各映像フレームの撮像範囲を示す撮像範囲データ１０に加えて、その映像フレームがいつ撮像されたかを示す撮像時刻データ１５が記述されている撮像範囲・撮像時間データ１４に、アドレスポインタを使ってアクセスできるようにしている。ここで、映像データ１と検索要求で指定される撮像時間区間の関係を図１１に示す。各映像フレームが検索要求にある被写体と撮像範囲の関係条件だけでなく、例えば、図１１に示すように、１９９７年１月６日のｔｓ＝１３時２０分３０秒からｔｅ＝１３時３０分２０秒の時間に撮像された映像データというような、撮像時間区間も条件とする検索に対して、上記撮像範囲・撮像時間データ１４の撮像範囲データ１０と撮像時刻データ１５を用いて各映像フレームの判定を行う。
【００６６】
次に、その処理手順について説明する。
ここで、図１２はこの実施の形態５における検索処理手段８の処理手順を示すフローチャートであり、検索処理手段８は各々の映像データ１の各映像フレームに対して、撮像範囲・撮像時刻データ１４より撮像範囲データ１０および撮像時刻データ１５を読み出して判定を行う。従って、データの読み出しおよび判定を行う、図１２のステップＳＴ２０５〜ＳＴ２０９のみが、図２に示した実施の形態１におけるステップＳＴ１０５〜ＳＴ１０８と異なっており、他のステップは実施の形態１の場合と同様であるため、ここではそのステップＳＴ２０５〜ＳＴ２０９の動作についてのみ説明する。
【００６７】
検索処理手段８はまずステップＳＴ２０５にて、＃ｉ映像データ１の＃ｊ映像フレームの撮像範囲データ１０および撮像時刻データ１５を読み込み、次いでステップＳＴ２０６でその撮像時刻が検索条件にある撮像時間区間［ｔｓ，ｔｅ］に含まれるか否かをチェックする。含まれていれば、ステップＳＴ２０７に進み、実施の形態１の場合と同様に、＃ｉ映像データ１の＃ｊ映像フレームにおける被写体と撮像範囲の相互の位置関係を計算し、ステップＳＴ２０８においてその＃ｉ映像データ１の＃ｊ映像フレームにおける互いの位置関係が、検索要求に含まれている指定された位置関係を満足するか否かの判定を行う。判定の結果、満足していれば、ステップＳＴ２０９において検索結果リストにその映像フレームを登録した後、ステップＳＴ２１０でカウンタｊのインクリメントを行い、満足していなければ、映像フレームの登録を行わずにそのままステップＳＴ２１０に分岐する。
【００６８】
以上のように、この実施の形態５によれば、映像属性データ６として各映像フレームの撮像範囲を示す撮像範囲データ１０および撮像した時刻を示す撮像時刻データ１５を含ませ、映像検索部３の入力手段７が物体や空間などの被写体の位置データおよび被写体と撮像範囲の位置関係と、撮像時刻の範囲を示す撮像時間区間を含む検索要求を受け付け、検索処理手段８が位置データと撮像範囲データ１０から互いの位置関係を計算し、指定された位置関係および撮像時間区間を含む検索要求を満足する映像フレームを求めるようにしたので、ある被写体のある時間帯の映像のみを検索したいといような場合には、より精度のよい検索を行うことができ、オペレータは検索結果の中から不要な映像部分を見る必要がなくなるという効果が得られる。
【００６９】
なお、以上の説明においては、映像データ１のデータ構造が、映像フレーム毎に撮像時刻データ１５を有するものについて説明したが、それにのみ限定されるものではなく、例えば、図１３に示すような他のデータ構造であってもよい。この図１３に示すように、映像データ１毎に、撮像の開始と終了の時刻、および映像フレームの時間間隔である周期を、撮像時刻データ１５ａとしてその映像属性データ６中に記述しておけば、映像データ１の各映像フレームの撮像時刻はこれらの撮像時刻データ１５ａから単純な計算で求めることができる。
【００７０】
このように、映像データ単位に撮像時刻データ１５ａを記述することで、図１０に示すような、映像フレーム毎に撮像時刻データ１５を記述する場合よりも蓄積するデータ量を削減することができる。さらに、検索要求にある撮像時間区間と映像データ１の開始および終了時刻を、映像データ単位で比較することにより、撮像時間区間にない映像データ１の映像フレームは、図１２のステップＳＴ２０５〜ＳＴ２１０のループ処理をする必要がなくなり、また映像データ１の一部の映像フレームが指定撮像時間区間にある場合には、その映像フレーム１に対してのみステップＳＴ２０５〜ＳＴ２１０の処理を行えばよいので、サーチ速度も向上させることができる。
【００７１】
さらに、映像データ毎の撮像時刻を、例えば、文献「Ｔｈｅ  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｙｓｔｅｍ：ｄａｔａ  ｓｔｒｕｃｔｕｒｅｓ  ａｎｄ  ｑｕｅｒｙ  ｐｒｏｃｅｓｓｉｎｇ」（ＡＣＭ  Ｍｕｌｔｉｍｅｄｉａ  Ｓｙｓｔｅｍｓ，Ｖｏｌ．４，Ｎｏ．４，ｐｐ．１７２−１８６  １９９６）に示されるような木構造で管理しておけば、検索時に不要な映像データをサーチする必要がなくなり、特に映像データの数が多く、記録している撮像時間区間全体に比べて検索する時間区間が小さい場合には、検索時間を大幅に向上させることができる。なお、木構造による具体的な管理方法はこの発明の本質ではないので、ここではその説明は省略する。
【００７２】
また、監視映像や記録映像では、撮像範囲はカメラの位置、方向、焦点距離等により物理的に決まり、また撮像時刻も実時間となるが、必ずしもそれだけに限定されるものではない。ドラマやアニメーション等でも仮想空間での撮像範囲や仮想の撮像時間を定義し、映像データに記述しさえすれば、見たい映像シーンを検索する場合には同様な効果が得られる。
【００７３】
実施の形態６．
上記各実施の形態では、映像フレームによる１段の検索を行うものについて説明したが、映像フレーム集合から映像フレームの２段で検索を行うようにしてもよい。図１４はそのようなこの実施の形態６による映像検索装置における映像データのデータ構造を示す説明図であり、相当部分については、図３と同一符号を付してその説明を省略する。なお、図中、１６は時間的に連続する映像フレーム集合毎に、その映像フレーム集合に含まれる映像フレーム全体の撮像範囲を示す第一の撮像範囲データであり、１７は各映像フレームの撮像範囲を示す第二の撮像範囲データである。
【００７４】
この実施の形態６は、検索の高速化を目的としており、装置の構成は図１に示す実施の形態１の場合と同様であるが、映像データ１のデータ構造と検索処理手段８の処理手順がそれとは異なるので、以下、それらを中心に説明する。
【００７５】
図１４に示すように、撮像範囲データは、複数の時間的に連続する映像フレーム集合毎に、その映像フレーム集合に含まれる映像フレーム全体の撮像範囲、すなわち各映像フレームの撮像範囲全てを含む領域を示す第一の撮像範囲データ１６と、映像フレーム集合内の各映像フレームの撮像範囲を示す第二の撮像範囲データ１７の２種類に分けられる。映像データ１の映像属性データ６は、この第一の撮像範囲データ１６と第二の撮像範囲データ１７に、アドレスポインタを使って２段階でアクセスできるようになっている。
【００７６】
次に、その検索処理の手順について説明する。
ここで、図１５はこの実施の形態６における検索処理手段８の処理手順を示すフローチャートである。この図１５に示すように、検索処理手段８は全ての映像データ１について判定処理を行うが、一つの映像データ１は複数の時間的に運続する映像フレーム集合に分割しているため、ステップＳＴ３０６にて＃ｉ映像データ１の＃ｊ映像フレーム集合に対する第一の撮像範囲データ１６を読み込む。次にステップＳＴ３０７でこの第一の撮像データ１６を基に被写体と撮像範囲の位置関係を計算し、ステップＳＴ３０８にて検索要求で指定された位置関係を満たすか否かを判定する。
【００７７】
判定の結果、満たしていなければ、その映像フレーム集合に含まれているいかなる映像フレームも検索要求の条件を満足しないので、ステップＳＴ３１５，ＳＴ３０４，ＳＴ３０５を経て次の映像フレーム集合のチェックヘ進む。一方、満たしている場合には、ステップＳＴ３１０でその＃ｊ映像フレーム集合に含まれる＃ｋ映像フレームに対して第二の撮像範囲データ１７を読み込む。次にステップＳＴ３１１でこの第二の撮像範囲データ１７に基づく位置関係の計算、ステップＳＴ３１２で指定された位置関係を満足するか否かの判定、ステップＳＴ３１３で検索結果リストヘの登録といった、映像フレーム単位の処理を行う。
【００７８】
ステップＳＴ３１４，ＳＴ３０９にて当該映像フレーム集合の全ての映像フレームに対する処理が終了したことが検出された場合、ステップＳＴ３１５，ＳＴ３０４，ＳＴ３０５を経て次の映像フレーム集合のチェックヘ進む。その後、ステップＳＴ３１５，ＳＴ３０４にて当該＃ｊ映像データ１の全ての映像フレーム集合に対する処理が終了したことが検出されると、ステップＳＴ３１６，ＳＴ３０２，ＳＴ３０３を経て次の映像データ１のチェックヘ進む。さらに、ステップＳＴ３１６，ＳＴ３０２において＃１〜＃Ｍの全ての映像データ１に対する処理が終了したことが検出されると、当該検索処理手段８による検索処理を終了して、得られた検索結果リストを出力手段９に渡す。
【００７９】
以上のように、この実施の形態６によれば、撮像範囲データを、複数の時間的に連続する映像フレーム集合毎にその集合に含まれる映像フレーム全体の撮像範囲を示す第一の撮像範囲データ１６と、各映像フレームの撮像範囲を示す第二の撮像範囲データ１７とで構成し、映像検索部３の検索処理手段８がまず第一の撮像範囲データ１６を基に映像フレーム集合に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、さらにその映像フレーム集合に属する各映像フレームに対して、第二の撮像範囲データ１７を基に位置関係を計算し、検索要求を満足する映像フレームを求めるようにしたので、蓄積された全ての映像データ１における全ての映像フレームに対して、撮像範囲データの読み込み、位置関係の計算および判定を行う必要がなくなり、検索処理時間を削減できるという効果が得られる。
【００８０】
なお、以上の説明では、第一の撮像範囲データ１６の単位である、連続する映像フレーム集合は、一つの映像データ１が複数に分割されたものとしたが、一つの映像データ１そのものであってもよい。その場合、映像データ１のデータ構造は、例えば図１６のようになる。すなわち、各映像データ１の映像属性データ６中に、その映像データ１に含まれる映像フレーム全体の撮像範囲を第一の撮像範囲データ１６として記述しておけばよい。さらに、一つの映像データ１に対して第一の撮像範囲データ１６を定義するとともに、その映像データ１を分割した映像フレーム集合にも第一の撮像範囲データ１６を定義するといった、図１４と図１６を融合したようなデータ構造も考えられる。
【００８１】
また、映像フレーム集合の間隔は等間隔である必要はなく、例えばカメラが移動している区間と静止している区間といった任意の設定が可能である。
【００８２】
さらに、第一の撮像範囲データ１６を、例えば文献「画像データベース」（坂内正夫、大沢裕  昭晃堂  １９８７）に示されるような木構造で別途管理しておけば、検索時に不要な映像フレーム集合をサーチする必要がなくなり、特に映像データ量が多く、かつ全体の（全カメラの）撮像領域が広範囲であって、検索する撮像範囲が全体に比べて小さい場合には大幅な検索時間の向上が図られる。なお、木構造による具体的な管理方法はこの発明の本質ではないので詳細に説明しないが、例えば第一の撮像範囲データ１６の各々に対して、その撮像範囲の外接矩形と中心点を定義し、中心点でｋ−ｄ木やＢＤ木などの木を生成するとともに、各ノードに子ノードの外接矩形を包含する外接矩形を定義し、葉ノードでは外接矩形および対応する第一の映像データを参照できるポインタ値を記述するといったやり方が考えられる。
【００８３】
また、上記説明では、第二の撮像範囲データ１７の単位が映像フレームであるものを示したが、第一の撮像範囲データ１６の単位である映像フレーム集合をさらに細かく分割した映像フレームサブ集合であってもよい。
【００８４】
実施の形態７．
上記実施の形態６においては、映像フレームの撮像範囲を第二の撮像範囲データから直接得る場合について示したが、映像フレームの撮像範囲を計算によって求めるようにしてもよい。図１７はそのようなこの実施の形態７による映像検索装置における映像データのデータ構造を示す説明図であり、相当部分については、図１４と同一符号を付してその説明を省略する。なお、図中、１８は各映像フレームの撮像範囲を計算するための第三の撮像範囲データである。
【００８５】
この実施の形態７は、上記実施の形態６の場合と同様に、検索の高速化を目的としており、検索処理手段８の処理手順もそれと類似しているため、以下では、映像データ１のデータ構造と、検索処理手段８の処理手順中の実施の形態６とは異なる部分を中心に説明する。
【００８６】
図１７に示すように、撮像範囲データは、映像フレーム集合に含まれる各映像フレームの撮像範囲の全てを含む領域を示す第一の撮像範囲データ１６と、各映像フレームの撮像範囲を計算するための第三の撮像範囲データ１８とから構成される。この第三の撮像範囲データ１８は、映像フレーム集合における撮像範囲データの初期値と変化速度を表している。例えば、＃１〜＃１０の映像フレームによる映像フレーム集合では、カメラの方向の水平角度が、初期値２０度から２度／フレームで移動していることを示している。この第三の撮像範囲データ１８のデータ項目は、カメラの位置、水平角度と垂直角度によるカメラの方向、ズーム値であるが、実施の形態１で説明したように、カメラの位置と方向とズーム値から、図４の映像フレームに対する撮像範囲を容易に計算することができる。
【００８７】
次に、その検索処理の手順について説明する。
ここで、図１８はこの実施の形態７における検索処理手段８の処理手順を示すフローチャートである。図１８に示すように、この実施の形態７の検索処理の手順は、第二の撮像範囲データ１７の読み込みに代えて、第三の撮像範囲データ１８を読み込みを行い、その第三の撮像範囲データ１８を基に映像フレームの撮像範囲を計算する処理が加わった点で、図１５に示した実施の形態６の検索処理の手順とは異なっている。すなわち、第一の撮像範囲データ１６を基に計算された＃ｊ映像フレーム集合の位置関係が、ステップＳＴ４０８において検索要求を満足すると判定されると、ステップＳＴ４０９で当該＃ｊ映像フレーム集合の第三の撮像範囲データ１８を読み込み、ステップＳＴ４１１にてその＃ｋ映像フレームの撮像範囲を計算する。
【００８８】
以上のように、この実施の形態７によれば、撮像範囲データを、複数の時間的に連続する映像フレーム集合毎にその集合に含まれる映像フレーム全体の撮像範囲を示す第一の撮像範囲データ１６と、各映像フレームの撮像範囲を計算するための第三の撮像範囲データ１８とで構成し、映像検索部３の検索処理手段８がまず、第一の撮像範囲データ１６を基に映像フレーム集合に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、さらにその映像フレーム集合に属する映像フレームの撮像範囲を、第三の撮像範囲データ１８を基に求めて位置関係を計算し、検索要求を満足する映像フレームを求めるようにしたので、実施の形態６の場合と比べて、各映像フレームの撮像範囲データを少ないデータ量で記述することができ、記録装置の容量を削減できる効果がある。
【００８９】
なお、この実施の形態７においても実施の形態６の場合と同様に、第一の撮像範囲データ１６については、その単位を一つの映像データそのものしとてもよく、また、一つの映像データに対して第一の撮像範囲データ１６を定義したり、映像データを分割した映像フレーム集合にも第一の撮像範囲データ１６を定義してもよく、さらに、木構造で別途管理することにより検索速度を向上させるといった拡張が考えられる。
【００９０】
また、第三の撮像範囲データ１８の単位も、第一の撮像範囲データ１６の単位である映像フレーム集合をさらに細かく分割した映像フレームサブ集合であってもよい。
【００９１】
実施の形態８．
上記実施の形態６および実施の形態７では、映像フレーム集合から映像フレームによる２段で検索を行うものについて説明したが、カメラから映像フレーム集合、さらに映像フレームの３段で検索を行うようにしてもよい。図１９はそのようなこの実施の形態８による映像検索装置における映像データのデータ構造を示す説明図であり、相当部分については、図１４と同一符号を付してその説明を省略する。なお、図中、１９はカメラ毎にそのカメラで撮像された映像データに属する映像フレーム全体の撮像範囲を、外接矩形の形式で示した第四の撮像範囲データであり、２０はこの第四の撮像範囲データ１９をカメラＩＤおよび映像データのＩＤに対応付けるカメラ管理テーブルである。
【００９２】
この実施の形態８は、上記実施の形態６の場合と同様に、検索の高速化を目的としており、その処理手順もそれと類似しているため、以下では、実施の形態６と異なる映像データ１のデータ構造と、検索処理手段８の処理手順中の実施の形態６とは異なる部分を中心に説明する。
【００９３】
図１９に示すように、この実施の形態８の映像データ１には、図１４に示す実施の形態６の映像データ１に加えて、カメラ管理テーブル２０がある。このカメラ管理テーブル２０には、各カメラに対してカメラＩＤ、そのカメラで撮像され蓄積されている映像データに属する映像フレーム全体の撮像範囲を示す第四の撮像範囲データ１９、その映像データのＩＤが記述されており、映像データ管理テーブル１１と相互に参照できるようになっている。なお、このカメラ管理テーブル２０は次に述べる検索処理に用いられる。
【００９４】
次に、その検索処理の手順について説明する。
ここで、図２０はこの実施の形態８における検索処理手段８の処理手順を示すフローチャートである。図２０に示すように、この実施の形態８の検索処理の手順ではまず、ステップＳＴ５０１でカメラ判別のためのカウンタｌを“１”に初期設定し、ステップＳＴ５０２〜ＳＴ５０５において該当するカメラか否かを判定する。すなわち、ステップＳＴ５０３において＃ｌのカメラに対して第四の映像データ１９を読み込み、ステップＳＴ５０４にて検索要求にある位置関係を計算して、ステップＳＴ５０５で位置関係を満足するか否かを判定する。
【００９５】
その結果、満足するようであれば、その＃ｌカメラで撮像され蓄積されている映像データの中に検索要求を満たす映像フレームが存在する可能性があるので、ステップＳＴ５０６〜ＳＴ５１９において、＃ｌカメラで撮像された映像データが位置関係を満足するか否かを判定して、満足する場合にはその映像データの中で位置関係を満足する映像フレームのサーチを行う。
【００９６】
一方、ステップＳＴ５０５の判定での結果、満足しないようであれば、ステップＳＴ５２２に分岐してカウンタｌのインクリメントを行い、処理をステップＳＴ５０２に戻して次のカメラの撮像した映像データのサーチを行う。また、ステップＳＴ５０７において、＃ｌカメラの撮像した映像データの全てのフレーム集合についてのサーチが終了したことが検出された場合にも、ステップＳＴ５２２に分岐してカウンタｌのインクリメントを行い、処理をステップＳＴ５０２に戻して次のカメラの撮像した映像データのサーチを行う。ステップＳＴ５０２で＃１〜＃Ｃの全てのカメラで撮像した映像データのサーチが終了したことが検出されると、当該検索処理手段８による検索処理を終了して、得られた検索結果リストを出力手段９に渡す。
【００９７】
以上のように、この実施の形態８によれば、撮像範囲データを、第一の撮像範囲データ１６と第二の撮像範囲データ１７に加えて、カメラ毎にそのカメラで撮像された映像データに属する映像フレーム全体の撮像範囲を示す第四の撮像範囲データ１９で構成し、映像検索部３の検索処理手段８がまず第四の撮像範囲データ１９を基に、各カメラに属する映像フレーム集合に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得るカメラを求め、次に第一の撮像範囲データ１６を基に、そのカメラで撮像された映像フレーム集合に対する位置関係を計算して、検索要求を満足する映像フレームが存在し得る映像フレーム集合を求め、さらにその映像フレーム集合に属する各映像フレームに対して、第二の撮像範囲データ１７を基に位置関係を計算して、検索要求を満足する映像フレームを求めるようにしたので、蓄積された全ての映像データ１について、位置関係の計算および判定を行う必要がなくなって検索処理を高速化でき、特に、各々のカメラの撮像範囲が互いに重複しない、あるいは重複が少ない場含には、検索対象となる映像データの数をかなり減らすことが可能となって、検索処理をより高速化できる効果が得られる。
【００９８】
なお、以上の説明においては、第四の撮像範囲データ１９はそのカメラで撮像され蓄積されている映像データに属する映像フレーム全体の撮像範囲を示すデータとしたが、これは各カメラに対してディフォルトで定義された固定の値でもよいし、映像データの蓄積・削除に対応してダイナミックに更新されるものであってもよい。
【００９９】
また、上記説明では、第四の撮像範囲データ１９が外接矩形の形式であるものを示したが、他の外接多角形でもよいし、また位置が固定のカメラならば極座標系の記述も可能である。さらに、第四の撮像範囲データ１９を上述の木構造で別途管理しておけば、さらに検索処理の高速化を図ることができる。
【０１００】
さらに、上記説明では、映像データ１は映像フレームの撮像範囲を示すデータとして第二の撮像範囲データ１７を用いたものを示したが、実施の形態７において説明した第三の撮像範囲データ１８を用いるようにしてもよい。そのようにすることにより、各映像フレームの撮像範囲データを少ないデータ量で記述することができ、記録装置の容量を削減できる効果がある。
【０１０１】
また、カメラロボットのようなカメラ位置が変化し、かつ広域を移動する場合には、撮像位置や撮像時間をべ一スに複数のサブカメラに分割して第四の撮像範囲データ１９を記述すれば、チェックすべき映像データを絞り込むことが可能となる。
【０１０２】
実施の形態９．
上記各実施の形態においては、映像データを検索する映像検索装置について説明したが、サブシステムより被写体の位置データを求めて検索を行う映像検索システムに適用することも可能である。図２１はそのようなこの発明の実施の形態９による映像検索システムの構成を示すブロック図である。図において、２１は上記サブシステムとしての設備データベースシステム、２２は同じくサブシステムとしての地理情報システムであり、ローカルエリアネットワーク（ＬＡＮ）などのネットワークによって検索アプリケーション実行部４に接続されている。なお、他の部分は、図１の相当部分と同一の符号を付してその説明を省略する。
【０１０３】
図２１に示すように、この実施の形態９による映像検索システムは、上記各実施の形態で説明した映像検索装置と、設備データベースシステム２１や地理情報システム２２などの、被写体の位置データも含めた被写体の各種情報を管理するサプシステムを統合したシステムである。
【０１０４】
次に動作について説明する。
検索アプリケーション実行部４はオペレータに対して、監視対象である設備の状態や位置を表形式やグラフィックス形式で表示する。例えば、設備の名称、運転パラメータ、測定値を表形式やグラフ形式で表示したり、監視区域の地図上に設備オブジェクトを表示する。なお、表示するのは検索アプリケーション実行部４自身が統合する設備データベースシステム２１や地理情報システム２２などのサブシステムとは独立に表示してもよいし、検索アプリケーション実行部４が何をどのように表示するかを指示して、設備データベースシステム２１や地理情報システム２２などに表示させるようにしてもよい。
【０１０５】
前者の場合には、オペレータが表や地図に表示されたオブジェクトをマウスクリック等で選択した際に、検索アプリケーション実行部４はそのオブジェクトを識別し、当該オブジェクトの名称やＩＤなどを得て、それらをパラメータとして設備データベースシステム２１や地理情報システム２２などにオブジェクトが存在する位置を問い合わせ、その位置データを得る。また、後者の場合には、オペレータが表や地図に表示されたオブジェクトをマウスクリック等で選択すると、設備データベースシステム２１や地理情報システム２２などがそのオブジェクトを識別し、オブジェクトの名称やＩＤだけでなくその位置データも得て、検索アプリケーション実行部４にオブジェクト名称やＩＤとともに、そのオブジェクトが存在する位置データを通知する。このような検索アプリケーション実行部４と設備データベースシステム２１や地理情報システム２２などのサブシステムとの連携方法は公知技術で実現することができ、またこの発明の本質ではないので、ここではその詳細な説明は省略する。
【０１０６】
オペレータがある設備や区域の監視映像を見たい場合には、オペレータ自身が被写体の位置データを探して座標等の形式でキーボード入力するのではなく、上述の設備運転表や地図上の該当位置をマウスクリック等で指定する。上述の検索アプリケーション実行部４と設備データベースシステム２１や地理情報システム２２などのサブシステムとの連係機能により、検索アプリケーション実行部４はオペレータが選択した被写体オブジェクトの位置データを、設備データベースシステム２１や地理情報システム２２などから獲得し、それを指定されている位置関係の条件とともに、映像検索装置の映像検索部３に対して検索要求として出力する。映像検索部３は上記各実施の形態で説明した検索手順に従って、指定された被写体が映っている映像データ（映像フレーム）を検索結果リストに登録し、検索手順の終了時に、得られた検索結果リストを検索結果として検索アプリケーション実行部４に出力する。
【０１０７】
その後、他の実施の形態と同様に、検索アプリケーション実行部４はその検索結果をオペレータに表示し、オペレータがそれを基に該当する映像データ部分の表示を指示すれば、検索アプリケーション実行部４は映像蓄積部２から映像データ１の該当する部分の映像生データ５を取り出して表示する。
【０１０８】
以上のように、この実施の形態９によれば、映像蓄積部２に蓄積される映像データ１を映像フレームの時系列集合である映像生データ５と、各映像フレームの撮像範囲を示す撮像範囲データ１０を含む映像属性データ６から構成し、映像検索装置の映像検索部３では、その入力手段７が物体や空間などの被写体の位置データおよび被写体と撮像範囲の位置関係を含む検索要求を受け付け、その検索処理手段８がその位置データと映像蓄積部２にある撮像範囲データ１０から互いの位置関係を計算して、検索要求で指定された位置関係を含む検索要求を満足する映像フレームを求め、その出力手段９が得られた検索結果を検索アプリケーション実行部４に出力し、検索アプリケーション実行部４では、オペレータ等から指定された被写体についてその位置データを建物や装置といった被写体について少なくとも被写体の位置データを管理するサブシステム２１，２２から獲得し、映像検索装置の映像検索部３に獲得した位置データを含む検索要求を送出するようにしたので、オペレータは設備運転表や地図から直接操作で、該当するオブジェクトを選択することによりそのオプジェクトが映っている映像データを検索し、その映像生データ５を表示することが可能となり、操作性のよい映像検索システムが実現できる効果が得られる。
【０１０９】
なお、以上の説明においては、設備運転表や地図から直接操作で映像データを検索するようにしたが、これに限定されるものではなく、例えば、設備の種類やアラームイベントの種類などをオペレータが指定し、検索アプリケーション実行部４が設備データベースシステム２１や地理情報システム２２などのサブシステムに該当する設備を問い合わせ、回答結果の設備ＩＤリストを基に位置データを獲得して、映像検索装置に問い合わせるといった種々のバリエーションのユーザインタフェースが可能である。
【０１１０】
また、実施の形態６〜実施の形態９の説明においては、検索要求は被写体の位置と撮像範囲との関係をキーとしたが、実施の形態５の場合と同様に、撮像時刻を含めた検索条件であっても構わない。
【０１１１】
また、上記全ての実施の形態において、被写体の位置と撮像範囲との関係や撮像時刻に関する条件は各々一つであったが、複数の条件をＡＮＤやＯＲで結合した論理式による検索要求としてもよい。
【０１１２】
さらに、上記全ての実施の形態において、該当する映像データが複数ある場合には、指定した条件で優先順位付けして検索結果リストを返送したり、また決められた個数の映像データしか返送しないようにすることも可能である。例えば、複数カメラで同じ被写体を異なる角度で撮像していた場合、該当する映像データから、最もよく捉えているものを自動的に選択あるいは優先順位情報をつけて回答することができる。
【図面の簡単な説明】
【０１１３】
【図１】この発明の実施の形態１による映像検索装置の構成を示すブロック図である。
【図２】上記実施の形態１における検索処理の手順を示すフローチャートである。
【図３】上記実施の形態１における映像データのデータ構造を示す説明図である。
【図４】上記実施の形態１における被写体と撮像範囲の関係を示す説明図である。
【図５】上記実施の形態１における撮像範囲の距離とカメラの焦点距離の関係を示す説明図である。
【図６】上記実施の形態１における映像データ構造の他の例を示す説明図である。
【図７】この発明の実施の形態２による映像検索装置における撮像範囲データの座標系とデータ構造を示す説明図である。
【図８】この発明の実施の形態３による映像検索装置における被写体の投影面での位置関係を示す説明図である。
【図９】この発明の実施の形態４による映像検索装置における被写体と検索方向の関係を示す説明図である。
【図１０】この発明の実施の形態５による映像検索装置における映像データのデータ構造を示す説明図である。
【図１１】上記実施の形態５における映像データと検索要求で指定される撮像時間区間の関係を示す説明図である。
【図１２】上記実施の形態５における検索処理の手順を示すフローチャートである。
【図１３】上記実施の形態５における映像データのデータ構造の他の例を示す説明図である。
【図１４】この発明の実施の形態６による映像検索装置における映像データのデータ構造を示す説明図である。
【図１５】上記実施の形態６における検索処理の手順を示すフローチャートである。
【図１６】上記実施の形態６における映像データのデータ構造の他の例を示す説明図である。
【図１７】この発明の実施の形態７による映像検索装置における映像データのデータ構造を示す説明図である。
【図１８】上記実施の形態７における検索処理の手順を示すフローチャートである。
【図１９】この発明の実施の形態８による映像検索装置における映像データのデータ構造を示す説明図である。
【図２０】上記実施の形態８における検索処理の手順を示すフローチャートである。
【図２１】この発明の実施の形態９による映像検索システムの構成を示すブロック図である。
【図２２】一般的な映像監視システムの構成例を示すシステム構成図である。
【図２３】従来の映像検索装置の構成を示すブロック図である。
【符号の説明】
【０１１４】
１  映像データ、２  映像蓄積部、３  映像検索部、４  検索アプリケーション実行部（問い合わせ元）、５  映像生データ、６  映像属性データ、７  入力手段、８  検索処理手段、９  出力手段、１０，１０ａ，１０ｂ  撮像範囲データ、１２  被写体、１３  投影面、１５，１５ａ  撮像時刻データ、１６  第一の撮像範囲データ、１７  第二の撮像範囲データ、１８  第三の撮像範囲データ、１９第四の撮像範囲データ、２１  設備データベースシステム（サブシステム）、２２  地理情報システム（サブシステム）。
【図１】
2008171434.tif 000003
【図２】
2008171434.tif 000004
【図３】
2008171434.tif 000005
【図４】
2008171434.tif 000006
【図５】
2008171434.tif 000007
【図６】
2008171434.tif 000008
【図７】
2008171434.tif 000009
【図８】
2008171434.tif 000010
【図９】
2008171434.tif 000011
【図１０】
2008171434.tif 000012
【図１１】
2008171434.tif 000013
【図１２】
2008171434.tif 000014
【図１３】
2008171434.tif 000015
【図１４】
2008171434.tif 000016
【図１５】
2008171434.tif 000017
【図１６】
2008171434.tif 000018
【図１７】
2008171434.tif 000019
【図１８】
2008171434.tif 000020
【図１９】
2008171434.tif 000021
【図２０】
2008171434.tif 000022
【図２１】
2008171434.tif 000023
【図２２】
2008171434.tif 000024
【図２３】
2008171434.tif 000025