(57)【特許請求の範囲】
【請求項１】
映像の撮影位置と撮影方向とを示すデータに基づいて、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を、複数の被写体サイズのオーダの夫々について算出する算出手段と、
前記算出手段によって算出された複数の被写体サイズのオーダに夫々対応するＭＢＲを示すデータを、管理対象の映像の撮影範囲を示すデータとして記憶装置に格納する管理手段と
を備える映像管理システム。
【請求項２】
前記算出手段は、管理対象の複数の映像に対して共通な代表被写体サイズのオーダに対応するビューボリュームのＭＢＲを算出するとともに、各映像に対して規定された複数の被写体サイズのオーダに夫々応じたビューボリュームのＭＢＲを算出し、
前記管理手段は、
前記代表被写体サイズのオーダに対応するＭＢＲで前記複数の映像を階層的に管理するためのツリー構造を決定し、
前記ツリー構造を用いて、ツリー中の各最下位ノードに前記算出手段で算出された前記複数の映像の一つに対する前記代表被写体サイズのオーダ及び前記複数の被写体サイズのオーダに応じた各ＭＢＲを示すデータが格納され、前記ツリー中の下位ノードを有する各ノードに該ノードが有する全ての下位ノードに夫々格納された前記代表被写体サイズのオーダ及び前記複数の被写体サイズのオーダに応じた各ＭＢＲを示すデータで特定される各ＭＢＲを夫々包含する被写体サイズのオーダ毎のＭＢＲを示すデータが格納されたツリーを作成し、このツリーを記憶装置に格納する
請求項１に記載の映像管理システム。
【請求項３】
映像の撮影位置と撮影方向とを示すデータに基づいて算出された、複数の被写体サイズのオーダの夫々に対応する、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を夫々示すデータを、管理対象の映像の撮影範囲を示すデータとして格納した記憶手段と、
検索対象の被写体の位置とサイズとが与えられた場合に、前記被写体のサイズより大きく且つ最小の前記複数の被写体サイズのオーダの一つに対応する前記記憶手段中のＭＢＲを特定し、特定したＭＢＲ中に前記被写体の位置が含まれている場合には、そのＭＢＲに対応する映像に係るデータを、検索結果の一つとして抽出する検索手段と
を備える映像検索システム。
【請求項４】
前記記憶手段は、複数の映像を階層的に管理するためのツリーを記憶し、
前記ツリーは、前記複数の映像に対して共通な代表被写体サイズのオーダに応じて算出された各映像に対応するＭＢＲで決定されたツリー構造を有し、
前記ツリー中の各最下位ノードは、前記複数の映像の前記代表被写体サイズのオーダに応じたＭＢＲと、前記複数の映像の一つに対して規定された複数の被写体サイズのオーダに応じて算出された複数のＭＢＲとを夫々示すデータを有し、
前記ツリー中の下位ノードを有する各ノードは、該ノードが有する全ての下位ノードに夫々格納された前記代表被写体サイズのオーダ及び前記複数の被写体サイズのオーダに夫々対応する各ＭＢＲを示すデータで特定される各ＭＢＲを夫々包含する被写体サイズのオーダ毎のＭＢＲを示すデータを有し、
前記検索手段は、任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意された複数の被写体サイズのオーダの中から、前記被写体のサイズより大きく且つ最小の被写体サイズのオーダに応じたＭＢＲを検索ＭＢＲとして決定し、前記被写体の位置を含む検索ＭＢＲを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索ＭＢＲに対応する映像に係る情報を、映像検索結果の一つとして抽出する
請求項３記載の映像検索システム。
【請求項５】
コンピュータが、
映像の撮影位置と撮影方向とを示すデータに基づいて、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を、複数の被写体サイズのオーダの夫々について算出し、
前記算出手段によって算出された複数の被写体サイズのオーダに夫々対応するＭＢＲを示すデータを、管理対象の映像の撮影範囲を示すデータとして記憶装置に格納する
ことを含む映像管理方法。
【請求項６】
管理対象の複数の映像に対して共通な代表被写体サイズのオーダのビューボリュームのＭＢＲを算出するとともに、各映像に対して規定された複数の被写体サイズのオーダに夫々応じたビューボリューム及びＭＢＲを算出し、
前記代表被写体サイズのオーダに対応するＭＢＲで前記複数の映像を階層的に管理するためのツリー構造を決定し、
前記ツリー構造を用いて、ツリー中の各最下位ノードに前記算出手段で算出された前記複数の映像の一つに対する前記代表被写体サイズのオーダ及び前記複数の被写体サイズのオーダに応じた各ＭＢＲを示すデータが格納され、前記ツリー中の下位ノードを有する各ノードに該ノードが有する全ての下位ノードに夫々格納された前記代表被写体サイズのオーダ及び前記複数の被写体サイズのオーダに応じた各ＭＢＲを示すデータで特定される各ＭＢＲを夫々包含する被写体サイズのオーダ毎のＭＢＲを示すデータが格納されたツリーを作成し、
このツリーを前記記憶装置に格納する
ことをさらに含む請求項５記載の映像管理方法。
【請求項７】
コンピュータが、
検索対象の被写体の位置とサイズとが与えられた場合に、映像の撮影位置と撮影方向とを示すデータに基づいて算出された、複数の被写体サイズのオーダの夫々に対応する、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を夫々示すデータを、管理対象の映像の撮影範囲を示すデータとして格納した記憶手段にアクセスし、
前記被写体のサイズより大きく且つ最小の前記複数の被写体サイズのオーダの一つに対応する前記記憶手段中のＭＢＲを特定し、
特定したＭＢＲ中に前記被写体の位置が含まれている場合には、そのＭＢＲに対応する映像に係るデータを、検索結果の一つとして抽出する
ことを含む映像検索方法。
【請求項８】
前記記憶手段は、複数の映像を階層的に管理するためのツリーを記憶し、
前記ツリーは、前記複数の映像に対して共通な代表被写体サイズのオーダに応じて算出された各映像に対応するＭＢＲで決定されたツリー構造を有し、
前記ツリー中の各最下位ノードは、前記複数の映像の前記代表被写体サイズのオーダに応じたＭＢＲと、前記複数の映像の一つに対して規定された複数の被写体サイズのオーダに応じて算出された複数のＭＢＲとを夫々示すデータを有し、
前記ツリー中の下位ノードを有する各ノードは、該ノードが有する全ての下位ノードに夫々格納された前記代表被写体サイズのオーダ及び前記複数の被写体サイズのオーダに夫々対応する各ＭＢＲを示すデータで特定される各ＭＢＲを夫々包含する被写体サイズのオーダ毎のＭＢＲを示すデータを有し、
任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意された複数の被写体サイズのオーダの中から、前記被写体のサイズより大きく且つ最小の被写体サイズのオーダに応じたＭＢＲを検索ＭＢＲとして決定し、
前記被写体の位置を含む検索ＭＢＲを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索ＭＢＲに対応する映像に係る情報を、映像検索結果の一つとして抽出する
ことをさらに含む請求項７記載の映像検索方法。
【請求項９】
映像の撮影位置と撮影方向とを示すデータに基づいて、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を、複数の被写体サイズのオーダの夫々について算出するステップと、
前記算出手段によって算出された複数の被写体サイズのオーダに夫々対応するＭＢＲを示すデータを、管理対象の映像の撮影範囲を示すデータとして記憶装置に格納するステップと
をコンピュータに実行させるプログラム。
【請求項１０】
検索対象の被写体の位置とサイズとが与えられた場合に、映像の撮影位置と撮影方向とを示すデータに基づいて算出された、複数の被写体サイズのオーダの夫々に対応する、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を夫々示すデータを、管理対象の映像の撮影範囲を示すデータとして格納した記憶手段にアクセスするステップと、
前記被写体のサイズより大きく且つ最小の前記複数の被写体サイズのオーダの一つに対応する前記記憶手段中のＭＢＲを特定するステップと、
特定したＭＢＲ中に前記被写体の位置が含まれている場合には、そのＭＢＲに対応する映像に係るデータを、検索結果の一つとして抽出するステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、蓄積された大量の映像データの中から、特定の被写体が撮影されている映像区間を検索するための技術に関する。
【背景技術】
【０００２】
蓄積された大量の映像データから特定の被写体映像を抽出する方法として、幾つかの発明が提案されている。例えば、特許文献１に開示された「映像検索装置及び映像検索システム」がある。
【０００３】
撮影時にカメラパラメータ(画角等)と、カメラ位置座標(緯度、経度)と、光軸方向(パン，ティルト，ヨー)とが、フレーム毎の時系列メタデータとして記録される。カメラパラメータ，位置座標及び光軸方向の情報から、映像を撮影したときのビューボリューム(撮影空間)を算出することができる。
【０００４】
ビューボリュームは、図２０に示すように、例えば、ＸＹ平面(水平面)において、カメラの撮影位置に対する近接面及び遠方面を示す直線と、カメラの水平画角を規定する各直線とで囲まれた台形の領域として規定することができる。ビューボリュームは三角形の領域として規定されることもある。
【０００５】
検索すべき被写体の位置がビューボリューム内にあるか否かを判定することによって、映像内に被写体が撮影されているか否かを判定することができる。この判断はフレーム毎に行うことができる。
【０００６】
判定処理が１フレーム毎に実行される場合には、検索コスト(検索時間，ＣＰＵ負荷，メモリ容量等)が高くなる。このため、検索システムが実装される場合には、複数の映像サブ集合(ショット，ファイル等)毎にビューボリュームのＭＢＲ(外接四角形：Minimum Bounding Region)が予め計算される。
【０００７】
即ち、図２１の上側に示すように、例えば、複数のショットが映像サブデータとして存在する場合には、各ショットのビューボリュームに対する外接四角形(ＭＢＲ：Minimum Bounding Region)が計算される。図２１に示す例では、６つの映像サブデータ(ショット)があり、各映像サブデータに対するビューボリューム及びＭＢＲが規定されている。
【０００８】
さらに、映像データ全体を包含するＭＢＲとして、各映像サブデータのＭＢＲを包含するＭＢＲ(映像サブ集合のＭＢＲ)を規定することができる。この場合、映像の検索時において、映像サブ集合のＭＢＲ内に被写体位置が存在しているか否かが判断される。映像サブ集合のＭＢＲ内に被写体位置が存在しない場合には、その映像サブ集合に対する検索処理は実行されない。これによって、検索コストの低減を図ることができる。
【０００９】
映像サブ集合及びそのＭＢＲは、そのままの状態でデータベースに格納(例えばテーブルに格納)される。或いは、映像サブ集合及びそのＭＢＲにインデックスが付与され、Ｒ−ｔｒｅｅなどを用いたツリー構造で、階層的なデータ管理が行われる。例えば、図２１の下側に示すように、映像サブ集合のＭＢＲをルートとして、これに含まれる映像サブデータのＭＢＲがその位置に応じて分割され(ツリーの中段のノード参照)、最下位のノードとして、映像サブデータのＭＢＲが格納される。
【００１０】
ツリーインデックスを用いた階層構造が採用される場合には、データの検索コストがデータ数Ｎに対してＯ(log(N))となる。このコストは、階層構造が採用されない場合のコストＯ(Ｎ)よりも効率が良い。但し、データの追加／削除が行われる毎に、ツリーインデックスの構造を作り直す必要がある。このため、データ管理コストが上昇する傾向を持つ。
【００１１】
ビューボリュームを基本とする映像検索では、ビューボリューム及びＭＢＲが小さい程、検索対象の絞り込みが容易となる。このため、ビューボリュームの遠方面を検索対象と
する被写体サイズに合わせてビューボリューム及び検索対象を最小にする必要がある。
【００１２】
例えば、遠方面が例えば撮影位置から１０ｋｍ先に設定された場合において、自動車(数ｍのサイズを持つ)が被写体(検索対象)として検索される場合を想定する。この場合、遠方面における自動車は１ピクセル以下で存在することになる。従って、この遠方面上の自動車の映像は、検索結果として抽出する価値を持たない。しかし、遠方面の設定条件下において、当該映像は検索結果の一つに含まれる。従って、検索結果に含まれる映像が増大する。数ｍのサイズを有する自動車のような物体は、例えば１ｋｍ以下の遠方面の適用が適当である。
【００１３】
これに対し、遠方面が近くに設定されると、遠方面以遠の被写体は、実際に映像中に含まれていても、検索においてヒットしなくなってしまう。
【００１４】
例えば、ランドマークとなるような高層ビルや山などは、映像中において撮影位置から数ｋｍ〜数十ｋｍ先に存在していても、その存在を映像で確認することができる。このとき、遠方面が１ｋｍ以下に設定されていると、その高層ビルや山などはビューボリュームに含まれないと判断され、検索結果から漏れてしまう(図２２参照)。
【００１５】
このため、従来における映像検索では、以下の二つの対策を二者択一的に選択していた。
(１)検索対象のサイズを仮定して、仮定した被写体サイズに対応するビューボリュームでシステムを構築する。
(２)検索コストの増大を許容して大きめのビューボリュームを採用して検索漏れをなくす。
【００１６】
従って、従来技術では、被写体サイズに対して柔軟な映像検索ができないという問題点があった。
【特許文献１】特開平１１−２８２８５１号公報
【特許文献２】特開平９−２５９１３０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
本発明の目的の一つは、適正なコストで特定の被写体が撮影されている映像を検索することができる技術を提供することである。
【００１８】
また、本発明の目的の一つは、特定の被写体が撮影されている映像をもれなく抽出することを可能とする技術を提供することである。
【課題を解決するための手段】
【００１９】
本発明は、上記目的を達成するため以下の構成を採用する。
【００２０】
すなわち、本発明は、映像の撮影位置と撮影方向とを示すデータに基づいて、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を、複数のサイズオーダの夫々について算出する算出手段と、
前記算出手段によって算出された複数のサイズオーダに夫々対応するＭＢＲを示すデータを、映像の撮影範囲を示すデータとして記憶装置に格納する管理手段と
を備える映像管理システムである。
【００２１】
本発明において、映像は、静止画及び動画を含む。動画は、複数の映像区間(フレーム)から構成される。
【００２２】
本発明によれば、複数のサイズオーダに対応するＭＢＲが撮影範囲を示すデータとして記憶装置に格納される。このため、映像の検索時において、被写体のサイズに基づき、被写体が適正なサイズで撮影されていると認められるＭＢＲのみを検索すれば、検索のコストを低減することができる。
【００２３】
好ましくは、本発明による映像管理システムにおける前記算出手段は、特定サイズの被写体が一定画素サイズ以上(例えば一画素サイズ以上)、一定画素数以上、及び一定画素サイズ又は画素数以上且つ一定画角以上のいずれかで撮影される範囲のビューボリュームを算出する。このようにすれば、利用価値の高い被写体の映像を含む映像の撮影範囲を規定するデータを作成することができる。
【００２４】
好ましくは、本発明による映像管理システムにおける前記算出手段は、被写体サイズに応じて予め規定された複数のサイズオーダに夫々対応するビューボリュームのＭＢＲを算出する。
【００２５】
好ましくは、本発明による映像管理システムは、被写体の位置及びサイズが入力された場合に、前記被写体のサイズよりも大きく且つ最小のサイズオーダに対応するＭＢＲを特定し、特定したＭＢＲに前記被写体の位置が含まれているか否かを判定する検索手段をさらに備える。
【００２６】
このようにすれば、被写体が適正なサイズで撮影されていると認められるＭＢＲのみを対象として、被写体の位置が含まれているか否かが判定される。これによって、検索コストを抑えることができる。また、被写体が適正なサイズで撮影されていると認められるＭＢＲが特定されることで、検索漏れを防止することができる。
【００２７】
好ましくは、本発明による映像管理システムの前記算出手段は、管理対象の複数の映像に対して共通な代表サイズオーダのビューボリュームのＭＢＲを算出するとともに、各映像に対して規定された複数のサイズオーダに夫々応じたビューボリュームのＭＢＲを算出し、
前記管理手段は、
前記代表サイズオーダに対応するＭＢＲで前記複数の映像を階層的に管理するためのツリー構造を決定し、
前記ツリー構造を用いて、ツリー中の各最下位ノードに前記算出手段で算出された前記複数の映像の一つに対する前記代表サイズオーダ及び前記複数のサイズオーダに応じた各ＭＢＲを示すデータが格納され、前記ツリー中の下位ノードを有する各ノードに該ノードが有する全ての下位ノードに夫々格納された前記代表サイズオーダ及び前記複数のサイズオーダに応じた各ＭＢＲを示すデータで特定される各ＭＢＲを夫々包含するサイズオーダ毎のＭＢＲを示すデータが格納されたツリーを作成し、このツリーを記憶装置に格納する。
【００２８】
このようにすれば、複数のサイズオーダに応じた複数のＭＢＲを効率的に管理することができる。代表サイズオーダは、複数のサイズオーダの一つであっても良く、映像に対して規定された複数のサイズオーダとは別に用意されるものであっても良い。
【００２９】
また、このような構成を採用すれば、映像の追加／削除において、代表サイズオーダのＭＢＲに係るツリーの改変処理を行えば良いことになる。このため、映像の追加／削除に係るツリーの管理コストの低減を図ることができる。
【００３０】
好ましくは、本発明による映像管理システムは、任意の被写体の位置及びサイズが与え
られた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じたＭＢＲを検索ＭＢＲとして決定し、前記被写体の位置を含む検索ＭＢＲを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索ＭＢＲに対応する映像に係る情報を、映像検索結果の一つとして抽出する検索手段をさらに備える。
【００３１】
このようにすれば、代表サイズオーダを含む複数のサイズオーダのＭＢＲ中に、検索対象の被写体を含まないＭＢＲがあったとしても、被写体を含むと考えられるＭＢＲが特定され、検索される。これによって、検索漏れを防ぐことができる。
【００３２】
好ましくは、本発明による映像管理システムの前記算出手段は、管理対象の複数の映像の夫々について複数のサイズオーダに応じたＭＢＲを夫々算出し、
前記管理手段は、
前記各サイズオーダに応じたＭＢＲで前記複数の映像を階層的に管理するためのツリー構造を前記サイズオーダ毎に決定し、
ツリー中の最下位ノードに前記算出手段で算出された複数のサイズオーダの一つに応じたＭＢＲを示すデータが格納され、前記ツリー中の下位ノードを有する各ノードに該ノードの有する全ての下位ノードで夫々管理される前記複数のサイズオーダの一つに応じたＭＢＲのデータに応じたＭＢＲを夫々包含するＭＢＲを示すデータが格納されたツリーを前記サイズオーダ毎に作成し、これらのツリーを記憶装置に格納する。
【００３３】
このようにすれば、サイズオーダ毎に検索に適したツリーを作成することができる。即ち、代表サイズオーダのツリーよりも適正なツリーを作成することができる。従って、被写体のサイズに応じたツリーを選択して、検索コストの適正な検索を行うことが可能となる。
【００３４】
好ましくは、本発明による映像管理システムは、任意の被写体の位置及びサイズが与えられた時に、前記複数のサイズオーダの中から前記被写体のサイズより大きく且つ最小のサイズオーダを決定し、決定されたサイズオーダに対応するツリーを特定し、前記被写体の位置を含むＭＢＲを前記特定されたツリーのルートノードから順にたどり、前記特定されたツリーの最下位ノードで検索される前記被写体の位置を含むＭＢＲに対応する映像に係る情報を、映像検索結果の一つとして抽出する検索手段をさらに備える。
【００３５】
また、本発明は、映像の撮影位置と撮影方向とを示すデータに基づいて算出された、複数のサイズオーダの夫々に対応する、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を夫々示すデータを、管理対象の映像の撮影範囲を示すデータとして格納した記憶手段と、
検索対象の被写体の位置とサイズとが与えられた場合に、前記被写体のサイズより大きく且つ最小の前記複数のサイズオーダの一つに対応する前記記憶手段中のＭＢＲを特定し、特定したＭＢＲ中に前記被写体の位置が含まれている場合には、そのＭＢＲに対応する映像に係るデータを、検索結果の一つとして抽出する検索手段と
を備える映像検索システムである。
【００３６】
好ましくは、本発明による映像検索システムの前記記憶手段は、複数の映像を階層的に管理するためのツリーを記憶し、
前記ツリーは、前記複数の映像に対して共通な代表サイズオーダに応じて算出された各映像に対応するＭＢＲで決定されたツリー構造を有し、
前記ツリー中の各最下位ノードは、前記複数の映像の前記代表サイズオーダに応じたＭＢＲと、前記複数の映像の一つに対して規定された複数のサイズオーダに応じて算出された複数のＭＢＲとを夫々示すデータを有し、
前記ツリー中の下位ノードを有する各ノードは、該ノードが有する全ての下位ノードに夫々格納された前記代表サイズオーダ及び前記複数のサイズオーダに夫々対応する各ＭＢＲを示すデータで特定される各ＭＢＲを夫々包含するサイズオーダ毎のＭＢＲを示すデータを有し、
前記検索手段は、任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じたＭＢＲを検索ＭＢＲとして決定し、前記被写体の位置を含む検索ＭＢＲを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索ＭＢＲに対応する映像に係る情報を、映像検索結果の一つとして抽出する。
【００３７】
本願では、上述したような映像管理システム、映像検索システムと同様の特徴を有する方法の発明、プログラムの発明、プログラムを記録した記録媒体の発明を、本発明とすることができる。
【発明の効果】
【００３８】
本発明によれば、適正なコストで特定の被写体が撮影されている映像を検索することができる。
【００３９】
また、本発明によれば、特定の被写体が撮影されている映像をもれなく抽出することが可能となる。
【発明を実施するための最良の形態】
【００４０】
以下、本発明の実施形態について図面を用いて説明する。実施形態で説明する構成は例示であり、本発明は実施形態の構成に限定されない。
【００４１】
〔実施形態の概要〕
実施形態では、蓄積された映像データから被写体が撮影されている映像又は映像区間を同定するために、映像の撮影時における、カメラパラメータ(画角等)、カメラ位置座標(撮影位置)、光軸方向(パン、ティルト、ヨー：撮影方向)が、メタデータとして記録される。
【００４２】
また、映像蓄積時に、映像が撮影されたときのビューボリューム(撮影範囲)、及びビューボリュームに対応するＭＢＲ(外接四角形：Minimum Bounding Region)が、メタデータから算出される。ＭＢＲは、映像データを検索するための検索インデックスとして利用される。
【００４３】
ビューボリューム及びＭＢＲのサイズは、検索すべき被写体のサイズによって異なる。このため、本実施形態では、複数の被写体サイズのオーダ(１ｍ，１０ｍ，１００ｍ・・・(複数のサイズオーダに相当))が予め規定され、オーダ毎に算出されたＭＢＲが検索インデックスとして管理される。
【００４４】
被写体の検索時には、検索対象のサイズ以上かつ最小オーダのＭＢＲが用いられ、ＭＢＲに被写体座標が含まれている映像もしくは映像区間が検索結果として出力される。
【００４５】
〈複数のオーダに対するビューボリューム及びＭＢＲの管理〉
本発明の実施形態では、撮影された映像データのメタデータを用いて、予め規定された複数の被写体サイズのオーダ(例えば、１ｍ，１０ｍ，１００ｍ，等)に対応するビューボリューム(撮影空間)が計算される。さらに、各ビューボリュームに対するＭＢＲ(外接四角形)が算出される。各ＭＢＲは、検索インデックスとして、被写体が撮影された映像の
検索時に利用される。
【００４６】
図１は、複数の被写体サイズのオーダに応じて算出されたＭＢＲの説明図である。図１に示す例では、複数の被写体サイズのオーダに対応するビューボリュームＡ〜Ｃと、ビューボリュームＡ〜Ｃに対するＭＢＲ Ｍ１,Ｍ２,Ｍ３が示されている。検索すべき被写体(検索対象)のサイズに応じて、複数の被写体サイズのオーダが用意される。
【００４７】
図１に示す例では、複数の被写体サイズのオーダは、１ｍ未満の被写体(図１では看板Ｏ１を例示)に対するオーダ“１ｍ”と、数ｍの被写体(図１では自動車Ｏ２を例示)に対するオーダ“１０ｍ”と、数十ｍの被写体(図１ではビルＯ３を例示)に対するオーダ“１００ｍ”とを含む。
【００４８】
図１には、複数のオーダ(“１ｍ”，“１０ｍ”及び“１００ｍ”)に従って算出されたビューボリュームＡ〜Ｃが示されている。オーダ“１ｍ”に対応するビューボリュームＡは、看板Ｏ１のみを含む。これに対し、オーダ“１０ｍ”に対応するビューボリュームＢは、自動車Ｏ２及び看板Ｏ１を含む。さらに、オーダ“１００ｍ”に対応するビューボリュームＣは、看板Ｏ１、自動車Ｏ２及びビルＯ３を含む。
【００４９】
このとき、適正な(検索結果として抽出されるに好適な)サイズを有する看板Ｏ１が、ビューボリュームＡ内に存在する。適正なサイズを有する自動車Ｏ２が、ビューボリュームＢ内に存在する。適正なサイズを有するビルＯ３が、ビューボリュームＣ内に存在する。
【００５０】
さらに、図１には、各ビューボリュームＡ〜Ｃに基づいて算出されたＭＢＲ Ｍ１,Ｍ２及びＭ３が示されている。
【００５１】
本実施形態では、図１に示すように、複数の各オーダに対するビューボリューム及びＭＢＲ(図１では、３つのオーダに対するビューボリュームＡ及びＭＢＲ Ｍ１、ビューボリュームＢ及びＭＢＲ Ｍ２、及びビューボリュームＣ及びＭＢＲ Ｍ３)が、映像データの撮影範囲を規定するデータとして作成(算出)される。このように、一つの映像データについて、その撮影範囲を多段階に示す複数のデータが作成、管理される。特に、各オーダに応じたＭＢＲ(図１ではＭＢＲ Ｍ１,Ｍ２,Ｍ３)は、検索対象の被写体を含む映像データを検索するための検索インデックスとして使用される。
【００５２】
ここに、映像データが静止画の場合には、各オーダに応じた静止画のビューボリュームが計算され、各ビューボリュームに対応するＭＢＲが算出される。
【００５３】
これに対し、映像データが動画の場合には、例えば、各オーダに対応するビューボリュームが、フレーム毎に算出される。そして、オーダ毎に、各フレームのビューボリュームの全てを含む外接四角形が、ＭＢＲとして算出される。
【００５４】
本実施形態は、映像データ(データＤ１)について、この映像データ(データＤ１)に対するメタデータ(データＤ２)から複数のオーダに対応するビューボリューム及びＭＢＲ(データＤ３)を夫々算出し、データＤ３を映像データ(データＤ１)の検索のために管理することを特徴とする。
【００５５】
〈ツリー構造の決定、ＭＢＲの算出〉
データＤ３(ビューボリューム及びＭＢＲ：映像検索用メタデータ)の管理に際しては、次の構成を採用することができる。すなわち、代表被写体サイズのオーダ(代表オーダ)が映像データに対して規定され、この代表オーダについて算出されるＭＢＲを用いて、映像データのツリーインデックスが作成される。代表オーダは、映像データに対して規定され
る複数のオーダから任意に選択可能な一つのオーダである。
【００５６】
ツリーインデックスの作成は、(１)ツリー構造の決定、及び(２)ツリーを構成する各ノードに対するＭＢＲ値の計算、からなる２段階のステップで実行することができる。
【００５７】
図２は、代表的な被写体サイズのオーダに基づくツリー構造の決定(上記ステップ(１))を示す説明図である。図３は、ツリーの各ノードにおける、複数の被写体サイズのオーダに対するＭＢＲ値の算出(上記ステップ(２))を示す説明図である。
【００５８】
図２に示すツリー構造の決定の前提として、検索対象の各映像データ(図２では、６つの映像データ(記録単位)が例示される)について、代表オーダに対するビューボリューム及びＭＢＲ値が算出される。
【００５９】
図２に示す例では、代表オーダとして、“１０ｍ”が規定されており、代表オーダ“１０ｍ”に対応する各映像データのビューボリューム及びＭＢＲが算出されている。
【００６０】
ツリー構造の決定は、代表オーダのＭＢＲの重なりや距離等に基づいて実行される。このとき、近傍の代表オーダのＭＢＲが同じノードの子になるように、ＭＢＲが分配される。図２に示す例では、６つの映像データに対して作成された３階層のツリー構造が示されている。
【００６１】
このツリー構造では、６つの映像データに対する代表オーダのビューボリューム及びＭＢＲについて、最上位層(ルート)にノードＮ１が形成され、ノードＮ１の下位に、第２層に属するノードＮ２−１及びＮ２−２が形成され、各ノードＮ２−１及びＮ２−２の下位に、第３層(最下位層)のノードＮ３−１〜Ｎ３−６が形成されている。
【００６２】
このツリー構造は、各映像データ(ＭＢＲ)間の距離や重なりが考慮されるとともに、一つのノードに含まれる子ノードの数に偏りが発生しないように作成されている。
【００６３】
その結果、このツリー構造では、３つの子ノードを夫々包含する２つの中間ノードＮ２−１及びＮ２−２が作成され、２つの中間ノードＮ２−１及びＮ２−２を包含するルートノードＮ１が作成されている。このようにして、映像データのツリーインデックスのツリー構造が、代表オーダのＭＢＲに基づいて作成される。
【００６４】
ツリー構造が決定された後、各オーダのノードのＭＢＲ値が算出される。即ち、図３に示すように、最下位のノード(Ｎ３−１〜Ｎ３−６)に対し、予め規定された複数のオーダ(代表オーダを除く)に対応するビューボリューム及びＭＢＲが夫々算出される。
【００６５】
例えば、複数のオーダが“１ｍ”,“１０ｍ”,“１００ｍ”である場合に、代表オーダが“１０ｍ”であれば、残りのオーダ“１ｍ”及び“１００ｍ”に対するビューボリューム及びＭＢＲが計算される。算出された複数のオーダに対応するビューボリューム及びＭＢＲの値は、各最下位ノード(Ｎ３−１〜Ｎ３−６)に格納することができる。
【００６６】
次に、子ノードを有するノード(図３では、ノードＮ１,Ｎ２−１及びＮ２−２)では、そのノードの下位に存在する全てのノードに夫々格納された各オーダのＭＢＲを包含するＭＢＲの値が、オーダ毎に算出され、当該ノードに格納される。
【００６７】
例えば、ノードＮ２−１に着目すると、ノードＮ２−１は、下位ノードとして、ノードＮ３−１〜Ｎ３−３を持つ。各ノードＮ３−１〜Ｎ３−３は、オーダ“１ｍ”,“１０ｍ”及び“１００ｍ”に対応するＭＢＲの値を夫々有している。
【００６８】
そこで、ノードＮ２−１について、ノードＮ３−１〜Ｎ３−３が有するオーダ“１ｍ”のＭＢＲの全てを包含するＭＢＲの値と、ノードＮ３−１〜Ｎ３−３が有するオーダ“１０ｍ”のＭＢＲの全てを包含するＭＢＲの値と、ノードＮ３−１〜Ｎ３−３が有するオーダ“１００ｍ”のＭＢＲの全てを包含するＭＢＲの値と、が算出される。算出された３つのＭＢＲの値は、ノードＮ２−１に格納される。
【００６９】
このようなＭＢＲ値の算出処理が、全ての上位ノード(Ｎ２−２，Ｎ１)について実行される。その結果、最上位ノード(ルートノード：ノードＮ１)は、当該ツリーに包含される全ての映像データのビューボリュームを包含するオーダ毎のＭＢＲの値を有する状態となる。
【００７０】
本実施形態では、代表オーダのＭＢＲでツリー構造が決定され、子ノードを持つ各ノードについて、そのノードの全ての子ノードが有するＭＢＲを包含するＭＢＲ値が、オーダ毎に算出され、算出されたオーダ毎のＭＢＲ値が各ノードに格納される。各ノードが持つＭＢＲ値は、映像(被写体)検索のためのインデックスとして利用される。
【００７１】
〈映像検索〉
図４は、被写体サイズを指定した映像検索を示す説明図である。映像検索時には、検索すべき被写体の位置及びサイズが指定される。このとき、指定された被写体サイズより大きい最小オーダのＭＢＲが選択(決定)される。
【００７２】
その後、指定された被写体位置に基づいて、ツリーインデックスのルートノードと、選択されたオーダのＭＢＲに被写体位置が包含されているノードとが検索される。最終的に、検索すべき被写体を含むビューボリュームのＭＢＲが発見される。発見されたＭＢＲに対応する映像データは、検索結果に含められる。
【００７３】
図４に示す例では、検索すべき被写体として、被写体サイズ８０ｍのビルＯ３が指定されている。この場合、被写体サイズよりも大きく、且つ最小のオーダとして、オーダ“１００ｍ”が検索オーダとして決定される。
【００７４】
そして、被写体位置(ビルの位置)が含まれるＭＢＲがルートノードから順に検索される。この例では、ノードＮ１→ノードＮ２−１→ノードＮ３−２の順で、検索オーダに対応するＭＢＲが検索される。最終的に、ノードＮ３−２のオーダ“１００ｍ”に対応するＭＢＲがヒットする。これに従って、ヒットしたＭＢＲに対応する映像データが、検索結果の一つに含められる。
【００７５】
なお、検索結果の映像データに対して、更に詳細なビューボリューム包含判定(映像データのビューボリューム中に被写体が含まれているか否かの判定)を行うこともできる。このような、厳密な被写体の包含判定が実行されるようにしても良い。
【００７６】
図１〜４を用いて説明したような構成を採用する場合には、以下の利点がある。
【００７７】
〈１〉検索対象(被写体)のサイズに応じたオーダを複数のオーダから決定することができる。これによって、検索対象が含まれていない、又は検索対象が含まれていてもその利用価値が低いと考えられるオーダ(のＭＢＲ)を、検索範囲から外すことができる。
【００７８】
〈２〉検索対象のサイズよりも大きいオーダが、検索オーダとして決定される。映像データに対して用意された複数のオーダに対応する複数のＭＢＲが検索対象と一致する物体を含まないＭＢＲを含んでいても、検索対象のサイズより大きいオーダが決定されること
で、検索漏れを防ぐことができる。
【００７９】
例えば、図４に示した例では、ビルＯ３がオーダ“１ｍ”のＭＢＲに含まれていなくても、この上位オーダに相当するオーダ“１００ｍ”のＭＢＲでビルＯ３が包含されているか否かが判定される。このため、検索対象の取りこぼしが生じない。
【００８０】
〈３〉また、検索対象のサイズよりも大きい最小のオーダが、検索オーダとして決定される。これによって、検索対象が適正な(利用価値の高い)大きさで撮影されていると考えられるオーダで、映像検索を行うことができる。これによって、検索範囲の拡大抑制と、検索結果の適正化とを図ることができる。
【００８１】
〈４〉また、複数のオーダを用意することで、検索時において、無限に拡大したＭＢＲで包含チェックをすることを防ぐことができる。
【００８２】
〈５〉さらに、上述したツリー構造の作成手法によれば、映像データの追加／削除に応じてツリーインデックスに改変を加える場合には、代表オーダについてのみ、追加／削除に係る構造化処理(ツリー構造の改変処理)を行えば良い。
【００８３】
従って、ツリー構造化のためのコストを従来手法と同様の程度に抑えることができる。従って、多種多様なサイズの被写体を取り扱うことができる柔軟な映像検索システムの構築が可能となる。
【００８４】
なお、代表オーダは、固定のオーダに定める必要はなく、映像データ(ツリー)毎に異なる代表オーダを採用しても良い。例えば、映像の代表被写体サイズのオーダを撮影者が明示的に入力し、メタデータとして記録して利用しても良い。
【００８５】
或いは、被写体距離をセンサや画像処理により求め、被写体を含む最小のビューボリュームとなる被写体サイズのオーダを代表オーダとして採用しても良い。
【００８６】
どちらの場合も映像データ毎に異なる撮影対象によって、異なるオーダが代表オーダとして採用されることになる。検索頻度が高いと認められるオーダが代表オーダに採用されることで、被写体映像にヒットしやすいツリーインデックスを構築することができる。
【００８７】
以上の概要は、複数の映像データからなる映像データ集合をツリー構造化する場合について説明した。これに代えて、映像ファイルを更にフレーム、複数のフレーム集合であるショットなどの映像サブセットに分割し、映像サブセット毎にビューボリュームとＭＢＲを算出しても、同様の手法を適用することができる。
【００８８】
本発明の特徴及び実装については以下の実施形態によってさらに詳細に説明する。
【００８９】
〔実施形態〕
Ｗｅｂベースの映像蓄積検索システムを元に本発明の実施形態を説明する。ここに述べるシステムは、多数の映像収集端末によって収集された大量のメタデータ付き映像をサーバに蓄積し、バックエンドの映像検索端末と映像検索サーバによって、指定された被写体の写っている映像を検索、表示する。
【００９０】
映像収集端末として、カメラ付きの携帯電話，モバイルパソコン(mobile Personal computer with camera)，ＰＤＡ(Personal Digital Assistants)や、通信機能付きのディジタルカメラ／ディジタルビデオカメラなどを想定することができる。
【００９１】
図５は、実施形態における映像検索システムの構成例を示す図である。図５において、システムは、映像収集端末１，映像検索端末２，運用管理端末３，ネットワーク４，ネットワーク５，Ｗｅｂサーバ６，ＤＢ(database)サーバ７，ストレージ(記憶手段)８から構成される。
【００９２】
Ｗｅｂサーバ６，ＤＢサーバ７，及びストレージ８は、ＣＰＵ等のプロセッサ，記憶装置(メモリ(ＲＯＭ,ＲＡＭ),ハードディスク等)，入出力インタフェース(Ｉ／Ｏ)，通信インタフェース等を有する情報処理装置(コンピュータ)を用いて構成することができる。
【００９３】
Ｗｅｂサーバ６を構成するコンピュータは、記憶装置に格納されたプログラムをプロセッサが実行することによって、映像管理サーバ６１，映像配信サーバ６２，映像検索サーバ６３，地図配信サーバ６４を実現する装置として機能する。
【００９４】
また、ＤＢサーバ７を構成するコンピュータは、記憶装置に格納されたプログラムをプロセッサが実行することによって、映像ＤＢ７１，被写体ＤＢ７２，地図ＤＢ７３を有する装置として機能する。
【００９５】
さらに、ストレージ８を構成するコンピュータは、記憶装置に格納されたプログラムの実行によって、記憶装置上に映像ストレージ８１，映像メタデータストレージ８２，被写体情報ストレージ８３及び地図情報ストレージ８４を有する装置として機能する。もっとも、ストレージ８は、ＤＢサーバ７を構成するコンピュータが備える、又は管理可能な記憶装置を用いて構成することが可能である。
【００９６】
以下、各部の動作と実装とについて説明する。
【００９７】
〈映像収集端末〉
図６は、図５に示した映像収集端末１の構成例を示す図である。図６において、映像収集端末１は、カメラ１１により静止画又は動画映像を撮影して映像データＤ１に変換する。
【００９８】
また、映像収集端末１は、撮影時におけるセンサ１３からのセンサ情報をメタデータＤ２として記録する。さらに、映像収集端末１は、通信モジュール１４によってネットワーク４経由でＷｅｂサーバ６に映像データＤ１及びメタデータＤ２を送信する。
【００９９】
センサ１３は、少なくとも位置計測センサ１３１と方位計測センサ１３２とを含む。位置計測センサ１３１として、例えばＧＰＳ（Global Positioning System）が適用される。方位計測センサ１３２として、例えば電子コンパスが適用される。但し、位置計測センサ１３１及び方位計測センサ１３２は、他の手段やセンサによる実装であってもよい。
【０１００】
図７は、位置計測センサ１３１と方位計測センサ１３２とによるメタデータＤ２の一例を示すリスト(リスト１)である。図８は、リスト１に示された各パラメータの説明を示すテーブル(テーブル１)を示す図である。
【０１０１】
図７に示すメタデータＤ２のリストの各行は、所定の記録単位(例えば２秒毎)毎に作成(撮影)された映像データ(例えば、静止画、フレーム)に対する各パラメータ(図８)の内容を示す。即ち、映像データＤ１は、記録単位毎に作成され、各映像データに対するメタデータＤ２が作成される。
【０１０２】
なお、センサ１３は、カメラ１１のズームを検知し、撮影時の画角を記録する画角センサ１３３や、カメラ１１の撮影位置から被写体までの距離を計測する被写体距離計測セン
サ１３４などをさらに含むことができる。この場合、画角センサ１３３や被写体距離計測センサ１３４の計測結果がメタデータＤ２に記録されるように構成することができる。
【０１０３】
Ｗｅｂサーバ６への送信はストリーミング等によるリアルタイム送信を適用することができる。或いは、映像収集端末１に蓄積された映像データＤ１及びメタデータＤ２を電子メールに添付して送る方式を適用することもできる。また、メタデータＤ２が映像データＤ１の通信経路と異なる通信経路を通じて送信される構成を適用することもできる。
【０１０４】
映像データＤ１とメタデータＤ２は、図６に示すように、個別のデータとして作成可能である。これに対し、静止画のＥＸＩＦ(Exchangeable image file format for Digital Still Camera)ファイルのように、映像データフォーマット中にメタデータＤ２が含まれる形式を適用することもできる。
【０１０５】
また、メタデータＤ２は、映像データＤ１の音声トラック，映像トラック，もしくはメタデータ専用トラックに書き込まれる形態で映像データＤ１と一体化される構成を適用することもできる。
【０１０６】
また、映像データＤ１及びメタデータＤ２を通信モジュール１４によって送信することに代えて、次の構成を適用することができる。例えば、図６に示すように、映像データＤ１及びメタデータＤ２をＳＤカードやメモリスティックのような外部メモリ１５に蓄積しておく。その後、オフラインでＰＣ(Personal Computer)１０に外部メモリ１５を接続し、ＰＣ１０が接続されたネットワーク４を通じてＷｅｂサーバ６に映像データＤ１及びメタデータＤ２を送信する。
【０１０７】
〈映像管理サーバ〉
図６に戻って、映像管理サーバ６１は、Ｗｅｂサーバ６の一部を構成する。映像管理サーバ６１は、ＤＢサーバ７を構成する映像ＤＢ７１との連携により、映像ストレージ８１に映像データＤ１を格納する。
【０１０８】
また、映像管理サーバ６１は、メタデータＤ２に基づいて映像データの映像撮影範囲に関するメタデータを算出し(算出手段に相当)、映像ＤＢ７１との連携において、映像メタデータストレージ８２にメタデータＤ２と、算出された映像撮影範囲に関するメタデータを格納する(管理手段に相当)。
【０１０９】
すなわち、映像管理サーバ６１は、映像データＤ１とメタデータＤ２とを映像収集端末１から受け取ると、映像データＤ１を、映像ＤＢ７１を介して映像ストレージ８１に格納する。更にメタデータＤ２より測定時間(記録単位)ごとの映像のビューボリュームを計算し、その外接四角形となるＭＢＲを求める。
【０１１０】
《ビューボリューム及びＭＢＲの算出》
以下、映像管理サーバ６１によるビューボリューム及びＭＢＲの算出方法について説明する。図９は、ビューボリュームの計算例の説明図であり、図１０は、映像データのＭＢＲの説明図であり、図１１は、遠方面距離の決定方法の例を示す説明図であり、図１２は、メタデータＤ２に基づいて作成されるメタデータＤ３のパラメータを示す図である。
【０１１１】
(Ａ)被写体サイズが固定の場合
最初に、被写体サイズが固定の場合におけるビューボリューム及びＭＢＲの算出について説明する。計算の簡略化のため、ビューボリュームの計算は、緯度及び経度による座標系ではなく、平面に近似してユークリッド座標系で行われる（図９）。
【０１１２】
座標系の基準原点は、東京近辺であれば、北緯３６度０分０秒、東経１３９度５０分０秒（国土交通省の告示によるＩＸ系の原点緯度経度）などに設定される。但し、撮影範囲が特定の位置であったり、屋内で基準原点をローカルに設定したりする場合には、任意の原点を採用することができる。
【０１１３】
基準原点に対する映像撮影位置の変位量を(x,y)(単位[ｍ])、光軸方向をθ（単位[rad]）、映像を撮影したカメラの水平画角をΔＨ（単位[rad]）、撮影可能な近接面距離をｄｎｅａｒ（単位［ｍ］）、遠方面距離をｄｆａｒ（単位[ｍ]）とする。
【０１１４】
この場合、ビューボリュームは、以下の式１．１〜１．４で算出されるＰｖ１，Ｐｖ２，Ｐｖ３，Ｐｖ４を４頂点とする凸形状(台形)として求めることができる。
【０１１５】
式１．１は、ビューボリュームの頂点Ｐｖ１の算出式であり、式１．２は、ビューボリュームの頂点Ｐｖ２の算出式であり、式１．３は、ビューボリュームの頂点Ｐｖ３の算出式であり、式１．４は、ビューボリュームの頂点Ｐｖ４の算出式である。
【０１１６】
一方、ＭＢＲは、ビューボリュームを構成する４点のＸ値の最大値(ＭＢＲRight)と最小値(ＭＢＲLeft)、Ｙ値の最小値(ＭＢＲBottom)と最大値(ＭＢＲTop)で定義することができる（式２）。式２は、単一のビューボリュームのＭＢＲの算出式である。
【０１１７】
【数１】
0004601666.tif 000002
【０１１８】
【数２】
0004601666.tif 000003
【０１１９】
【数３】
0004601666.tif 000004
【０１２０】
【数４】
0004601666.tif 000005
【０１２１】
【数５】
0004601666.tif 000006
【０１２２】
式１．１〜１．４、及び式２を用いて、メタデータＤ２の１記録単位（リスト１の１行に相当）あたりのＭＢＲを算出することができる。映像データ全体のＭＢＲは、算出された個々の１記録単位あたりのＭＢＲを全て包含する外接四角形(ＭＢＲ)として算出することができる（図１０参照）。
【０１２３】
図１０に示す例では、複数の映像データのＭＢＲのＸ値の最大値及び最小値、Ｙ値の最大値及び最小値を夫々一辺とするＭＢＲが、映像データ全体のＭＢＲとして規定されている。
【０１２４】
(Ｂ)被写体サイズを指定した場合におけるＭＢＲ算出
次に、被写体サイズが指定された場合におけるＭＢＲの算出について説明する。
【０１２５】
Ｍ個の映像データがＤ１ｍ（ｍ＝１，２，・・・，Ｍ）で規定され、Ｓ個の被写体サイズがＯＳ（ｓ＝１，２，・・・，Ｓ）で規定されるとき、Ｄ１ｍかつＯＳのＭＢＲをＭＢＲ(ｍ,ｓ)と記述する。このとき、ＭＢＲ(ｍ,ｓ)は、遠方面距離ｄfarが異なるだけで、被写体サイズ固定の場合と同様の手法で算出することができる。
【０１２６】
遠方面距離ｄfarは、図１１に示すように、被写体サイズＯＳの物体の映像中における認識限界となるピクセル数Ｔｈと焦点距離ｆとで定義される(式３)。式３は、遠方面距離ｄfarの算出式である。
【０１２７】
【数６】
0004601666.tif 000007
【０１２８】
ここで、焦点距離ｆは、映像を撮影したカメラの光学系に依存する。メタデータとして水平画角ΔＨも記録される場合には、水平画角ΔＨより焦点距離ｆを随時計算することで、ズームや接写に対応した遠方面距離ｄfarを算出することができる。このように、本実施形態では、ピクセル数Ｔｈを規定することで、一定画素数以上(例えば、一画素以上)又
は一定画素サイズ以上で撮影される被写体を考慮した遠方面距離を規定することができる。また、一定画素数又は画素サイズ以上で且つ一定画角以上で被写体が撮影された遠方面距離を規定することができる。
【０１２９】
被写体サイズＯＳとして、映像蓄積検索システムが扱う可能性のある複数の被写体サイズ(オーダ)が設定される。このとき、複数の被写体サイズが網羅的に設定されるのが好ましい。
【０１３０】
映像データＤ１ｍについて代表被写体サイズを決定し、そのＭＢＲ(代表被写体オーダ(サイズ)に対するＭＢＲ)を、以下の数７のように規定する。
【０１３１】
【数７】
0004601666.tif 000008
【０１３２】
《代表被写体サイズの決定》
メタデータ記録単位ごとの代表被写体サイズは、次の方法(ａ)又は(ｂ)を用いて決定することができる。
(ａ)撮影時に明示的にメタデータに被写体サイズを記述する。
(ｂ)レーザレンジファインダなどの測距センサで撮影位置から被写体までの距離を計測しておき、その距離以遠の遠方面となる被写体サイズを採用する。
【０１３３】
映像データの代表被写体サイズは、例えば、全ての記録単位で最も多く採用された被写体サイズを用いて決定することができる。
【０１３４】
以上の処理により、映像管理サーバ６１は、メタデータＤ２に加え、被写体オーダごとのＭＢＲ(ＭＢＲ(ｍ,ｓ))と、代表被写体オーダに対するＭＢＲ(数７)とを生成する。
【０１３５】
映像管理サーバ６１は、映像ストレージ８１に格納された映像データＤ１ｍを特定するＵＲＬ(Uniform Resource Locator)又はＩＤ(identification)を有する映像管理用メタデータＤ３（テーブル２：図１２参照）を生成し、映像ＤＢ７１に登録する。
【０１３６】
上述した映像管理サーバ６１による処理は、映像管理サーバ６１を実現するコンピュータにおいて、そのコンピュータが備えるプロセッサがメモリに記憶されたプログラムを実行することによって実現される。
【０１３７】
上述したビューボリューム及びＭＢＲ等を実行するためのデータ(算出式のデータ等)や、代表オーダを決定するためのデータは、映像管理サーバ６１を実現するコンピュータ上に予め記憶されており、メタデータＤ２に含まれる情報をパラメータとしてビューボリューム及びＭＢＲの算出や、代表オーダの決定が実行される。
【０１３８】
〈映像ＤＢ７１〉
ＤＢサーバ７の映像ＤＢ７１は、メタデータＤ３を映像メタデータストレージ８２に登録する。また、映像ＤＢ７１は、映像メタデータストレージ８２中のメタデータＤ３を高速に検索するためにＭＢＲを用いてメタデータＤ３の検索インデックスを作成する(管理手段に相当)。
【０１３９】
《検索インデックスの作成方法》
検索インデックスは、特定の位置座標（被写体位置座標）を包含するＭＢＲを持つメタデータＤ３を高速に抽出するために使用される。このため、検索インデックスは、ツリー構造を持つのが妥当である。
【０１４０】
ツリー構造に求められる性質は、[１]重複度合いの高いＭＢＲはできるだけ同じノードの子に分配されること、[２]特定のノードに子ノードが集中しないこと、[３]リーフノードの深さが均一な平衡木（Balanced Tree）であることなどである。
【０１４１】
[１]〜[３]の条件を満たすツリー構造を決定するアルゴリズムとしてR-treeや、その改良型であるR*-treeなどがある。これらのアルゴリズムを実装することで、ツリー構造を作成することができる（各アルゴリズムについてはここでは言及しない）。
【０１４２】
なお、R-treeや、R*-treeは、下記の文献にて開示されている。
[Guttman, A. "R-Trees: A Dynamic Index Structure for Spatial Searching." Proc of the 1984 ACM SIGMOD Int'l Conf on Mgmt of Data, 45-57.]
図１３は、生成されるツリーインデックスのデータ構造を示す。データは、ツリーのノード（ルートノードを含む）を格納するためのノードデータクラス（CNode）、子ノードへのポインタを格納するノードエントリクラス（CNodeEntry）と、メタデータ（CMeta）へのポインタを格納するリーフエントリクラス（CLeafEntry）から構成される。各ノードは最大Ｍ個、最小ｍ個の子ノードを持つ。但し、例外的にルートノードのみ最小１個の子ノードを持つことができる。
【０１４３】
CNodeEntry, CLeafEntry, CMetaはそれぞれ（Ｓ＋１）個の配列で被写体オーダごとのＭＢＲを格納することができる。配列要素のうち１番目は代表オーダのＭＢＲを格納する。  図１４は、代表オーダのＭＢＲに対してR-tree等のアルゴリズムを適用することで生成したツリーインデックス例を示す図である。R-treeを利用した場合、ＭＢＲの１番目の配列要素（代表オーダのＭＢＲ）のみツリーインデックス作成時に算出済みである。
【０１４４】
本実施形態では、ツリー構造決定後に他のＭＢＲの配列要素についても値を算出して格納する。ＭＢＲの算出は、ツリーインデックスの末端からルート方向にＭＢＲを伝播させることで行う（図１５参照）。
【０１４５】
即ち、メタデータのＭＢＲがリーフエントリのＭＢＲにコピーされる(図１５：[１])。次に、リーフエントリのＭＢＲのＯＲ領域(下位のＭＢＲを含むＭＢＲ値(ＭＢＲを示すデータ))がその上位のノードエントリのＭＢＲ値として格納される(図１５：[２])。さらに、ノードエントリのＭＢＲのＯＲ領域(下位のＭＢＲを含むＭＢＲ値)がその上位のノードエントリのＭＢＲ値として格納される(図１５：[３])。[３]の処理は、ルートノードまで繰り返し実行される。
【０１４６】
上述した処理によって、各ノードエントリには、そのノードの配下の全ての下位ノードの各オーダのＭＢＲを全て包含する各オーダのＭＢＲ値が、検索インデックスとして格納されることになる。
【０１４７】
以上の処理によりメタデータ検索用のツリーインデックスを作成することができる。映像データの追加／削除が行われる場合には、代表オーダにしたがって必要に応じてツリー構造の変更が行われる。そして、ツリーインデックス作成時と同様に、ＭＢＲ伝播によるＭＢＲ値の算出が行われる。
【０１４８】
映像ＤＢ７１への映像データの追加／削除処理コストを下げるためには、上述したような、代表オーダＭＢＲによる１つのインデックスツリーでの映像管理が有効である。但し
、代表オーダ以外のＭＢＲでは最適な検索のためのツリー構造になっていない可能性がある。
【０１４９】
このため、ＤＢのメンテナンスコストよりも検索時の効率を重視する場合は、Ｓ個のオーダごとに用意されたＳ個のインデックスツリーを生成し、指定されたオーダに応じて選択的にインデックスツリーの一つを使用するように構成することができる。
【０１５０】
上述した映像ＤＢ７１による処理は、映像管理サーバ６１を実現するコンピュータにおいて、そのコンピュータが備えるプロセッサがメモリに記憶されたプログラムを実行することによって実現される。作成された検索用のインデックスツリーは、例えば、映像ＤＢ７１が保持していても良く、メタデータＤ３とともに映像メタデータストレージ８２に格納されるようにしても良い。
【０１５１】
〈被写体映像検索〉
次に、ツリーインデックスを使った被写体映像検索について説明する。映像検索のためのクエリとしては、被写体のサイズと被写体の代表点位置（座標値）が必要である。図１６は、被写体サイズと代表点の説明図である。
【０１５２】
被写体サイズは、検索対象の被写体の大きさを示す目安になる数値である。被写体サイズは、被写体に応じて決定される尺度である。例えば、被写体が高層ビルである場合には、ビルの高さが被写体サイズとして決定される。被写体が自動車である場合には、例えば、自動車の全長が被写体サイズとして決定される。
【０１５３】
被写体の代表点は、映像中にその点が撮影されていればその被写体が撮影されたと判断できる点である。１以上の任意の点を代表点として決定することができる。或いは、被写体を網羅的に表現できる数の代表点を用意することができる。
【０１５４】
代表点は被写体の形状に基づき、人手(マニュアル)で生成することができる。或いは、被写体形状をメッシュ分割するなどの手法で代表点が自動的に生成される構成を適用することもできる。
【０１５５】
検索時において指定される被写体サイズがＱsizeで規定される場合、Ｑsize ≦Ｏsを満たす最小の被写体サイズオーダＯsが決定される。Ｏsによって算出されたＭＢＲが映像検索に用いられる。
【０１５６】
検索は、インデックスツリーをルートからリーフへ探索していくことによって行われる。探索のゴールは、ＭＢＲ[s]属性（ＯsのＭＢＲ）が代表点位置Ｑlocationを包含するメタデータを全て抽出することである。但し、複数の代表点位置Ｑlocationが存在する場合には、複数の代表点位置Ｑlocationの一部又は全部を含むメタデータを全て抽出することをゴールに設定することができる。或いは、複数の代表点位置代表点位置Ｑlocation中の一定以上の個数を含むメタデータを全て抽出することをゴールとして設定することもできる。
【０１５７】
メタデータの探索は、図１７に示すように、縦型探索により行われる。探索が上位のノード（あるいはルート）から下位のノードへ進む場合、エントリ（CNodeEntry）中のＭＢＲ[s]属性が参照され、Ｑlocation⊂ＭＢＲ[s]となる場合にのみ、下位ノードが探索対象になる。これによって、無駄な探索を省くことができる。探索がリーフエントリ（CLeafEntry）に進んだとき、リーフエントリのＭＢＲ[s]属性に関してＱlocation⊂ＭＢＲ[s]が成立する場合には、meta属性が示すメタデータ（CMeta）のidが検索結果として記録(抽出)される。
【０１５８】
以上説明したような被写体検索機能は映像検索サーバ６３(図５)に実装される。映像検索サーバ６３による処理は、映像検索サーバ６３を実現するコンピュータにおいて、そのコンピュータが備えるプロセッサがメモリに記憶されたプログラムを実行することによって実現される。
【０１５９】
映像検索サーバ６３は、映像ＤＢ７１に検索を依頼し、映像ＤＢ７１による検索処理の結果(ヒットしたメタデータＤ３)を受け取る。或いは、映像検索サーバ６３が、直接的に検索インデックスツリーを参照し、対応するメタデータＤ３を映像メタデータストレージ８２から取得するようにしても良い。
【０１６０】
〈映像検索サービスの実現方法〉
次に、図５に示した映像検索端末２と映像検索サーバ６３の連携による映像検索サービスの実現方法について説明する。
【０１６１】
映像検索端末２は、ＰＣとＷｅｂブラウザによって実現することができる。或いは、映像検索端末２は、専用ソフトもしくは専用端末によって実現することもできる。
【０１６２】
図１８は、ＰＣとＷｅｂブラウザで実現される映像検索端末２で表示される検索条件入力画面の一例を示す図である。図１８において、検索条件入力画面は、ＨＴＭＬとJava（登録商標）Scriptにより作成されている。検索条件入力画面は、地図配信サーバ６４(図５)からネットワーク５を通じて取得される地図情報(地図ＤＢ７３により管理され、地図情報ストレージ８４に格納されている)を表示するとともに、３種類の被写体指定手段を提供する。
【０１６３】
第１の被写体指定手段(被写体指定手段１)は、地図表示領域上でマウス等のポインティングデバイスを用いて被写体を指定する手段をユーザに提供する。このとき、ユーザは、複数の代表点を地図上で指定入力することができる。或いは、ユーザが、矩形や多角形で規定された地図上の所定範囲を指定すると、矩形や多角形に包含される被写体の頂点等の形状特徴点が代表点として決定される構成を採用することもできる。
【０１６４】
地図上の代表点が特定(入力)されると、映像検索端末２は、地図上のピクセル座標をJava（登録商標）Scriptにより実空間における座標値に変換して映像検索のクエリとする。また、映像検索端末２は、代表点より被写体のサイズを算出し、これもまた映像検索のクエリとする。例えば代表点のうち最も離れている２点の距離がサイズとして利用される。
【０１６５】
第２の被写体指定手段(被写体指定手段２)は、被写体の代表点座標値を直接指定する手段をユーザに提供する。例えば、図１８に示すように、検索画面に設けられた緯度及び経度の入力欄に、所望の被写体の位置を代表点として入力する。複数の代表点が入力された場合には、映像検索端末２は、被写体指定手段１と同様にして被写体サイズを決定する。指定座標が１点の場合には、おおよその被写体サイズが直接入力される。被写体指定手段２は、既に座標値がわかっている被写体を検索する場合に用いられる。
【０１６６】
第３の被写体指定手段(被写体指定手段３)は、固有名詞で被写体を指定する手段をユーザに提供する。ランドマーク等、検索が頻繁に行われる被写体については、被写体ＤＢ７２(図５)で被写体代表点と被写体サイズとが管理されている(被写体代表点及び被写体サイズは、被写体情報ストレージ８３に格納されている)。
【０１６７】
検索画面に設けられた被写体名の入力欄に被写体の固有名詞を入力することで、ユーザは被写体を指定することができる。この場合には、映像検索端末２から映像検索サーバ６
３(図５)へ被写体名が通知され、映像検索サーバ６３が被写体ＤＢ７２にアクセスして、被写体名称を被写体指定手段１、２と同様のクエリに置換して検索処理が行われる。
【０１６８】
被写体指定が確定したら実行ボタンをクリックすると、被写体指定情報(映像検索のクエリ(代表点位置、被写体サイズ)、又は被写体名称)が、映像検索サーバ６３にネットワーク５を通じて送信される。映像検索サーバ６３は、代表点位置及び被写体サイズに基づき、上述した被写体検索機能により該当被写体の映像を検索し、検索結果を映像検索端末２に返信する(検索手段に相当)。
【０１６９】
これは、映像検索サーバ６３をＣＧＩ(Common Gateway Interface)プログラムにより構成することで容易に実現でき、検索クエリはＣＧＩプログラムへの引数に、検索結果の返信は検索結果をリストとして表示するＨＴＭＬデータとなる。
【０１７０】
この例では、映像検索サーバ６３が検索クエリを受け取ると、映像ＤＢ７１に対し、検索クエリに対応するメタデータＤ３の検索を依頼する。映像ＤＢ７１は、自身が保持又は映像メタデータストレージ８２に格納された検索インデックスツリーを用いて、ヒットしたメタデータＤ３を、映像検索サーバ６３に引き渡す。映像検索サーバ６３は、ヒットしたメタデータＤ３を含むＨＴＭＬデータを作成し、映像検索端末２に返信する。
【０１７１】
映像検索端末２にて、ＨＴＭＬデータに基づいて、検索結果のＨＴＭＬ画面が表示される。このとき、映像検索端末２のｗｅｂブラウザは、ＨＴＭＬデータ中のＵＲＬに基づいて、映像配信サーバ６２に、映像配信要求を出し、映像配信サーバ６２は、映像ストレージ８１から対応する画像データ(サムネイル等)を読み出して、映像検索端末２に供給する。
【０１７２】
図１９は、検索結果のＨＴＭＬ画面の表示例を示す図である。検索された映像は表形式で表示され、左側にサムネイル静止画、右側にメタデータが表示される。サムネイル静止画には該当映像を表示するためのリンクが付けられており、画面をクリックするとWindows（登録商標） Media Playerのような映像再生ソフトが起動して映像を確認できる。
【０１７３】
即ち、映像の再生要求が映像収集端末２からネットワーク５を通じて映像配信サーバ６２に与えられ、映像配信サーバ６２が映像ストレージ８１から、再生要求に対応する映像データを読み出し、ストリームデータとして映像検索端末２に与える。映像再生ソフトは、受信されたストリームデータを用いて、映像を再生する。
【０１７４】
〈運用管理端末〉
なお、図５に示す運用管理端末３は、被写体ＤＢ７２及び被写体情報ストレージ８３、地図ＤＢ７３及び地図情報ストレージ８４にアクセスして、被写体情報と地図情報の管理を行う。
【０１７５】
〈変形例〉
以上の説明はビューボリューム及びＭＢＲを２次元平面上で説明したが、３次元空間上においても同様の機能及び効能があるのは自明である。３次元空間の場合、ビューボリュームは台形形状から四角錐台形状となり、ＭＢＲは四角錐台を包含する直方体となる。
【０１７６】
なお、上述した実施形態では、ＭＢＲとインデックスツリーによる検索により被写体が撮影されている映像データが抽出される。但し、ビューボリューム中に厳密に被写体が包含されることを保障するものではない。
【０１７７】
なぜなら、ＭＢＲはビューボリュームを包含する四角形にすぎないため、ＭＢＲ中であってもビューボリュームに含まれない座標が存在するためである。
【０１７８】
このため、検索された映像データのメタデータＤ２から記録単位ごとにビューボリュームを算出し、ビューボリュームへの被写体位置の包含関係をチェックして厳密な被写体映像区間を決定する処理を追加してもよい。
【０１７９】
ツリーインデックスによるインデキシングができないデータベースにおいて、インデックスの操作をデータベース外で行ってもよいし、ＭＢＲのインデックスを作成せずメタデータＤ３（テーブル２）のみをデータベースに格納してもよい。
【０１８０】
後者の場合、被写体位置がＭＢＲに含まれるレコードの抽出がツリーインデックスを用いた場合に比べ効率が悪いものの、複数オーダのＭＢＲを用いて包含関係をチェックするため、従来手法に比べて誤検出を回避できるというメリットがある。
【産業上の利用可能性】
【０１８１】
近い将来において実現すると思われるユビキタス社会では、ディジタルカメラやカメラ付き携帯電話が映像収集端末として機能し、これらの端末の利用を通じて大量の映像収集が実現されると考えられる。
【０１８２】
本発明は、サーバに蓄積された大量の映像データの中から、特定の被写体が撮影されている映像区間を検索するための技術とシステムに関するものであり、監視・防災・セキュリティ分野、企業又は個人の映像アーカイブと連携するローカル又はオンラインの映像検索システム全般への適用が考えられる。
【０１８３】
例えば、本実施形態に係るシステムが例えば防災・災害対策分野に適用される場合には、市民あるいは防災対策組織によって収集された映像がサーバに蓄積され、災害対策本部に設置された映像検索端末によって特定被災地の映像のみをまとめて表示し、被災状況を把握することが可能となる。
〔その他〕
【０１８４】
（付記１）  映像の撮影位置と撮影方向とを示すデータに基づいて、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を、複数のサイズオーダの夫々について算出する算出手段と、
前記算出手段によって算出された複数のサイズオーダに夫々対応するＭＢＲを示すデータを、管理対象の映像の撮影範囲を示すデータとして記憶装置に格納する管理手段と
を備える映像管理システム。（１）
【０１８５】
（付記２）  前記算出手段は、特定サイズの被写体が一定画素サイズ以上、一定画素数以上、及び一定画素サイズ又は画素数以上且つ一定画角以上のいずれかで撮影される範囲のビューボリュームを算出する
付記１記載の映像管理システム。
【０１８６】
（付記３）  前記算出手段は、被写体サイズに応じて予め規定された複数のサイズオーダに夫々対応するビューボリュームのＭＢＲを算出する
付記１又は２記載の映像管理システム。
【０１８７】
（付記４）  被写体の位置及びサイズが入力された場合に、前記被写体のサイズよりも大きく且つ最小のサイズオーダに対応するＭＢＲに前記被写体の位置が含まれているか否かを判定する検索手段をさらに備える
付記３記載の映像管理システム。
【０１８８】
（付記５）  前記算出手段は、管理対象の複数の映像に対して共通な代表サイズオーダのビューボリュームのＭＢＲを算出するとともに、各映像に対して規定された複数のサイズオーダに夫々応じたビューボリュームのＭＢＲを算出し、
前記管理手段は、
前記代表サイズオーダに対応するＭＢＲで前記複数の映像を階層的に管理するためのツリー構造を決定し、
前記ツリー構造を用いて、ツリー中の各最下位ノードに前記算出手段で算出された前記複数の映像の一つに対する前記代表サイズオーダ及び前記複数のサイズオーダに応じた各ＭＢＲを示すデータが格納され、前記ツリー中の下位ノードを有する各ノードに該ノードが有する全ての下位ノードに夫々格納された前記代表サイズオーダ及び前記複数のサイズオーダに応じた各ＭＢＲを示すデータで特定される各ＭＢＲを夫々包含するサイズオーダ毎のＭＢＲを示すデータが格納されたツリーを作成し、このツリーを記憶装置に格納する
付記１〜４のいずれかに記載の映像管理システム。（２）
【０１８９】
（付記６）  任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じたＭＢＲを検索ＭＢＲとして決定し、前記被写体の位置を含む検索ＭＢＲを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索ＭＢＲに対応する映像に係る情報を、映像検索結果の一つとして抽出する検索手段
をさらに備えた付記５記載の映像管理システム。
【０１９０】
（付記７）  前記算出手段は、管理対象の複数の映像の夫々について複数のサイズオーダに応じたＭＢＲを夫々算出し、
前記管理手段は、
前記各サイズオーダに応じたＭＢＲで前記複数の映像を階層的に管理するためのツリー構造を前記サイズオーダ毎に決定し、
ツリー中の最下位ノードに前記算出手段で算出された複数のサイズオーダの一つに応じたＭＢＲを示すデータが格納され、前記ツリー中の下位ノードを有する各ノードに該ノードの有する全ての下位ノードで夫々管理される前記複数のサイズオーダの一つに応じたＭＢＲのデータに応じたＭＢＲを夫々包含するＭＢＲを示すデータが格納されたツリーを前記サイズオーダ毎に作成し、これらのツリーを記憶装置に格納する
付記１〜６のいずれかに記載の映像管理システム。
【０１９１】
（付記８）  任意の被写体の位置及びサイズが与えられた時に、前記複数のサイズオーダの中から前記被写体のサイズより大きく且つ最小のサイズオーダを決定し、決定されたサイズオーダに対応するツリーを特定し、前記被写体の位置を含むＭＢＲを前記特定されたツリーのルートノードから順にたどり、前記特定されたツリーの最下位ノードで検索される前記被写体の位置を含むＭＢＲに対応する映像に係る情報を、映像検索結果の一つとして抽出する検索手段
をさらに備える付記７記載の映像管理システム。
【０１９２】
（付記９）  映像の撮影位置と撮影方向とを示すデータに基づいて算出された、複数のサイズオーダの夫々に対応する、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を夫々示すデータを、管理対象の映像の撮影範囲を示すデータとして格納した記憶手段と、
検索対象の被写体の位置とサイズとが与えられた場合に、前記被写体のサイズより大き
く且つ最小の前記複数のサイズオーダの一つに対応する前記記憶手段中のＭＢＲを特定し、特定したＭＢＲ中に前記被写体の位置が含まれている場合には、そのＭＢＲに対応する映像に係るデータを、検索結果の一つとして抽出する検索手段と
を備える映像検索システム。（３）
【０１９３】
（付記１０）  前記記憶手段は、複数の映像を階層的に管理するためのツリーを記憶し、
前記ツリーは、前記複数の映像に対して共通な代表サイズオーダに応じて算出された各映像に対応するＭＢＲで決定されたツリー構造を有し、
前記ツリー中の各最下位ノードは、前記複数の映像の前記代表サイズオーダに応じたＭＢＲと、前記複数の映像の一つに対して規定された複数のサイズオーダに応じて算出された複数のＭＢＲとを夫々示すデータを有し、
前記ツリー中の下位ノードを有する各ノードは、該ノードが有する全ての下位ノードに夫々格納された前記代表サイズオーダ及び前記複数のサイズオーダに夫々対応する各ＭＢＲを示すデータで特定される各ＭＢＲを夫々包含するサイズオーダ毎のＭＢＲを示すデータを有し、
前記検索手段は、任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じたＭＢＲを検索ＭＢＲとして決定し、前記被写体の位置を含む検索ＭＢＲを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索ＭＢＲに対応する映像に係る情報を、映像検索結果の一つとして抽出する
付記９記載の映像検索システム。（４）
【０１９４】
（付記１１）  コンピュータが、
映像の撮影位置と撮影方向とを示すデータに基づいて、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を、複数のサイズオーダの夫々について算出し、
前記算出手段によって算出された複数のサイズオーダに夫々対応するＭＢＲを示すデータを、管理対象の映像の撮影範囲を示すデータとして記憶装置に格納する
ことを含む映像管理方法。（５）
【０１９５】
（付記１２）  管理対象の複数の映像に対して共通な代表サイズオーダのビューボリュームのＭＢＲを算出するとともに、各映像に対して規定された複数のサイズオーダに夫々応じたビューボリューム及びＭＢＲを算出し、
前記代表サイズオーダに対応するＭＢＲで前記複数の映像を階層的に管理するためのツリー構造を決定し、
前記ツリー構造を用いて、ツリー中の各最下位ノードに前記算出手段で算出された前記複数の映像の一つに対する前記代表サイズオーダ及び前記複数のサイズオーダに応じた各ＭＢＲを示すデータが格納され、前記ツリー中の下位ノードを有する各ノードに該ノードが有する全ての下位ノードに夫々格納された前記代表サイズオーダ及び前記複数のサイズオーダに応じた各ＭＢＲを示すデータで特定される各ＭＢＲを夫々包含するサイズオーダ毎のＭＢＲを示すデータが格納されたツリーを作成し、
このツリーを前記記憶装置に格納する
ことをさらに含む付記１１記載の映像管理方法。（５）
【０１９６】
（付記１３）  任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じたＭＢＲを検索ＭＢＲとして決定し、
前記被写体の位置を含む検索ＭＢＲを前記ツリーのルートノードから順にたどり、前記
ツリーの最下位ノードで検索される前記被写体の位置を含む検索ＭＢＲに対応する映像に係る情報を、映像検索結果の一つとして抽出する
ことをさらに含む付記１２記載の映像管理方法。
【０１９７】
（付記１４）  コンピュータが、
検索対象の被写体の位置とサイズとが与えられた場合に、映像の撮影位置と撮影方向とを示すデータに基づいて算出された、複数のサイズオーダの夫々に対応する、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を夫々示すデータを、管理対象の映像の撮影範囲を示すデータとして格納した記憶手段にアクセスし、
前記被写体のサイズより大きく且つ最小の前記複数のサイズオーダの一つに対応する前記記憶手段中のＭＢＲを特定し、
特定したＭＢＲ中に前記被写体の位置が含まれている場合には、そのＭＢＲに対応する映像に係るデータを、検索結果の一つとして抽出する
ことを含む映像検索方法。（６）
【０１９８】
（付記１５）  前記記憶手段は、複数の映像を階層的に管理するためのツリーを記憶し、
前記ツリーは、前記複数の映像に対して共通な代表サイズオーダに応じて算出された各映像に対応するＭＢＲで決定されたツリー構造を有し、
前記ツリー中の各最下位ノードは、前記複数の映像の前記代表サイズオーダに応じたＭＢＲと、前記複数の映像の一つに対して規定された複数のサイズオーダに応じて算出された複数のＭＢＲとを夫々示すデータを有し、
前記ツリー中の下位ノードを有する各ノードは、該ノードが有する全ての下位ノードに夫々格納された前記代表サイズオーダ及び前記複数のサイズオーダに夫々対応する各ＭＢＲを示すデータで特定される各ＭＢＲを夫々包含するサイズオーダ毎のＭＢＲを示すデータを有し、
任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じたＭＢＲを検索ＭＢＲとして決定し、
前記被写体の位置を含む検索ＭＢＲを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索ＭＢＲに対応する映像に係る情報を、映像検索結果の一つとして抽出する
ことをさらに含む付記１４記載の映像検索方法。（７）
【０１９９】
（付記１６）  映像の撮影位置と撮影方向とを示すデータに基づいて、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を、複数のサイズオーダの夫々について算出するステップと、
前記算出手段によって算出された複数のサイズオーダに夫々対応するＭＢＲを示すデータを、管理対象の映像の撮影範囲を示すデータとして記憶装置に格納するステップと
をコンピュータに実行させるプログラム。（８）
【０２００】
（付記１７）  管理対象の複数の映像に対して共通な代表サイズオーダのビューボリュームのＭＢＲを算出するとともに、各映像に対して規定された複数のサイズオーダに夫々応じたビューボリューム及びＭＢＲを算出するステップと、
前記代表サイズオーダに対応するＭＢＲで前記複数の映像を階層的に管理するためのツリー構造を決定するステップと、
前記ツリー構造を用いて、ツリー中の各最下位ノードに前記算出手段で算出された前記複数の映像の一つに対する前記代表サイズオーダ及び前記複数のサイズオーダに応じた各ＭＢＲを示すデータが格納され、前記ツリー中の下位ノードを有する各ノードに該ノードが有する全ての下位ノードに夫々格納された前記代表サイズオーダ及び前記複数のサイズ
オーダに応じた各ＭＢＲを示すデータで特定される各ＭＢＲを夫々包含するサイズオーダ毎のＭＢＲを示すデータが格納されたツリーを作成するステップと、
このツリーを前記記憶装置に格納するステップと、
をコンピュータにさらに実行させる付記１６記載のプログラム。
【０２０１】
（付記１８）  任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じたＭＢＲを検索ＭＢＲとして決定するステップと、
前記被写体の位置を含む検索ＭＢＲを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索ＭＢＲに対応する映像に係る情報を、映像検索結果の一つとして抽出するステップと
をさらにコンピュータに実行させる付記１７記載のプログラム。
【０２０２】
（付記１９）  検索対象の被写体の位置とサイズとが与えられた場合に、映像の撮影位置と撮影方向とを示すデータに基づいて算出された、複数のサイズオーダの夫々に対応する、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を夫々示すデータを、管理対象の映像の撮影範囲を示すデータとして格納した記憶手段にアクセスするステップと、
前記被写体のサイズより大きく且つ最小の前記複数のサイズオーダの一つに対応する前記記憶手段中のＭＢＲを特定するステップと、
特定したＭＢＲ中に前記被写体の位置が含まれている場合には、そのＭＢＲに対応する映像に係るデータを、検索結果の一つとして抽出するステップと
をコンピュータに実行させるプログラム。（１０）
【０２０３】
（付記２０）  前記記憶手段は、複数の映像を階層的に管理するためのツリーを記憶し、
前記ツリーは、前記複数の映像に対して共通な代表サイズオーダに応じて算出された各映像に対応するＭＢＲで決定されたツリー構造を有し、
前記ツリー中の各最下位ノードは、前記複数の映像の前記代表サイズオーダに応じたＭＢＲと、前記複数の映像の一つに対して規定された複数のサイズオーダに応じて算出された複数のＭＢＲとを夫々示すデータを有し、
前記ツリー中の下位ノードを有する各ノードは、該ノードが有する全ての下位ノードに夫々格納された前記代表サイズオーダ及び前記複数のサイズオーダに夫々対応する各ＭＢＲを示すデータで特定される各ＭＢＲを夫々包含するサイズオーダ毎のＭＢＲを示すデータを有し、
任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じたＭＢＲを検索ＭＢＲとして決定するステップと、
前記被写体の位置を含む検索ＭＢＲを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索ＭＢＲに対応する映像に係る情報を、映像検索結果の一つとして抽出するステップと
をさらにコンピュータに実行させる付記１９記載のプログラム。
【図面の簡単な説明】
【０２０４】
【図１】複数の被写体サイズのオーダで算出したＭＢＲの説明図である。
【図２】代表的な被写体サイズのオーダに基づくツリー構造の決定を示す説明図である。
【図３】ツリーの各ノードにおける、複数の被写体サイズのオーダに対するＭＢＲの算出を示す説明図である。
【図４】被写体サイズを指定した映像検索を示す説明図である。
【図５】本発明の実施形態による映像管理及び検索システムの構成例を示す図である。
【図６】図５に示した映像収集端末の構成例を示す図である。
【図７】映像データのメタデータのリスト例(リスト１)を示す図である。
【図８】図７に示したリスト中の各メタデータを構成するパラメータを説明するテーブル(テーブル１)を示す図である。
【図９】ビューボリュームの計算方法の例を示す説明図である。
【図１０】映像データのＭＢＲの計算方法の例を示す説明図である。
【図１１】遠方面距離の決定手法の例を示す説明図である。
【図１２】メタデータの管理情報を示すテーブル(テーブル２)の説明図である。
【図１３】ツリーインデックスのデータ構造例を示す図である。
【図１４】ツリーインデックスの例を示す図である。
【図１５】各ノードにおけるＭＢＲの計算を示す図である。
【図１６】被写体サイズと代表点の説明図である。
【図１７】被写体映像検索の例を示す図である。
【図１８】検索条件入力画面の表示例を示す図である。
【図１９】検索結果表示画面の表示例を示す図である。
【図２０】ビューボリュームとＭＢＲの説明図である。
【図２１】ＭＢＲによる階層化の例を示す図である。
【図２２】従来技術の問題点の説明図である。
【符号の説明】
【０２０５】
Ａ,Ｂ,Ｃ・・・ビューボリューム
Ｄ１・・・映像データ
Ｄ２・・・メタデータ
Ｄ３・・・映像管理用メタデータ
Ｍ１,Ｍ２,Ｍ３・・・ＭＢＲ
Ｎ１,Ｎ２−１,Ｎ２−２,Ｎ３−１〜Ｎ３−６・・・ノード
１・・・映像収集端末
２・・・映像検索端末
４,５・・・ネットワーク
６・・・Ｗｅｂサーバ
７・・・ＤＢサーバ
８・・・ストレージ
１０・・・ＰＣ(パーソナルコンピュータ)
１１・・・カメラ
１３・・・センサ
１４・・・通信モジュール
１５・・・外部メモリ
６１・・・映像管理サーバ(算出手段)
６２・・・映像配信サーバ
６３・・・映像検索サーバ(検索手段)
６４・・・地図配信サーバ
７１・・・映像ＤＢ(管理手段)
７２・・・被写体ＤＢ
７３・・・地図ＤＢ
８１・・・映像ストレージ
８２・・・映像メタデータストレージ
８３・・・被写体情報ストレージ
８４・・・地図情報ストレージ
１３１・・・位置計測センサ１３１
１３２・・・方位計測センサ
【図１】
0004601666.tif 000009
【図２】
0004601666.tif 000010
【図３】
0004601666.tif 000011
【図４】
0004601666.tif 000012
【図５】
0004601666.tif 000013
【図６】
0004601666.tif 000014
【図７】
0004601666.tif 000015
【図８】
0004601666.tif 000016
【図９】
0004601666.tif 000017
【図１０】
0004601666.tif 000018
【図１１】
0004601666.tif 000019
【図１２】
0004601666.tif 000020
【図１３】
0004601666.tif 000021
【図１４】
0004601666.tif 000022
【図１５】
0004601666.tif 000023
【図１６】
0004601666.tif 000024
【図１７】
0004601666.tif 000025
【図１８】
0004601666.tif 000026
【図１９】
0004601666.tif 000027
【図２０】
0004601666.tif 000028
【図２１】
0004601666.tif 000029
【図２２】
0004601666.tif 000030