(57)【要約】【課題】同一の領域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことを可能にする。【解決手段】複数の撮像装置２０で撮影された画像をグループ分けするマルチアングル情報生成装置１０であって、撮像装置２０の撮影条件に関するセンサ情報を取得するセンシングメタデータ取得手段１０１と、取得したセンサ情報に基づいて、各撮像装置２０が撮影した画像を含むフォーカス平面を導出するフォーカス平面メタデータ導出手段１０２と、各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うグルーピング判定手段１０３と、グループ分けした結果をマルチアングル情報として前記画像に関連付けて記録するマルチアングルメタデータ記録手段１０４とを備える。【選択図】図１
2007013939.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で撮影された画像にメタデータを付与するメタデータ付与装置であって、
前記撮像装置の撮影条件に関するセンサ情報を取得するセンシング情報取得手段と、
取得したセンサ情報に基づいて、前記撮像された画像の撮像面であるフォーカス平面の位置を導出するフォーカス平面導出手段と、
導出したフォーカス平面の位置を、前記撮像された画像にメタデータとして付与するメタデータ付与手段と、
を備えるメタデータ付与装置。
【請求項２】
各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うグルーピング手段と、
グループ分けした結果を付加情報として前記画像に関連付けて記録する付加情報記録手段と、
を備える請求項１記載のメタデータ付与装置。
【請求項３】
前記グルーピング手段は、フォーカス平面が互いに交差する画像を同一のグループに分ける請求項２記載のメタデータ付与装置。
【請求項４】
前記グルーピング手段は、フォーカス平面の位置情報を記憶した表に基づいて、当該位置情報にフォーカス平面が含まれる各画像を同一のグループに分ける請求項２記載のメタデータ付与装置。
【請求項５】
撮像装置で撮影された画像にメタデータを付与するメタデータ付与方法であって、
前記撮像装置の撮影条件に関するセンサ情報を取得するセンシング情報取得ステップと、
取得したセンサ情報に基づいて、前記撮像された画像の撮像面であるフォーカス平面の位置を導出するフォーカス平面導出ステップと、
導出したフォーカス平面の位置を、前記撮像された画像にメタデータとして付与するメタデータ付与ステップと、を有するメタデータ付与方法。
【請求項６】
各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うグルーピングステップと、
グループ分けした結果を付加情報として前記画像に関連付けて記録する付加情報記録ステップと、
を有する請求項５記載のメタデータ付与方法。
【請求項７】
前記グルーピングステップは、フォーカス平面が互いに交差する画像を同一のグループに分ける請求項６記載のメタデータ付与方法。
【請求項８】
前記グルーピングステップは、フォーカス平面の位置情報を記憶した表に基づいて、当該位置情報にフォーカス平面が含まれる各画像を同一のグループに分ける請求項６記載のメタデータ付与方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮影された画像にメタデータを付与するメタデータ付与装置及びメタデータ付与方法に関する。
【背景技術】
【０００２】
撮影画像をテーマ別に分類、管理する装置や手法については、従来、多数の提案がなされている。その中には、画像分析により撮影画像を被写体別に分類する撮影画像処理装置などがある（例えば、特許文献１参照）。この装置によれば、例えば、デジタルカメラなどで撮影した静止画像データが、被写体別に自動的に分類、管理される。
【０００３】
ところで、被写体別に撮影画像を分類したいというニーズが発生する状況は多々あるが、静止画像以外にも、例えば、複数の場所に配置したカメラの映像を放送するスポーツ中継番組などにおいては、ある決定的瞬間に関わる映像部分を複数の映像データから抽出し、異なる角度から捉えた同じ被写体の映像（マルチアングル映像）として連続的に放送できるように編集したい場合などがある。
【特許文献１】特開２００４−３５６９８４号公報（第６頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の画像分析による分類は、処理負荷が大きいため、複数の画像フレームで構成される映像について、同じ被写体が撮影された映像部分を分類、抽出するような目的には適用するのは現実的ではない。例えば、１秒あたり３０枚の画像フレームで構成される映像では、３台のカメラで撮影したそれぞれ６０秒の映像から所定の映像を分類、抽出する場合、６０×３０×３＝５４００フレームの画像分析が必要になる。
【０００５】
また、上記従来の画像分析による分類は、被写体の写り方、即ち、被写体の角度や大きさが異なる画像の場合には補正処理が必要で、認識精度が良好でない場合があった。前述のスポーツ中継番組の例では、カメラが異なる位置に配置されているため、被写体の写り方は必ず異なるものとなり、その点からも画像分析で映像の任意部分を分類、抽出することは困難であった。
【０００６】
従って、例えば、野球の試合放送において、ある選手がホームランを打った場面をさまざまな角度からの映像として連続的に放送したい場合、従来は手動で、すなわち、目視でそれぞれの映像を検索し、該当部分を抽出して繋ぎ合わせるという編集作業が必要であった。
【０００７】
本発明は、上記従来の事情に鑑みてなされたものであって、同一の領域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことを可能にするメタデータ付与装置及びメタデータ付与方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のメタデータ付与装置は、撮像装置で撮影された画像にメタデータを付与するメタデータ付与装置であって、前記撮像装置の撮影条件に関するセンサ情報を取得するセンシング情報取得手段と、取得したセンサ情報に基づいて、前記撮像された画像の撮像面であるフォーカス平面の位置を導出するフォーカス平面導出手段と、導出したフォーカス平面の位置を、前記撮像された画像にメタデータとして付与するメタデータ付与手段と、を備える。上記構成によれば、各画像に、フォーカス平面の位置をメタデータとして付与することにより、フォーカス平面の位置関係に基づいて各画像のグループ分けを行えば、画像分析によりグループ分けを行う従来の手法と比べて処理負荷を低減できる為、同一の領域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことが可能になる。
【０００９】
また、本発明のメタデータ付与装置は、各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うグルーピング手段と、グループ分けした結果を付加情報として前記画像に関連付けて記録する付加情報記録手段と、を備える。上記構成によれば、撮影した画像を含むフォーカス平面を導出し、各フォーカス平面の位置関係に基づいて各画像のグループ分けを行うことにより、画像分析によりグループ分けを行う従来の手法と比べて処理負荷を低減できる為、同一の領域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことが可能になる。
【００１０】
また、本発明のメタデータ付与装置は、グルーピング手段が、フォーカス平面が互いに交差する画像を同一のグループに分けるものである。上記構成によれば、演算により画像をグループ分けできる。
【００１１】
また、本発明のメタデータ付与装置は、グルーピング手段が、フォーカス平面の位置情報を記憶した表に基づいて、当該位置情報にフォーカス平面が含まれる各画像を同一のグループに分けるものである。上記構成によれば、各画像を同一のグループに分けるフォーカス平面の位置を予め決めておけば、演算によらずに、画像をグループ分けできる。
【００１２】
また、本発明のメタデータ付与方法は、撮像装置で撮影された画像にメタデータを付与するメタデータ付与方法であって、前記撮像装置の撮影条件に関するセンサ情報を取得するセンシング情報取得ステップと、取得したセンサ情報に基づいて、前記撮像された画像の撮像面であるフォーカス平面の位置を導出するフォーカス平面導出ステップと、導出したフォーカス平面の位置を、前記撮像された画像にメタデータとして付与するメタデータ付与ステップと、を有する。
【００１３】
また、本発明のメタデータ付与方法は、各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うグルーピングステップと、グループ分けした結果を付加情報として前記画像に関連付けて記録する付加情報記録ステップと、を有する。
【００１４】
また、本発明のメタデータ付与方法は、前記グルーピングステップが、フォーカス平面が互いに交差する画像を同一のグループに分けるものである。
【００１５】
さらに、本発明のメタデータ付与方法は、前記グルーピングステップが、フォーカス平面の位置情報を記憶した表に基づいて、当該位置情報にフォーカス平面が含まれる各画像を同一のグループに分けるものである。
【発明の効果】
【００１６】
本発明によれば、各画像に、フォーカス平面の位置をメタデータとして付与することにより、フォーカス平面の位置関係に基づいて各画像のグループ分けを行えば、画像分析によりグループ分けを行う従来の手法と比べて処理負荷を低減、及びより高精度で同一撮像領域、同一被写体を撮影している動画像のグルーピングを実現できる為、同一の領域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことが可能になる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照しながら、本発明の実施の形態に係るメタデータ付与装置について詳細に説明する。なお、実施の形態１及び２においては、メタデータ付与装置をマルチアングル情報生成装置として実施する例を示し、実施の形態３においては、メタデータ付与装置を付加情報生成装置として実施する例を示す。
【００１８】
［実施の形態１］
図１は、本発明の実施の形態におけるマルチアングル情報生成装置の内部構成及びマルチアングル情報生成装置を含むマルチアングル情報生成システムの構成を示す図である。図１に示すマルチアングル情報生成システムは、複数の撮像装置で撮影された画像をグループ分けするマルチアングル情報生成装置１０と、複数の撮像装置２０（２０ａ〜２０ｎ）と、データベース３０と、マルチアングル映像検索装置４０とを備えて構成される。以下では、マルチアングル情報生成システムが、複数の画像で構成される映像をグループ分けする例について説明する。
【００１９】
マルチアングル情報生成装置１０は、センシングメタデータ取得手段１０１、フォーカス平面メタデータ導出手段１０２、グルーピング判定手段１０３、マルチアングルメタデータ記録手段１０４を備える。
【００２０】
センシングメタデータ取得手段１０１は、撮像装置２０の撮影条件に関するセンサ情報を取得するものであり、それぞれの撮像装置の位置、方位、仰角、画角、フォーカス距離に関わるセンシングメタデータを、データベース３０を介して取得する。尚、本実施の形態では、センシングメタデータは撮像装置２０で生成されるものとする。撮像装置２０の内部構成及びセンシングメタデータの詳細については後述する。
【００２１】
フォーカス平面メタデータ導出手段１０２は、取得したセンシングメタデータに基づいて、各撮像装置２０が撮影した画像の撮像面であるフォーカス平面を導出するものであり、センシングメタデータに基づいて、撮像装置２０の実空間における撮影フォーカス平面を表す矩形を、座標値として算出する。フォーカス平面メタデータの詳細については後述する。
【００２２】
グルーピング判定手段１０３は、各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うものであり、フォーカス平面メタデータ導出手段１０２で導出した撮像装置ごとのフォーカス平面を用い、所定の判定条件に基づいて、画像が同一領域を撮影したものであるか否かの判定を行う。
【００２３】
マルチアングルメタデータ記録手段１０４は、グループ分けした結果をマルチアングル情報として画像に関連付けて記録するものであり、同一領域を撮影したものと判定された画像について関連付けを行った情報を、マルチアングルメタデータとしてデータベース３０側に出力、記録する。マルチアングルメタデータの詳細については後述する。
【００２４】
マルチアングル情報生成装置１０は、複数の撮像装置２０からの映像データが格納されるデータベース３０と接続し、撮像装置から取得するセンシングメタデータに基づいて、同一時刻に同一の被写体を撮影した複数の映像データの関連付けに関わる情報としてマルチアングルメタデータを生成し、データベース３０へ出力する。また、データベース３０に接続するマルチアングル映像検索装置４０は、マルチアングルメタデータに基づいて映像データの検索を行うことができる。
【００２５】
次に、撮像装置について説明する。図２は、本発明の実施の形態におけるマルチアングル情報生成システムで使用する撮像装置の内部構成を示す図である。撮像装置２０は、レンズ群２０１、ＣＣＤ２０２、駆動回路２０３、タイミング信号発生手段２０４、サンプリング手段２０５、Ａ／Ｄ変換手段２０６、映像ファイル生成手段２０７、映像アドレス生成手段２０８、映像識別子生成手段２０９、機器情報センサ２１０、センシングメタデータ生成手段２１１、記録手段２１２を備える。
【００２６】
ＣＣＤ２０２は、駆動回路２０３に接続されているタイミング信号発生手段２０４によって発生されたタイミング信号に同期して駆動され、レンズ群２０１を介して入射した被写体像の画像信号をサンプリング手段２０５へ出力する。
【００２７】
サンプリング手段２０５は、ＣＣＤ２０２固有のサンプリングレートによって画像信号をサンプリングする。Ａ／Ｄ変換手段２０６は、ＣＣＤ２０２より出力された画像信号をデジタル画像データに変換して映像ファイル生成手段２０７へ出力する。
【００２８】
映像アドレス生成手段２０８は、タイミング信号発生手段２０４からの信号によって映像アドレスの生成を開始する。映像識別子生成手段２０９は、映像と後述するセンシングメタデータを関連付ける識別子（例えばファイル名やＩＤ）を発行、付与する。
【００２９】
機器情報センサ２１０は、ＧＰＳ受信機(Global Positioning System)、ジャイロセンサ、方位センサ、測距センサ、画角センサで構成される。
【００３０】
ＧＰＳ受信機は、衛星からの電波を受信することで、あらかじめ位置の分かっている３つ以上の人工衛星からの距離を得ることにより、ＧＰＳ受信機自身の３次元での位置（緯度・経度・高度）を求めることができる。この機能を利用することにより、撮像装置の地球上での絶対位置を取得することができる。
【００３１】
ジャイロセンサは、一般的には３軸加速度センサと呼ばれ、地球の重力を利用することにより、センサから見てどの軸方角にどのくらいの加速度がかかっているか、つまりどの軸方向にどのくらい傾いているのかを数値として検出することができる。この機能を利用することにより、撮像装置の傾き（方位角、仰角）を取得することができる。
【００３２】
方位センサは、一般的には電子コンパスと呼ばれ、地球の地磁気を利用することによって、地球の東西南北の方角を検出することができる。ジャイロセンサと方位センサを組み合わせることにより、地球上での撮像装置の絶対的な向きを表すことができる。
【００３３】
測距センサは、被写体までの距離を計測するセンサである。撮像装置側から赤外線や超音波を被写体に向けて送出し、撮像装置がその反射を受け取るまでの時間によって撮像装置から被写体までの距離、つまりピントを合わせるべきフォーカス距離を求めることができる。
【００３４】
画角センサは、焦点距離、ＣＣＤの高さから画角を得ることができる。焦点距離は、レンズと受光部との距離を計ることにより取得でき、受光部の高さは撮像装置固有の物である。
【００３５】
機器情報センサ２１０は、センシングメタデータ２１１からの出力要求に基づき、ＧＰＳ受信機(Global Positioning System)、ジャイロセンサ、方位センサ、測距センサ、画角センサから、撮像装置の位置、基準となる方位、方位角、仰角、画角、フォーカス距離に関わるセンシング情報を出力する。センシングメタデータ生成手段２１１は、映像アドレス生成手段２０８からの映像アドレス生成タイミングに従って、機器情報センサ２１０よりセンシング情報を取得し、センシングメタデータを生成して記録手段２１２へ出力する。機器情報センサ２１０及びセンシングメタデータ生成手段２１１は、タイミング信号発生手段２０４からの信号によって動作を開始する。
【００３６】
尚、センシング情報の生成及び出力は本願の主眼ではないのでセンサの動作に関する詳細な説明は省略する。
【００３７】
尚、センシング情報の取得は、ＣＣＤのサンプリングレート（1/30sec）で行ってもよいし、数フレーム毎に取得してもよい。
【００３８】
尚、室内による撮影の場合ＧＰＳセンサが動作しない場合、手動により撮影場所の位置情報を入力することもできる。この場合、図示せぬ入力手段により入力された位置情報が機器情報センサに入力されるものとする。
【００３９】
ここで、上記構成の撮像装置のセンシングメタデータ生成動作について説明する。図３は、本発明の実施の形態におけるマルチアングル情報生成システムで使用する撮像装置の動作手順を示すフローチャートである。
【００４０】
はじめに、撮像装置本体の所定のスイッチ押下などにより撮影開始信号を受信すると（ステップＳ１０１）、撮像装置２０は映像記録処理を開始する（ステップＳ１０２）と共に、撮像装置２０はセンシングメタデータの生成処理を開始する（ステップＳ１０３）。そしてタイミング信号発生手段２０４が撮影終了信号を受信すると撮像装置２０は前記映像記録処理とセンシングメタデータ生成処理を終了させる（ステップＳ１０４）。
【００４１】
ここで、ステップＳ１０２で開始した映像記録処理とステップＳ１０３で開始したセンシングメタデータ生成処理を図４、図５を用いて説明する。
【００４２】
図４は、ステップＳ１０２の映像記録動作手順を示すフローチャートである。撮影開始信号を取得すると（ステップＳ２０１）、タイミング信号発生手段２０４からの動作指示命令により撮影動作が開始する（ステップＳ２０２）。また、タイミング信号発生手段２０４からの指示命令により、映像識別子生成手段２０９で映像識別子が生成される（ステップＳ２０３）。
【００４３】
ＣＣＤ２０２からの映像電気信号を取得し（ステップＳ２０４）、サンプリング手段２０５は、取得信号のサンプリングを行い（ステップＳ２０５）、Ａ／Ｄ変換手段２０６がデジタル画像データへの変換を行う（ステップＳ２０６）。
【００４４】
また、タイミング信号発生手段２０４からの指示命令で映像アドレス生成手段２０８が生成した映像アドレスを取得して（ステップＳ２０７）、映像ファイル生成手段２０７で映像ファイルが生成される（ステップＳ２０８）。更に、映像識別子生成手段２０９で生成した映像識別子が付与され（ステップＳ２０９）、最終的な映像ファイルが記録手段２１２に記録される（ステップＳ２１０）。
【００４５】
図５は、ステップＳ１０３のセンシングメタデータ生成動作手順を示すフローチャートである。撮影開始信号を取得すると（ステップＳ３０１）、センシングメタデータ生成手段２１１は、映像アドレス生成手段２０８で生成された映像アドレスを取得する（ステップＳ３０２）。また、映像識別子生成手段２０９で生成した映像識別子を取得する（ステップＳ３０３）。さらにセンシングメタデータ生成手段２１１は映像アドレスを取得すると同時に、機器情報センサ２１０にセンシング情報の出力要求を出し、カメラの位置、方位角、仰角、画角、フォーカス距離の情報を取得する。ＧＰＳ受信機からは、カメラの位置が取得でき、ジャイロセンサからは方位角、仰角が取得でき、測距センサからはフォーカス距離が取得でき、画角センサからは画角が取得できる。（ステップＳ３０４）。
【００４６】
次に、センシングメタデータ生成手段２１１は、取得した映像識別子、映像アドレスと共にカメラ位置、方位角、仰角、画角、フォーカス距離を記録し、センシングメタデータを生成、出力し（ステップＳ３０５）、記録手段２１２に記録する（ステップＳ３０６）。
【００４７】
図６は、生成されるセンシングメタデータのデータ構造を模式的に示す図である。任意の数のフレームで構成される一連の映像データには映像識別子が付与され、この識別子により、映像データとセンシングメタデータが一意に対応する。また、映像アドレス毎に、カメラ座標、方位角、仰角、画角、フォーカス距離が記録される。尚、映像アドレスの最小単位は、ＣＣＤ２０２のサンプリングレート、つまりフレームである。例えば図６の映像識別子には映像識別子生成手段２０９から取得した情報である「０１２３４５」が入力されている。また、映像アドレスには映像アドレス生成手段２０８から取得した情報である「００：００：００：０１」が入力されている。さらに映像アドレス「００：００：００：０１」には、当該映像アドレスを取得したタイミングにおける機器情報センサ２１０から取得する各センサ情報であるカメラ位置「１，０，０」と方位角、仰角「−９０度、０度」と画角「９０度」とフォーカス距離「１ｍ」が入力されている。尚、カメラ位置は「ｘ、ｙ、ｚ」で表現され、ｘは緯度、ｙは経度、ｚは高度（海抜）を表す。実際ここに入力される値はＧＰＳ受信機が取得した緯度、経度、高度であるが、本実施の形態では説明の簡略化のため、緯度ｘ＝１，経度ｙ＝０，高度ｚ＝０という値を得たと仮定する。また、次の映像アドレスには映像アドレス生成手段２０８から取得した情報である「００：００：００：０２」が入力されている。さらに映像アドレス「００：００：００：０２」には、当該映像アドレスを取得したタイミングにおける機器情報センサ２１０から取得する各センサ情報であるカメラ位置「１，０，０」と方位角、仰角「−９０度、０度」と画角「９０度」とフォーカス距離「１ｍ」が入力されている。また、次の映像アドレスには映像アドレス生成手段２０８から取得した情報である「００：００：００：０３」が入力されている。さらに映像アドレス「００：００：００：０３」には、当該映像アドレスを取得したタイミングにおける機器情報センサ２１０から取得する各センサ情報であるカメラ位置「１，０，０」と方位角、仰角「−９０度、０度」と画角「９０度」とフォーカス距離「１ｍ」が入力されている。
【００４８】
次に、上記構成のマルチアングル情報生成装置のマルチアングル情報生成動作について説明する。図７は、本発明の実施の形態におけるマルチアングル情報生成装置のマルチアングル情報生成動作手順を示すフローチャートである。
【００４９】
はじめに、マルチアングル情報生成装置１０のセンシングメタデータ取得手段１０１は、複数の撮像装置２０で同時刻に撮影を行った映像群のセンシングメタデータをすべて取得する（ステップＳ４０１）。次に、フォーカス平面メタデータ導出手段１０２は、取得したセンシングメタデータに基づいて、フォーカス平面メタデータの導出を行う（ステップＳ４０２）。
【００５０】
次に、フォーカス平面メタデータ導出手段１０２は、すべてのセンシングメタデータについてフォーカス平面メタデータの導出が完了したか否かを判断し、完了していない場合はステップＳ４０２のフォーカス平面メタデータの導出動作を繰り返す。一方、すべてのセンシングメタデータについてフォーカス平面メタデータの導出が完了している場合、次に、マルチアングルメタデータの生成動作に移行する（ステップＳ４０３）。次にグルーピング判定手段１０３は、フォーカス平面メタデータ導出手段１０２から取得したフォーカス平面メタデータに基づいて、マルチアングルメタデータの生成を行う（ステップＳ４０４）。
【００５１】
最後に、マルチアングルメタデータ記録手段１０４は、グルーピング判定手段１０３から取得したマルチアングルメタデータをデータベース３０側へ出力する（ステップＳ４０５）。
【００５２】
ここで、ステップＳ４０２のフォーカス平面メタデータ導出動作について図８，９を用いて説明する。図８は、フォーカス平面について説明するための図である。フォーカス平面とは、撮影を行う際に焦点、いわゆるピントを合わせた撮像領域を示す矩形の平面であり、矩形の４隅の座標値（境界座標と称する）で表現することができる。図に示すように、撮像装置（カメラ）からフォーカス平面までの距離は、フォーカス距離、即ち焦点距離で決定され、また、矩形の大きさは、カメラの画角で決定される。矩形の中心はフォーカス点となる。
【００５３】
図９に示すマルチアングル情報生成装置のフォーカス平面導出動作手順を示すフローチャートを説明する。はじめに、フォーカス平面メタデータ導出手段１０２は、センシングメタデータを取得する（ステップＳ５０１）。
【００５４】
任意のカメラの任意時点におけるセンシング情報が、図８に示すようにカメラ位置（a,b,c）、方位角α度、仰角β度、画角2γ度、フォーカス距離L(ｍ）である場合、カメラ位置（a,b,c）を基点としたカメラの向きベクトルは、方位角α度、仰角β度から求めることができる。前記センシング情報により、カメラの向きベクトルは（-sin αcosβ,cos α cos β ,sin β）となる。前記求められたカメラの向きベクトルを（e,f,g）とする。カメラの向きベクトル（e,f,g）はフォーカス平面を垂直に貫くためフォーカス平面の法線ベクトルとなる（ステップＳ５０２）。
【００５５】
次に、カメラ向きベクトル（e,f,g）とカメラ位置（a,b,c）から、カメラ位置（a,b,c）とフォーカス点を通る直線の方程式が導出できる。この直線の方程式は媒介変数zを用いると（ez,fz,gz）と表すことができる。この直線の方程式から、当該直線上にあり、カメラ位置（a,b,c）からの距離がLである座標をフォーカス点として導出可能である。求めるための式はL=√(ez-a) 2+(fz-b) 2+(gz-c) 2となり、この式から媒介変数zを導出する。L=√(ez-a) 2+(fz-b) 2+(gz-c) 2を解くと、z=｛(ae+bf+cg)±√(ae+bf+cg) 2 -(e+f+g)(a2+b2+c2-L2)｝/(e+f+g)となり、フォーカス点は（ez,fz,gz）に上記求めたzを代入したものとなる（ステップＳ５０３）。
【００５６】
前記求めたフォーカス点を（h,i,j）とすると、法線ベクトル（e,f,g）とフォーカス点（h,i,j）よりフォーカス平面の方程式を導出することができる。フォーカス平面の方程式はex+fy+gz=eh+fi+gjとなる（ステップＳ５０４）。
【００５７】
画角2γ度より、カメラ位置（a,b,c）からフォーカス平面の境界座標までの距離はL/cosγとなる。ここで境界座標は、カメラ位置（a,b,c）を中心とする半径L/cosγの球上に存在し、なおかつ上記で求めたフォーカス平面上に存在する座標であると言える。カメラ位置（a,b,c）を中心とする半径L/cosγの球の方程式は、(x-a) 2 +(y-b) 2 +(z-c) 2=(L/cosγ)2である。
【００５８】
ここで、カメラが撮影する平面の特徴として、水平はずれない（つまり、平面の上辺は高さ（z軸）一定、下辺も高さ(z軸)一定）ということと、フォーカス平面は縦と横の長さの比が決まっているということを方程式と解くための条件として用いる。zが一定である（つまり、平面の上辺は高さ（z軸）一定、下辺も高さ(z軸)一定）ことにより、zを２つの値z1,z2と置くことができる。これにより導き出される方程式は、ex+fy+gz1=eh+fi+gj, ex+fy+gz2=eh+fi+gj, (x-a) 2 +(y-b) 2 +(z1-c) 2=(L/cosγ)2, (x-a) 2 +(y-b) 2 +(z2-c) 2=(L/cosγ)2となる。
【００５９】
この4つの方程式を解くとx,yの値をそれぞれz1,z2で表した4つの境界座標を導くことができる。まず、zがz1の場合であるex+fy+gz1=eh+fi+gjと(x-a) 2 +(y-b) 2 +(z1-c) 2=(L/cosγ)2, について考える。簡単化のため、eh+fi+gj-gz1=A, (z1-c) 2=B, (L/cosγ)2=Cと置くとx+fy+gz1=A,(x-a) 2 +(y-b) 2 +B=Cとなる。さらにこの２つの方程式からxを消去し、A-ea=D, e2 (B-C)=E, e2+f2 =F,-(2DF+2be2)=G, e2b2+E=Hと置くと、Fy 2 +Gy+H=0となりyの値はy=(-G±√G 2 -4FH)となる。同様にしてx=(A-f(-G±√G 2 -4FH)/2F)を求めることができる。簡単化のため、求めたx,yをそれぞれX1,Y1 ,X2,Y2とする。
【００６０】
次にzがz2の場合であるex+fy+gz2=eh+fi+gj, (x-a) 2 +(y-b) 2 +(z2-c) 2=(L/cosγ)2についてもx,yを求める。ここでは、z2の場合の導出方法はz1の場合と同様であるため説明は省略する。求めたx,yをそれぞれX3,Y3 ,X4,Y4とする。よって4つの境界座標は(X1,Y1,Z1) (X2,Y2,Z1) (X3,Y3,Z2) (X4,Y4,Z2)となる。
【００６１】
ここで、フォーカス平面は横と縦の長さの比が決まっている（ここでは、横：縦=P:Qとする）ことより、上辺の長さ：右辺の長さ＝P:Q、下辺の長さ：左辺の長さ＝P:Qを導くことができる。ここで模式的に(X1,Y1,Z1) (X2,Y2,Z1) (X3,Y3,Z2) (X4,Y4,Z2)を左上(X1,Y1,Z1) 右上(X2,Y2,Z1) 左下(X3,Y3,Z2) 右下(X4,Y4,Z2)とする。上辺の長さ=√(X1-X2) 2+(Y1-Y2) 2 、右辺の長さ=√(X2-X4) 2+(Y2-Y4) 2+(Z1-Z2) 2、下辺の長さ=√(X3-X4) 2+(Y3-Y4) 2 、左辺の長さ=√(X1-X3) 2+(Y1-Y3) 2+(Z1-Z2) 2より、√(X1-X2) 2+(Y1-Y2) 2 ：√(X2-X4) 2+(Y2-Y4) 2+(Z1-Z2) 2=P:Q、√(X3-X4) 2+(Y3-Y4) 2 ：√(X1-X3) 2+(Y1-Y3) 2+(Z1-Z2) 2=P:Qとなり、２つの方程式を得ることができる。左上(X1,Y1,Z1) 右上(X2,Y2,Z1) 左下(X3,Y3,Z2) 右下(X4,Y4,Z2)はz1,z2で表された値である。このため、簡単化のための置き換えを元に戻すことにより、√(X1-X2) 2+(Y1-Y2) 2 ：√(X2-X4) 2+(Y2-Y4) 2+(Z1-Z2) 2=P:Q、√(X3-X4) 2+(Y3-Y4) 2 ：√(X1-X3) 2+(Y1-Y3) 2+(Z1-Z2) 2=P:Q からz1,z2についての連立方程式を得ることができ、z1,z2を求めることができる。z1,z2の式は、複雑なためここでは記載を省略する。求めたz1,z2を左上(X1,Y1,Z1) 右上(X2,Y2,Z1) 左下(X3,Y3,Z2) 右下(X4,Y4,Z2)に代入することにより、境界座標を得ることができる。求めた境界座標を左上（k,l,m）右上（n,o,p）左下（q,r,s）右下（t,u,v）とする（ステップＳ５０５）。
【００６２】
最後に、フォーカス平面メタデータ導出手段１０２は、算出した４点の境界座標情報を映像アドレス毎にセンシングメタデータに追記して、フォーカス平面メタデータとして生成する（ステップＳ５０６）。
【００６３】
ここで、実際に図６のセンシングメタデータを用いて、フォーカス平面と境界座標の導出方法を説明する。この説明で用いる図６のセンシングメタデータは、映像アドレス「００：００：００：０１」のカメラ位置（1,0,0）、方位角・仰角「−９０度、０度」、画角「９０度」、フォーカス距離「１ｍ」である。まず、方位角・仰角「−９０度、０度」を大きさ1のx,y,z成分に分解し、カメラ位置（1,0,0）との差分によりカメラの向きを示すベクトルは（-1,0,0）となる。このカメラの向きを示すベクトルはフォーカス平面の法線ベクトルとなる。
【００６４】
次に法線ベクトル（-1,0,0）とカメラ位置（1,0,0）より、法線ベクトルが（-1,0,0）でカメラ位置（1,0,0）を通る直線の方程式を求めることができる。直線の方程式はy=0,z=0となる。この直線上にあり、カメラ位置（1,0,0）からフォーカス距離が1である座標、つまりフォーカス点の座標は、前記直線の方程式y=0,z=0とフォーカス距離＝1より（0,0,0）となる。
【００６５】
次にフォーカス点の座標（0,0,0）と法線ベクトル（-1,0,0）よりフォーカス平面の方程式を導出する。フォーカス点の座標（0,0,0）と法線ベクトル（-1,0,0）よりフォーカス平面の方程式はx=0となる。
【００６６】
また、画角が90度であることからフォーカス平面上の境界座標までの距離は、1/cos45°、つまり√2となる。ここで、境界座標は半径√2で中心をカメラ位置（1,0,0）とする球上、かつフォーカス平面上にあると言える。半径√2で中心をカメラ位置（1,0,0）とする球の方程式は(x-1)2+y2+z2=2である。球の方程式(x-1)2+y2+z2=2とフォーカス平面の方程式x=0より、y2+z2=1を導くことができる。さらにカメラの映し出す画面サイズは縦と横の比率が４：３であるとすると、z=4/3yとすることができ、y2+z2=1とz=4/3yと解くことによりy=±3/5, z=±4/5を導くことができる。よって境界座標は（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）となる。
【００６７】
図１０は、生成されるフォーカス平面メタデータのデータ構造を模式的に示す図である。映像アドレス毎に、フォーカス平面境界座標及びフォーカス平面方程式が記録されている。図１０では、図６で示した映像アドレス「００：００：００：０１」に上記で導出された「フォーカス平面境界座標」と「フォーカス平面方程式」の項目が追加され、「フォーカス平面境界座標」には「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）」が、「フォーカス平面方程式」には「x=0」が入力されている。
【００６８】
次に、ステップＳ４０４のマルチアングルメタデータの生成動作について図１１を用いて説明する。図１１は、マルチアングル情報生成装置のマルチアングルメタデータ生成動作手順を示すフローチャートである。はじめに、定数ｎを１に初期化し（ステップＳ６０１）、グルーピング判定手段１０３は、すべての映像のｎフレーム目のフォーカス平面メタデータの情報（方程式、境界座標）を取得して（ステップＳ６０２）、グルーピング判定動作を実行する（ステップＳ６０３）。次に、グルーピング判定手段１０３は、生成したマルチアングルメタデータをマルチアングルメタデータ記録手段１０４へ出力する（ステップＳ６０４）。その後、定数ｎを１だけインクリメントし（ステップＳ６０５）、グルーピング判定手段１０３は、次の映像フレーム（ｎ番目のフレーム）があるか否かを判定する（ステップＳ６０６）。次のフレームがある場合はステップＳ６０２へ戻り、マルチアングルメタデータ生成動作を繰り返す。一方、次のフレームがない場合はマルチアングルメタデータ生成動作を終了する。
【００６９】
ここでステップＳ６０３のグルーピング判定動作について図１２，１３を用いて説明する。グルーピング判定動作とは、同一時刻に撮影した複数の映像データの中から、所定の判定条件に基づいて、同一被写体を撮影した映像データをグループ分けする動作である。実施の形態１では、フォーカス平面が互いに交差する画像を同一のグループに分ける。すなわち、実施の形態１では、グルーピングの判定条件として、「フォーカス平面の交差判定」を行う。図１２は、フォーカス平面の交差判定を説明するための図である。図に示すように、フォーカス平面が交差するカメラ（撮像装置）の映像データは、同一の被写体を撮影している映像データであると判定し、フォーカス平面が交差しない映像データは、異なる被写体を撮影している映像データであると判定する。
【００７０】
図１３は、マルチアングル情報生成装置のグルーピング判定動作手順を示すフローチャートである。はじめに、グルーピング判定手段１０３は、取得したすべてのフォーカス平面メタデータについて、平面方程式の交線が境界座標内にあるか否かを判定する（ステップＳ７０１）。そして、平面方程式の交線が境界座標内にある場合は、フォーカス平面メタデータに、該当する映像識別子情報とnフレーム目を表す映像アドレスを追記してマルチアングルメタデータとして生成する（ステップＳ７０２）。
【００７１】
ここで、実際に図１０のフォーカス平面メタデータを用いて、グルーピング判定方法を説明する。図１０のフォーカス平面メタデータには「映像識別子」として「012345」が、「フォーカス平面境界座標」として「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）」が、「フォーカス平面方程式」として「x=0」が入力されている。ここで別のフォーカス平面メタデータとして「映像識別子」が「543210」、「フォーカス平面境界座標」が「（3/5,0,4/5）, （-3/5,0,4/5）, （-3/5,0,-4/5）, （3/5,0,-4/5）」、「フォーカス平面方程式」が「y=0」であるものが存在すると仮定する。まず、フォーカス平面の方程式は「x=0」と「y=0」であるため、その交線の方程式は「x=0,y=0」となる。
【００７２】
次に平面方程式の交線が境界座標内にあるか否かを判定する。求められた交線の方程式「x=0,y=0」は２平面「x=0」「y=0」の境界座標「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）」と「（3/5,0,4/5）, （-3/5,0,4/5）, （-3/5,0,-4/5）, （3/5,0,-4/5）」から表される境界範囲-3/5≦x≦3/5、-3/5≦y≦3/5、-4/5≦z≦4/5をにおいて、-4/5≦z≦4/5の間でx=0,y=0となり境界範囲-3/5≦x≦3/5、-3/5≦y≦3/5、-4/5≦z≦4/5の内部にあると判断できるため、この２つのフォーカス平面は交差している、つまり同一の被写体を撮影している映像データであると判定し、「映像識別子」が「012345」であるフォーカス平面メタデータには映像識別子「543210」を追記してマルチアングルメタデータとして生成する。また、「映像識別子」が「543210」であるフォーカス平面メタデータには映像識別子「012345」を追記してマルチアングルメタデータとして生成する。
【００７３】
図１４は、生成されるマルチアングルメタデータのデータ構造を模式的に示す図である。同一時刻に同じ被写体を撮影した他の映像データを特定可能な素材ＩＤと、映像データの相対位置を特定可能な映像アドレスと、を含むマルチアングル情報が映像アドレス毎に記録されている。図１４では、図１０で示した映像アドレス「００：００：００：０１」に上記で導出された「マルチアングル情報」の項目が追加され、「マルチアングル情報」には「素材ID:543210、映像アドレス００：００：００：０１」が入力されている。
【００７４】
以上によりマルチアングルメタデータは、対応する映像データと関連付けして記録されるので、マルチアングルメタデータを利用して、マルチアングル映像検索装置４０により、同時刻に同じ被写体を撮影した映像データを検索して抽出することができる。
【００７５】
なお、本実施の形態では、撮影装置とマルチアングル情報生成装置が別々である構成例を示したが、撮影装置に、センシングメタデータ取得手段とフォーカス平面メタデータ導出手段を備えるように構成してもよい。
【００７６】
なお、本実施の形態では、映像識別子を用いて映像データと各種メタデータの対応を計っているが、各種メタデータをストリーム化し、映像データに多重化することによって、映像識別子を使用しないようにしてもよい。
【００７７】
なお、グルーピング判定時には、ピントが合ったように見える被写体の前後の範囲である被写界深度に従ってフォーカス距離を伸縮し、フォーカス距離毎にフォーカス平面を算出してグルーピング判定を行ってもよい。
【００７８】
したがって、マルチアングル映像の編集などを行う際の作業負担を大幅に改善することができる。
【００７９】
［実施の形態２］
次に、上記のグルーピング判定動作において、別の判定条件でグルーピング判定を行う場合の例について説明する。尚、マルチアングル情報生成装置及びマルチアングル情報生成システムの構成、並びにマルチアングル情報生成動作手順については、実施の形態１のそれらと同じであるため、説明を省略する。
【００８０】
実施の形態２では、各画像を同一のグループに分けるフォーカス平面の位置情報を記憶した表に基づいて、各画像のグループ分けを行う。すなわち、実施の形態２では、グルーピング判定手段１０３の内部に、グルーピングルールを記述した表を有し、この表に基づいて、「フォーカス平面の所定領域内における存在判定」を行う。図１５は、フォーカス平面の所定領域内における存在判定を説明するための図である。図に示すように、フォーカス平面が３次元座標の範囲で設定する所定の領域内に存在する映像データは、同一のグループに分ける映像データであると判定し、所定の領域内に存在しない映像データは、異なるグループに分ける映像データであると判定する。この際、フォーカス平面が交差しているか否かは関与しない。このグルーピング判定条件によれば、例えば、野球場の「センター付近」や「ライト付近」の被写体を撮影している映像データというように、指定した領域の数だけ映像データのグループ分け（グルーピング）を行うことができる。
【００８１】
図１６は、複数の領域の位置情報を指定して生成するグルーピングルールを説明するための図である。図に示すように、４種類の領域を設定することにより、映像データが４種類に分類される。例えば、図１６ではx座標が0≦x≦1の場合、y座標が0≦y≦1、z座標が0≦z≦1となっており、名称はセンター付近となっている。またx座標が2≦x≦3の場合、y座標が2≦y≦3、z座標が2≦z≦3となっており、名称はライト付近となっている。
【００８２】
図１７は、実施の形態２の判定条件におけるマルチアングル情報生成装置のグルーピング判定動作手順を示すフローチャートである。はじめに、グルーピング判定手段１０３は、取得したすべてのフォーカス平面メタデータについて、平面の境界座標がグルーピングルールの領域内にあるか否かを判定する（ステップＳ８０１）。そして、グルーピングルールの領域内にある場合は、フォーカス平面メタデータに、該当する映像識別子情報などを追記してマルチアングルメタデータとして生成する（ステップＳ８０２）。
【００８３】
実際に、図１０のフォーカス平面メタデータと図１６のグルーピングルールを用いて、グルーピング判定をする方法を説明する。図１０のフォーカス平面メタデータには「映像識別子」として「012345」が、「フォーカス平面境界座標」として「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （-1,3/5,-4/5）」が入力されている。ここで別のフォーカス平面メタデータとして「映像識別子」が「543210」、「フォーカス平面境界座標」が「（3/5,0,4/5）, （-3/5,0,4/5）, （-3/5,0,-4/5）, （3/5,0,-4/5）」であるものが存在すると仮定する。まず、「映像識別子」が「012345」の、「フォーカス平面境界座標」は「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （-1,3/5,-4/5）」であるため、0≦x≦1、0≦y≦1、0≦z≦1に当てはまり、センター付近にグルーピングされる。つぎに「映像識別子」が「543210」の「フォーカス平面境界座標」は「（3/5,0,4/5）, （-3/5,0,4/5）, （-3/5,0,-4/5）, （3/5,0,-4/5）」であるため、0≦x≦1、0≦y≦1、0≦z≦1に当てはまり、同じくセンター付近にグルーピングされる。よってこの２つの映像データは同じグループに属すると判定し、「映像識別子」が「012345」であるフォーカス平面メタデータには映像識別子「543210」と名称「センター付近」を追記してマルチアングルメタデータとして生成する。また「映像識別子」が「543210」であるフォーカス平面メタデータには映像識別子「012345」と名称「センター付近」を追記してマルチアングルメタデータとして生成する。
【００８４】
図１８は、生成されるマルチアングルメタデータのデータ構造を模式的に示す図である。同一時刻に同じ被写体を撮影した他の映像データを特定可能な素材ＩＤと、相対位置を特定可能な映像アドレスとを含むマルチアングル情報と、所定領域の名称に関わる情報が映像アドレス毎に記録されている。図１８では、図１０で示した映像アドレス「００：００：００：０１」に上記で導出された「マルチアングル情報」と「名称」の項目が追加され、「マルチアングル情報」には「素材ID:543201、映像アドレス００：００：００：０１」、「名称」には「センター付近」が入力されている。
【００８５】
尚、上記の所定領域における存在判定では、フォーカス平面の境界座標の全てが当該領域内に存在するか否かで判定してもよいし、少なくとも１つの境界座標が当該領域内に存在するか否かで判定してもよい。
【００８６】
尚、上記の実施の形態において、グルーピングルールを状況に応じて変化させてもよい。また、グルーピングルールを記述した表をグルーピング判定手段内部ではなく、外部のデータベースに設け、グルーピング判定手段が外部の表を参照する構成としてもよい。
【００８７】
尚、上記の実施の形態において、センシングメタデータの生成は、センシング情報が変化した場合のみメタデータを生成するようにすれば、処理量が削減され、処理速度を向上させることができる。また、実際には近接する画像フレームのマルチアングル情報は同じであることが多いと予測されるので、マルチアングルメタデータを画像フレーム毎に生成するのではなく、映像アドレスとマルチアングル情報との対応関係だけを示すデータ構造のマルチアングルメタデータを生成すれば、処理量が削減され、処理速度を向上させることができる。更に、マルチアングルメタデータを画像フレーム毎に生成するのではなく、グルーピング判定手段でグループ分けされたグループ毎に生成するようにすれば、同じ情報をそれぞれの映像データのメタデータに重複して記録する処理が削減され、処理速度を向上させることができる。
【００８８】
また、上記の実施の形態において、センシングメタデータは撮像装置で生成される構成としたが、これにとらわれるものではなく、例えば、撮像装置の外部からセンシングメタデータを取得する構成としてもよい。
【００８９】
［実施の形態３］
実施の形態１、２では、複数の撮像装置で同時刻に撮影を開始した画像をグルーピングする例について説明したが、本実施の形態では、単一の撮像装置で異なる時刻に撮影した画像をグルーピングする例について説明する。すなわち、実施の形態１、２では、全ての映像データのＮフレーム目について、画像が同一領域を撮影したものであるか否かを判定していたのに対し、本実施の形態では、各映像データの全てのフレームの組合せについて判定を行う。
【００９０】
図１９は、本発明の実施の形態における付加情報生成装置の内部構成及び付加情報生成装置を含む付加情報生成システムの構成を示す図である。図１９に示す付加情報生成システムは、単一の撮像装置で撮影された画像をグループ分けする付加情報生成装置１０１０と、撮像装置１０２０と、データベース１０３０と、映像検索装置１０４０とを備えて構成される。以下では、付加情報生成システムが、複数の画像で構成される映像をグループ分けする例について説明する。
【００９１】
付加情報生成装置１０１０は、センシングメタデータ取得手段１１０１、フォーカス平面メタデータ導出手段１１０２、グルーピング判定手段１１０３、メタデータ記録手段１１０４を備える。
【００９２】
センシングメタデータ取得手段１１０１は、撮像装置１０２０の撮影条件に関するセンサ情報を取得するものであり、それぞれの撮像装置の位置、方位、仰角、画角、フォーカス距離に関わるセンシングメタデータを、データベース１０３０を介して取得する。尚、本実施の形態では、センシングメタデータは撮像装置１０２０で生成されるものとする。撮像装置１０２０の内部構成及びセンシングメタデータの詳細については後述する。
【００９３】
フォーカス平面メタデータ導出手段１１０２は、取得したセンシングメタデータに基づいて、各撮像装置１０２０が撮影した画像を含むフォーカス平面を導出するものであり、センシングメタデータに基づいて、撮像装置１０２０の実空間における撮影フォーカス平面を表す矩形を、座標値として算出する。フォーカス平面メタデータの詳細については後述する。
【００９４】
グルーピング判定手段１１０３は、各フォーカス平面の位置関係に基づいて、各画像のグループ分けを行うものであり、フォーカス平面メタデータ導出手段１１０２で導出したフォーカス平面を用い、所定の判定条件に基づいて、画像が同一領域を撮影したものであるか否かの判定を行う。
【００９５】
メタデータ記録手段１１０４は、グループ分けした結果を付加情報として画像に関連付けて記録するものであり、同一領域を撮影したものと判定された画像について関連付けを行った情報を、付加メタデータとしてデータベース１０３０側に出力、記録する。付加メタデータの詳細については後述する。
【００９６】
付加情報生成装置１０１０は、撮像装置１０２０からの映像データが格納されるデータベース１０３０と接続し、撮像装置から取得するセンシングメタデータに基づいて、同一の被写体を撮影した複数の映像データの関連付けに関わる情報として付加メタデータを生成し、データベース１０３０へ出力する。また、データベース１０３０に接続する映像検索装置１０４０は、付加メタデータに基づいて映像データの検索を行うことができる。
【００９７】
次に、撮像装置について説明する。図２０は、本発明の実施の形態における付加情報生成システムで使用する撮像装置の内部構成を示す図である。撮像装置１０２０は、レンズ群１２０１、ＣＣＤ１２０２、駆動回路１２０３、タイミング信号発生手段１２０４、サンプリング手段１２０５、Ａ／Ｄ変換手段１２０６、映像ファイル生成手段１２０７、映像アドレス生成手段１２０８、映像識別子生成手段１２０９、機器情報センサ１２１０、センシングメタデータ生成手段１２１１、記録手段１２１２を備える。
【００９８】
ＣＣＤ１２０２は、駆動回路１２０３に接続されているタイミング信号発生手１２０４によって発生されたタイミング信号に同期して駆動され、レンズ群１２０１を介して入射した被写体像の画像信号をサンプリング手段１２０５へ出力する。
【００９９】
サンプリング手段１２０５は、ＣＣＤ１２０２固有のサンプリングレートによって画像信号をサンプリングする。Ａ／Ｄ変換手段１２０６は、ＣＣＤ１２０２より出力された画像信号をデジタル画像データに変換して映像ファイル生成手段１２０７へ出力する。
【０１００】
映像アドレス生成手段１２０８は、タイミング信号発生手段１２０４からの信号によって映像アドレスの生成を開始する。映像識別子生成手段１２０９は、映像と後述するセンシングメタデータを関連付ける識別子（例えばファイル名やＩＤ）を発行、付与する。
【０１０１】
機器情報センサ１２１０は、ＧＰＳ受信機(Global Positioning System)、ジャイロセンサ、方位センサ、測距センサ、画角センサで構成される。
【０１０２】
ＧＰＳ受信機は、衛星からの電波を受信することで、あらかじめ位置の分かっている３つ以上の人工衛星からの距離を得ることにより、ＧＰＳ受信機自身の３次元での位置（緯度・経度・高度）を求めることができる。この機能を利用することにより、撮像装置の地球上での絶対位置を取得することができる。
【０１０３】
ジャイロセンサは、一般的には３軸加速度センサと呼ばれ、地球の重力を利用することにより、センサから見てどの軸方角にどのくらいの加速度がかかっているか、つまりどの軸方向にどのくらい傾いているのかを数値として検出することができる。この機能を利用することにより、撮像装置の傾き（方位角、仰角）を取得することができる。
【０１０４】
方位センサは、一般的には電子コンパスと呼ばれ、地球の地磁気を利用することによって、地球の東西南北の方角を検出することができる。ジャイロセンサと方位センサを組み合わせることにより、地球上での撮像装置の絶対的な向きを表すことができる。
【０１０５】
測距センサは、被写体までの距離を計測するセンサである。撮像装置側から赤外線や超音波を被写体に向けて送出し、撮像装置がその反射を受け取るまでの時間によって撮像装置から被写体までの距離、つまりピントを合わせるべきフォーカス距離を求めることができる。
【０１０６】
画角センサは、焦点距離、ＣＣＤの高さから画角を得ることができる。焦点距離は、レンズと受光部との距離を計ることにより取得でき、受光部の高さは撮像装置固有の物である。
【０１０７】
機器情報センサ１２１０は、センシングメタデータ１２１１からの出力要求に基づき、ＧＰＳ受信機(Global Positioning System)、ジャイロセンサ、方位センサ、測距センサ、画角センサから、撮像装置の位置、基準となる方位、方位角、仰角、画角、フォーカス距離に関わるセンシング情報を出力する。センシングメタデータ生成手段１２１１は、映像アドレス生成手段１２０８からの映像アドレス生成タイミングに従って、機器情報センサ１２１０よりセンシング情報を取得し、センシングメタデータを生成して記録手段１２１２へ出力する。機器情報センサ１２１０及びセンシングメタデータ生成手段１２１１は、タイミング信号発生手段１２０４からの信号によって動作を開始する。
【０１０８】
尚、センシング情報の生成及び出力は本願の主眼ではないのでセンサの動作に関する詳細な説明は省略する。
【０１０９】
尚、センシング情報の取得は、ＣＣＤのサンプリングレート（1/30sec）で行ってもよいし、数フレーム毎に取得してもよい。
【０１１０】
尚、室内における撮影の場合ＧＰＳセンサが動作しない場合、手動により撮影場所の位置情報を入力することもできる。この場合、図示せぬ入力手段により入力された位置情報が機器情報センサに入力されるものとする。
【０１１１】
ここで、上記構成の撮像装置のセンシングメタデータ生成動作について説明する。図２１は、本発明の実施の形態における付加情報生成システムで使用する撮像装置の動作手順を示すフローチャートである。
【０１１２】
はじめに、撮像装置本体の所定のスイッチ押下などにより撮影開始信号を受信すると（ステップＳ１１０１）、撮像装置１０２０は映像記録処理を開始する（ステップＳ１１０２）と共に、撮像装置１０２０はセンシングメタデータの生成処理を開始する（ステップＳ１１０３）。そしてタイミング信号発生手段１２０４が撮影終了信号を受信すると撮像装置１０２０は前記映像記録処理とセンシングメタデータ生成処理を終了させる（ステップＳ１１０４）。
【０１１３】
ここで、ステップＳ１１０２で開始した映像記録処理とステップＳ１１０３で開始したセンシングメタデータ生成処理を図２２、図２３を用いて説明する。
【０１１４】
図２２は、ステップＳ１０２の映像記録動作手順を示すフローチャートである。撮影開始信号を取得すると（ステップＳ１２０１）、タイミング信号発生手段１２０４からの動作指示命令により撮影動作が開始する（ステップＳ１２０２）。また、タイミング信号発生手段１２０４からの指示命令により、映像識別子生成手段１２０９で映像識別子が生成される（ステップＳ１２０３）。
【０１１５】
ＣＣＤ１２０２からの映像電気信号を取得し（ステップＳ１２０４）、サンプリング手段１２０５は、取得信号のサンプリングを行い（ステップＳ１２０５）、Ａ／Ｄ変換手段１２０６がデジタル画像データへの変換を行う（ステップＳ１２０６）。
【０１１６】
また、タイミング信号発生手段１２０４からの指示命令で映像アドレス生成手段１２０８が生成した映像アドレスを取得して（ステップＳ１２０７）、映像ファイル生成手段１２０７で映像ファイルが生成される（ステップＳ１２０８）。更に、映像識別子生成手段１２０９で生成した映像識別子が付与され（ステップＳ１２０９）、最終的な映像ファイルが記録手段１２１２に記録される（ステップＳ１２１０）。
【０１１７】
図２３は、ステップＳ１１０３のセンシングメタデータ生成動作手順を示すフローチャートである。撮影開始信号を取得すると（ステップＳ１３０１）、センシングメタデータ生成手段１２１１は、映像アドレス生成手段１２０８で生成された映像アドレスを取得する（ステップＳ１３０２）。また、映像識別子生成手段１２０９で生成した映像識別子を取得する（ステップＳ１３０３）。さらにセンシングメタデータ生成手段１２１１は映像アドレスを取得すると同時に、機器情報センサ１２１０にセンシング情報の出力要求を出し、カメラの位置、方位角、仰角、画角、フォーカス距離の情報を取得する。ＧＰＳ受信機からは、カメラの位置が取得でき、ジャイロセンサからは方位角、仰角が取得でき、測距センサからはフォーカス距離が取得でき、画角センサからは画角が取得できる。（ステップＳ１３０４）。
【０１１８】
次に、センシングメタデータ生成手段１２１１は、取得した映像識別子、映像アドレスと共にカメラ位置、方位角、仰角、画角、フォーカス距離を記録し、センシングメタデータを生成、出力し（ステップＳ１３０５）、記録手段１２１２に記録する（ステップＳ１３０６）。
【０１１９】
図２４は、生成されるセンシングメタデータのデータ構造を模式的に示す図である。任意の数のフレームで構成される一連の映像データには映像識別子が付与され、この識別子により、映像データとセンシングメタデータが一意に対応する。また、映像アドレス毎に、カメラ座標、方位角、仰角、画角、フォーカス距離が記録される。尚、映像アドレスの最小単位は、ＣＣＤ１２０２のサンプリングレート、つまりフレームである。例えば図２４の映像識別子には映像識別子生成手段１２０９から取得した情報である「０１２３４５」が入力されている。また、映像アドレスには映像アドレス生成手段１２０８から取得した情報である「００：００：００：０１」が入力されている。さらに映像アドレス「００：００：００：０１」には、当該映像アドレスを取得したタイミングにおける機器情報センサ１２１０から取得する各センサ情報であるカメラ位置「１，０，０」と方位角、仰角「−９０度、０度」と画角「９０度」とフォーカス距離「１ｍ」が入力されている。尚、カメラ位置は「ｘ、ｙ、ｚ」で表現され、ｘは緯度、ｙは経度、ｚは高度（海抜）を表す。実際ここに入力される値はＧＰＳ受信機が取得した緯度、経度、高度であるが、本実施の形態では説明の簡略化のため、緯度ｘ＝１，経度ｙ＝０，高度ｚ＝０という値を得たと仮定する。また、次の映像アドレスには映像アドレス生成手段１２０８から取得した情報である「００：００：００：０２」が入力されている。さらに映像アドレス「００：００：００：０２」には、当該映像アドレスを取得したタイミングにおける機器情報センサ１２１０から取得する各センサ情報であるカメラ位置「１，０，０」と方位角、仰角「−９０度、０度」と画角「９０度」とフォーカス距離「１ｍ」が入力されている。また、次の映像アドレスには映像アドレス生成手段２０８から取得した情報である「００：００：００：０３」が入力されている。さらに映像アドレス「００：００：００：０３」には、当該映像アドレスを取得したタイミングにおける機器情報センサ１２１０から取得する各センサ情報であるカメラ位置「１，０，０」と方位角、仰角「−９０度、０度」と画角「９０度」とフォーカス距離「１ｍ」が入力されている。
【０１２０】
次に、上記構成の付加情報生成装置の付加情報生成動作について説明する。図２５は、本発明の実施の形態における付加情報生成装置の付加情報生成動作手順を示すフローチャートである。
【０１２１】
はじめに、付加情報生成装置１０１０のセンシングメタデータ取得手段１１０１は、撮像装置１０２０で撮影を行った映像群のセンシングメタデータをすべて取得する（ステップＳ１４０１）。次に、フォーカス平面メタデータ導出手段１１０２は、取得したセンシングメタデータに基づいて、フォーカス平面メタデータの導出を行う（ステップＳ１４０２）。
【０１２２】
次に、フォーカス平面メタデータ導出手段１１０２は、すべてのセンシングメタデータについてフォーカス平面メタデータの導出が完了したか否かを判断し、完了していない場合はステップＳ１４０２のフォーカス平面メタデータの導出動作を繰り返す。一方、すべてのセンシングメタデータについてフォーカス平面メタデータの導出が完了している場合、次に、付加メタデータの生成動作に移行する（ステップＳ１４０３）。次にグルーピング判定手段１１０３は、フォーカス平面メタデータ導出手段１１０２から取得したフォーカス平面メタデータに基づいて、付加メタデータの生成を行う（ステップＳ１４０４）。
【０１２３】
最後に、メタデータ記録手段１１０４は、グルーピング判定手段１１０３から取得した付加メタデータをデータベース１０３０側へ出力する（ステップＳ１４０５）。
【０１２４】
ここで、ステップＳ１４０２のフォーカス平面メタデータ導出動作について図２６，２７を用いて説明する。図２６は、フォーカス平面について説明するための図である。フォーカス平面とは、撮影を行う際に焦点、いわゆるピントを合わせた撮像領域を示す矩形の平面であり、矩形の４隅の座標値（境界座標と称する）で表現することができる。図に示すように、撮像装置（カメラ）からフォーカス平面までの距離は、フォーカス距離、即ち焦点距離で決定され、また、矩形の大きさは、カメラの画角で決定される。矩形の中心はフォーカス点となる。
【０１２５】
図２７に示す付加情報生成装置のフォーカス平面導出動作手順を示すフローチャートを説明する。はじめに、フォーカス平面メタデータ導出手段１１０２は、センシングメタデータを取得する（ステップＳ１５０１）。
【０１２６】
カメラの任意時点におけるセンシング情報が、図２６に示すようにカメラ位置（a,b,c）、方位角α度、仰角β度、画角2γ度、フォーカス距離L(ｍ）である場合、カメラ位置（a,b,c）を基点としたカメラの向きベクトルは、方位角α度、仰角β度から求めることができる。前記センシング情報により、カメラの向きベクトルは（-sin αcosβ,cos α cos β ,sin β）となる。前記求められたカメラの向きベクトルを（e,f,g）とする。カメラの向きベクトル（e,f,g）はフォーカス平面を垂直に貫くためフォーカス平面の法線ベクトルとなる（ステップＳ１５０２）。
【０１２７】
次に、カメラ向きベクトル（e,f,g）とカメラ位置（a,b,c）から、カメラ位置（a,b,c）とフォーカス点を通る直線の方程式が導出できる。この直線の方程式は媒介変数zを用いると（ez,fz,gz）と表すことができる。この直線の方程式から、当該直線上にあり、カメラ位置（a,b,c）からの距離がLである座標をフォーカス点として導出可能である。求めるための式はL=√(ez-a) 2+(fz-b) 2+(gz-c) 2となり、この式から媒介変数zを導出する。L=√(ez-a) 2+(fz-b) 2+(gz-c) 2を解くと、z=｛(ae+bf+cg)±√(ae+bf+cg) 2 -(e+f+g)(a2+b2+c2-L2)｝/(e+f+g)となり、フォーカス点は（ez,fz,gz）に上記求めたzを代入したものとなる（ステップＳ１５０３）。
【０１２８】
前記求めたフォーカス点を（h,i,j）とすると、法線ベクトル（e,f,g）とフォーカス点（h,i,j）よりフォーカス平面の方程式を導出することができる。フォーカス平面の方程式はex+fy+gz=eh+fi+gjとなる（ステップＳ１５０４）。
【０１２９】
画角2γ度より、カメラ位置（a,b,c）からフォーカス平面の境界座標までの距離はL/cosγとなる。ここで境界座標は、カメラ位置（a,b,c）を中心とする半径L/cosγの球上に存在し、なおかつ上記で求めたフォーカス平面上に存在する座標であると言える。カメラ位置（a,b,c）を中心とする半径L/cosγの球の方程式は、(x-a) 2 +(y-b) 2 +(z-c) 2=(L/cosγ)2である。
【０１３０】
ここで、カメラが撮影する平面の特徴として、水平はずれない（つまり、平面の上辺は高さ（z軸）一定、下辺も高さ(z軸)一定）ということと、フォーカス平面は縦と横の長さの比が決まっているということを方程式と解くための条件として用いる。zが一定である（つまり、平面の上辺は高さ（z軸）一定、下辺も高さ(z軸)一定）ことにより、zを２つの値z1,z2と置くことができる。これにより導き出される方程式は、ex+fy+gz1=eh+fi+gj, ex+fy+gz2=eh+fi+gj, (x-a) 2 +(y-b) 2 +(z1-c) 2=(L/cosγ)2, (x-a) 2 +(y-b) 2 +(z2-c) 2=(L/cosγ)2となる。
【０１３１】
この4つの方程式を解くとx,yの値をそれぞれz1,z2で表した4つの境界座標を導くことができる。まず、zがz1の場合であるex+fy+gz1=eh+fi+gjと(x-a) 2 +(y-b) 2 +(z1-c) 2=(L/cosγ)2, について考える。簡単化のため、eh+fi+gj-gz1=A, (z1-c) 2=B, (L/cosγ)2=Cと置くとx+fy+gz1=A,(x-a) 2 +(y-b) 2 +B=Cとなる。さらにこの２つの方程式からxを消去し、A-ea=D, e2 (B-C)=E, e2+f2 =F,-(2DF+2be2)=G, e2b2+E=Hと置くと、Fy 2 +Gy+H=0となりyの値はy=(-G±√G 2 -4FH)となる。同様にしてx=(A-f(-G±√G 2 -4FH)/2F)を求めることができる。簡単化のため、求めたx,yをそれぞれX1,Y1 ,X2,Y2とする。
【０１３２】
次にzがz2の場合であるex+fy+gz2=eh+fi+gj, (x-a) 2 +(y-b) 2 +(z2-c) 2=(L/cosγ)2についてもx,yを求める。ここでは、z2の場合の導出方法はz1の場合と同様であるため説明は省略する。求めたx,yをそれぞれX3,Y3 ,X4,Y4とする。よって4つの境界座標は(X1,Y1,Z1) (X2,Y2,Z1) (X3,Y3,Z2) (X4,Y4,Z2)となる。
【０１３３】
ここで、フォーカス平面は横と縦の長さの比が決まっている（ここでは、横：縦=P:Qとする）ことより、上辺の長さ：右辺の長さ＝P:Q、下辺の長さ：左辺の長さ＝P:Qを導くことができる。ここで模式的に(X1,Y1,Z1) (X2,Y2,Z1) (X3,Y3,Z2) (X4,Y4,Z2)を左上(X1,Y1,Z1) 右上(X2,Y2,Z1) 左下(X3,Y3,Z2) 右下(X4,Y4,Z2)とする。上辺の長さ=√(X1-X2) 2+(Y1-Y2) 2 、右辺の長さ=√(X2-X4) 2+(Y2-Y4) 2+(Z1-Z2) 2、下辺の長さ=√(X3-X4) 2+(Y3-Y4) 2 、左辺の長さ=√(X1-X3) 2+(Y1-Y3) 2+(Z1-Z2) 2より、√(X1-X2) 2+(Y1-Y2) 2 ：√(X2-X4) 2+(Y2-Y4) 2+(Z1-Z2) 2=P:Q、√(X3-X4) 2+(Y3-Y4) 2 ：√(X1-X3) 2+(Y1-Y3) 2+(Z1-Z2) 2=P:Qとなり、２つの方程式を得ることができる。左上(X1,Y1,Z1) 右上(X2,Y2,Z1) 左下(X3,Y3,Z2) 右下(X4,Y4,Z2)はz1,z2で表された値である。このため、簡単化のための置き換えを元に戻すことにより、√(X1-X2) 2+(Y1-Y2) 2 ：√(X2-X4) 2+(Y2-Y4) 2+(Z1-Z2) 2=P:Q、√(X3-X4) 2+(Y3-Y4) 2 ：√(X1-X3) 2+(Y1-Y3) 2+(Z1-Z2) 2=P:Q からz1,z2についての連立方程式を得ることができ、z1,z2を求めることができる。z1,z2の式は、複雑なためここでは記載を省略する。求めたz1,z2を左上(X1,Y1,Z1) 右上(X2,Y2,Z1) 左下(X3,Y3,Z2) 右下(X4,Y4,Z2)に代入することにより、境界座標を得ることができる。求めた境界座標を左上（k,l,m）右上（n,o,p）左下（q,r,s）右下（t,u,v）とする（ステップＳ５０５）。
【０１３４】
最後に、フォーカス平面メタデータ導出手段１１０２は、算出した４点の境界座標情報を映像アドレス毎にセンシングメタデータに追記して、フォーカス平面メタデータとして生成する（ステップＳ１５０６）。
【０１３５】
ここで、実際に図２４のセンシングメタデータを用いて、フォーカス平面と境界座標の導出方法を説明する。この説明で用いる図２４のセンシングメタデータは、映像アドレス「００：００：００：０１」のカメラ位置（1,0,0）、方位角・仰角「−９０度、０度」、画角「９０度」、フォーカス距離「１ｍ」である。まず、方位角・仰角「−９０度、０度」を大きさ1のx,y,z成分に分解し、カメラ位置（1,0,0）との差分によりカメラの向きを示すベクトルは（-1,0,0）となる。このカメラの向きを示すベクトルはフォーカス平面の法線ベクトルとなる。
【０１３６】
次に法線ベクトル（-1,0,0）とカメラ位置（1,0,0）より、法線ベクトルが（-1,0,0）でカメラ位置（1,0,0）を通る直線の方程式を求めることができる。直線の方程式はy=0,z=0となる。この直線上にあり、カメラ位置（1,0,0）からフォーカス距離が1である座標、つまりフォーカス点の座標は、前記直線の方程式y=0,z=0とフォーカス距離＝1より（0,0,0）となる。
【０１３７】
次にフォーカス点の座標（0,0,0）と法線ベクトル（-1,0,0）よりフォーカス平面の方程式を導出する。フォーカス点の座標（0,0,0）と法線ベクトル（-1,0,0）よりフォーカス平面の方程式はx=0となる。
【０１３８】
また、画角が90度であることからフォーカス平面上の境界座標までの距離は、1/cos45°、つまり√2となる。ここで、境界座標は半径√2で中心をカメラ位置（1,0,0）とする球上、かつフォーカス平面上にあると言える。半径√2で中心をカメラ位置（1,0,0）とする球の方程式は(x-1)2+y2+z2=2である。球の方程式(x-1)2+y2+z2=2とフォーカス平面の方程式x=0より、y2+z2=1を導くことができる。さらにカメラの映し出す画面サイズは縦と横の比率が４：３であるとすると、z=4/3yとすることができ、y2+z2=1とz=4/3yと解くことによりy=±3/5, z=±4/5を導くことができる。よって境界座標は（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）となる。
【０１３９】
図２８は、生成されるフォーカス平面メタデータのデータ構造を模式的に示す図である。映像アドレス毎に、フォーカス平面境界座標及びフォーカス平面方程式が記録されている。図２８では、図２４で示した映像アドレス「００：００：００：０１」に上記で導出された「フォーカス平面境界座標」と「フォーカス平面方程式」の項目が追加され、「フォーカス平面境界座標」には「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）」が、「フォーカス平面方程式」には「x=0」が入力されている。フォーカス平面メタデータを各画像に付与することにより、後述する画像のグルーピングが可能となる。
【０１４０】
次に、ステップＳ１４０４の付加メタデータの生成動作について図２９を用いて説明する。図２９は、付加情報生成装置の付加メタデータ生成動作手順を示すフローチャートである。はじめに、グルーピング判定手段１１０３は、すべての映像の全フレームのフォーカス平面メタデータの情報（方程式）、境界座標を取得し（ステップＳ１６０１）、全フレームの組み合わせＮパターンを導出する（ステップＳ１６０２）。
【０１４１】
図３０は、全フレームの組み合わせのイメージを示す図である。図３０（a）に示すフレーム１〜３からなる映像Ａとフレーム１〜３からなる映像Ｂとの全フレームの組合せを図３０（ｂ）に示す。たとえば、映像Ａのフレーム１については、映像Ｂのフレーム１との組み合わせ（第１パターン）、映像Ｂのフレーム２との組み合わせ（第２パターン）、映像Ｂのフレーム３との組み合わせ（第３パターン）の３パターンとなる。同様に、映像Ａのフレーム２については第４〜第６パターン、映像Ａのフレーム３については第７〜第９パターンの組合せとなる。
【０１４２】
次に、組み合わせのパターン番号Ｎを１に初期化し（ステップＳ１６０３）、グルーピング判定手段１１０３は、第Ｎパターンについてグルーピング判定動作を実行し、付加メタデータを生成する（ステップＳ１６０４）。次に、グルーピング判定手段１０３は、生成した付加メタデータをメタデータ記録手段１１０４へ出力する（ステップＳ１６０５）。その後、定数Ｎを１だけインクリメントし（ステップＳ１６０６）、グルーピング判定手段１１０３は、次の組み合わせパターン（第Ｎパターン）があるか否かを判定する（ステップＳ１６０７）。次の組み合わせパターンがある場合はステップＳ１６０４へ戻り、付加メタデータ生成動作を繰り返す。一方、次の組み合わせパターンがない場合は付加メタデータ生成動作を終了する。
【０１４３】
ここでステップＳ１６０４のグルーピング判定動作について図３１，３２を用いて説明する。グルーピング判定動作とは、撮影した複数の映像データの中から、所定の判定条件に基づいて、同一被写体を撮影した映像データをグループ分けする動作である。実施の形態３では、フォーカス平面が互いに交差する画像を同一のグループに分ける。すなわち、実施の形態３では、グルーピングの判定条件として、「フォーカス平面の交差判定」を行う。図３１は、フォーカス平面の交差判定を説明するための図である。図に示すように、フォーカス平面が交差するカメラ（撮像装置）の映像データは、同一の被写体を撮影している映像データであると判定し、フォーカス平面が交差しない映像データは、異なる被写体を撮影している映像データであると判定する。
【０１４４】
図３２は、付加情報生成装置のグルーピング判定動作手順を示すフローチャートである。はじめに、グルーピング判定手段１１０３は、取得したすべてのフォーカス平面メタデータについて、平面方程式の交線が境界座標内にあるか否かを判定する（ステップＳ１７０１）。そして、平面方程式の交線が境界座標内にある場合は、フォーカス平面メタデータに、該当する映像識別子情報とnフレーム目を表す映像アドレスを追記して付加メタデータとして生成する（ステップＳ１７０２）。
【０１４５】
ここで、実際に図２８のフォーカス平面メタデータを用いて、グルーピング判定方法を説明する。図２８のフォーカス平面メタデータには「映像識別子」として「012345」が、「フォーカス平面境界座標」として「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）」が、「フォーカス平面方程式」として「x=0」が入力されている。ここで別のフォーカス平面メタデータとして「映像識別子」が「543210」、「フォーカス平面境界座標」が「（3/5,0,4/5）, （-3/5,0,4/5）, （-3/5,0,-4/5）, （3/5,0,-4/5）」、「フォーカス平面方程式」が「y=0」であるものが存在すると仮定する。まず、フォーカス平面の方程式は「x=0」と「y=0」であるため、その交線の方程式は「x=0,y=0」となる。
【０１４６】
次に平面方程式の交線が境界座標内にあるか否かを判定する。求められた交線の方程式「x=0,y=0」は２平面「x=0」「y=0」の境界座標「（0,3/5,4/5）, （0,-3/5,4/5）, （0,-3/5,-4/5）, （0,3/5,-4/5）」と「（3/5,0,4/5）, （-3/5,0,4/5）, （-3/5,0,-4/5）, （3/5,0,-4/5）」から表される境界範囲-3/5≦x≦3/5、-3/5≦y≦3/5、-4/5≦z≦4/5をにおいて、-4/5≦z≦4/5の間でx=0,y=0となり境界範囲-3/5≦x≦3/5、-3/5≦y≦3/5、-4/5≦z≦4/5の内部にあると判断できるため、この２つのフォーカス平面は交差している、つまり同一の被写体を撮影している映像データであると判定し、「映像識別子」が「012345」であるフォーカス平面メタデータには映像識別子「543210」を追記して付加メタデータとして生成する。また、「映像識別子」が「543210」であるフォーカス平面メタデータには映像識別子「012345」を追記して付加メタデータとして生成する。
【０１４７】
図３３は、生成されるメタデータのデータ構造を模式的に示す図である。同じ被写体を撮影した他の映像データを特定可能な素材ＩＤと、映像データの相対位置を特定可能な映像アドレスと、を含む付加情報が映像アドレス毎に記録されている。図３３では、図２８で示した映像アドレス「００：００：００：０１」に上記で導出された「付加情報」の項目が追加され、「付加情報」には「素材ID:543210、映像アドレス００：００：００：０１」が入力されている。
【０１４８】
以上によりメタデータは、対応する映像データと関連付けして記録されるので、メタデータを利用して、映像検索装置１０４０により、異なる時刻に同じ被写体を撮影した映像データを検索して抽出することができる。
【０１４９】
なお、本実施の形態では、撮影装置と付加情報生成装置が別々である構成例を示したが、撮影装置に、センシングメタデータ取得手段とフォーカス平面メタデータ導出手段を備えるように構成してもよい。
【０１５０】
なお、本実施の形態では、映像識別子を用いて映像データと各種メタデータの対応を計っているが、各種メタデータをストリーム化し、映像データに多重化することによって、映像識別子を使用しないようにしてもよい。
【０１５１】
なお、グルーピング判定時には、ピントが合ったように見える被写体の前後の範囲である被写界深度に従ってフォーカス距離を伸縮し、フォーカス距離毎にフォーカス平面を算出してグルーピング判定を行ってもよい。
【０１５２】
したがって、単一のカメラで異なる時刻に撮影した映像をグルーピングできるため、たとえば、一般ユーザが撮影した写真や映像をデータベースに登録すると、自動的に被写体の存在する場所別にグルーピングできるため、映像の編集などを行う際の作業負担を大幅に改善することができる。
【０１５３】
なお、以上の説明では、フォーカス平面を用いて画像をグルーピングする例を示したが、フォーカス平面メタデータを各画像に付与することにより、画像のグルーピング以外の用途にも利用可能である。
【産業上の利用可能性】
【０１５４】
本発明は、各画像に、フォーカス平面の位置をメタデータとして付与することにより、フォーカス平面の位置関係に基づいて各画像のグループ分けを行えば、画像分析によりグループ分けを行う従来の手法と比べて処理負荷を低減できる為、同一の領域を撮影した画像の検索及び抽出を低負荷且つ容易に行うことが可能になる効果を有し、撮像装置で撮影された画像にメタデータを付与するメタデータ付与装置及びメタデータ付与方法等に有用である。
【図面の簡単な説明】
【０１５５】
【図１】本発明の実施の形態におけるマルチアングル情報生成装置の内部構成及びマルチアングル情報生成装置を含むマルチアングル情報生成システムの構成を示す図
【図２】本発明の実施の形態におけるマルチアングル情報生成システムで使用する撮像装置の内部構成を示す図
【図３】本発明の実施の形態におけるマルチアングル情報生成システムで使用する撮像装置の動作手順を示すフローチャート
【図４】撮像装置の映像記録動作手順を示すフローチャート
【図５】撮像装置のセンシングメタデータ生成動作手順を示すフローチャート
【図６】生成されるセンシングメタデータのデータ構造を模式的に示す図
【図７】本発明の実施の形態におけるマルチアングル情報生成装置のマルチアングル情報生成動作手順を示すフローチャート
【図８】フォーカス平面について説明するための図
【図９】マルチアングル情報生成装置のフォーカス平面導出動作手順を示すフローチャート
【図１０】生成されるフォーカス平面メタデータのデータ構造を模式的に示す図
【図１１】マルチアングル情報生成装置のマルチアングルメタデータの生成動作手順を示すフローチャート
【図１２】フォーカス平面の交差判定を説明するための図
【図１３】マルチアングル情報生成装置のグルーピング判定動作手順を示すフローチャート
【図１４】生成されるマルチアングルメタデータのデータ構造を模式的に示す図
【図１５】フォーカス平面の所定領域内における存在判定を説明するための図
【図１６】複数の領域の位置情報を指定して生成するグルーピングルールを説明するための図
【図１７】実施の形態２の判定条件におけるマルチアングル情報生成装置のグルーピング判定動作手順を示すフローチャート
【図１８】生成されるマルチアングルメタデータのデータ構造を模式的に示す図
【図１９】本発明の実施の形態３における付加情報生成装置の内部構成及び付加情報生成装置を含む付加情報生成システムの構成を示す図
【図２０】本発明の実施の形態３における付加情報生成システムで使用する撮像装置の内部構成を示す図
【図２１】本発明の実施の形態３における付加情報生成システムで使用する撮像装置の動作手順を示すフローチャート
【図２２】撮像装置の映像記録動作手順を示すフローチャート
【図２３】撮像装置のセンシングメタデータ生成動作手順を示すフローチャート
【図２４】生成されるセンシングメタデータのデータ構造を模式的に示す図
【図２５】本発明の実施の形態における付加情報生成装置の付加情報生成動作手順を示すフローチャート
【図２６】フォーカス平面について説明するための図
【図２７】付加情報生成装置のフォーカス平面導出動作手順を示すフローチャート
【図２８】生成されるフォーカス平面メタデータのデータ構造を模式的に示す図
【図２９】付加情報生成装置の付加メタデータの生成動作手順を示すフローチャート
【図３０】全フレームの組み合わせのイメージを示す図
【図３１】フォーカス平面の交差判定を説明するための図
【図３２】付加情報生成装置のグルーピング判定動作手順を示すフローチャート
【図３３】生成される付加メタデータのデータ構造を模式的に示す図
【符号の説明】
【０１５６】
１０  マルチアングル情報生成装置
２０、１０２０  撮像装置
３０、１０３０  データベース
４０  マルチアングル映像検索装置
１０１、１１０１  センシングメタデータ取得手段
１０２、１１０２  フォーカス平面メタデータ導出手段
１０３、１１０３  グルーピング判定手段
１０４  マルチアングルメタデータ記録手段
２０１  レンズ群
２０２、１２０２  ＣＣＤ
２０３、１２０３  駆動回路
２０４、１２０４  タイミング信号発生手段
２０５、１２０５  サンプリング手段
２０６、１２０６  Ａ／Ｄ変換手段
２０７、１２０７  映像ファイル生成手段
２０８、１２０８  映像アドレス生成手段
２０９、１２０９  映像識別子生成手段
２１０、１２１０  機器情報センサ
２１１、１２１１  センシングメタデータ生成手段
２１２、１２１２  記録手段
１０１０  付加情報生成装置
１０４０  映像検索装置
１１０４  メタデータ記録手段
【図１】
2007013939.tif 000003
【図２】
2007013939.tif 000004
【図３】
2007013939.tif 000005
【図４】
2007013939.tif 000006
【図５】
2007013939.tif 000007
【図６】
2007013939.tif 000008
【図７】
2007013939.tif 000009
【図８】
2007013939.tif 000010
【図９】
2007013939.tif 000011
【図１０】
2007013939.tif 000012
【図１１】
2007013939.tif 000013
【図１２】
2007013939.tif 000014
【図１３】
2007013939.tif 000015
【図１４】
2007013939.tif 000016
【図１５】
2007013939.tif 000017
【図１６】
2007013939.tif 000018
【図１７】
2007013939.tif 000019
【図１８】
2007013939.tif 000020
【図１９】
2007013939.tif 000021
【図２０】
2007013939.tif 000022
【図２１】
2007013939.tif 000023
【図２２】
2007013939.tif 000024
【図２３】
2007013939.tif 000025
【図２４】
2007013939.tif 000026
【図２５】
2007013939.tif 000027
【図２６】
2007013939.tif 000028
【図２７】
2007013939.tif 000029
【図２８】
2007013939.tif 000030
【図２９】
2007013939.tif 000031
【図３０】
2007013939.tif 000032
【図３１】
2007013939.tif 000033
【図３２】
2007013939.tif 000034
【図３３】
2007013939.tif 000035