(57)【要約】【課題】撮影された映像の視界空間上の座標に対して関連づけられたタグを用いることのできる情報処理システムを提供する。【解決手段】情報処理装置１００は、コンテンツを撮影する撮像装置の位置である視点位置の情報を取得する視点情報取得部１２１と、上記視点位置から上記コンテンツを撮影したときの視界空間を示す視界情報を取得する視界情報取得部１２２と、上記視点情報、上記視界情報、及び奥行き情報により特定される視界空間上の座標位置と関連づけられたタグの情報を生成するタグ情報生成部１２４とを有する。【選択図】図４
2011244058.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを撮影する撮像装置の位置である視点位置の情報を取得する視点情報取得部と、
前記視点位置から前記コンテンツを撮影したときの視界空間を示す視界情報を取得する視界情報取得部と、
前記視点情報、前記視界情報、及び奥行き情報により特定される視界空間上の座標位置と関連づけられたタグの情報を生成するタグ情報生成部と、
を備える、情報処理装置。
【請求項２】
前記視界情報は、前記視点位置からの撮影方向を示す方位と、視野角の情報とを含む、請求項１に記載の情報処理装置。
【請求項３】
前記奥行き情報は、前記コンテンツにおいて撮影された被写体までの距離であり、
前記タグ情報生成部は、前記コンテンツの撮影情報に基づいた被写体距離又は過焦点距離を前記奥行き情報として用いる、請求項２に記載の情報処理装置。
【請求項４】
前記タグ情報生成部は、前記視点情報及び前記視界情報を含むキーと、前記タグの文字列の値の情報及び前記視界空間上における前記タグの座標位置情報を含むバリューと、により示されるタグ情報を生成する、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記タグ情報生成部は、前記コンテンツの撮影画角に応じたビット数で示される前記視界情報を含む前記タグ情報を生成する、請求項４に記載の情報処理装置。
【請求項６】
前記タグ情報生成部は、前記タグを付与する対象物との距離に応じたビット数により示される前記視点情報を含む前記タグ情報を生成する、請求項４に記載の情報処理装置。
【請求項７】
前記タグ情報生成部は、前記コンテンツの撮影画角に応じたビット数で示される前記視点情報を含む前記タグ情報を生成する、請求項６に記載の情報処理装置。
【請求項８】
前記タグ情報生成部は、少なくとも前記視点情報及び前記視界情報を各情報の境界の情報を保持する形式により文字列に変換し、変換して得られた文字列の値を前記キーの値として用いる、請求項７に記載の情報処理装置。
【請求項９】
前記タグ情報生成部は、前記各情報を所定の区切りビット列長で区切り、区切られることにより生成される各ビット列を、前記ビット列長内のビット列が取り得る全ての値を一意に特定する変換ルールに基づいて変換する、請求項８に記載の情報処理装置。
【請求項１０】
前記視点情報は、前記視点の位置情報の誤差精度の情報を含む、請求項１に記載の情報処理装置。
【請求項１１】
コンテンツデータに付帯する撮影情報から、前記コンテンツを撮影する撮像装置の位置である視点位置の情報を含む視点情報、及び、前記視点位置から前記コンテンツを撮影したときの視界空間を示す視界情報を取得する解析部と、
前記視点情報、前記視界情報、及び奥行き情報により特定される視界空間上の座標位置と関連づけられたタグ情報から、コンテンツに重畳させるタグの情報を検索する検索部と、
を備える、情報処理装置。
【請求項１２】
コンテンツを撮影する撮像装置の位置である視点位置の情報を取得する視点情報取得部と、
前記視点位置から前記コンテンツを撮影したときの視界空間を示す視界情報を取得する視界情報取得部と、
前記視点情報、前記視界情報、及び奥行き情報により特定される視界空間上の座標位置と関連づけられたタグの情報を生成するタグ情報生成部と、
を有するタグ情報生成装置と、
コンテンツデータに付帯する撮影情報から、前記視点情報及び前記視界情報を取得する解析部と、
前記視点情報および前記視界情報により特定される視界空間上の座標位置と関連づけられたタグ情報から、コンテンツに重畳させるタグの情報を検索する検索部と、
前記検索部により検索されたタグが重畳された映像を表示させる表示制御部と、
を有する再生装置と、
を備える、情報処理システム。
【請求項１３】
コンピュータを、
コンテンツを撮影する撮像装置の位置である視点位置の情報を取得する視点情報取得部と、
前記視点位置から前記コンテンツを撮影したときの視界空間を示す視界情報を取得する視界情報取得部と、
前記視点情報、前記視界情報、及び奥行き情報により特定される視界空間上の座標位置と関連づけられたタグの情報を生成するタグ情報生成部と、
を備える、情報処理装置として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、及びプログラム
【背景技術】
【０００２】
カメラで撮影している映像に、その撮影位置に関する情報を文字等にて映像に重畳して表示することで、現実社会の活動を補強する技術は、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：拡張現実）として１９９０年代初頭から急速に研究が進み、ヘッドマウントディスプレイを利用した拡張現実は、既に一部軍事用に実用が始まっていた。
【０００３】
また、昨今、小型電子機器の高性能化などに伴い、カメラ及びＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）機能を有する端末装置により拡張現実が実現されている。このような拡張現実の例においては、利用者は、実映像に文字を付加し、付加した文字情報をネットワーク経由で他の利用者に拡張現実技術を用いて提示することができる。このように、拡張現実は、情報提供という実用的な目的のみならず、コミュニケーションのツールの一種として楽しむといった使い方がされている。拡張現実に関する技術としては、例えば特許文献１の景観ラベリングシステムが挙げられる。
【０００４】
特許文献１に記載の景観ラベリングシステムは、地上の３次元空間座標上で示された構造物等の位置に関連付けされたタグを映像に重畳する。このため、タグに示される情報が、タグが関連付けられる構造物の名称等である場合には好適である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３２２５８８２号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、利用者がタグとして共有したい情報の中には、所定の撮影条件により、映像を撮影した位置、及び映像を撮影した方位から見た映像中においてしか意味を成さない情報がある。このような情報を共有する方法は、従来考えられておらず、潜在的に求められていた。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影された映像の視界空間上の座標に対して関連づけられたタグを用いることが可能な、新規かつ改良された情報処理装置、情報処理システム、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、コンテンツを撮影する撮像装置の位置である視点位置の情報を取得する視点情報取得部と、上記視点位置から上記コンテンツを撮影したときの視界空間を示す視界情報を取得する視界情報取得部と、上記視点情報、上記視界情報、及び奥行き情報により特定される視界空間上の座標位置と関連づけられたタグの情報を生成するタグ情報生成部とを有する、情報処理装置が提供される。
【０００９】
また、上記視界情報は、上記視点位置からの撮影方向を示す方位と、視野角の情報を含んでもよい。
【００１０】
また、上記奥行き情報は、上記コンテンツにおいて撮影される被写体までの距離であり、上記タグ情報生成部は、上記コンテンツの撮影情報に基づいた被写体距離又は過焦点距離を上記奥行き情報として用いてもよい。
【００１１】
また、上記タグ情報生成部は、上記視点情報及び上記視界情報を含むキーと、上記タグの文字列の値の情報及び上記視界空間上における上記タグの座標位置情報を含むバリューと、により示されるタグ情報を生成してもよい。
【００１２】
また、上記タグ情報生成部は、上記コンテンツの撮影画角に応じたビット数で示される上記視界情報を含む上記タグ情報を生成してもよい。
【００１３】
また、上記タグ情報生成部は、上記タグを付与する対象物との距離に応じたビット数により示される上記視点情報を含む上記タグ情報を生成してもよい。
【００１４】
また、上記タグ情報生成部は、上記コンテンツの撮影画角に応じたビット数で示される上記視点情報を含む上記タグ情報を生成してもよい。
【００１５】
また、上記タグ情報生成部は、少なくとも上記視点情報及び上記視界情報を各情報の境界の情報を保持する形式により文字列に変換し、変換して得られた文字列の値を上記キーの値として用いてもよい。
【００１６】
また、上記タグ情報生成部は、上記各情報を所定の区切りビット列長で区切り、区切られることにより生成される各ビット列を、上記ビット列長内のビット列が取り得る全ての値を一意に特定することのできる変換ルールに基づいて変換してもよい。
【００１７】
また、上記視点情報は、上記視点の位置情報の誤差精度の情報を含んでもよい。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、コンテンツデータに付帯する撮影情報から、上記コンテンツを撮影する撮像装置の位置である視点位置の情報を含む視点情報、及び、上記視点位置から上記コンテンツを撮影したときの視界空間を示す視界情報を取得する解析部と、上記視点情報、上記視界情報、及び奥行き情報により特定される視界空間上の座標位置と関連づけられたタグ情報から、コンテンツに重畳させるタグの情報を検索する検索部とを有する情報処理装置が提供される。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、コンテンツを撮影する撮像装置の位置である視点位置の情報を取得する視点情報取得部と、上記視点位置から上記コンテンツを撮影したときの視界空間を示す視界情報を取得する視界情報取得部と、上記視点情報、上記視界情報、及び奥行き情報により特定される視界空間上の座標位置と関連づけられたタグの情報を生成するタグ情報生成部とを有するタグ情報生成装置と、コンテンツデータに付帯する撮影情報から、上記視点情報及び上記視界情報を取得する解析部と、上記視点情報および上記視界情報により特定される視界空間上の座標位置と関連づけられたタグ情報から、コンテンツに重畳させるタグの情報を検索する検索部と、上記検索部により検索されたタグが重畳された映像を表示させる表示制御部と、を有する再生装置とを有する、情報処理システムが提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、コンテンツを撮影する撮像装置の位置である視点位置の情報を取得する視点情報取得部と、上記視点位置から上記コンテンツを撮影したときの視界空間を示す視界情報を取得する視界情報取得部と、上記視点情報、上記視界情報、及び奥行き情報により特定される視界空間上の座標位置と関連づけられたタグの情報を生成するタグ情報生成部とを有する情報処理装置として機能させるための、プログラムが提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、撮影された映像の視界空間上の座標に対して関連づけられたタグを用いることが可能な、新規かつ改良された情報処理装置、情報処理システム、及びプログラムを提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る情報処理システムの概略構成を示す構成図である。
【図２】撮影情報の一例を示す表である。
【図３】情報処理システムの効果の一例を示すための説明図である。
【図４】タグ情報生成装置の機能構成を示すブロック図である。
【図５】リレーショナルデータベースを用いる場合のタグ情報の空間モデルを示す説明図である。
【図６】リレーショナルデータベースによるタグ情報のテーブル定義例である。
【図７】データセンターの構成図である。
【図８】キーバリュー型データストアの概要の説明図である。
【図９】キーバリュー型データストアを用いる場合のタグ情報の空間モデルを示す説明図である。
【図１０】タグ情報のキーの構成の一例を示す説明図である。
【図１１】撮影位置のグリッドの一例を示す説明図である。
【図１２】視界情報ビットについての説明図である。
【図１３】視界情報のビット割当ての一例を示す表である。
【図１４】視点情報のビット割当ての一例を示す表である。
【図１５】可変ビット列文字符号変換表の一例である。
【図１６】可変ビット列の文字列変換の一例を示す説明図である。
【図１７】タグ情報のＪａｖａ（登録商標）を用いたクラス定義の一例を示す説明図である。
【図１８】タグ情報の検索方法の一例を示す説明図である。（北緯３５度）
【図１９】タグ情報の検索方法の一例を示す説明図である。（北緯６０度）
【図２０】再生装置の機能構成を示すブロック図である。
【図２１Ａ】タグ情報検索動作を示すフローチャートである。
【図２１Ｂ】タグ情報検索動作を示すフローチャートである。
【図２２】映像へのタグ情報の投影についての説明図である。
【図２３】情報処理システムを適用したサービスの一例である。
【図２４】情報処理システムを適用したサービスの他の一例である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
なお、説明は以下の順序で行うものとする。
１．概要
２．構成
３．リレーショナルデータベースによるタグ情報管理方法
４．キーバリュー型データストアによるタグ情報管理方法
５．効果の例
６．適用例
【００２５】
＜１．概要＞
まず、本発明の一実施形態形態に係る情報処理システム１０の概要について図１〜図３を用いて説明する。図１は、本発明の一実施形態に係る情報処理システム１０の概要構成を示す構成図である。また、図２は、撮像装置において記録される撮影付帯情報の一例を示す表である。図３は、情報処理システム１０の効果の一例を示すための説明図である。
【００２６】
本実施形態に係る情報処理システム１０は、映像コンテンツを撮影する撮像装置２００と、ユーザの操作に応じて、撮像装置２００から取り込んだコンテンツ３０００に対してタグを付与する操作等を受付ける情報処理装置である端末装置３００と、付与されたタグの情報に、コンテンツが撮影されたときの視界空間を特定するための視界情報を付加したタグ情報を生成する情報処理装置であるタグ情報生成サーバ１００を有するデータセンタ１０００と、データセンタ１０００により管理されるタグ情報を利用して映像にタグを重畳して再生する再生装置４００と、を有する。データセンタ１０００内の各装置と、端末装置３００、及び再生装置４００とは、それぞれネットワーク５００を介して接続される。
【００２７】
データセンタ１０００には、動画共有サービスを提供するためのサーバ群が設置されている。端末装置３００は、データセンタ１０００内の図示しない映像配信サーバに対して映像コンテンツをアップロードすることができる。また、再生装置４００は、データセンタ１０００内の映像配信サーバから配信される映像コンテンツをダウンロードして再生することができる。
【００２８】
ユーザは、撮像装置２００を端末装置３００にＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）等を用いて接続し、端末装置３００のアプリケーションソフトウェアにより映像３０００のコンテンツデータを撮像装置２００から取込む。このとき、端末装置３００は、映像３０００のコンテンツデータと共に、映像３０００に付帯する撮影情報を取込む。そして、ユーザは、端末装置３００により映像３０００及び映像３０００に付帯する撮影情報をデータセンタ１０００内の映像配信サーバにアップロードする。また、ユーザは、端末３００により、映像３０００に対してタグ６００を付与することもできる。そして、ユーザは、端末装置３００により映像３０００に付与したタグ６００の情報、例えば、映像上のタグ６００の位置及びタグ６００の文字列情報などを、データセンタ１０００内のタグ情報生成サーバ１００にアップロードする。
【００２９】
ここで、撮像装置２００は、例えばＧＰＳ及び電子コンパスの機能を有し、撮影した映像に付帯する撮影情報として、撮影日時及び焦点距離などの撮影条件のみならず、位置情報及び方位情報を記録することができる。ＡＶＣＨＤ規格に基づくビデオカメラにおいては、ＭＰＥＧ２−ＴＳのエレメンタリストリーム（ＥＳ）の中のユーザデータとして記録されたモディファイドデジタルビデオパックに、例えば図２に示す撮影情報が記録されている。この撮影情報は、所定時間間隔で定期的に記録される。
【００３０】
端末装置３００は、ここでは１台のみ示されているが、データセンタ１０００は、多数の端末装置３００からのアクセスを受付けることができる。また、再生装置４００に関しても同様に、多数の再生装置４００がデータセンタ１０００にアクセスすることが想定される。
【００３１】
そして、再生装置４００は、映像３０００と同じ視点及び同じ視界で撮影された他の映像４０００にタグ６００が重畳された映像を再生する。図１の例においては、「Ｍｔ．Ｆｕｊｉ  ｏｖｅｒ  Ｌａｋｅ．Ｍｏｔｏｓｕ」という文字列情報を有するタグ６００が、映像４０００に重畳されて再生される。
【００３２】
このようなタグ６００が示す情報は、映像３０００が撮影された視点から同じ視界空間を撮影した映像上で意味をなす情報である。つまり、本栖湖越しに富士山が見える映像上でなければ、たとえ富士山が被写体として写っている映像であっても、かかるタグ６００を表示することは望ましくない。例えば、図３に示す映像４００５は、御殿場から撮影された富士山の映像である。この場合、映像４００５には、本栖湖は映っていない。このため、タグ６００を表示させることは望ましくない。また、映像４０１０は、映像３０００の撮影位置よりも富士山頂に近い位置から撮影された映像である。この場合には、映像４０１０と映像３０００とが同じ方角から撮影した映像であっても、映像４０１０にタグ６００を表示させることは望ましくない。また、映像４０１５は、映像３０００と同じ撮影位置から撮影された映像である。ところが、映像４０１５は、映像３０００とは撮影条件が異なり、映像３０００よりも近景を撮影した映像である。この場合にも、本栖湖は映像４０１５中に映っていないため、タグ６００を表示させることは望ましくない。
【００３３】
従来のシステムは、タグを被写体の地上の３次元空間座標にラベリングしていた。この場合、富士山の地上の３次元空間座標位置は同一であるため、図３に示される映像４００５、映像４０１０、映像４０１５のような映像に対しても、タグ６００が重畳されていた。しかし、上述の通り、タグ６００は、同じ視点からの同じ視界空間を撮影した映像上で意味をなす情報である。本実施形態に係る情報処理システム１０は、このタグを撮影映像の視界空間上の座標位置に関連付けて管理する。このため、視点及び方位の異なる映像４００５、視点の異なる映像４０１０、並びに、視点及び方位は同じであるが撮影条件が異なるため視界空間の異なる映像４０１５に対してはタグ６００が重畳されることはない。
【００３４】
このため、単純に対象物の名称だけでなく、その視点からのある視界空間から見える複数の対象物の位置関係において意味をなす情報をタグとして共有することができる。
【００３５】
なお、ここでは、撮像装置２００としてビデオカメラを示したが、本発明はこれに限られない。撮像装置２００は、例えば携帯電話、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器など、撮像機能を有する装置であればあらゆる機器であってよい。また、端末装置３００は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）である場合が例示されているが、本発明はかかる例に限られない。例えば、端末装置３００は、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器など、通信機能及びユーザが操作入力する入力部を有する情報処理装置であってもよい。或いは、撮像装置２００が通信機能を有し、データセンタ１０００内の各装置と通信することができる場合には、撮像装置２００自体が端末装置３００の機能を併せ持っていてもよい。
【００３６】
ここでいうコンテンツは、映像コンテンツであり、静止画像コンテンツであってもよく、動画像コンテンツであってもよい。なお、再生装置４００は、データセンタ１０００により提供される映像共有サービスにより配信される映像にタグを重畳して再生させることとしたが、本発明はかかる例に限られない。例えば、再生装置４００は、ローカルな記憶部に保有する映像コンテンツに対してタグを重畳して再生させてもよい。或いは、再生装置４００は、撮像機能も併せ持つ装置であって、リアルタイムに撮影中の映像に対してタグを重畳させてもよい。
【００３７】
以上説明したように、本実施形態に係る情報処理システム１０は、タグをコンテンツが撮影された視点からの視界空間上の座標位置と関連付けて管理する。このため、再生装置４００においては、同じ視点からの同じ視界空間上に関連付けられたタグしか重畳されない。このため、このタグ情報を用いる再生装置４００は、所定の撮影条件により、映像を撮影した撮影位置、及び映像を撮影した方位から見た映像中においてしか意味を成さない情報を適切に表示することができる。かかる効果を奏するための、タグ情報生成装置１００の機能構成について、次に説明する。
【００３８】
＜２．構成＞
図４は、タグ情報生成装置１００の機能構成を示すブロック図である。タグ情報生成装置１００は、通信部１１０と制御部１２０とを主に有する情報処理装置である。タグ情報生成装置１００は、映像の解析結果よりタグ情報を生成する。
【００３９】
ここで、タグ情報生成装置１００において生成されるタグ情報は、撮影位置の情報を含む撮影情報、撮影位置からの視界に関する視界情報、撮影位置の情報と視界情報とに基づいて特定される視界空間における座標位置、及び、タグの情報の内容を示す文字列情報、を含む情報である。
【００４０】
このようなタグ情報を生成するために、タグ情報生成装置１００の制御部１２０は、視点情報取得部１２１、視界情報取得部１２２、及びタグ情報生成部１２４の機能を主に有する。
【００４１】
視点情報取得部１２１は、コンテンツを撮影する撮像装置の位置（以下、視点位置という。）を示す視点情報を取得する。視点情報取得部１２１は、例えば、映像のコンテンツデータに付帯した撮影条件を示す情報である撮影情報から視点情報を取得する。撮影情報は、上述の通り、撮像装置２００の機能により記録される情報である。視点情報取得部１２１は、例えば、端末装置３００からアップロードされた映像を記憶する映像配信サーバに保存された映像のコンテンツデータに付帯する撮影情報から視点情報を抽出して取得する。或いは、視点情報取得部１２１は、映像をアップロードする端末装置３００から直接、映像のコンテンツデータを取得して視点情報を取得してもよい。
【００４２】
ここで視点情報は、例えば、世界測地系で表され、ＧＰＳなどの位置取得装置から取得した経度、緯度、高度の情報である。また、視点情報は、位置情報の誤差精度の情報を含んでいてもよい。
【００４３】
視界情報取得部１２２は、視点位置からコンテンツを撮影したときの視界空間を示す視界情報を取得する。視界情報取得部１２２は、例えば、映像のコンテンツデータに付帯した撮影情報から視界情報を取得する。
【００４４】
ここで視界情報は、例えば、視点位置からの方位、視野角の情報などを含む。例えば視点位置からの方位は、撮像装置の有する電子コンパスにより取得した方位情報が用いられる。視野角の情報は、撮像装置の設定に応じた値となる。方位及び視野角の情報は、映像のコンテンツデータに付帯した撮影情報から取得される。
【００４５】
タグ情報生成部１２４は、視点情報、視界情報、及び視界空間の奥行き情報により特定される視界空間上の座標位置と関連づけられたタグの情報を生成する。タグ情報生成部１２４は、例えば、通信部１１０を介して端末装置３００から取得したタグの文字列情報、及び、映像中のタグ位置の情報と、視点情報及び視界情報と、視点からタグを付与する対象物までの距離の情報とを含むタグ情報を生成する。
【００４６】
ここで、視界空間の奥行き情報は、コンテンツにおいて撮影された被写体までの距離である。被写体距離は、例えばコンテンツに付帯する撮影情報から被写体距離の値が取得できる場合には、取得される被写体距離の値が用いられる。また、コンテンツの撮影情報に基づいて算出される過焦点距離が用いられてもよい。
【００４７】
以上説明したタグ情報生成装置１００の各部の詳細な動作については、タグ情報の管理方法によって異なる。ここで、本実施形態においては、タグ情報の管理方法において、現在、最も一般的に用いられているリレーショナルデータベースによる管理方法と、より大規模なデータの管理や分散処理に適したキーバリュー型のデータストアによる管理方法の２つの管理方法について、それぞれ次に説明する。
【００４８】
＜３．リレーショナルデータベースによるタグ情報管理方法＞
まずは、リレーショナルデータベースによるタグ情報管理方法について、図５及び図６を用いて説明する。図５は、タグ情報をリレーショナルデータベースにより管理する場合におけるタグの空間モデルの一例を示す説明図である。図６は、図５の空間モデルにより定義されたタグ情報を管理するリレーショナルデータベースのテーブル定義の一例を示す説明図である。
【００４９】
上述の通り、本実施形態においてタグは、タグを付加する映像を撮影した撮像装置の位置である視点を基準として映像の視界の３次元空間上にラベリングされる。視点は、世界測地系で表された経度、緯度、高度の情報であり、この場合緯度Ｎ１，経度Ｅ１，高度Ａ１である。視界の３次元空間上の位置は、撮影方向ベクターを軸に、撮影映像の中点を合わせて直交配置した２次元の視野平面を水平画角、及び視点からの距離により規定し、この視野平面上の位置で表される。
【００５０】
この視野平面の座標は、水平Ｘ軸、垂直Ｙ軸で規定され、中点を（０，０）とし、画像の水平方向の解像度Ｗは、画像の横解像度となる。タグの視野平面上の位置は、（Ｘ，Ｙ）にて表される。
【００５１】
タグを他の映像と共有し、重畳して用いるためには、映像の視点位置、視野角、方位、視点からタグを付加する対象物までの距離が近いことを条件として、データベースから検索することにより実現することができる。位置情報、及び方位情報に加えて、視野角及び視点からの距離によりタグ情報を検索できるようにすることは、視聴者の注目している被写体に対するタグ情報であるか否かを判断する上で重要である。
【００５２】
次に、このような空間モデルにより定義されたタグ情報を管理するリレーショナルデータベースのテーブル定義の一例を図６を参照しながら説明する。図６の表の各行は、情報タグの１レコードを示す。そして、表の列は、視点情報、視界情報、情報タグの３つに分類される。
【００５３】
視点情報は、経度、緯度、高度、及び誤差の列を有する。緯度は、浮動小数点の−９０度から９０度の範囲の値をとり、北緯は正の値で表され、南緯は負の値で表される。また、経度は、浮動小数点の−１８０度から１８０度の値をとり、東経は正の値で表され、西経は負の値で表される。高度は、整数で表されるメータ値である。そして誤差は、位置情報の精度をメータ値で表した値である。誤差は、ＧＰＳの場合には、ＤＯＰ（Ｄｉｌｕｔｉｏｎ  ｏｆ  Ｐｒｅｃｉｓｉｏｎ）の値から算出する。誤差が不明な場合には、−１の値を入れる。
【００５４】
視界情報は、方位、視野角、高さ、及び幅の列を有する。方位は、撮影方向の方角を示す。この方位の値は、浮動小数点により０−３６０度の値をとり、北は０度（３６０度）として、東は９０度、南は１８０度、西は２７０度で表される。また、視野角は、浮動点小数の度数で表される。高さ及び幅は、撮影映像の縦横の解像度であり、ピクセル値で表される。例えば、フルハイビジョンの映像であれば、解像度は縦１９２０、横１０８０である。映像の解像度は、コンテンツデータに付帯する撮影情報から取得することができる。視野角を２θとした場合、以下の関係から求まる。
【００５５】
ｔａｎθ＝（撮影素子体格サイズ）／（焦点距離）
【００５６】
情報タグは、距離、Ｘ座標値、Ｙ座標値、タグ名の列を有する。距離は、視野空間上の視点からの距離であり、整数によりメータ単位で表される。Ｘ座標値およびＹ座標値は、図５において説明した視野平面状の位置であり、ピクセル値で表される。タグ名は、タグの名前が文字列により表される。タグの名前は、タグによって共有したい情報である。
【００５７】
なお、タグの距離は、タグ毎に計測することはできない。このため、簡易的に、撮影画像の被写体距離がタグの距離として用いられる。被写体距離は、動画の場合には図２に示す撮影付帯情報、また、静止画の場合には、ＥＸＩＦファイルに記録された画像情報の被写体距離タグの値が用いられてもよい。被写体距離がこれらの情報から取得できない場合には、以下の式を用いて算出した過焦点距離をタグの距離として用いることができる。
【００５８】
許容錯乱円径＝画像素子対角サイズ÷許容錯乱円定数（＝１３００）
過焦点距離＝（焦点距離×焦点距離）÷（許容錯乱円径×Ｆ値）  ［単位：ｍｍ］
【００５９】
ＥＸＩＦ情報に３５ｍｍ換算の焦点距離  ＦｏｃａｌＬｅｎｇｔｈＩｎ３５ｍｍタグが記録された場合は、３５ｍｍＦｉｌｍにおいて撮像素子の対角サイズは４３．２６６６１５ｍｍであることは既知である。このため、ＡｐｅｒｔｕｒｅＶａｌｕｅタグに記録された絞りＦ値を用いて過焦点距離が算出される。
【００６０】
或いは、タグの距離は、撮影映像を解析して各被写体のフォーカス距離を測定技術を用いて測定された距離が用いられてもよい。また、タグの距離は、例えば３Ｄカメラのように視差情報を記録できる装置が用いられた場合には、この情報を用いて解析により求められた値が用いられてもよい。
【００６１】
以上のように、図５の空間モデルに従って、図６のテーブル定義のリレーショナルデータベースを利用することで画像に付加したタグを管理することができる。ところが、このようなリレーショナルデータベースは、大規模なデータの管理、および分散処理が行いづらいという特徴がある。そこで、管理する対象となる情報量が多くなった場合に好適なクラウドコンピューティングの技術を適用してタグ情報を管理する方法について、次に提案する。
【００６２】
＜４．キーバリュー型データストアによるタグ情報管理方法＞
図７は、本実施形態に係るコンテンツ共有サービスを提供するためのデータセンタ内の構成図である。映像コンテンツの共有サービスを提供するためには、アップロードされた多量の映像コンテンツデータの画像変換処理、記録管理、及び大勢の利用者からの映像コンテンツデータへのアクセスを処理する必要がある。このため、大規模な分散処理型のクラウドコンピューティング技術を利用したタグ情報管理方法を提案する。
【００６３】
データセンタ１０００は、複数のＷｅｂサーバ１７０、複数の映像配信サーバ１８０、複数のタグ情報管理サーバ１９０、及び複数のタグ情報生成サーバ１００を有する。
【００６４】
Ｗｅｂサーバ１７０は、端末装置３００のブラウザに表示されるＨＴＭＬドキュメント及びＶＲ情報を提供する。映像配信サーバ１８０は、映像を再生装置に配信する。また、タグ情報管理サーバ１９０は、タグ情報生成サーバ１００が生成したタグ情報をＫｅｙ−ｖａｌｕｅ型データストアに管理する。タグ情報生成サーバ１００は、Ｋｅｙ−ｖａｌｕｅ型データストアにて管理するのに適したタグ情報を生成する。大量のコンテンツデータ及び端末装置からのアクセスを拘束に処理するためにはクラウドコンピューティングの技術を利用することは有益であり、本実施形態においては、分散型のクラウドコンピューティングに適するといわれているＫｅｙ−ｖａｌｕｅ型のデータストアを利用してタグ情報を管理する方法を用いる。
【００６５】
Ｋｅｙ−ｖａｌｕｅ型のデータストアは、図８に示されるように、キーと値の組を行としたシンプルなテーブルによりデータを管理する。Ｋｅｙ−ｖａｌｕｅ型のデータストアは、リレーショナルデータベースと比較して、複雑なデータ構造定義やリレーショナル機能を利用した検索をサポートしない代わりに、キーの値に基づいて、複数のサーバで大量なデータを分散処理することができる特長を有する。このようなＫｅｙ−ｖａｌｕｅ型のデータストアは、近年、大規模な数のクライアントを対象としたインターネットサービスにおいて利用され始めている。
【００６６】
Ｋｅｙ−ｖａｌｕｅ型のデータストアにおいては、テーブルは、キーの値によりソートされて管理される。このため、高速に、且つ、低負荷にて処理を行うためには、関連するデータは、テーブルの一部に局所化されるようにキーの値の形式を工夫することが非常に有効である。
【００６７】
（空間モデル）
図９は、本実施形態において、Ｋｅｙ−ｖａｌｕｅ型のデータストアによりタグ情報を管理する場合に用いるタグの空間座標について示す空間モデルである。本空間モデルにおいて、タグの位置情報は、視点位置情報（緯度ＬＡＮＴ、経度ＬＮＧＴ、高度ＡＴＴＴ）、及び視点位置からの方位情報（水平方位角θＴＨ、垂直方位角θＴＶ）により示される。
【００６８】
図５に示した空間モデル上の座標から、図９に示される空間座標への変換は、以下の式により行われる。なお、方位が真北を跨る場合には補正が必要である。
【００６９】
タグの水平方位角：θＴＨ＝θＦＨ＋θＦＷ×（ＸＴ／ＷＦ−１／２）
タグの垂直方位角：θＴＶ＝θＦＶ＋（θＦＷ×ＨＦ／ＷＦ）×（１／２−ＹＦ／ＨＦ）
【００７０】
このとき、各記号は以下の意味を有する。
タグの画像面上の座標：  （ＸＴ，ＹＴ）
画像の撮影水平画角：  θＦＷ
画像の水平画素数：  ＷＦ
画像の垂直画素数：  ＨＦ
画素アスペクトレシオ：  １：１
画像の撮影水平方位角：  θＦＨ
画像の撮影垂直方位角：  θＦＶ
【００７１】
なお、垂直方向の方位角情報は、真下を基点として０から１８０度までの値をとる。ここでは、説明の便宜上、水平を０度上空方面を正とし、地面方面を負として表記している。方位角情報が、コンテンツデータに付帯する撮影情報に含まれておらず不明な場合には、画角及び被写体距離から、垂直方位角を簡易的に割り当ててもよい。
【００７２】
（ＶｉｅｗＨａｓｈ）
タグ情報をＫｅｙ−ｖａｌｕｅ型データストアにより管理する場合には、視点情報及び視界情報をキーの一部に用い、これらの情報によりデータを検索することができるようにする必要がある。このため、今回提案するＶｉｅｗｈａｓｈを用いることにより、経度、緯度、位置精度、視野角、視野方向、及びタグの距離を効率よく文字列に符号化することができる。
【００７３】
Ｖｉｅｗｈａｓｈの構成が図１０に示される。Ｖｉｅｗｈａｓｈのビット列は、位置情報、位置精度、視界情報、及びタグまでの距離としての被写体距離を示すビット列が順に並ぶ。位置情報のビット列は、経度（−９０度から９０度）、緯度（−１８０度から１８０度）、の座標を、分解精度にて表した値から生成する。分解精度のビット数Ｒ、ビットの経度ｎ、緯度ｅとすると、分解精度にて表した経度Ｎおよび緯度Ｅの値は以下の式から求める。
【００７４】
Ｎ＝１８０×（ｎ＋９０）／２Ｒ−１
Ｅ＝３６０×（ｅ＋１８０）／２Ｒ
【００７５】
ＮおよびＥの値は、浮動点小数であり、小数点以下は切り捨てて、ｎ、およびｅは整数値とする。なお、分解された地図上の区画を正方に近づけるために、経度の分解精度は、緯度の分解制度の１／２となるようにしてある。
【００７６】
位置情報のビット列は、図１０に示したように、先の式で求められた経度のビット列（Ｅ−ｂｎ，Ｅ−ｂｎ−１，・・・Ｅ−ｂ１，Ｅ−ｂ０）および経度のビット列（Ｎ−ｂｎ−１，・・・Ｎ−ｂ１，Ｎ−ｂ０）を交互に配置した形式である。ここで、最上位ビットはそれぞれＥ−ｂｎ及びＮ−ｂｎ−１である。
【００７７】
位置情報のビット列をこのような形式にすることによって、地球上の地理区画を特定することができ、少ないビット列により区画の位置を示すとともに、区画の長さも表すことができる。本実施形態においては、ＧＰＳの位置精度が１ｍｅｔｅｒから１００ｍｅｔｅｒであることを考慮して、Ｒは２２から２５の値を用いる。このとき位置情報は、最小で４３ビット、最大で４９ビットとなる。
【００７８】
図１１は、位置情報のビット数が４５ビットである場合の、分割される地理区画の例を示す説明図である。この地理区画の南北方向の長さは、経度にかかわらず一定であり、約４．７５メータとなる。一方、地理区画の東西方向の長さは、緯度に依存して、例えば、東京などの緯度が３５度の付近においては３．８６メータとなる。これに対してストックホルムなどの緯度が６０度の付近においては、地理区画の東西方向の長さは、約２．３５メータとなる。
【００７９】
位置精度は、位置情報のビット列により特定された地理区画の南北方向の距離の何倍であるかをビット列により表し、Ｄ−ｂ７が最上位ビット、Ｄ−ｂ０が最下位ビットである。位置情報のビット列により特定された地理区画の南北方向の距離の１倍であった場合には、ビット列の値は０、位置情報のビット列により特定された地理区画の南北方向の距離の１倍超２倍以下の場合には、ビット列の値は１、位置情報のビット列により特定された地理区画の南北方向の距離の２倍超４倍以下であった場合には、ビット列の値は３、位置情報のビット列により特定された地理区画の南北方向の距離の４倍超であった場合には、ビット列の値は４となる。位置誤差のビット数を０とする。
【００８０】
視界情報は、タグの方位がどの視界に属するかを示す情報である。図１２及び図１３に示すように、視界情報は４−６ビット列であり、真東を起点として時計回りとした方位を３６０度の座標を分解精度で除した値をビット列で表す。真東を起点として時計回り表した方位の度数をｄ、分解精度のビットの精度をＡとしたとき、視界情報Ｄは以下の式にて算出される。なお、以下の説明では便宜のため、方位は真北を起点として表記しているが、実際にはすべて、真東を起点として変換した値を用いる。
【００８１】
Ｄ＝３６０×ｄ／２Ａ
【００８２】
本実施形態においては、分解精度のビット数は４、５、６の３通りとし、視野角に応じて異なるビット数が用いられる。ビット数により３６０度の空間が、それぞ２２．５度、１１．２５度、８．１２５度に分割される。本実施形態においては、タグが付加された画像の撮影画角に応じてビット数を変え、画角が４６度以上の場合は４ビット、４６度未満１８度以上の場合は５ビット、１８度未満は６ビットの精度が割り当てられ、３６０度の空間がそれぞ２２．５度、１１．２５度、８．１２５度に分割された方位のどれに属するかを示す。図１２は、４ビットの場合の各方位のビット数が示されている。たとえば情報タグの水平方位が北北西は３１５度であった場合は、視野情報は、１１０１のビット値となる。なお、方位情報が不明の場合、ビット数は０とする。
【００８３】
このように、視野角に応じて視界情報のビット数を異ならせ、このビットにより示される視界情報をＫｅｙ−ｖａｌｕｅ型データのキーの一部として用いることによって、キーに含まれる視界情報のビット数から視野角の情報を把握することができるようになる。視野角の情報を把握することができることにより、より正確に各映像コンテンツ内に撮影されている範囲を知ることができるようになる。
【００８４】
被写体距離は、メータ値の８ビットにて表され、上述のようにコンテンツデータに付帯する撮影情報に基づいて、被写体までの距離を求めた値として用いる。厳密には撮影画の過焦点距離とタグ情報の距離は一致しないが、もともと距離情報には誤差が含まれているものとして扱う。距離が２５５メーター以上のものは２５５とし、距離情報が不明の場合はビット数は０とする。
【００８５】
図１４は、位置情報のビット数の割り当て方式を示した説明図である。Ｋｅｙ−ｖａｌｕｅ型データストアのＫｅｙによる検索を効率良くするために、タグ情報の検索方式に適するようにＫｅｙ値を決めることは有効である。本実施形態においては、タグの視野のビット数および距離情報によってタグのＫｅｙ値を構成するＶｉｅｗＨａｓｈの位置ビット数を変える。例えば、視界情報のビット数が３の場合は、タグが付加された映像は広角でとられたものであり、かつ、被写体距離が遠方（１００ｍ超）であった場合は、位置情報の精度が悪い場合でもタグ情報を利用することができるので、位置情報のビット数は４３ビットを用いる。一方、視野情報のビット数が５、つまり、超望遠で撮影した映像に付加したタグ情報であれば、位置情報の精度も要求されるため、すべての距離において位置情報のビット数は４９ビットを用いる。このように位置情報のビット数の割り当てを変えることで、有益なタグ情報の検索を効率よくおこなうことが可能である。前述のように、タグの位置誤差は位置情報のビット数に依存するので、比較対照の視点の位置精度によって、タグ情報の検索で用いるＶｉｅｗｈａｓｈの位置情報のビット数を決定できる。なお、タグの検索については詳しくは後述する。
【００８６】
上記のように、ＶｉｅｗＨａｓｈを構成する各ビット列は求めることができる。ところが、Ｋｅｙ−ｖａｌｕｅ型のデータストアのＫｅｙの値として用いる場合、又は、ＵＲＬなどとして用いるためには文字列で表記した方が扱い易い。このため、ビット列を文字列に符号化する。ビット列を文字列に符号化するためには、例えばＢＡＳＥ６４を利用する方法がある。しかし、本実施形態においては、各ビット列に依存させてＫｅｙ値でデータがソートできるようにするために、可変ビット列文字符号変換方式を提案する。
【００８７】
ここで提案する可変ビット列文字符号変換方式は、可変長のビット列をつなげてキーを生成する場合に、各ビット列の区切りを判別することができるという特長を有する。このため、本方式を用いて符号文字に変換したビット列は、そのまま連結させた場合であっても、各情報の区切りを判別することができる。このため、Ｋｅｙ−ｖａｌｕｅ型データストアのキーとして用いる場合に、各情報の値に基づいて検索することが可能となる。
【００８８】
図１５に可変ビット列符号化変換表の一例を示す。本変換方式は、情報が複数の可変長ビット列（０ビット以上）から構成されており、それらビット列の境界を識別する場合に有効である。この変換方法について説明する。各可変長ビット列は最上位ビットから４ビット単位にてフラグメントを順次切り出し、その４ビット値に対応した文字コード（Ｕからｚ）にて置き換える。もし、切り出すフラグメントのビット数が４に満たない場合は、３ビット、２ビット、１ビット、それぞれに文字コード（ＥからＴ）、（６からＤ），（２から５）、（０，１）にて置き換える。また、最後の切り出したフラグメント４ビット、もしくは該当のビット列のビット数が０であった場合は、文字コード−（ダッシュ）を追加する。なお、ここで示す変換表は一例であることは言うまでもない。ビット列と符号文字とが１対１に対応するように規定されるものであれば、各種の変形例が考えられる。
【００８９】
図１６に変換の例を示す。変換前の情報が２つのビット列から構成され、それぞれ「０１１１１０１００１００１０」と「１００１０」であった場合、変換後の文字列は”ｉｍ８Ｗ−“となる。この変換方式により図１０で示されるＶｉｅｗＨａｓｈの値としては文字列に変換したものを用いる。
このＶｉｅｗｈａｓｈによって、任意の精度で分割された地球座標上の区画の中心を視点として、任意の精度にて分割された視野の３次元空間を一意に特定することが可能になるが、このＶｉｅｗＨａｓｈを利用してタグ情報をＫｅｙ−ｖａｌｕｅ型データストアで管理する方法について説明する。
【００９０】
次に、本実施形態におけるＫｅｙ−ｖａｌｕｅ型データストアのテーブルについて説明する。本実施形態において使用するＫｅｙ−ｖａｌｕｅ型データストアのテーブルは、図８に示したようにＫｅｙ値とＶａｌｕｅの値の対をなす。図１７には、タグ情報をＫｅｙ−Ｖａｌｕｅ型のデータとして管理するために用いるＪａｖａ（登録商標）クラスの定義が示される。Ｔａｇクラスはタグ情報を表し、インナークラスであるＫｅｙクラスとＶａｌｕｅクラスから構成される。ＫｅｙクラスとＶａｌｕｅクラスとの対がＫｅｙ−ｖａｌｕｅとしてデータストアで管理される。
【００９１】
Ｋｅｙクラスの実データは、変数Ｋｅｙであり、Ｋｅｙはタグ情報から生成したＶｉｅｗＨａｓｈと文字列Ｔｙｐｅと文字列ＴｉｍｅＳｔａｍｐを連結した文字列である。Ｔｙｐｅは、同じＶｉｅｗＨａｓｈの値のＴａｇ情報が適切にソートされるために用いられ、本実施例ではタグ表示する優先度をＴｙｐｅ値とし０ビットの優先値を図１５の変換表にて生成した文字列である。同じＶｉｅｗＨａｓｈ値のタグ情報にユニークなｋｅｙを割り当てるのを主目的としており、タグが生成された日時をＪａｖａ（登録商標）のＤａｔｅクラスと同じ８バイトの値で求め、それを図１５の変換表を用いて文字列に生成したものである。
【００９２】
Ｖａｌｕｅクラスの実データは以下の変数である。
【００９３】
ｎａｍｅ：  タグの名前を文字列
ｔｙｐｅ：  タグ表示の優先度  （Ｋｅｙ生成に使用しものと同じ値）
ｔｉｍｅＳｔａｍｐ：  タグの生成日時  （Ｋｅｙ生成に使用しものと同じ値）
ｔａｇＰｏｓｉｔｉｏｎ：  タグの視点の位置  （例：  図１０の  ＬＡＮＴ，  ＬＮＧＴ，ＡＴＴＴなど）
ｔａｇＤｉｒｅｃｔｉｏｎ：  視点からのタグの方位（例：  図１０のθＴＨ、θＴＶ）
ｔａｇＳｏｕｒｃｅ：  タグ情報を生成した基となる画像情報とタグの画面情報座標
【００９４】
また、ＴａｇＳｏｕｒｃｅクラスの実データは以下の変数である。
【００９５】
ｉｍａｇｅＳｏｕｒｃｅ  画像情報
ｔａｇＸ：  画像面でのタグのＸ座標値  （例：図１０のＸＴ）
ｔａｇＹ：  画像面でのタグのＹ座標値  （例：図１０のＹＴ）
【００９６】
また、ＩｍａｇｅＳｏｕｒｃｅクラスの実データは以下の変数である。
【００９７】
ｕｒｌ：画像ファイル（動画、静止画）のＵＲＬ（Ｕｎｉｑｕｅ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）
ｉｍａｇｅＰｏｓｉｔｉｏｎ：画像撮影した視点の座標（例：  図９ではＬＡＮＴ，  ＬＮＧＴ，ＡＴＴＴなどに同じ）
ｉｍａｇｅＤｉｒｅｃｔｉｏｎ：視点から画像の中点への方位（例：図９ではθＦＨ  、θＦＶ）
ｓｃｅｎｅ：画像ファイル（動画、静止画）の画像情報
【００９８】
そして、Ｓｃｅｎｅクラスの実データは以下の変数である。
【００９９】
ｆｒａｍｅ；  静止画の場合は０、動画の場合は画像フレームを先頭からの時間（ミリ秒）で表記
ａｎｇｌｅＨｏｒｉｚｏｎｔａｌ：  画像の撮影水平画角  （例：図９の  θＦＷ  ）
ｗｉｄｔｈ：  画像の水平画素数  （例：図９のＷＦ）
ｈｅｉｇｈｔ：  画像の垂直画素数（例：図９のＨＦ  ）
【０１００】
ＶｉｅｗＰｏｓｉｔｉｏｎの実データは以下の変数である。
【０１０１】
ｌａｔｉｔｕｄｅ；  視点の緯度
ｌｏｎｇｉｔｕｄｅ；  視点の緯度
ａｌｔｉｔｕｄｅ；  視点の高度（ミリメータ単位）
ｒａｎｇｅ：  視点の誤差（ミリメータ単位）
【０１０２】
ＶｉｅｗＤｉｒｅｃｔｉｏｎの実データは以下の変数である。
【０１０３】
ｄｉｒｅｃｔｉｏｎＨｏｒｉｚａｏｎｔａｌ：  視点から対象点への水平方位
ｄｉｒｅｃｔｉｏｎＶｅｒｔｉｃａｌ；  視点から対象点への垂直方位
ｄｉｓｔａｎｃｅ；  視点から対象点への距離（ミリメータ単位）
【０１０４】
次に、図１８及び図１９は、タグ情報の検索の例について示した説明図である。図１８は、視点の位置（東京と同じ北緯３５度）から画角５０度にて真北を撮影した場合を示しているが、この視界に含まれるタグ情報を検索するには、視野の方位、画角を図１３に示す視界情報ビットによって特定される視野毎にタグを探す。この例では視野は２５度に分割された４つの視野分割に対する検索を行う必要がある。また、視野位置の測定誤差は位置情報ビットにて特定される区画の南北方向の長さ以下であったとしても、区画の縁に視点位置がある場合には誤差によって、実際はその周辺の区画に位置している場合もある。このため、特定された区画の周辺の区画も検索する必要があり、誤差が３ｍの場合であれば、合計９個の区画を検索する必要がある。この場合、検索としては４＊８＝３２の操作を行ことになる。
【０１０５】
図１９の例では、視点の位置がストックホルム近郊の北緯６０度の例を示してある。この場合は、区画の東西方向が先の場合より短くなるので、同じ位置誤差精度であったとしてもより、広い範囲の区画の検索が必要である。
【０１０６】
このような検索処理を行う再生装置の機能構成について、次に説明する。図２０は、再生装置４００の構成を示すブロック図である。再生装置４００は、通信部４１０と、制御部４２０と、表示部４３０とを主に有する。制御部４２０は、解析部４２１の機能と、検索部４２２の機能と、重畳部４２３の機能と、表示制御部４２４の機能とを主に有する。
【０１０７】
通信部４１０は、インターネットなどのネットワーク５００を介して他の装置と通信するためのネットワークインタフェースである。また、制御部４２０は、再生装置４００全体の動作を制御する。表示部４３０は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置により構成される。
【０１０８】
解析部４２１は、再生装置４００が再生するコンテンツを解析する機能を有する。解析部４２１は、例えば、検索部４２２がタグ情報を検索するために必要な情報を、コンテンツデータに付帯する撮影情報を解析することにより取得する機能を有する。また、必要に応じて、解析部４２１は、コンテンツの映像そのものを解析する機能を有していてもよい。
【０１０９】
検索部４２２は、再生するコンテンツデータに重畳するタグの情報を、データセンタ１０００内のデータベースから検索する機能を有する。ここでは、検索部４２２は、Ｋｅｙ−ｖａｌｕｅ型のデータストアに記憶されたタグ情報を検索するために適した検索条件を生成して、データセンタ１０００内のタグ情報管理サーバ１９０に送信し、検索結果を取得する。タグ情報検索処理の詳細については、次に図２１を用いて説明する。
【０１１０】
重畳部４２３は、検索部４２２が取得したタグ情報から、再生する映像コンテンツにタグを重畳させる処理を行う。この重畳処理の詳細については、後述される。また、表示制御部４２４は、コンテンツデータを再生する機能を有し、重畳部４２３によりタグが重畳されたコンテンツデータを再生する。
【０１１１】
図２１は、タグ検索の動作を示すフローチャートである。Ｋｅｙ−ｖａｌｕｅ型のデータストアでは、Ｋｅｙの値の先頭と終わりを指定して、その範囲のＫｅｙ値の配列を得ることができる。このため、撮影された画像の位置情報、方位、および、撮影された画像の被写体距離の範囲から、ＶｉｅｗＨａｓｈＢｅｇｉｎとＶｉｅｗＨａｓｈＥｎｄによるＫｅｙ−ｖａｌｕｅ型データストアの検索を、視界と区画の分だけ検索を繰り返す。ただし、先に述べたようにＫｅｙ−ｖａｌｕｅ型データストアでは分散処理が容易に行えるようになっている。このため、検索要求は並列に行えば、分散して処理することも可能である。
【０１１２】
タグ情報検索処理は、まず、再生装置４００が、対象とする映像の撮影情報を取得することにより始まる（Ｓ１０３）。そして、検索部４２２は、取得された撮影情報の画角の情報から視野ビット数を決定する（Ｓ１０６）。次に、検索部４２２は決定した視野ビット数と、撮影情報より得られた距離の情報から、検索するグリッドの位置ビット数を決定する（Ｓ１０９）。
【０１１３】
そして次に、検索部４２２は、測定誤差の値が、グリッドの南北の幅以下であるか否かを判断する（Ｓ１１２）。ステップＳ１１２における判断により、測定誤差がグリッドの南北幅より大きいと判断された場合には、検索対象のグリッドを特定することができないため、Ｂに進んで処理を終える。
【０１１４】
一方、ステップＳ１１２の判断により、測定誤差がグリッドの南北幅以下であると判断された場合には、次に、検索部４２２は、検索するグリッドの位置情報を算出して配列にセットする（Ｓ１１５）。そして、検索部４２２は、画角及び視野ビット数から対応する視界を算出して配列に入れる（Ｓ１１８）。
【０１１５】
そして、検索部４２２は、結果を保存するＴａｇｓ［］配列を初期化し（Ｓ１２１）、距離精度の値を０にする（Ｓ１２４）。そして、次に図２１Ｂに進み、検索部４２２は、最初のＶｉｅｗＰｏｓｉｔｉｏｎを選択し（Ｓ１２７）、検索する距離範囲を決定する（Ｓ１３０）。
【０１１６】
そして、検索部４２２は、ＶｉｅｗＨａｓｈＢｅｇｉｎを算出し（Ｓ１３３）、ＶｉｅｗＨａｓｈＥｎｄを算出する（Ｓ１３６）。そして、検索部４２２は、ステップＳ１３３及びステップＳ１３６において算出されたＶｉｅｗＨａｓｈＢｅｇｉｎとＶｉｅｗＨａｓｈＥｎｄの間の範囲のタグを検索する。
【０１１７】
具体的には、検索部４２２は、検索条件を生成して、タグ情報管理サーバ１９０に送信する。そして、検索部４２２は、送信した検索条件に合致する検索結果を取得する。検索部４２２は、取得した検索結果をＴａｇｓ［］に追加保存する。
【０１１８】
そして、全てのＶｉｅｗＤｉｒｅｃｔｉｏｎを検索したか（Ｓ１４２）及び全てのＶｉｅｗＰｏｓｉｔｉｏｎを検索したか（Ｓ１４４）が判断され、全てについて検索が完了するまでステップＳ１３０からの処理が繰り返される。
【０１１９】
次に、再生装置４００の重畳部４２３により行われる重畳処理について図２２を参照しながら説明する。図２２は、検索により得られたタグ情報を、他の映像に重畳する方法について示した説明図である。
【０１２０】
３辺の距離が既知である場合は、余弦定理より夾角は求めることができ、タグの視点座標および方位から、撮影視点からみた視野に投影したタグの方位は以下の式より求めることができる。
【０１２１】
投影されたタグの  水平方位角
θＵＨ＝θＴＨ−ｃｏｓ−１（ＤＵ２＋ＤＳ２−ＤＤＨ２）／（２＊ＤＵ＊ＤＳ）  ｗｈｅｒｅ  θＳＨ＞＝θＴＨ
θＵＨ＝θＴＨ＋ｃｏｓ−１（ＤＵ２＋ＤＳ２−ＤＤＨ２）／（２＊ＤＵ＊ＤＳ）  ｗｈｅｒｅ  θＳＨ＜θＴＨ
投影されたタグの垂直方位角θＵｖ＝θＴｖ＋ｃｏｓ−１（ＤＵ２＋ＤＳ２−ＤＤＶ２）／（２＊ＤＵ＊ＤＳ）  ｗｈｅｒｅ  θＳＶ＞＝θＴＶ
θＵｖ＝θＴｖ＋ｃｏｓ−１（ＤＵ２＋ＤＳ２−ＤＤＶ２）／（２＊ＤＵ＊ＤＳ）  ｗｈｅｒｅ  θＳＶ＜θＴＶ
【０１２２】
ここで、情報は次の符号により示される。
タグの位置情報（ＬＡＮＴ，ＬＮＧＴ，ＡＴＴＴ）
撮影地点の位置情報（ＬＡＮＳ，ＬＮＧＳ，ＡＴＴＳ）
視点間の水平方向距離ＤＤＨ
視点間の垂直方向距離ＤＤＶ
タグの水平方位角θＴＨ：
タグの垂直方位角θＴＶ
タグの距離距離ＤＴ
被写体距離の距離ＤＳ
【０１２３】
ＤＤＨは２つの視点の水平距離であり、視点間の標高差がなく垂直距離ＤＤＶを０とすれば、ＤＤＨｈは２点の経度、緯度からＨｕｂｅｎｙの公式によって距離を求めＤＤＨｈとする。ＤＳｈは撮影された画像の被写体距離であり、ここでは過焦点距離が用いられ、ＤＴｈはタグ情報の距離である。垂直距離ＤＤＶ０としているので、投影された垂直方位角はタグの垂直方位角と等しくなる。
【０１２４】
検索されたタグを撮影された映像に投影する場合は、検索されたすべてのタグについて上記の座標変換を行い、タグの方位角が撮影の画角に収まるものだけを選択し投影する。また、タグ情報を元に、たとえば、前述のＴｙｐｅに指定されている優先度が高いもののみ表示するなどフィルタリングして表示をおこなう。
【０１２５】
投影されたタグの水平方位角、垂直方位角が求まれば、撮影された映像の画像面での座標は以下の式で求めることができる。
【０１２６】
投影されたタグ位置Ｘｓ＝（（θＵＨ−θＳＨ）／θＳＷ＋１／２）＊ＷＳ
投影されたタグ位置Ｙｓ＝（１／２−（θＵＶ−θＳＶ）／（θＳＷ＊ＨＳ／ＷＳ））＊ＨＳ；
【０１２７】
撮影映像の水平画角：θＳＷ
撮影映像の水平画素数ＷＳ
撮影映像の垂直画素数ＨＳ
画素アスペクトレシオ１：１
撮影方向水平方位角θＳＨ
撮影方向垂直方位角θＳＶ：
【０１２８】
＜５．効果の例＞
以上のように、画像に付加されたタグ情報をＫｅｙ−ｖａｌｕｅ型データストアで管理し、他の画像の撮影情報を投影可能なタグ情報を検索し、それらを重畳して表示する方法について示した。
【０１２９】
かかる構成によれば、ある視点位置からみた視界空間上の座標に関連づけられたタグ情報を生成し、共有して用いることができる。これにより、所定の撮影条件により、映像を撮影した位置、及び映像を撮影した方位から見た映像中においてしか意味を成さない情報を共有することができるようになる。
【０１３０】
また、このタグ情報を、視点の位置情報、視界情報、被写体距離、位置情報の誤差精度を簡潔に表現することのできるＶｉｅｗＨａｓｈが新たに提案された。ＶｉｅｗＨａｓｈを用いることにより、Ｋｅｙ−ｖａｌｕｅ型のデータストアによりタグ情報を管理する場合において、タグ情報が大量となった場合であっても、高速に、軽い処理負荷で検索することができるようになる。
【０１３１】
＜６．適用例＞
次に、本発明の一実施形態形態に係るタグ情報の管理方法を適用することにより実現することのできるサービスの一例について説明する。
【０１３２】
例えば、図２３は、ビデオカメラを用いて撮影された風景の映像に、リアルタイムにタグを重畳させて表示する例である。図１においては、重畳される映像は、予め撮影されて記憶された映像コンテンツであることとしたが、本発明はかかる例に限定されない。図２３に示すように、撮影中の映像に対してリアルタイムにタグが表示されるようにしてもよい。
【０１３３】
また、上記実施形態においては、タグ情報は、インターネットなどのネットワークを介して取得することとしたが、本発明はかかる例に限定されない。例えば、撮像装置内の記憶部に予め訪問先の地域のタグ情報を記憶して出かければ、ネットワークに接続しなくてもタグを表示させることができる。
【０１３４】
或いは、図２４は、地図情報と共に、予め撮影された映像にタグを表示させた映像４０２５を表示させる例である。タグ情報は、必ずしもリアルタイムの映像に重畳させることに意味があるわけではなく、見ている風景上の対象物が何であるかを知りたい場合には、過去の映像に重畳させて示してもよい。かかる構成によれば、撮像装置のレンズを被写体に向ける動作をしなくても、例えば携帯電話であればメールを打つ操作を行うときと同じ体勢で自然に所望の情報を得ることができる。リアルタイムの映像にタグを重畳させる場合には、必ず撮像装置のレンズを対象物に向けなくてはならないが、時と場所によっては、そのような動作をすることが困難な場合があるため、本構成は有効である。
【０１３５】
また、図２４の装置は、写真を撮るのに適したスポットの情報をユーザに通知することも可能である。例えば、コンテンツデータを有する映像配信サーバ１８０において、記憶されたコンテンツデータの撮影位置を示す視点情報を解析することにより、このようなサービスを実現することができる。例えば、視点情報が多く集まるスポットは、写真を撮るのに適したスポットである可能性が高い。このため、撮影位置をお勧めする機能を提供するためにかかる情報が用いられてもよい。
【０１３６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１３７】
例えば、本実施形態においては、デジタルスチルカメラ、デジタルビデオカメラにＧＳＰ機能および方位機能を有して、その機能よってファイルに記録された撮影情報とその画像にユーザがＰＣにて付加したタグから、Ｋｅｙ−ｖａｌｕｅ型データストアのデータを生成したが、対象物の座標位置およびそれに関わる情報、たとえば、山の名前などが分かっている場合には、コンピュータの処理によってある視点からのタグ情報を自動生成することも可能である。
【０１３８】
また、従来は、ＧＰＳの測定誤差によってタグ情報の座標に誤差が大きいタグ情報を利用できなかったが、本実施例によれば、タグ情報の付近の区画にある他のタグも容易に検索でき、また、タグ情報にはタグ生成の基となった画像の情報も得ることができる。このため、タグ生成の基となった画像を解析し、被写体が近似し、かつ、位置精度が正確な画像を近傍の区画から検索することで、タグの位置情報を補正することが容易に実現可能である。
【０１３９】
また、本実施形態においては、ＧＰＳの測定誤差によってタグ情報の座標に誤差が大きいタグ情報を利用できない場合が起こるが、本実施例によれば、タグ情報の付近の区画にある他のタグも容易に検索でき、また、タグ情報にはタグ生成の基となった画像の情報も得ることができるため、その画像を解析し、被写体が近似し、かつ、位置精度が正確な画像を近傍の区画から検索することで、タグの位置情報を補正することが容易に実現可能である。
【０１４０】
また、タグ情報の検索を行う映像の撮影した座標情報もＧＳＰの測定誤差が大きい場合はタグ情報を利用できない場合が起こるが、撮影した座標情報から、その周辺の区画のタグ情報は容易に検索できる。このため、撮影した画像の情報とその撮影座標周辺のタグ情報の基となった画像の特徴量を比較することで、特徴量が近似した画像の座標を元に、撮影した画像の座標情報を補正することが容易に実現可能である。この方式は、実時間で撮影しているビデオカメラの位置情報の補正にも適応できる。
【０１４１】
また、上記実施形態においては、視界空間の奥行き情報は、コンテンツに付帯する撮影情報から取得する、又は過焦点距離が用いられることとしたが、本発明はかかる例に限定されない。例えば、タグの距離と同様に、あらゆる解析技術を用いて取得することのできる被写体までの距離を示すことのできる値が用いられてよい。
【０１４２】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【０１４３】
１００  タグ情報生成装置
１１０  通信部
１２０  制御部
１２１  視点情報取得部
１２２  視界情報取得部
１２４  タグ情報生成部
２００  撮像装置
３００  端末装置
４００  再生装置
４１０  通信部
４２０  制御部
４２１  解析部
４２２  検索部
４２３  重畳部
４２４  表示制御部
４３０  表示部
５００  ネットワーク
【図１】
2011244058.tif 000003
【図２】
2011244058.tif 000004
【図３】
2011244058.tif 000005
【図４】
2011244058.tif 000006
【図５】
2011244058.tif 000007
【図６】
2011244058.tif 000008
【図７】
2011244058.tif 000009
【図８】
2011244058.tif 000010
【図９】
2011244058.tif 000011
【図１０】
2011244058.tif 000012
【図１１】
2011244058.tif 000013
【図１２】
2011244058.tif 000014
【図１３】
2011244058.tif 000015
【図１４】
2011244058.tif 000016
【図１５】
2011244058.tif 000017
【図１６】
2011244058.tif 000018
【図１７】
2011244058.tif 000019
【図１８】
2011244058.tif 000020
【図１９】
2011244058.tif 000021
【図２０】
2011244058.tif 000022
【図２１Ａ】
2011244058.tif 000023
【図２１Ｂ】
2011244058.tif 000024
【図２２】
2011244058.tif 000025
【図２３】
2011244058.tif 000026
【図２４】
2011244058.tif 000027