(57)【要約】【課題】ＧＰＳ装置や地磁気センサ等の検出装置を用いずに、カメラの位置や姿勢を示すカメラポーズ情報を算出すること。【解決手段】メディア媒体に対応する画像領域である位置情報埋込領域をカメラ画像データから抽出し、電子透かしにおいて電子的に埋め込まれた媒体位置情報を前記位置情報埋込領域から抽出するとともに、前記メディア媒体の位置情報が示す位置と対応する当該位置情報埋込領域の位置を示す座標を示す画像座標情報を前記位置情報埋込領域から抽出する位置情報抽出手段と、前記位置情報抽出手段が抽出した前記媒体位置情報および当該媒体位置情報に対応する前記画像座標情報に基づき、前記実空間中における前記カメラの位置と姿勢を示すカメラポーズ情報を算出するカメラポーズ情報算出手段と、を備えることを特徴とする。【選択図】図１
2012103116.tif 000002
【特許請求の範囲】
【請求項１】
メディア媒体における予め決められた実空間中の位置を示す媒体位置情報が電子透かしとして埋め込まれた前記メディア媒体を撮影することにより得られたカメラ画像データを入力する入力部と、
前記メディア媒体に対応する画像領域である位置情報埋込領域を前記カメラ画像データから抽出し、前記電子透かしにおいて電子的に埋め込まれた前記媒体位置情報を前記位置情報埋込領域から抽出するとともに、前記メディア媒体の位置情報が示す位置と対応する当該位置情報埋込領域の位置を示す座標を示す画像座標情報を前記位置情報埋込領域から抽出する位置情報抽出手段と、
前記位置情報抽出手段が抽出した前記媒体位置情報および当該媒体位置情報に対応する前記画像座標情報に基づき、前記実空間中における前記カメラの位置と姿勢を示すカメラポーズ情報を算出するカメラポーズ情報算出手段と、
前記カメラポーズ情報を出力する出力部と、
を備えることを特徴とするカメラポーズ情報算出装置。
【請求項２】
前記カメラポーズ算出手段は、
実空間中における前記カメラの位置と姿勢を示すカメラポーズ情報を含む射影行列を用いて前記媒体位置情報と前記画像座標情報との関係を示す関係式に従い、前記位置情報抽出手段が抽出した複数の前記媒体位置情報および当該媒体位置情報に対応する前記画像座標情報に基づき、前記カメラポーズ情報を算出する
ことを特徴とする請求項１に記載のカメラポーズ情報算出装置。
【請求項３】
実空間における前記メディア媒体の位置を座標（Ｘ，Ｙ，Ｚ）で示し、当該座標の位置に対応する射影点の位置を座標（ｘ，ｙ）で示す場合、
前記関係式は、以下の式であって、
【数１】
2012103116.tif 000005
前記カメラポーズ算出手段は、前記関係式における射影行列Ｐに基づき、前記カメラポーズ情報を算出することを特徴とする請求項２に記載のカメラポーズ情報算出装置。
【請求項４】
前記位置情報抽出手段は、
複数の前記メディア媒体が写された前記カメラ画像データに基づき、各メディア媒体の中心を示す前記媒体位置情報と、当該メディア媒体の中心部分に対応する前記射影点の座標を示す前記画像座標情報とを検出し、
前記カメラポーズ情報算出手段は、
少なくとも６つ以上の前記媒体位置情報と、当該媒体位置情報にそれぞれ対応する前記画像座標情報に基づき、前記カメラポーズ情報を算出する
ことを特徴とする請求項１から３のいずれか一項に記載のカメラポーズ情報算出装置。
【請求項５】
前記位置情報抽出手段は、
前記メディア媒体が写された前記カメラ画像データに基づき、前記メディア媒体において予め決められている複数の検出位置を示す前記検出位置情報と、当該メディア媒体の検出位置に対応する前記射影点の座標を示す前記画像座標情報とを検出し、
前記カメラポーズ情報算出手段は、
前記媒体位置情報および前記検出位置情報のうち、少なくとも６つ以上の位置情報と、当該位置情報にそれぞれ対応する前記画像座標情報に基づき、前記カメラポーズ情報を算出する
ことを特徴とする請求項１から３のいずれか一項に記載のカメラポーズ情報算出装置。
【請求項６】
前記カメラポーズ情報算出手段は、
前記カメラ画像データに基づきカメラ画像内における特徴点を抽出するとともに、前記カメラ画像内における前記特徴点の位置を示す特徴点座標情報と、前記実空間内における前記特徴点に対応する特徴点位置情報を、前記カメラ画像データに基づき検出し、
前記カメラポーズ情報算出手段は、
前記媒体位置情報および前記特徴点位置情報のうち、少なくとも６つ以上の位置情報と、当該位置情報にそれぞれ対応する前記画像座標情報に基づき、前記カメラポーズ情報を算出する
ことを特徴とする請求項１から３のいずれか一項に記載のカメラポーズ情報算出装置。
【請求項７】
コンピュータを、
メディア媒体における予め決められた実空間中の位置を示す媒体位置情報が電子透かしとして埋め込まれた前記メディア媒体を撮影することにより得られたカメラ画像データを入力する入力手段、
前記メディア媒体に対応する画像領域である位置情報埋込領域を前記カメラ画像データから抽出し、前記電子透かしにおいて電子的に埋め込まれた前記媒体位置情報を前記位置情報埋込領域から抽出するとともに、前記メディア媒体の位置情報が示す位置と対応する当該位置情報埋込領域の位置を示す座標を示す画像座標情報を前記位置情報埋込領域から抽出する位置情報抽出手段、
前記位置情報抽出手段が抽出した前記媒体位置情報および当該媒体位置情報に対応する前記画像座標情報に基づき、前記実空間中における前記カメラの位置と姿勢を示すカメラポーズ情報を算出するカメラポーズ情報算出手段、
前記カメラポーズ情報を出力する出力手段、
として機能させるためのカメラポーズ情報算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等の撮像装置によって入力された少なくとも１枚以上のカメラ画像データから、カメラの位置及び姿勢を示すカメラポーズ情報を算出するカメラポーズ情報算出装置およびカメラポーズ情報算出プログラムに関する。
【背景技術】
【０００２】
ユーザが所望とする情報を取得する場合、パソコンなどを用いて情報の検索が行なわれるものである。この場合、例えば、ユーザが検索キーワードを入力して、所望する情報を特定するものがある。携帯電話などの携帯情報機器においても、このようなキーワード検索が可能である。例えば、旅行などにおいて、その観光地での寺院などの観光場所の情報を取得したい場合には、かかる観光場所の名称の文字のキーワードをユーザがキーボタンを操作することにより入力して関連情報の検索を行なう。
【０００３】
一方、携帯電話などの携帯情報機器では、それに設けられている携帯電話の位置や向きを計測するセンサ情報を利用し、このセンサ情報をサーバに送ることにより、必要な情報を取得することができるようにした技術も提案されている。
その一例は、ユーザが保有する携帯電話等に搭載のＧＰＳ装置による位置情報、及び、地磁気センサによる携帯電話の向き情報に基づいて、コンテンツサービスサーバからユーザ現在位置からの一定範囲内に属する仮想情報コンテンツを取得し、モニタ上に表示もしくはカメラ画像上に重畳表示するものである（例えば、非特許文献１参照）。
このように、特許文献１記載の技術は、ユーザが保有する携帯電話等の端末の位置情報及び向き情報を夫々携帯電話等に搭載のＧＰＳ装置と地磁気センサ等から得られる情報に基づき決定するものである。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】日経コミュニケーション編：ＡＲのすべて、pp。97-108、日経ＢＰ社、2009年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、屋内や地下街では電波が受信できないためＧＰＳ装置を利用できないこと、地磁気センサ等は鉄筋の近く等の磁界が乱れる場所では誤差が大きくなる。このことから、屋内、地下街、鉄筋の建物近辺等ではカメラの現在位置や向きを示す情報を適切に取得することができないといった問題があった。
本発明は、上記課題を解決するものであり、ＧＰＳ装置や地磁気センサ等の検出装置を用いずに、カメラの位置や姿勢を示すカメラポーズ情報を算出するカメラポーズ情報算出装置およびカメラポーズ情報算出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を鑑み、本発明に係るカメラポーズ情報算出装置は、メディア媒体における予め決められた実空間中の位置を示す媒体位置情報が電子透かしとして埋め込まれた前記メディア媒体を撮影することにより得られたカメラ画像データを入力する入力部と、前記メディア媒体に対応する画像領域である位置情報埋込領域を前記カメラ画像データから抽出し、前記電子透かしにおいて電子的に埋め込まれた前記媒体位置情報を前記位置情報埋込領域から抽出するとともに、前記メディア媒体の位置情報が示す位置と対応する当該位置情報埋込領域の位置を示す座標を示す画像座標情報を前記位置情報埋込領域から抽出する位置情報抽出手段と、前記位置情報抽出手段が抽出した前記媒体位置情報および当該媒体位置情報に対応する前記画像座標情報に基づき、前記実空間中における前記カメラの位置と姿勢を示すカメラポーズ情報を算出するカメラポーズ情報算出手段と、前記カメラポーズ情報を出力する出力部と、を備えることを特徴とする。
【０００７】
上述のカメラポーズ情報算出装置において、前記カメラポーズ算出手段は、実空間中における前記カメラの位置と姿勢を示すカメラポーズ情報を含む射影行列を用いて前記媒体位置情報と前記画像座標情報との関係を示す関係式に従い、前記位置情報抽出手段が抽出した複数の前記媒体位置情報および当該媒体位置情報に対応する前記画像座標情報に基づき、前記カメラポーズ情報を算出することを特徴とする。
【０００８】
上述のカメラポーズ情報算出装置において、実空間における前記メディア媒体の位置を座標（Ｘ，Ｙ，Ｚ）で示し、当該座標の位置に対応する射影点の位置を座標（ｘ，ｙ）で示す場合、前記関係式は、以下の式であって、
【０００９】
【数１】
2012103116.tif 000003
前記カメラポーズ算出手段は、前記関係式における射影行列Ｐに基づき、前記カメラポーズ情報を算出することを特徴とする。
【００１０】
上述のカメラポーズ情報算出装置において、前記位置情報抽出手段は、複数の前記メディア媒体が写された前記カメラ画像データに基づき、各メディア媒体の中心を示す前記媒体位置情報と、当該メディア媒体の中心部分に対応する前記射影点の座標を示す前記画像座標情報とを検出し、前記カメラポーズ情報算出手段は、少なくとも６つ以上の前記媒体位置情報と、当該媒体位置情報にそれぞれ対応する前記画像座標情報に基づき、前記カメラポーズ情報を算出することを特徴とする。
【００１１】
上述のカメラポーズ情報算出装置において、前記位置情報抽出手段は、前記メディア媒体が写された前記カメラ画像データに基づき、前記メディア媒体において予め決められている複数の検出位置を示す前記検出位置情報と、当該メディア媒体の検出位置に対応する前記射影点の座標を示す前記画像座標情報とを検出し、前記カメラポーズ情報算出手段は、前記媒体位置情報および前記検出位置情報のうち、少なくとも６つ以上の位置情報と、当該位置情報にそれぞれ対応する前記画像座標情報に基づき、前記カメラポーズ情報を算出することを特徴とする。
【００１２】
上述のカメラポーズ情報算出装置において、前記カメラポーズ情報算出手段は、前記カメラ画像データに基づきカメラ画像内における特徴点を抽出するとともに、前記カメラ画像内における前記特徴点の位置を示す特徴点座標情報と、前記実空間内における前記特徴点に対応する特徴点位置情報を、前記カメラ画像データに基づき検出し、前記カメラポーズ情報算出手段は、前記媒体位置情報および前記特徴点位置情報のうち、少なくとも６つ以上の位置情報と、当該位置情報にそれぞれ対応する前記画像座標情報に基づき、前記カメラポーズ情報を算出することを特徴とする。
【００１３】
上述の課題を鑑み、本発明に係るカメラポーズ情報算出プログラムは、コンピュータを、メディア媒体における予め決められた実空間中の位置を示す媒体位置情報が電子透かしとして埋め込まれた前記メディア媒体を撮影することにより得られたカメラ画像データを入力する入力手段、前記メディア媒体に対応する画像領域である位置情報埋込領域を前記カメラ画像データから抽出し、前記電子透かしにおいて電子的に埋め込まれた前記媒体位置情報を前記位置情報埋込領域から抽出するとともに、前記メディア媒体の位置情報が示す位置と対応する当該位置情報埋込領域の位置を示す座標を示す画像座標情報を前記位置情報埋込領域から抽出する位置情報抽出手段、前記位置情報抽出手段が抽出した前記媒体位置情報および当該媒体位置情報に対応する前記画像座標情報に基づき、前記実空間中における前記カメラの位置と姿勢を示すカメラポーズ情報を算出するカメラポーズ情報算出手段、前記カメラポーズ情報を出力する出力手段、として機能させるためのプログラムであることを特徴とする。
【発明の効果】
【００１４】
本発明によると、カメラポーズ情報算出装置は、撮影したカメラ画像データから実空間中に存在するメディア媒体に電子的に埋め込まれた位置情報を抽出し、この位置情報を用いてカメラの位置及び姿勢を算出する。このように、ＧＰＳ装置や地磁気センサ等の検出装置を用いずに、カメラの位置や姿勢を示すカメラポーズ情報を算出することができる。よって、屋内、地下街、鉄筋の建物近辺等でユーザが利用する場合においても、カメラの位置や姿勢を示すカメラポーズ情報を精度よく算出することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係るカメラポーズ情報算出装置の構成の一例を示すブロック図である。
【図２】本発明の第１実施形態に係るメディア媒体の一例を示す図である。
【図３】本発明の第１実施形態に係るカメラポーズ情報算出装置による処理フローを説明するためのフローチャートである。
【図４】本発明の第１実施形態に係るカメラ画像の一例を説明する図である。
【図５】図２に示すメディア媒体が配された実空間と、この実空間を撮影したカメラ画像との関係を示す図である。
【図６】本発明の実施形態に係る位置情報埋込領域と画像座標情報との関係を示す図である。
【図７】本発明の実施形態に係る位置情報埋込領域と位置情報との関係を示す図である。
【図８】本発明の実施形態に係るカメラポーズ情報に対応するコンテンツ情報を表示例を示す図である。
【図９】本発明の第２実施形態に係るメディア媒体の一例を示す図である。
【図１０】本発明の第２実施形態に係るカメラポーズ情報算出装置による処理フローを説明するためのフローチャートである。
【図１１】本発明の第２実施形態に係るカメラ画像の一例を説明する図である。
【図１２】図１１に示すカメラ画像の拡大図である。
【図１３】本発明の第３実施形態に係る初期フレームに対応するカメラ画像の一例を説明する図である。
【図１４】本発明の第３実施形態に係るカメラポーズ情報算出装置による処理フローを説明するためのフローチャートである。
【図１５】本発明の第３実施形態に係る第２フレームに対応するカメラ画像の一例を説明する図である。
【図１６】本発明の第３実施形態に係る第３フレームに対応するカメラ画像の一例を説明する図である。
【発明を実施するための形態】
【００１６】
［第１実施形態］
以下、本発明の一実施形態によるカメラポーズ情報算出装置１００について図１を参照して説明する。
図１は、本実施形態によるカメラポーズ情報算出装置１００の構成を示す概略ブロック図である。
図１に示す通り、カメラポーズ情報算出装置１００は、カメラ２００と、入力装置３００と、モニタ装置４００と、ＨＤＤ５０１と、メモリ５０２と、コンテンツサーバ６００と、有線あるいは無線、若しくはネットワークを介して接続されている。なお、カメラポーズ情報算出装置１００と、カメラ２００と、入力装置３００と、モニタ装置４００と、ＨＤＤ５０１と、メモリ５０２とは、１つの装置に含まれる構成であってもよい。また、コンテンツサーバ６００は、カメラポーズ情報算出装置１００と接続されていなくてもよい。
【００１７】
本実施形態では、予め、図２に示すような矩形状のメディア媒体ａが実空間中に設置されている風景をカメラ２００が撮影する。このメディア媒体ａは、実空間における位置を示す位置情報Ｌ（Ｘ，Ｙ，Ｚ）が埋め込まれた電子透かしを備える媒体である。このメディア媒体は、紙媒体でも良いし、ディスプレイ媒体でも良い。
本実施形態において、電子透かしは、メディア媒体の中心部分に配置されている。電子透かしに埋め込まれた位置情報は、メディア媒体が実空間内に設置された状態で、メディア媒体の中心部分の実空間における位置を示す。つまり、埋め込まれる実空間の位置情報Ｌ（Ｘ，Ｙ，Ｚ）は、メディアが実空間中に配された時のメディア媒体の中心（重心）位置Ｇ（Ｘ，Ｙ，Ｚ）を示すものであって、例えば、緯度、経度、高度によって表わすことができる。
【００１８】
カメラポーズ情報算出装置１００は、カメラ２００が撮影したカメラ画像データを入力する。このカメラポーズ情報算出装置１００は、カメラ画像データに基づき、当該カメラ画像データが撮影された際における、実空間におけるカメラ２００のカメラ位置と、カメラ２００の撮像面（例えばＣＣＤの光電変換面）の方位角や仰角で表わされるカメラ姿勢を示すカメラポーズ情報を算出し、ＨＤＤ５０１に送信する。カメラポーズ情報算出装置１００は、ＨＤＤ５０１から送信されるカメラポーズ情報に対応するコンテンツ情報をモニタ装置４００に表示させる。
なお、カメラポーズ情報とは、被写体に対するカメラ２００の位置や姿勢を示す情報である。本実施形態おいて、カメラポーズ情報は、上述の通り、実空間におけるカメラ２００のカメラ位置と、カメラ２００の撮像面の方位角や仰角で表わされるカメラ姿勢を示す情報である。しかし、本発明はこれに限られず、例えば、被写体に対するカメラ２００の相対的な位置および向きを示す情報であってもよい。
【００１９】
カメラ２００は、対象となる３次元の被写体を撮影する装置で、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳカメラ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｎｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などを含む装置である。このカメラ２００は、一般的な２次元のカメラ画像を撮像してカメラ画像データを取得し、カメラポーズ情報算出装置１００に出力する。カメラ２００は、カメラ画像データとともに、焦点距離などを示すカメラ内部パラメータ情報を撮影時に取得し、カメラ画像データとともに、カメラポーズ情報算出装置１００に出力する。
本実施形態においては、カメラ２００の焦点距離などを示す内部パラメータは、カメラポーズ情報算出装置１００によって、カメラ画像データの識別情報（カメラＩＤ）と対応付けられて、カメラポーズ情報算出装置１００によりメモリ５０２に記憶される。
【００２０】
入力装置３００は、ユーザからの操作を受け付ける操作部３０１を備え、カメラポーズ情報算出装置１００の処理を終了することを指示する操作を受け付けて、操作終了指示信号をカメラポーズ情報算出装置１００に出力する。
【００２１】
モニタ装置４００は、カメラポーズ情報算出装置１００から出力される情報に基づき画像を表示する。例えば、モニタ装置４００は、カメラポーズ情報算出装置１００から入力するカメラ画像データに基づき、カメラ２００が撮影したカメラ画像を表示する。このモニタ装置４００は、コンテンツ情報がカメラポーズ情報算出装置１００から入力された場合、このコンテンツ情報を、表示しているカメラ画像の上に重畳して表示する。
【００２２】
ＨＤＤ５０１は、ユーザ現在位置からの一定範囲内に属するコンテンツ情報を保存する。このＨＤＤ５０１は、カメラポーズ情報が示す位置や姿勢に応じてカメラポーズ情報算出装置１００に配信されるコンテンツ情報にカメラポーズ情報を対応付けたテーブルを備える。ＨＤＤ５０１は、このテーブルを参照して、カメラポーズ情報算出装置１００から受信するカメラポーズ情報に対応するコンテンツ情報を得て、カメラポーズ情報算出装置１００に出力する。
メモリ５０２は、カメラポーズ情報算出装置１００における様々なデータ、例えば、メディアの撮像領域から抽出した位置情報等を格納する。
このＨＤＤ５０１とメモリ５０２は、カメラポーズ情報算出装置１００の本体に内蔵されても良いし、図示の通りカメラポーズ情報算出装置１００本体の外部に備えられても良い。
【００２３】
このカメラポーズ情報算出装置１００は、カメラ画像入力手段１０１と、位置情報抽出手段１０２と、カメラポーズ情報算出手段１０３と、入力部１０４と、出力部１０５とを備えている。
カメラ画像入力手段１０１は、入力装置３００からの終了指示信号の有無を検知し、終了指示信号が有る場合は処理を終了する。一方、終了指示信号が無い場合、カメラ画像入力手段１０１は、カメラ２００から最新のカメラ画像データを読み出し、位置情報抽出手段１０２に転送する。
【００２４】
位置情報抽出手段１０２は、受信したカメラ画像データから、カメラ画面上のメディア媒体に対応する位置情報埋込領域を検出し、検出した全ての位置情報埋込領域から位置情報をそれぞれ抽出する。この位置情報抽出手段１０２は、位置情報埋込領域を検出する際、射影平面であるカメラ画像上におけるメディア媒体に対応する射影点の座標を示す画像座標情報を検出する。位置情報抽出手段１０２は、位置情報に画像座標情報を対応付けて、カメラポーズ情報算出手段１０３に出力する。なお、画像座標情報は、カメラ画像上におけるメディア媒体の重心位置Ｇの座標を示す情報であってもよく、矩形状であるメディア媒体の４つの頂点を示す４点組の座標を示す情報であってよい。本実施形態において、カメラ画像上におけるメディア媒体ａの重心位置Ｇａを示す座標をＣａ（ｘａ，ｙａ）、カメラ画像上におけるメディア媒体ａの４点組を示す４点組座標を｛Ｃａ１，Ｃａ２，Ｃａ３，Ｃａ４）と、以下記す。なお、４点組座標は、Ｃａ１（ｘａ１，ｙａ１）、Ｃａ２（ｘａ２，ｙａ２）、Ｃａ３（ｘａ３，ｙａ３）、Ｃａ４（ｘａ４，ｙａ４）と表わすことができる。
【００２５】
カメラポーズ情報算出手段１０３は、位置情報抽出手段１０２から入力する受信した位置情報埋込領域の位置を示す座標情報と、当該位置情報埋込領域に対応する位置情報を用いてカメラ２００の位置および姿勢を示すカメラポーズ情報を算出する。
入力部１０４は、カメラポーズ情報算出装置１００に入力される情報を入力する。この入力部１０１は、カメラ２００とカメラ画像入力手段１０１を接続されており、カメラ２００から入力するカメラ画像データをカメラ画像入力手段１０１に出力する。
出力部１０５は、カメラポーズ情報算出装置１００によって算出されたカメラポーズ情報をＨＤＤ５０１あるいはコンテンツサーバ６００に出力する。
なお、入力部１０４と出力部１０５は、ネットワークを介して接続される構成装置に対して、情報の送受信を行うこともできる。
【００２６】
［第１実施形態に係る処理フロー］
本発明の第１実施形態におけるカメラポーズ情報算出装置１００で実行される詳細な処理を以下に説明する。
図３は、本実施形態に係るカメラポーズ情報算出装置１００による処理の流れを示すフローチャートである。
【００２７】
（ステップＳＴ１）
まず、本実施形態に係るカメラポーズ情報算出装置１００は、まずカメラ画像入力手段１０１を起動し、ユーザによる終了指示が発する終了指示信号の受信有無を確認する。
例えば、ユーザによる終了の指示が入力装置３００に対して入力された場合、カメラ画像入力手段１０１は、この入力装置３００から終了指示信号を受信したことを判定する。
終了指示信号を受信した場合（ステップＳＴ１−ＹＥＳ）、カメラ画像入力手段１０１は、処理を終える。
一方、終了指示信号が無い場合（ステップＳＴ１−ＮＯ）、カメラ画像入力手段１０１は、カメラ２００によって現時刻において撮像された最新のカメラ画像を示すカメラ画像データＤ１をカメラ２００から取り出し、位置情報抽出手段１０２に出力して、処理を終了する。
【００２８】
（ステップＳＴ２）
続いて位置情報抽出手段１０２が起動される。
位置情報抽出手段１０２は起動されると、まず、カメラ画像入力手段１０１からカメラ画像データＤ１を入力する。
【００２９】
（ステップＳＴ３）
続いて、位置情報抽出手段１０２は、このカメラ画像データＤ１のカメラ画像内から位置情報埋込領域を検出する。位置情報埋込領域とは、投影画面であるカメラ画像内におけるメディア媒体に対応する領域をいう。
【００３０】
ここで、位置情報抽出手段１０２による位置情報埋込領域の検出処理について、図４、５を用いて詳細に説明する。
図４は、カメラ２００が撮影したカメラ画像データＤ１の一例を示す図である。図５は、電子透かしが埋め込まれたメディア媒体が配された実空間と、この実空間を撮影したカメラ画像との関係を示す図である。図５に示す通り、カメラ２００が撮影するメディア媒体ａが存在する実空間を座標（Ｘ，Ｙ，Ｚ）で、この実空間が射影される射影画面のカメラ画像を座標（ｘ，ｙ）で表わす。なお、図４において、ｘ軸は、カメラ画像の長手方向の直線、ｙ軸は、カメラ画像の短手方向の直線であり、それぞれは互いに直交する。また、図５において、Ｘ軸およびＺ軸は地面に水平な直線、Ｙ軸は地面に垂直な直線であって、Ｘ軸，Ｙ軸，Ｚ軸は、それぞれ直交する。
【００３１】
図５に示す通り、カメラ画像データＤ１のカメラ画像内には、例えば、ポスター等からなるメディア媒体ａ〜ｆを壁に配置した風景が映し出されている。例えば、このメディア媒体ａ〜ｆには、それぞれ、位置情報Ｌａ（Ｘａ，Ｙａ，Ｚａ）、Ｌｂ（Ｘｂ，Ｙｂ，Ｚｂ）、Ｌｃ（Ｘｃ，Ｙｃ，Ｚｃ）、Ｌｄ（Ｘｄ，Ｙｄ，Ｚｄ）、Ｌｅ（Ｘｅ，Ｙｅ，Ｚｅ）、Ｌｆ（Ｘｆ，Ｙｆ，Ｚｆ）が予め埋め込まれた電子透かしが印刷されている。
【００３２】
位置情報抽出手段１０２は、例えば、カメラ画像データＤ１に基づき四角形を検出するパターン認識を行うことにより、予め決められているメディア媒体ａ〜ｆの形状（例えば正方形や長方形）を、位置情報埋込領域ａ´〜ｆ´として、カメラ画像データＤ１から検出する。
また、位置情報抽出手段１０２は、この方法に限られず、例えば、以下に示す特許文献１に記載されている方法を利用することにより、カメラ画像データＤ１から四角形の位置情報埋込領域ａ´〜ｆ´を検出することができる。
＜特許文献１＞  特開２００８−１１７２２８
【００３３】
位置情報抽出手段１０２は、この処理により検出した位置情報埋込領域ａ´〜ｆ´に基づき、カメラ画像内における位置情報埋込領域ａ´〜ｆ´の位置を示す画像座標情報Ｃａ〜Ｃｆを検出する。本実施形態において、画像座標情報Ｃａ〜Ｃｆは、四角形である位置情報埋込領域ａ´〜ｆ´の４つの頂点である４点組座標によって表わされる。
本実施形態では、位置情報抽出手段１０２は、図４、５に示す通り、位置情報埋込領域ａ´〜ｆ´に対応する６つの画像座標情報Ｃａ〜Ｃｆを取得し、カメラポーズ情報算出手段１０３に出力する。例えば、位置情報埋込領域ａ´に対応する画像座標情報Ｃａは、４点組座標情報｛Ｃａ１，Ｃａ２，Ｃａ３，Ｃａ４｝によって表わすことができる。なお、４点組座標は、Ｃａ１（ｘａ１，ｙａ１）、Ｃａ２（ｘａ２，ｙａ２）、Ｃａ３（ｘａ３，ｙａ３）、Ｃａ４（ｘａ４，ｙａ４）と表わすことができる。
【００３４】
位置情報抽出手段１０２が取得した画像座標情報Ｃａ〜Ｃｆと位置情報埋込領域ａ´〜ｆ´との対応関係を図６に示す。なお、位置情報抽出手段１０２は、図６に示す通り、位置情報埋込領域ａ´〜ｆ´に、画像座標情報Ｃａ〜Ｃｆと４点組座標情報を対応付けたテーブルを作成して、メモリ５０２に保存してもよい。
【００３５】
（ステップＳＴ５）
続いて、位置情報抽出手段１０２は、抽出した位置情報埋込領域ａ´〜ｆ´が所定数以上であるか否かを判断する。本実施形態において、所定数は、６である。
本実施形態においては、位置情報埋込領域ａ´〜ｆ´が少なくとも６以上の場合であるため、位置情報抽出手段１０２は、検出した位置情報埋込領域が６以上であると判断する。
そして、位置情報抽出手段１０２は、抽出した全ての位置情報埋込領域ａ´〜ｆ´に亘って、それぞれの領域のカメラ画像データＤ１から電子的に埋め込まれた位置情報Ｌａ〜Ｌｆを抽出する。
この処理は、位置情報抽出手段１０２が、四角形領域として抽出された位置情報埋込領域ａ´〜ｆ´に射影変換を施して長方形に変換した後に、当該長方形領域から電子透かしを抽出することによって実現することができる。なお、この位置情報抽出手段１０２による電子透かしの抽出は、従来の技術となんら変わるところは無いので、ここでの記述は省略する。
一方、位置情報埋込領域ａ´〜ｆ´が６以上でない場合、カメラポーズ情報算出装置１００は、処理を終了する。なお、この場合、カメラポーズ情報算出装置１００は、第２実施形態に説明する処理を行うものであってもよい。
【００３６】
（ステップＳＴ６）
位置情報抽出手段１０２は、以上の処理を、抽出した全ての位置情報埋込領域ａ´〜ｆ´に亘って繰り返し、抽出した位置情報Ｌａ〜Ｌｆを各々の位置情報埋込領域ａ´〜ｆ´を構成する４点組座標情報と対応付けて転送し、位置情報抽出手段１０２の処理を終える。
なお、この対応関係を図７のテーブルに示す。位置情報抽出手段１０２は、図７に示す通り、位置情報埋込領域ａ´〜ｆ´に、位置情報Ｌａ〜Ｌｆを対応付けたテーブルを作成して、メモリ５０２に保存してもよい。
つまり、位置情報抽出手段１０２は、全ての位置情報埋込領域からそれぞれの電子透かしに埋め込まれている位置情報を抽出したか否かを判定し、全ての位置情報埋込領域から位置情報を抽出するまで、ステップＳＴ５を繰り返す。
【００３７】
（ステップＳＴ７）
続いて、カメラポーズ情報算出装置１００は、カメラポーズ情報算出手段１０３を起動する。カメラポーズ情報算出手段１０３は、起動されると、位置情報埋込領域ａ´〜ｆ´のそれぞれの画像座標情報Ｃａ〜Ｃｆである４点組座標情報と、この４点組座標情報と対応する位置情報Ｌａ〜Ｌｆを、位置情報抽出手段１０２で抽出した全ての位置情報埋込領域ａ´〜ｆ´の分だけ位置情報抽出手段１０２から入力する。
【００３８】
続いて、カメラポーズ情報算出手段１０３は、位置情報抽出手段１０２から入力した位置情報埋込領域ａ´〜ｆ´に対応付けられた画像座標情報Ｃａ〜Ｃｆと位置情報Ｌａ〜Ｌｆに基づき、下記の式（１）に従って、カメラポーズ情報を算出する。
【００３９】
【数２】
2012103116.tif 000004
【００４０】
ここで、式（１）について詳細に説明する。
電子透かしが埋め込まれたメディア媒体ａ〜ｆは、カメラ画像内では位置情報埋込領域ａ´〜ｆ´として撮影される。メディア媒体ｆを例に取って説明すると、まず、カメラポーズ情報算出手段１０３が、位置情報抽出手段１０２で抽出した位置情報埋込領域ｆ´を構成する４点組座標情報｛Ｃｆ１，Ｃｆ２，Ｃｆ３，Ｃｆ４｝から、その重心点Ｇｆを求める。図５の例では位置情報埋込領域ｆ´内の「×」印が重心点Ｇｆ（ｘｆ，ｙｆ）として求まることとなる。当該重心点Ｇｆ（ｘｆ，ｙｆ）は、実空間中のメディア媒体ｆの中心位置に対応するカメラ画像上への射影点である。この射影については、式（１）の関係が成立つ。
【００４１】
式（１）に示す要素ｐから構成される３×４の行列は、射影行列Ｐでありる。射影行列Ｐは、カメラ２００の内部パラメータと、カメラ２００の位置及び姿勢を示すカメラポーズ情報である外部パラメータの情報を含んでいる。つまり、この射影行列Ｐは、カメラポーズ情報算出手段１０３が算出するカメラポーズ情報を含む情報である。
カメラポーズ情報算出手段１０３は、実空間中の３次元点と当該点を射影した画像上の射影点の対応が、６点以上決定されれば、当該射影行列Ｐを算出することができる。
つまり、カメラポーズ情報算出手段１０３は、図５の例ではメディア媒体ａ〜ｆの位置情報Ｌａ〜Ｌｆと、このメディア媒体ａ〜ｆの射影点である位置情報埋込領域ａ´〜ｆ´の画像座標情報Ｃａ〜Ｃｆとの対応を用いることによって、射影行列Ｐを算出できる。
【００４２】
なお、カメラポーズ情報算出手段１０３が、算出した射影行列Ｐからカメラの内部パラメータと外部パラメータ（カメラポーズ情報）へと分解する方法は従来の技術となんら変わらないのでここでの記載は省略する。例えば、カメラポーズ情報算出手段１０３は、非特許文献２に記載の方法によって、射影行列Ｐからカメラポーズ情報を取得することができる。
＜非特許文献２＞徐剛：写真から作る３次元ＣＧ、ｐｐ。５９−６２、近代科学社、２００１年
カメラポーズ情報算出手段１０３は、以上の処理によって、射影行列Ｐに基づき、カメラ２００の位置と姿勢を示すカメラポーズ情報を決定することができる。
【００４３】
（ステップＳＴ８）
続いて、カメラポーズ情報算出手段１０３は、当該カメラポーズ情報に基づき、ＨＤＤ５０１に保存されているテーブルを参照して、ユーザ現在位置からの一定範囲内に属するコンテンツ情報を取得し、モニタ装置４００に表示させる。このユーザ現在位置からの一定範囲内に属するコンテンツ情報とは、位置情報Ｌ（Ｘ，Ｙ，Ｚ）を中心として、予め決められた範囲内（例えば、半径１ｍの円で示す領域）に含まれる位置情報と対応付けられたコンテンツ情報をいう。カメラポーズ情報算出手段１０３は、ＨＤＤ５０１から得たコンテンツ情報を、モニタ装置１０３に既に表示されているカメラ画像上に重畳して表示してもよい。そして、カメラポーズ情報算出手段１０３は、処理を終了し、ステップＳＴ１の最初の処理に戻る。
【００４４】
この様子を図８に示す。図８は、本発明の実施形態に係るカメラポーズ情報に対応するコンテンツ情報を表示例を示す図である。図８中の矢印で示すものがコンテンツ情報により表示される仮想コンテンツである。図示の通り、カメラ位置および姿勢とユーザの位置および姿勢を同視して、カメラの位置および姿勢に応じたコンテンツ情報を表示することにより、ユーザの位置および姿勢に応じた情報配信サービスを提供することができる。
なお、本実施形態に係るカメラポーズ情報算出装置１００は、上記構成に限られず、ネットワーク上のコンテンツサーバ６００からコンテンツ情報を取得するものとしてあってもよい。この場合、コンテンツサーバ６００には、ＨＤＤ５０１と同様の情報を保存するメモリが備えられている。
また、本実施形態ではカメラ２００から出力されるデータが静止画であることを前提に説明したが、動画の場合でも同様にカメラの位置および姿勢を示すカメラポーズ情報を算出できることができる。
【００４５】
［第２実施形態］
第１実施形態に係るカメラポーズ情報算出装置１００は、カメラ画像から実空間中に存在するメディア媒体ａ〜ｆに電子的に埋め込まれたメディア媒体の位置情報Ｌａ〜Ｌｆを抽出し、位置情報Ｌａ〜Ｌｆを用いてカメラ２００の位置及び姿勢を示すカメラポーズ情報を算出する。
このため、屋内、地下街、鉄筋の建物近辺等でユーザが利用する場合においても高精度にカメラ２００の位置と姿勢を示すカメラポーズ情報を計測することが可能になる。
しかしながら、電子透かしが埋め込まれたメディア媒体ａ〜ｆを少なくとも６個以上配置する必要があり、事前準備に非常に手間が掛かることとなる。
本発明に係る第２実施形態では、電子透かしが埋め込まれた１つのメディア媒体ｊのみでカメラ２００の位置及び姿勢を示すカメラポーズ情報を算出するカメラポーズ情報算出装置１００および方法について述べる。なお、カメラポーズ情報算出装置１００の構成は、図１に示す構成と同様であるため、詳細な説明は省略し、同一の符号を付して以下説明する。
【００４６】
図９は、本発明の第２実施形態に係るメディア媒体の一例を示す図である。
本実施形態では、図９に示すようなメディア媒体ｊが備える電子透かしには、電子透かし情報として、実空間中の位置を示す位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）と、メディア媒体ｊの実空間における大きさを示すサイズ情報Ｓｊが埋め込まれている。このメディア媒体ｊが、例えば、壁に貼られた状態で、実空間中に設置されているものとする。
ここでメディア媒体ｊは、紙媒体でも良いし、ディスプレイ媒体でも良い。また埋め込む位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）は、メディア媒体ｊが実空間中に配された際にメディア媒体ｊの中心（重心）位置であるＧｊの位置を、例えば、緯度、経度、高度によって表わしたものである。また、メディア媒体ｊのサイズ情報Ｓｊは、メディア媒体ｊの縦実寸Ｈと、横実寸Ｗによって示される情報である。
位置情報Ｇｊの座標系は、図５に示すように、Ｘ軸およびＺ軸は地面に水平に、Ｙ軸は地面に垂直に設定するものとする。
【００４７】
［第２実施形態に係る処理フロー］
以下、本実施形態の処理について第一の実施形態と異なる処理について、図１０を参照して説明する。図１０は、第２実施形態に係るカメラポーズ情報算出装置による処理フローを説明するためのフローチャートである。
（ステップＳＴ１１）
まず、カメラ画像入力手段１０１については第一の実施形態と同様なので、ここでの記載は省略する。
つまり、終了指示信号が無い場合（ステップＳＴ１１−ＮＯ）、カメラ画像入力手段１０１は、カメラ２００によって現時刻において撮像された最新のカメラ画像を示すカメラ画像データＤ１１をカメラ２００から取り出し、位置情報抽出手段１０２に出力して、処理を終了する。
【００４８】
（ステップＳＴ１２）
続いて、位置情報抽出手段１０２における電子透かし埋め込み領域抽出処理は、第一の実施形態と同様である。
つまり、位置情報抽出手段１０２は起動されると、まず、カメラ画像入力手段１０１からカメラ画像データＤ１１を入力する。
【００４９】
（ステップＳＴ１３）
続いて、位置情報抽出手段１０２は、このカメラ画像データＤ１のカメラ画像内から位置情報埋込領域ｊ´を検出する。そして、位置情報抽出手段１０２は、検出した位置情報埋込領域ｊ´に基づき、カメラ画像内における位置情報埋込領域ｊ´の位置を示す画像座標情報Ｃｊを検出する。本実施形態において、画像座標情報Ｃｊは、四角形である位置情報埋込領域ｊ´の４つの頂点である４点組座標情報｛Ｃｊ１，Ｃｊ２，Ｃｊ３，Ｃｊ４｝によって表わされる。
【００５０】
（ステップＳＴ１４）
そして、位置情報抽出手段１０２は、位置情報埋込領域を所定数以上検出したか否かを判断する。本実施形態において、所定数とは、６である。ここで、検出した位置情報埋込領域の数が６以上である場合、位置情報抽出手段１０２は、上述の第１実施形態を実施するため、ステップＳＴ５に移る。
【００５１】
（ステップＳＴ１５）
一方、本実施形態のように、抽出した位置情報埋込領域が６未満の場合、位置情報抽出手段１０２は、抽出した全ての位置情報埋込領域ｊ´に亘って、位置情報埋込領域ｊ´領域の画像情報から電子的に埋め込まれた位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）とサイズ情報Ｓｊ｛Ｗ、Ｈ｝を抽出する。
位置情報抽出手段１０２は、例えば、四角形領域として抽出された位置情報埋込領域ｊ´に射影変換を施して長方形に変換した後に、当該長方形領域から電子透かしを抽出することによって上述処理を実現することができる。電子透かしの抽出は、従来の技術となんら変わるところは無いので、ここでの記述は省略する。
【００５２】
（ステップＳＴ１６）
そして、位置情報抽出手段１０２は、ステップＳＴ１３において検出した全ての位置情報埋込領域から、対応する位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）とサイズ情報Ｓｊ｛Ｗ、Ｈ｝を検出したか否かを判定する。
複数の位置情報埋込領域を検出した場合、位置情報抽出手段１０２は、抽出した全ての位置情報埋込領域に亘って上述の処理を繰り返し、抽出した位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）とサイズ情報Ｓｊ｛Ｗ、Ｈ｝を各々の位置情報埋込領域を構成する４点組座標情報と対応付けてカメラポーズ情報算出手段１０３に出力し、位置情報抽出手段１０２の処理を終える。
つまり、位置情報抽出手段１０２は、全ての位置情報埋込領域からそれぞれの電子透かしに埋め込まれている位置情報を抽出したか否かを判定し、全ての位置情報埋込領域から位置情報を抽出するまで、ステップＳＴ１５を繰り返す。
【００５３】
（ステップＳＴ１７）
続いて、カメラポーズ情報算出手段１０３が起動される。このカメラポーズ情報算出手段１０３は起動されると、位置情報埋込領域ｊ´の画像座標情報Ｃｊである４点組座標情報｛Ｃｊ１，Ｃｊ２，Ｃｊ３，Ｃｊ４｝と対応する位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚ，）と、サイズ情報Ｓｊ｛Ｗ、Ｈ｝を、位置情報抽出手段１０２で抽出した全ての位置情報埋込領域ｊ´の分だけ位置情報抽出手段１０２から入力する。
カメラポーズ情報算出手段１０３は、位置情報抽出手段１０２から入力した位置情報埋込領域ｊ´に対応付けられた画像座標情報Ｃｊと、位置情報Ｌｊと、サイズ情報Ｓｊに基づき、上述の式（１）に従って、カメラポーズ情報を算出する。
【００５４】
ここで、カメラポーズ情報算出手段１０３による処理を、図１１、１２を用いて説明する。
図１１は電子透かしが埋め込まれたメディア媒体ｊが配された実空間を撮影したカメラ画像を示している。このカメラ画像からは、位置情報抽出手段１０２によって位置情報埋込領域ｊ´が検出される。
カメラポーズ情報算出手段１０３は、まず、第１実施例同様に、位置情報抽出手段１０２で抽出した位置情報埋込領域ｊ´を構成する４点組座標情報｛Ｃｊ１，Ｃｊ２，Ｃｊ３，Ｃｊ４｝から、位置情報埋込領域ｊ´の重心点Ｇｊを求める。
【００５５】
図１２は、カメラ画像中の位置情報埋込領域ｊ´を構成する領域を拡大した図である。
図１２の例では、カメラポーズ情報算出手段１０３が、位置情報埋込領域ｊ´内の重心点Ｇｊ（ｘｊ，ｙｊ）を求める。この重心点Ｇｊ（ｘｊ，ｙｊ）に対応する実空間中の位置情報は、位置情報抽出手段１０２によって抽出された位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）である。言い換えると、重心点Ｇｊは、実空間における位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）の位置に存在するメディア媒体ｊの中心点に対応するカメラ画像上における射影点である。
【００５６】
カメラポーズ情報算出手段１０３は、図１２に示す座標情報Ｃｊ１〜Ｃｊ８に対応する検出位置の位置情報Ｌｊ１〜Ｌｊ８を検出する。
この検出位置は、予め決められており、本実施形態において、矩形状のメディア媒体の頂点４つと、各辺の中点の４つの、合計８点である。なお、この検出位置は、少なくとも６点であることが好ましい。
【００５７】
続いて、カメラポーズ情報算出手段１０３は、位置情報埋込領域ｊ´内の他の点の画像座標と実空間中の位置情報の対応を求める。
まず、カメラポーズ情報算出手段１０３は、画像座標情報として、図１２に示すような位置情報埋込領域ｊ´を構成する４点組座標情報｛Ｃｊ１，Ｃｊ２，Ｃｊ３，Ｃｊ４｝を、位置情報抽出手段１０２から取得している。カメラポーズ情報算出手段１０３は、これら４点組座標情報｛Ｃｊ１，Ｃｊ２，Ｃｊ３，Ｃｊ４｝に対応する実空間中の位置情報｛Ｌｊ１，Ｌｊ２，Ｌｊ３，Ｌｊ４｝を、メディア媒体ｊのサイズ情報Ｓｊ｛Ｗ、Ｈ｝を用いて求める。
例えば、カメラポーズ情報算出手段１０３は、位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）のＸ軸、Ｙ軸、Ｚ軸に対して、検出位置のメディア媒体ｊにおける中心からの位置関係に応じた数値（Ｗ／２、Ｈ／２）を加算あるいは減算することにより、検出位置に対応する実空間内における位置情報を算出する。この位置関係について、以下に説明する。
【００５８】
４点組座標情報Ｃｊ１は、メディア媒体ｊの中心からカメラ画面における＋ｘ方向かつ＋ｙ方向の隅の位置を示す座標情報であるため、位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）に対して、Ｌｊ１（Ｘｊ＋Ｗ／２，Ｙｊ＋Ｈ／２，Ｚｊ）の関係を有する。
４点組座標情報Ｃｊ２は、メディア媒体ｊの中心からカメラ画面における−ｘ方向かつ＋ｙ方向の隅の位置を示す座標情報であるため、位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）に対して、Ｌｊ２（Ｘｊ−Ｗ／２，Ｙｊ＋Ｈ／２，Ｚｊ）の関係を有する。
４点組座標情報Ｃｊ３は、メディア媒体ｊの中心からカメラ画面における−ｘ方向かつ−ｙ方向の隅の位置を示す座標情報であるため、位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）に対して、Ｌｊ３（Ｘｊ−Ｗ／２，Ｙｊ−Ｈ／２，Ｚｊ）の関係を有する。
４点組座標情報Ｃｊ４は、メディア媒体ｊの中心からカメラ画面における＋ｘ方向かつ−ｙ方向の隅の位置を示す座標情報であるため、位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）に対して、Ｌｊ４（Ｘｊ＋Ｗ／２，Ｙｊ−Ｈ／２，Ｚｊ）の関係を有する。
カメラポーズ情報算出手段１０３は、上述の関係に基づき、これら４点組座標情報｛Ｃｊ１，Ｃｊ２，Ｃｊ３，Ｃｊ４｝に対応する実空間中の位置情報｛Ｌｊ１，Ｌｊ２，Ｌｊ３，Ｌｊ４｝を算出することができる。
【００５９】
また、カメラポーズ情報算出手段１０３は、各辺の中央点を示す座標情報｛Ｃｊ５，Ｃｊ６，Ｃｊ７，Ｃｊ８｝に対応する実空間中の位置情報｛Ｌｊ５，Ｌｊ６，Ｌｊ７，Ｌｊ８｝を、メディア媒体ｊのサイズ情報Ｓｊ｛Ｗ、Ｈ｝を用いて求める。
例えば、カメラポーズ情報算出手段１０３は、位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）のＸ軸、Ｙ軸、Ｚ軸に対して、検出位置のメディア媒体ｊにおける中心からの位置関係に応じた数値（Ｗ／２、Ｈ／２）を加算あるいは減算することにより、検出位置の位置情報を算出する。この位置関係について、以下に説明する。
【００６０】
座標情報Ｃｊ５は、メディア媒体ｊの中心からカメラ画面における＋ｙ方向の辺の中点位置を示す座標情報であるため、位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）に対して、Ｌｊ５（Ｘｊ，Ｙｊ＋Ｈ／２，Ｚｊ）の関係を有する。
座標情報Ｃｊ６は、メディア媒体ｊの中心からカメラ画面における−ｘ方向の辺の中点位置を示す座標情報であるため、位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）に対して、Ｌｊ６（Ｘｊ−Ｗ／２，Ｙｊ，Ｚｊ）の関係を有する。
座標情報Ｃｊ７は、メディア媒体ｊの中心からカメラ画面における−ｙ方向の辺の中点位置を示す座標情報であるため、位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）に対して、Ｌｊ７（Ｘｊ，Ｙｊ−Ｈ／２，Ｚｊ）の関係を有する。
座標情報Ｃｊ８は、メディア媒体ｊの中心からカメラ画面における＋ｘ方向の辺の中点位置を示す座標情報であるため、位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）に対して、Ｌｊ８（Ｘｊ＋Ｗ／２，Ｙｊ＋Ｈ／２，Ｚｊ）の関係を有する。
カメラポーズ情報算出手段１０３は、上述の関係に基づき、これら座標情報｛Ｃｊ５，Ｃｊ６，Ｃｊ７，Ｃｊ８｝に対応する実空間中の位置情報｛Ｌｊ５，Ｌｊ６，Ｌｊ７，Ｌｊ８｝を算出することができる。
【００６１】
ついで、カメラポーズ情報算出手段１０３は、これら検出点の画像座標｛Ｇｊ，Ｃｊ１，Ｃｊ２，Ｃｊ３，Ｃｊ４，Ｃｊ５，Ｃｊ６，Ｃｊ７，Ｃｊ８｝と、これら画像座標に対応する実空間中の位置情報｛Ｌｊ，Ｌｊ１，Ｌｊ２，Ｌｊ３，Ｌｊ４，Ｌｊ５，Ｌｊ６，Ｌｊ７，Ｌｊ８｝との対応に基づき、式（１）を参照して、射影行列Ｐを求める。なお、カメラポーズ情報算出手段１０３は、これら画像座標｛Ｇｊ，Ｃｊ１，Ｃｊ２，Ｃｊ３，Ｃｊ４，Ｃｊ５，Ｃｊ６，Ｃｊ７，Ｃｊ８｝のうち、すくなくとも６点を選択し、これらに対応する位置情報を用いて、射影行列Ｐを求めることができる。この選択の方法は、選択する検出位置が予め決められていてもよく、位置情報抽出手段１０２によって検出されている画像座標｛Ｇｊ，Ｃｊ１，Ｃｊ２，Ｃｊ３，Ｃｊ４｝の４点と、画像座標｛Ｃｊ５，Ｃｊ６，Ｃｊ７，Ｃｊ８｝のうちいすれか１つを選択するものであってもよい。後者の方法により、サイズ情報Ｓに基づき、画像座標情報を算出する計算時間を短縮することができ、あるいは、計算にかかる処理負荷を軽減することができる。
【００６２】
（ステップＳＴ１８）
この射影行列Ｐの計算以降の処理は第一の実施形態となんら変わるところがないのでここでの説明は省略する。
つまり、カメラポーズ情報算出手段１０３は、カメラポーズ情報に基づき、ＨＤＤ５０１に保存されているテーブルを参照して、ユーザ現在位置からの一定範囲内に属するコンテンツ情報を取得し、モニタ装置４００に表示させる。そして、カメラポーズ情報算出手段１０３は、処理を終了し、ステップＳＴ１１の最初の処理に戻る。
なお、本実施形態ではカメラ２００から出力されるデータが動画であることを前提に説明したが、静止画の場合でも同様にユーザの位置や姿勢を算出できることは明らかである。
【００６３】
［第３実施形態］
上述の第１，２実施形態では、カメラ画像から実空間中に存在するメディア媒体に電子的に埋め込まれたメディア媒体の位置情報を抽出することにより、カメラ位置とカメラ姿勢を示すカメラポーズ情報を計測することが可能になる。しかしながら、常にカメラ画像内に電子透かしが埋め込まれたメディア媒体が撮影されている必要が生じる。
【００６４】
本発明における第３実施形態では、カメラ画像上の特徴点追跡によってカメラ２００の位置及び姿勢を示すカメラポーズ情報を算出する。本実施形態に係るカメラポーズ情報算出装置１００は、当該特徴点追跡による位置及び姿勢を示すカメラポーズ情報の算出処理の補助手段として、電子透かしが埋め込まれたメディア媒体を、既知の３次元点マーカとして利用する。これにより、カメラポーズ情報算出装置１００は、電子透かしが埋め込まれたメディア媒体がカメラ画像に写っていない場合でも、継続してカメラ位置およびカメラ姿勢を計測することが可能となる。つまり、カメラポーズ情報算出装置１００は、メディア媒体が映っている初期フレームのカメラ画像データについて、予めカメラポーズ情報を算出するとともに、当該カメラ画像内に存在する特徴点を取得しておく。カメラポーズ情報算出装置１００は、この特徴点を追跡することにより、メディア媒体がフレームアウトした場合であっても、この特徴点とメディア媒体との相対的に位置関係に基づき、カメラポーズ情報を算出することができる。
【００６５】
本実施形態では、第１実施形態或いは第２実施形態と同様に、電子透かし情報として、少なくとも実空間中の位置を示す位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚ，）が埋め込まれたメディア媒体ｊが、実空間中に設置されているものとする。
また本実施形態では、カメラ２００から得られるデータは、時系列に複数フレームのカメラ画像が連続している動画データであるものとする。
【００６６】
以下に記載する例では、カメラ２００から得られる動画データのうち、初期フレームおよび第２フレームにおいては、電子透かしが埋め込まれたメディア媒体の一部によって決められる実空間内の位置情報Ｌが、少なくとも６点以上観測されているものとする。そして、第３フレーム以降、電子透かしが埋め込まれたメディア媒体の一部によって決められる実空間内の位置情報Ｌが、６点以上観測されなくなるものとする。
【００６７】
本実施形態において１回目の処理となる、動画情報の初期フレームのカメラ画像データＤ３１に対する処理は、第１実施形態或いは第２実施形態とほぼ同様である。
つまり、位置情報抽出手段１０２が、位置情報埋込領域を６つ以上検出した場合、第１フレームに対応するカメラ画像データに対して、第１実施形態に対応するステップＳＴ１〜ステップＳＴ８の処理を行い、カメラポーズ情報に対応するコンテンツ情報をモニタ装置４００に表示する。
一方、位置情報抽出手段１０２が、位置情報埋込領域を６つ以上検出しなかった場合、第１フレームに対応するカメラ画像データに対して、第２実施形態に対応するステップＳＴ１１〜ステップＳＴ１８の処理を行い、カメラポーズ情報に対応するコンテンツ情報をモニタ装置４００に表示する。
【００６８】
なお、この第１フレームのカメラ画像データに対する上述の第１、２の実施形態における処理と異なる点は、本実施形態においては、第１実施形態或いは第２実施形態でのカメラポーズ情報算出手段１０３が、カメラ画像データに基づきカメラ画像上の角部分や交点部分となる特徴点を、少なくとも６点以上抽出する処理が追加されることである。
つまり、ステップＳＴ７あるいはステップＳＴ１７において、カメラポーズ情報算出手段１０３が、カメラ画像内において予め決められた特徴を有する特徴点を、６点以上抽出する。
カメラポーズ情報算出手段１０３は、カメラ画像データＤ３１に基づき、カメラ画像上において角部分や交点部分を特徴点として抽出する。このカメラポーズ情報算出手段１０３は、例えば、カメラ画像データＤ３１に対して、矩形図面を検出するパターン検出を行うことで、この矩形の角部分を検出することができる。また、カメラポーズ情報算出手段１０３は、カメラ画像データＤ３１に対して画像処理をすることにより、同一色と判定できる領域を同一色領域として検出し、３つ以上の同一色領域が接触する点を交点部分として検出する。本実施形態において、カメラポーズ情報算出手段１０３は、６点以上の特徴点Ｑ１〜Ｑｎ（ｎ＞６）を検出する。
【００６９】
なお、本実施形態においては、説明便宜のため、位置情報抽出手段１０２が位置情報埋込領域を６つ以上検出しなかった場合であって、第２実施形態に対応する処理により、６点以上の位置情報を検出する例を用いて、以下説明する。
【００７０】
ここで、図１３を参照して、第１フレームのカメラ画像とこのカメラ画像から検出される画像座標情報と特徴点について説明する。
図１３は、第２実施形態に記載した方法で算出した初期フレームのカメラ画像中の画像座標位置情報と特徴点を示す図である。
図１３に示す通り、初期フレームのカメラ画像には、奥に長い空間において、−ｘ方向の壁にメディア媒体ｊが取り付けられており、＋ｘ方向の壁に十字の格子が掛けられた丸縁の窓が存在する風景が写し出されている。
カメラポーズ情報算出手段１０３は、この初期フレームのカメラ画像データＤ３１から、位置情報埋込領域ｊ´の検出点に対応する座標情報｛Ｇｊ，Ｃｊ１，Ｃｊ２，Ｃｊ３，Ｃｊ４，Ｃｊ５，Ｃｊ６，Ｃｊ７，Ｃｊ８｝と、特徴点｛Ｑ１，Ｑ２，Ｑ３，Ｑ４，Ｑ５，Ｑ６，Ｑ７，Ｑ８｝に対応する特徴点座標情報を検出する。図示の通り、この初期フレームの特徴点｛Ｑ１，Ｑ２，Ｑ３，Ｑ４｝は、丸縁の窓の交点部分であり、特徴点｛Ｑ５，Ｑ６，Ｑ７，Ｑ８｝は、カメラ画面の奥に写されている壁の天井と床との接点を示す交点部分である。
なお、図中における中黒三角「▲」は、特徴点抽出処理でカメラポーズ情報算出手段１０３が抽出した特徴点｛Ｑ１，Ｑ２，Ｑ３，Ｑ４，Ｑ５，Ｑ６，Ｑ７，Ｑ８｝の画像上の位置を示す。
【００７１】
カメラポーズ情報算出手段１０３は、特徴点｛Ｑ１，Ｑ２，Ｑ３，Ｑ４，Ｑ５，Ｑ６，Ｑ７，Ｑ８｝の特徴点座標情報を、それぞれの特徴点の近傍領域のテクスチャ情報と対応付けて、メモリ５０２に記録しておく。このテクスチャ情報とは、各特徴点を検出する際、カメラポーズ情報算出手段１０３の画像処理によって得られる特徴点周辺の画像の画質を表わす情報であって、例えば、ＲＧＢにより表わされる色、輝度、明るさ等を表わす情報である。このテクスチャ情報は、カメラポーズ情報算出手段１０３に特徴点追跡情報に必要な情報であって、これに限られず、追跡処理に必要な情報を含むものであってもよい。
【００７２】
［第３実施形態にかかる処理フロー］
次に、カメラ２００から得られる動画データに含まれるカメラ画像データに対する処理について、図１４を参照して説明する。図１４は、第３実施形態に係るカメラポーズ情報算出装置による処理フローを説明するためのフローチャートである。
なお、図１４に示す処理フローは、位置情報抽出手段１０２が位置情報埋込領域を６つ以上検出しなかった場合であって、第２実施形態に対応する処理により、６点以上の位置情報を検出する例である。本発明はこれに限らず、第１実施形態に対応する処理も可能であるが、説明便宜のため、省略する。
カメラ２００から得られる動画データに含まれる初期フレームのカメラ画像データＤ３１に対する処理については、上述の通りである。図１４には、ステップＳＴ２１〜３０に示す通りである。
【００７３】
次に、カメラ２００から得られる動画データに含まれる第２フレームのカメラ画像データＤ３２に対する処理について、図１５を参照しつつ説明する。図１５は、第３実施形態に係る初期フレームに対応するカメラ画像の一例を説明する図である。
カメラ画像入力手段１０１と、位置情報抽出手段１０２での処理は、第１実施形態或いは第２実施形態と同様である。
【００７４】
（ステップＳＴ２１）
つまり、終了指示信号が無い場合（ステップＳＴ２１−ＮＯ）、カメラ画像入力手段１０１は、カメラ２００によって現時刻において撮像された最新のカメラ画像を示すカメラ画像データＤ３２をカメラ２００から取り出し、位置情報抽出手段１０２に出力して、処理を終了する。
【００７５】
（ステップＳＴ２２）
次いで、位置情報抽出手段１０２は起動されると、まず、カメラ画像入力手段１０１からカメラ画像データＤ３２を入力する。
【００７６】
（ステップＳＴ２３）
続いて、位置情報抽出手段１０２は、このカメラ画像データＤ３２のカメラ画像内から位置情報埋込領域ｊ´を検出する。そして、位置情報抽出手段１０２は、検出した位置情報埋込領域ｊ´に基づき、カメラ画像内における位置情報埋込領域ｊ´の位置を示す画像座標情報Ｃｊを検出する。本実施形態において、画像座標情報Ｃｊは、四角形である位置情報埋込領域ｊ´の４つの頂点である４点組座標情報｛Ｃｊ１，Ｃｊ２，Ｃｊ３，Ｃｊ４｝によって表わされる。
【００７７】
（ステップＳＴ２４）
そして、位置情報抽出手段１０２は、位置情報埋込領域を所定数以上検出したか否かを判断する。
（ステップＳＴ２５）
本実施形態のように、抽出した位置情報埋込領域が６未満の場合、位置情報抽出手段１０２は、抽出した全ての位置情報埋込領域ｊ´に亘って、位置情報埋込領域ｊ´領域の画像情報から電子的に埋め込まれた位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）とサイズ情報Ｓｊを抽出する。
【００７８】
（ステップＳＴ２６）
そして、位置情報抽出手段１０２は、ステップＳＴ２３において検出した全ての位置情報埋込領域から、対応する位置情報Ｌとサイズ情報Ｓを検出したか否かを判定する。
複数の位置情報埋込領域を検出した場合、位置情報抽出手段１０２は、抽出した全ての位置情報埋込領域に亘って上述の処理を繰り返し、抽出した位置情報Ｌとサイズ情Ｓ報を各々の位置情報埋込領域を構成する４点組座標情報と対応付けてカメラポーズ情報算出手段１０３に出力し、位置情報抽出手段１０２の処理を終える。
【００７９】
（ステップＳＴ３１）
続いて、カメラポーズ情報算出手段１０３が起動される。このカメラポーズ情報算出手段１０３は起動されると、位置情報埋込領域ｊ´の画像座標情報Ｃｊである４点組座標情報｛Ｃｊ１，Ｃｊ２，Ｃｊ３，Ｃｊ４｝と対応する位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚ，）と、サイズ情報Ｓｊ｛Ｗ、Ｈ｝を、位置情報抽出手段１０２で抽出した全ての位置情報埋込領域ｊ´の分だけ位置情報抽出手段１０２から入力する。
カメラポーズ情報算出手段１０３は、位置情報抽出手段１０２から入力した位置情報埋込領域ｊ´に対応付けられた画像座標情報Ｃｊと、位置情報Ｌｊと、サイズ情報Ｓｊに基づき、上述の式（１）に従って、カメラポーズ情報を算出する。
つまり、カメラポーズ情報算出手段１０３は、このカメラポーズ情報を算出する処理において、上述の通り、座標情報｛Ｇｊ，Ｃｊ１，Ｃｊ２，Ｃｊ３，Ｃｊ４，Ｃｊ５，Ｃｊ６，Ｃｊ７，Ｃｊ８｝と、これら画像座標に対応する実空間中の位置情報｛Ｌｊ，Ｌｊ１，Ｌｊ２，Ｌｊ３，Ｌｊ４，Ｌｊ５，Ｌｊ６，Ｌｊ７，Ｌｊ８｝を検出している。
【００８０】
なお、第２フレームに対するカメラポーズ情報算出手段１０３での処理は、第１実施形態或いは第２実施形態とほぼ同様である。
つまり、第１実施形態或いは第２実施形態と同様に、カメラポーズ情報算出手段１０３は、まず電子透かしが埋め込まれたメディア媒体ｊから抽出した実空間中の位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）と、この位置情報Ｌｊ（Ｘｊ，Ｙｊ，Ｚｊ）に対応する位置の画像上での射影点である画像座標Ｇｊ（ｘｊ、ｙｊ）との対応を用いて、第２フレームのカメラポーズを算出する。
【００８１】
加えて、本実施形態におけるカメラポーズ情報算出手段１０３での第２フレームに対する処理では、カメラポーズ情報算出手段１０３が、初期フレームの特徴点に対応する当該処理フレーム（第２フレーム）のカメラ画像上における特徴点｛Ｑ１，Ｑ２，Ｑ３，Ｑ４，Ｑ５，Ｑ６，Ｑ７，Ｑ８｝の位置を特徴点追跡により決定し、各特徴点に対応する特徴点座標情報を取得するする。
このカメラポーズ情報算出手段１０３による特徴点追跡処理は、初期フレーム処理時に記録しておいた特徴点の近傍領域のテクスチャ情報をもとに、テンプレートマッチング等により実現できる。
例えば、図１５に示す通り、カメラポーズ情報算出手段１０３は、図１３にて検出した特徴点と同一の符号が付けられる特徴点を、追跡処理により各々抽出する。
【００８２】
（ステップＳＴ３２）
続いて、カメラポーズ情報算出手段１０３は、初期フレームのカメラポーズ情報と、第２フレームのカメラポーズ情報、及び両フレームでの特徴点の特徴点座標情報を用いて、実空間における特徴点の３次元座標（Ｘ，Ｙ，Ｚ）をステレオ原理により算出する。そして、カメラポーズ情報算出手段１０３は、特徴点の画像座標情報と、特徴点の近傍領域のテクスチャ情報と、特徴点の３次元座標情報とを対応付けて、メモリ５０２に記録しておく。
カメラポーズ情報算出手段１０３は、初期フレームにおいて検出されずに第２フレームにおいて初めて検出された特徴点があった場合、この新たに出現した特徴点についても、その画像座標情報と、特徴点の近傍領域のテクスチャ情報と、特徴点の３次元座標情報とを対応付けて、メモリ５０２に記録しておく。
そして、カメラポーズ情報算出装置１００は、ステップＳＴ２１に戻って、第３フレームのカメラ画像データＤ３３に対する処理を行う。
【００８３】
（ステップＳＴ２１）
続いて、カメラポーズ情報算出装置１００は、カメラ２００から得られる動画情報の第３フレーム以降のフレームに対するカメラ画像データＤ３３，Ｄ３４・・・の処理について、図１６を参照して説明する。第３フレーム以降のフレームに対応するカメラ画像データに対する処理は同じであるため、以下第３フレームのカメラ画像データに対する処理の説明をして、他のフレームのカメラ画像データに対する処理の説明を省略する。
【００８４】
（ステップＳＴ２１〜２７、３１）
カメラ画像入力手段１０１と、位置情報抽出手段での処理は、第１実施形態或いは第２実施形態と同様である。
カメラポーズ情報算出手段１０３は。動画情報の第３フレーム以降に対するカメラ画像データについては、第２フレームにおける特徴点の画像座標情報、近傍領域のテクスチャ情報、３次元座標情報を読出し、当該特徴点を第２フレームにおける処理同様に追跡し、当該処理フレームでの位置を決定する。
つまり、ステップＳＴ２１〜ステップＳＴ２７、およびステップＳＴ３１の処理を行う。
【００８５】
（ステップＳＴ３２）
続いて、カメラポーズ情報算出手段１０３は、特徴点に対応する３次元座標情報が記録された特徴点の全てに亘って、追跡結果である特徴点の画像座標情報と、当該特徴点に対応する３次元座標情報との対応関係に基づき、第１実施形態同様に、当該処理フレームのカメラポーズ情報を算出する。
つまり、カメラポーズ情報算出手段１０３は、位置情報抽出手段１０２から入力する位置情報と、当該位置情報に対応する射影点である画像座標情報に基づき、式（１）に従って、カメラポーズ情報を算出する。このときの画像座標情報には、例えば、メディア媒体ｊの重心点の画像座標情報Ｇｊ、検出点の画像座標情報｛Ｇｊ，Ｃｊ１，Ｃｊ２，Ｃｊ３，Ｃｊ４，Ｃｊ５，Ｃｊ６，Ｃｊ７，Ｃｊ８｝、特徴点｛Ｑ１，Ｑ２，Ｑ３，Ｑ４，Ｑ５，Ｑ６，Ｑ７，Ｑ８｝の特徴点座標情報が含まれる。また、位置情報には、電子透かしに埋め込まれている位置情報や、検出点に対応する位置情報、特徴点に対応する３次元座標情報が含まれる。
【００８６】
続いて、カメラポーズ情報算出手段１０３は、特徴点に対応する３次元座標が記録されていない特徴点全てに亘って、前フレームのカメラポーズと当該処理フレームのカメラポーズ、及び両フレームでの特徴点の画像座標を用いて、特徴点の３次元座標をステレオ原理により算出する。カメラポーズ情報算出手段１０３は、特徴点の画像座標と、特徴点の近傍領域のテクスチャ情報とを対応付けて、メモリ５０２に記録しておく。
なお、カメラポーズ情報算出手段１０３は、第２フレームにおける処理同様に、記録した特徴点以外で新たに出現した特徴点を抽出し、その画像座標と、特徴点の近傍領域のテクスチャ情報もメモリ５０２に記録しておく。
カメラポーズ情報算出手段１０３は、第３フレームに対する処理をここで終了し、ステップＳＴ２１の処理の初めに戻る。
【００８７】
本実施形態での処理によって、カメラポーズ情報算出手段１０３は、少なくとも第３フレーム以降の処理では電子透かしが埋め込まれたメディア媒体ｊがカメラ画像に写っていない場合でも継続してカメラ位置とカメラ姿勢を示すカメラポーズ情報を計測することが可能となる。
【００８８】
なお、第３実施形態の説明では、少なくとも第３フレーム以降でのカメラポーズ情報算出手段１０３では、画像から抽出した特徴点とその３次元座標位置情報のみを用いてカメラポーズを算出する。この処理において特徴点追跡の間違い等によるカメラポーズ推定の精度劣化を避けるため、電子透かし情報が埋め込まれたメディアが示す位置情報がカメラ画像内において観測可能な場合、その点を位置情報が既知のマーカ点としてカメラポーズ推定精度の高精度化を図ることも可能である。この処理は例えば非特許文献３に記載の方法によって実現できる。
＜非特許文献３＞佐藤智和、神原誠之、横矢直和、竹村治雄：マーカと自然特徴点の追跡による動画像からのカメラ移動パラメータの復元、信学論（Ｄ−ＩＩ）、Ｖｏｌ。Ｊ８６−Ｄ−ＩＩ、 Ｎｏ。１０、 ｐｐ。１４３１−１４４０、 ２００３。
【００８９】
以上、本発明を実施形態例に基づき具体的に説明したが、上記実施の形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或は範囲を減縮する様に解すべきではない。又、本発明の各手段構成は上記実施の形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。
【００９０】
第１の実施形態に係る発明によれば、カメラ画像データに基づき、実空間中に存在するメディア媒体に電子的に埋め込まれたメディア媒体の３次元の位置情報を抽出する。そして、この位置情報を用いてカメラの位置及び姿勢を示すカメラポーズ情報を算出する。このため、屋内、地下街、鉄筋の建物近辺等でユーザが利用する場合においても高精度にカメラの位置および姿勢を示すカメラポーズ情報を算出することができる。よって、カメラ位置および姿勢とユーザの位置および姿勢を同視して、カメラの位置および姿勢に応じたコンテンツ情報を表示することにより、ユーザの位置および姿勢に応じた情報配信サービスを提供することができる。
【００９１】
また第２実施形態に係る発明によれば、実空間中に存在するメディア媒体に電子的に埋め込まれたメディア媒体の位置情報と、メディア媒体の実空間中でのサイズを抽出する。これら情報を用いて位置情報を複数にわたって算出し、これを用いてカメラの位置及び姿勢を算出する。このため、位置情報が埋め込まれた数少ないメディアのみで高精度にユーザ位置と姿勢を示す情報を計測することが可能になる。
【００９２】
さらに、第３実施形態に係る発明によれば、カメラ画像上の特徴点追跡によってカメラの位置及び姿勢を示す情報を算出する。この特徴点追跡によるカメラの位置及び姿勢を示す情報の算出の補助として、位置情報が埋め込まれたメディア媒体を、既知の３次元点マーカとして利用するため、位置情報が埋め込まれたメディア媒体がフレームアウトしてカメラ画像に写っていない場合でも、継続してカメラの位置と姿勢を示す情報を算出することが可能になる。
【００９３】
なお、上述のカメラポーズ情報算出装置１００は、内部にコンピュータシステムを有している。そして、カメラポーズ情報算出装置１００の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００９４】
また、図３，１０，１４に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、図１に示すカメラポーズ情報算出装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９５】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００９６】
１００・・・カメラポーズ情報算出装置、１０１・・・カメラ画像入力手段、１０２・・・位置情報抽出手段、１０３・・・カメラポーズ情報算出手段、１０４・・・入力部、１０５・・・出力部、２００・・・カメラ、３００・・・入力装置、４００・・・モニタ装置、５０１・・・ＨＤＤ、５０２・・・メモリ、６００・・・コンテンツサーバ
【図１】
2012103116.tif 000006
【図２】
2012103116.tif 000007
【図３】
2012103116.tif 000008
【図４】
2012103116.tif 000009
【図５】
2012103116.tif 000010
【図６】
2012103116.tif 000011
【図７】
2012103116.tif 000012
【図８】
2012103116.tif 000013
【図９】
2012103116.tif 000014
【図１０】
2012103116.tif 000015
【図１１】
2012103116.tif 000016
【図１２】
2012103116.tif 000017
【図１３】
2012103116.tif 000018
【図１４】
2012103116.tif 000019
【図１５】
2012103116.tif 000020
【図１６】
2012103116.tif 000021