(57)【要約】【課題】携帯端末の撮影画像上に被写体に関連する情報を表示する際に、撮影画像上での被写体の位置を、短時間で容易にかつ正確に算出することができる撮影対象物標識システムを提供する。【解決手段】画像入力手段１０２と、被写体指定手段１０３と、撮影画像上のマーカーの座標を計測するマーカー座標計測手段１０５と、被写体とマーカーの３次元座標を格納する標識情報格納手段１０４と、複数のマーカーの３次元座標および撮影画像上の座標を用いて３次元座標が撮影画像上に射影された座標を演算する座標変換式を求める座標変換パラメータ演算手段１０６と、撮影画像上の被写体の座標を演算する座標演算手段１０７と、被写体の位置を描画する画像出力手段１０８とを備える。【選択図】図１
2007164383.tif 000002
【特許請求の範囲】
【請求項１】
被写体に関連付けられた複数のマーカーを用いて、前記被写体の撮影画像上での座標を演算して出力する撮影対象物標識システムであって、
前記撮影画像を入力する画像入力手段と、
前記被写体の固有識別情報を用いて前記被写体を指定する被写体指定手段と、
前記被写体指定手段の指定対象となる被写体と前記複数のマーカーの３次元座標を格納する標識情報格納手段と、
前記撮影画像上に写った複数のマーカーの２次元座標を計測するマーカー座標計測手段と、
前記撮影画像上に写った複数のマーカーの３次元座標および前記撮影画像上の２次元座標を用いて、任意の３次元座標が前記撮影画像上に射影された２次元座標を演算するための座標変換式のパラメータを演算する座標変換パラメータ演算手段と、
前記座標変換式を用いて被写体の３次元座標から前記撮影画像上に写影された被写体の２次元座標を演算する座標演算手段と、
前記撮影画像上での被写体の位置を前記撮影画像上に描画する画像出力手段とを備えた
ことを特徴とする撮影対象物標識システム。
【請求項２】
請求項１記載の撮影対象物標識システムであって、
前記被写体の３次元座標の変化を検知する座標変化検知手段と、
前記標識情報格納手段に格納された前記被写体の３次元座標を前記座標変化検知手段の検知結果に応じて更新する３次元座標更新手段とを備えた
ことを特徴とする撮影対象物標識システム。
【請求項３】
請求項１〜２記載の撮影対象物標識システムであって、
複数の３次元座標の組み合わせをもって前記被写体を表すことで前記被写体の撮影画像上における範囲を示す被写体範囲出力手段を備えた
ことを特徴とする撮影対象物標識システム。
【請求項４】
請求項１〜２記載の撮影対象物標識システムであって、
複数の３次元座標の組み合わせをもって前記被写体を表すことで示した前記被写体の撮影画像上における出力範囲を、前記撮影画像から画像処理で隠蔽する被写体範囲マスク手段を備えた
ことを特徴とする撮影対象物標識システム。
【請求項５】
請求項１〜２記載の撮影対象物標識システムであって、
複数の３次元座標の組み合わせをもって前記被写体を表すことで示した前記被写体の撮影画像上における出力範囲を、他の画像で置き換える被写体画像挿入手段を備えた
ことを特徴とする撮影対象物標識システム。
【請求項６】
被写体に関連付けられ前記被写体への３次元の向きを示す方向指示手段を有する複数のマーカーを用いて、前記被写体の撮影画像上での座標を演算して出力する撮影対象物標識システムであって、
前記撮影画像を入力する画像入力手段と、
前記被写体の固有識別情報を用いて前記被写体を指定する被写体指定手段と、
前記被写体指定手段の指定対象となる被写体と前記複数のマーカーの３次元座標を格納する標識情報格納手段と、
前記撮影画像上に写った複数のマーカーの２次元座標を計測するマーカー座標計測手段と、
前記撮影画像上に写った複数のマーカーの方向指示手段が前記撮影画像上で示す方向を計測するマーカー方向計測手段と、
前記撮影画像上で前記被写体に関連付けられた複数のマーカーそれぞれを通り、マーカーそれぞれの方向指示手段が示す方向を向いた直線の交点の２次元座標を、前記被写体の２次元座標として演算する座標演算手段と、
前記撮影画像上での被写体の位置を前記撮影画像上に描画する画像出力手段とを備えた
ことを特徴とする撮影対象物標識システム。
【請求項７】
請求項６記載の撮影対象物標識システムであって、
前記被写体の移動を検知する被写体移動検知手段と、
前記被写体移動検知手段の検知結果に基づいて前記マーカーの前記方向指示手段を更新するマーカー方向指示情報更新手段とを備えた
ことを特徴とする撮影対象物標識システム。
【請求項８】
請求項１〜７記載の撮影対象物標識システムであって、
前記被写体のガイド情報を格納するガイド情報格納手段と、
前記撮影画像上での被写体の２次元座標に関連付けて前記ガイド情報格納手段内の被写体のガイド情報を表示するガイド出力手段とを備えた
ことを特徴とする撮影対象物標識システム。
【請求項９】
請求項１〜８記載の撮影対象物標識システムであって、
前記画像入力手段から入力された前記撮影画像のレンズ歪を補正した補正画像を出力する画像補正手段を備えた
ことを特徴とする撮影対象物標識システム。
【請求項１０】
請求項１〜９記載の撮影対象物標識システムであって、
撮影範囲周辺の周辺画像を撮影して入力する周辺画像入力手段と、
前記画像入力手段から入力された前記撮影画像と前記周辺画像入力手段からの周辺画像を結合した合成画像を作成する画像合成手段と、
前記画像合成手段からの合成画像を入力する合成画像入力手段とを備えた
ことを特徴とする撮影対象物標識システム。
【請求項１１】
請求項１〜１０記載の撮影対象物標識システムであって、
前記画像入力手段から入力された前記撮影画像上に写った前記マーカーを前記撮影画像から画像処理で隠蔽するマーカー隠蔽手段を備えた
ことを特徴とする撮影対象物標識システム。
【請求項１２】
請求項１〜１１記載の撮影対象物標識システムであって、
前記マーカー座標計測手段が認識するマーカーの認識規則を格納するマーカー認識規則格納手段を備えた
ことを特徴とする撮影対象物標識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、博覧会や博物館等における展示物の検索、観光地やテーマパーク等の案内の支援などを行う撮影対象物標識システムに関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ、デジタルカメラ付携帯電話やデジタルカメラ付電子手帳等、撮影手段を持つ携帯端末には、博覧会や博物館等における展示物の検索、観光地やテーマパーク等の案内の支援などを行う撮影対象物標識システムが実装され、その案内支援として、撮影手段で撮影された画像上にその画像に関連する案内情報を表示する多くの発明がなされてきている。
【０００３】
このような従来の撮影手段を持つ携帯端末（例えば、特許文献１を参照）としては、撮影手段により撮影された画像に基づいて、撮影手段の位置と方向とを算出して被写体を特定し、その被写体に関連する情報を撮影画像上に表示するものがある。
【０００４】
また、他の従来技術（例えば、特許文献２を参照）として、被写体との３次元位置関係が判明している複数のマーカーを撮影し、その撮影画像を基に、被写体のマーカーとの位置関係を計測することで、撮影対象物である被写体の３次元姿勢位置を演算するものがあり、この位置演算の際に、カメラ座標系と世界座標系を変換する変換行列を求めて演算する方法がある。
【特許文献１】特開２００２−９２０１２号公報
【特許文献２】特開２０００−２２７３０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のような従来の撮影対象物標識システムにおいては、撮影された画像上における被写体の位置を演算するためには、撮影手段の位置と、撮影手段の光軸の向いている方向を計測する必要があった。
【０００６】
また、複数のマーカーを用いて被写体の位置を演算するためには、被写体の座標とマーカーの座標を管理しなくてはならないため、頻繁に移動する商品などの展示物等に用いるには、その移動のたびに被写体およびマーカーの座標計測を繰り返し行わなくてはならないという問題点を有していた。
【０００７】
本発明は、上記従来の問題点を解決するもので、撮影手段を持つ携帯端末における撮影画像上に、被写体に関連する情報を表示する際に、撮影画像上での被写体の位置を、短時間で容易にかつ正確に算出することができる撮影対象物標識システムを提供する。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の請求項１記載の撮影対象物標識システムは、被写体に関連付けられた複数のマーカーを用いて、前記被写体の撮影画像上での座標を演算して出力する撮影対象物標識システムであって、前記撮影画像を入力する画像入力手段と、前記被写体の固有識別情報を用いて前記被写体を指定する被写体指定手段と、前記被写体指定手段の指定対象となる被写体と前記複数のマーカーの３次元座標を格納する標識情報格納手段と、前記撮影画像上に写った複数のマーカーの２次元座標を計測するマーカー座標計測手段と、前記撮影画像上に写った複数のマーカーの３次元座標および前記撮影画像上の２次元座標を用いて、任意の３次元座標が前記撮影画像上に射影された２次元座標を演算するための座標変換式のパラメータを演算する座標変換パラメータ演算手段と、前記座標変換式を用いて被写体の３次元座標から前記撮影画像上に写影された被写体の２次元座標を演算する座標演算手段と、前記撮影画像上での被写体の位置を前記撮影画像上に描画する画像出力手段とを備えたことを特徴とする。
【０００９】
また、本発明の請求項２記載の撮影対象物標識システムは、請求項１記載の撮影対象物標識システムであって、前記被写体の３次元座標の変化を検知する座標変化検知手段と、前記標識情報格納手段に格納された前記被写体の３次元座標を前記座標変化検知手段の検知結果に応じて更新する３次元座標更新手段とを備えたことを特徴とする。
【００１０】
また、本発明の請求項３記載の撮影対象物標識システムは、請求項１〜２記載の撮影対象物標識システムであって、複数の３次元座標の組み合わせをもって前記被写体を表すことで前記被写体の撮影画像上における範囲を示す被写体範囲出力手段を備えたことを特徴とする。
【００１１】
また、本発明の請求項４記載の撮影対象物標識システムは、請求項１〜２記載の撮影対象物標識システムであって、複数の３次元座標の組み合わせをもって前記被写体を表すことで示した前記被写体の撮影画像上における出力範囲を、前記撮影画像から画像処理で隠蔽する被写体範囲マスク手段を備えたことを特徴とする。
【００１２】
また、本発明の請求項５記載の撮影対象物標識システムは、請求項１〜２記載の撮影対象物標識システムであって、複数の３次元座標の組み合わせをもって前記被写体を表すことで示した前記被写体の撮影画像上における出力範囲を、他の画像で置き換える被写体画像挿入手段を備えたことを特徴とする。
【００１３】
また、本発明の請求項６記載の撮影対象物標識システムは、被写体に関連付けられ前記被写体への３次元の向きを示す方向指示手段を有する複数のマーカーを用いて、前記被写体の撮影画像上での座標を演算して出力する撮影対象物標識システムであって、前記撮影画像を入力する画像入力手段と、前記被写体の固有識別情報を用いて前記被写体を指定する被写体指定手段と、前記被写体指定手段の指定対象となる被写体と前記複数のマーカーの３次元座標を格納する標識情報格納手段と、前記撮影画像上に写った複数のマーカーの２次元座標を計測するマーカー座標計測手段と、前記撮影画像上に写った複数のマーカーの方向指示手段が前記撮影画像上で示す方向を計測するマーカー方向計測手段と、前記撮影画像上で前記被写体に関連付けられた複数のマーカーそれぞれを通り、マーカーそれぞれの方向指示手段が示す方向を向いた直線の交点の２次元座標を、前記被写体の２次元座標として演算する座標演算手段と、前記撮影画像上での被写体の位置を前記撮影画像上に描画する画像出力手段とを備えたことを特徴とする。
【００１４】
また、本発明の請求項７記載の撮影対象物標識システムは、請求項６記載の撮影対象物標識システムであって、前記被写体の移動を検知する被写体移動検知手段と、前記被写体移動検知手段の検知結果に基づいて前記マーカーの前記方向指示手段を更新するマーカー方向指示情報更新手段とを備えたことを特徴とする。
【００１５】
また、本発明の請求項８記載の撮影対象物標識システムは、請求項１〜７記載の撮影対象物標識システムであって、前記被写体のガイド情報を格納するガイド情報格納手段と、前記撮影画像上での被写体の２次元座標に関連付けて前記ガイド情報格納手段内の被写体のガイド情報を表示するガイド出力手段とを備えたことを特徴とする。
【００１６】
また、本発明の請求項９記載の撮影対象物標識システムは、請求項１〜８記載の撮影対象物標識システムであって、前記画像入力手段から入力された前記撮影画像のレンズ歪を補正した補正画像を出力する画像補正手段を備えたことを特徴とする。
【００１７】
また、本発明の請求項１０記載の撮影対象物標識システムは、請求項１〜９記載の撮影対象物標識システムであって、撮影範囲周辺の周辺画像を撮影して入力する周辺画像入力手段と、前記画像入力手段から入力された前記撮影画像と前記周辺画像入力手段からの周辺画像を結合した合成画像を作成する画像合成手段と、前記画像合成手段からの合成画像を入力する合成画像入力手段とを備えたことを特徴とする。
【００１８】
また、本発明の請求項１１記載の撮影対象物標識システムは、請求項１〜１０記載の撮影対象物標識システムであって、前記画像入力手段から入力された前記撮影画像上に写った前記マーカーを前記撮影画像から画像処理で隠蔽するマーカー隠蔽手段を備えたことを特徴とする。
【００１９】
また、本発明の請求項１２記載の撮影対象物標識システムは、請求項１〜１１記載の撮影対象物標識システムであって、前記マーカー座標計測手段が認識するマーカーの認識規則を格納するマーカー認識規則格納手段を備えたことを特徴とする。
【発明の効果】
【００２０】
以上のように、請求項１の発明によれば、撮影空間内に置かれ固有識別情報を表示する複数のマーカーを用いて撮影画像上の被写体の位置を示す撮影対象物標識システムにおいて、マーカーの撮影画像上の２次元座標とマーカーの実空間における３次元座標とから座標変換の射影行列の要素を求めることで、撮影手段の位置と方向を計算することなく、被写体の３次元座標から被写体の撮影画像上での２次元座標を求めるシステムを構築することができるので、文化財や遠景など直接標識がつけられない物体を撮影しながらの検索が容易なシステムを構築することができる。
【００２１】
また、請求項２の発明によれば、被写体の座標変化に伴い標識情報格納手段に格納された被写体座標を更新することで、被写体の位置が時間によって変動しても撮影画像上で被写体の位置を表示することができるシステムを構築することができる。また、あらかじめ被写体の特定時刻における座標を標識情報格納手段に格納することで、被写体の移動を撮影画像上においてベクトル表示で表現する等、被写体の過去や未来の座標を撮影画像上で表示することができるシステムを構築することができる。
【００２２】
また、請求項３の発明によれば、たとえば、被写体を含む立体の形状を示す点を被写体と関連付けることで、撮影画像における被写体の占める範囲を示すことができるシステムを構築することができる。
【００２３】
また、請求項４の発明によれば、撮影画像上の被写体をモザイク等の画像処理を行い隠蔽することで、プライバシー侵害の恐れのあるものや著作権物等、撮影が不適当なものを撮影画像から除外することができるシステムを構築することができる。
【００２４】
また、請求項５の発明によれば、撮影画像上の被写体を別画像に入れ替えることで、撮影時や画像閲覧時における広告画像の挿入などのサービスを供給することができるシステムを構築することができる。
【００２５】
また、請求項６の発明によれば、撮影画像上でレンズ歪等の収差の影響が小さい場合、３次元空間における被写体を通る直線が撮影画像上に射影されても被写体を通るという射影の性質を利用することで、被写体を通る２本以上の直線の射影の交点を求めることにより、被写体および被写体の位置をガイドするマーカーの座標を計測しなくても、容易に被写体の撮影画像上の位置を示すことができるシステムを構築することができる。
【００２６】
また、請求項７の発明によれば、被写体の移動に伴い、マーカーそれぞれに対する方向指示手段の示す方向情報を更新することで、請求項２の発明と同様の効果を得るシステムを構築することができる。なお、マーカーの方向指示手段の示す方向が更新される前後に発光するなどの信号を発生させて入力に加えることで、再計測対象となるマーカーの数を減らしてシステムの応答速度の向上や、情報更新中の方向計測の乱れを防いだりすることができる。
【００２７】
また、請求項８の発明によれば、被写体の位置や被写体の部分にあわせて被写体の名前や説明などのガイド情報を表示するシステムを構築することができる。
また、請求項９の発明によれば、広角レンズ等で撮影した収差の影響が大きい撮影画像が入力された場合には、収差を補正した補正画像を入力する補正画像入力手段をもつことにより、被写体の画像上の位置の演算の精度を向上させることができるシステムを構築することができる。
【００２８】
また、請求項１０の発明によれば、拡大撮影時などで被写体の周辺における被写体の位置をガイドする標識の数が少ない場合でも、撮影画像周辺のマーカーを計測に含めることで、被写体の位置を精度よく示すシステムを構築することができる。
【００２９】
また、請求項１１の発明によれば、撮影画像上におけるマーカーを撮影画像上から隠蔽することで、撮影画像を撮影者にとって見やすくするシステムを構築することができる。
また、請求項１２の発明によれば、マーカーの認識規則を切り替えることで、屋内、屋外等の照明条件や撮影対象物の配置等の撮影環境に応じたマーカーを選択できるシステムを構築することができる。また、オフイスの照明の配列や道路標識などの特定環境における撮影場所において使える撮影範囲内の物体をマーカーとして用いるシステムを構築することができる。
【００３０】
以上により、撮影手段を持つ携帯端末における撮影画像上に、被写体に関連する情報を表示する際に、撮影画像上での被写体の位置を、短時間で容易にかつ正確に算出することができる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明の実施の形態を示す撮影対象物標識システムについて、図面を参照しながら具体的に説明する。
（実施の形態１）
本発明の実施の形態１の撮影対象物標識システムを説明する。
【００３２】
図１は本実施の形態１の撮影対象物標識システムの構成図である。本実施の形態１の撮影対象物標識システムは、撮影空間内に置かれ固有識別情報を表示する複数のマーカーを用いて撮影画像上の被写体の位置を示す撮影対象物標識システムであって、図１に示すように、ユーザー１０１が撮影画像を入力する画像入力手段１０２と、ユーザー１０１が被写体の固有識別情報を用いて被写体を指定する被写体指定手段１０３と、被写体指定手段１０３の指定対象となる被写体と被写体に関連付けられた複数のマーカーの３次元座標を格納する標識情報格納手段１０４と、前記撮影画像上に写った複数のマーカーの２次元座標を計測するマーカー座標計測手段１０５と、前記撮影画像上に写った複数のマーカーの３次元座標および前記撮影画像上の２次元座標を用いて任意の３次元座標から前記撮影画像上の２次元座標を演算するための座標変換式のパラメータを演算する座標変換パラメータ演算手段１０６と、前記座標変換式を用いて被写体の３次元座標から前記撮影画像上に射影された被写体の２次元座標を演算する座標演算手段１０７と、前記撮影画像上での被写体の位置を前記撮影画像上に描画してユーザー１０１に出力する画像出力手段１０８とからなる。
【００３３】
図１において、ユーザー１０１は、標識情報格納手段１０４に格納された被写体とマーカーの３次元座標に基づいて配置された被写体とマーカーを撮影し、撮影された撮影画像を画像入力手段１０２に入力する。図２は画像入力手段１０２にユーザー１０１が入力する撮影画像２００の例である。なお、マーカー２０１はそれぞれ固有識別情報を持ち、色彩、形状、バーコード、発光パターン等の手段によって固有識別情報を撮影画像２００上で区別する。
【００３４】
画像入力手段１０２は、ユーザー１０１から入力される撮影画像２００をマーカー座標計測手段１０５に送る。被写体指定手段１０３は、標識情報格納手段１０４に格納された被写体の固有識別情報をユーザー１０１に出力し、ユーザー１０１が選択し入力する撮影画像２００上での位置を示す対象となる被写体の固有識別情報を座標演算手段１０７に送る。図３は標識情報格納手段１０４に格納された被写体の固有識別情報を表３０１にして撮影画像２００上に重ね合わせて被写体指定手段１０３がユーザー１０１に示し、ユーザー１０１が「商品Ａ」を選択した出力画像３００の例である。なお、ユーザー１０１が規定の選択として全ての被写体の表示や、道案内標識や商品といった表示する被写体の種類を事前に設定することもできる。
【００３５】
標識格納手段１０４は、被写体とマーカーの固有識別情報と３次元座標情報を保持する。図４は標識格納手段１０４に格納された被写体とマーカーの固有識別情報と３次元座標情報の例である。図４の例では、被写体とマーカーの区別は固有識別情報に名称を用いて「マーカー」が名称の先頭にある場合はマーカーとして区別している。マーカー座標計測手段１０５は、撮影画像２００上のマーカー２０１を画像処理で認識し、それぞれのマーカーの固有識別情報および撮影画像２００上における２次元座標を計測し、座標変換パラメータ演算手段１０６に送る。
【００３６】
座標変換パラメータ演算手段１０６は、マーカー座標計測手段１０５によって計測されたマーカーの３次元座標を、マーカーの固有識別情報を用いて標識情報格納手段１０４から検索し、得られたマーカーの撮影画像２００上の２次元座標とあわせて世界座標系から撮影画像２００上の座標に変換する変換行列を求め、得られた変換行列のパラメータを座標演算手段１０７に送る。
【００３７】
座標演算手段１０７は、被写体指定手段１０３から送られた３次元座標を、座標変換パラメータ演算手段１０６から送られたパラメータに基づき、行列計算を行い、得られた２次元座標と被写体指定手段１０３から送られた固有識別情報を、画像出力手段１０８に送る。画像出力手段１０８は、座標演算手段１０７から送られた固有識別情報と２次元座標をユーザーに出力する。図５は実施の形態１の画像出力手段１０８の動作として、撮影画像２００上の商品Ａ２０２の座標に吹き出しの形で「商品Ａ」５０１と表示した出力画像５００の例である。
【００３８】
以上のように本実施の形態１によれば、マーカーの撮影画像上の２次元座標とマーカーの実空間における３次元座標から座標変換の射影行列の要素を求めることで、撮影手段の位置と方向を計算することなく、被写体の３次元座標から被写体の撮影画像上での２次元座標を求めるシステムを構築することができる。
【００３９】
なお、本実施の形態１において、標識情報格納手段１０４は、撮影対象物標識システム内部に実装されたが、無線や有線等の通信もしくはシステム使用前にあらかじめダウンロードするなどの一時記憶手段を用意することで、標識情報格納手段１０４を被写体やマーカーの近辺やインターネット上に配置することができる。また、撮影画像の画像以外のデータ領域もしくはＸＭＬやＨＴＭＬ等のマークアップ言語で書かれたファイルに、標識情報格納手段１０４に格納された情報と本システムの計測結果を関連付けて記録することで、ネットワークブラウザ等での撮影画像の再生時にハイパーリンク等のリンク情報を撮影画像中の被写体に付けることができる。
【００４０】
また、本実施の形態１において、標識情報標識格納１０４でマーカーの固有識別情報と３次元座標を格納したが、マーカーの固有識別情報をマーカーの３次元座標情報、もしくは３次元座標情報を含む固有識別情報にすることで、マーカー座標計測手段１０５においてマーカーの固有識別情報を計測する際に、マーカーの３次元座標情報を取得することができる。
（実施の形態２）
本発明の実施の形態２の撮影対象物標識システムを説明する。
【００４１】
図６は本実施の形態２の撮影対象物標識システムの構成図である。本実施の形態２の撮影対象物標識システムは、図６に示すように、実施の形態１の構成要素と、被写体の３次元座標の変化を検知する座標変化検知手段６０９と、標識情報格納手段６０４に格納された被写体の３次元座標を座標変化検知手段６０９の検知結果に応じて更新る３次元座標更新手段６１０からなる。なお、図中６０１〜６０８の構成要素は、図１に示す実施の形態１の１０１〜１０８の構成要素にそれぞれ対応する。
【００４２】
図６において、座標変化検知手段６０９は、被写体を個別に監視するカメラやセンサ等によって被写体の移動と更新された３次元座標を検知し、３次元座標更新手段６１０に被写体の固有識別情報と更新された３次元座標を送る。３次元座標更新手段６１０は、座標変化検知手段６０９によって送られてきた固有識別情報と更新された３次元座標を、無線等の通信手段によって、標識情報格納手段６０４に格納された情報を更新する。
【００４３】
以上のように本実施の形態２によれば、被写体の座標変化に伴い、標識情報格納手段６０４に格納された被写体座標を更新することで、被写体の位置が時間によって変動しても、撮影画像上で被写体の位置を表示することができるシステムを構築することができる。
（実施の形態３）
本発明の実施の形態３の撮影対象物標識システムを説明する。
【００４４】
図７は本実施の形態３の撮影対象物標識システムの構成図である。本実施の形態３の撮影対象物標識システムは、図７に示すように、実施の形態１の構成要素と、複数の３次元座標の組み合わせをもって被写体を表すことで、前記被写体の撮影画像上における範囲を示す被写体範囲出力手段７０９からなる。なお、図中７０１〜７０８の構成要素は、図１に示す実施の形態１の１０１〜１０８の構成要素にそれぞれ対応する。
【００４５】
実施の形態１との動作の相違点は、座標演算手段７０７は、被写体指定手段７０３から送られた複数の３次元座標を、座標変換パラメータ演算手段７０６から送られたパラメータに基づき行列計算を行い、得られた複数の２次元座標と被写体指定手段７０３から送られた固有識別情報を被写体範囲出力手段７０９に送る。
【００４６】
また、被写体範囲出力手段７０９は、座標演算手段７０７から送られた複数の２次元座標から撮影画像上における被写体の範囲を演算し、座標演算手段７０７から送られた固有識別情報に関連させて画像出力手段７０８に送る。画像出力手段７０８は、被写体範囲出力手段７０９の出力結果を撮影画像上に描画し、ユーザー７０１に出力する。
【００４７】
図８は標識情報格納手段７０４に格納される情報の例である。実施の形態１の標識情報格納手段１０４に格納されている固有識別情報と３次元座標に加え、３次元座標が示す形状と隠蔽の有無を示すフラグが追加されている。標識情報格納手段７０４で格納される固有識別情報「広告１」に関する情報は、３次元座標（‐６０，１０，３），（−３０，１０，３０），（−３０，７０，３０），（−６０，７０，０）と、属性「ＦＬＡＴ」で示される平面と、次実施の形態で用いる画像隠蔽を行うフラグ＝「ＴＲＵＥ」（「真」を意味する）である。
【００４８】
以上のように本実施の形態３によれば、撮影画像上の指定された被写体について画像の範囲を出力することができる。なお、本実施の形態３においては、３次元空間における平面が示す範囲を出力する例を挙げたが、立方体やさらに頂点が多い複雑な３次元の立体情報を用いることで、被写体の形状や範囲を撮影画像上で示すことができる。
【００４９】
図９は画像入力手段７０２から入力される撮影画像９００である。撮影画像９００中の広告９０１が標識情報格納手段７０４に格納された固有識別情報「広告１」の被写体である。図１０は被写体指定手段７０３において固有識別情報「広告１」が入力された場合の画像出力手段７０８の出力結果の例である。図中１００１は標識情報格納手段７０４に格納された３次元座標が示す矩形が撮影画像１０００に投影された２次元の矩形である。
（実施の形態４）
本発明の実施の形態４の撮影対象物標識システムを説明する。
【００５０】
図１１は本実施の形態４の撮影対象物標識システムの構成図である。本実施の形態４の撮影対象物標識システムの実施の形態３との差異は、図１１に示すように、実施の形態３の被写体範囲出力手段７０９に代えて、座標演算手段１１０７から送られた複数の２次元座標から撮影画像上における被写体の範囲を演算し前記被写体の範囲を画像処理で隠蔽する被写体範囲マスク手段１１０９と、被写体範囲マスク手段１１０９によって画像処理された撮影画像を出力する画像出力手段１１０８とを設けた点である。なお、図中１１０１〜１１０７の構成要素は、図７に示す実施の形態３の７０１〜７０７の構成要素にそれぞれ対応する。
【００５１】
被写体範囲マスク手段１１０９は、座標演算手段１１０７から送られた複数の２次元座標から撮影画像上における被写体の範囲を演算し、撮影画像上における得られた被写体の範囲を隠蔽する。図１２は被写体範囲マスク手段１１０９によって図９の入力画像９００上で図８の固有識別情報「広告１」の示す領域９０１が隠蔽された被写体の範囲１２０１を表す撮影画像１２００の表示例である。
【００５２】
以上のように本実施の形態４によれば、撮影画像上の指定された被写体に対して画像のくり抜きやモザイク等の画像処理を行い隠蔽することができる。
（実施の形態５）
本発明の実施の形態５の撮影対象物標識システムを説明する。
【００５３】
図１３は本実施の形態５の撮影対象物標識システムの構成図である。本実施の形態５の撮影対象物標識システムの実施の形態４との差異は、図１３に示すように、実施の形態４の被写体範囲マスク手段１１０９に代えて、前記被写体の撮影画像上における範囲を他の画像で置き換える被写体画像挿入手段１３０９を設けた点である。なお、図中１３０１〜１３０８の構成要素は、図１１に示す実施の形態４の１１０１〜１１０８の構成要素にそれぞれ対応する。
【００５４】
図１４は本実施の形態の標識情報格納手段１３０４に格納された情報の例である。図８で示される実施の形態３〜４で用いられている標識情報格納手段７０４に格納された情報の例との相違点は、置換画像の項目が追加された点である。
【００５５】
図１３において、被写体画像挿入手段１３０９は、座標演算手段１３０７から送られた複数の２次元座標から撮影画像上における被写体の範囲を演算し、座標演算手段１３０７から送られた固有識別情報を用いて、前記被写体に関連して標識情報格納手段１３０４に格納された置換画像を取り出し、演算された前記被写体の範囲に合わせて画像置換を行う。図１５は図１４において「広告１」に関連して指定された置換画像１５０１の例である。図１６は被写体画像挿入手段１３０９によって置換画像１５０１が挿入された被写体の範囲１６０１を表す撮影画像１６００の表示例である。
【００５６】
以上のように本実施の形態５において、撮影画像上の指定された被写体を他の画像によって置き換えることができる。
なお、本実施の形態５の場合、インターネットで用いられるＵＲＬの形式で、固有識別情報「広告１」に関連して置換画像の格納場所「ｈｔｔｐ：／／ｌｏｃａｌｈｏｓｔ／ａｄｖ．ｊｐｇ」が指定されているが、直接、置換画像データを示してもよい。
【００５７】
また、置換画像の挿入方法は、単純に画像の置き換えしたり、２次元的な回転、拡大、縮小を行ったり、３次元的な回転、変形を伴わせたり、撮影画像の明度、彩度等に合わせて、置換画像全体あるいは一部の明度、彩度等を変化させて画像置換を行ってもよい。
（実施の形態６）
本発明の実施の形態６の撮影対象物標識システムを説明する。
【００５８】
図１７は本実施の形態６の撮影対象物標識システムの構成図である。本実施の形態６の撮影対象物標識システムは、撮影空間内に置かれ固有識別情報およびマーカーから被写体への３次元の向きを示す被写体方向情報を表示する方向指示手段を持つマーカーを用いて、撮影画像上の被写体の位置を示す撮影対象物標識システムであって、図１７に示すように、ユーザー１７０１が撮影画像を入力する画像入力手段１７０２と、ユーザー１７０１が前記撮影画像上での位置を示す対象となる被写体の固有識別情報を指定する被写体指定手段１７０３と、被写体とマーカーの固有識別情報と被写体に関連するマーカーの関連情報を格納する標識情報格納手段１７０４と、撮影画像上に写った複数のマーカーの２次元座標を計測するマーカー座標計測手段１７０５と、撮影画像上に写った複数のマーカーの撮影画像上で示す方向を計測するマーカー方向計測手段１７０６と、被写体に関連付けられた複数のマーカーそれぞれを通り、それぞれが示す方向を向いた直線の交点の座標を演算する座標演算手段１７０７と、座標演算手段１７０７を用いて被写体の３次元座標から撮影画像上での２次元座標を出力する画像出力手段１７０８とからなる。なお、ユーザー１７０１、画像入力手段１７０２、被写体指定手段１７０３、画像出力手段１７０８は、実施の形態１のユーザー１０１、画像入力手段１０２、被写体指定手段１０３、画像出力手段１０８の構成要素である。
【００５９】
本実施の形態６で用いるマーカーは、実施の形態１のマーカーと同様に、それぞれ固有識別情報を持ち、色彩、形状、バーコード、発光パターン等の手段によって固有識別情報を前記撮影画像上で区別する。また、前記マーカーは被写体への３次元の向きを示す方向指示手段を持つ。標識情報格納手段１７０４には、被写体の固有識別情報と前記被写体への３次元の向きを示す方向指示手段を持つマーカーを関連付けて格納されている。図１８は標識情報格納手段１７０４に格納された被写体と被写体に関連したマーカーの固有識別情報である。図１８の例では被写体の固有識別情報「商品Ａ」に関連してマーカーの固有識別情報「マーカー１」、「マーカー２」が関連して格納されている。
【００６０】
図１７において、マーカー座標計測手段１７０５は、撮影画像上のマーカーを画像処理で認識し、それぞれのマーカーの固有識別情報および撮影画像上における２次元座標を計測し、撮影画像と計測されたマーカーの固有識別情報と２次元座標とをマーカー方向計測手段１７０６に送る。なお、マーカー方向計測手段１７０６に送る撮影画像は、入力された撮影画像からマーカーの部分を切り出したり、マーカーを認識するための画像処理を施したりした画像でもよい。
【００６１】
また、マーカー方向計測手段１７０６は、マーカー座標計測手段１７０５から送られた撮影画像上のマーカーの方向指示手段の撮影画像上において示す方向を計測して、マーカーの固有識別情報と２次元座標と方向とを座標演算手段１７０７に送る。座標演算手段１７０７は、被写体指定手段１７０３で指定された被写体に関連したマーカーの固有識別情報と一致するマーカーを、マーカー方向計測手段１７０６から送られたマーカーから抽出し、得られた複数のマーカーの撮影画像上での座標を通りマーカーの示す方向を向いた直線の交点を演算し、被写体の座標として画像出力手段１７０８に送る。
【００６２】
図１９はユーザー１７０１が画像入力手段１７０２から入力する撮影画像１９００の例である。図中１９０１が標識情報格納手段１７０４において「商品Ａ」の固有識別情報で格納されている被写体であり、１９０２が標識情報格納手段１７０４において「商品Ｂ」の固有識別情報で格納されている被写体であり、１９０３〜１９０６が「マーカー１〜４」の固有識別情報で標識情報格納手段１７０４において格納されているマーカーである。マーカー方向計測手段１７０６は、マーカー座標計測手段１７０５によって認識されたマーカーの方向指示手段が撮影画像１９００上で示す方向を計測し、撮影画像１９００とマーカーの座標と方向を座標演算手段１７０７に送る。
【００６３】
座標演算手段１７０７は、被写体指定手段１７０３によって指定された被写体の固有識別情報から、被写体に関連するマーカーの固有識別情報を検索し、検索されたマーカーそれぞれの撮影画像１９００上の座標を通りマーカーの方向指示手段が撮影画像１９００上で示す方向を向いた直線の交点を求める。図２０はユーザーが「商品Ａ」である被写体１９０１を選択した場合の撮影画像１９００上で認識された「マーカー１」、「マーカー２」であるマーカー１９０３，１９０４を通り、それぞれのマーカーの方向指示手段が指し示す方向を向いた直線２００７，２００８と、直線２００７と２００８の交点２００９を示す例である。
【００６４】
以上のように本実施の形態６によれば、撮影画像上でレンズ歪等の収差の影響が小さい場合、３次元空間における被写体を通る直線が撮影画像上に射影されても被写体を通るという射影の性質を利用することで、被写体を通る２本以上の直線の射影の交点を求めることにより、被写体および被写体の位置をガイドするマーカーの座標を計測しなくても、被写体の撮影画像上の位置を示すことができるシステムを構築することができる。
【００６５】
なお、本実施の形態６において、標識情報格納手段１７０４は、撮影対象物標識システム内部に実装されたが、無線や有線等の通信を行いながら、もしくはシステム使用前に標識情報格納手段１７０４で用いる情報や最新情報の差分などをあらかじめダウンロードするなどの通信手段を用意することで、被写体やマーカーの近辺やインターネット上に配置することができる。
【００６６】
また、本実施の形態６において、マーカーの方向指示手段はマーカー１９０４のように方位を形状で表示する例を用いたが、方向指示手段を持たない複数のマーカーを組み合わせることで、方向指示手段を持つ１つのマーカーとして使用することができる。図２１は、関連付けられた２個のマーカーの組である２１０３と２１０４で、撮影画像２１００上で直線２１０７，２１０８と、直線２１０７と２１０８の交点２１０９を示す例である。
（実施の形態７）
本発明の実施の形態７の撮影対象物標識システムを説明する。
【００６７】
図２２は本実施の形態７の撮影対象物標識システムの構成図である。本実施の形態７の撮影対象物標識システムは、図２２に示すように、実施の形態６の構成要素と、被写体の移動を検知する被写体移動検知手段２２０９と、マーカーの方向指示手段が持つ被写体方向情報を更新するマーカー方向指示情報更新手段２２１０とからなる。なお、図中２２０１〜２２０８の構成要素は、図１７に示す実施の形態６の１７０１〜１７０８の構成要素にそれぞれ対応する。
【００６８】
図２２において、被写体移動検知手段２２０９は、被写体を個別に監視するカメラやセンサ等によって被写体の移動を検知し、被写体の固有識別情報と移動情報をマーカー方向指示情報更新手段２２１０に指示する。マーカー方向指示情報更新手段２２１０は、被写体移動検知手段２２０９から送られた被写体の固有識別情報に関連して、標識情報格納手段２２０４に格納されているマーカーの方向指示手段が示す３次元方向の変更を行う。
【００６９】
以上のように本実施の形態７によれば、被写体の移動に伴い、マーカーそれぞれの方向指示手段の示す方向情報を更新することで、実施の形態２の発明と同様の効果を得ることができる。
（実施の形態８）
本発明の実施の形態８の撮影対象物標識システムを説明する。
【００７０】
図２３は本実施の形態８の撮影対象物標識システムの構成図である。本実施の形態８の撮影対象物標識システムは、図２３に示すように、実施の形態１の構成要素と、被写体の前記固有識別情報に関連させて被写体のガイド情報を格納するガイド情報格納手段２３１０と、画像出力手段２３０８に合わせて被写体のガイド情報を表示するガイド出力手段２３０９とからなる。なお、図中２３０１〜２３０８の構成要素は、図１に示す実施の形態１の１０１〜１０８の構成要素にそれぞれ対応する。
【００７１】
図２４はガイド情報格納手段２３１０に格納された固有識別情報とガイド情報の例である。この例において、被写体の固有識別情報「商品Ａ‐スイッチ」のガイド情報は「ＴＥＸＴ＝”ここを押すと電源が入ります”」と格納される。本ガイド情報の「ＴＥＸＴ＝」はガイド情報がテキスト文字列で表されることを示す。
【００７２】
図２５はガイド出力手段２３０９の動作の例である。ユーザー２３０１が被写体指定手段２３０３において被写体の固有識別情報「商品Ａ‐スイッチ」を選択した場合、画像出力手段２３０８は、図２５に示すように、標識情報格納手段２３０４に格納された固有識別情報「商品Ａ‐スイッチ」に対する図２における３次元座標（２０，−１０，−３０）を検索し、撮影画像２００上における固有識別情報「商品Ａ‐スイッチ」の座標を演算し、該当座標に「”ここを押すと電源が入ります”」とテキスト文字２５０１で示した撮影画像２５００を表示する。
【００７３】
図２６は図２４の固有識別情報「商品Ｂ」のガイド情報に「”ＩＭＡＧＥ＝ｈｔｔｐ：／／ｌｏｃａｌｈｏｓｔ／ｔｍｐ／ｓａｍｐｌｅ．ｐｎｇ”」とＵＲＬ等のリンク情報を格納した場合の参照先に格納されたイメージの例である。図２７はユーザー２３０１が被写体指定手段２３０３において被写体の固有識別情報「商品Ｂ」を選択した場合のガイド出力手段２３０９の動作の例である。図２６の画像が撮影画像２７００上のイメージ２７０１として表示される。
【００７４】
以上のように本実施の形態８によれば、被写体の位置や被写体の部分にあわせて被写体の名前や説明などのガイド情報を表示するシステムを構築することができる。
なお、本実施の形態８において、ガイド情報格納手段２３１０は、撮影対象物標識システム内部に実装されたが、無線や有線等の通信を行いながら、もしくはシステム使用前にガイド情報格納手段２３１０で用いる情報や最新情報の差分などをあらかじめダウンロードするなどの通信手段を用意することで、被写体やマーカーの近辺やインターネット上に配置することができる。
（実施の形態９）
本発明の実施の形態９の撮影対象物標識システムを説明する。
【００７５】
図２８は本実施の形態９の撮影対象物標識システムの構成図である。本実施の形態９の撮影対象物標識システムは、図２８に示すように、実施の形態２の構成要素と、撮影画像の画像歪を補正する画像補正手段２８０９とからなる。なお、図中２８０１〜２８０８の構成要素は、図１７に示す実施の形態６の１７０１〜１７０８の構成要素にそれぞれ対応する。
【００７６】
図２９は広角レンズで撮影された画像入力手段２８０２から入力される撮影画像２９００の例である。図２０では直線２００８であらわされたマーカーの方向指示手段が示す本来の直線は、図２９において歪をもった曲線２９０１に投影される。画像補正手段２８０９は、レンズや焦点距離由来の撮影画像の歪の補正パラメータをあらかじめ用意することで、実際の直線を補正した撮影画像上でも直線になるように、撮影画像を補正してマーカー座標計測手段２８０５に送る。
【００７７】
以上のように本実施の形態９によれば、広角レンズ等で撮影した収差の影響が大きい撮影画像が入力されても、収差を補正して、被写体の位置を正確に計測するシステムを構築することができる。
（実施の形態１０）
本発明の実施の形態１０の撮影対象物標識システムを説明する。
【００７８】
図３０は本実施の形態１０の撮影対象物標識システムの構成図である。本実施の形態１０の撮影対象物標識システムは、図３０に示すように、実施の形態１の構成要素と、撮影範囲周辺の周辺画像を撮影する周辺画像入力手段３００９と、前記撮影画像と周辺画像を結合した合成画像を作成する画像合成手段３０１０とからなる。なお、図中３００１〜３００８の構成要素は、図１に示す実施の形態１の１０１〜１０８の構成要素にそれぞれ対応する。
【００７９】
図３０において、周辺画像入力手段３００９は、撮影前後の画像を連続して取り込んで記憶したり、撮影前後に撮影領域の周辺をズームアウトしたり、するなどして、撮影画像周辺の画像を撮影し、画像合成手段３０１０に送る。画像合成手段３０１０は、画像入力手段３００２からの入力される撮影画像に、周辺画像入力手段３００９からの撮影画像周辺の画像を回転、縮尺変更、歪補正等の修正を施して連結させて合成画像を作成し、マーカー座標計測手段３００５に送る。
【００８０】
以上のように本実施の形態１０によれば、拡大撮影時などで被写体の周辺における被写体の位置をガイドする標識の数が少ない場合でも、撮影画像周辺のマーカーを計測に含めることができるシステムを構築することができる。
（実施の形態１１）
本発明の実施の形態１１の撮影対象物標識システムを説明する。
【００８１】
図３１は本実施の形態１１の撮影対象物標識システムの構成図である。本実施の形態１１の撮影対象物標識システムは、図３１に示すように、実施の形態１の構成要素と、撮影画像上に写った前記マーカーを撮影画像から画像処理で隠蔽するマーカー隠蔽手段３１０９とからなる。なお、図中３１０１〜３１０８の構成要素は、図１に示す実施の形態１の１０１〜１０８の構成要素にそれぞれ対応する。
【００８２】
図３１において、画像入力手段３１０２は、マーカー座標計測手段３１０５とマーカー隠蔽手段３１０９に、ユーザー３１０１から入力された撮影画像を送る。マーカー座標計測手段３１０５は、実施の形態１のマーカー座標計測手段１０５の機能に加え、撮影画像上において計測されたマーカーの座標をマーカー隠蔽手段３１０９に送る。マーカー隠蔽手段３１０９は、画像入力手段３１０２から送られてきた撮影画像において、マーカー座標計測手段３１０５から入力されたマーカーの座標の周辺の部分を、ぼかしたり輝度変更をしたりするなどの画像処理をして隠蔽する。図３２は画像出力手段２０１０から出力される撮影画像に対して、マーカー隠蔽手段３１０９によって隠蔽されたマーカー３２０１を示す出力画像３２００の例である。
【００８３】
以上のように本実施の形態１１によれば、撮影画像上におけるマーカーを撮影画像上から隠蔽することができるシステムを構築することができる。
（実施の形態１２）
本発明の実施の形態１２の撮影対象物標識システムを説明する。
【００８４】
図３３は本実施の形態１２の撮影対象物標識システムの構成図である。本実施の形態１２の撮影対象物標識システムは、図３３に示すように、実施の形態１の構成要素と、マーカー座標計測手段３３０５が認識するマーカーの認識規則を格納するマーカー認識規則格納手段３３０９とからなる。なお、図中３１０１〜３１０８の構成要素は、図１に示す実施の形態１の１０１〜１０８の構成要素にそれぞれ対応する。
【００８５】
図３３において、マーカー認識規則格納手段３３０９は、本実施の形態の撮影対象物標識システムが使用するマーカーを認識するための認識規則が格納されている。マーカー座標計測手段３３０５は、撮影場所において使用されているマーカーの種別にあわせてマーカー認識規則格納手段３３０９に格納されているマーカーの認識規則を検索し、該当するマーカーの認識規則を用いて、撮影画像上のマーカーの認識を行う。
【００８６】
以上のように本実施の形態１２によれば、マーカーの認識規則を切り替えることで、屋内、屋外等の照明条件や撮影対象物の配置等の撮影環境に応じたマーカーを選択できるシステムを構築することができる。
【産業上の利用可能性】
【００８７】
本発明の撮影対象物標識システムは、撮影手段を持つ携帯端末における撮影画像上に、被写体に関連する情報を表示する際に、撮影画像上での被写体の位置を、短時間で容易にかつ正確に算出することができるもので、デジタルカメラ、デジタルカメラ付携帯電話、デジタルカメラ付電子手帳等の撮影手段を持つ携帯端末、およびデジタル撮影された画像の再生を行う電子アルバム等が搭載されたテレビに対して適用可能である。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施の形態１の撮影対象物標識システムの構成図
【図２】同実施の形態１の撮影対象物標識システムにおける撮影画像を示す図
【図３】同実施の形態１の撮影対象物標識システムにおける被写体指定手段の動作を説明する図
【図４】同実施の形態１の撮影対象物標識システムにおける標識情報格納手段に格納される情報の例を示す図
【図５】同実施の形態１の撮影対象物標識システムにおける画像出力手段の動作を説明する図
【図６】本発明の実施の形態２の撮影対象物標識システムの構成図
【図７】本発明の実施の形態３の撮影対象物標識システムの構成図
【図８】同実施の形態３の撮影対象物標識システムにおける標識情報格納手段に格納される情報の例を示す図
【図９】同実施の形態３の撮影対象物標識システムにおける撮影画像を示す図
【図１０】同実施の形態３の撮影対象物標識システムにおける被写体範囲出力手段の動作を説明する図
【図１１】本発明の実施の形態４の撮影対象物標識システムの構成図
【図１２】同実施の形態４の撮影対象物標識システムにおける被写体範囲マスク手段の動作を説明する図
【図１３】本発明の実施の形態５の撮影対象物標識システムの構成図
【図１４】同実施の形態５の撮影対象物標識システムにおける標識情報格納手段に格納される情報の例
【図１５】同実施の形態５の撮影対象物標識システムにおける標識情報格納手段に格納された置換画像の例
【図１６】同実施の形態５の撮影対象物標識システムにおける被写体画像挿入手段の動作を説明する図
【図１７】本発明の実施の形態６の撮影対象物標識システムの構成図
【図１８】同実施の形態６の撮影対象物標識システムにおける標識情報格納手段に格納される情報の例
【図１９】同実施の形態６の撮影対象物標識システムにおける撮影画像を示す図
【図２０】同実施の形態６の撮影対象物標識システムにおける座標演算手段の動作を示す図
【図２１】同実施の形態６の撮影対象物標識システムにおけるマーカーの方向指示手段の異なる実装を示す図
【図２２】本発明の実施の形態７の撮影対象物標識システムの構成図
【図２３】本発明の実施の形態８の撮影対象物標識システムの構成図
【図２４】同実施の形態８の撮影対象物標識システムにおける標識情報格納手段に格納される情報の例
【図２５】同実施の形態８の撮影対象物標識システムにおけるガイド出力手段の動作を説明する図
【図２６】同実施の形態８の撮影対象物標識システムにおける標識情報格納手段に格納されたイメージの例
【図２７】同実施の形態８の撮影対象物標識システムにおけるガイド出力手段の動作を説明する図
【図２８】本発明の実施の形態９の撮影対象物標識システムの構成図
【図２９】同実施の形態９の撮影対象物標識システムにおける歪を持つ撮影画像を説明する図
【図３０】本発明の実施の形態１０の撮影対象物標識システムの構成図
【図３１】本発明の実施の形態１１の撮影対象物標識システムの構成図
【図３２】同実施の形態１１の撮影対象物標識システムにおけるマーカー隠蔽手段の動作を説明する図
【図３３】本発明の実施の形態１２の撮影対象物標識システムの構成図
【符号の説明】
【００８９】
１０１    ユーザー
１０２    画像入力手段
１０３    被写体指定手段
１０４    標識情報格納手段
１０５    マーカー座標計測手段
１０６    座標変換パラメータ演算手段
１０７    座標演算手段
１０８    画像出力手段
２００    撮影画像
２０１    マーカー
２０２    商品Ａ
６０９    座標変化検知手段
６１０    ３次元座標更新手段
７０９    被写体範囲出力手段
１１０９    被写体範囲マスク手段
１３０９    被写体画像挿入手段
１７０６    マーカー方向計測手段
２２０９    被写体移動検知手段
２２１０    マーカー方向指示情報更新手段
２３０９    ガイド出力手段
２３１０    ガイド情報格納手段
２８０９    画像補正手段
３００９    周辺画像入力手段
３０１０    画像合成手段
３１０９    マーカー隠蔽手段
３３０９    マーカー認識規則格納手段
【図１】
2007164383.tif 000003
【図２】
2007164383.tif 000004
【図３】
2007164383.tif 000005
【図４】
2007164383.tif 000006
【図５】
2007164383.tif 000007
【図６】
2007164383.tif 000008
【図７】
2007164383.tif 000009
【図８】
2007164383.tif 000010
【図９】
2007164383.tif 000011
【図１０】
2007164383.tif 000012
【図１１】
2007164383.tif 000013
【図１２】
2007164383.tif 000014
【図１３】
2007164383.tif 000015
【図１４】
2007164383.tif 000016
【図１５】
2007164383.tif 000017
【図１６】
2007164383.tif 000018
【図１７】
2007164383.tif 000019
【図１８】
2007164383.tif 000020
【図１９】
2007164383.tif 000021
【図２０】
2007164383.tif 000022
【図２１】
2007164383.tif 000023
【図２２】
2007164383.tif 000024
【図２３】
2007164383.tif 000025
【図２４】
2007164383.tif 000026
【図２５】
2007164383.tif 000027
【図２６】
2007164383.tif 000028
【図２７】
2007164383.tif 000029
【図２８】
2007164383.tif 000030
【図２９】
2007164383.tif 000031
【図３０】
2007164383.tif 000032
【図３１】
2007164383.tif 000033
【図３２】
2007164383.tif 000034
【図３３】
2007164383.tif 000035