(57)【要約】【課題】現実空間に仮想情報を重畳し、仮想情報の表面に、マーカーの周辺の環境情報を映り込ませて動画像を表示する拡張現実表示システムにおいて、より現実味のある動画像を表示する。【解決手段】情報処理装置２の制御部１１は、（θｖ、φｖ）を算出する（Ｓ１０３）。次に、制御部１１は、（θｖ、φｖ）が、θａ＜θｖ＜θｂおよびφａ＜φｖ＜φｂを満たすか否かを判定する（Ｓ１０４）。Ｓ１０４の判定がＮｏの場合、制御部１１は、（θｖ、φｖ）が、θｖ１−θｃ＜θｖ＜θｖ１＋θｃおよびφｖ１−φｃ＜φｖ＜φｖ１＋φｃを満たすか否かを判定する（Ｓ１０５）。Ｓ１０５の判定がＮｏの場合、制御部１１は、（θｖ、φｖ）を（θ、φ）と（θｖ１、φｖ１）に代入する（Ｓ１０６）。そして、制御部１１は、現在の（θ、φ）を第２撮影装置４に送信し、撮影方向を（θ、φ）に合わせるように指示し、環境情報を取得する（Ｓ１０７）。【選択図】図６
2011175567.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実を表示する拡張現実表示システムであって、
マーカーが配置された現実空間を撮影する第１撮影装置と、
撮影方向が制御可能であって前記マーカーの環境を撮影する第２撮影装置と、
前記第１撮影装置及び前記第２撮影装置と接続された情報処理装置と、
から少なくとも構成され、
前記情報処理装置は、
所定間隔で前記第１撮影装置が撮影する第１動画像から前記マーカーの位置および方向を追跡する追跡手段と、
前記第２撮影装置の撮影方向を、前記追跡手段によって割り出される前記マーカーの方向に一致させる制御手段と、
前記追跡手段によって割り出される前記マーカーの位置および方向に基づいて前記第１動画像に仮想情報を重畳し、前記仮想情報の表面に前記第２撮影装置が撮影する第２動画像を映り込ませた第３動画像を生成する生成手段と、
を具備することを特徴とする拡張現実表示システム。
【請求項２】
撮影を禁止する前記第２撮影装置の撮影方向の範囲を撮影禁止範囲として予め定め、
前記情報処理装置は、前記追跡手段によって割り出される前記マーカーの方向が前記撮影禁止範囲内である場合には、前記制御手段による処理を行わないことを特徴とする請求項１に記載の拡張現実表示システム。
【請求項３】
前記第２動画像に変化がないものと扱う前記第２撮影装置の撮影方向の移動範囲を環境不変移動範囲として予め定め、
前記情報処理装置は、前記追跡手段によって割り出される前記マーカーの方向の移動が前記環境不変移動範囲内である場合には、前記制御手段による処理を行わないことを特徴とする請求項１に記載の拡張現実表示システム。
【請求項４】
マーカーが配置された現実空間を撮影する第１撮影装置と、撮影方向が制御可能であって前記マーカーの環境を撮影する第２撮影装置と、前記第１撮影装置及び前記第２撮影装置と接続された情報処理装置と、から少なくとも構成され、拡張現実を表示する拡張現実表示システムにおける拡張現実表示であって、
前記情報処理装置が、所定間隔で前記第１撮影装置が撮影する第１動画像から前記マーカーの位置および方向を追跡する追跡ステップと、
前記情報処理装置が、前記第２撮影装置の撮影方向を、前記追跡ステップによって割り出される前記マーカーの方向に一致させる制御ステップと、
前記情報処理装置が、前記追跡ステップによって割り出される前記マーカーの位置および方向に基づいて前記第１動画像に仮想情報を重畳し、前記仮想情報の表面に前記第２撮影装置が撮影する第２動画像を映り込ませた第３動画像を生成する生成ステップと
を含むことを特徴とする拡張現実表示方法。
【請求項５】
拡張現実を表示する拡張現実表示システムにおいて用いられ、マーカーが配置された現実空間を撮影する第１撮影装置、及び撮影方向が制御可能であって前記マーカーの環境を撮影する第２撮影装置と接続された情報処理装置であって、
所定間隔で前記第１撮影装置が撮影する第１動画像から前記マーカーの位置および方向を追跡する追跡手段と、
前記第２撮影装置の撮影方向を、前記追跡手段によって割り出される前記マーカーの方向に一致させる制御手段と、
前記追跡手段によって割り出される前記マーカーの位置および方向に基づいて前記第１動画像に仮想情報を重畳し、前記仮想情報の表面に前記第２撮影装置が撮影する第２動画像を映り込ませた第３動画像を生成する生成手段と、
を具備することを特徴とする情報処理装置。
【請求項６】
コンピュータを請求項５に記載の情報処理装置として機能させるためのプログラム。
【請求項７】
コンピュータを請求項５に記載の情報処理装置として機能させるためのプログラムを記憶したコンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実感（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：ＡＲ）を実現するためのシステム(以下、“拡張現実表示システム”と呼ぶ)等に関するものである。
【背景技術】
【０００２】
近年、拡張現実システムの研究開発が盛んに行われている。拡張現実とは、現実の空間に仮想的な情報（写真、ビデオ、テキスト情報やコンピュータグラフィック（ＣＧ）などの電子データで、以下、「仮想情報」と呼ぶ。）を重畳する技術である。
拡張現実システムの用途としては、例えば、製品（自動車、家電等）の組み立てを補助するための情報を提示することが挙げられる。また、その他の用途としては、例えば、店頭で販売を促進したい商品の実物を展示する代わりに、商品に視覚効果（商品の動きなど）や補足情報（商品の仕様など）を仮想情報として付加して表示装置に表示することが挙げられる。対象とする商品は、自動車、家電、宝飾品、衣類、靴、玩具、嗜好品など店頭に展示されるものであれば何でも良い。
【０００３】
一般に、拡張現実システムでは、大きく２段階の処理を行う。第１段階の処理は、目印となる模様（ボード、紙、実物の商品の表面等に印刷、貼付される図形等、または実物の商品の表面のデザインなど。以下、「マーカー」と呼ぶ。）が配置された現実の空間をカメラで取得し、取得した静止画像および動画像からマーカーを抽出し、マーカーの歪みの角度や大きさに基づいてカメラから見たマーカーの位置を算出する。第２段階の処理は、算出された位置に仮想情報を重畳した結果をディスプレイに表示する。しかし、重畳する仮想情報がＣＧの場合、ＣＧの質感が乏しく、現実空間とＣＧとの間で違和感があることが課題となっていた。
【０００４】
前述の課題を解決するために、非特許文献１では、現実の空間をカメラで取得し、その動画像をリアルタイムで、現実空間に重畳するＣＧの表面に映り込ませることが記載されている。ＣＧの表面に動画像を映り込ませる手法としては、球状環境マッピングという手法が知られている。球状環境マッピングは、標準レンズ（広角レンズを含む。）で取得した画像（画角４０〜７０度）、または魚眼レンズで取得した半球の画像（画角１７０〜１８０度）などを用いる。
【０００５】
ここで、図１０、図１１を参照し、カメラで取得した現実の空間の動画像を、リアルタイムにCG表面に映り込ませることを実現するシステムの従来構成について説明する(以下、“環境マッピングを用いる拡張現実表示システム”と呼ぶ)。図１０は、環境マッピングを用いる拡張現実表示システムの概要図である。図１１は、拡張現実の表示例を示す図である。
図１０に示すように、従来の環境マッピングを用いる拡張現実表示システムは、マーカー１０１、マーカー１０１の位置などをトラッキングするトラッキングカメラ１０２、マーカー１０１の周囲の環境１０５ａ、１０５ｂなどを取得する環境情報取得カメラ１０３を備える。環境情報取得カメラ１０３は魚眼レンズであり、図１０に示すように、撮影範囲１０４は半球である。
従来の環境マッピングを用いる拡張現実表示システムは、トラッキングカメラ１０２と環境情報取得カメラ１０３が取得した動画像を基に、マーカー１０１の位置をトラッキングし、マーカー１０１の位置に仮想情報１１１を重畳し、仮想情報１１１の表面にマーカー１０１の周囲の環境画像を映り込ませる。このような処理を行うことによって、図１１に示すように、仮想情報１１１の表面に樹木や電柱などの環境の映り込み１１２ａ、１１２ｂが含まれ、ＣＧの質感を表現することができる。図１１に示す例では、仮想情報１１１は３次元の球状物体である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】三友株式会社、“オーグメンテッドリアリティシステムD'FUSION”、[平成２２年１月２５日検索]、インターネット＜URL：http://www.mitomo.co.jp/products/server_software/dfusion/index.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、環境情報取得カメラ１０３に魚眼レンズを用いる場合、図１１に示すように、仮想情報１１１の表面にマーカーの映り込み１１３が含まれてしまい、一部現実味のない動画像を表示していた。
また、環境情報取得カメラ１０３として撮影方向が固定された標準レンズのカメラを用いる場合には、マーカーの傾きが変化したときに、現実の空間に近い反射の様相を再現することができず、現実味のある動画像を表示することができなった。
【０００８】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、現実の空間に仮想情報を重畳し、仮想情報の表面に環境情報として、カメラで取得した現実の空間の動画像を、リアルタイムに仮想情報に映り込ませて、動画像を表示する拡張現実表示システムにおいて、従来の環境マッピングを用いる拡張現実表示システムと比較して、より現実味のある動画像を表示することである。
【課題を解決するための手段】
【０００９】
前述した目的を達成するために第１の発明は、拡張現実を表示する拡張現実表示システムであって、マーカーが配置された現実空間を撮影する第１撮影装置と、撮影方向が制御可能であって前記マーカーの環境を撮影する第２撮影装置と、前記第１撮影装置及び前記第２撮影装置と接続された情報処理装置と、から少なくとも構成され、前記情報処理装置は、所定間隔で前記第１撮影装置が撮影する第１動画像から前記マーカーの位置および方向を追跡する追跡手段と、前記第２撮影装置の撮影方向を、前記追跡手段によって割り出される前記マーカーの方向に一致させる制御手段と、前記追跡手段によって割り出される前記マーカーの位置および方向に基づいて前記第１動画像に仮想情報を重畳し、前記仮想情報の表面に前記第２撮影装置が撮影する第２動画像を映り込ませた第３動画像を生成する生成手段と、を具備することを特徴とする拡張現実表示システムである。
第１の発明によって、マーカーの方向が変化したときでも、非特許文献１に挙げられるような環境マッピングを用いる拡張現実表示システムと比較して、仮想情報の表面に、より現実の空間での物体の反射の様相に近い、反射の様相を再現することができ、より現実味のある動画像を表示することができる。
【００１０】
また、第１の発明は、撮影を禁止する前記第２撮影装置の撮影方向の範囲を撮影禁止範囲として予め定め、前記情報処理装置は、前記追跡手段によって割り出される前記マーカーの方向が前記撮影禁止範囲内である場合には、前記制御手段による処理を行わないことが望ましい。
これによって、仮想情報の表面には、マーカーそのものやマーカーを保持する人間の手などが映り込むことはなく、動画像全体が現実味のあるものとなる。
【００１１】
また、第１の発明は、前記第２動画像に変化がないものと扱う前記第２撮影装置の撮影方向の移動範囲を環境不変移動範囲として予め定め、前記情報処理装置は、前記追跡手段によって割り出される前記マーカーの方向の移動が前記環境不変移動範囲内である場合には、前記制御手段による処理を行わないことが望ましい。
これによって、第２撮影装置が撮影方向を変更する機械的な処理を極力抑えることができ、現実と表示される動画像とのタイムラグを最小限に留めることができる。
【００１２】
第２の発明は、マーカーが配置された現実空間を撮影する第１撮影装置と、撮影方向が制御可能であって前記マーカーの環境を撮影する第２撮影装置と、前記第１撮影装置及び前記第２撮影装置と接続された情報処理装置と、から少なくとも構成され、拡張現実を表示する拡張現実表示システムにおける拡張現実表示であって、前記情報処理装置が、所定間隔で前記第１撮影装置が撮影する第１動画像から前記マーカーの位置および方向を追跡する追跡ステップと、前記情報処理装置が、前記第２撮影装置の撮影方向を、前記追跡ステップによって割り出される前記マーカーの方向に一致させる制御ステップと、前記情報処理装置が、前記追跡ステップによって割り出される前記マーカーの位置および方向に基づいて前記第１動画像に仮想情報を重畳し、前記仮想情報の表面に前記第２撮影装置が撮影する第２動画像を映り込ませた第３動画像を生成する生成ステップとを含むことを特徴とする拡張現実表示方法である。
【００１３】
第３の発明は、拡張現実を表示する拡張現実表示システムにおいて用いられ、マーカーが配置された現実空間を撮影する第１撮影装置、及び撮影方向が制御可能であって前記マーカーの環境を撮影する第２撮影装置と接続された情報処理装置であって、所定間隔で前記第１撮影装置が撮影する第１動画像から前記マーカーの位置および方向を追跡する追跡手段と、前記第２撮影装置の撮影方向を、前記追跡手段によって割り出される前記マーカーの方向に一致させる制御手段と、前記追跡手段によって割り出される前記マーカーの位置および方向に基づいて前記第１動画像に仮想情報を重畳し、前記仮想情報の表面に前記第２撮影装置が撮影する第２動画像を映り込ませた第３動画像を生成する生成手段と、を具備することを特徴とする情報処理装置である。
【００１４】
第４の発明は、コンピュータを第３の発明の情報処理装置として機能させるためのプログラムである。
【００１５】
第５の発明は、コンピュータを第３の発明の情報処理装置として機能させるためのプログラムを記憶したコンピュータ読取可能な記憶媒体である。
【発明の効果】
【００１６】
本発明により、現実空間に仮想情報を重畳し、仮想情報の表面に、マーカーの周辺の環境情報を映り込ませて動画像を表示する拡張現実表示システムにおいて、より現実味のある動画像を表示することができる。
【図面の簡単な説明】
【００１７】
【図１】拡張現実表示システム１の概要図
【図２】情報処理装置２のハードウエア構成図
【図３】撮影開始時の状態を説明する図
【図４】撮影中の状態を説明する図
【図５】第２撮影装置４の撮影方向の制御変数を説明する図
【図６】拡張現実表示処理の詳細を示すフローチャート
【図７】第２撮影装置４の撮影範囲にマーカー６が含まれる状態を説明する図
【図８】撮影禁止範囲２１を説明する図
【図９】環境不変移動範囲２２を説明する図
【図１０】環境マッピングを用いる拡張現実表示システムの概要図
【図１１】拡張現実の表示例を示す図
【発明を実施するための形態】
【００１８】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
図１は、拡張現実表示システム１の概要図である。
図１に示すように、拡張現実表示システム１は、情報処理装置２、第１撮影装置３、第２撮影装置４、表示装置５、マーカー６等から構成される。第１撮影装置３、第２撮影装置４、表示装置５は、情報処理装置２と接続され、データの送受信が可能である。
【００１９】
情報処理装置２は、汎用的なコンピュータである。情報処理装置２は、第１撮影装置３、第２撮影装置４から動画像を入力し、入力した動画像に基づいて表示装置５に表示する動画像を作成し、表示装置５に出力する。
表示装置５に表示する動画像は、現実空間における変化をリアルタイムに反映し、現実空間の動画像に仮想情報を重畳し、仮想情報の表面に、マーカー６の周辺に存在する物体や周囲の風景（環境）を映り込ませたものである。現実空間の動画像は、第１撮影装置３が撮影する。仮想情報は、情報処理装置２が予め記憶する。マーカー６の周辺に存在する物体や周囲の風景（環境）は、第２撮影装置４が撮影する。
【００２０】
第１撮影装置３は、例えば標準レンズとビデオケーブルを有するカメラである。第１撮影装置３の一例としては、コンピュータに対してリアルタイムに画像転送ができるＵＳＢ、ＩＥＥＥ１３９４等のインターフェイスを持つウェブカメラが挙げられる。第１撮影装置３は、マーカー６が配置された現実空間を撮影し、ビデオテーブルを介して情報処理装置２に出力する。第１撮影装置３の撮影方向は、撮影中に変更されない。
【００２１】
第２撮影装置４は、例えば標準レンズとビデオケーブルを有し、撮影方向が制御可能なカメラである。第２撮影装置４の一例としては、カメラの向きを左右、上下に変更することや、カメラのレンズの倍率を変えて拡大・縮小することを遠隔操作できるＰＴＺ（パン・ティルト・ズーム）カメラが挙げられる。図１に示す第２撮影装置４は、ドーム型のＰＴＺカメラであり、半透明のケース内にレンズが内蔵されている。第２撮影装置４は、マーカー６の周辺に存在する物体や周囲の風景（環境）を撮影し、ビデオテーブルを介して情報処理装置２に出力する。第２撮影装置４の撮影方向は、後述するように情報処理装置２によってリアルタイムに制御される。
【００２２】
表示装置５は、ディスプレイケーブルを有し、液晶ディスプレイ、プラズマディスプレイ、ビデオプロジェクタなどのディスプレイ装置である。表示装置５は、情報処理装置２から動画像を入力し、ディスプレイケーブルを介してディスプレイに表示する。
【００２３】
マーカー６は、表示装置５に表示する仮想情報の位置及び傾きを決めるための目印である。マーカー６は、例えば、図１に示すように、所定の大きさを有する平面形状を有し、人間の手によって保持され、位置及び方向が変更される。
【００２４】
図２は、情報処理装置２のハードウエア構成図である。
図２に示すように、情報処理装置２は、制御部１１、記憶部１２、操作部１３、映像入力部１４、映像出力部１５等から構成される。
【００２５】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成される。
ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、情報処理装置２が行う後述する処理を実現する。
ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００２６】
記憶部１２は、ＨＤＤ（ハードディスクドライブ）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。また、記憶部１２は、表示装置５に表示する仮想情報を記憶する。仮想情報は、例えば、３次元形状の物体（例えば、自動車、家電、宝飾品、衣類、靴、玩具、嗜好品など）のコンピュータグラフィック（ＣＧ）である。
【００２７】
操作部１３は、キーボード、マウス等であり、ユーザからの操作指示を入力する。映像入力部１４は、第１撮影装置３、第２撮影装置４からの映像信号を入力する。映像出力部１５は、制御部１１が生成する映像を表示装置５に出力する。
【００２８】
図３は、撮影開始時の状態を説明する図である。
撮影を開始する時は、予め決められた方向に合わせてマーカー６を配置する。ここで、マーカー６の方向とは、図３に示すように、マーカー６の法線の方向である。図３に示す例では、マーカー６は現実空間の水平方向に対して平行に配置している。従って、撮影開始時におけるマーカー６の方向は、現実空間の鉛直方向上向きとなる。また、図３に示す例では、マーカー６の座標系は、現実空間の水平方向にＸ軸とＹ軸、現実空間の鉛直方向上向きにＺ軸をなす直交座標系となる。
【００２９】
第１撮影装置３は、マーカー６を上部から撮影可能な位置に配置する。また、第１撮影装置３の撮影方向は、マーカー６全体が撮影可能な方向とする。
第２撮影装置４は、マーカー６と水平方向に一定間隔離して、マーカー６と同程度の高さに配置する。また、第２撮影装置４の撮影方向は、マーカー６の方向と合わせる。図３に示す例では、マーカー６の方向が鉛直方向上向きであることから、第２撮影装置４の撮影方向も鉛直方向上向きとする。図３では、第２撮影装置４のパン、ティルト、ズームの方向、及び第２撮影装置４の撮影範囲を模式的に示している。
【００３０】
図４は、撮影中の状態を説明する図である。
撮影中はマーカー６の位置及び方向が変更される。これに対して、第２撮影装置４の撮影方向は、マーカー６の方向と一致するように、情報処理装置２によって制御される。図４では、マーカー６の方向と第２撮影装置４の撮影方向が一致していることを示している。
【００３１】
尚、撮影中にマーカー６が第１撮影装置３の撮影範囲（不図示）から外れた場合、マーカー６の保持者は、マーカー６の位置を調整する。表示装置５にはマーカー６の位置に仮想情報が表示されるので、マーカー６の保持者は表示装置５に表示される仮想情報を見ながら、マーカー６の位置を調整することができる。
【００３２】
図５は、第２撮影装置４の撮影方向の制御変数を説明する図である。
第２撮影装置４の撮影方向の制御変数は、図５に示す球座標系（３次元ユークリッド空間Ｒ３における極座標）において、動径を１に固定したときの偏角θ、φとして定義される。ここで、θとφの取り得る値は、例えば、０°＜θ＜１８０°、０°＜φ＜３６０°である。
【００３３】
図６は、拡張現実表示処理の詳細を示すフローチャートである。図６において、（θｖ、φｖ）がマーカー６の方向、（θ、φ）が第２撮影装置４の撮影方向の制御変数、（θｖ１、φｖ１）が退避変数、（θｉｎｉｔ、φｉｎｉｔ）が第２撮影装置４の撮影方向の制御変数の初期値である。また、θａ、θｂ、θｃ、φａ、φｂ、φｃは定数である。
【００３４】
情報処理装置２の制御部１１は、初期処理として、（θｉｎｉｔ、φｉｎｉｔ）を（θｖ１、φｖ１）に代入し（Ｓ１０１）、記憶部１２から仮想情報を読み込む（Ｓ１０２）。
次に、制御部１１は、マーカー６の追跡処理を行い、（θｖ、φｖ）を算出する（Ｓ１０３）。マーカー６の追跡処理では、制御部１１は、第１撮影装置３が撮影する動画像を画像解析することによって、マーカー６の位置及び方向、マーカー６と第１撮影装置３との距離などを割り出す。（θｖ、φｖ）は、直交座標によって表されるマーカー６の位置を球座標に変換することで算出できる。
【００３５】
次に、制御部１１は、マーカー６、及びマーカー６を保持する人間の手などが仮想情報に映り込むことを防止する為の判定処理を行う。具体的には、制御部１１は、Ｓ１０３にて算出した（θｖ、φｖ）が、θａ＜θｖ＜θｂおよびφａ＜φｖ＜φｂを満たすか否かを判定する（Ｓ１０４）。
【００３６】
ここで、図７、図８を参照し、Ｓ１０４の処理の意義について説明する。図７は、第２撮影装置４の撮影範囲にマーカー６が含まれる状態を説明する図である。図８は、撮影禁止範囲２１を説明する図である。
【００３７】
図３を参照して前述したように、第２撮影装置４は、マーカー６と水平方向に一定距離を保って、マーカー６と同程度の高さに配置する。また、図４を参照して前述したように、第２撮影装置４の撮影方向は、マーカー６の方向と一致させる。従って、マーカー６の方向によっては、図７に示すように、第２撮影装置４の撮影範囲にマーカー６等が含まれる状態となる。この状態で撮影した動画像にはマーカー６等が含まれるので、表示装置５に表示する仮想情報の表面にマーカー６も映り込んでしまう。
【００３８】
そこで、本発明では、マーカー６等が映り込んでしまうような撮影方向の範囲を撮影禁止範囲として予め定めて、マーカー６の方向が撮影禁止範囲内である場合には、第２撮影装置４の撮影方向をマーカー６の方向と一致させる処理（後述するＳ１０６の処理）を行わないものとする。
【００３９】
図８には、Ｓ１０４の判定条件「θａ＜θｖ＜θｂおよびφａ＜φｖ＜φｂ」によって定義される撮影禁止範囲２１が示されている。θａ、θｂ、φａ、φｂは、マーカー６が映り込んでしまう範囲の境界値であり、予め情報処理装置２に設定しておく。
【００４０】
図６の説明に戻る。
制御部１１は、Ｓ１０４の判定がＮｏの場合、Ｓ１０５に進み、処理時間を短縮する為の判定処理を行う。具体的には、制御部１１は、Ｓ１０３にて算出した（θｖ、φｖ）が、θｖ１−θｃ＜θｖ＜θｖ１＋θｃおよびφｖ１−φｃ＜φｖ＜φｖ１＋φｃを満たすか否かを判定する（Ｓ１０５）。
【００４１】
ここで、図９を参照し、Ｓ１０５の処理の意義について説明する。図９は、環境不変移動範囲２２を説明する図である。
図１を参照して前述した通り、表示装置５に表示する動画像には現実空間における変化をリアルタイムに反映することから、処理時間を短縮することが望ましい。また、最も時間のかかる処理は、第２撮影装置４が撮影方向を変更する機械的な処理である。
【００４２】
そこで、本発明では、第２撮影装置４によって撮影するマーカー６の環境に変化がないものと扱う移動範囲を環境不変移動範囲として予め定めて、マーカー６の方向の移動が環境不変移動範囲内である場合には、第２撮影装置４の撮影方向をマーカー６の方向と一致させる処理（後述するＳ１０６の処理）を行わないものとする。これによって、結果的に、第２撮影装置４は撮影方向を変更する機械的な処理を行わない。
【００４３】
図９には、Ｓ１０５の判定条件「θｖ１−θｃ＜θｖ＜θｖ１＋θｃおよびφｖ１−φｃ＜φｖ＜φｖ１＋φｃ」によって定義される環境不変移動範囲２２が示されている。ここで、θｖ１、φｖ１には、前回Ｓ１０６の処理を行ったときのマーカー６の方向（＝現在の第２撮影装置４の撮影方向）が格納されている。従って、Ｓ１０５の判定条件は、現在の第２撮影装置４の撮影方向と現在のマーカー６の方向との差の絶対値がφｃ以内かどうかを判定する条件となっている。
尚、図９では、第２撮影装置４の撮影方向が初期値のときの環境不変移動範囲２２が示されている。すなわち、Ｓ１０５の判定条件におけるθｖ１はθｉｎｉｔ、φｖ１はφｉｎｉｔである。
【００４４】
図６の説明に戻る。
制御部１１は、Ｓ１０５の判定がＮｏの場合、Ｓ１０６に進み、第２撮影装置４の撮影方向をマーカー６の方向と一致させる処理を行う。具体的には、制御部１１は、Ｓ１０３にて算出した（θｖ、φｖ）を（θ、φ）と（θｖ１、φｖ１）に代入する（Ｓ１０６）。
Ｓ１０３にて算出した（θｖ、φｖ）を（θｖ１、φｖ１）に代入して退避する理由は、Ｓ１０５の判定処理に用いる為である。
【００４５】
次に、制御部１１は、環境情報を取得する（Ｓ１０７）。具体的には、制御部１１は、現在の（θ、φ）を第２撮影装置４に送信し、撮影方向を（θ、φ）に合わせるように指示する。第２撮影装置４は、受信した（θ、φ）と現在の撮影方向が一致しない場合、撮影方向を（θ、φ）に変更する。一方、受信した（θ、φ）と現在の撮影方向が一致する場合、撮影方向の変更は行わない。そして、いずれの場合であっても、第２撮影装置４は、撮影したマーカー６の環境（＝環境情報）を情報処理装置２の映像入力部１４に送信する。
【００４６】
次に、制御部１１は、球状環境マッピング処理を行う（Ｓ１０８）。具体的には、制御部１１は、Ｓ１０３の追跡処理によって割り出されたマーカー６の位置及び方向、マーカー６と第１撮影装置３との距離などに基づいて、第１撮影装置３が撮影した現実空間を示す動画像にＳ１０２において読み込んだ仮想情報を重畳し、仮想情報の表面に第２撮影装置４が撮影したマーカー６の環境を示す動画像を映り込ませた動画像を生成する。また、制御部１１は、仮想情報に応じて様々な陰影計算（仮想情報の素材が金属であれば、金属調の反射計算など）を行っても良い。
【００４７】
次に、制御部１１は、生成した動画像を表示装置５に出力し、表示装置５は入力した動画像を表示する（Ｓ１０９）。
次に、制御部１１は、終了指示があったかどうか確認する（Ｓ１１０）。終了指示がない場合（Ｓ１１０のＮｏ）、Ｓ１０３から繰り返す。終了指示がある場合（Ｓ１１０のＹｅｓ）、処理を終了する。
【００４８】
更に、Ｓ１０４においてＹｅｓの判定となった場合、またはＳ１０５においてＹｅｓの判定となった場合について説明する。
制御部１１は、（θｖ１、φｖ１）を（θ、φ）に代入し（Ｓ１１１）、Ｓ１０７の処理に進む。θｖ１、φｖ１には、前回Ｓ１０６の処理を行ったときのマーカー６の方向（＝現在の第２撮影装置４の撮影方向）が格納されているので、Ｓ１０７において、第２撮影装置４は撮影方向を変更する機械的な処理を行わない。
【００４９】
以上の通り、拡張現実表示システム１は、撮影された現実空間の動画像に仮想情報を重畳し、仮想情報の表面にマーカー６の周辺に存在する物体や周囲の風景（環境）の動画像をリアルタイムに映り込ませ、表示装置５に表示することができる。
【００５０】
拡張現実表示システム１では、Ｓ１０６において、第２撮影装置４の撮影方向をマーカー６の方向と一致させる処理を行っているので、マーカー６の方向が変化したときでも、従来の環境マッピングを用いる拡張現実表示システムと比較して、仮想情報の表面に、より現実の空間での物体の反射の様相に近い、反射の様相を再現することができ、より現実味のある動画像を表示することができる。
また、拡張現実表示システム１では、Ｓ１０４の判定処理を行っているので、仮想情報の表面には、マーカー６そのものやマーカー６を保持する人間の手などが映り込むことはなく、動画像全体が現実味のあるものとなっている。
また、拡張現実表示システム１では、Ｓ１０５の判定処理を行っているので、第２撮影装置４が撮影方向を変更する機械的な処理を極力抑えることができ、現実と表示される動画像とのタイムラグを最小限に留めることができる。
【００５１】
尚、前述の説明では、第２撮影装置４は、標準レンズを有するものとしたが、魚眼レンズを有するものであっても良い。魚眼レンズの場合であっても、Ｓ１０６において、第２撮影装置４の撮影方向をマーカー６の方向と一致させることで、より現実味のある動画像を表示することができる。また、Ｓ１０４の判定処理を行うことに加えて、撮影した動画像の一部（＝マーカー６などが含まれると推定される範囲）を使用しないようにすることで、マーカー６そのものやマーカー６を保持する人間の手などが映り込むことを回避することができる。
【００５２】
また、第２撮影装置４の撮影方向の制御変数は、動径を１に固定したときの偏角θ、φとして定義したが、動径を固定せずに制御変数に含めても良い。例えば、マーカー６の鉛直方向の移動に対応して、情報処理装置２の制御部１１は、第２撮影装置４のレンズの倍率を拡大・縮小させる指示を送信するようにしても良い。これによって、仮想情報の表面に映り込ませる環境の遠近感も、より現実味のあるものとなる。
【００５３】
以上、添付図面を参照しながら、本発明に係る拡張現実表示システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００５４】
１………拡張現実表示システム
２………情報処理装置
３………第１撮影装置
４………第２撮影装置
５………表示装置
６………マーカー
１１………制御部
１２………記憶部
１３………操作部
１４………映像入力部
１５………映像出力部
２１………撮影禁止範囲
２２………環境不変移動範囲
（θｖ、φｖ）………マーカー６の方向
（θ、φ）………第２撮影装置４の撮影方向の制御変数
（θｖ１、φｖ１）………退避変数
（θｉｎｉｔ、φｉｎｉｔ）………制御変数の初期値
【図１】
2011175567.tif 000003
【図２】
2011175567.tif 000004
【図３】
2011175567.tif 000005
【図４】
2011175567.tif 000006
【図５】
2011175567.tif 000007
【図６】
2011175567.tif 000008
【図７】
2011175567.tif 000009
【図８】
2011175567.tif 000010
【図９】
2011175567.tif 000011
【図１０】
2011175567.tif 000012
【図１１】
2011175567.tif 000013