(57)【要約】【課題】ＡＲ空間に配置された仮想オブジェクトの位置をユーザの意図に従って変更することを可能とする技術を提供する。【解決手段】撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置する表示制御部と、ユーザ操作を取得する操作取得部と、を備え、前記表示制御部は、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させる、表示制御装置が提供される。【選択図】図１
2014191718.tif 000002
【特許請求の範囲】
【請求項１】
撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置する表示制御部と、
ユーザ操作を取得する操作取得部と、を備え、
前記表示制御部は、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させる、
表示制御装置。
【請求項２】
前記表示制御部は、前記ユーザ操作が前記第１の操作である場合には、前記撮像部と前記仮想オブジェクトとの相対的な位置関係を維持した状態で、前記仮想オブジェクトを前記拡張現実空間内において移動させる、
請求項１に記載の表示制御装置。
【請求項３】
前記表示制御部は、前記ユーザ操作が前記第１の操作である場合には、前記第１の操作により指定される１または複数の仮想オブジェクトを前記拡張現実空間内において移動させる、
請求項１に記載の表示制御装置。
【請求項４】
前記表示制御部は、前記仮想オブジェクトを前記拡張現実空間内において移動させている間、前記仮想オブジェクトを移動させている旨を表示させる、
請求項１に記載の表示制御装置。
【請求項５】
前記表示制御部は、前記第１の操作がなされていない間は、前記仮想オブジェクトを前記拡張現実空間内に固定する、
請求項１に記載の表示制御装置。
【請求項６】
前記表示制御部は、前記第１の操作がなされていない間は、前記撮像部と前記仮想オブジェクトとの距離に応じて前記仮想オブジェクトの前記画像におけるサイズを変化させる、
請求項５に記載の表示制御装置。
【請求項７】
前記表示制御部は、前記第１の操作がなされていない間は、前記撮像部を基準とした前記仮想オブジェクトの姿勢に応じて前記仮想オブジェクトの前記画像における姿勢を変化させる、
請求項５に記載の表示制御装置。
【請求項８】
前記表示制御部は、移動先の前記仮想オブジェクトの環境に基づいて、前記仮想オブジェクトを制御する、
請求項１に記載の表示制御装置。
【請求項９】
前記表示制御部は、移動先の前記仮想オブジェクトの環境が移動不可能領域である場合には、前記仮想オブジェクトの位置を移動可能領域にシフトさせる、
請求項８に記載の表示制御装置。
【請求項１０】
前記第１の操作は、前記仮想オブジェクトを１または複数の操作体を用いて指定する操作を含む、
請求項１に記載の表示制御装置。
【請求項１１】
前記表示制御部は、前記ユーザ操作が第２の操作である場合には、前記第２の操作に基づいて前記仮想オブジェクトの前記拡張現実空間におけるサイズを変更する、
請求項１に記載の表示制御装置。
【請求項１２】
前記表示制御部は、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達した場合には、前記仮想オブジェクトの拡大を停止する、
請求項１１に記載の表示制御装置。
【請求項１３】
前記表示制御部は、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達した場合には、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達した旨を表示させる、
請求項１１に記載の表示制御装置。
【請求項１４】
前記表示制御部は、前記実オブジェクトの実物大に関する既知のデータと、前記実オブジェクトの前記画像におけるサイズと、前記仮想オブジェクトの実物大に関する既知のデータとに基づいて、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達したか否かを判断する、
請求項１１に記載の表示制御装置。
【請求項１５】
前記表示制御部は、選択操作がなされた場合には、前記選択操作に基づいてサイズ変更対象の仮想オブジェクトを選択する、
請求項１１に記載の表示制御装置。
【請求項１６】
前記表示制御部は、前記撮像部と１または複数の仮想オブジェクトそれぞれとの距離に応じてサイズ変更対象の仮想オブジェクトを選択する、
請求項１１に記載の表示制御装置。
【請求項１７】
前記第２の操作は、複数の操作体の間の距離を遠ざける操作を含む、
請求項１１に記載の表示制御装置。
【請求項１８】
前記表示制御部は、重力ベクトルに応じた姿勢となるように前記仮想オブジェクトを配置する、
請求項１に記載の表示制御装置。
【請求項１９】
撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置することと、
ユーザ操作を取得することと、
前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させることと、
を含む、表示制御方法。
【請求項２０】
コンピュータを、
撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置する表示制御部と、
ユーザ操作を取得する操作取得部と、を備え、
前記表示制御部は、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させる、
表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示制御装置、表示制御方法および記録媒体に関する。
【背景技術】
【０００２】
近年、実空間に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコンまたはアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。ＡＲ空間へのアノテーションの配置は、通常、画像に映る実空間の３次元構造の認識に基づいて行われる。
【０００３】
実空間の３次元構造を認識するための手法としては、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ）法およびＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  Ａｎｄ  Ｍａｐｐｉｎｇ）法が知られている。ＳｆＭ法では、視点を変えながら撮像される複数の画像から、それら画像に映る実空間の３次元構造が視差を利用して認識される。ＳＬＡＭ法についての説明は、下記非特許文献１においてなされている。下記特許文献１は、ＳＬＡＭ法において初期化の際に選択される特徴点の３次元位置をＳｆＭ法を用いて認識する手法を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３７８４５号公報
【非特許文献】
【０００５】
【非特許文献１】Ａｎｄｒｅｗ  Ｊ．Ｄａｖｉｓｏｎ，“Ｒｅａｌ−Ｔｉｍｅ  Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ  ｗｉｔｈ  ａ  Ｓｉｎｇｌｅ  Ｃａｍｅｒａ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ９ｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  Ｖｏｌｕｍｅ  ２，  ２００３，  ｐｐ．１４０３−１４１０
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般的に、ＡＲ空間への仮想オブジェクトの配置がなされた後は、仮想オブジェクトはユーザの意図に依らずに事前に定められた状態を維持する。しかし、ユーザは、仮想オブジェクトが配置された後に仮想オブジェクトの状態を変更したいと考える場合がある。例えば、ユーザは、仮想オブジェクトが配置された後に仮想オブジェクトのＡＲ空間における位置を変更したいと考える場合がある。
【０００７】
そこで、本開示において、ＡＲ空間に配置された仮想オブジェクトの位置をユーザの意図に従って変更することを可能とする技術を提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置する表示制御部と、ユーザ操作を取得する操作取得部と、を備え、前記表示制御部は、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させる、表示制御装置が提供される。
【０００９】
また、本開示によれば、撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置することと、ユーザ操作を取得することと、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させることと、を含む、表示制御方法が提供される。
【００１０】
また、本開示によれば、コンピュータを、撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置する表示制御部と、ユーザ操作を取得する操作取得部と、を備え、前記表示制御部は、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させる、表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体が提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、ＡＲ空間に配置された仮想オブジェクトの位置をユーザの意図に従って変更することが可能である。
【図面の簡単な説明】
【００１２】
【図１】本開示の実施形態に係る表示制御装置の概要について説明するための図である。
【図２】本開示の実施形態に係る表示制御装置の機能構成例を示す図である。
【図３】重力ベクトルを考慮しない場合における仮想オブジェクトの初期表示例を示す図である。
【図４】重力ベクトルを考慮しない場合と重力ベクトルを考慮する場合との比較結果を示す図である。
【図５】重力ベクトルを考慮する場合における仮想オブジェクトの初期表示例を示す図である。
【図６】仮想オブジェクトの初期表示の動作例を示すフローチャートである。
【図７】仮想オブジェクトを拡張現実空間内に固定する場合を説明するための図である。
【図８】仮想オブジェクトを拡張現実空間内に固定する場合の表示例を示す図である。
【図９】仮想オブジェクトを拡張現実空間内において移動させる場合の仮想オブジェクト移動前の表示例を示す図である。
【図１０】仮想オブジェクトを拡張現実空間内において移動させる場合を説明するための図である。
【図１１】仮想オブジェクトの位置を移動可能領域にシフトさせる場合を説明するための図である。
【図１２】仮想オブジェクトを拡張現実空間内において移動させる場合の仮想オブジェクト移動後の表示例を示す図である。
【図１３】仮想オブジェクトの位置姿勢制御の動作例を示すフローチャートである。
【図１４】仮想オブジェクトを拡張現実空間内において拡大する場合の仮想オブジェクト拡大前の表示例を示す図である。
【図１５】仮想オブジェクトを拡張現実空間内において拡大する場合を説明するための図である。
【図１６】仮想オブジェクトを拡張現実空間内において拡大する場合の仮想オブジェクト拡大後の表示例を示す図である。
【図１７】仮想オブジェクトのサイズ制御の動作例を示すフローチャートである。
【図１８】複数の仮想オブジェクトのうちの１の仮想オブジェクトを拡張現実空間内において拡大する場合の仮想オブジェクト拡大前の表示例を示す図である。
【図１９】複数の仮想オブジェクトのうちの１の仮想オブジェクトを拡張現実空間内において拡大する場合の仮想オブジェクト拡大後の表示例を示す図である。
【図２０】本開示の実施形態に係る表示制御装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１５】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．実施形態
１−１．表示制御装置の概要
１−２．表示制御装置の機能構成例
１−３．仮想オブジェクトの初期表示
１−４．仮想オブジェクトの位置姿勢制御
１−５．仮想オブジェクトのサイズ制御
１−６．ハードウェア構成例
２．むすび
【００１６】
＜＜１．実施形態＞＞
［１−１．表示制御装置の概要］
最初に、本開示の実施形態に係る表示制御装置１０の概要について説明する。図１は、本開示の実施形態に係る表示制御装置１０の概要について説明するための図である。図１を参照すると、ユーザＵａが有する表示制御装置１０が示されている。表示制御装置１０は、実空間１に向けられた撮像部１２０と操作部１４０と表示部１６０とを備える。撮像部１２０は、実空間１を撮像することによって画像を生成する。
【００１７】
図１に示した例では、表示部１６０は、撮像部１２０によって撮像された画像Ｉｍ１を表示している。ユーザＵａは表示部１６０によって表示された画像Ｉｍ１に視点を当てることにより実空間１を把握することが可能である。しかし、画像Ｉｍ１は必ずしも表示部１６０によって表示されなくてもよい。例えば、表示部１６０が透過型ＨＭＤ（ｈｅａｄ  ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）である場合には、表示部１６０によって画像Ｉｍ１は表示されず、ユーザＵａは、画像Ｉｍ１の代わりに実空間１に直接視点を当ててもよい。
【００１８】
また、画像Ｉｍ１には、実オブジェクトＡ１が映っている。例えば、画像Ｉｍ１から実オブジェクトＡ１が認識されると、表示制御装置１０は、実オブジェクトＡ１の認識結果に基づいて、仮想オブジェクトを実空間１に対応するＡＲ空間に配置する。そうすれば、ユーザＵａは、表示制御装置１０によってＡＲ空間に配置された仮想オブジェクトを、表示部１６０を介して閲覧することができる。実オブジェクトＡ１の認識は、表示制御装置１０によってなされてもよいし、表示制御装置１０とは異なる装置（例えば、サーバなど）によってなされてもよい。
【００１９】
ここで、一般的に、ＡＲ空間への仮想オブジェクトの配置がなされた後は、仮想オブジェクトはユーザの意図に依らずに事前に定められた状態を維持する。しかし、ユーザＵａは、仮想オブジェクトが配置された後に仮想オブジェクトの状態を変更したいと考える場合がある。そこで、本開示においては、ＡＲ空間に配置された仮想オブジェクトの状態をユーザの意図に従って変更することを可能とする技術を提案する。
【００２０】
なお、以下の説明においては、表示制御装置１０がカメラ機能付きのスマートフォンに適用される場合を例として説明するが、表示制御装置１０は、スマートフォン以外の装置に適用されてもよい。例えば、表示制御装置１０は、ビデオカメラ、デジタルカメラ、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器、望遠鏡、双眼鏡等に適用されてもよい。
【００２１】
以上、本開示の実施形態に係る表示制御装置の概要について説明した。
【００２２】
［１−２．表示制御装置の機能構成例］
続いて、本開示の実施形態に係る表示制御装置１０の機能構成例について説明する。図２は、本開示の実施形態に係る表示制御装置１０の機能構成例を示す図である。図２に示すように、表示制御装置１０は、制御部１１０、撮像部１２０、センサ部１３０、操作部１４０、記憶部１５０および表示部１６０を備える。
【００２３】
制御部１１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。制御部１１０は、記憶部１５０または他の記憶媒体に記憶されるプログラムを実行することにより、制御部１１０が有する様々な機能を発揮する。制御部１１０は、操作取得部１１１、センサデータ取得部１１２、画像認識部１１３、環境認識部１１４および表示制御部１１５などの各機能ブロックを有する。これら各機能ブロックが有する機能については後に説明する。
【００２４】
撮像部１２０は、画像を撮像するカメラモジュールである。撮像部１２０は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像し、画像を生成する。撮像部１２０により生成される画像は、制御部１１０に出力される。なお、図２に示した例では、撮像部１２０は表示制御装置１０と一体化されているが、撮像部１２０は、表示制御装置１０と別体に構成されていてもよい。例えば、表示制御装置１０と有線または無線で接続される撮像装置が撮像部１２０として扱われてもよい。
【００２５】
センサ部１３０は、センサデータを取得する。例えば、センサ部１３０は、３軸加速度センサを含む。３軸加速度センサは、撮像部１２０に加わる重力加速度を測定し、重力加速度の大きさおよび方向を３次元的に表すセンサデータ（加速度データ）を生成する。追加的に、センサ部１３０は、地磁気センサを含んでもよい。地磁気センサは、撮像部１２０の座標系における地磁気の方向を表すセンサデータ（地磁気データ）を生成する。さらに、センサ部１３０は、測位センサ（例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）センサ）を含んでもよい。測位センサは、実空間における表示制御装置１０の緯度および経度を表すセンサデータ（測位データ）を生成する。なお、図２に示した例では、センサ部１３０は表示制御装置１０と一体化されているが、センサ部１３０は、表示制御装置１０と別体に構成されていてもよい。
【００２６】
操作部１４０は、ユーザによる操作を検出して制御部１１０に出力する。本明細書においては、操作部１４０がタッチパネルにより構成される場合を想定しているため、ユーザによる操作はタッチパネルをタップする操作に相当する。しかし、操作部１４０はタッチパネル以外のハードウェア（例えば、ボタン等）により構成されていてもよい。なお、図２に示した例では、操作部１４０は表示制御装置１０と一体化されているが、操作部１４０は、表示制御装置１０と別体に構成されていてもよい。
【００２７】
記憶部１５０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部１１０を動作させるためのプログラムを記憶する。また、例えば、記憶部１５０は、プログラムによって使用される各種のデータ（例えば、各種のセンサデータ、仮想オブジェクトなど）を記憶することもできる。なお、図２に示した例では、記憶部１５０は表示制御装置１０と一体化されているが、記憶部１５０は表示制御装置１０と別体に構成されていてもよい。
【００２８】
表示部１６０は、表示制御部１１５による制御に従って、各種情報の表示を行う。表示部１６０は、例えば、表示制御装置１０により生成されるＡＲアプリケーションの画像を表示する。表示部１６０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ装置などにより構成される。なお、図２に示した例では、表示部１６０は表示制御装置１０と一体化されているが、表示部１６０は表示制御装置１０と別体に構成されていてもよい。例えば、表示制御装置１０と有線または無線で接続される表示装置が表示部１６０として扱われてもよい。
【００２９】
以上、本開示の実施形態に係る表示制御装置１０の機能構成例について説明した。
【００３０】
次節以降においては、本開示の表示制御装置１０が有する機能として、「仮想オブジェクトの初期表示」、「仮想オブジェクトの位置姿勢制御」および「仮想オブジェクトのサイズ制御」の順に説明を続ける。なお、「仮想オブジェクトの初期表示」、「仮想オブジェクトの位置姿勢制御」および「仮想オブジェクトのサイズ制御」それぞれにおいて説明する機能は、すべてが組み合わされて用いられてもよいし、一部のみが組み合わされて用いられてもよい。
【００３１】
［１−３．仮想オブジェクトの初期表示］
まず、仮想オブジェクトの初期表示について説明する。図３を参照すると、撮像部１２０によって撮像された画像Ｉｍ２には、実オブジェクトＡ１が映っている。また、画像認識部１１３によって実オブジェクトＡ１が認識され、認識結果に応じた仮想オブジェクトＶ１が表示制御部１１５によって実空間に対応するＡＲ空間に配置されている。したがって、表示部１６０には、ＡＲ空間に配置された仮想オブジェクトＶ１が表示されている。
【００３２】
より詳細には、画像認識部１１３によって実オブジェクトＡ１の位置および姿勢が認識されると、表示制御部１１５は、実オブジェクトＡ１の位置に従って仮想オブジェクトＶ１の位置を特定するとともに実オブジェクトＡ１の姿勢に従って仮想オブジェクトＶ１の姿勢を特定し、特定した位置および姿勢に従って仮想オブジェクトＶ１を配置する。実オブジェクトＡ１の位置と仮想オブジェクトＶ１の位置との関係は、あらかじめ定められていてよい。また、実オブジェクトＡ１の姿勢と仮想オブジェクトＶ１の姿勢との関係もあらかじめ定められていてよい。
【００３３】
例えば、画像認識部１１３は、画像Ｉｍ２に含まれる部分画像と、特徴データに含まれる各特徴点のパッチとを照合し、画像Ｉｍ２に含まれる特徴点を検出する。画像認識部１１３は、画像Ｉｍ２内のある領域に実オブジェクトＡ１に属する特徴点が高い密度で検出された場合には、その領域に実オブジェクトＡ１が映っていると認識し得る。画像認識部１１３は、検出された特徴点の間の位置関係と３次元形状データとに基づいて、認識された実オブジェクトＡ１の位置および姿勢をさらに認識し得る。
【００３４】
図３に示した例では、ユーザＵａが水族館に訪れた際に、水槽の奥の壁面に実オブジェクトＡ１が存在している。ユーザＵａが撮像部１２０を実オブジェクトＡ１にかざし、画像認識部１１３によって実オブジェクトＡ１が認識されると、認識結果に応じた仮想オブジェクトＶ１の例としてのサメが、表示制御部１１５によって実空間に対応するＡＲ空間に配置される。しかし、仮想オブジェクトＶ１はサメ以外のいかなる仮想オブジェクトであってもよい。
【００３５】
また、図３に示した例では、表示制御部１１５が、仮想オブジェクトＶ１のＡＲ空間におけるサイズをサイズＭ１として表示させている。仮想オブジェクトＶ１のＡＲ空間におけるサイズは後に説明するような手法によって定められていてよい。また、表示制御部１１５が、仮想オブジェクトＶ１の実物大に対する仮想オブジェクトＶ１のＡＲ空間における現在のサイズの割合を割合Ｎ１として表示させている。例えば、仮想オブジェクトＶ１の実物大もあらかじめ登録されていてよい。なお、仮想オブジェクトの実物大とは、仮想オブジェクトに対応する実オブジェクトのサイズを意味する。仮想オブジェクトとしてサメを想定する場合には、仮想オブジェクトの実物大とは、実オブジェクトとしてのサメのサイズを意味する。
【００３６】
ここで、例えば、実オブジェクトＡ１の姿勢が正常ではない場合などには、ＡＲ空間に配置される仮想オブジェクトＶ１の姿勢が正常ではなくなることが想定される。例えば、実オブジェクトＡ１が水平面上に置かれた場合に、仮想オブジェクトＶ１の姿勢が正常となるように実オブジェクトＡ１の姿勢と仮想オブジェクトＶ１の姿勢との関係が定められている場合を想定する。かかる場合、図３に示したように、実オブジェクトＡ１が壁面に存在する場合には、仮想オブジェクトＶの姿勢が正常ではなくなることが予想される。
【００３７】
そこで、本節においては、実オブジェクトＡ１の姿勢が正常であるか否かに関わらず、仮想オブジェクトＶ１の初期表示を正常に行うための技術を提案する。
【００３８】
図４に示したように、正常な姿勢で実オブジェクトＡ０が置かれているとする。かかる場合には、実オブジェクトＡ０の位置および姿勢に従ってＡＲ空間に配置される仮想オブジェクトＶ０も正常となる。一方、上記したように、正常ではない姿勢で実オブジェクトＡ１が置かれているとする。かかる場合には、実オブジェクトＡ１の位置および姿勢に従ってＡＲ空間に配置される仮想オブジェクトＶ１も正常ではなくなる。
【００３９】
このような場合、例えば、表示制御部１１５は、重力ベクトルＧに応じた姿勢となるように仮想オブジェクトＶ２を配置すればよい。重力ベクトルＧは、センサ部１３０によって加速度データが検出された場合には、その加速度センサがセンサデータ取得部１１２によって重力ベクトルＧとして取得され得る。例えば、表示制御部１１５は、重力ベクトルＧが示す方向と仮想オブジェクトＶ１の姿勢とが満たすべき関係があらかじめ定められていれば、かかる関係を満たすように仮想オブジェクトＶ１を回転させればよい。
【００４０】
図４を参照すると、重力ベクトルＧが示す方向と仮想オブジェクトＶ１の姿勢とが満たすべき関係を満たすように仮想オブジェクトＶ１が回転された結果が、仮想オブジェクトＶ２として示されている。また、図５を参照すると、画像Ｉｍ３が撮像されており、かかる関係を満たすように仮想オブジェクトＶ１が回転された結果が、仮想オブジェクトＶ２として示されている。このように、重力ベクトルＧを考慮して仮想オブジェクトＶ１の姿勢を変更することにより、正常な姿勢となるようにＡＲ空間内に仮想オブジェクトＶ１を配置することが可能となる。
【００４１】
より詳細には、表示制御部１１５は、重力ベクトルＧが示す方向と実オブジェクトＡ１の法線ベクトルの反対ベクトルとの関係によって、実オブジェクトＡ１がどのような姿勢であるかを把握し、実オブジェクトＡ１の姿勢に応じて仮想オブジェクトＶ１の回転度合いを決めてもよい。
【００４２】
例えば、表示制御部１１５は、重力ベクトルＧが示す方向と実オブジェクトＡ１の法線ベクトルの反対ベクトルとのなす角が０度以上の場合であり、かつ、４５度未満（または４５度以下）である場合には、実オブジェクトＡ１が床面に配置されていると判断してもよい。かかる場合において、実オブジェクトＡ１の法線ベクトル方向に仮想オブジェクトＶ１が配置される場合には、表示制御部１１５は、仮想オブジェクトＶを回転させなくてよい。
【００４３】
また、例えば、表示制御部１１５は、重力ベクトルＧが示す方向と実オブジェクトＡ１の法線ベクトルの反対ベクトルとのなす角が４５度以上の場合（または４５度を上回る場合）であり、かつ、１３５度未満である場合には、実オブジェクトＡ１が壁面に貼られていると判断してもよい。かかる場合において、実オブジェクトＡ１の法線ベクトル方向に仮想オブジェクトＶ１が配置される場合には、表示制御部１１５は、仮想オブジェクトＶを重力ベクトルＧが示す方向に９０度回転させてもよい。
【００４４】
また、例えば、表示制御部１１５は、重力ベクトルＧが示す方向と実オブジェクトＡ１の法線ベクトルの反対ベクトルとのなす角が１３５度以上の場合（または１３５度を上回る場合）であり、かつ、１８０度以下である場合には、実オブジェクトＡ１が天井に貼られていると判断してもよい。かかる場合において、実オブジェクトＡ１の法線ベクトル方向に仮想オブジェクトＶ１が配置される場合には、表示制御部１１５は、仮想オブジェクトＶを重力ベクトルＧが示す方向に１８０度回転させてもよい。
【００４５】
図６は、仮想オブジェクトＶ２の初期表示の動作例を示すフローチャートである。まず、撮像部１２０により画像が撮像されると、画像認識部１１３は、撮像部１２０により撮像された画像から実オブジェクトＡ１を認識する（Ｓ１１）。画像認識部１１３は、実オブジェクトＡ１の位置および姿勢を算出する（Ｓ１２）。また、センサデータ取得部１１２は、センサ部１３０により検出されたセンサデータを取得し、センサデータに基づいて重力ベクトルを特定する（Ｓ１４）。例えば、センサデータとして加速度データが取得された場合には、加速度データを重力ベクトルとして特定してよい。
【００４６】
表示制御部１１５は、実オブジェクトＡ１の位置に応じて仮想オブジェクトＶ１の位置を特定する（Ｓ１５）。続いて、表示制御部１１５は、重力ベクトルに応じて仮想オブジェクトの姿勢を特定する（Ｓ１６）。表示制御部１１５は、特定した位置および姿勢に基づいてＡＲ空間に仮想オブジェクトＶ２を配置する（Ｓ１７）。制御部１１０は、画像認識部１１３による実オブジェクトＡ１の認識が継続していれば（Ｓ１８で「Ｙｅｓ」）、動作を終了してもよいが、画像認識部１１３による実オブジェクトＡ１の認識が継続中であれば、ステップＳ１１に戻ってよい。
【００４７】
以上、仮想オブジェクトの初期表示について説明した。
【００４８】
［１−４．仮想オブジェクトの位置姿勢制御］
続いて、仮想オブジェクトの位置姿勢制御について説明する。図７を参照すると、ＡＲ空間２には、表示制御部１１５により仮想オブジェクトＶ２が配置されている。ここで、図７に示したように、撮像部１２０の位置および姿勢は、それぞれＰ１およびＱ１であり、仮想オブジェクトＶ２の位置および姿勢は、それぞれｐ１およびｑ１であるとする。この状態で撮像部１２０の位置および姿勢が、それぞれＰ２およびＱ２に変化したとする。この場合、一般的には、仮想オブジェクトＶ２は、ＡＲ空間内に固定される。しかし、ユーザＵａは、仮想オブジェクトＶ２が配置された後に仮想オブジェクトＶ２のＡＲ空間における位置を変更したいと考える場合がある。
【００４９】
例えば、ユーザＵａがこれから仮想オブジェクトＶ２の写真撮影を行おうとしている場面を想定すれば、仮想オブジェクトＶ２を移動させて背景を決めた後に仮想オブジェクトＶ２の写真撮影を行いたいと望む場合も想定される。また、例えば、実オブジェクトＡ１を撮像範囲内に収めたくないとユーザＵａが考えた場合には、実オブジェクトＡ１が撮像範囲から外れるような位置に仮想オブジェクトＶ２を移動させてから仮想オブジェクトＶ２の写真撮影を行いたいと望む場合も想定される。
【００５０】
そこで、本節においては、ＡＲ空間に配置された仮想オブジェクトＶ２の位置をユーザの意図に従って変更することを可能とする技術を提案する。
【００５１】
まず、ＡＲ空間に配置された仮想オブジェクトＶ２の位置を変更しない場合を説明する。例えば、表示制御部１１５は、第１の操作がなされていない間は、仮想オブジェクトＶ２をＡＲ空間内に固定すればよい。第１の操作はどのような操作であってもよいが、仮想オブジェクトＶ２を指定する操作であってもよい。以下では、第１の操作として、仮想オブジェクトＶ２を指定する操作を用いる場合を例に説明する。仮想オブジェクトＶ２を指定する操作は、例えば、仮想オブジェクトＶ２を１または複数の操作体を用いて指定する操作を含んでもよい。
【００５２】
仮想オブジェクトＶ２を指定する操作は、例えば、仮想オブジェクトＶ２をタップする操作であってもよい。また、仮想オブジェクトＶ２を指定する操作は、表示部１６０が透過型ＨＭＤの場合には、仮想オブジェクトＶ２を二本の操作体（例えば、二本の指）で挟み込む操作であってもよい。あるいは、仮想オブジェクトＶ２を指定する操作は、仮想オブジェクトＶ２に視線を当てるというジェスチャであってもよい。例えば、仮想オブジェクトＶ２の指定が開始されてから解除されるまでの間、仮想オブジェクトＶ２を指定する操作がなされているとしてよい。
【００５３】
図７に示したように、仮想オブジェクトＶ２を指定しない状態で撮像部１２０の位置および姿勢が、それぞれＰ２およびＱ２に変化したとする。表示制御部１１５は、仮想オブジェクトＶ２を指定しない状態では、仮想オブジェクトＶ２をＡＲ空間内に固定すればよい。例えば、表示制御部１１５は、仮想オブジェクトＶ２を指定しない状態では、撮像部１２０と仮想オブジェクトＶ２との距離に応じて仮想オブジェクトＶ２の画像におけるサイズを変化させればよい。
【００５４】
例えば、図８を参照すると、画像Ｉｍ４が撮像されている。図８に示したように、表示制御部１１５は、仮想オブジェクトＶ２を指定しない状態では、ユーザＵａが仮想オブジェクトＶ２から遠ざかり、撮像部１２０と仮想オブジェクトＶ２とが遠ざかるにつれて、仮想オブジェクトＶ２の画像Ｉｍ４におけるサイズを小さくすればよい。
【００５５】
また、表示制御部１１５は、仮想オブジェクトＶ２を指定しない状態では、撮像部１２０を基準とした仮想オブジェクトＶ２の姿勢に応じて仮想オブジェクトＶ２の画像における姿勢を変化させればよい。例えば、表示制御部１１５は、仮想オブジェクトＶ２を指定しない状態では、ユーザＵａが撮像方向を変更し、撮像部１２０を基準とした仮想オブジェクトＶ２の姿勢が変化した場合には、変化後の姿勢に応じて仮想オブジェクトＶ２の画像における姿勢を変化させればよい。
【００５６】
一方、表示制御部１１５は、操作取得部１１１によって取得されたユーザ操作が、仮想オブジェクトＶ２を指定する操作である場合には、仮想オブジェクトＶ２をＡＲ空間内において移動させればよい。表示制御部１１５は、仮想オブジェクトＶ２をＡＲ空間内において移動させている間、何らかの出力を制御してもよい。例えば、表示制御部１１５は、仮想オブジェクトＶ２をＡＲ空間内において移動させている間、仮想オブジェクトＶ２を移動させている旨を表示させてもよい。
【００５７】
例えば、図９に示したように、表示制御部１１５は、仮想オブジェクトＶ２が「移動中」である旨を示すメッセージＬ１を表示させてもよい。しかし、仮想オブジェクトＶ２を移動させている旨はメッセージ以外であってもよい。例えば、表示制御部１１５は、仮想オブジェクトＶ２を移動させている旨を、仮想オブジェクトＶ２に動きを持たせることにより表示させてもよい。
【００５８】
仮想オブジェクトＶ２をどのように移動させるかについては限定されない。一例として、図１０に示したように、表示制御部１１５は、仮想オブジェクトＶ２を指定した状態で、撮像部１２０の位置がＰ２からＰ３に変化し、撮像部１２０の姿勢がＱ２からＱ３に変化した場合、表示制御部１１５は、撮像部１２０と仮想オブジェクトＶ２との相対的な位置関係を維持した状態で、仮想オブジェクトＶ２をＡＲ空間内において移動させればよい。
【００５９】
このようにして仮想オブジェクトＶ２をＡＲ空間内において移動させる場合には、仮想オブジェクトＶ２が撮像範囲に固定され得る。したがって、表示制御部１１５は、仮想オブジェクトＶ２が撮像範囲に固定されることを示す何らかの仮想オブジェクト（例えば、仮想オブジェクトＶ２に刺し込まれる串など）を表示させてもよい。図１０に示した例では、仮想オブジェクトＶ２の位置がｐ１からｐ２に移動され、仮想オブジェクトＶ２の姿勢がｑ１からｑ２に変化されている。
【００６０】
また、表示制御部１１５は、どのような手法によって撮像部１２０の位置および姿勢を把握してもよい。例えば、表示制御部１１５は、環境認識部１１４による環境認識の結果に基づいて、撮像部１２０の位置および姿勢を把握してもよい。環境認識部１１４による環境認識としては、ＳＬＡＭ法に従った演算を用いることが可能である。ＳＬＡＭ法に従った演算によれば、撮像部１２０により撮像される画像に映る実空間の三次元構造と撮像部１２０の位置および姿勢とを動的に認識することが可能である。
【００６１】
なお、図１０には、表示制御部１１５が仮想オブジェクトＶ２を指定する操作により指定される１の仮想オブジェクトＶ２をＡＲ空間内において移動される例を示したが、移動される仮想オブジェクトの数は１つでなくてもよい。表示制御部１１５は、操作取得部１１１によって取得されたユーザ操作が、仮想オブジェクトを指定する操作である場合には、仮想オブジェクトを指定する操作により指定される１または複数の仮想オブジェクトをＡＲ空間内において移動させてもよい。
【００６２】
かかる構成によって、ユーザＵａは、仮想オブジェクトＶ２を指定する操作を開始してから解除するまでの間に撮像部１２０の位置および姿勢を変化させることで、仮想オブジェクトＶ２を移動させることが可能である。したがって、あたかもドラッグ＆ドロップ操作を用いて仮想オブジェクトＶ２を移動させるような感覚をユーザＵａに与えることができ、ＡＲ空間内における仮想オブジェクトＶ２の移動をユーザＵａに対して直感的に行わせることができる。
【００６３】
ここで、仮想オブジェクトＶ２の移動先の環境は様々な環境であることが予想される。したがって、表示制御部１１５は、移動先の仮想オブジェクトＶ２の環境に基づいて、仮想オブジェクトＶ２を制御してもよい。例えば、図１１に示したように、表示制御部１１５は、仮想オブジェクトＶ２の移動先の環境が移動不可能領域Ｒ２である場合には、仮想オブジェクトＶ２の位置を移動可能領域Ｒ１にシフトさせてもよい。移動不可能領域Ｒ２は、例えば、柱や壁などといった実オブジェクトであれば外部から侵入し得ないような領域であってもよい。
【００６４】
あるいは、表示制御部１１５は、仮想オブジェクトＶ２の移動先の環境に応じた動きを仮想オブジェクトＶ２に行わせるようにしてもよい。例えば、仮想オブジェクトＶ２の移動先の環境が海である場合には、仮想オブジェクトＶ２が泳ぎ始めるようなアニメーションを仮想オブジェクトＶ２に対して施してもよい。また、例えば、仮想オブジェクトＶ２の移動先の環境が陸である場合には、仮想オブジェクトＶ２の泳ぎが停止するようなアニメーションを仮想オブジェクトＶ２に対して施してもよい。
【００６５】
図１２は、仮想オブジェクトＶ２をＡＲ空間内において移動させた場合における仮想オブジェクトＶ２の移動後の表示例を示す図である。図１２を参照すると、画像Ｉｍ５が撮像されており、仮想オブジェクトＶ２が移動されている。このようにして、ＡＲ空間に配置された仮想オブジェクトＶ２の位置をユーザの意図に従って変更することが可能となる。図１２に示した例では、水族館を背景とし、ユーザＵａの家族と仮想オブジェクトＶ２とを同一の撮像範囲内に収めることが可能となっている。
【００６６】
図１３は、仮想オブジェクトＶ２の位置姿勢制御の動作例を示すフローチャートである。まず、環境認識部１１４により環境認識が開始され（Ｓ２１）、操作取得部１１１によってユーザ操作が取得される。表示制御部１１５は、仮想オブジェクトＶ２を指定する操作がなされていない場合には（Ｓ２２で「Ｎｏ」）、仮想オブジェクトＶ２をＡＲ空間に固定し、制御部１１０はＳ２７に進む。
【００６７】
一方、表示制御部１１５は、仮想オブジェクトＶ２を指定する操作がなされた場合には（Ｓ２２で「Ｙｅｓ」）、仮想オブジェクトＶ２をＡＲ空間において移動させ（Ｓ２４）、移動先の環境に基づいて仮想オブジェクトＶ２を制御する（Ｓ２５）。さらに、表示制御部１１５は、仮想オブジェクトＶ２を移動させている旨を表示させ（Ｓ２６）、制御部１１０はＳ２７に進む。制御部１１０は、環境認識部１１４による環境認識が継続していれば（Ｓ２７で「Ｙｅｓ」）、動作を終了してもよいが、環境認識部１１４による環境認識が継続中であれば、Ｓ２２に戻ってよい。
【００６８】
以上、仮想オブジェクトの位置姿勢制御について説明した。
【００６９】
［１−５．仮想オブジェクトのサイズ制御］
続いて、仮想オブジェクトのサイズ制御について説明する。図１４を参照すると、ＡＲ空間２には、表示制御部１１５により仮想オブジェクトＶ２が配置されている。ここで、一般的には、実オブジェクトＡ１の画像におけるサイズに応じて、仮想オブジェクトＶ２の画像におけるサイズが決定される。しかし、ユーザＵａは、仮想オブジェクトＶ２が配置された後に仮想オブジェクトＶ２のＡＲ空間におけるサイズを変更したいと考える場合がある。
【００７０】
例えば、ユーザＵａがこれから仮想オブジェクトＶ２の写真撮影を行おうとしている場面を想定すれば、実物大までＡＲ空間におけるサイズを大きくしてから仮想オブジェクトＶ２の写真撮影を行いたいと望む場合も想定される。そこで、本節においては、ＡＲ空間に配置された仮想オブジェクトＶ２のＡＲ空間におけるサイズをユーザの意図に従って変更することを可能とする技術を提案する。
【００７１】
具体的には、表示制御部１１５は、ユーザ操作が第２の操作である場合には、第２の操作に基づいて仮想オブジェクトＶ２のＡＲ空間におけるサイズを変更すればよい。第２の操作はどのような操作であってもよいが、例えば、図１４に示すように、複数の操作体の間の距離を変更する操作を含んでもよい。例えば、ユーザ操作が、複数の操作体の間の距離を近づける操作（例えば、ピンチイン操作）である場合には、仮想オブジェクトＶ２のＡＲ空間におけるサイズを縮小させればよい。
【００７２】
また、例えば、ユーザ操作が、複数の操作体の間の距離を遠ざける操作（例えば、ピンチアウト操作）である場合には、仮想オブジェクトＶ２のＡＲ空間におけるサイズを拡大させればよい。図１５を参照すると、仮想オブジェクトのＡＲ空間におけるサイズが拡大された結果、ＡＲ空間に配置されている仮想オブジェクトが仮想オブジェクトＶ２から仮想オブジェクトＶ３に変更された様子が示されている。
【００７３】
図１６は、仮想オブジェクトをＡＲ空間内において拡大する場合の仮想オブジェクト拡大後の表示例を示す図である。図１６に示したように、仮想オブジェクトＶ３を拡大することが可能である場合において、仮想オブジェクトＶ３の拡大に限度を設けてもよい。（あるいは、仮想オブジェクトＶ３を縮小することが可能である場合において、仮想オブジェクトＶ３の縮小に限度を設けてもよい。）例えば、図１６には画像Ｉｍ６が示されているが、図１６に示したように、表示制御部１１５は、仮想オブジェクトのＡＲ空間におけるサイズが仮想オブジェクトの実物大に達した場合には、仮想オブジェクトの拡大を停止すればよい。
【００７４】
また、表示制御部１１５は、仮想オブジェクトのＡＲ空間におけるサイズが仮想オブジェクトの実物大に達した場合には、仮想オブジェクトのＡＲ空間におけるサイズが仮想オブジェクトの実物大に達した旨を表示させてもよい。例えば、図１６に示したように、表示制御部１１５は、仮想オブジェクトのＡＲ空間におけるサイズが実物大に達した旨を示すメッセージＬ２を表示させてもよい。
【００７５】
また、図１６に示した例では、表示制御部１１５が、仮想オブジェクトＶ３のＡＲ空間におけるサイズをサイズＭ２として表示させている。また、表示制御部１１５が、仮想オブジェクトＶ３の実物大に対する仮想オブジェクトＶ３のＡＲ空間における現在のサイズの割合を割合Ｎ２として表示させている。
【００７６】
ここで、仮想オブジェクトのＡＲ空間におけるサイズが仮想オブジェクトの実物大に達したか否かを判断する手法は特に限定されない。一例として、表示制御部１１５は、実オブジェクトＡ１の実物大に関する既知のデータと、実オブジェクトＡ１の画像におけるサイズと、仮想オブジェクトの実物大に関する既知のデータとに基づいて、仮想オブジェクトのＡＲ空間におけるサイズが仮想オブジェクトの実物大に達したか否かを判断すればよい。
【００７７】
より詳細には、表示制御部１１５は、既知のデータとして、実オブジェクトＡ１の実物大が登録されている場合、実オブジェクトＡ１の画像におけるサイズに対する実オブジェクトＡ１の実物大の割合を算出すればよい。そうすれば、表示制御部１１５は、実オブジェクトＡ１と仮想オブジェクトとが撮像部１２０から同じ距離に存在するときには、算出した割合を仮想オブジェクトの画像におけるサイズに乗じることにより仮想オブジェクトのＡＲ空間におけるサイズを算出することができる。
【００７８】
なお、実オブジェクトＡ１と仮想オブジェクトとが撮像部１２０から異なる距離に存在しても、仮想オブジェクトのＡＲ空間におけるサイズを算出することができる。例えば、実オブジェクトＡ１の画像におけるサイズに対する実オブジェクトＡ１の実物大の割合を用いれば、撮像部１２０の位置を基準とした実オブジェクトＡ１の実空間における位置を把握することができる。また、ユーザＵａが撮像範囲に仮想オブジェクトが収まる位置まで撮像部１２０を移動させたとしても、表示制御部１１５は、環境認識の結果に基づいて、撮像部１２０の位置を基準とした実オブジェクトＡ１の実空間における位置および仮想オブジェクトのＡＲ空間における位置を把握することができる。
【００７９】
そして、表示制御部１１５は、撮像部１２０の位置を基準とした仮想オブジェクトのＡＲ空間における位置を用いて、仮想オブジェクトの画像におけるサイズから仮想オブジェクトのＡＲ空間におけるサイズを把握することができる。既知のデータとして、仮想オブジェクトの実物大が登録されている場合には、表示制御部１１５は、仮想オブジェクトの実物大と仮想オブジェクトのＡＲ空間におけるサイズとを比較することによって、仮想オブジェクトのＡＲ空間におけるサイズが仮想オブジェクトの実物大に達したか否かを判断することができる。
【００８０】
一般的には、実オブジェクトの画像におけるサイズに応じて仮想オブジェクトの画像におけるサイズが決定されるため、ＡＲ空間において所望のサイズの仮想オブジェクトを配置するためには、実オブジェクトの実空間におけるサイズを調整するか、画像に映る実オブジェクトのサイズを調整する必要があった。本実施形態に係る仮想オブジェクトのサイズ制御によれば、ユーザ操作に従ってＡＲ空間において所望のサイズの仮想オブジェクトを配置することが可能となる。
【００８１】
図１７は、仮想オブジェクトのサイズ制御の動作例を示すフローチャートである。まず、環境認識部１１４により環境認識が開始され（Ｓ３１）、操作取得部１１１によってユーザ操作が取得される。制御部１１０は、サイズ変更操作がなされていない場合には（Ｓ３２で「Ｎｏ」）、Ｓ３７に進む。
【００８２】
一方、表示制御部１１５は、サイズ変更操作がなされた場合には（Ｓ３２で「Ｙｅｓ」）、仮想オブジェクトのＡＲ空間におけるサイズを調整し（Ｓ３３）、制御部１１０は、仮想オブジェクトのＡＲ空間におけるサイズが実物大に達していない場合には（Ｓ３４で「Ｎｏ」）、Ｓ３７に進む。一方、表示制御部１１５は、仮想オブジェクトのＡＲ空間におけるサイズが実物大に達した場合には（Ｓ３４で「Ｙｅｓ」）、仮想オブジェクトの拡大を停止し（Ｓ３５）、仮想オブジェクトのＡＲ空間におけるサイズが実物大に達した旨を表示させ（Ｓ３６）、制御部１１０は、Ｓ３７に進む。
【００８３】
制御部１１０は、環境認識部１１４による環境認識が継続していれば（Ｓ３７で「Ｙｅｓ」）、動作を終了してもよいが、環境認識部１１４による環境認識が継続中であれば、Ｓ３１に戻ってよい。
【００８４】
以上においては、仮想オブジェクトが１つである場合を説明したが、仮想オブジェクトは複数存在する場合も想定される。かかる場合には、複数の仮想オブジェクトの一部のサイズを調整してもよいし、複数の仮想オブジェクトの全部のサイズを調整してもよい。例えば、表示制御部１１５は、撮像部１２０と複数の仮想オブジェクトそれぞれとの距離に応じてサイズ変更対象の仮想オブジェクトを選択してもよい。
【００８５】
図１８は、仮想オブジェクトＶ１１、Ｖ２のうち、仮想オブジェクトＶ２をＡＲ空間内において拡大する場合の仮想オブジェクトＶ２拡大前の表示例を示す図である。図１８を参照すると、画像Ｉｍ７が撮像されている。図１９は、仮想オブジェクトＶ２拡大後の表示例を示す図である。図１８を参照すると、画像Ｉｍ８が撮像されている。これらの図に示した例では、表示制御部１１５は、撮像部１２０から最も近い仮想オブジェクト（撮像部１２０から見て最も手前に存在する仮想オブジェクト）をサイズ変更対象として選択している。
【００８６】
かかる場合、例えば、撮像部１２０から最も近い仮想オブジェクトは他の仮想オブジェクトと区別される態様によって表示されてもよい。例えば、撮像部１２０から最も近い仮想オブジェクトは動きを有し、他の仮想オブジェクトは静止するように表示されてもよい。しかし、複数の仮想オブジェクトの一部のサイズを調整する手法は、かかる例に限定されない。
【００８７】
例えば、表示制御部１１５は、ユーザＵａによって選択操作がなされた場合には、選択操作に基づいてサイズ変更対象の仮想オブジェクトを選択してもよい。選択操作は限定されないが、例えば、タップ操作であってもよい。あるいは、サイズ変更操作が、ピンチアウト操作やピンチイン操作である場合には、表示制御部１１５は、ピンチアウト操作やピンチイン操作のときに操作体によって直接的に指定された仮想オブジェクトを選択してもよい。
【００８８】
以上、仮想オブジェクトのサイズ制御について説明した。
【００８９】
［１−６．ハードウェア構成例］
続いて、本開示の実施形態に係る表示制御装置１０のハードウェア構成例について説明する。図１９は、本開示の実施形態に係る表示制御装置１０のハードウェア構成例を示す図である。ただし、図１９に示したハードウェア構成例は、表示制御装置１０のハードウェア構成の一例を示したに過ぎない。したがって、表示制御装置１０のハードウェア構成は、図１９に示した例に限定されない。
【００９０】
図１９に示したように、表示制御装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）８０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）８０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）８０３と、センサ８０４と、入力装置８０８と、出力装置８１０と、ストレージ装置８１１と、ドライブ８１２と、撮像装置８１３と、通信装置８１５とを備える。
【００９１】
ＣＰＵ８０１は、演算処理装置および制御装置として機能し、各種プログラムに従って表示制御装置１０内の動作全般を制御する。また、ＣＰＵ８０１は、マイクロプロセッサであってもよい。ＲＯＭ８０２は、ＣＰＵ８０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ８０３は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【００９２】
センサ８０４は、表示制御装置１０の状態を検知するための端末状態検知センサなどの各種検知用センサとその周辺回路からなる。センサ８０４としては、一例として、傾きセンサ、加速度センサ、方位センサ、温度センサ、湿度センサ、照度センサなどを挙げることができる。センサ８０４による検知信号は、ＣＰＵ８０１に送られる。これにより、ＣＰＵ８０１は、表示制御装置１０の状態（傾き、加速度、方位、温度、湿度、照度など）を知ることができる。
【００９３】
入力装置８０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ８０１に出力する入力制御回路などから構成されている。表示制御装置１０のユーザは、該入力装置８０８を操作することにより、表示制御装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００９４】
出力装置８１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置８１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
【００９５】
ストレージ装置８１１は、表示制御装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置８１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置８１１は、ＣＰＵ８０１が実行するプログラムや各種データを格納する。
【００９６】
ドライブ８１２は、記憶媒体用リーダライタであり、表示制御装置１０に内蔵、あるいは外付けされる。ドライブ８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体７１に記録されている情報を読み出して、ＲＡＭ８０３に出力する。また、ドライブ８１２は、リムーバブル記憶媒体７１に情報を書き込むこともできる。
【００９７】
撮像装置８１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。
【００９８】
通信装置８１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置８１５は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。通信装置８１５は、例えば、ネットワーク３０を介して他の装置と通信を行うことが可能である。
【００９９】
以上、本開示の実施形態に係る表示制御装置１０のハードウェア構成例について説明した。
【０１００】
＜＜２．むすび＞＞
以上説明したように、本開示の実施形態によれば、撮像部１２０により撮像された画像に映る実オブジェクトＡ１の認識結果に応じて実空間に対応するＡＲ空間内に仮想オブジェクトを配置する表示制御部１１５と、ユーザ操作を取得する操作取得部１１１と、を備え、表示制御部１１５は、ユーザ操作が第１の操作である場合には、仮想オブジェクトをＡＲ空間内において移動させる、表示制御装置１０が提供される。かかる構成によれば、ＡＲ空間に配置された仮想オブジェクトの位置をユーザの意図に従って変更することが可能となる。
【０１０１】
また、本開示の実施形態に係る仮想オブジェクトの位置姿勢制御とサイズ制御とによれば、例えば、ユーザＵａは、実物大まで仮想オブジェクトを拡大させる操作を行った場合、拡大させる操作の過程において仮想オブジェクトを撮像範囲内に収めるために仮想オブジェクトから遠ざかる必要が生じる場合が起こり得る。このような動作をユーザＵａに行わせることによって、仮想オブジェクトの実物大をより直感的にユーザＵａに把握させることが可能となる。
【０１０２】
本開示の実施形態においては、仮想オブジェクトをＡＲ空間内において移動させたりサイズ調整したりする場面として、仮想オブジェクトを撮像範囲内に収めた写真撮影を行う場面を主に想定した。しかし、本開示の実施形態はかかる場面以外のあらゆる場面に適用することが可能である。例えば、ゲームアプリケーションにおいて登場する仮想オブジェクトをＡＲ空間内において移動させたりサイズ調整したりする場面にも、本開示の実施形態は有効に適用され得る。
【０１０３】
また、本開示の実施形態においては、表示制御装置１０によって仮想オブジェクトを制御した結果が、表示制御装置１０のＡＲ空間において反映される例を主に説明した。しかし、例えば、表示制御装置１０と当該他の装置との間で同一のＡＲ空間を共有している場合などには、表示制御装置１０によって仮想オブジェクトを制御した結果は、表示制御装置１０と通信可能な他の装置のＡＲ空間に反映されてもよい。
【０１０４】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０５】
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した表示制御装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
【０１０６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置する表示制御部と、
ユーザ操作を取得する操作取得部と、を備え、
前記表示制御部は、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させる、
表示制御装置。
（２）
前記表示制御部は、前記ユーザ操作が前記第１の操作である場合には、前記撮像部と前記仮想オブジェクトとの相対的な位置関係を維持した状態で、前記仮想オブジェクトを前記拡張現実空間内において移動させる、
前記（１）に記載の表示制御装置。
（３）
前記表示制御部は、前記ユーザ操作が前記第１の操作である場合には、前記第１の操作により指定される１または複数の仮想オブジェクトを前記拡張現実空間内において移動させる、
前記（１）または（２）に記載の表示制御装置。
（４）
前記表示制御部は、前記仮想オブジェクトを前記拡張現実空間内において移動させている間、前記仮想オブジェクトを移動させている旨を表示させる、
前記（１）〜（３）のいずれか一項に記載の表示制御装置。
（５）
前記表示制御部は、前記第１の操作がなされていない間は、前記仮想オブジェクトを前記拡張現実空間内に固定する、
前記（１）〜（４）のいずれか一項に記載の表示制御装置。
（６）
前記表示制御部は、前記第１の操作がなされていない間は、前記撮像部と前記仮想オブジェクトとの距離に応じて前記仮想オブジェクトの前記画像におけるサイズを変化させる、
前記（５）に記載の表示制御装置。
（７）
前記表示制御部は、前記第１の操作がなされていない間は、前記撮像部を基準とした前記仮想オブジェクトの姿勢に応じて前記仮想オブジェクトの前記画像における姿勢を変化させる、
前記（５）に記載の表示制御装置。
（８）
前記表示制御部は、移動先の前記仮想オブジェクトの環境に基づいて、前記仮想オブジェクトを制御する、
前記（１）〜（７）のいずれか一項に記載の表示制御装置。
（９）
前記表示制御部は、移動先の前記仮想オブジェクトの環境が移動不可能領域である場合には、前記仮想オブジェクトの位置を移動可能領域にシフトさせる、
前記（８）に記載の表示制御装置。
（１０）
前記第１の操作は、前記仮想オブジェクトを１または複数の操作体を用いて指定する操作を含む、
前記（１）〜（９）のいずれか一項に記載の表示制御装置。
（１１）
前記表示制御部は、前記ユーザ操作が第２の操作である場合には、前記第２の操作に基づいて前記仮想オブジェクトの前記拡張現実空間におけるサイズを変更する、
前記（１）に記載の表示制御装置。
（１２）
前記表示制御部は、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達した場合には、前記仮想オブジェクトの拡大を停止する、
前記（１１）に記載の表示制御装置。
（１３）
前記表示制御部は、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達した場合には、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達した旨を表示させる、
前記（１１）または（１２）に記載の表示制御装置。
（１４）
前記表示制御部は、前記実オブジェクトの実物大に関する既知のデータと、前記実オブジェクトの前記画像におけるサイズと、前記仮想オブジェクトの実物大に関する既知のデータとに基づいて、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達したか否かを判断する、
前記（１１）〜（１３）のいずれか一項に記載の表示制御装置。
（１５）
前記表示制御部は、選択操作がなされた場合には、前記選択操作に基づいてサイズ変更対象の仮想オブジェクトを選択する、
前記（１１）〜（１４）のいずれか一項に記載の表示制御装置。
（１６）
前記表示制御部は、前記撮像部と１または複数の仮想オブジェクトそれぞれとの距離に応じてサイズ変更対象の仮想オブジェクトを選択する、
前記（１１）〜（１４）のいずれか一項に記載の表示制御装置。
（１７）
前記第２の操作は、複数の操作体の間の距離を遠ざける操作を含む、
前記（１１）〜（１６）のいずれか一項に記載の表示制御装置。
（１８）
前記表示制御部は、重力ベクトルに応じた姿勢となるように前記仮想オブジェクトを配置する、
前記（１）に記載の表示制御装置。
（１９）
撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置することと、
ユーザ操作を取得することと、
前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させることと、
を含む、表示制御方法。
（２０）
コンピュータを、
撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置する表示制御部と、
ユーザ操作を取得する操作取得部と、を備え、
前記表示制御部は、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させる、
表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。
【符号の説明】
【０１０７】
１      実空間
２      ＡＲ空間
１０    表示制御装置
１１０  制御部
１１１  操作取得部
１１２  センサデータ取得部
１１３  画像認識部
１１４  環境認識部
１１５  表示制御部
１２０  撮像部
１３０  センサ部
１４０  操作部
１５０  記憶部
１６０  表示部
Ｉｍ１、Ｉｍ２  画像
Ａ０、Ａ１    実オブジェクト
Ｖ０、Ｖ１、Ｖ２、Ｖ３、Ｖ１１  仮想オブジェクト
Ｍ１、Ｍ２  サイズ
Ｎ１    割合
Ｌ１、Ｌ２  メッセージ
Ｒ１    移動可能領域
Ｒ２    移動不可能領域
Ｕａ    ユーザ
Ｇ      重力ベクトル
【図１】
2014191718.tif 000003
【図２】
2014191718.tif 000004
【図３】
2014191718.tif 000005
【図４】
2014191718.tif 000006
【図５】
2014191718.tif 000007
【図６】
2014191718.tif 000008
【図７】
2014191718.tif 000009
【図８】
2014191718.tif 000010
【図９】
2014191718.tif 000011
【図１０】
2014191718.tif 000012
【図１１】
2014191718.tif 000013
【図１２】
2014191718.tif 000014
【図１３】
2014191718.tif 000015
【図１４】
2014191718.tif 000016
【図１５】
2014191718.tif 000017
【図１６】
2014191718.tif 000018
【図１７】
2014191718.tif 000019
【図１８】
2014191718.tif 000020
【図１９】
2014191718.tif 000021
【図２０】
2014191718.tif 000022