(57)【要約】      （修正有）【課題】拡張現実空間に配置される３Ｄオブジェクトを生成する技術を提供する。【解決手段】撮像された現実空間に３Ｄオブジェクトの画像を表示し、３Ｄオブジェクトを構成する複数の構成要素の各々の状態を変化させるパラメータを調整するための複数のインジケータを表示し、３Ｄオブジェクトに対する装置の位置及び姿勢を検知し、位置及び姿勢に対応する３Ｄオブジェクトの画像を表示し、インジケータを介したパラメータの調整のユーザ指示に応じて、３Ｄオブジェクトのパラメータに関連する構成要素の状態を変化させ、変化させた構成要素の状態を含む、位置及び姿勢に対応する３Ｄオブジェクト画像を表示する。【選択図】図７
2020046863.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ装置の表示部に表示される拡張現実空間に配置される３Ｄオブジェクトを生成する方法であって、
撮像された現実空間に３Ｄオブジェクトの画像を表示し、
３Ｄオブジェクトを構成する複数の構成要素の各々の状態を変化させるパラメータを調整するための複数のインジケータを表示し、
前記３Ｄオブジェクトに対する前記装置の位置及び姿勢を検知し、
前記位置及び姿勢に対応する前記３Ｄオブジェクトの画像を表示し、
前記インジケータを介した前記パラメータの調整のユーザ指示に応じて、前記３Ｄオブジェクトの前記パラメータに関連する構成要素の状態を変化させ、
前記変化させた構成要素の状態を含む、前記位置及び姿勢に対応する前記３Ｄオブジェクト画像を表示する、方法。
【請求項２】
前記３Ｄオブジェクトはキャラクタに係る３Ｄオブジェクトである、請求項１に記載の方法。
【請求項３】
前記複数の構成要素は、少なくとも、顔、目、眉、鼻及び耳のいずれかを含む、請求項１に記載の方法。
【請求項４】
ユーザのジェスチャを検知し、
当該ジェスチャに応じて、前記３Ｄオブジェクトの姿勢を変更する、請求項１に記載の方法。
【請求項５】
さらに、前記３Ｄオブジェクトとは異なる他の３Ｄオブジェクトを、前記現実空間に表示する、請求項１に記載の方法。
【請求項６】
前記３Ｄオブジェクトを含む拡張現実空間を、複数のユーザ装置に送信する、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実空間に配置される３Ｄオブジェクトを生成する方法に関する。詳しくは、スマートフォン等の携帯端末の表示部に表示される拡張現実空間に配置される３Ｄオブジェクトを生成する方法に関する。また、スマートグラス、ヘッドマウントディスプレイ等のウェアラブルデバイス等の表示部に表示される拡張現実空間に配置される３Ｄオブジェクトを生成する方法に関する。
【背景技術】
【０００２】
従来、二次元（２Ｄ）や三次元（３Ｄ）の静止画や動画（アニメーション）で表現されるキャラクタを生成するため、様々な技術が提案されている。
【０００３】
多くの場合、画像として表現する対象物を構成する部品に対してパラメータを設け、パラメータを調整することで、各々の部品の状態を変化させる、といった手法が用いられる。
【０００４】
一例として、3次元オブジェクト（例えば、キャラクタ）の生成に当たり、その構成要素（例えば、顔、口、眉等）に対して、各部品の状態の変化（例えば、口の開閉、目の開閉、眉の縦移動、眉の横移動、目玉の縦移動、目玉 の横移動、怒りの度合、笑いの度合、照れの度合）に関連するパラメータや、物体（例えば、顔）の回転角（−１８０〜１８０）に関連するパラメータを設定する手法が開示されている（例えば、特許文献１）。
【０００５】
昨今、現実世界に画像やアノテーション等の情報をウェアリングデバイスのディスプレイ等を通して付加することで、ユーザの現実空間を拡張する、という拡張現実空間を提供するサービスが普及している。一例として、スマートフォンのカメラにより撮像された現実空間上に、アニメキャラクタのようなデジタル画像を重畳させて表示する、といったサービスが挙げられ、ユーザは、あたかもそのキャラクタが現実空間に実在しているかのような感覚を持つことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１０４５７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような拡張現実空間を演出するキャラクタのようなデジタル画像は、元々現実空間に配置されることを想定したものでない場合が多く、各々のユーザによって異なる現実空間にマッチするキャラクタを提供することは難しい。上記特許文献の３Ｄオブジェクト生成技術は、二次元上のイラスト編集ツールの延長上にある技術であり、拡張現実空間に配置されるキャラクタを生成することを想定したものではない。
【０００８】
そこで、本発明は、拡張現実空間に配置される３Ｄオブジェクトを生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一の実施形態において、ユーザ装置の表示部に表示される拡張現実空間に配置される３Ｄオブジェクトを生成する方法は、撮像された現実空間に３Ｄオブジェクトの画像を表示し、３Ｄオブジェクトを構成する複数の構成要素の各々の状態を変化させるパラメータを調整するための複数のインジケータを表示し、前記３Ｄオブジェクトに対する前記装置の位置及び姿勢を検知し、前記位置及び姿勢に対応する前記３Ｄオブジェクトの画像を表示し、  前記インジケータを介した前記パラメータの調整のユーザ指示に応じて、前記３Ｄオブジェクトの前記パラメータに関連する構成要素の状態を変化させ、前記変化させた構成要素の状態を含む、前記位置及び姿勢に対応する前記３Ｄオブジェクト画像を表示する。
【発明の効果】
【００１０】
本発明によれば、拡張現実空間に配置される３Ｄオブジェクトを生成する技術を提供することを実現することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係るシステム構成図を示す。
【図２】第１の実施形態に係るサーバの機能構成図を示す。
【図３】第１の実施形態に係るユーザ端末の機能構成図を示す。
【図４】各センサの機能を説明する概念図を示す。
【図５】第１の実施形態に係る制御部の機能構成図を示す。
【図６】第１の実施形態に係るストレージの詳細を示す。
【図７】第１の実施形態に係る、３Dオブジェクトの生成方法のフローチャートを示す。
【図８】第１の実施形態に係る、ユーザ端末の姿勢変更に伴う処理のフローチャートを示す。
【図９】第１の実施形態に係る、３Dオブジェクトの生成画面の例を示す。
【図１０】第１の実施形態に係る、３Dオブジェクトの生成画面の他の例を示す。
【図１１】拡張現実空間における、各座標系を説明する概念図を示す。
【００１２】
＜第１実施形態＞
本発明の第１実施形態に係る３Dオブジェクトの生成方法の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１３】
図１に、本発明の第１の実施形態に係るシステム構成図を示す。図１に示すように、本実施形態に係るシステムは、サーバ１と、サーバ１に、インターネット等のネットワークを介して接続される、ユーザ端末２Ａとユーザ端末２Ｂとを含む。図１には、説明の便宜上ユーザ端末２Ａ、２Ｂ（以下、ユーザ端末２と総称する）が図示されているが、任意の数のユーザ端末がネットワークに接続可能である。
【００１４】
サーバ１は、ユーザ端末２Ａ、２Ｂに関連付けられるユーザに対し、現実空間に、例えば、アニメキャラクタのような、３Dオブジェクトを配置することによる拡張現実空間を提供するサービスを提供することができる。例えば、サーバ１は、ユーザ端末２（例えば、携帯電話端末やスマートフォン）内蔵のカメラにより撮像される現実空間に、キャラクタ画像を重畳させることによる拡張現実空間を提供するサービスを提供する。
【００１５】
より具体的には、ユーザは、ユーザの部屋を、例えばスマートフォン内蔵のカメラにより撮像し、ユーザはお気に入りのキャラクタ画像をその部屋の背景画像に重畳させて表示させることができる。これにより、ユーザは、あたかも自分の部屋にお気に入りのキャラクタが同居しているかの感覚を覚えることができる。
【００１６】
例えば、ユーザは、ユーザ端末２に、サーバ１または他のプラットフォームから本サービスアプリケーションをダウンロードし、アプリケーションを介して、サーバ１と本サービスに関するデータを送受信することができる。または、ユーザは、ユーザ端末２に内蔵されたＷｅｂブラウザにより、サーバ１に格納されるＷｅｂアプリケーションにアクセスすることにより、本サービスに関するデータを送受信することもできる。以下の実施形態においては、例示として、ダウンロードされたアプリケーションを介した本サービスの提供方法について説明する。
【００１７】
ユーザ端末２として、例えばスマートフォン、タブレット、携帯端末その他情報端末としてもよいし、ワークステーションやパーソナルコンピュータのような汎用コンピュータであってもよい。さらに、スマートグラス、ヘッドマウントディスプレイ等の、ユーザの身体に装着し得るウェアラブルデバイスであってもよい。
【００１８】
図２は、第１実施形態に係るサーバの機能構成図を示す。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
【００１９】
図示されるように、サーバ１は、データベース(図示せず)と接続されシステムの一部を構成する。サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
【００２０】
サーバ１は、少なくとも、制御部１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
【００２１】
制御部１０は、サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部１０はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。
【００２２】
メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
【００２３】
ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（図示せず）がストレージ１２に構築されていてもよい。
【００２４】
送受信部１３は、サーバ１をネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。
【００２５】
入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
【００２６】
バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【００２７】
図３は、第１実施形態に係るユーザ端末の機能構成図を示す。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
【００２８】
ユーザ端末２は、前述の通り、様々な情報端末や汎用コンピュータとすることができるか、以下、スマートフォンを例に説明する。ユーザ端末２は、少なくとも、制御部２０、メモリ２１、ストレージ２２、送受信部２３、入力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。
【００２９】
制御部２０は、ユーザ端末２全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部２０はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ストレージ２２に格納されメモリ２１に展開されたプログラム等を実行して各情報処理を実施する。
【００３０】
メモリ２１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ２１は、制御部２０のワークエリア等として使用され、また、ユーザ端末２の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
【００３１】
ストレージ２２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（図示せず）がストレージ２２に構築されていてもよい。
【００３２】
送受信部２３は、ユーザ端末２をネットワークに接続する。なお、送受信部２３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。
【００３３】
入力部２４は、タッチパネル等の情報入力機器である。
【００３４】
バス２５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【００３５】
さらに、ユーザ端末２は、カメラ２６を備える。カメラ２６は、ユーザ端末２に内蔵され、現実空間を撮像し、通常、ユーザ端末２を把持するユーザの視線方向と一致するように備えられる。
【００３６】
カメラ２６により撮像された現実空間の画像は、画像制御部２７により、キャラクタ等の３Ｄオブジェクトの画像と合成され、表示部２８により、現実空間の画像に３Ｄオブジェクトの画像が重畳して表示される。画像制御部２７は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、主に画像処理に係る演算処理を実行する。また、表示部２８は、スマートフォンの場合、例えば、ＬＣＤまたは有機ＥＬ等のディスプレイである。表示部２８は、カメラ２６のファインダとして機能することもできる。
【００３７】
ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）２９は、現在位置情報を測位する。ＧＰＳ２９は、ＧＰＳ衛星から測位用の電波を受信し、絶対位置となる緯度経度情報を測位することができる。また、複数の携帯電話用の基地局から通信電波を受信し、複数基地局測位機能によって現在位置情報を測位することもできる。
【００３８】
加速度センサ３０は、加速度（単位時間当たりの速度の変化）を検出する。加速度センサ３０は、３軸方向（ｘ、ｙ、ｚ方向）の加速度を検出することができる。例えば、図４に示すように、スマートフォンの前後方向をｘ軸、左右方向をｙ軸、上下方向をｚ軸とし、前方方向をｘ軸正方向、左方向をｙ軸正方向、下方向をｚ軸方向とすると、加速度センサ３０は、各方向の加速度を検出するとともに、ｘ軸回りの回転角（ロール角）、ｙ軸回りの回転角（ピッチ角）、ｚ軸回りの回転角（ヨー角）を検出する。
【００３９】
地磁気センサ３１は、３軸方向（上記ｘ、ｙ、ｚ軸方向）の地磁気の方向を検出し、水平方向の方位を表示する。図４の例において、方位角は、地磁気センサにより検出され、算出された真北の方位Ｎを基点とした時計回りの角度で示される。
【００４０】
本例においては、スマートフォンを挙げて説明しているが、上述の通り、ユーザ端末として、ウェアラブルデバイスを用いることもできる。この場合、ウェアラブルデバイスに、本例におけるスマートフォンに内蔵される機能と同等の機能を備えることができる。
【００４１】
図５は、第１の実施形態に係る制御部の機能構成図を示す。なお、本実施形態においては、ユーザ端末２の制御部２０の機能構成図の詳細について説明するが、同様の機能をサーバ１の制御部１０に備え、制御部１０において処理することができる。以下、各機能構成は、メモリ２１、ストレージ１２等に記憶されたプログラムを制御部２０において実行することで実現される。
【００４２】
ユーザ要求受付部４１は、ユーザ端末２の入力部２４を操作することで取得されるユーザ要求を受け付ける。ユーザ要求として、例えば、拡張現実空間に表示するキャラクタの選択、キャラクタの各構成要素（例えば、顏、眼、鼻、口、眉、耳、髪型等）を変更するためのパラメータ調整等が挙げられる。
【００４３】
姿勢判定部４２は、ＧＰＳ２９、加速度センサ３０、地磁気センサ３１等から検出されるデータ（例えば、加速度、動き、傾き等）を基にユーザ端末２の位置及び姿勢を算出する。
【００４４】
キャラクタ画像管理部４３は、ストレージ２２に格納されるキャラクタの３Ｄオブジェクトを管理し、例えば、ユーザ要求に応じて、キャラクタの構成要素を変更する。
【００４５】
図６は、第１の実施形態に係るストレージの詳細を示す。なお、本実施形態においては、ユーザ端末２のストレージ２２の詳細について説明するが、同様の情報をメモリ２１や、サーバ１のメモリ１１、ストレージ１２等に格納することもできる。
【００４６】
ストレージ１２は、キャラクタ情報５１とキャラクタ部品情報５２を格納する。キャラクタ情報として、拡張現実空間に表示されるキャラクタの３Ｄオブジェクトの生成に関連するデータ（例えば、キャラクタ画像データ、３Ｄ形状データ、テクスチャデータ、アニメーションデータ及び座標情報、色情報等のそれらを構成するデータ）を所定の形式で格納する。ユーザが複数の種類のキャラクタを選択できるよう、複数のキャラクタ情報を格納することもできる。また、キャラクタ部品情報５２は、キャラクタ情報５１に含まれることも可能であるが、キャラクタを構成する構成要素（部品）（例えば、顏、眼、鼻、口、眉、耳、髪型等）を各々複数のパターン（例えば、眼であれば、開く、閉じる、薄目をする等）で格納する。その他、ストレージ１２は、画像処理プログラムを始め各種プログラム、アプリケーション、オペレーションシステム等を格納する。
【００４７】
図７は、第１の実施形態に係る、３Dオブジェクトの生成方法のフローチャートを示す。本３Ｄオブジェクトの生成方法に係る処理は、例えば、ユーザ端末２のメモリ２２に格納されるプログラムを制御部２１において実行することで実現され得るが、他に、サーバ１のメモリ１２に格納されるプログラムを制御部１１において実行することで実現することもでき、または、これらが協働して実行することで実現することも可能である。
【００４８】
まず、制御部２０のユーザ要求受付部４１は、アプリケーション等を介して、ユーザ端末２に関連づけられるユーザから拡張現実空間に表示するキャラクタの選択要求を受信する（Ｓ１０１）。表示するキャラクタの種類が、1種類の場合は、本ステップを省略することもできる。
【００４９】
続いて、表示制御部２７は、ユーザが選択したキャラクタを拡張現実空間に表示する処理を行う（Ｓ１０２）。例えば、表示制御部２７は、ストレージ２２に格納されたキャラクタ情報を基に、３Ｄ形状データを所定の空間にマッピングし、キャラクタ画像データから変換されたテクスチャデータに、テクスチャデータを３Ｄ形状にマッピングさせることで、キャラクタの３Ｄオブジェクトを生成する。そして、カメラ２６で撮像された現実空間を、所定の空間の背景画像として設定することで、現実空間にキャラクタの３Ｄオブジェクトが重畳された画像が生成され、拡張現実空間が提供され、拡張現実空間がディスプレイに表示される。例えば、図９に示すように、キャラクタの３Ｄオブジェクトは、拡張現実空間において中央に表示され、正面を向いている。ユーザ端末２との関係では、図４に示すｘ軸方向とは反対方向を向いている。ここで、表示制御部７２は、図９に示すように、キャラクタの３Ｄオブジェクトの各構成要素（例えば、顏、眼、鼻、口、眉、耳、髪型等）の状態を変化させるパラメータを調整するための複数のインジケータを表示し、ユーザからパラメータを調整するためのインジケータを介した指示を受け付け、これに応じて、指定された構成要素の状態を変更する処理を行うことができる。また、表示制御部２７は、拡張現実空間におけるキャラクタの３Ｄオブジェクトのテクスチャの色の補正を行うためのインジケータを表示することもできる。ここで、色の補正とは、明るさ、彩度、色調、鮮明さ、コントラスト等の補正を含む。
【００５０】
続いて、制御部２０の姿勢判定部４２は、ユーザ端末２の姿勢変更に関する情報を受信したか、を確認する（Ｓ１０３）。例えば、ユーザは、ディスプレイに表示されるキャラクタの横顔を見ながら、キャラクタの眼や鼻といった構成要素を変更したいと考え、ユーザ端末２をキャラクタの横顔に向けるよう姿勢を移動させ、傾けさせる。すなわち、図４において、ユーザ端末２は、ｚ軸回りに回転し、ｘｙ軸方向に所定の距離だけ移動する。そうすると、ＧＰＳ２９、加速度センサ３０、地磁気センサ３１は、ユーザ端末２の姿勢及び位置の変化を、例えば、ユーザ端末２の緯度・経度、ｚ軸回りの角（ヨー角）の角速度、ｘ方向・ｙ方向の加速度、北を基準とした方位角として検出し、制御部２０の姿勢判定部４２に検出結果を送信する。
【００５１】
姿勢判定部４２は、ユーザ端末２の姿勢の変更があったと判定すると、これに追従するように、制御部２０及び画像制御部２７は、キャラクタの３Ｄオブジェクトの姿勢の変更を制御する（Ｓ１０４）。本処理において、例えば、図１０に示すように、画像制御部２７は、キャラクタの３Ｄオブジェクトを、姿勢変更後のユーザ端末２のカメラ位置にあわせてディスプレイに表示する。同時に、図１０に示すように、画像制御部２７は、キャラクタの３Ｄオブジェクトの各構成要素（例えば、顏、眼、鼻、口、眉、耳、髪型等）の状態を変化させるパラメータを調整するための複数のインジケータを表示する。本処理の詳細は、図８において説明する。
【００５２】
次に、制御部２０のユーザ要求受付部４１は、ユーザからインジケータを介してパラメータを調整するための指示を受け付けたか、を確認する（Ｓ１０５）。例えば、図１０において、ユーザ要求受付部４１は、ユーザから、鼻の位置を上下に調整するため、インジケータを左右に動かす入力を受け付ける。
【００５３】
画像制御部２７は、ユーザから、パラメータ調整をするための指示を受け付けると、これに応じて、キャラクタの３Ｄオブジェクトの構成要素を変更する処理を行う（Ｓ１０６）。例えば、画像制御部２７は、キャラクタの鼻を上下に移動させる処理を行う。具体的には、オブジェクト形状データを構成する座標データを変更する等の処理を行う。
【００５４】
画像制御部２７は、パラメータ調整後のキャラクタの３Ｄオブジェクトを拡張現実空間に表示する（Ｓ１０７）。このとき、表示されるオブジェクトの画像は、横向きのキャラクタであるため、ユーザは、キャラクタの横顔を見ながら、キャラクタの構成要素の状態の変化を確認することができる。
【００５５】
上記例によれば、ユーザ端末の姿勢変更後にキャラクタの構成要素の状態を変更させるパラメータ調整の入力を受け付けているが、予めキャラクタがユーザに対して正面を向いた状態でパラメータ調整の入力を受け付け、構成要素の状態が変更されたキャラクタを、ユーザ端末の姿勢を変えることで、異なる視点から確認する、といった応用例も考えられる。
【００５６】
また、上記例によれば、インジケータを表示し、パラメータ調整の入力を受け付けることで３Ｄオブジェクトの構成要素の状態の変更処理を行うこととしているが、さらに、または、これに替えて、ユーザ端末２に内蔵されたカメラ２６や（図示しない）深度センサによってユーザの手の動きを認識し、カメラ位置と３Ｄオブジェクトとの相対的な距離、また、ユーザの手の位置と３Ｄオブジェクトとの相対的な位置に基づいて、手の動きに応じて、複数のジェスチャの中から一のジェスチャを特定し、特定したジェスチャと３Ｄオブジェクトの座標位置に対応させて、３Ｄオブジェクトの構成要素の状態を変更させる処理を行うこともできる。
【００５７】
図８は、第１の実施形態に係る、ユーザ端末の姿勢変更に伴う処理のフローチャートを示す。まず、制御部２０の姿勢判定部４２は、ユーザ端末の姿勢変更に関する情報、すなわちカメラの姿勢変更に関する情報を受信する（Ｓ２０１）。
【００５８】
次に、姿勢判定部４２は、受信した情報を基に、姿勢変更後のカメラの座標を算出する（Ｓ２０２）。上記例において、姿勢判定部４２は、姿勢及び位置変更後のユーザ端末２の緯度・経度、ｚ軸回りの角（ヨー角）の角速度、ｘ方向・ｙ方向の加速度、北を基準とした方位角等の情報を基に、ユーザ端末２に姿勢変更があった旨判定し、ユーザ端末２に備えられたカメラ位置の座標を算出する。
【００５９】
続いて、画像制御部２７は、３Ｄオブジェクトの座標変換処理を行う（Ｓ２０３）。具体的には、図１１に示すように、３Ｄオブジェクトのオブジェクト（ローカル）座標系を、オブジェクトが所定の空間のどの座標に配置されるかを示すワールド座標系に変換し、ワールド座標を、Ｓ２０２にて算出したカメラ位置の座標系に変換し、カメラ位置の座標系を、オブジェクトが表示部２８のディスプレイスクリーンのどこに配置されるかを示すプロジェクション座標系に変換する処理を行う。上記例によれば、まず、キャラクタの３Ｄオブジェクトが、拡張現実空間における所定の基準位置を基点としたワールド座標系のどこに配置されるかを、座標変換により算出し、そのうえで、キャラクタに対して正面位置から横の位置に変更されたユーザ端末２（すなわち、カメラ２６）を基点としたカメラ座標系から見た３Ｄオブジェクトを、座標変換により算出し、さらに、その３Ｄオブジェクトがディスプレイスクリーンのどの位置に配置されるか、を座標変換により算出する。この結果、図１０に示すように、ディスプレイにキャラクタの横顔が表示されることになる。
【００６０】
そして、画像制御部２７は、座標変換処理に基づいて、３Ｄオブジェクトを現実空間に重畳させて拡張現実空間として表示する処理を行う（Ｓ２０４）。
【００６１】
以上のように、本実施形態によれば、拡張現実空間にキャラクタの３Ｄオブジェクトを配置させたまま、任意の視線からキャラクタの構成要素の状態を確認しながら変更することができるため、現実空間にマッチしたキャラクタの３Ｄオブジェクトを生成することができる。
【００６２】
本実施形態によれば、単体のキャラクタの３Ｄオブジェクトを拡張現実空間に配置し、その構成要素を変更させる処理を行うこととしているが、例えば、複数のキャラクタを同じ拡張現実空間に配置させて、ユーザは、複数のキャラクタのうち、任意のキャラクタの３Ｄオブジェクトの構成要素の状態を変更するよう、パラメータ調整の入力指示を行うことができる。これにより、ユーザは、あたかも現実空間において、複数の異なる容姿、背丈のキャラクタが共存しているかのような感覚を覚えながら、お気に入りのキャラクタの容姿の変更を楽しむことができる。
【００６３】
さらに、本実施形態において、サーバ１は、あるユーザ端末２Ａに提供された拡張現実空間を、ネットワークを介して、別のユーザ端末２Ｂに提供することができる。ここで、ユーザ端末２Ａは、自端末の表示部２８に表示される拡張現実空間において配置される、キャラクタの３Ｄオブジェクトに関する情報を、他の端末２Ｂに送信するようサーバ１に要求を送信する。ユーザ端末２Ｂは、ユーザ端末２Ａにおいて表示されたキャラクタの３Ｄオブジェクトに関する情報を受信すると、自端末２Ｂの表示部に表示される拡張現実空間に、キャラクタを表示させる。このとき、拡張現実空間に表示される背景画像には、ユーザ端末２Ｂ内蔵のカメラにより撮像された現実空間を使用することができる。そして、ユーザ端末２Ｂを操作するユーザは、ユーザ端末２Ａが操作するユーザによって指示されるキャラクタの容姿の変更の様子を自端末の拡張現実空間の中でリアルタイムに楽しむことができる。
【００６４】
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
【符号の説明】
【００６５】
１  サーバ
２  ユーザ端末
【図１】
2020046863.tif 000003
【図２】
2020046863.tif 000004
【図３】
2020046863.tif 000005
【図４】
2020046863.tif 000006
【図５】
2020046863.tif 000007
【図６】
2020046863.tif 000008
【図７】
2020046863.tif 000009
【図８】
2020046863.tif 000010
【図９】
2020046863.tif 000011
【図１０】
2020046863.tif 000012
【図１１】
2020046863.tif 000013