(57)【要約】      （修正有）【課題】拡張現実空間に配置される３Ｄオブジェクトを生成する技術を提供する。【解決手段】ユーザ装置の表示部に表示される拡張現実空間に配置される３Ｄオブジェクトを生成する方法は、ユーザ装置の表示部に表示される拡張現実空間に配置される３Ｄオブジェクトを生成する方法であって、撮像された現実空間に３Ｄオブジェクトの画像を表示し拡張現実空間内におけるユーザのハンドジェスチャを検出し、ハンドジェスチャに基づいて、３Ｄオブジェクトの姿勢を制御する。【選択図】図６
2020113094.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ装置の表示部に表示される拡張現実空間に配置される３Ｄオブジェクトを生成する方法であって、
撮像された現実空間に３Ｄオブジェクトの画像を表示し、
前記拡張現実空間内におけるユーザのハンドジェスチャを検出し、
当該ハンドジェスチャに基づいて、前記３Ｄオブジェクトの姿勢を制御する、
方法。
【請求項２】
前記３Ｄオブジェクトの姿勢を制御することは、
前記拡張現実空間内に表示される３Ｄオブジェクト画像のうち、当該検出された位置座標を確認し、
当該検出された位置座標に対応する前記３Ｄオブジェクトの位置座標を確認し、
当該確認した３Ｄオブジェクトの位置座標に対応する当該３Ｄオブジェクトの部品を特定し、
前記検出されたハンドジェスチャに基づいて、当該３Ｄオブジェクトの部品位置を変更する、ことを含む方法。
【請求項３】
前記３Ｄオブジェクトはキャラクタに係る３Ｄオブジェクトである、請求項１に記載の方法。
【請求項４】
前記部品は、前記３Ｄオブジェクトの可動部である、請求項２に記載の方法。
【請求項５】
前記部品は、前記３Ｄオブジェクトの髪、腕、指、脚のいずれかである、請求項４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実空間に配置される３Ｄオブジェクトを生成する方法に関する。詳しくは、スマートフォン等の携帯端末の表示部に表示される拡張現実空間に配置される３Ｄオブジェクトを生成する方法に関する。また、スマートグラス、ヘッドマウントディスプレイ等のウェアラブルデバイス等の表示部に表示される拡張現実空間に配置される３Ｄオブジェクトを生成する方法に関する。
【背景技術】
【０００２】
従来、二次元（２Ｄ）や三次元（３Ｄ）の静止画や動画（アニメーション）で表現されるキャラクタを生成するため、様々な技術が提案されている。
【０００３】
多くの場合、画像として表現する対象物を構成する部品に対してパラメータを設け、パラメータを調整することで、各々の部品の状態を変化させる、といった手法が用いられる。
【０００４】
一例として、3次元オブジェクト（例えば、キャラクタ）の生成に当たり、その構成要素（例えば、顔、口、眉等）に対して、各部品の状態の変化（例えば、口の開閉、目の開閉、眉の縦移動、眉の横移動、目玉の縦移動、目玉 の横移動、怒りの度合、笑いの度合、照れの度合）に関連するパラメータや、物体（例えば、顔）の回転角（−１８０〜１８０）に関連するパラメータを設定する手法が開示されている（例えば、特許文献１）。
【０００５】
昨今、現実世界に画像やアノテーション等の情報をウェアリングデバイスのディスプレイ等を通して付加することで、ユーザの現実空間を拡張する、という拡張現実空間を提供するサービスが普及している。一例として、スマートフォンのカメラにより撮像された現実空間上に、アニメキャラクタのようなデジタル画像を重畳させて表示する、といったサービスが挙げられ、ユーザは、あたかもそのキャラクタが現実空間に実在しているかのような感覚を持つことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１０４５７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような拡張現実空間を演出するキャラクタのようなデジタル画像は、元々現実空間に配置されることを想定したものでない場合が多く、各々のユーザによって異なる現実空間にマッチするキャラクタを提供することは難しい。上記特許文献の３Ｄオブジェクト生成技術は、二次元上のイラスト編集ツールの延長上にある技術であり、拡張現実空間に配置されるキャラクタを生成することを想定したものではない。
【０００８】
そこで、本発明は、拡張現実空間に配置される３Ｄオブジェクトを生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一の実施形態において、ユーザ装置の表示部に表示される拡張現実空間に配置される３Ｄオブジェクトを生成する方法であって、撮像された現実空間に３Ｄオブジェクトの画像を表示し、前記拡張現実空間内におけるユーザのハンドジェスチャを検出し、当該ハンドジェスチャに基づいて、前記３Ｄオブジェクトの姿勢を制御する、方法。
【発明の効果】
【００１０】
本発明によれば、拡張現実空間に配置される３Ｄオブジェクトを生成する技術を提供することを実現することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係るシステム構成図を示す。
【図２】第１の実施形態に係るサーバの機能構成図を示す。
【図３】第１の実施形態に係るユーザ端末の機能構成図を示す。
【図４】第１の実施形態に係る制御部の機能構成図を示す。
【図５】第１の実施形態に係るストレージの詳細を示す。
【図６】第１の実施形態に係る、３Dオブジェクトの生成方法のフローチャートを示す。
【図７】第１の実施形態に係る、ユーザ端末の姿勢制御に伴う処理のフローチャートを示す。
【図８】第１の実施形態に係る、３Dオブジェクトの生成画面の例を示す。
【００１２】
＜第１実施形態＞
本発明の第１実施形態に係る３Dオブジェクトの生成方法の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１３】
図１に、本発明の第１の実施形態に係るシステム構成図を示す。図１に示すように、本実施形態に係るシステムは、サーバ１と、サーバ１に、インターネット等のネットワークを介して接続される、ユーザ端末２Ａとユーザ端末２Ｂとを含む。図１には、説明の便宜上ユーザ端末２Ａ、２Ｂ（以下、ユーザ端末２と総称する）が図示されているが、任意の数のユーザ端末がネットワークに接続可能である。
【００１４】
サーバ１は、ユーザ端末２Ａ、２Ｂに関連付けられるユーザに対し、現実空間に、例えば、アニメキャラクタのような、３Dオブジェクトを配置することによる拡張現実空間を提供するサービスを提供することができる。例えば、サーバ１は、ユーザ端末２（例えば、携帯電話端末やスマートフォン）内蔵のカメラにより撮像される現実空間に、キャラクタ画像を重畳させることによる拡張現実空間を提供するサービスを提供する。
【００１５】
より具体的には、ユーザは、ユーザの部屋を、例えばスマートフォン内蔵のカメラにより撮像し、ユーザはお気に入りのキャラクタ画像をその部屋の背景画像に重畳させて表示させることができる。これにより、ユーザは、あたかも自分の部屋にお気に入りのキャラクタが同居しているかの感覚を覚えることができる。
【００１６】
例えば、ユーザは、ユーザ端末２に、サーバ１または他のプラットフォームから本サービスアプリケーションをダウンロードし、アプリケーションを介して、サーバ１と本サービスに関するデータを送受信することができる。または、ユーザは、ユーザ端末２に内蔵されたＷｅｂブラウザにより、サーバ１に格納されるＷｅｂアプリケーションにアクセスすることにより、本サービスに関するデータを送受信することもできる。以下の実施形態においては、例示として、ダウンロードされたアプリケーションを介した本サービスの提供方法について説明する。
【００１７】
ユーザ端末２として、例えばスマートフォン、タブレット、携帯端末その他情報端末としてもよいし、ワークステーションやパーソナルコンピュータのような汎用コンピュータであってもよい。さらに、スマートグラス、ヘッドマウントディスプレイ等の、ユーザの身体に装着し得るウェアラブルデバイスであってもよい。
【００１８】
図２は、第１実施形態に係るサーバの機能構成図を示す。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
【００１９】
図示されるように、サーバ１は、データベース(図示せず)と接続されシステムの一部を構成する。サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
【００２０】
サーバ１は、少なくとも、制御部１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
【００２１】
制御部１０は、サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部１０はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。
【００２２】
メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
【００２３】
ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（図示せず）がストレージ１２に構築されていてもよい。
【００２４】
送受信部１３は、サーバ１をネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。
【００２５】
入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
【００２６】
バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【００２７】
図３は、第１実施形態に係るユーザ端末の機能構成図を示す。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
【００２８】
ユーザ端末２は、前述の通り、様々な情報端末や汎用コンピュータとすることができるか、以下、スマートフォンを例に説明する。ユーザ端末２は、少なくとも、制御部２０、メモリ２１、ストレージ２２、送受信部２３、入力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。
【００２９】
制御部２０は、ユーザ端末２全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部２０はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ストレージ２２に格納されメモリ２１に展開されたプログラム等を実行して各情報処理を実施する。
【００３０】
メモリ２１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ２１は、制御部２０のワークエリア等として使用され、また、ユーザ端末２の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
【００３１】
ストレージ２２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（図示せず）がストレージ２２に構築されていてもよい。
【００３２】
送受信部２３は、ユーザ端末２をネットワークに接続する。なお、送受信部２３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。
【００３３】
入力部２４は、タッチパネル等の情報入力機器である。
【００３４】
バス２５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【００３５】
さらに、ユーザ端末２は、カメラ２６を備える。カメラ２６は、ユーザ端末２に内蔵され、現実空間を撮像し、通常、ユーザ端末２を把持するユーザの視線方向と一致するように備えられる。カメラ２６はまた、ユーザのジェスチャをキャプチャするセンサ（例えば、二次元／三次元カメラ、超音波、深度、ＩＲセンサ等）としての機能を備える。
【００３６】
カメラ２６により撮像された現実空間の画像は、画像制御部２７により、キャラクタ等の３Ｄオブジェクトの画像と合成され、表示部２８により、現実空間の画像に３Ｄオブジェクトの画像が重畳して表示される。画像制御部２７は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、主に画像処理に係る演算処理を実行する。また、表示部２８は、スマートフォンの場合、例えば、ＬＣＤまたは有機ＥＬ等のディスプレイである。表示部２８は、カメラ２６のファインダとして機能することもできる。
【００３７】
ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）２９は、現在位置情報を測位する。ＧＰＳ２９は、ＧＰＳ衛星から測位用の電波を受信し、絶対位置となる緯度経度情報を測位することができる。また、複数の携帯電話用の基地局から通信電波を受信し、複数基地局測位機能によって現在位置情報を測位することもできる。
【００３８】
加速度センサ３０は、加速度（単位時間当たりの速度の変化）を検出する。加速度センサ３０は、３軸方向（ｘ、ｙ、ｚ方向）の加速度を検出することができる。例えば、スマートフォンの前後方向をｘ軸、左右方向をｙ軸、上下方向をｚ軸とし、前方方向をｘ軸正方向、左方向をｙ軸正方向、下方向をｚ軸方向とすると、加速度センサ３０は、各方向の加速度を検出するとともに、ｘ軸回りの回転角（ロール角）、ｙ軸回りの回転角（ピッチ角）、ｚ軸回りの回転角（ヨー角）を検出する。
【００３９】
地磁気センサ３１は、３軸方向（上記ｘ、ｙ、ｚ軸方向）の地磁気の方向を検出し、水平方向の方位を表示する。方位角は、地磁気センサにより検出され、算出された真北の方位Ｎを基点とした時計回りの角度で示される。
【００４０】
本例においては、スマートフォンを挙げて説明しているが、上述の通り、ユーザ端末として、ウェアラブルデバイスを用いることもできる。この場合、ウェアラブルデバイスに、本例におけるスマートフォンに内蔵される機能と同等の機能を備えることができる。
【００４１】
図４は、第１の実施形態に係る制御部の機能構成図を示す。なお、本実施形態においては、ユーザ端末２の制御部２０の機能構成図の詳細について説明するが、同様の機能をサーバ１の制御部１０に備え、制御部１０において処理することができる。以下、各機能構成は、メモリ２１、ストレージ１２等に記憶されたプログラムを制御部２０において実行することで実現される。
【００４２】
ジェスチャ検出部４１は、例えば、ユーザの手のジェスチャを検出する。具体的には、ジェスチャ検出部４１は、ユーザ端末２（スマートフォン）のカメラ２６がキャプチャした、ユーザの手のジェスチャを含む画像をフィルタ除去等の手法により正規化し、正規化された画像のエッジ画像の各画素に対して、カメラの三次元座標系（ｘ、ｙ、ｚ）における位置及び方向を含むインデックスを付与し、付与されたインデックスを基に、ユーザ端末外部のデータベースに格納された、予めインデックスが付与されたジェスチャ画像を検索し、インデックスがマッチした手のジェスチャ画像を決定する。
【００４３】
キャラクタ画像管理部４２は、ストレージ２２に格納されるキャラクタの３Ｄオブジェクトを管理し、例えば、ジェスチャ検出に応じて、キャラクタの位置や姿勢を制御する。
【００４４】
図５は、第１の実施形態に係るストレージの詳細を示す。なお、本実施形態においては、ユーザ端末２のストレージ２２の詳細について説明するが、同様の情報をメモリ２１や、サーバ１のメモリ１１、ストレージ１２等に格納することもできる。
【００４５】
ストレージ１２は、キャラクタ情報５１を格納する。キャラクタ情報として、拡張現実空間に表示されるキャラクタの３Ｄオブジェクトの生成に関連するデータ（例えば、キャラクタ画像データ、３Ｄ形状データ、テクスチャデータ、アニメーションデータ及び座標情報、色情報等のそれらを構成するデータ）を所定の形式で格納する。また、キャラクタ情報は、アニメーションデータとして、キャラクタの各々の部品（例えば、髪の毛、顔、首、胴体、腕、手、脚等）が相互に動くために必要なボーンオブジェクト情報を有し、各々の部品について、位置（ｘ、ｙ、ｚ座標）、接続元／接続先の部品、質量／幅／高さ、回転制限（ｘ、ｙ、ｚ座標の最大値／最小値）、及び移動制限（ｘ、ｙ、ｚ座標の最大値／最小値）等の情報を有することができる。また、ユーザが複数の種類のキャラクタを選択できるよう、複数のキャラクタ情報を格納することもできる。その他、ストレージ１２は、画像処理プログラムを始め各種プログラム、アプリケーション、オペレーションシステム等を格納する。
【００４６】
図６は、第１の実施形態に係る、３Dオブジェクトの生成方法のフローチャートを示す。本３Ｄオブジェクトの生成方法に係る処理は、例えば、ユーザ端末２のメモリ２２に展開されるプログラムを制御部２１において実行することで実現され得るが、他に、サーバ１のメモリ１２に展開されるプログラムを制御部１１において実行することで実現することもでき、または、これらが協働して実行することで実現することも可能である。
【００４７】
まず、制御部２０のユーザ要求受付部４１は、アプリケーション等を介して、ユーザ端末２に関連づけられるユーザから拡張現実空間に表示するキャラクタの選択要求を受信する（Ｓ１０１）。表示するキャラクタの種類が、1種類の場合は、本ステップを省略することもできる。
【００４８】
続いて、表示制御部２７は、ユーザが選択したキャラクタを拡張現実空間に表示する処理を行う（Ｓ１０２）。例えば、表示制御部２７は、ストレージ２２に格納されたキャラクタ情報を基に、３Ｄ形状データを所定の空間にマッピングし、キャラクタ画像データから変換されたテクスチャデータに、テクスチャデータを３Ｄ形状にマッピングさせることで、キャラクタの３Ｄオブジェクトを生成する。そして、カメラ２６で撮像された現実空間を、所定の空間の背景画像として設定することで、現実空間にキャラクタの３Ｄオブジェクトが重畳された画像が生成され、拡張現実空間が提供され、拡張現実空間がディスプレイに表示される。例えば、図８に示すように、キャラクタの３Ｄオブジェクトは、拡張現実空間において中央に表示され、正面を向いている。ここで、表示制御部７２は、キャラクタの３Ｄオブジェクトの各構成要素（例えば、顏、眼、鼻、口、眉、耳、髪型等）の状態を変化させるパラメータを調整するための複数のインジケータを表示し、ユーザからパラメータを調整するためのインジケータを介した指示を受け付け、これに応じて、指定された構成要素の状態を変更する処理を行うことができる。また、表示制御部２７は、拡張現実空間におけるキャラクタの３Ｄオブジェクトのテクスチャの色の補正を行うためのインジケータを表示することもできる。ここで、色の補正とは、明るさ、彩度、色調、鮮明さ、コントラスト等の補正を含む。
【００４９】
続いて、制御部２０のジェスチャ検出部４１は、ジェスチャを検出したか、を確認する（Ｓ１０３）。例えば、ユーザは、図８（ａ）に示すように、自分の手を使って、ディスプレイに表示されるキャラクタのポージングを変えるよう試みる。ジェスチャ検出の一例として、ジェスチャ検出部４１は、ユーザ端末２（スマートフォン）のカメラ２６がキャプチャしたユーザの手のジェスチャを含む画像をフィルタ除去等の手法により正規化し、正規化された画像のエッジ画像の各画素に対して、カメラの三次元座標系（ｘ、ｙ、ｚ）における位置及び方向を含むインデックスを付与し、付与されたインデックスを基に、ユーザ端末外部のデータベースに格納された、予めインデックスが付与されたジェスチャ画像を検索し、インデックスがマッチしたジェスチャ画像を決定する。図８の例においては、ジェスチャ検出部４１は、ユーザが指で何かを摘まんで（いわゆる、ピンチ操作）、所定の方向に移動するジェスチャを検出する。
【００５０】
ジェスチャ検出部４１は、ユーザの手のジェスチャを検出すると、そのジェスチャに応じて、制御部２０及び画像制御部２７は、キャラクタの姿勢（ポージング）を制御する（Ｓ１０４）。本処理において、例えば、図８（ｂ）に示すように、画像制御部２７は、キャラクタの３Ｄオブジェクトの左手を持ち上げるよう制御する。本処理の詳細は、図７において説明する。
【００５１】
次に、画像制御部２７は、姿勢制御後のキャラクタの３Ｄオブジェクトを拡張現実空間に表示する（Ｓ１０５）。例えば、図８（ｂ）に示すように、表示されるオブジェクトの画像は、左手を持ち上げるようアニメーション表示される。
【００５２】
図７は、第１の実施形態に係る、キャラクタの姿勢制御に係る処理のフローチャートを示す。まず、制御部２０のジェスチャ検出部４１は、ユーザに手のジェスチャを検出する（Ｓ２０１）。ここで、ジェスチャ検出部４１は、ユーザの手の動きに対応した動きを含めたジェスチャ画像、すなわち、何かを指で摘まむ操作（ピンチ操作）をして、所定の方向に移動するジェスチャに対応する画像を決定する。
【００５３】
次に、ジェスチャ検出部４１は、検出したジェスチャを基に、ユーザの手の座標を確認する（Ｓ２０２）。前述のとおり、ここで、ジェスチャ検出部４１は、キャプチャされ、正規化された画像のエッジ画像の各画素に対して付与された、カメラの三次元座標（ｘ、ｙ、ｚ）における位置及び方向を参照する。図８（ａ）及び図８（ｂ）に示すように、ジェスチャ検出部４１によって、ユーザの手の始点位置の三次元座標の位置及び方向とユーザの手の終点位置の三次元座標の位置及び方向が確認される。ここで、検出したジェスチャによっては、本処理を進まずに、特定のジェスチャをトリガとして、本処理に進むこともできる。例えば、単にユーザが手をキャラクタの周辺にかざしている状態では何もアクションを取らずに、キャラクタの部位を指で摘まむ操作（ピンチ操作）を検出したことをトリガとして、本処理以降に進むこととしてもよい。
【００５４】
続いて、ジェスチャ検出部４１は、検出したユーザの手の座標に対応する３Ｄオブジェクトの座標を確認する（Ｓ２０３）。具体的には、図８（ａ）及び図８（ｂ）に示すように、検出されたユーザの手の始点位置に対応するキャラクタの３Ｄオブジェクトの三次元座標を確認する。
【００５５】
そして、ジェスチャ検出部４１は、確認した３Ｄオブジェクトの座標に対応する、３Ｄオブジェクトの部品を特定する（Ｓ２０４）。図８（ａ）に示す例において、ユーザの手の始点位置に対応するキャラクタの３Ｄオブジェクトの三次元座標は、キャラクタの左手であることが分かる。
【００５６】
そして、表示制御部２７は、キャラクタの３Ｄオブジェクトの部品の位置を変更するよう制御する。例えば、表示制御部２７は、図８（ａ）及び図８（ｂ）に示す例においては、検出した手のジェスチャに応じ、キャラクタの左手を振り上げる制御する。
【００５７】
なお、上記の例によれば、ユーザの手の位置及び相対的なキャラクタの部品位置の特定にカメラの三次元座標を使用しているが、ワールド座標やローカル座標を適用し、適宜座標変換することもできる。また、三次元座標ではなく、二次元座標を提供することもできる。また、検出されたユーザの手のジェスチャをジェスチャ画像として手の画像を表示することで、ユーザは、感覚的にキャラクタのポージングの調整を図ることができるが、手の画像を表示させないこともできる。
【００５８】
以上のように、本実施形態によれば、拡張現実空間にキャラクタの３Ｄオブジェクトを配置させたまま、ハンドトラッキングを使ってキャラクタのポージングを調整することができるため、あたかも現実空間でキャラクタフィギュアのポージングを決めるかのように、キャラクタの３Ｄオブジェクトを生成することができる。
【００５９】
本実施形態によれば、単体のキャラクタの３Ｄオブジェクトを拡張現実空間に配置し、その構成要素を変更させる処理を行うこととしているが、例えば、複数のキャラクタを同じ拡張現実空間に配置させて、ユーザは、複数のキャラクタのうち、任意のキャラクタの３Ｄオブジェクトのポージングを変更するよう、ハンドトラッキングを使って調整することができる。これにより、ユーザは、あたかも現実空間において、複数の異なる容姿、背丈のキャラクタが共存しているかのような感覚を覚えながら、お気に入りのキャラクタのポージングを楽しむことができる。
【００６０】
さらに、本実施形態において、サーバ１は、あるユーザ端末２Ａに提供された拡張現実空間を、ネットワークを介して、別のユーザ端末２Ｂに提供することができる。ここで、ユーザ端末２Ａは、自端末の表示部２８に表示される拡張現実空間において配置される、キャラクタの３Ｄオブジェクトに関する情報を、他の端末２Ｂに送信するようサーバ１に要求を送信する。ユーザ端末２Ｂは、ユーザ端末２Ａにおいて表示されたキャラクタの３Ｄオブジェクトに関する情報を受信すると、自端末２Ｂの表示部に表示される拡張現実空間に、キャラクタを表示させる。このとき、拡張現実空間に表示される背景画像には、ユーザ端末２Ｂ内蔵のカメラにより撮像された現実空間を使用することができる。そして、ユーザ端末２Ｂを操作するユーザは、ユーザ端末２Ａが操作するユーザによって指示されるキャラクタの容姿の変更の様子を自端末の拡張現実空間の中でリアルタイムに楽しむことができる。
【００６１】
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
【符号の説明】
【００６２】
１  サーバ
２  ユーザ端末
【図１】
2020113094.tif 000003
【図２】
2020113094.tif 000004
【図３】
2020113094.tif 000005
【図４】
2020113094.tif 000006
【図５】
2020113094.tif 000007
【図６】
2020113094.tif 000008
【図７】
2020113094.tif 000009
【図８】
2020113094.tif 000010