(57)【要約】【課題】仮想空間上での良好なコミュニケーションを可能とする情報処理装置、情報処理方法、及びプログラムを提供すること。【解決手段】本技術の一形態に係る情報処理装置は、取得部と、生成制御部とを具備する。前記取得部は、対象物の少なくとも１つの部位に関する重要度を取得する。前記生成制御部は、前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成を制御する。【選択図】図３
2018116537.tif 000002
【特許請求の範囲】
【請求項１】
対象物の少なくとも１つの部位に関する重要度を取得する取得部と、
前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成を制御する生成制御部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記生成制御部は、前記重要度が取得された前記対象物の少なくとも１つの部位に対応する前記対象物のモデルの対応部位のデータ量を制御する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記生成制御部は、高い重要度が取得された部位に対応する前記対応部位のデータ量を増加し、低い重要度が取得された部位に対応する前記対応部位のデータ量を削減する
情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記生成制御部は、前記対象物のモデルを生成するための生成用データのデータ量を制御する
情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記生成用データは、前記対象物のモデルの各部位を生成するための部位データを含み、
前記生成制御部は、前記重要度が取得された前記対象物の少なくとも１つの部位に対応する前記部位データのデータ量を制御する
情報処理装置。
【請求項６】
請求項５に記載の情報処理装置であって、
前記生成制御部は、高い重要度が取得された部位に対応する前記部位データのデータ量を増加し、低い重要度が取得された部位に対応する前記部位データのデータ量を削減する
情報処理装置。
【請求項７】
請求項１に記載の情報処理装置であって、
前記取得部は、前記仮想空間に関する情報に基づいて前記重要度を取得する
情報処理装置。
【請求項８】
請求項７に記載の情報処理装置であって、
前記仮想空間に関する情報は、前記仮想空間のシーンの情報を含み、
前記取得部は、前記シーンの情報に基づいて前記重要度を取得する
情報処理装置。
【請求項９】
請求項８に記載の情報処理装置であって、
前記取得部は、前記仮想空間のシーンに関連した主要な部位に関して高い重要度を取得し、前記主要でない部位に関して低い重要度を取得する
情報処理装置。
【請求項１０】
請求項１に記載の情報処理装置であって、
前記取得部は、前記対象物の動作に基づいて前記重要度を取得する
情報処理装置。
【請求項１１】
請求項１０に記載の情報処理装置であって、
前記取得部は、前記対象物の動作に関連した主要な部位に関して高い重要度を取得し、前記主要でない部位に関して低い重要度を取得する
情報処理装置。
【請求項１２】
請求項１に記載の情報処理装置であって、
前記取得部は、ユーザから入力された前記重要度に関する指示に基づいて、前記重要度を取得する
情報処理装置。
【請求項１３】
請求項１に記載の情報処理装置であって、
前記取得部は、前記仮想空間に表示される他の対象物のモデルに関する前記重要度に基づいて、前記重要度を取得する
情報処理装置。
【請求項１４】
請求項１に記載の情報処理装置であって、
前記取得部は、前記仮想空間に表示される他の対象物のモデルに関する動作に基づいて、前記重要度を取得する
情報処理装置。
【請求項１５】
請求項１に記載の情報処理装置であって、
前記取得部は、他のユーザから入力された前記仮想空間に表示される他の対象物のモデルの前記重要度に関する指示に基づいて、前記重要度を取得する
情報処理装置。
【請求項１６】
対象物の少なくとも１つの部位に関する重要度を取得し、
前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成を制御する
ことをコンピュータシステムが実行する情報処理方法。
【請求項１７】
対象物の少なくとも１つの部位に関する重要度を取得するステップと、
前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成を制御するステップと
をコンピュータシステムに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、仮想空間等に表示されるモデルの生成に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来からネットワーク等を介してお互いの映像や音声を共有して遠隔コミュニケーションを行う技術が知られている。例えば離れた場所にいるユーザ同士が、お互いの映像や音声をリアルタイムに送り合うことが可能である。これにより離れた場所にいる相手とも、お互いの状態を把握しながらコミュニケーションを行うことが可能である。
【０００３】
例えば特許文献１には、別拠点にいるユーザの画像及び音声を互いに送受信可能なテレビ会議システムについて記載されている。特許文献１では、ユーザの撮影画像に基づいてユーザがジェスチャーを行っているか否かが判断される。ジェスチャーを行っている場合はユーザの上半身の画像が撮影画像から切り出される。ジェスチャーを行っていない場合は、ユーザの顔の画像が切り出される。切り出された上半身の画像又は顔の画像は、相手側の端末装置に送信されディスプレイに表示される。これによりジェスチャーを交えて円滑にテレビ会議を行うことが可能となり、良好なコミュニケーションが可能となる（特許文献１の明細書段落［００３０］、［００５７］、［００９２］、図５、図６等）
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２３９４９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、コンピュータシステム等により構築された仮想空間上に各ユーザのモデルを表示させることで、遠隔コミュニケーションを実現するシステムも開発されている。仮想空間上で、良好なコミュニケーションを可能とする技術が求められている。
【０００６】
以上のような事情に鑑み、本技術の目的は、仮想空間上での良好なコミュニケーションを可能とする情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、生成制御部とを具備する。
前記取得部は、対象物の少なくとも１つの部位に関する重要度を取得する。
前記生成制御部は、前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成を制御する。
【０００８】
この情報処理装置では、対象物の少なくとも１つの部位の重要度が取得され、その重要度に基づいて対象物のモデルの生成が制御される。これにより、例えば重要度に応じたデータ量の制御等が可能となり、データ伝送の負荷や処理演算量の低減等を図ることが可能となる。この結果、仮想空間上での良好なコミュニケーションが可能となる。
【０００９】
前記生成制御部は、前記重要度が取得された前記対象物の少なくとも１つの部位に対応する前記対象物のモデルの対応部位のデータ量を制御してもよい。
これにより重要度に基づいて対象物のモデルの各対応部位のデータ量を制御可能となる。この結果、例えばデータ伝送の負荷や処理演算量の低減等を図ることが可能となる。
【００１０】
前記生成制御部は、高い重要度が取得された部位に対応する前記対応部位のデータ量を増加し、低い重要度が取得された部位に対応する前記対応部位のデータ量を削減してもよい。
これにより、例えば全体のデータ量の増加を抑えつつ、対象物のモデルの重要度の高い対応部位を高精度に生成することが可能となる。この結果、仮想空間上での良好なコミュニケーションが可能となる。
【００１１】
前記生成制御部は、前記対象物のモデルを生成するための生成用データのデータ量を制御してもよい。
これにより対象物のモデルの生成に用いられる対象物の画像等のデータ量を制御可能となる。従ってデータ伝送の負荷や処理演算量の低減等を図ることが可能となる。
【００１２】
前記生成用データは、前記対象物のモデルの各部位を生成するための部位データを含んでもよい。この場合、前記生成制御部は、前記重要度が取得された前記対象物の少なくとも１つの部位に対応する前記部位データのデータ量を制御してもよい。
これにより重要度に基づいて対象物のモデルの各対応部位ごとにデータ量を制御することが可能となり、仮想空間上での良好なコミュニケーションが可能となる。
【００１３】
前記生成制御部は、高い重要度が取得された部位に対応する前記部位データのデータ量を増加し、低い重要度が取得された部位に対応する前記部位データのデータ量を削減してもよい。
これにより、例えば全体のデータ量の増加を抑えつつ、対象物のモデルの重要度の高い対応部位を高精度に生成することが可能となる。この結果、仮想空間上での良好なコミュニケーションが可能となる。
【００１４】
前記取得部は、前記仮想空間に関する情報に基づいて前記重要度を取得してもよい。
これにより仮想空間での状況等に応じたモデルの生成が可能となり、良好なコミュニケーションが可能となる。
【００１５】
前記仮想空間に関する情報は、前記仮想空間のシーンの情報を含んでもよい。この場合、前記取得部は、前記シーンの情報に基づいて前記重要度を取得してもよい。
これにより仮想空間でのシーンに応じたモデルの生成が可能となり、良好なコミュニケーションが可能となる。
【００１６】
前記取得部は、前記仮想空間のシーンに関連した主要な部位に関して高い重要度を取得し、前記主要でない部位に関して低い重要度を取得してもよい。
これにより例えばシーンに関連した主要な部位のデータ量を増やして高解像度で表示するといったことが可能となり、仮想空間上での良好なコミュニケーションが可能となる。
【００１７】
前記取得部は、前記対象物の動作に基づいて前記重要度を取得してもよい。
これにより対象物の動きに応じたモデルの生成が可能となり、良好なコミュニケーションが可能となる。
【００１８】
前記取得部は、前記対象物の動作に関連した主要な部位に関して高い重要度を取得し、前記主要でない部位に関して低い重要度を取得してもよい。
これにより例えば対象物の動いている部位の重要度を上げるといった処理が可能となる。この結果、対象物の動作を正確に再現すること等が可能となる。
【００１９】
前記取得部は、ユーザから入力された前記重要度に関する指示に基づいて、前記重要度を取得してもよい。
これにより、例えばユーザが所望する部位が高精度に表示された自身のモデル等を介して良好なコミュニケーションを図ることが可能となる。
【００２０】
前記取得部は、前記仮想空間に表示される他の対象物のモデルに関する前記重要度に基づいて、前記重要度を取得してもよい。
これにより、例えば他の対象物のモデルと同様の重要度を取得すること等が可能となり、良好なコミュニケーションが可能となる。
【００２１】
前記取得部は、前記仮想空間に表示される他の対象物のモデルに関する動作に基づいて、前記重要度を取得してもよい。
これにより他の対象物のモデルの動作等に合わせた対象物のモデルを容易に生成することが可能となる。この結果、仮想空間上での良好なコミュニケーションが可能となる。
【００２２】
前記取得部は、他のユーザから入力された前記仮想空間に表示される他の対象物のモデルの前記重要度に関する指示に基づいて、前記重要度を取得してもよい。
これにより、例えば大多数のユーザが指示した重要度と同様の重要度を取得可能となり、その場のコミュニケーションに合わせたユーザのモデルを生成可能となる。
【００２３】
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、対象物の少なくとも１つの部位に関する重要度を取得することを含む。
前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成が制御される。
【００２４】
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
対象物の少なくとも１つの部位に関する重要度を取得するステップ。
前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成を制御するステップ。
【発明の効果】
【００２５】
以上のように、本技術によれば、仮想空間上での良好なコミュニケーションが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２６】
【図１】第１の実施形態に係る仮想空間生成システムの概要を説明するための模式図である。
【図２】クライアント装置及びサーバ装置の機能的な構成例を示すブロック図である。
【図３】クライアント装置の動作の一例を示すフローチャートである。
【図４】シーンにおけるユーザの体の各部位の重要度の一例を示す表である。
【図５】シーンの例を説明するための模式図である。
【図６】シーンの例を説明するための模式図である。
【図７】シーンの例を説明するための模式図である。
【発明を実施するための形態】
【００２７】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００２８】
＜第１の実施形態＞
［仮想空間生成システム］
図１は、本技術の第１の実施形態に係る仮想空間生成システムの概要を説明するための模式図である。仮想空間生成システム１００は、複数のカメラ１０と、クライアント装置２０と、サーバ装置３０と、表示装置４０とを有する。
【００２９】
複数のカメラ１０により実空間Ｒのユーザ（対象物）１が撮影され、ユーザ１の画像等がクライアント装置２０に送信される。クライアント装置２０により、ユーザ１の仮想モデル２を生成するための生成用データが生成され、サーバ装置３０に送信される。サーバ装置３０により、ユーザ１の仮想モデル２を含む仮想空間Ｖが生成され、クライアント装置２０に送信される。生成された仮想空間Ｖは、表示装置４０に出力され、仮想モデル２を含む仮想空間Ｖが表示される。
【００３０】
仮想モデル２としては、例えばユーザ１の表情、姿勢、及び動作等の状態が再現された三次元（３Ｄ）のＣＧ（Computer Graphics）等が生成される。後に説明するように、顔等の一部の部位のみが再現され、他の部位はデフォルトのモデルが表示される場合もあり得る。なお仮想モデル２の対象は人物に限定されず、ペットやロボットといった任意の対象物について仮想モデル２を生成することも可能である。
【００３１】
図１に示すように複数のカメラ１０は、所定の撮影エリアを基準として、互いに異なる位置にそれぞれ配置される。従って、撮影エリアに移動したユーザ１を様々な方向から撮影した複数の画像を取得可能である。
【００３２】
カメラ１０としては、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。また例えばミリ波レーダや赤外線レーザ等の距離センサを備えたＤｅｐｔｈカメラ等が適宜用いられてよい。
【００３３】
本実施形態では、撮影エリアにマイク等の集音装置（図示省略）が配置される。集音装置により、ユーザ１の画像を撮影するのに合わせて、ユーザ１の音声が取得される。これにより例えば仮想空間Ｖにおいて会話等のコミュニケーションを図ることが可能となる。集音装置の種類等は限定されず、例えば指向性マイク等が適宜用いられる。
【００３４】
表示装置４０としては、例えば液晶やＥＬ（Electro-Luminescence）等を用いたディスプレイ装置や、プロジェクタ等が用いられる。ユーザ１は表示装置４０に表示された自身の分身（仮想モデル２）を介して、仮想空間Ｖを体験することが可能である。またＨＭＤ（Head Mount Display）等のユーザ１が装着して使用する表示装置４０が用いられてもよい。これによりユーザ１自身が仮想空間Ｖ内にいるかのような体験を楽しむことが可能となる。その他、任意の表示デバイスが用いられてよい。
【００３５】
クライアント装置２０及びサーバ装置３０は、例えばＰＣ（Personal Computer）やサーバシステム等の任意のコンピュータにより実現可能である。本実施形態において、クライアント装置２０は、本技術に係る情報処理装置の一実施形態に相当する。
【００３６】
複数のカメラ１０、クライアント装置２０、サーバ装置３０及び表示装置４０の接続形態は限定されない。例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して各装置が接続されてもよいし、ケーブル等を用いて直接的に接続されてもよい。
【００３７】
例えば複数のカメラ１０、クライアント装置２０、及び表示装置４０がユーザ１の近傍に配置され、サーバ装置３０のみがネットワーク上に配置される。あるいは、クライアント装置２０及びサーバ装置３０がネットワーク上に配置される。その他、任意の接続形態、及び装置の配置構成が採用されてよい。
【００３８】
図２は、クライアント装置２０及びサーバ装置３０の機能的な構成例を示すブロック図である。図２では、ユーザ１が使用する１台のクライアント装置２０が、サーバ装置３０に接続されている。実際には、仮想空間Ｖを共有する他のユーザが使用する複数のクライアント装置２０が、サーバ装置３０に接続される。
【００３９】
クライアント装置２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等のコンピュータの構成に必要なハードウェアを有する。
【００４０】
ＣＰＵが、ＲＯＭやＨＤＤに格納された本技術に係るプログラムをＲＡＭにロードして実行することにより、図２に示す各機能ブロックが実現される。そしてこれらの機能ブロックにより、本技術に係る情報処理方法が実行される。なお各機能ブロックを実現するために、ＦＰＧＡ（Field Programmable Gate Array）や画像処理ＩＣ（Integrated Circuit）等の専用のハードウェアが適宜用いられてもよい。
【００４１】
プログラムは、例えば種々の記録媒体を介してクライアント装置２０にインストールされる。又はインターネット等を介してプログラムのインストールが実行されてもよい。
【００４２】
図２に示すように、クライアント装置２０は、操作受付部２０１、操作制御部２０２、撮像集音部２０３、動作検出部２０４、重要度算出部２０５、及びデータ制御部２０６を有する。またクライアント装置２０は、データ受信部２０７、データ解凍部２０８、データ圧縮部２０９、データ送信部２１０、データ補間部２１１、信号処理部２１２、及び表示出力部２１３を有する。
【００４３】
操作受付部２０１は、例えばキーボードやコントローラ等の操作デバイスを介してユーザ１から入力された指示等を受け付ける。例えば後述する重要度に関する指示や、仮想空間Ｖのシーンを指定する指示等が受け付けられる。その他、仮想モデル２の操作に関する指示や、音量等の調節といったローカルな指示等の様々な指示が受け付けられる。
【００４４】
操作制御部２０２は、操作受付部２０１により受け付けられたユーザ１からの指示に基づいて、クライアント装置２０の各機能ブロックを制御する。なお図２に示す例では、操作制御部２０２と各機能ブロックとの接続（矢印）が省略されている。
【００４５】
撮像集音部２０３は、複数のカメラ１０により撮影されたユーザ１の複数の画像を含むユーザ１の画像データを生成する。また撮像集音部２０３は、マイク等により集音されたユーザ１の音声を含むユーザ１の音声データを生成する。
【００４６】
動作検出部２０４は、ユーザ１の画像データに基づいて、ユーザ１の動作を検出する。本実施形態では、頭、両手、両足、胴体等の、ユーザ１の体の部位ごとの動作量が算出される。例えば予め記憶された人体の特徴量等に基づいて、ユーザ１の画像からユーザ１の体の領域が抽出される。そしてボーン推定（骨格推定）等により、体の各部位が検出される。各部位について、過去（例えば１フレーム前）に検出された部位とのずれ（動作）を表す動作ベクトルが算出される。当該動作ベクトルの方向や大きさに基づいて、各部位の動作量が算出される。
【００４７】
例えばユーザ１が立ち上がって移動する場合には、両足を中心に各部位の動作量が高くなる。１つの場所で、ユーザ１が両手を使ったジェスチャー等を行う場合には、ユーザ１の両手の動作量が高くなり、両足や胴体等の動作量は低くなる。動作量を検出する方法等は限定されず、任意の画像認識技術や機械学習等を用いた方法が適宜用いられてよい。
【００４８】
重要度算出部２０５は、ユーザ１の体の各部位に関する重要度を算出する。重要度は、仮想モデル２の生成に関するパラメータであり、典型的には、各部位の生成精度に反映される。例えば、仮想空間Ｖにおいて、高精度に表示させたい部位や、高精度に表示することが必要な部位に、高い重要度が設定される。
【００４９】
例えば会議等が行われるシーン等において、席に着いた状態で、他のユーザと会話が行われるとする。この場合には、ユーザ１の表情等がコミュニケーションを行う上で重要となるので、ユーザの頭部の重要度が高く設定される。一方、デスクの下等に表示されるユーザ１の下半身等は、特に重要ではないので重要度は低く設定される。
【００５０】
テニスの試合のシーン等において、他のユーザとテニスをする場合には、全身の動きが重要となるので、ユーザ１の全身の各部位の重要度が高く設定される。なおテニスコートを俯瞰したシーン等において、表情までは見えない場合には、ユーザ１の頭部の重要度が下げられる、といったことも可能である。
【００５１】
ユーザ１の各部位の重要度を算出する方法（重要度を設定する方法）は限定されず、例えば仮想空間Ｖのシーンや、ユーザ１の動き等に関連した主要な部位に関して高い重要度が算出され、主要でない部位に関して低い重要度が算出される。重要度の算出については、後に具体的に説明する。本実施形態において、重要度算出部２０５は、対象物の少なくとも１つの部位に関する重要度を取得する取得部に相当する。
【００５２】
データ制御部２０６は、ユーザ１の仮想モデル２を生成するための生成用データを生成する。生成用データは、撮像集音部２０３から入力されたユーザ１の画像データ及び音声データに基づいて生成される。本実施形態では、重要度算出部２０５により算出された重要度に基づいて、生成用データのデータ量が適宜制御される。
【００５３】
具体的には、生成用データとして、仮想モデル２の各部位を生成するための部位データが生成される。例えば頭部、両手、両足、胴体等の各部位ごとに部位データが生成される。もちろん部位の分け方は限定されず、頭部、上半身、下半身の３つの部位に分けることも可能である。
【００５４】
データ制御部２０６は、重要度算出部２０５により取得されたユーザ１の体の各部位の重要度に基づいて、各部位の部位データのデータ量を制御する。例えば高い重要度が算出されたユーザ１の部位に対応する部位データのデータ量を増加する。
【００５５】
例えばユーザ１の画像データにおいて、該当する部位の画像として、解像度の高い部位画像が取得される（本実施形態では、異なる方向で撮影された複数の部位画像が取得されるが、単に部位画像として説明する）。当該解像度の高い部位画像が、データ量が制御された部位データに相当する。なお撮影された画像の解像度が、ここで言う高い解像度に相当する場合もあり得る。すなわちデータ量の増減の基準は任意に設定されてよく、部位データのデータ量を増加することが、撮影された部位画像をそのまま取得することを含んでもよい。
【００５６】
またデータ制御部２０６は、低い重要度が取得されたユーザ１の部位に対応する部位データのデータ量を削減する。例えばユーザ１の画像データにおいて、該当する部位の画像として、解像度の低い部位画像が取得される。典型的には、撮影された部位画像の解像度が削減される。これによりデータ量が削減された部位データが生成される。なおデフォルトで撮影画像の解像度が増加された生成用データが生成される場合等では、撮影された部位画像をそのまま取得（デフォルトの解像度の増加をせずに取得）することが、データ量が削減された部位データの生成に含まれる場合もある。
【００５７】
なお本開示では、削減は、削除を含む。すなわち重要度が低いユーザ１の部位データのデータ量が０に削減されることが含まれる。このことは、重要度が低いユーザ１の部位については、部位データが削除されることを意味する。
【００５８】
なおデータ制御部は、生成用データの他に、ユーザ１により入力された種々の設定に関する設定データを生成する。設定データには、例えば仮想空間Ｖのシーンを指定する指示等が含まれる。本実施形態において、データ制御部２０６は、生成制御部に相当する。
【００５９】
データ受信部２０７は、サーバ装置３０から送信された仮想空間Ｖを表示するための表示用データを受信する。表示用データには、仮想空間Ｖの３Ｄデータ及び音声データや仮想空間Ｖのシーンの情報等が含まれる。なお表示用データは圧縮されて、サーバ装置３０により送信される。
【００６０】
データ解凍部２０８は、データ受信部２０７により受信された表示用データを解凍する。データ圧縮部２０９は、データ制御部２０６から入力された生成用データ及び設定データ、に対して所定の圧縮形式でのデータ圧縮を実行する。データ送信部２１０は、データ圧縮部２０９で圧縮された生成用データをサーバ装置３０に送信する。
【００６１】
表示用データや生成用データ等の圧縮形式や解凍処理の種類等は限定されず、任意のデータ圧縮・データ解凍技術が用いられてよい。
【００６２】
データ補間部２１１は、サーバ装置３０から送信された仮想空間Ｖの３Ｄデータを補間する。例えばサーバ装置３０から送信される際に、仮想空間Ｖを構成するオブジェクトや仮想モデルの一部が欠損する場合もあり得る。データ補間部２１１は、欠損している部分の補間データを推定し、欠損部分を埋めることで補間を行う。
【００６３】
補間データの生成は、例えば過去のフレームの３Ｄデータや、仮想モデルの部位ごとのデフォルトの３Ｄデータ等が記憶されたライブラリ等を用いることで実行される。あるいはユーザ１の動作に応じて、当該動作に応じた各部位の３Ｄデータが新たに生成され補間データとして用いられてもよい。また音声データ等に基づいて、顔の発話動作を補間することも可能である。欠損部位を推定及び補間する方法は限定されず、任意のＣＧ処理技術等が適宜用いられてよい。
【００６４】
信号処理部２１２は、データ補間部２１１から出力された仮想空間Ｖの３Ｄデータに基づいて、表示装置４０に表示される映像データを生成する。例えば仮想モデル２を俯瞰した映像や、仮想モデル２の視点から見た映像が適宜生成される。例えばユーザ１の動き、視線方向、指示等に基づいて、仮想空間Ｖに対する視点の位置や方向等を含む視点情報が生成される。当該視点情報に基づいて、映像データが生成される。他の方法が用いられてもよい。
【００６５】
また信号処理部２１２は、スピーカ等の音声再生装置により再生される音声データを生成する。すなわち仮想モデル２やオブジェクト等から発せられる音声のデータが生成される。映像データ及び音声データの生成方法は限定されず、任意の技術が用いられてよい。
【００６６】
表示出力部２１３は、信号処理部２１２により生成された仮想空間Ｖの映像及び音声のデータを、表示装置４０や音声再生装置に出力する。
【００６７】
サーバ装置３０は、仮想空間制御部３０１、データ生成部３０２、データ受信部３０３、データ解凍部３０４、データ圧縮部３０５、及びデータ送信部３０６を有する。
【００６８】
仮想空間制御部３０１は、ユーザ１の仮想モデル２を含む仮想空間Ｖを生成する。本実施形態では、クライアント装置２０から送信された生成用データに基づいて、ユーザ１の仮想モデル２が生成される。具体的には生成用データに含まれる部位データに基づいて、当該部位データに対応する仮想モデル２の対応部位が生成される。
【００６９】
高い重要度が算出されたユーザ１の部位に対応する仮想モデル２の対応部位は、例えば高い解像度の部位画像（部位データ）に基づいて生成される。従って高い重要度の対応部位は、データ量が大きく高精度に生成される。
【００７０】
低い重要度が算出されたユーザ１の部位に対応する仮想モデル２の対応部位は、例えば低い解像度の部位画像（部位データ）に基づいて生成される。従って低い重要度の対応部位は、データ量が小さく精度が抑えられて生成される。なお部位データが削除された部位については、例えばデフォルトの部位モデル等が対応部位として用いられる。典型的には、データ量が十分に小さい部位モデルが用いられる。
【００７１】
部位画像等に基づいて仮想モデル２の対応部位を生成する方法は限定されない。例えば異なる方向から撮影された複数の部位画像等に基づいて、当該部位のメッシュモデルが生成され、そこに表面の肌の色や服の色等が付加される。その他、３Ｄモデルを生成可能な任意の技術が用いられてよい。
【００７２】
生成された各々の対応部位が組み合わされて、ユーザ１の仮想モデル２が生成される。これにより、各部位の精度が重要度に応じて制御された仮想モデル２が生成される。例えば会議等が行われるシーンにおいて、頭部の精度が高く、下半身等は精度が低い（あるいはデフォルトのモデルである）仮想モデル２が生成される。あるいはテニスの試合のシーン等において、全身の各部位の精度が高い仮想モデル２が生成される。
【００７３】
また仮想空間制御部３０１は、クライアント装置２０から送信された設定データに基づいて仮想空間Ｖの他の要素を生成する。例えばユーザ１から指定されたシーンが表現された仮想空間Ｖが生成される。会議のシーンである場合には、会議室の内装、机、椅子、ホワイトボード等の３Ｄモデルを含む仮想空間Ｖが生成される。これに限定されず、スポーツや食事等の様々なシーン等に合わせた仮想空間Ｖが、適宜生成される。
【００７４】
他のユーザと仮想空間Ｖを共有している場合には、他のユーザの仮想モデル２も生成される。当該他のユーザの仮想モデル２も、重要度に基づいてデータ量が制御されて生成されている。自身を含む各ユーザの仮想モデル２が適宜配置され、仮想空間Ｖが構築される。
【００７５】
データ生成部３０２は、クライアント装置２０に送信される表示用データを生成する。上記したように表示用データには、仮想空間Ｖの３Ｄデータ及び音声データ、仮想空間Ｖのシーンの情報等が含まれる。
【００７６】
データ受信部３０３及びデータ解凍部３０４により、クライアント装置２０から送信された生成用データ等の受信及び解凍が実行される。データ圧縮部３０５及びデータ送信部３０６により、データ生成部３０２により生成された表示用データの圧縮、及びクライアント装置２０への送信が実行される。
【００７７】
図３は、クライアント装置２０の動作の一例を示すフローチャートである。まず撮像集音部２０３により、ユーザ１の画像及び音声が取得され、ユーザ１の画像データ及び音声データが生成される（ステップ１０１）。重要度算出部２０５により、ユーザ１の体の各部位の重要度が算出される（ステップ１０２）。
【００７８】
図２に示すように重要度算出部２０５には、データ解凍部２０８及び動作検出部２０４が接続される。データ解凍部２０８からは仮想空間Ｖのシーンの情報等が入力され、動作検出部２０４からはユーザ１の画像データに基づいて検出されたユーザ１の体の各部位の動作量が入力される。
【００７９】
重要度算出部２０５は、入力された仮想空間Ｖのシーンの情報と、ユーザ１の体の各部位の動作量とに基づいて重要度を算出する。またユーザ１から重要度に関する指定がある場合には、その指定に応じて重要度が算出される。以下、重要度の算出について具体的に説明する。
【００８０】
図４は、シーンにおけるユーザ１の体の各部位の重要度の一例を示す表である。図５〜図７は、シーンの例を説明するための模式図である。
【００８１】
図４には、仮想空間Ｖで想定される複数のシーンにおける、ユーザ１の各部位の重要度が示されている。ここでは、顔の重要度、上半身の重要度、及び下半身の重要度がそれぞれ示されている。想定されるシーンとしては、スポーツ、食事・レストラン、テーブルゲーム、会議、授業、ドライブ、ＴＶ鑑賞、及び映画館・コンサートの各シーンが例として挙げられている。もちろん仮想空間ではこれらのシーンの他にも様々なシーンが想定される。
【００８２】
図４に示す例では、ユーザ１の各部位の重要度が高、中、及び低の３段階で示されている。重要度の設定は、典型的には、シーンに関連した主要な部位に関して高い重要度が設定され、主要でない部位に関して低い重要度が設定される。もちろんシーンに関連してどの部位を主要とするか否かは、任意に設定されてよい。また主要であるか否かとは異なる判断基準にて、重要度が設定されてもよい。
【００８３】
また重要度をどのように表すかという点も限定されない。高、中、及び低の３段階ではなく、４段階や５段階、さらに細かく重要度が設定されてもよい。また百分率（パーセント）等を使って重要度が表されてもよい。
【００８４】
重要度算出部２０５は、図４に示す表に基づいて、ユーザ１の顔、上半身、及び下半身の各部位の重要度を設定する。本実施形態では、仮想空間Ｖのシーンの情報に基づいて、例えば図４の表と同様のデータが記録されたテーブル等が参照され、ユーザ１の各部位の重要度が設定される。
【００８５】
例えば、図５に示すようにユーザ１がテニス（スポーツ）をプレイ中であるといったシーンでは、サーブやレシーブ等のユーザ１のフォームや、ユーザ１の表情等が重要となる。すなわちユーザ１の顔５１、上半身５２、及び下半身５３がスポーツのシーンに関連した主要な部位となる。従って図４に示す表に基づいて、ユーザ１の全身（顔５１、上半身５２、及び下半身５３）に対して高い重要度が設定される。
【００８６】
また本実施形態では、シーンに関連して設定された各部の重要度を、例えばユーザ１の動作量等に基づいて、動的に変更することも可能である。例えば下半身５３を中心とした全身の動作量が減少した場合には、休憩中であると判定され、各部位の重要度が低い値に変更される。もちろん休憩中に会話する場合も考えられるので、顔５１の重要度は高く維持されてもよい。なお動作量の減少は、例えば所定の閾値を基準として判定される。
【００８７】
ユーザが歩き始め、下半身５３を中心として動作量が増加した場合には、休憩が終了しプレイが再開されたと判定され、各部位の重要度が高い値に戻される。このようにユーザ１の動作に基づいて各部位の重要度を動的に変更することで、高品質で良好なコミュニケーションが可能となる。
【００８８】
図６に示すようにユーザ１が会議中であるといったシーンでは、ユーザ１は席に着いた状態で他のユーザとの会話等が行われる。従ってユーザ１の表情等が重要となり、ユーザ１の顔５１が会議のシーンに関連した主要な部位となる。一方で会議のシーンにおいてユーザ１の手の位置や座り方等は特に重要ではないため、ユーザ１の下半身５３や上半身５２は主要でない部位となる。従って図４に示す表に基づいて、ユーザ１の顔５１に対して高い重要度が設定され、上半身５２及び下半身５３に対して低い重要度が設定される。
【００８９】
例えば、ユーザ１の上半身５２の動作量が所定の閾値よりも高くなった場合には、例えば会議のシーンにおいて、ユーザ１がジェスチャーを交えて発言を行っていると判定される。ジェスチャーを交えた発言が行われる場合には、ユーザ１の手の動作等がコミュニケーションを行う上で重要となる。従って、上半身５２の重要度が高い値に変更される。
【００９０】
頻繁にユーザ１の上半身５２の動作量が変化する場合には、ユーザ１が主たる発言者である可能性が高い。例えばユーザがプレゼンテーションを行っている場合等である。このような場合、例えば発言者（ユーザ１）の上半身５２の動作量に関する閾値を低くすることで、発言者の上半身５２の重要度が上がりやすくなるように設定することも可能である。このようにユーザ１の動作の頻度等に基づいて、ユーザ１の各部位の重要度が変更されてもよい。
【００９１】
また会議のシーン等においてユーザ１の下半身５３の動作量が変化する場合、例えばユーザ１が立ち上がっている、あるいは歩行中であると判定される。このような場合、ユーザ１は主たる発言者となっている可能性が高いため、例えばユーザ１の上半身の重要度が上がりやすくなるように設定される。このように下半身５３の動作量の変化に基づいて、上半身５２の重要度に関する設定が行われてもよい。
【００９２】
図７に示すようにユーザ１が映画を鑑賞中であるといったシーンでは、ユーザ１の表情や体の動き等はコミュニケーションにおいて特に重要とはならない。従ってユーザ１の顔５１、上半身５２、及び下半身５３は映画館のシーンにおいて主要でない部位となり、図４に示す表に従って、ユーザ１の全身に対して低い重要度が設定される。
【００９３】
映画を鑑賞しているシーンにおいて、ユーザ１が体を伸ばしたり足を組み替えたりといった動作を行う場合が考えられる。これらの動作は、コミュニケーションにおいて特に重要とならない。従って映画を鑑賞しているシーン等においては、ユーザ１の上半身５２等の動作量が変化した場合であっても、上半身５２等の重要度を変更する必要がない場合があり得る。例えばユーザ１の各部位の重要度が上がりにくくするために、ユーザ１の動作量に関する閾値を高く設定することも可能である。
【００９４】
また映画の上映中にユーザ１の下半身５３の動作量が大きく増加した場合には、例えばユーザ１がトイレ等に行くために席を立ったと判定される。この場合、ユーザ１の歩行動作等は重要ではないため、下半身５３の動作量は低いまま変更されない。例えば、仮想空間Ｖのシーンの情報に基づいて映画が上映中であるか否かが判定され、上映中である場合にはユーザ１の下半身５３の重要度を低い値に維持するといった設定がなされる。なお、映画が終了した場合には、ユーザ１の各部位の動作量等に基づいて各部位の重要度が変更される設定に切り替えられる。
【００９５】
ユーザ１から体の各部位に関する重要度が指示されている場合には、当該指示に応じて各部位の重要度が変更される。例えば授業を受けているシーン等において、表情（顔）の情報等が必要ない旨の指示が入力されている場合には、顔の重要度が低く設定される。また映画館のシーン等において、鑑賞中の表情を高精度に再現したい場合等において、顔の重要度を増加する指示が入力された場合には、顔の重要度が増加される。ユーザ１からの指示に基づいて各部位の重要度が変更可能であるので、ユーザ１が所望する良好なコミュニケーション等が可能となる。
【００９６】
図３に戻り、データ制御部２０６によりユーザ１の仮想モデル２を生成するための生成用データが生成される（ステップ１０３）。本実施形態では、生成用データとして仮想モデル２の対応部位を生成するための部位データが生成される。
【００９７】
例えば仮想空間Ｖにおいて会議が行われているシーンでは、ユーザ１の顔に高い重要度が設定される。この場合、例えばユーザ１の顔に関する部位データとして、高い解像度のユーザ１の顔の画像（部位画像）が生成される。またユーザ１の上半身及び下半身に低い重要度が設定されている場合には、低い解像度の上半身及び下半身の部位画像が生成される。従ってデータ制御部２０６は、仮想空間でのコミュニケーションにおいて重要となる部位のデータ量を十分に確保しつつ、コミュニケーションにおいて重要でない部位のデータ量を削減して、生成用データのデータ量を制御する。
【００９８】
また仮想空間Ｖにおいて映画を鑑賞しているといったシーンでは、例えばユーザ１の全身に対して低い重要度が設定される。映画館のシーン等では照明が暗くなり、ユーザ１の表情等を再現する必要がなくなる。この場合、例えばユーザ１の顔、上半身、及び下半身の各部位画像が生成されず、各部位データのデータ量が０に削減されるといった処理もあり得る。従って生成用データとしてユーザ１の音声データのみが生成され、生成用データのデータ量が十分に削減される。なおユーザ１の仮想モデル２は、例えばデフォルトで用意されたアバター等を使って表現することが可能である。
【００９９】
このようにデータ制御部２０６は、ユーザ１の仮想モデル２を生成するための生成用データのデータ量を制御することで、仮想モデル２の生成を制御することが可能である。データ制御部２０６により生成された生成用データは、データ圧縮部２０９により圧縮される。そして圧縮された生成用データが、データ送信部２１０からサーバ装置３０に送信される（ステップ１０４）。
【０１００】
以上、本実施形態に係るクライアント装置２０では、ユーザ１の少なくとも１つの部位の重要度が取得され、その重要度に基づいてユーザ１の仮想モデル２の生成が制御される。これにより、例えば重要度に応じたデータ量の制御等が可能となり、データ伝送の負荷や処理演算量の低減等を図ることが可能となる。この結果、仮想空間Ｖ上での良好なコミュニケーションが可能となる。
【０１０１】
仮想空間Ｖ上での遠隔コミュニケーションの品質を向上するために、例えば発話者を検出する技術やユーザ１の視線を算出する技術等を適宜用いることが考えられる。また伝送される映像の情報量を抑制しつつも、ユーザが所望するコミュニケーションに必要な情報の低下を抑えることが可能な技術も求められている。
【０１０２】
本実施形態では、重要度算出部２０５によりユーザ１の体の各部位の重要度が算出される。これにより、例えば仮想空間Ｖ上でのコミュニケーションにおいて各部位がどのくらい必要とされているかを、重要度を使って高精度に表すことが可能となる。またデータ制御部２０６により、ユーザ１の体の各部位の重要度に基づいて、仮想モデル２の各部位データのデータ量が制御される。この結果、重要度に基づいた高精度な仮想モデルが生成される。
【０１０３】
すなわち本実施形態では、仮想モデル２を生成するための画像等のデータ量を高精度に制御することが可能となり、ネットワークを介して伝送されるデータ量を十分に抑制することが可能である。一方で、コミュニケーションを行う上で重要となる部位が高精度に生成された仮想モデルを生成することが可能である。これにより、データ伝送の負荷や処理演算量を十分に低減しつつも、ユーザ１が所望するコミュニケーションに必要な情報を十分に確保することが可能である。
【０１０４】
本実施形態では、仮想空間Ｖのシーンの情報やユーザ１の動作等に基づいて重要度が算出される。従って、仮想空間Ｖで想定される様々なシーンや状況に応じて高精度に重要度を算出することが可能となる。この結果、仮想空間Ｖ上には、その時々の状況等に応じた仮想モデル２等が表示され、ユーザ１は円滑にコミュニケーションを行うことが可能となる。
【０１０５】
＜第２の実施形態＞
本技術の第２の実施形態に係る仮想空間生成システムについて説明する。これ以降の説明では、上記の実施形態で説明した仮想空間生成システム１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
【０１０６】
本実施形態に係るクライアント装置では、重要度を算出する処理（図３のステップ１０２参照）において、仮想空間に表示される他のユーザ（他の対象物）の仮想モデルに関する情報が用いられる。具体的には、他のユーザの仮想モデルに関する重要度、他のユーザの仮想モデルに関する動作、及び他のユーザから入力された他のユーザの仮想モデルの重要度に関する指示等が用いられる。
【０１０７】
他のユーザの仮想モデルに関する重要度とは、他のユーザが使用するクライアント装置の重要度算出部により算出される、他のユーザの体の各部位の重要度のことである。他のユーザの仮想モデルに関する動作とは、他のユーザの動作のことである。すなわち他のユーザが使用するクライアント装置の動作検出部により検出される、他のユーザの体の各部位の動作量が相当する。他のユーザの仮想モデルの重要度に関する指示は、他のユーザが自身の仮想モデルの各部位に対して入力する重要度の指示である。
【０１０８】
複数のユーザの各々が使用するクライアント装置２０は、ネットワークを介してサーバ装置３０に接続される。従ってサーバ装置３０には、各々のクライアント装置から、各々のユーザの体の各部位の重要度、各部位の動作量、及び重要度に関する指示等が集められる。
【０１０９】
サーバ装置３０のデータ生成部３０２は、各々のクライアント装置２０に、表示用データとともに、他のユーザの仮想モデルに関する情報を送信する。各クライアント装置２０では、他のユーザの仮想モデルに関する情報が、重要度算出部２０５に入力される。そして仮想空間Ｖのシーンの情報等、及び他のユーザの仮想モデルに関する情報に基づいて、ユーザ１の体の各部位に関する重要度が算出される。
【０１１０】
例えば図５に示すテニスをプレイ中のシーンにおいて、例えば対戦相手（他のユーザ）の上半身５２及び下半身５３の動作量が急激に減少した場合に、対戦相手が急遽休憩に入った、その場に座り込んだ、審判と話し始めた等により、試合が中断されたと判定される。そしてそれに合わせて、ユーザ１の上半身５２及び下半身５３の重要度が下げられる。
【０１１１】
その後、対戦相手の動作量が増加した場合には、試合が再開されたと判定され、ユーザ１の各部位の重要度が再び増加される。このように、他のユーザの動作量に基づいてユーザ１の重要度を変更することで、他のユーザに合わせて仮想モデル２の表示等を容易に制御することが可能となる。
【０１１２】
例えばサッカーやバスケといった多数のプレイヤーが参加するスポーツの試合や練習が行われるシーンも想定される。このようなシーンでは、大多数のプレイヤー（大多数の他のユーザ）の動作量が減少した場合に、休憩に入ったと判定することも可能である。例えば半分以上のプレイヤーの上半身５２及び下半身５３の動作量が減少した場合に、ユーザ１の各部位の重要度を下げるといった処理が実行される。
【０１１３】
図６に示す会議のシーンにおいて、例えば会議の相手（他のユーザ）の上半身５２の重要度が高く設定されており、相手がジェスチャー等を交えて発言しているとする。この場合に、相互にジェスチャーを行いながら話し合うことを想定し、ユーザ１の上半身５２の重要度も同じよう高く設定される、といったことも可能である。
【０１１４】
また相手の上半身５２及び下半身５３に高い重要度が設定されている場合には、例えば相手は立ってプレゼンテーション等を行っていると判定される。この場合ユーザ１は聴き側となるので、例えば上半身５２及び下半身５３の重要度を低く変更するといった処理が行われてもよい。
【０１１５】
図７に示す映画の鑑賞中のシーンにおいて、大多数の他のユーザの動作量が小さい場合は、他のユーザは座席についており映画が上映中であると判定される。この場合、ユーザ１の全身（顔５１、上半身５２、及び下半身５３）の重要度が低く設定される。
【０１１６】
また映画館にいる大多数の他のユーザの動作量が増加した場合、例えば映画のスタッフロールが流れて本編が終了したと判定される。従って例えば映画の上映が完全に終了していない場合であっても、他のユーザの動作量の変化に基づいて、ユーザ１の全身の重要度を高い値に変更するといった処理が実行可能である。このように、仮想空間Ｖのシーンが完全に切替えられる前に、その場の状況に応じてユーザ１の重要度を動的に変更可能である。
【０１１７】
他の例としてライブコンサートのシーンにおいて、ライブ会場にいる他のユーザの動作量が大きい場合、例えばライブが盛り上がっていると判定される。この場合、例えばユーザ１の全身の重要度が高い値に変更され、ユーザ１の動作等が十分に表現される。一方、他のユーザの動作量が小さい場合には、例えば次の曲が準備中であると判定され、ユーザ１の上半身５２や下半身５３の重要度が低い値に変更される。このように、他のユーザの動作量の大きさ等に基づいてユーザ１の重要度が動的に変更される。これにより、ライブコンサートのその場の雰囲気に合わせた臨場感のある仮想空間を実現することが可能となり、高度の仮想体験を楽しむことが可能となる。
【０１１８】
またライブコンサートのシーンにおいて、所定のタイミングで両腕を使った独特のジェスチャーを一斉に行うことが定例となっている場合等において、他の多くのユーザが両腕の重要度を高い値に指定しているとする。この場合、当該他のユーザの指定に合わせて自身の両腕の重要度が上げられる。これにより周りの他のユーザ（仮想モデル）の動きに合わせて、その独特なジェスチャーをした場合に、自分の両腕の動きが高精度に表示され、非常に高揚した気持ちになりコンサートを楽しむことが可能となる。
【０１１９】
また例えば、レストランで食事をしているシーンにおいて、大多数の他のユーザが上半身の重要度を低い値に指定しているといった場合、そのシーンでは上半身の情報（食事の動作等）が重要でないと判定される。この場合、例えばユーザ１の上半身の重要度も低い値に変更される。一方で、大多数の他のユーザが上半身５２の重要度を高い値に指定している場合、食事の動作等が重要となっていると判定され、ユーザ１の上半身には高い重要度が設定される。
【０１２０】
このように他のユーザの重要度に関する指定等に基づいて、ユーザ１の重要度を変更することで、その場のコミュニケーションで注目されている部位の重要度を容易に変更することが可能となる。これにより非常に良好なコミュニケーションが可能となる。
【０１２１】
＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
【０１２２】
上記では、ユーザの仮想モデルの生成を制御する処理として、ユーザの体の各部位の重要度に基づいて部位データ（生成用データ）のデータ量を制御する処理が実行された。これに代えて、仮想モデルの生成時に、ユーザの体の各部位の重要度に基づいて、仮想モデルの対応部位（各部位のモデル）のデータ量が直接的に制御されてもよい。
【０１２３】
例えばクライアント装置の撮像集音部により生成された画像データと、ユーザの体の各部位の重要度とがサーバ装置に送信される。サーバ装置は、体の各部位の重要度に基づいて、対応部位のデータ量を適宜制御しながら、ユーザの仮想モデルを生成する。
【０１２４】
例えば低い重要度が設定されている部位については、メッシュモデルの頂点の数が少ない（メッシュが粗い）、または表面の解像度が低い部位モデル等が生成される。あるいは、データ量の少ないデフォルトの部位モデル等が生成される。これにより低い重要度が設定された部位に対応する対応部位のデータ量を削減することができる。
【０１２５】
高い重要度が設定されている部位については、メッシュが細かく解像度の高い部位モデル等が生成される。これにより高い重要度が設定された部位に対応する対応部位のデータ量を増加することが可能となる。なお３Ｄの部位モデルのデータ量を制御する方法は限定されず、任意の技術が用いられてよい。
【０１２６】
このように、ユーザの体の各部位の重要度に基づいて、仮想モデルの各対応部位のデータ量が制御されてもよい。これにより重要度に基づいた各対応部位の解像度等の品質の制御が実現される。
【０１２７】
各対応部位のデータ量が制御された仮想モデルは、表示用データとしてクライアント装置に送信される。従って、コミュニケーションに必要な情報等を確保しつつ、表示用データのデータ伝送の負荷等を低減することが可能となる。また、サーバ装置により仮想モデルの対応部位のデータ量が直接的に制御されるため、クライアント装置のデータ制御部等での演算処理が十分に低減される。この結果、クライアント装置での処理の遅延等を回避することが可能となる。
【０１２８】
上記では、ユーザの姿等を模したユーザの仮想モデルの生成が制御された。これに代えて、ユーザとは異なる外見を持つアバター等の生成が制御されてもよい。ユーザのアバターは、ユーザの動作に応じて動作するキャラクターであり、ユーザの動作に関する動作データ等に基づいて生成される。従ってアバターを生成する際には、ユーザを撮影した画像等は必ずしも必要ではない。
【０１２９】
ユーザの動作データは、モーションキャプチャーにより生成される。例えばユーザの体の各部位に所定のマーカ等を装着され、各マーカの動きがユーザの体の各部位の動作として検出される。モーションキャプチャーの方式等は限定されず、光学方式、ジャイロ方式、磁気方式、及びビデオ方式等の任意の方式が使用されてよい。またユーザの動作を検出可能な他の技術等が用いられてもよい。
【０１３０】
例えばクライアント装置により、ユーザの動作データと、ユーザの体の各部位の重要度とが生成され、サーバ装置に送信される。サーバ装置により、ユーザの各部位の重要度に基づいて、ユーザのアバターが生成される。例えば低い重要度が設定されている部位に対応するアバターの対応部位は、解像度等が粗くデータ量を抑えて生成される。また例えば高い重要度が設定されている部位に対応するアバターの対応部位は、高い解像度で高精度に生成される。
【０１３１】
このように、ユーザの体の各部位の重要度に基づいて、アバターの各対応部位のデータ量が制御されてもよい。この結果、アバター等を介して良好なコミュニケーションを行うことが可能となる。
【０１３２】
上記したサーバ装置の機能の全部または一部が、クライアント装置に搭載されてもよい。例えばクライアント装置により、仮想モデル及び仮想空間の生成処理等が行われてもよい。この場合例えば、複数のユーザの各々が使用するクライアント装置が、サーバ等を介さないＰ２Ｐ（Peer to Peer）等の方式で接続される接続形態が実現されてもよい。また、クライアント装置の各機能のうち、情報処理に関する機能の全部または一部が、サーバ装置に搭載されてもよい。例えばサーバ装置により、クライアント装置が検出したユーザの体の各部位の動作量等に基づいて、ユーザの体の各部位の重要度の算出処理等が行われてもよい。
【０１３３】
サーバ装置及びクライアント装置での計算負荷、ネットワーク等でのデータ伝送速度の変化、データ伝送量、及びデータ伝送の遅延等に応じて、クライアント装置及びサーバ装置の各機能が、各装置間で振り分けられてもよい。例えば、サーバ装置の計算負荷が大きい場合には、クライアント装置により仮想モデルの生成処理等が行われ、サーバ装置の計算負荷が減少した場合には、サーバ装置により仮想モデルの生成処理等が行われてもよい。
【０１３４】
上記ではユーザにより操作されるＰＣ等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながらユーザが操作するコンピュータとネットワーク等を介して通信可能な他のコンピュータにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。またユーザが操作するコンピュータと、他のコンピュータとが連動して、本技術に係るシミュレーションシステムが構築されてもよい。
【０１３５】
すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
【０１３６】
コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えばユーザの体の各部位の重要度を取得（算出）する処理、ユーザの仮想モデルの生成を制御する処理等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
【０１３７】
すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
【０１３８】
以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
【０１３９】
なお、本技術は以下のような構成も採ることができる。
（１）対象物の少なくとも１つの部位に関する重要度を取得する取得部と、
前記取得された重要度に基づいて、仮想空間に表示される前記対象物のモデルの生成を制御する生成制御部と
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記生成制御部は、前記重要度が取得された前記対象物の少なくとも１つの部位に対応する前記対象物のモデルの対応部位のデータ量を制御する
情報処理装置。
（３）（２）に記載の情報処理装置であって、
前記生成制御部は、高い重要度が取得された部位に対応する前記対応部位のデータ量を増加し、低い重要度が取得された部位に対応する前記対応部位のデータ量を削減する
情報処理装置。
（４）（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記生成制御部は、前記対象物のモデルを生成するための生成用データのデータ量を制御する
情報処理装置。
（５）（４）に記載の情報処理装置であって、
前記生成用データは、前記対象物のモデルの各部位を生成するための部位データを含み、
前記生成制御部は、前記重要度が取得された前記対象物の少なくとも１つの部位に対応する前記部位データのデータ量を制御する
情報処理装置。
（６）（５）に記載の情報処理装置であって、
前記生成制御部は、高い重要度が取得された部位に対応する前記部位データのデータ量を増加し、低い重要度が取得された部位に対応する前記部位データのデータ量を削減する
情報処理装置。
（７）（１）から（６）のうちいずれか１つに記載の情報処理装置であって、
前記取得部は、前記仮想空間に関する情報に基づいて前記重要度を取得する
情報処理装置。
（８）（７）に記載の情報処理装置であって、
前記仮想空間に関する情報は、前記仮想空間のシーンの情報を含み、
前記取得部は、前記シーンの情報に基づいて前記重要度を取得する
情報処理装置。
（９）（８）に記載の情報処理装置であって、
前記取得部は、前記仮想空間のシーンに関連した主要な部位に関して高い重要度を取得し、前記主要でない部位に関して低い重要度を取得する
情報処理装置。
（１０）（１）から（９）のうちいずれか１つに記載の情報処理装置であって、
前記取得部は、前記対象物の動作に基づいて前記重要度を取得する
情報処理装置。
（１１）（１０）に記載の情報処理装置であって、
前記取得部は、前記対象物の動作に関連した主要な部位に関して高い重要度を取得し、前記主要でない部位に関して低い重要度を取得する
情報処理装置。
（１２）（１）から（１１）に記載の情報処理装置であって、
前記取得部は、ユーザから入力された前記重要度に関する指示に基づいて、前記重要度を取得する
情報処理装置。
（１３）（１）から（１２）に記載の情報処理装置であって、
前記取得部は、前記仮想空間に表示される他の対象物のモデルに関する前記重要度に基づいて、前記重要度を取得する
情報処理装置。
（１４）（１）から（１３）のうちいずれか１つに記載の情報処理装置であって、
前記取得部は、前記仮想空間に表示される他の対象物のモデルに関する動作に基づいて、前記重要度を取得する
情報処理装置。
（１５）（１）から（１４）に記載の情報処理装置であって、
前記取得部は、他のユーザから入力された前記仮想空間に表示される他の対象物のモデルの前記重要度に関する指示に基づいて、前記重要度を取得する
情報処理装置。
【符号の説明】
【０１４０】
Ｒ…実空間
Ｖ…仮想空間
１…ユーザ
２…仮想モデル
１０…カメラ
２０…クライアント装置
３０…サーバ装置
４０…表示装置
５１…顔
５２…上半身
５３…下半身
２０１…操作受付部
２０２…操作制御部
２０３…撮像集音部
２０４…動作検出部
２０５…重要度算出部
２０６…データ制御部
３０１…仮想空間制御部
３０２…データ生成部
１００…仮想空間生成システム
【図１】
2018116537.tif 000003
【図２】
2018116537.tif 000004
【図３】
2018116537.tif 000005
【図４】
2018116537.tif 000006
【図５】
2018116537.tif 000007
【図６】
2018116537.tif 000008
【図７】
2018116537.tif 000009