(57)【要約】システムは、没入型仮想環境を提供するように構成されているプロセッサを備えている。このシステムは、第１及び第２のユーザが、第１のキャラクタと第２のキャラクタとの間のインタラクションに対応する動作において相互に作用し合う第１のパフォーマと第２のパフォーマについてのインタラクティブなモーションキャプチャに対応するインタラクションデータを視認及び編集することができるようになっている。これにより、第１のキャラクタと第２のキャラクタとの間のインタラクションを編集することができ、これによって前記の動作に対応する編集されたデータが提供される。
2018537174.tif 000002
【特許請求の範囲】
【請求項１】
第１のキャラクタと第２のキャラクタとの間のインタラクションに対応する動作において相互に作用し合う第１のパフォーマと第２のパフォーマについてのインタラクティブなモーションキャプチャに対応するインタラクションデータを提供することと、第１及び第２のユーザが前記インタラクションデータを視認及び編集することができる没入型環境を提供して、前記第１のキャラクタと前記第２のキャラクタとの間の前記インタラクションを編集し、それによって前記動作に対応する編集された前記インタラクションデータを供給することができるようにすることと
を備える方法。
【請求項２】
前記第１のパフォーマと前記第２のパフォーマの動きの相互の所定の機能的関係によって前記インタラクションデータが提供され、かつ、前記インタラクションデータの編集によって前記所定の機能的関係が修正される
請求項１に記載の方法。
【請求項３】
前記機能的関係は、統計的機械学習アルゴリズムによって提供される
請求項２に記載の方法。
【請求項４】
前記所定の機能的関係は、少なくとも一部においては動的ベイジアンネットワークを含む
請求項２に記載の方法。
【請求項５】
前記所定の機能的関係は、少なくとも一部においては隠れマルコフモデルを含む
請求項２に記載の方法。
【請求項６】
前記所定の機能的関係は、少なくとも一部においては条件付き確率場の技術によって提供される
請求項２に記載の方法。
【請求項７】
前記没入型仮想環境は、第三のユーザが、前記動作に対応する編集されたデータを供給するための前記インタラクションデータを視認及び編集することができるように構成されている
先行する請求項のいずれか１項に記載の方法。
【請求項８】
前記インタラクションデータの編集は、反復的に行われる
先行する請求項のいずれか１項に記載の方法。
【請求項９】
第１のキャラクタと第２のキャラクタとの間のインタラクションに対応する動作において相互に作用し合う第１のパフォーマと第２のパフォーマについてのインタラクティブなモーションキャプチャに対応するインタラクションデータを、第１及び第２のユーザが視認及び編集することができる没入型仮想環境を提供するように構成されているプロセッサを備えており、これによって前記第１のキャラクタと前記第２のキャラクタとの間の前記インタラクションを編集し、それによって前記動作に対応する編集されたデータを供給することができるようにされている
システム。
【請求項１０】
前記インタラクションデータを受け取るための入力を含んでいる
請求項９に記載のシステム。
【請求項１１】
前記没入型環境を提供するように作動するディスプレイデバイスと、前記ディスプレイデバイスによって表示された、前記第１のキャラクタと前記第２のキャラクタとの間の前記インタラクションを、前記第１及び第２のユーザが編集できるように作動するコントローラと
を含んでいる
請求項９又は１０に記載のシステム。
【請求項１２】
前記ディスプレイデバイスは、前記インタラクションデータに対応するメタデータを表示するように作動して、当該インタラクションデータの編集を容易にするようにされている
請求項１１に記載のシステム。
【請求項１３】
前記ディスプレイデバイスは、ヘッドマウントディスプレイ、ニアアイ・ライトフィールドディスプレイ、導波路リフレクタアレイプロジェクタ、レンチキュラディスプレイ、液晶ディスプレイパネル、発光ダイオードディスプレイパネル、プラズマディスプレイパネル、又は陰極線管を備える
請求項１１に記載のシステム。
【請求項１４】
プロセッサにより使われて、第１のキャラクタと第２のキャラクタとの間のインタラクションに対応する動作において相互に作用し合う第１のパフォーマと第２のパフォーマについてのインタラクティブなモーションキャプチャに対応するインタラクションデータを、第１及び第２のユーザが視認及び編集することができる没入型仮想環境を提供するコードを記憶する非一時的コンピュータ可読記憶媒体を含んでおり、これによって、前記第１のキャラクタと前記第２のキャラクタとの間の前記インタラクションを編集し、それによって前記動作に対応する編集されたデータを供給することができるようにされている
コンピュータプログラム製品。
【請求項１５】
ある動作において相互に作用し合う第１のパフォーマと第２のパフォーマについてのインタラクティブなモーションキャプチャに対応する前記インタラクションデータを受け取るように作動する
請求項１４に記載のコンピュータプログラム製品。
【請求項１６】
前記インタラクションデータを視認することと、アノテーションすることと、編集することとを制御するマルチユーザ編集モジュールを含む
請求項１４又は１５に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ノンプレイヤキャラクタ（Non Player Characters）のインタラクション特性（interaction characteristics）を生成するために用いられるインタラクティブなモーションキャプチャデータの編集を対象とするものである。
【背景】
【０００２】
コンピュータゲームは、ゲームのプレイヤ又はユーザによる１又はそれ以上の特定のアクションに応じてあらかじめ記録された行動をとるノンプレイヤキャラクタ（NPC）を含むことができる。モーションキャプチャは、コンピュータゲーム内でＮＰＣにあらかじめ記録された動作を再現させることを可能にするためのデータを収集するのに用いることができる。現在の技術は、非没入型（non-immersive）のディスプレイと、ゲームパッド（gamepad）やマウスやキーボードによってもたらされる限られた範囲のインタラクション（interaction）とに対してはうまく機能する。しかし、モーションキャプチャは、インタラクティブな没入型環境（immersive environments）内においてはうまく機能しない。なぜなら、ＮＰＣは、日常生活の中で人と会う際には当たり前のものとされる、微妙でインタラクティブなジェスチャを伴ったユーザのボディランゲージに対して刻々と（moment-by-moment）反応することができないからである。没入型環境におけるＮＰＣは実物大なので、このようなインタラクションの欠如は、ネガティブな行動様式（social cue）だとユーザに解釈されかねない。このことは、冷たいとか、人間味がないとか、感情がないなどと感じる不満足なユーザ体験につながってしまう。
【０００３】
この問題を解決するために、１つの場面を共にリハーサルする２人の役者からインタラクションデータを抽出する対話型機械学習法（interactive machine learning techniques）を用いて、多くの努力がなされてきた。この方法は生のインタラクションデータを入手するには期待できるアプローチである。しかしながら現時点では、役者やディレクターは、コンピュータ科学者から助力を得ることなしにはこのデータをインタラクティブな動作へと編集することができない。
【発明の概要】
【０００４】
本発明の一実施形態によれば、第１のキャラクタと第２のキャラクタとの間のインタラクションに対応する動作において相互に作用し合う第１のパフォーマ（performers）と第２のパフォーマについてのインタラクティブなモーションキャプチャに対応するインタラクションデータを提供すること、及び、第１及び第２のユーザがそのインタラクションデータを視認及び編集することができる没入型仮想環境（immersive virtual environment）を提供すること、を備える方法が提供される。これにより、第１のキャラクタと第２のキャラクタとの間のインタラクションを編集し、それによってこの動作に対応する編集されたデータを供給することができる。
【０００５】
このように、没入型環境を離れる必要なしに、身体の動きを用いてインタラクティブなモーションキャプチャが自然な方法で役者やディレクターなどにより編集されることを可能にする技術が提供される。
【０００６】
また他の側面における本発明の一実施形態によれば、第１のキャラクタと第２のキャラクタとの間のインタラクションに対応する動作において相互に作用し合う第１のパフォーマと第２のパフォーマについてのインタラクティブなモーションキャプチャに対応するインタラクションデータを、第１及び第２のユーザが視認及び編集することができる没入型仮想環境を提供するプロセッサを備えたシステムが提供される。これにより、第１のキャラクタと第２のキャラクタとの間のインタラクションを編集し、それによってこの動作に対応する編集されたデータを供給することができる。
【０００７】
本発明は、前述の方法を実行するためのプログラムコードを記憶する記憶媒体を含んだコンピュータプログラム製品も提供する。
【図面の簡単な説明】
【０００８】
本発明がより完全に理解されうるように、具体例を用いて、添付の図面を参照しつつ本発明の実施態様を以下に述べる。
【図１】図１は、没入型のマルチユーザ環境におけるＮＰＣの動作を制御するためのインタラクションデータのフルボディエディティング（full body editing）に用いられるメディアデバイスを例示したブロック図である。
【図２】図２は、没入型のマルチユーザ環境におけるＮＰＣの動作を制御するためのインタラクションデータのフルボディエディティングに用いられるユーザデバイスを例示したブロック図である。
【図３】図３は、没入型のマルチユーザ環境におけるＮＰＣの動作を制御するためのインタラクションデータを決定して伝達する方法を説明する例示的な図である。
【図４】図４は、没入型のマルチユーザ環境におけるＮＰＣの動作を制御するためのインタラクションデータを視認しアノテーションする方法の一例を説明する図である。
【図５】図５は、没入型のマルチユーザ環境におけるＮＰＣの動作を制御するためのインタラクションデータのフルボディエディティングの方法の一例を説明する図である。
【図６】図６は、一人のユーザが、フルボディエディティングによって生成されたインタラクションデータに基づく動作をするＮＰＣと相互作用するための方法を説明する例示的な図である。
【図７】図７は、没入型のマルチユーザ環境におけるＮＰＣの動作を制御するインタラクションデータのフルボディエディティングを行うための方法を説明する例示的なフローチャートである。
【発明の詳細な説明】
【０００９】
以下に述べる説明には、本発明の開示内容の実施に関する具体的な情報が含まれる。本出願書類中の図面とそれに伴う発明の詳細な説明は、単に実施形態の例を対象としたものに過ぎない。特に断りのない限り、図面中の類似の又は対応する要素は類似の又は対応する参照符号によって示される。さらに、図面やイラストレーションは概して正確な縮尺ではなく、実際の相対寸法に対応させることは意図されていない。
【００１０】
仮想現実（VR）は、身体の感覚系を用いて人工的な３次元の世界を体験することを可能にする、コンピュータによって作り出された世界にユーザを没入させる。拡張現実（AR）は、ユーザが現実世界で見ているものの上にデジタル情報を供給する点で、１００％のデジタル環境をゼロから生成している仮想現実とは異なる。本出願書類における「没入型環境」（immersive environments）という用語は、仮想現実と拡張現実の双方を指している。
【００１１】
図１は、没入型マルチユーザ環境におけるＮＰＣの振る舞い（behaviour）のフルボディエディティング用のデータを決定して伝達するためのメディアデバイスの例を示している。図１によれば、メディアデバイス００１はメモリ００２とプロセッサ００７とメディア入力００８とを含んでいる。さらに、メディアデバイス００１のメモリ００２は、メディアコンテンツ００３と、ＮＰＣ応答モジュール００４と、ユーザ認識モジュール００５と、ＮＰＣマルチユーザ編集モジュール００６とを含むように表されている。メディアデバイス００１は、ビデオゲーム機、デスクトップコンピュータ、ラップトップコンピュータ、携帯電話機、タブレット端末、ヘッドマウントディスプレイ（head mounted display）又はその他のデバイスであってよい。
【００１２】
図１に示したように、メディアデバイス００１はメモリ００２と接続したプロセッサ００７を含んでいる。メディアデバイス００１のプロセッサ００７は、入力を記憶したり受け取ったりするために、及び／又はメモリ００２内に記憶されたコマンドや処理やプログラムを実行するために、メモリ００２にアクセスするように構成されている。プロセッサ００７は、インタラクティブなビデオゲーム、仮想現実／拡張現実シミュレーション、仮想現実／拡張現実体験、シネマティックシークエンス（cinematic sequences）、ユーザによって生成されたコンテンツその他のメディアコンテンツなどのコンテンツを、メディア入力００８から受け取ることができる。メディア入力００８は、メディアデバイス００１上に存在するように表されていて、概してメディアコンテンツ、ＣＤ／ＤＶＤ／ブルーレイディスクプレーヤ、ＵＳＢポート、記憶媒体ポート又はその他の形状のメディアコンテンツ入力などの入力手段を通じて受け取った入力をいう。しかし、他の実施形態においては、メディア入力００８はワイヤレス、無線（radio）、イーサネット又はその他のネットワーク通信のようなネットワーク通信接続を含んでいてもよい。したがって、メディア入力００８はネットワークコミュニケーションを介して受け取ったメディアコンテンツを含んでいてもよい。プロセッサ００７は、メモリ００２内のメディア入力００８とメディアコンテンツ００３とを記憶することができる。メディアコンテンツ００３は、メディア入力００８からメモリ００２内の永続記憶装置（persistent storage）にダウンロードされたメディアコンテンツであってもよい。しかし、他の実施形態においては、メディアコンテンツ００３は、使用時におけるＣＤ／ＤＶＤ／ブルーレイディスクからの読み込みなどの他の入力手段から受け取ったデータであってよい。したがって、メディア入力００８は取り付けられたデバイス及び／又はネットワークから受け取ったデータであってよい。
【００１３】
プロセッサ００７は、メモリ００２にアクセスすることも、またメモリ００２内に記憶された、ＮＰＣ応答モジュール００４及び／又はユーザ認識モジュール００５及び／又はＮＰＣマルチユーザ編集モジュール００６などのモジュールやプログラムや処理を実行することもできる。さらにプロセッサ００７は、プログラムや処理やモジュールなどを実行することによって得られたデータをメモリ００２内に記憶することができる。プロセッサ００７は、マイクロプロセッサ又はこれに類するハードウェア処理デバイス（hardware processing device）、又は複数のハードウェアデバイスなどの処理デバイスであってよい。しかし、他の実施形態においては、プロセッサ００７はメディアデバイス００１に必要とされる機能を実行する能力のある一般的なプロセッサをいう。
【００１４】
メディアデバイス００１内のメモリ００２は、プロセッサ００７によって実行されるためのコマンドや処理やプログラムを記憶できる十分なメモリである。メモリ００２はＲＯＭ、ＲＡＭ、フラッシュメモリ、又はコマンドを記憶することのできる他の十分なメモリとして構成されていてよい。他の実施形態においては、メモリ００２は複数のメモリのタイプ又はモジュールであってよい。プロセッサ００７とメモリ００２は、メディアデバイス００１のために十分なメモリと処理装置（processing unit）とを含んでいる。メモリ００２はメディアデバイス００１上に配置されているように示されてはいるが、他の実施形態においては、メモリ００２はメディアデバイス００１とは別々でありながらメディアデバイス００１と接続可能なようになっていてよい。
【００１５】
ユーザ認識モジュール００５はメディアデバイス００１のメモリ００２内に記憶されている。ユーザ認識モジュール００５は概して、１人又はそれ以上のユーザから得られたモーションキャプチャデータからのＮＰＣの振る舞いを教え込むために用いられる処理や手続き（procedures）であってよい。ユーザ認識モジュール００５は、ユーザデバイス００９内に示された複数のデバイスセンサ０１０から有意義な特徴を抽出するために用いることができる。ユーザ認識モジュール００５は、１又は２以上のユーザの動きや振る舞いに対応するデータを決定するために顔知覚技術（face perception technology）又は他のイメージ認識テクノロジを利用することもできる。
【００１６】
使用されうる技術は下記の出版物に記載されている：
１）Gillies, Marco. 2009. Learning Finite State Machine Controllers from Motion Capture Data. IEEE Transactions on Computational Intelligence and AI in Games, 1(1), pp. 63-72. ISSN 1943- 068X；
２）Gillies, Marco. 2010. 'Bodily Non-verbal Interaction with Virtual Characters'；
３）Gillies Marco, Brenton Harry, Kleinsmith Andrea. 2015. Embodied design of full bodied interaction with virtual humans. First International Workshop on Movement and Computing 2015. それぞれの文献はこれを参照することにより本出願に組み込まれる。
【００１７】
これらの論文には、データをキャプチャするため、そして人間と非言語的身体的なインタラクションをすることが可能なＮＰＣを生成するために用いられ得る、データ駆動型（data-driven）の学習アプローチが記されている。これらの論文には、それを行う手段としてのモーションキャプチャデータに適用される機械学習法（machine learning methods）が記載されている。例えば、有限状態機械（Finite State Machine）の遷移確率の学習方法や、現在の状態に基づいてアニメーションを選択する方法についても提示されている。一例としては、モーショングラフ（motion graph）からモーションクリップ（motion clip）を選択することを可能にするモーションキャプチャデータを処理するために、隠れマルコフモデル（Hidden Markov Model）のような動的ベイジアンネットワーク（Dynamic Bayesian network）が用いられる。他の例としては、条件付き確率場（conditional random field）の技術を用いることができる。
【００１８】
ＮＰＣ応答モジュール００４はメディアデバイス００１のメモリ００２内に記憶されている。ＮＰＣ応答モジュール００４は、ユーザのボディランゲージに応じてＮＰＣの振る舞いを決定する。図２は、没入型マルチユーザ環境内におけるノンプレイヤキャラクタとのフルボディインタラクション（full body interaction）に用いられるユーザデバイスの一例を示している。ユーザデバイス００９は、デバイスセンサ０１０とプロセッサ０１６とディスプレイ０１７とを含んでいる。さらに、ユーザデバイス００９のデバイスセンサ０１０は、コミュニケーションセンサ０１２と、カメラ０１１と、ボディモーションセンサ（Body Motion Sensor）０１３と、ヘッドモーションセンサ（Head Motion Sensor）０１４と、マイクロフォン０１５とを含むように表されている。
【００１９】
いくつかの実施形態においては、ユーザデバイス００９が、ヘッドマウントディスプレイ（head mounted display）、ニアアイ・ライトフィールドディスプレイ（near-eye light field display）、導波路リフレクタアレイプロジェクタ（waveguide reflector array projector）、レンチキュラディスプレイ（lenticular display）、液晶ディスプレイパネル、発光ダイオードディスプレイパネル（light emitting diode display panel）、プラズマディスプレイパネル、陰極線管その他のディスプレイであってよいディスプレイ０１７を含む。ディスプレイ０１７は、ユーザのためにＶＲメディアコンテンツを提示してレンダリングすることのできるビジュアルディスプレイユニットであってよい。
【００２０】
図３に示すユーザ０２０とユーザ０２１とは、それぞれ図２に示したユーザデバイス００９と同一型であってよいユーザデバイス００９ａとユーザデバイス００９ｂとを身に着けている。カメラ０１１とマイクロフォン０１５は、ヘルメット、カメラ取付けバー、ヘルメット−ベルト接続用ワイヤリングハーネス及びカメラベルトから構成されるヘッドカメラ（headcam）に搭載される。ボディモーションセンサ０１３からのボディモーションキャプチャデータ、ヘッドモーションセンサ０１４からのヘッドモーションキャプチャデータ、カメラ０１１からの映像、そしてマイクロフォン０１５からの音声は、有線接続を通じてメディアデバイス００１に送られるか、又はコミュニケーションセンサ０１２を使ってワイヤレスでメディアデバイス００１に送られる。そしてカメラ０１１からの映像データは、目や口などの顔の特徴からモーションデータを抽出するために処理される。次いで身体、頭部、顔のデータが、図３、図４、図５及び図６に記載のディスプレイ０１８上に表示されたアバターの顔や身体の動きへとマッピングされる。
【００２１】
上述した装置の一実施形態を図３に示す。図３に示したインタラクションデータを生成する手順について、容疑者が強盗の容疑で逮捕されていて警官に取り調べられているという、コンピュータゲームにおける一つのシーンを例にして以下に述べる。ユーザ０２０は、ノンプレイヤキャラクタ０２２ａ（警官）の役を演じる役者であり、ユーザ０２１は、プレイヤのアバター０２３ａ（容疑者）の役を演じる役者である。ユーザデバイス００９ａからのデータはノンプレイヤキャラクタ０２２ａに接続され、当該データはノンプレイヤキャラクタ０２２ａの振る舞いを生き生きと動かす（animate）ために用いられる。ユーザデバイス００９ｂからのデータはプレイヤアバター０２３ａに接続され、当該データは図６中のプレイヤ０２７からのセンサ入力を表現するために用いられる。動作は、仮想環境０１９としての警察署内の取調室を映し出すディスプレイ０１８上でリアルタイムに視認することができる。この例においては、このディスプレイ０１８と仮想環境０１９とは各ユーザが身に着けた没入型ディスプレイ０１７によってもたらされるが、他の非没入型ディスプレイが用いられてもよい。
【００２２】
このシーンは４つのセクションからなる。
１．対峙。警官は容疑者に対して事件に関する事実を提示し、容疑者にとって不利な証拠を知らしめる。
２．テーマの進展。警官は、容疑者が罪を犯した理由についてのストーリーを仕立てる。
３．否認。容疑者は自らの犯罪行為を否定するが、警官は容疑者の味方であると装う。
４．自白。警官は圧力を強めていき、容疑者は決心が揺らいで強盗を自白する。
【００２３】
ユーザ０２０とユーザ０２１は、対峙のセクションのレコーディングから始める。彼らは３つの異なったテイク（takes）を記録する。（１）容疑者が警官に対して怒りっぽく非協力的に反応する。（２）容疑者が警官に対して従順で愛想良くする。（３）容疑者はコミュニケーションする気がなく、殻に閉じこもってしまう。システムは、これら３つのテイクについてのインタラクションデータと音声信号を、ユーザデバイス００９ａとユーザデバイス００９ｂとを用いて記録する。その後、彼らはそのシーンにおける残りのセクションについて記録する。
【００２４】
ユーザデバイス００９ａとユーザデバイス００９ｂとから得られたデータは、同期され、メディアデバイス００１のユーザ認識モジュール００５に送られる。このメディアデバイス００１においては、ノンプレイヤキャラクタ０２２ａとプレイヤアバター０２３ａとによって表現されたキャラクタ相互間のインタラクションを特徴付けるインタラクションデータを供給するために、Gilliesの２００９年の論文やGilliesの２０１０年の論文やGilliesの２０１５年の論文に記載されたような技術を用いて、プロセッサ００７によって上述のデータが処理される。得られたインタラクションデータは、メディアデバイス００１のメモリ００２内に記憶される。
【００２５】
図４に示したインタラクションデータを視認してそれに対してアノテーションするための手順を、前述の、容疑者が強盗の容疑で逮捕されていて警官に取り調べられているというコンピュータゲームにおけるシーンの例に引き続いて以下に述べる。ユーザ０２０（前述の例では警官を演じた者／ノンプレイヤキャラクタ０２２ａ）とユーザ０２１（前述の例では容疑者を演じた者／プレイヤアバター０２３ａ）とは、依然として仮想環境０１９内に留まってはいるが、今はユーザアバター１２０とユーザアバター１２１によって表されている。彼らの中にこのビデオゲームのディレクターであるユーザ０２４が加わる。このユーザ０２４は仮想環境０１９内でユーザアバター１２４によって表されている。ユーザ０２４は、例えば、ユーザ０２０やユーザ０２１もがそれぞれのディスプレイ０１７上で体験した仮想環境０１９を表示するように構成されているディスプレイ０１７を備えたユーザデバイス００９を身に着けていてよい。ユーザアバター１２０とユーザアバター１２１とユーザアバター１２４とは、人間の完全な身体、又は人間の一部分や人間のアイコン表現を備えたアバターであってよい。仮想環境０１９は、ユーザがアニメーションの再生（playback）の制御を可能にするタイムコードやスクラブバーのコントローラなどによる編集を支援する、メタデータのグラフィック表現（graphical representations）を含んでもよい。
【００２６】
ユーザ０２０とユーザ０２１とユーザ０２４とは、図３において既に記録されている取調べシーンの異なるテイクを視認できるコントローラにアクセスすることができる。このコントローラはまた、ユーザにレコーディング全体を通して一時停止、巻き戻し、早送り又はスクラブをすることもできる。これらのコントローラはジョイパッドやキーボードやオキュラスタッチ（Oculus Touch）などの物理的なデバイスであってよいし、又は身体の動きを使って行われるジェスチャコントロール（gestural controls）であってもよい。ユーザ０２０とユーザ０２１とユーザ０２４とは、図３において既に記録されているすべてのレコーディングを視認し、アノテーションし、マークアップしていく。アノテーションは、笑顔等の振る舞い若しくは感情や「やましい笑み」（a guilty grin）などといったコミュニケーション機能（communicative functions）、又はそれら両方を組み合わせたものについての高次の情報を描写することができる。例えば、彼らは、取調べの対峙のセクションのある１テイクにおいて、容疑者（ユーザ０２１によって演じられている）にコミュニケーションする気がなく、殻に閉じこもってしまう際のボディランゲージをアノテーションする。また、アノテーションは第１のパフォーマと第２のパフォーマとの間の対をなすインタラクションも表現する。例えば、あるアノテーションは、ノンプレイヤキャラクタ０２２ｂからの攻撃的な手のジェスチャによってプレイヤアバター０２３ｂの「やましい笑み」がどのような反応を受けるか、を表現することができる。
【００２７】
これらのアノテーションは、ＮＰＣマルチユーザ編集モジュール００６による処理のために送られる。このＮＰＣマルチユーザ編集モジュール００６では、これらのアノテーションは、機械学習アルゴリズムが使用するためのラベル及び／又は一般的な管理（general supervision）及び／又は一般的なメタデータを供給する。この機械学習アルゴリズムは、一例としてGilliesによる２００９年の論文やGilliesによる２０１０年の論文やGilliesによる２０１５年の論文等に記載された技術を使用しているが、当業者であれば他の機械学習技術を用いることもできることが容易に理解できるだろう。
【００２８】
図５に示した没入型マルチユーザ環境内におけるＮＰＣの振る舞いを制御するためのインタラクションデータのフルボディエディティングの手順について、以下に述べる。これは、前述の、容疑者が強盗の容疑で逮捕されていて警官に取り調べられているというコンピュータゲームにおけるシーンの例の続きである。
【００２９】
ユーザ０２０とユーザ０２１とユーザ０２４とは、容疑者（ユーザ０２１によって演じられている）が警官（ユーザ０２０によって演じられている）に尋問されているという、取調べの対峙セクションについての４つのレコーディングを見直す。彼らは、既に記録したアノテーション（図４を参照のこと。）を、インタラクションデータの関連したセクションにアクセスするためのインデックスとして用いる。例えば彼らは、容疑者が殻に閉じこもって防御的になっていることに応じて警官のボディランゲージがよりフレンドリーで感じの良いものになっていく、といったことを示すラベル付けがなされた、対峙シーンにおけるすべての瞬間を見直す。彼らは、これらのレコーディングのうちの２番目の演技が特に気に入ったものの、警官の態度はさらに一層ポジティブで親しみやすいものにするべきだ、と判断する。
【００３０】
したがって、ユーザ０２１は容疑者（プレイヤアバター０２３ｃ）の制御に取り掛かり、当該動作のセクションを、一層オープンで感じの良いボディランゲージによって身体で演じる。これらの修正によって、既存のインタラクションデータが完全に置き換えられることなく改善され、容疑者の身体姿勢に変更が加えられても、動作の残りの部分であるアイコンタクトや頭の動き、発話といったものは元のままに残すことができる。これらの編集された修正は、ＮＰＣマルチユーザ編集モジュール００６による処理のために送られ、そこでは、動作に対応する編集されたインタラクションデータを供給するために、編集された修正によってデータが更新される。この編集されたインタラクションデータは、例えば、編集されたインタラクションデータに従ってＮＰＣがプレイヤと相互作用するコンピュータゲーム内でのその後の使用のために記憶されうる。
【００３１】
一人のプレイヤが、図６に示す編集されたインタラクションデータに基づいて動作をするＮＰＣと相互作用する手順を以下に述べる。これは、前述の、容疑者が強盗の容疑で逮捕されていて警官に取り調べられているというコンピュータゲームにおけるシーンの例の続きである。
【００３２】
プレイヤ０２７は、ヘッドマウントディスプレイ、ニアアイ・ライトフィールドディスプレイ、導波路リフレクタアレイプロジェクタ、レンチキュラディスプレイ、液晶ディスプレイパネル、発光ダイオードディスプレイパネル、プラズマディスプレイパネル、陰極線管その他のディスプレイであってよいユーザデバイス０２５を身に着けている。ユーザデバイス０２５は、プレイヤ０２７を、警察署の室内を表現する仮想環境０１９内に没入させる。プレイヤ０２７の顔や身体の動きは、人間の完全な身体、又は人間の一部分や人間のアイコン表現を備えたアバターであってよいプレイヤアバター０２３ｄに接続されている。そしてプレイヤ０２７は、図３、図４及び図５に示し、かつ上述した手順において、ユーザ２０とユーザ２１とユーザ２４とによって既に記録され、アノテーションされかつ編集されたシナリオを体験する。プレイヤ０２７はそのシナリオを、自分自身のボディランゲージがノンプレイヤキャラクタ０２２ｄによって刻々と反応されるという容疑者の視点から体験する。例えば、対峙のシーンの最中で、プレイヤ０２７のボディランゲージが殻に閉じこもって防御的になる。するとＮＰＣはその振る舞いを認識し、そして、図３においてレコーディングされ、図４においてアノテーションされ、かつ図５において編集された動作のセクションを用いて、よりポジティブかつ親しみやすいように振る舞うよう動機付けられる。
【００３３】
図７のフローチャートに示した、没入型マルチユーザ環境内におけるＮＰＣの振る舞いについてのフルボディエディティングの手法を以下に述べる。ステージ３、４、５は循環的であり、インタラクションデータを編集するために必要な限りにおいて繰り返すことができる。
１．ユーザ０２０とユーザ０２１との間のインタラクション（図３）に対応するデータをプロセッサによって決定する。
２．変更された特徴を得るためのユーザ０２０とユーザ０２１との間のインタラクション（図３）に対応するデータを用いて、ノンプレイヤキャラクタ０２２ａの特徴をプロセッサによって変更する。
３．ノンプレイヤキャラクタ０２２ｂの変更された特徴をプロセッサによって表示用にレンダリングする。
４．ユーザ１２０とユーザ１２１とユーザ１２４との間のインタラクション（図４）と、ノンプレイヤキャラクタ０２２ｂの変更された特徴とにそれぞれ対応するデータをプロセッサによって決定する。
５．ノンプレイヤキャラクタ０２２ｃの変更された特徴をプロセッサによって調整する。
【００３４】
上述の記載より、警官による容疑者の取り調べについての編集されたインタラクションデータはインタラクションデータが編集可能であるという一実施例に過ぎないということ、そして、複雑なプログラムコード編集技術を必要とせずに、そしてソフトウェアエンジニアではなく役者及び／又はディレクターによって実行可能な技術によって、自然で現実味のあるインタラクションを供給するために編集された、異なるユーザ／プレイヤインタラクションに用いるアニメーションのライブラリを提供するために、複数の異なった動作に対応するデータを設定することができ、そのデータはコンピュータゲームや他のエンタテインメントメディアにおけるその後の使用のために記憶されうる、ということが理解されよう。
【００３５】
以下の特許請求の範囲に記載した本発明の範囲内に属する、本開示に記載した実施例に関して多くの変更やバリエーションが考えられうる。
【図１】
2018537174.tif 000003
【図２】
2018537174.tif 000004
【図３】
2018537174.tif 000005
【図４】
2018537174.tif 000006
【図５】
2018537174.tif 000007
【図６】
2018537174.tif 000008
【図７】
2018537174.tif 000009
【国際調査報告】
2018537174.tif 000010
2018537174.tif 000011
2018537174.tif 000012