(57)【要約】  【課題】未来の行動の結果感じられる事象（映像、音、触覚）全般を改変して新たな付加価値を提供する。  【解決手段】行動を認識するための行動認識装置と、行動認識装置の認識結果を使用して未来の行動を予測する予測部と、予測された未来の行動に関する付加価値を生成する付加価値生成部と、生成された付加価値を提示する提示部とを有する情報処理装置である。【選択図】図５
2020009295.tif 000002
【特許請求の範囲】
【請求項１】
行動を認識するための行動認識装置と、
前記行動認識装置の認識結果を使用して未来の行動を予測する予測部と、
予測された前記未来の行動に関する付加価値を生成する付加価値生成部と、
生成された前記付加価値を提示する提示部と
を有する情報処理装置。
【請求項２】
前記付加価値生成部は、未来の行動の分節点の間の制御区間において映像を改変するものである請求項１に記載の情報処理装置。
【請求項３】
前記制御区間において、認識された行動に対して映像を遅延及び早送りすることによって触運動錯覚を利用して反力を錯覚させ、前記制御区間の経過後では、認識された行動との遅延が感知できない程度とされる請求項２に記載の情報処理装置。
【請求項４】
請求項１に記載の情報処理装置を少なくとも二つ有し、前記情報処理装置のそれぞれが予測した未来の行動のタイミングがほぼ一致するように制御する請求項１に記載の情報処理装置。
【請求項５】
請求項１に記載の情報処理装置を少なくとも二つ有し、情報処理装置を使用して遠隔地でゲームを行う場合に、対戦相手の未来の行動を予測し、予測結果によってアバターを動かすことによって、通信障害を緩和するようにした請求項１に記載の情報処理装置。
【請求項６】
請求項１に記載の情報処理装置を少なくとも二つ有し、一方の未来の行動を予測して他方の行動を制御するようにした請求項１に記載の情報処理装置。
【請求項７】
前記行動認識装置は、行動と連動して変位するセンサーによって構成される請求項１に記載の情報処理装置。
【請求項８】
前記行動認識装置は、行動を撮影するカメラによって構成される請求項１に記載の情報処理装置。
【請求項９】
行動に関する情報は、行動の実数値、行動の所属クラス及び行動の遷移確率の少なくとも一つである請求項１に記載の情報処理装置。
【請求項１０】
前記予測部は、過去の行動のデータベースから予測しうる行動した意図を含む請求項１に記載の情報処理装置。
【請求項１１】
行動認識装置によって行動を認識し、
予測部によって前記行動認識装置の認識結果を使用して未来の行動を予測し、
付加価値生成部によって予測された前記未来の行動に関する付加価値を生成し、
提示部によって、生成された前記付加価値を提示する
情報処理方法。
【請求項１２】
行動認識装置によって行動を認識し、
予測部によって前記行動認識装置の認識結果を使用して未来の行動を予測し、
付加価値生成部によって予測された前記未来の行動に関する付加価値を生成し、
提示部によって、生成された前記付加価値を提示する情報処理方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、人物の未来の行動を予測し、予測結果によって新たな付加価値を提供することができる情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
人物などの動きをデジタル的に検出し、記録することは、モーションキャプチャ技術として知られている。キャプチャ技術としては、複数のカメラと反射マーカーを使用する光学式、ジャイロセンサ、加速度計を身体の各部に装着して動きを計測する慣性センサ方式、ビデオカメラで撮影された映像を解析するビデオカメラ方式などが知られている。
【０００３】
例えば特許文献１には、筋力トレーニング、リハビリテーション及びシェイプアップなどの運動を効果的なものとするために、運動をする人物へ運動の有効性に関する十分なフィードバックを与えることが記載されている。すなわち、運動の有効性に関するフィードバックを目に見える形でユーザに呈示するようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１０３０１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載のものは、現在の運動を認識してその運動の有効性をフィードバックするものであり、新たな付加価値を生成するものではない。
【０００６】
したがって、本技術は、未来の行動を予測して予測結果から新たな付加価値を生成することができる情報処理装置、情報処理方法及びプログラムを提供するものである。
【課題を解決するための手段】
【０００７】
本技術は、行動を認識するための行動認識装置と、
行動認識装置の認識結果を使用して未来の行動を予測する予測部と、
予測された未来の行動に関する付加価値を生成する付加価値生成部と、
生成された付加価値を提示する提示部と
を有する情報処理装置である。
本技術は、行動認識装置によって行動を認識し、
予測部によって行動認識装置の認識結果を使用して未来の行動を予測し、
付加価値生成部によって予測された未来の行動に関する付加価値を生成し、
提示部によって、生成された付加価値を提示する
情報処理方法である。
本技術は、行動認識装置によって行動を認識し、
予測部によって行動認識装置の認識結果を使用して未来の行動を予測し、
付加価値生成部によって予測された未来の行動に関する付加価値を生成し、
提示部によって、生成された付加価値を提示する情報処理方法をコンピュータに実行させるプログラムである。
【発明の効果】
【０００８】
少なくとも一つの実施形態によれば、未来の行動に関する付加価値を提示することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本技術中に記載されたいずれかの効果又はそれらと異質な効果であっても良い。
【図面の簡単な説明】
【０００９】
【図１】図１は、本技術による情報処理装置の基本的な処理の流れを示すフローチャートである。
【図２】図２は、ユーザのセンサ情報を取得する方法を示す図である。
【図３】図３は、取得されたセンサ情報を使用してユーザの直後の行動を予測する処理を説明するための図である。
【図４】図４Ａ及び図４Ｂは、未来の行動を予測するための構成を説明するためのブロック図である。
【図５】図５は、本技術による情報処理装置の全体の構成の一例を示すブロック図である。
【図６】図６は、本技術による情報処理装置の全体の構成の他の例を示すブロック図である。
【図７】図７は、本技術の第１の実施形態の説明に使用する図である。
【図８】図８は、第１の実施形態によるＶＲゲームの説明に使用する図である。
【図９】図９は、ＶＲゲームの提示画面を示す図である。
【図１０】図１０は、ＶＲゲームにおいて剣が仮想物体を斬る動作の流れを説明するための図である。
【図１１】図１１は、本技術の第１の実施形態によるＶＲゲームにおいて剣が仮想物体を斬る動作の流れを説明するための図である。
【図１２】図１２Ａ、図１２Ｂ、図１２Ｃは、制御区間における制御の態様をそれぞれ示す図である。
【図１３】図１３は、第１の実施形態の応用例の説明に用いる図である。
【図１４】図１４は、第２の実施形態の説明に使用する図である。
【図１５】図１５は、第２の実施形態の説明に使用する図である。
【図１６】図１６は、第２の実施形態を適用しない場合の問題点の説明のための図である。
【図１７】図１７は、第２の実施形態の説明に使用する図である。
【図１８】図１８は、第３の実施形態の説明に使用する図である。
【図１９】図１９は、第４の実施形態の説明に使用する図である。
【図２０】図２０は、第４の実施形態の説明に使用する図である。
【図２１】図２１は、第５の実施形態の説明に使用する図である。
【図２２】図２２は、第５の実施形態の説明に使用する図である。
【発明を実施するための形態】
【００１０】
以下、本技術の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．本技術の概要＞
＜２．第１の実施形態＞
＜３．第２の実施形態＞
＜４．第３の実施形態＞
＜５．第４の実施形態＞
＜６．第５の実施形態＞
＜７．変形例＞
以下に説明する実施形態等は本技術の好適な具体例であり、本技術の内容がこれらの実施形態等に限定されるものではない。
【００１１】
＜１．本技術の概要＞
本技術は、下記の特徴を有する。
１  ユーザの行動を予め予測することにより、例えば数秒間の予測した行動や、予測した行動から発生する状況に対して付加価値を加えることでユーザに新しい価値を提供する。
【００１２】
２  特にリアルタイムに行われるＶＲ(Virtual Reality）ゲームでは、数秒後のユーザの行動を予測できることで、数秒間の映像を実際の行動とかけ離れないように改変することによって、以下のような体験を提供できる。
ＶＲ上の仮想物体に直接触れるインタラクションが起こる際に反力を錯覚させられる（後述する第１の実施形態）。
タイミングをとることが困難であり滅多に起きない場面を、任意に起こすことができる（後述する第２の実施形態）。
３  １の特徴を生かすことで、ＶＲに限らずゲーム用途において以下のようなケースにも応用が可能である
通信障害の緩和（後述する第３の実施形態）。
コンピュータが利用してプレイヤーを接待、対戦ゲームで対戦相手の行動予測を取得する（後述する第４の実施形態及び第５の実施形態）。
【００１３】
本技術の基本的な処理の流れについて、図１のフローチャートを参照して説明する。
ステップＳＴ１：複数のセンサを同期させる。
ステップＳＴ２：センシングによりユーザの行動情報を収集し、ユーザの行動を認識する。
ステップＳＴ３：現在の行動から、未来例えば数秒先の行動を予測する。
ステップＳＴ４：予測した行動により起こる周りの状況に沿って最適な付加価値を提供する。付加価値は、五感を通じて提示される。
【００１４】
さらに、各ステップの処理について説明する。
ステップＳＴ２においては、センシングによりユーザの行動を認識するため、現在の有用な情報（以下、センサ情報と適宜称する）を取得する。有用なセンサ情報として、位置姿勢（身体、身体で操る道具）、温度、音、脈拍、加速度、振動などである。ステップＳＴ２においては、種々のモーションキャプチャ技術を適用でき、センサとしてビデオカメラを使用してもよい。
【００１５】
図２は、ユーザのセンサ情報を取得する方法を示している。図２Ａは、ユーザの手足に取り付けたセンサ（斜線を付したブロック）によってセンサ情報を取得する例を示す。図２Ｂは、ユーザが手に持ったセンサ（斜線を付したブロック）からセンサ情報を取得する。センサとしては、ジャイロセンサ、加速度計などを使用できる。図２Ｃは、ユーザの周囲に設けられたセンサ（斜線を付したブロック）例えばビデオカメラからセンサ情報を取得する例を示す。
【００１６】
ステップＳＴ３においては、取得されたセンサ情報を入力としてユーザの直後（例えば数秒先まで）の行動を予測する。図３を参照して説明する。図３の水平方向が時間の経過を示しており、時刻ｔ１における行動例えばゴルフスイングのトップの位置から数秒後の時刻ｔ２における行動を予測する。
【００１７】
時刻ｔ１からｔ２までの間に、「行動の実数値」、「行動の所属クラス」、「行動の遷移確率」の１又は複数が予測対象とされる。「行動の実数値」は、姿勢を表す座標情報である。「行動の所属クラス」は、例えばゴルフスイングでは、「アドレス」「テークバック」「トップ」「ダウンスイング」「インパクト」「フォロースルー」「フィニッシュ」がクラスである。「行動の遷移確率」は、次に生じる行動の確率（％）のことである。
【００１８】
なお、予測対象には行動を直接表現する身体動作に限らず、センサ情報又は過去の行動のデータベースから予測しうる行動した意図も含まれる。
出力は数秒先時点、又は数秒先までの間の時系列として扱い、一例として、実数、クラス、確率として出力する。
また、予測開始時点の行動が何秒先で終わるか（動作の分節点と定義する）を予測してもよい。動作の分節点は、ある一つの行動が別の行動と区切れるタイミングのことである。
【００１９】
ユーザの現在の行動から、数秒先までの行動を予測する場合、具体的には、図４Ａ及び図４Ｂに示すようになされる。数秒先までの身体動作軌跡を予測するアプローチでは、Recurrent Neural Networkを用いて図４Ａに示すようなモデル実装が可能である。
【００２０】
過去から現在のフレームまでの位置姿勢（時系列）が入力される。ここで、位置姿勢は、全身、身体の一部、身体で操る道具を含む。Recurrent Neural Networkからは、数秒間先までの数十フレーム（６０ｆｐｓとして１００フレームなど）の予測したい任意の部位の位置姿勢（時系列）が出力される。
【００２１】
一方で、図４Ｂに示すように、分節点があるフレームを予測するアプローチでも、同様にRecurrent Neural Networkを用いてモデル実装が考えられる。過去から現在のフレームまでの位置姿勢（時系列）が入力される。Recurrent Neural Networkは、分節点がある数十フレーム目及び分節点で発生する行動の所属クラスを予測する。分節点は推定時の行動が別の行動と区別される点である。
【００２２】
ステップＳＴ４では、予測した行動、それにより起こる周りの状況に 沿って最適な付
加価値を五感を通して提供する。付加価値とは、予測した行動がそのまま行われた場合と比較してユーザが新たに得た外部刺激である。外部刺激は五感（視覚など）に訴えかける形で提示する。
【００２３】
付加価値として映像などを提示する場合の機能ブロック図を図５に示す。図５は、単一のユーザに対して設けられる構成である。複数例えば３個のセンサ１ａ，１ｂ，１ｃによって全身又は特定部位の位置姿勢を示す検出情報が取得される。検出情報がセンサ同期部２に供給され、センサ間の同期がとられる。センサ同期部２からのセンサ情報が行動認識部３に供給される。行動認識部３によって全身の又は特定部位の位置姿勢・行動の情報が生成される。
【００２４】
行動認識部３によって生成された行動の情報が未来行動予測部４及び映像作成部１２に供給される。映像作成部１２は、破線で囲んで示す付加価値生成及び提示部１１に含まれるものである。映像作成部１２は、位置姿勢・行動に合った映像を作成する。映像作成部１２により作成された映像（通常の映像と適宜称する）が映像切替部１４に供給される。
【００２５】
未来行動予測部４は、データベース５に蓄積されている行動の時系列データや行動のラベリングデータを学習して、全身又は特定の部位の数秒先までの位置姿勢の情報を作成する。データベース５には、過去、特定の個人または不特定多数の人の行った全身又は特定の位置姿勢時系列、過去の行動時系列などの情報が蓄積されている。未来行動予測部４によって作成された全身又は特定の部位の数秒先までの位置姿勢の情報が未来行動予測部４から未来映像改変部１３に供給される。上述したセンサ１ａ，１ｂ，１ｃ、センサ同期部２、行動認識部３、未来行動予測部４及びデータベース５を含む部分的構成（破線で囲んで示す）は、センシング及び未来予測部６を構成する。
【００２６】
未来映像改変部１３は、予測結果に従って予め通常の映像を改変して数秒先の映像を形成する。未来映像改変部１３により改変された映像が映像切替部１４に供給される。映像切替部１４は、映像作成部１２からの通常の映像と、映像改変部１３からの改変された映像を切り替えて一方の映像を出力するものである。なお、映像切替部１４において、切替時にフエードイン及びフエードアウトするようにしてもよい。さらに、映像の切替ではなく、設定された混合比でもって二つの映像を混合（重畳）してもよい。映像切替部１４の出力が出力部１５に供給される。
【００２７】
出力部１５に対して再生装置又はアクチュエータが接続されている。図５においては、提示装置としてＨＭＤ（（Head Mounted Display）頭部搭載型ディスプレイ）１６、モニタ１７、音声同期部１８を介して接続されたスピーカ１９、及び振動同期部２０を概して接続された振動発生用のアクチュエータ２１が接続されている。ＨＭＤ１６により映像及び音声がユーザに対して提示される。ＨＭＤ１６の代わりにゴーグルを使用してもよい。モニタ１７により表示去れる映像をユーザ見ることができる。スピーカ１９からの音声情報をユーザが聴くことができる。アクチュエータ２１により発生した振動をユーザが感じることが可能とされている。これらの再生装置又はアクチュエータによってユーザに対して付加価値を提供することができる。なお、図示されているＨＭＤ１６、モニタ１７、スピーカ１９及びアクチュエータ２１の全てを備える必要はない。
【００２８】
図５に示すシステムは、単一のユーザに対して適用されるものである。しかしながら、本技術は、複数のユーザに対応するシステムを構成することができる。図６は、複数ユーザに対応する場合のシステムの構成を示す。破線で囲んで示すセンシング及び未来予測部６1 は、ユーザ１に関する構成である。
【００２９】
上述したように、センシング及び未来予測部６1 には、センサ１ａ，１ｂ，１ｃ、センサ同期部２、行動認識部３、未来行動予測部４及びデータベース５が含まれている。センシング及び未来予測部６1 の行動認識部３から出力される全身の又は特定部位の位置姿勢・行動の情報がサーバ１０に蓄積される。未来行動予測部４から出力された全身又は特定の部位の数秒先までの位置姿勢の情報もサーバ１０に蓄積される。
【００３０】
他のユーザ（ユーザ２〜ユーザＮ）のそれぞれに関連してセンシング及び未来予測部６2 〜６N が設けられている。これらのセンシング及び未来予測部６2 〜６N のそれぞれの行動認識部及び未来行動予測部の出力がサーバに蓄積される。
【００３１】
ユーザ１〜ユーザＮのそれぞれに対して破線で囲んで示す付加価値生成及び提示部１１1 〜１１N が設けられている。これらの付加価値生成及び提示部１１1 〜１１N は、互いに同様の構成とされている。すなわち、各付加価値生成及び提示部は、映像作成部１２、未来映像改変部１３、映像切替部１４、出力部１５、ＨＭＤ１６、モニタ１７、音声同期部１８、スピーカ１９、振動同期部２０及びアクチュエータ２１をそれぞれ有する。この結果、ユーザ毎に、付加価値を提供することができる。但し、付加価値生成及び提示部１１1 〜１１N のいずれかは映像のみを出力し、そのいずれかは音声のみを出力する、といった構成も可能である。
【００３２】
単一のユーザに関するシステム（図５）における各ブロックは、ＨＭＤに設けられている制御回路によって実現されたり、ＨＭＤとは別のＰＣ（Personal Computer)によって実現されたりする。また、各ブロック間は、有線又は無線によって接続されている。
【００３３】
＜２．本技術の第１の実施形態＞
本技術の第１の実施形態について説明する。第１の実施形態は、ＶＲゲームにおいて、仮想物体に触れた際の反力を錯覚させるものである。すなわち、図７に示すように、仮想物体をつついた時につついた感じがするような錯覚をユーザに起こさせる。仮想物体は、ＶＲ（Virtual Reality)上にある物体であって、実世界に実物は存在しない物である。
【００３４】
図１のフローチャートの処理において、ユーザの現在の行動を認識し、ユーザが仮想物体をつつく行動（未来の行動）が予測され、ユーザが仮想物体をつつく行動時に、仮想物体から受ける反力の錯覚を生じさせる。すなわち、この場合の提供する付加価値は、つついた時に仮想物体から受ける反力の錯覚である。
【００３５】
第１の実施形態は、既存のＶＲゲームの問題点を解決することができる。すなわち、既存のＶＲゲームでは、仮想物体と直接接触しても、反力がなく、現実との乖離が大きく没入感が得られない。その結果、既存のＶＲゲームはほとんどが、ＶＲ仮想物体とは直接触れないゲーム形態であった。例えば映像を３６０度見渡すＶＲゲーム、飛び道具（銃など）による仮想物体を射撃するＶＲゲームなどであった。本技術の第１の実施形態は、仮想物体と接触した時に反力を感じるので、より現実に近い感じを得ることができる。
【００３６】
図８は、ＶＲゲームの一例を示す。ユーザは、実空間３０においてＨＭＤ３１を装着している。手にはセンサ３２を持っている。センサ３２は、手の動きを示す検出信号を発生する。検出信号が無線又は有線でＨＭＤ３１が有するコントローラに送信される。ＨＭＤ３１のディスプレイ上に表示されているＶＲの映像をユーザが見ることができる。このＶＲ映像には、手の動きに対応して動く仮想の剣と、その剣で攻撃したい怪獣のような敵（仮想物体）を含む映像が表示される。
【００３７】
ユーザが実空間３０でセンサ３２を振り回すことで、ＶＲ上で剣が振られることになり、剣によって敵が斬られることになる。第１の実施形態は、以下に説明するように、実空間３０では空を斬っているのに、敵を斬ったという感覚に錯覚させることができる。
【００３８】
第１の実施形態では、触運動錯覚を利用して仮想物体例えば怪獣に剣が触れた際の反力を錯覚させる。触運動錯覚による反力錯覚の例は、実際の動きと連動する映像を提示する装置を用意し、適切なタイミングで、認識された実際の動きに対して連動する映像を遅らせる。ユーザに対して、映像に映る連動に遅延が生じたとは感じさせず、映像にある要素によって反力が発生したと錯覚させることが可能である。
【００３９】
上述したＶＲゲームの例において、剣で敵を斬る場合、剣が敵を通過する間だけユーザの動きより遅延した動きとする。しかしながら、この触運動錯覚は単純にＶＲに適応できない、問題点がある。触運動錯覚を利用するためには、実際の動きと連動する映像をずらす必要がある。このことは、リアルタイムに動作がＶＲゲームに影響する体験（リアルタイムＶＲと呼ぶ）の場合、実動作と映像の遅延による差が問題になる。
【００４０】
この点に関して図９及び図１０を参照して説明する。図９は、仮想物体（敵に相当する）３３を剣３４で斬る場合の説明用の図面である。図１０は、Ｘ軸が実際の動作を示し、Ｙ軸が連動する映像を示す図である。剣３４の動きは、実空間上でのユーザの動きと連動しており、剣３４は、仮想物体３３を斬った時に、斬り始めのタイミング（分節点）ｘ１から斬り終わりのタイミングｘ２（分節点）の間（すなわち、仮想物体３３を通過する間）、ユーザの動きより遅れることを示している。映像に遅延なく、実際の動作と映像が連動している場合は、ｙ＝ｘで線形に遷移する。映像に遅延が発生した場合、部分的にｙ＝Ａｘ（１＞Ａ＞０）となる。
【００４１】
しかしながら、図１０に示す方式は、発生した遅延は常に残り続けるため、ユーザが反力として錯覚するよりも、映像が遅延していると認識する。例えば、実際の動作では次の斬り動作に入っているとき、映像では前回の斬り動作の映像が流れているときなどがある。
【００４２】
本技術の第１の実施形態は、かかる問題点を解決することができる。図１１を参照して説明する。分節点ｘ１のユーザの行動認識から分節点ｘ２までの未来の行動を予め予測する。時点ｘ１は、例えば斬り始めなどの行動の分節点として適当と思われるタイミングであり、時点ｘ２は、例えば斬り終わりなど行動の分節点として適当だと思われるタイミングである。時点ｘ１が制御（又は予測）開始時点であり、時点ｘ２が制御（又は予測）終了時点である。
【００４３】
ｘ１〜ｘ２の制御区間で映像の遅延、早送りを制御し、部分的にユーザの動きに対して映像（剣３４）の動きを遅延させつつｘ２の時点では、この映像の遅延をなくすか、感知できない程度に小さなものとする。すなわち、ｘ１からｘ３の期間では、映像を遅延させ、ｘ３〜ｘ２の期間では、映像を早送りする。斬り終わりのタイミングｘ２では、映像の遅延がなくなっているので、時点ｘ２以降で実際の斬り動作と剣３４の動きを連動させることができる。したがって、単なる映像の遅れとはユーザが認識しない。
【００４４】
図１２を参照して、制御区間（ｘ１〜ｘ２）における遅延制御の態様のいくつかの例について説明する。図１２Ａは、上述した例であって、制御開始時点ｘ１から実際の動きに対して映像を遅延させ、時点ｘ２が近い時点ｘ３から映像の動きを速めて時点ｘ２では、遅れがない状態とする。映像の動きの速度を線形に制御する例である。
【００４５】
図１２Ｂは、線形ではなく、実際の動きと映像の間の遅延を線形以外の関数で制御する例である。一時的に未来映像（実際の動作よりも先の映像）を見せることも可能である。さらに、図１２Ｃに示すように、予測した区間の最後ｘ２と、実際の動作と映像を一致させる時点とがずれｔａを有していてもよい。
【００４６】
第１の実施形態の遅延制御により扱える応用例について説明する。
仮想物体の異なる硬さなどの物性を錯覚させることができる。図１３に示すように、遅延量を制御することによって、硬さを変えることができる。例えば遅延量を多くするほど固い物体と錯覚させたり、斬り始めの時点ｘ１の直後より遅延量を多く制御するほど粘性の高い物体と錯覚させたりできる。
【００４７】
また、予測した軌跡や物体接触時間の長短から、ユーザの意図を推定し、同じ硬さの物体でも適切な遅延量で制御できる。例えば大振りでは分節点（次の斬り初め）まで８０フレームを要し、小振りでは分節点まで４０フレーム要するように、次の分節点までの時間を制御する。小振りのときは、ユーザは大振りのときより「連続で斬りたい」という意図があることを予測して遅延量を少なくして連続斬りに対応する。なお、ユーザの意図推定は、過去データから事前学習により獲得する。
【００４８】
上述したように、第１の実施形態は、リアルタイムＶＲで触運動錯覚を利用し、仮想物体と直接触れ合う体験を可能にする実施形態である。さらに、未来の行動を予測することができるため、ユースケースを例にとると、仮想物体と剣が接触する瞬間も予測できるのでそれにぴったり合わせた映像や、映像に振動や音などを組み合わせることによって、反力をクロスモーダルで錯覚させることが可能になる。
【００４９】
＜３．本技術の第２の実施形態＞
本技術の第２の実施形態について説明する。第２の実施形態は、ＶＲ上で複数人のタイミングが合わないと起きない場面をタイミングの制御により任意に起こすようにしたものである。第２の実施形態の処理の流れは、図１のフローチャートと同様に、ユーザの未来の行動を予測し、タイミングを制御することによって、付加価値として、実際と異なる映像を提供することであり、滅多に起きない場面を、任意に起こすことができる。
【００５０】
例えば図１４に示すように、ＨＭＤ４１ａを装着しているユーザとＨＭＤ４１ｂを装着しているユーザがいるＶＲ上で、二人の人物が偶然目が合ったシーンを提供する。二人が振り返るタイミングが一致しないと、このようなシーンが得られない。ここで、視線が合うと感じられる範囲であれば、二人が振り返るタイミングの間にわずかなずれがあってもよい。図１５に示すように、実空間において、ＨＭＤ４１ａを装着したユーザＡとＨＭＤ４１ｂを装着したユーザＢがそれぞれ振り返る動作を行う。ユーザＡ及びユーザＢにそれぞれ対応する人物が登場するＶＲ上では、両ユーザの振り返るタイミングが一致しないと、互いの視線があった映像が提示されない。他の例としては、ボクシングのＶＲゲームにおいて、パンチをだすタイミングと避けるタイミングが極めて近接していないと、面白みが欠けたり、現実感が生じない問題が生じてしまう。
【００５１】
本技術の第２の実施形態についてさらに説明する。図１６は、本技術の第２の実施形態を適用しない場合を説明するためのタイミングチャートである。ユーザＡ及びユーザＢのそれぞれの動作と、二人のユーザの振り向きに連動した映像が示されている。ユーザ二人にそれぞれが適当なタイミングで振り向いてもらい、振り向きを認識し、連動した映像をＨＭＤ４１ａ及び４１ｂに映し出す。振り向きの行動は、ＨＭＤに設けたジャイロセンサ及び加速度計、周囲のビデオカメラなどによって検出することができる。
【００５２】
最初は、ユーザＡ及びユーザＢが別々の方向を見ている。次に、ユーザＢが振り向いてユーザＡを見た瞬間では、ユーザＡは、未だ別の方向を見ており、二人の目が合うことはない。次に、ユーザＡが振り向いてユーザＢを見た瞬間、既にユーザＢが別の方向を見ているので、二人の目が合うことがない。さらに、その後は、ユーザ７及びユーザＢが別々の方向を見ている状態となる。すなわち、二人のユーザの振り向きタイミングが合わないと、目が合う場面は起きない問題がある。
【００５３】
これに対して、本技術の第２の実施形態の処理を、図１７に示す。二人の向きが合うタイミングを未来予測によって決定する。ユーザＢの映像を遅延させ、振り向き期間を長く見せる。ユーザＡの振り向き期間は早く見せるように早送りする。その結果、ユーザＡがユーザＢを見た瞬間と、ユーザＢがユーザＡを見た瞬間を一致させることができる。すなわち、二人の目が合う映像を提示することができる。
【００５４】
上述した図１のフローチャートとの関係で、第２の実施形態の処理について説明する。ステップＳＴ１において、複数のセンサを同期させてから、ステップＳＴ２において、二人の振り向き動作を認識する。
【００５５】
ステップＳＴ３において、二人の振り向きが合うタイミング、及び振り向きの終わるタイミングを未来予測により決定する。
【００５６】
ステップＳＴ４において、実際の振り向き動作に対し、遅延した映像又は早送りした映像を見せる。振り向きの途中では実際の動きと映像は一部ずらしている。振り向きの終わり部分では、実際の動きと映像は一致している。付加価値として二人が振り向いた時に目が合うような映像を提示できる。
【００５７】
上述したように、第２の実施形態は、リアルタイムＶＲを利用し、複数人のタイミングが合わないと起きない場面を任意に起こすことができる。なお、ユーザＡ及びユーザＢの両方の映像を制御しないで一方の映像のみを制御してもよい。
【００５８】
＜４．本技術の第３の実施形態＞
本技術の第３の実施形態について説明する。第３の実施形態は、通信障害を緩和するものである。通信障害とは、通信の遅延、通信の切断などを含む。遠隔地との対戦ゲームの場合、通信障害が発生した際、対戦相手の予測した行動をもとにゲーム自体は遅延なく続行可能にすることができる。第３の実施形態により、通信障害の緩和という付加価値を提供することができる。
【００５９】
図１８は、オンラインゲームの概略を示している。ＨＭＤ４１ａを装着しているユーザＡと、ＨＭＤ４１ｂを装着しているユーザＢが対戦している場合、ユーザＢのアバターが設定される。ユーザＢは、アバターを通信を介して動かしている。この通信に障害が発生した時には、アバターが正しい動きができなくなる。第３の実施形態は、その場合に、対戦相手のユーザＢの行動を予測してアバターを動かすことで、遅延なくゲームを続行することができる。
【００６０】
上述した図１のフローチャートとの関係で、第３の実施形態の処理について説明する。ステップＳＴ１において、複数のセンサを同期させてから、ステップＳＴ２において、対戦相手の行動を認識する。
【００６１】
ステップＳＴ３において、通信障害により、対戦相手の行動を得ることができなくなった場合、未来予測に基づいた行動で障害がなくなるまで数秒間のアバターの動きを補完する。
【００６２】
＜５．本技術の第４の実施形態＞
本技術の第４の実施形態について説明する。第４の実施形態は、ＰＣ（Personal Computer)が未来予測を利用してユーザに接待を行う。ユーザの行動を予測し、気づかせないように、ユーザがストレスなくゲームを楽しめるよう調整する。第４の実施形態により、人に意図させない難易度調整という付加価値を提供することができる。
【００６３】
第４の実施形態のユースケースとして、動く的に当てるゲーム、必殺技がいい場面で決まるゲームなどがある。動く的や必殺技を当てる対象をＰＣが操作することができ、あくまで自然にみえる形でユーザの未来行動に沿った挙動にして、ユーザに上手く遊べていると感じさせるようにする。
【００６４】
図１９は、第４の実施形態の概略を示している。ＨＭＤ４１を装着したユーザがコントローラ４２を操作することによって、的４３を撃ち落とすＶＲゲームを行っている。センサ（図示を省略）及びＰＣ４４がユーザの動きを認識してどの箇所を撃つかを予測する。予測した位置に的４３を移動させることによって、ユーザは、良く弾が当たり、自分の技量が高いと感じることができる。
【００６５】
図２０を参照して第４の実施形態の一例について説明する。二次元領域４５において、自機４６を自由に動かして敵機４７を撃墜する戦闘ゲームにおいて、ユーザの未来の行動を予測する。ユーザの移動する位置の確率を尤度マップで表現する。尤度マップにおける円の大きさが確率に対応している。操作対象（自機）の位置の未来動作の尤度マップから自然に且つ当たりやすい位置に敵機４７を移動させる。したがって、敵機４７を確実に撃墜でき、ユーザは、自分の腕がよいと感じる。
【００６６】
上述した図１のフローチャートとの関係で、第４の実施形態の処理について説明する。ステップＳＴ１において、複数のセンサを同期させてから、ステップＳＴ２において、自機４６の移動する確率の尤度マップを作成し、表示する。
【００６７】
ステップＳＴ３において、確率の高い位置に自機４６を移動させる。同時に敵機４７をその位置の自機４６によって撃墜されやすい位置に移動させる。
【００６８】
＜５．本技術の第５の実施形態＞
本技術の第５の実施形態について説明する。第５の実施形態は、ユーザ同士の対戦ゲームで未来予測を活用するものである。図２１に示すように、ＨＭＤ４１ａを装着したユーザＡと、ＨＭＤ４１ｂを装着したユーザＢによる対戦ゲームにおいて、対戦相手のユーザＢの未来の行動をＰＣ４４が予測する。予測した結果、例えばユーザＢが撃つ場所を表示などによってユーザＡに教える。ユーザＡは、容易にユーザＢの弾が当たらないようにできる。第５の実施形態により、未来予測結果の直接提示という付加価値を提供することができる。
【００６９】
上述した図１のフローチャートとの関係で、第５の実施形態の処理について説明する。ステップＳＴ１において、複数のセンサを同期させてから、ステップＳＴ２において、対戦相手の未来の行動を予測する。
【００７０】
ステップＳＴ３において、未来の行動例えば弾を撃つ位置を表示して知らせる。
【００７１】
第５の実施形態のユースケースとしては、誰でも達人のようにゲームをプレイ可能とできる。例えば華麗に相手の攻撃（弾丸）を避けたり、プロのような戦いができる。
【００７２】
第５の実施形態の活用例について図２２を参照して説明する。ユーザＡ及びユーザＢが対戦ゲームを行う。対戦相手のユーザＢが１秒かかる行動をする。ＰＣ４４は、ユーザＢの１秒後の未来行動を予測する。予測した結果をユーザＡに提示する。この提示にかかる時間が０．１秒とすると、ユーザＡは、０．９秒前に相手のユーザＢが行う行動を知ることができる。その結果、事前にユーザＡは、ユーザＢの行動に対処することができる。
【００７３】
例えばユーザＢが銃口をどの方向に向けるかをユーザＡが事前に知ることができる。ユーザＡに対する提示方法としては、第４の実施形態における尤度マップを使用することができきる。
【００７４】
＜７．変形例＞
なお、上述した実施の形態における処理装置の機能は、磁気ディスク、光磁気ディスク、ＲＯＭ等の記録媒体にプログラムとして記録することができる。したがって、この記録媒体をコンピュータで読み取ってＭＰＵ(Micro Processing Unit)、ＤＳＰ(Digital Signal Processor)等で 実行することにより情報処理装置の機能を実現することがで
きる。
【００７５】
以上、本技術の一実施形態について具体的に説明したが、本技術は、上述の一実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。また、上述の実施形態において挙げた構成、方法、工程、形状、材料及び数値などはあくまでも例に過ぎず、必要に応じてこれと異なる構成、方法、工程、形状、材料及び数値などを用いてもよい。例えば本技術は、ＶＲゲームに限らず、教育用、医療用などの分野にも適用することができる。
【００７６】
なお、本技術は、以下のような構成も取ることができる。
（１）
行動を認識するための行動認識装置と、
前記行動認識装置の認識結果を使用して未来の行動を予測する予測部と、
予測された前記未来の行動に関する付加価値を生成する付加価値生成部と、
生成された前記付加価値を提示する提示部と
を有する情報処理装置。
（２）
前記付加価値生成部は、未来の行動の分節点の間の制御区間において映像を改変するものである（１）に記載の情報処理装置。
（３）
前記制御区間において、認識された行動に対して映像を遅延及び早送りすることによって触運動錯覚を利用して反力を錯覚させ、前記制御区間の経過後では、認識された行動との遅延が感知できない程度とされる（２）に記載の情報処理装置。
（４）
（１）に記載の情報処理装置を少なくとも二つ有し、前記情報処理装置のそれぞれが予測した未来の行動のタイミングがほぼ一致するように制御する（１）に記載の情報処理装置。
（５）
（１）に記載の情報処理装置を少なくとも二つ有し、情報処理装置を使用して遠隔地でゲームを行う場合に、対戦相手の未来の行動を予測し、予測結果によってアバターを動かすことによって、通信障害を緩和するようにした（１）に記載の情報処理装置。
（６）
（１）に記載の情報処理装置を少なくとも二つ有し、一方の未来の行動を予測して他方の行動を制御するようにした（１）に記載の情報処理装置。
（７）
前記行動認識装置は、行動と連動して変位するセンサーによって構成される（１）から（６）のいずれかに記載の情報処理装置。
（８）
前記行動認識装置は、行動を撮影するカメラによって構成される（１）から（６）のいずれかに記載の情報処理装置。
（９）
行動に関する情報は、行動の実数値、行動の所属クラス及び行動の遷移確率の少なくとも一つである（１）から（８）のいずれかに記載の情報処理装置。
（１０）
前記予測部は、過去の行動のデータベースから予測しうる行動した意図を含む（１）から（９）のいずれかに記載の情報処理装置。
（１１）
行動認識装置によって行動を認識し、
予測部によって前記行動認識装置の認識結果を使用して未来の行動を予測し、
付加価値生成部によって予測された前記未来の行動に関する付加価値を生成し、
提示部によって、生成された前記付加価値を提示する
情報処理方法。
（１２）
行動認識装置によって行動を認識し、
予測部によって前記行動認識装置の認識結果を使用して未来の行動を予測し、
付加価値生成部によって予測された前記未来の行動に関する付加価値を生成し、
提示部によって、生成された前記付加価値を提示する情報処理方法をコンピュータに実行させるプログラム。
【符号の説明】
【００７７】
１ａ，１ｂ，１ｃ・・・センサ、３・・・行動認識部、４・・・未来行動予測部、
５・・・データベース、６，６1 〜６N ・・・センシング及び未来予測部、
１１・・・付加価値生成及び提示部、１２・・・映像作成部、１３・・・未来映像改変部、１４・・・映像切替部、１５・・・出力部
【図１】
2020009295.tif 000003
【図２】
2020009295.tif 000004
【図３】
2020009295.tif 000005
【図４】
2020009295.tif 000006
【図５】
2020009295.tif 000007
【図６】
2020009295.tif 000008
【図７】
2020009295.tif 000009
【図８】
2020009295.tif 000010
【図９】
2020009295.tif 000011
【図１０】
2020009295.tif 000012
【図１１】
2020009295.tif 000013
【図１２】
2020009295.tif 000014
【図１３】
2020009295.tif 000015
【図１４】
2020009295.tif 000016
【図１５】
2020009295.tif 000017
【図１６】
2020009295.tif 000018
【図１７】
2020009295.tif 000019
【図１８】
2020009295.tif 000020
【図１９】
2020009295.tif 000021
【図２０】
2020009295.tif 000022
【図２１】
2020009295.tif 000023
【図２２】
2020009295.tif 000024