(57)【要約】【課題】仮想オブジェクトが表示される際のユーザのモーションに適応した画像の表示を制御することが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。【解決手段】表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部と、を備える、情報処理装置。【選択図】図１
2018110003.tif 000002
【特許請求の範囲】
【請求項１】
表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、
前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部と、
を備える、情報処理装置。
【請求項２】
前記取得部は、前記仮想オブジェクトに関連付けられている属性情報をさらに取得し、
前記出力制御部は、前記モーション情報と前記属性情報とに応じて、前記オノマトペを含む画像の表示を制御する、請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、前記仮想オブジェクトに対して前記ユーザが接触しているか否かを前記モーション情報に基づいて判定する判定部をさらに備え、
前記仮想オブジェクトに対して前記ユーザが接触していると前記判定部により判定された場合に、前記出力制御部は、前記オノマトペを含む画像を前記表示部に表示させる、請求項２に記載の情報処理装置。
【請求項４】
前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の方向に応じて、前記オノマトペを含む画像の表示態様を変更する、請求項３に記載の情報処理装置。
【請求項５】
前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度に応じて、前記オノマトペを含む画像の表示態様を変更する、請求項３に記載の情報処理装置。
【請求項６】
前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度が大きいほど、前記オノマトペを含む画像の表示時間をより小さくする、請求項５に記載の情報処理装置。
【請求項７】
前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度が大きいほど、前記オノマトペを含む画像の表示サイズをより大きくする、請求項５に記載の情報処理装置。
【請求項８】
前記情報処理装置は、複数の種類のオノマトペのうちのいずれかを前記属性情報に応じて選択する選択部をさらに備え、
前記出力制御部は、前記選択部により選択されたオノマトペを含む画像を前記表示部に表示させる、請求項３に記載の情報処理装置。
【請求項９】
前記選択部は、さらに、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の方向に応じて、前記複数の種類のオノマトペのうちのいずれかを選択する、請求項８に記載の情報処理装置。
【請求項１０】
前記選択部は、さらに、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度に応じて、前記複数の種類のオノマトペのうちのいずれかを選択する、請求項８に記載の情報処理装置。
【請求項１１】
前記選択部は、さらに、前記ユーザのプロファイルに応じて、前記複数の種類のオノマトペのうちのいずれかを選択する、請求項８に記載の情報処理装置。
【請求項１２】
前記仮想オブジェクトに対して前記ユーザが接触していると前記判定部により判定された場合には、前記出力制御部は、さらに、前記モーション情報と前記属性情報とに応じた、触覚に関する刺激を刺激出力部に出力させる、請求項３に記載の情報処理装置。
【請求項１３】
前記判定部は、前記刺激出力部の受信情報または送信情報の有無をさらに判定し、
前記受信情報または送信情報が無く、かつ、前記仮想オブジェクトに対して前記ユーザが接触していると判定された場合には、前記出力制御部は、前記オノマトペを含む画像を前記表示部に表示させる、請求項１２に記載の情報処理装置。
【請求項１４】
前記判定部は、前記刺激出力部の受信情報または送信情報の有無をさらに判定し、
前記受信情報または送信情報が有り、かつ、前記仮想オブジェクトに対して前記ユーザが触れていると判定された場合には、前記出力制御部は、前記仮想オブジェクトに対する前記ユーザの触れ方に対応する目標の触覚刺激と、前記刺激出力部が出力可能な触覚刺激に関する情報とに基づいて、前記オノマトペを含む画像を前記表示部に表示させる、請求項１２に記載の情報処理装置。
【請求項１５】
前記目標の触覚刺激を前記刺激出力部が出力可能ではないと判定された場合には、前記出力制御部は、前記オノマトペを含む画像を前記表示部に表示させる、請求項１４に記載の情報処理装置。
【請求項１６】
前記判定部は、前記刺激出力部の受信情報または送信情報の有無をさらに判定し、
前記受信情報または送信情報が有り、かつ、前記仮想オブジェクトに対して前記ユーザが触れていると判定された場合には、前記出力制御部は、前記仮想オブジェクトに対する前記ユーザの触れ方に対応する目標の触覚刺激と、前記刺激出力部が出力する触覚刺激量に基づいて、前記オノマトペを含む画像の視認性を変化させる、請求項１２に記載の情報処理装置。
【請求項１７】
前記出力制御部は、さらに、前記仮想オブジェクトが複数の表示部により表示されているか否かに応じて、前記オノマトペを含む画像の表示を制御する、請求項３に記載の情報処理装置。
【請求項１８】
前記仮想オブジェクトが前記複数の表示部により表示されている場合には、前記出力制御部は、前記オノマトペを含む画像を回転して前記複数の表示部に表示させる、請求項１７に記載の情報処理装置。
【請求項１９】
表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得することと、
前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示をプロセッサが制御することと、
を含む、情報処理方法。
【請求項２０】
コンピュータを、
表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、
前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部、
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、例えば、振動などの触覚刺激をユーザに提示するための技術が各種提案されている。【０００３】
例えば、下記特許文献１には、仮想空間において２つのオブジェクトが接触した状態で相対的にオブジェクトが移動された場合に、オブジェクトの接触面の粗さ情報に応じて、音声または触覚刺激の出力を制御する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１７０１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、仮想空間内のオブジェクトが表示される際のユーザのモーションが異なっても、表示される映像は変化しない。【０００６】
そこで、本開示では、仮想オブジェクトが表示される際のユーザのモーションに適応した画像の表示を制御することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部と、を備える、情報処理装置が提供される。【０００８】
また、本開示によれば、表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得することと、前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示をプロセッサが制御することと、を含む、情報処理方法が提供される。【０００９】
また、本開示によれば、コンピュータを、表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部、として機能させるための、プログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、仮想オブジェクトが表示される際のユーザのモーションに適応した画像の表示を制御することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施形態による情報処理システムの構成例を示した説明図である。
【図２】同実施形態による情報処理装置１０の構成例を示した機能ブロック図である。
【図３】同実施形態によるオブジェクトＤＢ１２４の構成例を示した説明図である。
【図４】ＨＭＤ３０に表示される仮想オブジェクトに対してユーザが触れた際のオノマトペの表示例を示した図である。
【図５】ＨＭＤ３０に表示される仮想オブジェクトに対してユーザが触れた際のオノマトペの表示例を示した図である。
【図６】ＨＭＤ３０に表示される仮想オブジェクトに対してユーザが触れた際のオノマトペの表示例を示した図である。
【図７】ＨＭＤ３０に表示される仮想オブジェクトに対してユーザが触れた際の表示エフェクトの表示例を示した図である。
【図８】同実施形態による処理の流れの一部を示したシーケンス図である。
【図９】同実施形態による処理の流れの一部を示したシーケンス図である。
【図１０】同実施形態による「制御方法判定処理」の流れを示したフローチャートである。
【図１１】同実施形態の応用例による情報処理システムの構成例を示した説明図である。
【図１２】同応用例による、別のユーザが仮想オブジェクトを閲覧していない状況において、仮想オブジェクトに対してユーザが触れた際のオノマトペの表示例を示した図である。
【図１３】同応用例による、別のユーザが仮想オブジェクトを閲覧している状況において、仮想オブジェクトに対してユーザが触れた際のオノマトペの表示例を示した図である。
【図１４】同実施形態による情報処理装置１０のハードウェア構成例を示した説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成要素を、必要に応じて刺激出力部２０ａおよび刺激出力部２０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、刺激出力部２０ａおよび刺激出力部２０ｂを特に区別する必要が無い場合には、単に刺激出力部２０と称する。
【００１４】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．情報処理システムの構成
２．実施形態の詳細な説明
３．ハードウェア構成
４．変形例
【００１５】
＜＜１．情報処理システムの構成＞＞
まず、本開示の実施形態による情報処理システムの構成について、図１を参照して説明する。図１に示すように、本実施形態による情報処理システムは、情報処理装置１０、刺激出力部２０、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）３０、および、通信網３２を有する。
【００１６】
＜１−１．刺激出力部２０＞
｛１−１−１．触覚刺激の出力｝
刺激出力部２０は、例えば、所望の皮膚感覚をユーザに提示するためのアクチュエータであり得る。刺激出力部２０は、例えば、後述する情報処理装置１０から受信される制御情報に従って、皮膚感覚に関する刺激を出力する。ここで、皮膚感覚は、例えば触覚、圧覚、温冷覚、および、痛覚を含み得る。なお、以下では、皮膚感覚に関する刺激を触覚刺激と称する。また、触覚刺激の出力とは、振動を発生させることを含み得る。
【００１７】
また、刺激出力部２０は、図１に示したようにユーザ（例えばユーザの手など）に装着され得る。この場合、刺激出力部２０は、刺激出力部２０が装着されている部位（例えば手や指先など）に対して触覚刺激を出力し得る。
【００１８】
｛１−１−２．ユーザの動きのセンシング｝
また、刺激出力部２０は、例えば加速度センサやジャイロスコープなどの各種のセンサを有し得る。この場合、刺激出力部２０は、刺激出力部２０を装着しているユーザの身体の動き（例えば手の動きなど）をセンシングすることが可能である。また、刺激出力部２０は、センシング結果を当該ユーザのモーション情報として通信網３２を介して情報処理装置１０へ送信することが可能である。
【００１９】
＜１−２．ＨＭＤ３０＞
ＨＭＤ３０は、例えば図１に示したような、表示部を有する頭部装着型デバイスである。ＨＭＤ３０は、遮蔽型のヘッドマウントディスプレイであってもよいし、透過型のヘッドマウントディスプレイであってもよい。例えば、ＨＭＤ３０は、光学シースルー型のデバイスであり得る。この場合、ＨＭＤ３０は、左目用レンズおよび右目用レンズ（または、ゴーグル型レンズ）と表示部（図示省略）とを有し得る。そして、当該表示部は、左目用レンズおよび右目用レンズのそれぞれ少なくとも一部の領域（または、ゴーグル型レンズのうち少なくとも一部の領域）を投影面として映像を投影し得る。
【００２０】
または、ＨＭＤ３０は、ビデオシースルー型のデバイスであり得る。この場合、ＨＭＤ３０は、ＨＭＤ３０の前方を撮影するカメラと、当該カメラにより撮影された映像を表示する表示部（図示省略）とを有し得る。例えば、ＨＭＤ３０は、当該カメラにより撮影された映像を当該表示部に逐次表示し得る。これにより、ユーザは、当該表示部に表示される映像を介して、ユーザの前方の風景を見ることができる。なお、当該表示部は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）や、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）などにより構成され得る。
【００２１】
このＨＭＤ３０は、例えば情報処理装置１０から受信される制御情報に従って、映像を表示したり、音声を出力することが可能である。例えば、ＨＭＤ３０は、情報処理装置１０から受信される制御情報に従って、仮想オブジェクトを表示する。なお、仮想オブジェクトは、例えばＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）により生成される３Ｄデータや、実オブジェクトのセンシング結果から得られる３Ｄデータなどを含む。
【００２２】
＜１−３．情報処理装置１０＞
情報処理装置１０は、本開示における情報処理装置の一例である。情報処理装置１０は、例えば、後述する通信網３２を介して、ＨＭＤ３０や刺激出力部２０の動作を制御する。例えば、情報処理装置１０は、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）やＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）の映像をＨＭＤ３０に表示させる。また、情報処理装置１０は、所定のタイミング（例えばＨＭＤ３０による映像の表示時など）に所定の触覚刺激を刺激出力部２０に出力させる。
【００２３】
ここで、情報処理装置１０は、例えば、サーバ、汎用ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、または、ロボットなどであり得る。なお、図１では、情報処理装置１０が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、本実施形態による情報処理装置１０の機能が実現されてもよい。
【００２４】
＜１−４．通信網３２＞
通信網３２は、通信網３２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網３２は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網３２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００２５】
＜１−５．課題の整理＞
以上、本実施形態による情報処理システムの構成について説明した。ところで、従来、所望の皮膚感覚をユーザに提示するための技術が研究されている。しかしながら、現状では、提示可能な皮膚感覚の範囲に制限があったり、また、提示可能な皮膚感覚の程度も各技術によって異なっている。
【００２６】
例えば、ＨＭＤ３０に表示される仮想オブジェクトに対してユーザが触れる動きをした際には、当該仮想オブジェクトに対するユーザの触れ方に関連付けて、例えば制作者により予め定められた目標の皮膚感覚に対応する触覚刺激（以下、「目標の触覚刺激」と称する場合がある）を刺激出力部２０が出力可能であることが望まれる。しかしながら、刺激出力部２０は、例えば目標の触覚刺激の強さや、刺激出力部２０の性能によっては、当該目標の触覚刺激を出力できない場合がある。
【００２７】
そこで、上記事情を一着眼点にして、本実施形態による情報処理装置１０を創作するに至った。情報処理装置１０は、ＨＭＤ３０により表示される仮想オブジェクトに対するユーザのモーション情報を取得し、そして、当該モーション情報と当該仮想オブジェクトとに応じて、オノマトペを含む画像（以下、オノマトペ画像と称する）の表示を制御することが可能である。これにより、当該仮想オブジェクトに対するユーザのモーションと、当該仮想オブジェクトとに適応した視覚情報をユーザに提示することができる。
【００２８】
なお、オノマトペは、例えばコミックや小説などでも利用されているように、皮膚感覚を視覚情報として提示するための有効な手法であると考えられる。ここで、オノマトペは、擬音語（例えば、物体が発する音を表現した文字列）、および、擬態語（例えば、物体の状態や人間の感情などを表現した文字列）を含み得る。
【００２９】
＜＜２．実施形態の詳細な説明＞＞
＜２−１．構成＞
次に、本実施形態による情報処理装置１０の構成について詳細に説明する。図２は、本実施形態による情報処理装置１０の構成例を示した機能ブロック図である。図２に示すように、情報処理装置１０は、制御部１００、通信部１２０、および、記憶部１２２を有する。
【００３０】
｛２−１−１．制御部１００｝
制御部１００は、例えば、後述するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１５０やＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの処理回路を含んで構成され得る。制御部１００は、情報処理装置１０の動作を統括的に制御する。また、図２に示すように、制御部１００は、情報取得部１０２、判定部１０４、選択部１０６、および、出力制御部１０８を有する。
【００３１】
｛２−１−２．情報取得部１０２｝
（２−１−２−１．モーション情報の取得）
情報取得部１０２は、本開示における取得部の一例である。情報取得部１０２は、刺激出力部２０を装着するユーザのモーション情報を取得する。例えば、モーション情報が刺激出力部２０によりセンシングされる場合には、情報取得部１０２は、刺激出力部２０から受信されるモーション情報を取得する。または、刺激出力部２０を装着するユーザが装着する他のセンサ（例えばＨＭＤ３０に設置されるカメラなど）や、当該ユーザが位置する環境内に設置された他のセンサ（カメラなど）によるセンシング結果が受信される場合には、情報取得部１０２は、当該センシング結果を解析（例えば画像認識など）し、そして、解析結果を当該ユーザのモーション情報として取得してもよい。
【００３２】
例えば、情報取得部１０２は、ＨＭＤ３０に仮想オブジェクトが表示されている際の、当該仮想オブジェクトに対するユーザのモーション情報を刺激出力部２０から取得する。一例として、情報取得部１０２は、ＨＭＤ３０に仮想オブジェクトが表示されている際の、当該仮想オブジェクトに対してユーザが触れる動作のセンシング結果を当該モーション情報として刺激出力部２０から取得する。
【００３３】
（２−１−２−２．仮想オブジェクトの属性情報の取得）
また、情報取得部１０２は、ＨＭＤ３０により表示されている仮想オブジェクトの属性情報を取得する。例えば、仮想オブジェクトごとの属性情報が予め制作者により定められ、そして、仮想オブジェクトと属性情報とが関連付けて、後述するオブジェクトＤＢ１２４に登録され得る。この場合、情報取得部１０２は、ＨＭＤ３０により表示されている仮想オブジェクトの属性情報をオブジェクトＤＢ１２４から取得し得る。
【００３４】
ここで、属性情報は、例えば、仮想オブジェクトが含む個々の面に関連付けられているテクスチャの情報（例えばテクスチャの種類など）を含み得る。なお、テクスチャの情報は、制作者により制作されてもよいし、または、当該仮想オブジェクトに対応する実オブジェクトが撮影された画像に対する画像認識に基づいて特定されてもよい。ここで、画像認識は、例えば機械学習やディープラーニングなどの方法を用いて行われ得る。
【００３５】
‐オブジェクトＤＢ１２４
オブジェクトＤＢ１２４は、例えば、仮想オブジェクトの識別情報と属性情報とを関連付けて格納するデータベースである。図３は、オブジェクトＤＢ１２４の構成例を示した説明図である。図３に示したように、オブジェクトＤＢ１２４では、例えば、オブジェクトＩＤ１２４０、属性情報１２４２、および、皮膚感覚１２４４が関連付けられ得る。また、属性情報１２４２は、テクスチャ１２４６を含む。また、皮膚感覚１２４４は、例えば、触覚１２４８、圧覚１２５０、温冷覚１２５２、および、痛覚１２５４を含む。ここで、テクスチャ１２４６には、該当の仮想オブジェクトに関連付けられているテクスチャの情報（テクスチャの種類など）が格納される。また、触覚１２４８、圧覚１２５０、温冷覚１２５２、および、痛覚１２５４にはそれぞれ、該当のテクスチャに関連付けられている、触覚に関するパラメータの基準値、圧覚に関するパラメータの基準値、温冷覚に関するパラメータの基準値、または、痛覚に関するパラメータの基準値が格納される。
【００３６】
｛２−１−３．判定部１０４｝
（２−１−３−１．ユーザの動きの判定）
判定部１０４は、ＨＭＤ３０により表示されている仮想オブジェクトに対するユーザの動きを、情報取得部１０２により取得されたモーション情報に基づいて判定する。例えば、判定部１０４は、ＨＭＤ３０により表示されている仮想オブジェクトに対してユーザが接触しているか否か（例えば触れているか否か）を、取得されたモーション情報に基づいて判定する。また、当該仮想オブジェクトに対してユーザが接触していると判定した場合には、判定部１０４は、さらに、当該仮想オブジェクトに対するユーザの触れ方を判定する。ここで、ユーザの触れ方は、例えば、触れる強さ、触れる速度、および、触れる方向などを含む。
【００３７】
（２−１−３−２．目標の皮膚感覚の判定）
また、判定部１０４は、さらに、当該仮想オブジェクトに対するユーザの触れ方に応じて、目標の皮膚感覚を判定することが可能である。例えば、テクスチャの情報と目標の皮膚感覚の情報（各感覚のパラメータの値など）とが関連付けて、所定のテーブルに格納され得る。この場合、判定部１０４は、まず、ＨＭＤ３０により表示されている仮想オブジェクトに含まれる面のうち、ユーザが接触していると判定される面のテクスチャ情報を特定し、そして、判定部１０４は、特定した面のテクスチャ情報と、当該面に対するユーザの触れ方と、当該所定のテーブルとに基づいて、目標の皮膚感覚の情報を特定し得る。なお、所定のテーブルは、オブジェクトＤＢ１２４であってもよい。
【００３８】
なお、変形例として、テクスチャ情報と目標の皮膚感覚の情報とは関連付けられていなくてもよい。この場合、情報処理装置１０（制御部１００）は、まず、ＨＭＤ３０により表示されている仮想オブジェクトに含まれる面ごとに、当該面のテクスチャ情報に関連付けられている音データを取得し、そして、取得した音データと公知の技術とに基づいて目標の皮膚感覚の情報を動的に生成してもよい。なお、通信網３２に接続された他の装置（図示省略）または記憶部１２２において、個々のテクスチャ情報と音データとは関連付けて格納され得る。
【００３９】
（２−１−３−３．受信情報または送信情報の有無の判定）
また、判定部１０４は、刺激出力部２０からの受信情報、または、刺激出力部２０やＨＭＤ３０への送信情報の有無を判定することも可能である。ここで、受信情報は、例えば、刺激出力部２０が出力する出力信号などを含む。また、送信情報は、例えば、ＨＭＤ３０へのフィードバック信号などを含む。
【００４０】
（２−１−３−４．刺激出力部２０の接触の有無の判定）
また、判定部１０４は、刺激出力部２０がユーザに接触しているか否か（例えば、刺激出力部２０がユーザに装着されているか否かなど）を、例えば刺激出力部２０からの受信の有無や受信されるデータ（モーション情報など）などに基づいて判定することが可能である。例えば、刺激出力部２０からの受信が所定の時間以上無い場合や、刺激出力部２０から受信されたモーション情報が、刺激出力部２０が静止していることを示す場合などには、判定部１０４は、刺激出力部２０がユーザに接触していないと判定する。
【００４１】
｛２−１−４．選択部１０６｝
選択部１０６は、情報取得部１０２により取得された属性情報と、判定部１０４による判定結果とに応じて表示対象のオノマトペを選択する。
【００４２】
（２−１−４−１．オノマトペの選択例１）
例えば、仮想オブジェクトごとにオノマトペが予め制作者により定められ、そして、仮想オブジェクトとオノマトペとが関連付けてオブジェクトＤＢ１２４にさらに登録され得る。この場合、選択部１０６は、まず、ＨＭＤ３０により表示されている一以上の仮想オブジェクトのうちユーザが接触していると判定される仮想オブジェクトに関連付けられているオノマトペをオブジェクトＤＢ１２４から抽出し得る。そして、選択部１０６は、抽出したオノマトペを表示対象のオノマトペとして選択し得る。
【００４３】
または、テクスチャごとにオノマトペが予め制作者により定められ、そして、テクスチャとオノマトペとが関連付けて所定のテーブル（図示省略）に登録され得る。この場合、選択部１０６は、まず、ＨＭＤ３０により表示されている仮想オブジェクトに含まれる面のうち、ユーザが接触していると判定された面のテクスチャ情報に関連付けられているオノマトペを当該所定のテーブルから抽出し得る。そして、選択部１０６は、抽出したオノマトペを表示対象のオノマトペとして選択し得る。
【００４４】
（２−１−４−２．オノマトペの選択例２）
または、選択部１０６は、予め登録されている複数の種類のオノマトペのうちのいずれかを、判定部１０４による判定結果に基づいて表示対象のオノマトペとして選択することも可能である。なお、当該複数の種類のオノマトペは、予め記憶部１２２に記憶されてもよいし、または、通信網３２に接続された他の装置に記憶されてもよい。
【００４５】
‐触れる方向に応じた選択
例えば、選択部１０６は、当該仮想オブジェクトに対してユーザが接触していると判定された際の接触位置の変化の方向と、当該仮想オブジェクトとに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択することが可能である。一例として、選択部１０６は、当該仮想オブジェクトに対してユーザが触れる方向の判定結果と、当該仮想オブジェクトとに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択する。
【００４６】
ここで、図４を参照して、上記の機能についてより詳細に説明する。図４は、ＨＭＤ３０における、仮想オブジェクト５０を含むフレーム画像４０の表示例を示した説明図である。なお、図４に示した例では、仮想オブジェクト５０に含まれる面５００は、多数の小石を含むテクスチャと関連付けられているものとする。この場合、図４に示したように、面５００に対して、面５００と平行な方向に触れる動きをユーザが行ったと判定される場合には、選択部１０６は、面５００に関連付けられているテクスチャと、面５００に対してユーザが触れる方向の判定結果とに応じて、当該複数の種類のオノマトペの中から「ザラザラ」というオノマトペを表示対象のオノマトペとして選択する。なお、図４に示した例で、面５００に対して垂直方向に触れる動きをユーザが行ったと判定される場合には、選択部１０６は、「ザラザラ」とは異なる種類のオノマトペを表示対象のオノマトペとして選択し得る。
【００４７】
‐触れる速度に応じた選択
また、選択部１０６は、当該仮想オブジェクトに対してユーザが接触していると判定された際の接触位置の変化の速度と、当該仮想オブジェクトとに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択することも可能である。例えば、選択部１０６は、当該仮想オブジェクトに対してユーザが触れる速度の判定結果と、当該仮想オブジェクトとに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択する。
【００４８】
例えば、当該仮想オブジェクトに対してユーザが触れる速度が所定の速度以上である場合には、選択部１０６は、当該仮想オブジェクトに対してユーザが触れる速度が所定の速度未満である場合に選択される第１のオノマトペとは異なるオノマトペを表示対象のオノマトペとして選択する。一例として、当該仮想オブジェクトに対してユーザが触れる速度が所定の速度以上である場合には、選択部１０６は、当該第１のオノマトペの省略表現や当該第１のオノマトペの強調表現を表示対象のオノマトペとして選択してもよい。なお、第１のオノマトペの強調表現は、第１のオノマトペの末尾に所定の記号（例えば「！」など）を付加した文字列を含み得る。
【００４９】
ここで、図４および図５を参照して、上記の機能についてより詳細に説明する。なお、図４に示した例では、仮想オブジェクト５０の面５００に対して所定の速度未満でユーザが触れることが判定されたものとし、また、図５に示した例では、仮想オブジェクト５０の面５００に対してユーザが所定の速度以上で触れる動きが判定されたものとする。この場合、面５００に対して所定の速度以上の速度でユーザが触れることが判定された場合には、図５に示したように、選択部１０６は、図４に示した例で選択されるオノマトペ（「ザラザラ」）とは異なるオノマトペ（図５に示した例では「ザッ」）を表示対象のオノマトペとして選択する。
【００５０】
‐触れる強さに応じた選択
また、選択部１０６は、当該仮想オブジェクトに対してユーザが触れた際の接触の強さと、当該仮想オブジェクトとに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択することも可能である。
【００５１】
‐仮想オブジェクトとユーザとの距離に応じた選択
また、選択部１０６は、当該仮想オブジェクトとユーザとの間の距離と、当該仮想オブジェクトとに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択することも可能である。例えば、仮想オブジェクトが、多くの毛を有する動物（犬など）であり、かつ、毛の先端部分のみにユーザが触れている場合（つまり、当該動物とユーザの手との間の距離が大きい場合）には、選択部１０６は、当該複数の種類のオノマトペの中から、「さらさら」といったオノマトペを表示対象のオノマトペとして選択する。また、当該動物の皮膚の近くをユーザが触れている場合（つまり、当該動物とユーザの手との間の距離が小さい場合）には、選択部１０６は、当該複数の種類のオノマトペの中から、「もしゃもしゃ」といったオノマトペを表示対象のオノマトペとして選択する。
【００５２】
‐目標の皮膚感覚に応じた選択
また、仮想オブジェクトに対してユーザが触れていることが判定部１０４により判定された際には、選択部１０６は、判定部１０４により判定された目標の皮膚感覚の情報に基づいて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択することも可能である。例えば、選択部１０６は、まず、判定部１０４により判定された目標の皮膚感覚の情報に含まれる４種類のパラメータの値（つまり、触覚のパラメータ値、圧覚のパラメータ値、温冷覚のパラメータ値、および、痛覚のパラメータ値）に基づいて、当該複数の種類のオノマトペの各々を評価する。そして、選択部１０６は、評価値が最も高いオノマトペを特定し、そして、特定したオノマトペを表示対象のオノマトペとして選択する。
【００５３】
‐ユーザに応じた選択
また、選択部１０６は、さらに、ＨＭＤ３０を装着しているユーザのプロファイルに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択することも可能である。ここで、プロファイルは、例えば年齢、性別、および、使用言語（母国語など）などを含み得る。
【００５４】
例えば、選択部１０６は、当該複数の種類のオノマトペに含まれる当該ユーザの使用言語のオノマトペのうちのいずれかを、当該仮想オブジェクトに対してユーザが触れる動きの判定結果に基づいて表示対象のオノマトペとして選択する。また、選択部１０６は、当該仮想オブジェクトに対してユーザが触れる動きの判定結果と、当該ユーザの年齢や性別とに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択する。例えば、当該ユーザが子どもである場合には、選択部１０６は、まず、当該仮想オブジェクトに対してユーザが触れる動きの判定結果に応じた複数の種類のオノマトペを特定し、そして、特定した複数の種類のオノマトペの中から、より簡易な表現のオノマトペ（例えば、子どもが使用するオノマトペなど）を表示対象のオノマトペとして選択する。
【００５５】
｛２−１−５．出力制御部１０８｝
出力制御部１０８は、ＨＭＤ３０に対して映像の表示を制御する。例えば、出力制御部１０８は、仮想オブジェクトを表示させるための表示制御情報をＨＭＤ３０へ通信部１２０に送信させる。また、出力制御部１０８は、刺激出力部２０に対する触覚刺激の出力を制御する。例えば、出力制御部１０８は、触覚刺激を出力させるための出力制御情報を刺激出力部２０へ通信部１２０に送信させる。
【００５６】
（２−１−５−１．オノマトペ画像の表示判定）
例えば、出力制御部１０８は、判定部１０４による判定結果に基づいて、オノマトペ画像をＨＭＤ３０に表示させる。一例として、仮想オブジェクトに対してユーザが接触していると判定部１０４により判定された際には、出力制御部１０８は、例えば図４に示したように、選択部１０６により選択されたオノマトペを含むオノマトペ画像を、当該仮想オブジェクトに対してユーザが接触していると判定される位置の近辺にＨＭＤ３０に表示させる。
【００５７】
より詳細には、出力制御部１０８は、刺激出力部２０がユーザに装着されているか否かの判定結果と、ＨＭＤ３０に表示されている仮想オブジェクトに対してユーザが接触しているか否かの判定結果とに応じて、オノマトペ画像をＨＭＤ３０に表示させる。例えば、刺激出力部２０がユーザに装着されていないと判定されている間において、当該仮想オブジェクトに対してユーザが触れていると判定された際には、出力制御部１０８は、オノマトペ画像をＨＭＤ３０に表示させる。
【００５８】
また、刺激出力部２０がユーザに装着されていると判定されている間において、当該仮想オブジェクトに対してユーザが触れていると判定される際には、出力制御部１０８は、判定部１０４により判定された目標の皮膚感覚に対応する触覚刺激の情報と、刺激出力部２０が出力可能な触覚刺激に関する情報とに基づいて、当該オノマトペ画像をＨＭＤ３０に表示させるか否かを決定する。例えば、当該目標の触覚刺激を刺激出力部２０が出力可能であると判定される場合には、出力制御部１０８は、当該目標の触覚刺激を刺激出力部２０に出力させるとともに、当該オノマトペ画像をＨＭＤ３０に表示させないことを決定する。あるいは、当該目標の触覚刺激を刺激出力部２０が出力可能であると判定される場合には、出力制御部１０８は、刺激出力部２０に出力させる触覚刺激量に応じて、当該オノマトペ画像の視認性を変化（増加あるいは減少）させても良い。視認性に関連するパラメータとしては、表示サイズ、表示時間、色、輝度、透過度等の種々のパラメータが含まれる。また、オノマトペの形状が動的に変化される場合、出力制御部１０８は、視認性に関するパラメータとしてオノマトペの動作量を増加させてもよい。また、出力制御部１０８は、視認性を増加させるために静的に形状を変化させたり、オノマトペ以外の追加エフェクトを加えても良い。静的な形状変化の一例として、フォントの変更が挙げられる。これらの視認性に関する要素の変更は、適宜２つ以上が組み合わされても良い。なお、触覚刺激量が増加（あるいは減少）した場合には、出力制御部１０８は、オノマトペの視認性を増加（あるいは減少）させてフィードバックを強調しても良いし、触覚刺激量が増加（あるいは減少）した場合には、出力制御部１０８は、オノマトペの視認性を減少（あるいは増加）させてフィードバックのバランスを図っても良い。また、触覚刺激量と視認性の変化との関係は比例または反比例になるように設定されてもよいし、触覚刺激量と視認性とは段階的に対応付けられても良い。
【００５９】
また、当該目標の触覚刺激を刺激出力部２０が出力可能ではないと判定される場合には、出力制御部１０８は、刺激出力部２０が出力可能な範囲内で当該目標の触覚刺激に最も近い触覚刺激を刺激出力部２０に出力させるとともに、当該オノマトペ画像をＨＭＤ３０に表示させることを決定する。なお、刺激出力部２０が出力可能な範囲の上限値または下限値として、刺激出力部２０の性能の限界値が設定されても良く、あるいは、ユーザによって任意に設定される上限値・下限値が設定されても良い。なお、任意に設定可能な上限値は刺激出力部２０の性能の限界値（上限値）よりも小さくなり得る。また、任意に設定可能な下限値は性能の限界値（下限値）よりも大きくなり得る。
【００６０】
（２−１−５−２．オノマトペ画像の表示態様の変更）
‐変更例１
また、出力制御部１０８は、当該オノマトペ画像の表示態様を所定の基準に基いて動的に変更することが可能である。例えば、出力制御部１０８は、ＨＭＤ３０に表示されている仮想オブジェクトに対してユーザが接触していると判定された際の接触位置の変化の方向に応じて、当該オノマトペ画像の表示態様を変更してもよい。一例として、出力制御部１０８は、当該仮想オブジェクトに対してユーザが触れる方向の判定結果に応じて、当該オノマトペ画像の表示態様を変更してもよい。
【００６１】
‐変更例２
また、出力制御部１０８は、ＨＭＤ３０に表示されている仮想オブジェクトに対してユーザが触れていると判定された際の、ユーザが触れる速度に応じて、当該オノマトペ画像の表示態様を変更してもよい。例えば、出力制御部１０８は、当該仮想オブジェクトに対してユーザが触れていると判定された際の、ユーザが触れる速度が大きいほど、当該オノマトペ画像の表示時間の長さをより小さくしてもよい。また、例えば当該オノマトペ画像が動画像である場合などには、出力制御部１０８は、当該仮想オブジェクトに対してユーザが触れていると判定された際の、ユーザが触れる速度が大きいほど、当該オノマトペ画像の表示速度をより速くしてもよい。
【００６２】
または、出力制御部１０８は、当該仮想オブジェクトに対してユーザが触れていると判定される際の、ユーザが触れる速度が大きいほど、当該オノマトペ画像の表示サイズをより大きくしてもよい。図６は、図４に示した例と同じ仮想オブジェクト５０がＨＭＤ３０に表示されており、かつ、仮想オブジェクト５０に対して、図４に示した例よりも速い速度でユーザが触れる例を示した説明図である。図４および図６に示したように、出力制御部１０８は、仮想オブジェクト５０に対してユーザが触れていると判定された際の、ユーザが触れる速度が大きいほど、当該オノマトペ画像の表示サイズをより大きくしてもよい。
【００６３】
また、出力制御部１０８は、当該仮想オブジェクトに対するユーザの触れ方の判定結果に応じて、当該オノマトペ画像の表示頻度を変更してもよい。これらの制御例によれば、仮想オブジェクトに対してユーザが触れた際の皮膚感覚をより強調して提示することができる。
【００６４】
また、出力制御部１０８は、ユーザのプロファイルに応じて、当該オノマトペ画像の表示態様（例えば文字のフォントなど）を変更してもよい。
【００６５】
（２−１−５−３．オノマトペ以外の表示例）
なお、上記の説明では、出力制御部１０８が、仮想オブジェクトに対するユーザの動きに応じて、オノマトペ画像をＨＭＤ３０に表示させる例について説明したが、かかる例に限定されない。例えば、出力制御部１０８は、仮想オブジェクトに対するユーザの動きに応じて、表示エフェクトを（オノマトペ画像の代わりに）ＨＭＤ３０に表示させてもよい。一例として、ＨＭＤ３０に表示されている仮想オブジェクトに対してユーザが触れていると判定された際には、出力制御部１０８は、当該仮想オブジェクトに対して表示エフェクトを付加してＨＭＤ３０に表示させてもよい。
【００６６】
ここで、図７を参照して、上記の機能についてより詳細に説明する。例えば、図７に示したフレーム画像４０ａのように、仮想オブジェクト５０がＨＭＤ３０に表示されている状況において、仮想オブジェクト５０に含まれる面５００に対してユーザが触れたと判定されたとする。この場合、図７に示したフレーム画像４０ｂのように、出力制御部１０８は、仮想オブジェクト５０に対して光沢表現５０２を付加してＨＭＤ３０に表示させてもよい。
【００６７】
｛２−１−６．通信部１２０｝
通信部１２０は、例えば、後述する通信装置１６２を含んで構成され得る。通信部１２０は、他の装置との間で情報の送受信を行う。例えば、通信部１２０は、モーション情報を刺激出力部２０から受信する。また、通信部１２０は、出力制御部１０８の制御に従って、表示制御情報をＨＭＤ３０へ送信したり、また、出力制御情報を刺激出力部２０へ送信する。
【００６８】
｛２−１−７．記憶部１２２｝
記憶部１２２は、例えば、後述するストレージ装置１６０を含んで構成され得る。記憶部１２２は、各種のデータ、および、各種のソフトウェアを記憶する。例えば、図２に示したように、記憶部１２２は、オブジェクトＤＢ１２４を記憶する。
【００６９】
なお、本実施形態による情報処理装置１０の構成は、上述した例に限定されない。例えば、オブジェクトＤＢ１２４は、記憶部１２２に記憶される代わりに、通信網３２に接続された他の装置（図示省略）に記憶されてもよい。
【００７０】
＜２−２．処理の流れ＞
以上、本実施形態の構成について説明した。次に、本実施形態による処理の流れの一例について、図８〜図１０を参照して説明する。なお、以下では、仮想オブジェクトを含む映像を情報処理装置１０がＨＭＤ３０に表示させる場面における処理の流れの例について説明する。また、ここでは、ユーザが刺激出力部２０を装着しているものとする。
【００７１】
｛２−２−１．全体の処理の流れ｝
図８に示したように、まず、情報処理装置１０の通信部１２０は、制御部１００の制御に従って、ユーザが装着している刺激出力部２０に対してデバイス情報（デバイスＩＤなど）の取得要求を送信する（Ｓ１０１）。そして、刺激出力部２０は、当該取得要求を受信すると、デバイス情報を情報処理装置１０へ送信する（Ｓ１０３）。
【００７２】
その後、情報処理装置１０の出力制御部１０８は、仮想オブジェクトを含む所定の映像をＨＭＤ３０に表示させるための表示制御情報をＨＭＤ３０へ送信する（Ｓ１０５）。そして、ＨＭＤ３０は、当該表示制御情報に従って、所定の映像を表示する（Ｓ１０７）。
【００７３】
その後、刺激出力部２０は、ユーザの動きをセンシングする（Ｓ１０９）。そして、刺激出力部２０は、センシング結果をモーション情報として情報処理装置１０へ送信する（Ｓ１１１）。その後、所定の時間が経過した場合には（Ｓ１１３：Ｙｅｓ）、刺激出力部２０は、再びＳ１０９の処理を行う。
【００７４】
また、Ｓ１１１においてモーション情報が受信されると、情報処理装置１０の判定部１０４は、ＨＭＤ３０に表示されている仮想オブジェクトに対してユーザが触れているか否かを当該モーション情報に基づいて判定する（Ｓ１１５）。当該仮想オブジェクトに対してユーザが触れていないと判定された場合には（Ｓ１１５：Ｎｏ）、判定部１０４は、モーション情報が新たに受信されるまで待機した後、再びＳ１１５の処理を行う。
【００７５】
一方、当該仮想オブジェクトに対してユーザが触れていると判定された場合には（Ｓ１１５：Ｙｅｓ）、情報処理装置１０は、後述する「制御方法判定処理」を行う（Ｓ１１７）。
【００７６】
ここで、図９を参照して、Ｓ１１７よりも後の処理の流れについて説明する。図９に示したように、オノマトペ画像をＨＭＤ３０に表示させることがＳ１１７において決定された場合には（Ｓ１２１：Ｙｅｓ）、情報処理装置１０の通信部１２０は、出力制御部１０８の制御に従って、Ｓ１１７で生成された表示制御情報をＨＭＤ３０へ送信する（Ｓ１２３）。そして、ＨＭＤ３０は、受信した表示制御情報に従って、表示している仮想オブジェクトと当該オノマトペ画像とを関連付けて表示する（Ｓ１２５）。
【００７７】
また、オノマトペ画像をＨＭＤ３０に表示させないことがＳ１１７において決定された場合（Ｓ１２１：Ｎｏ）、または、Ｓ１２３の後には、情報処理装置１０の通信部１２０は、出力制御部１０８の制御に従って、Ｓ１１７で生成された出力制御情報を刺激出力部２０へ送信する（Ｓ１２７）。そして、刺激出力部２０は、受信した出力制御情報に従って触覚刺激を出力する（Ｓ１２９）。
【００７８】
｛２−２−２．制御方法判定処理｝
ここで、図１０を参照して、Ｓ１１７における「制御方法判定処理」の流れについて詳細に説明する。図１０に示したように、まず、情報処理装置１０の情報取得部１０２は、ＨＭＤ３０に表示されている一以上の仮想オブジェクトのうち、ユーザが触れたと判定された仮想オブジェクトに関連付けられている属性情報を取得する。そして、判定部１０４は、Ｓ１１５で判定された、当該仮想オブジェクトに対するユーザの触れ方と、当該仮想オブジェクトの属性情報とに応じて目標の皮膚感覚を特定し、そして、当該目標の皮膚感覚に対応する触覚刺激の情報を特定する（Ｓ１５１）。
【００７９】
続いて、選択部１０６は、当該仮想オブジェクトに対するユーザの触れ方の判定結果と、当該仮想オブジェクトの属性情報とに応じて、表示対象のオノマトペを選択する（Ｓ１５３）。
【００８０】
続いて、出力制御部１０８は、刺激出力部２０が出力可能な触覚刺激の情報を、Ｓ１０３で受信されたデバイス情報に基づいて特定する（Ｓ１５５）。
【００８１】
続いて、出力制御部１０８は、Ｓ１５１で特定された目標の触覚刺激を刺激出力部２０が出力可能であるか否かを、Ｓ１５５で特定された情報に基づいて判定する（Ｓ１５７）。刺激出力部２０が当該目標の触覚刺激を出力可能であると判定した場合には（Ｓ１５７：Ｙｅｓ）、出力制御部１０８は、当該目標の触覚刺激を刺激出力部２０に出力させるための出力制御情報を生成する（Ｓ１５９）。そして、出力制御部１０８は、オノマトペ画像をＨＭＤ３０に表示させないことを決定する（Ｓ１６１）。そして、当該「制御方法判定処理」は終了する。
【００８２】
一方、刺激出力部２０が当該目標の触覚刺激を出力可能ではないと判定した場合には（Ｓ１５７：Ｎｏ）、出力制御部１０８は、刺激出力部２０が出力可能な範囲内で当該目標の触覚刺激に最も近い触覚刺激を刺激出力部２０に出力させるための出力制御情報を生成する（Ｓ１６３）。
【００８３】
続いて、出力制御部１０８は、Ｓ１５３で選択されたオノマトペを含むオノマトペ画像をＨＭＤ３０に表示させることを決定する（Ｓ１６５）。そして、出力制御部１０８は、当該オノマトペ画像をＨＭＤ３０に表示させるための表示制御情報を生成する（Ｓ１６７）。そして、当該「制御方法判定処理」は終了する。
【００８４】
＜２−３．効果＞
以上説明したように、本実施形態によれば、情報処理装置１０は、ＨＭＤ３０により表示されている仮想オブジェクトに対するユーザのモーション情報を取得し、そして、当該モーション情報と当該仮想オブジェクトとに応じて、オノマトペ画像の表示を制御する。これにより、当該仮想オブジェクトに対するユーザのモーションと、当該仮想オブジェクトとに適応した視覚情報をユーザに提示することができる。
【００８５】
例えば、当該仮想オブジェクトに対してユーザが触れたと判定された際に、情報処理装置１０は、ユーザの触れ方の判定結果と当該仮想オブジェクトとに対応する目標の触覚刺激を刺激出力部２０が出力可能である場合には、オノマトペ画像をＨＭＤ３０に表示させない。また、当該目標の触覚刺激を刺激出力部２０が出力可能ではない場合には、情報処理装置１０は、オノマトペ画像をＨＭＤ３０に表示させる。従って、目標の触覚刺激（つまり、目標の皮膚感覚に対応する触覚刺激）を刺激出力部２０が出力できない場合には、情報処理装置１０は、オノマトペ画像などの視覚情報を用いることにより、ユーザに対する目標の皮膚感覚の提示を補うことができる。従って、目標の皮膚感覚を適切にユーザに提示することができる。
【００８６】
＜２−４．応用例＞
以上、本実施形態について説明した。ところで、あるユーザが実オブジェクトまたは仮想オブジェクトを触れている際に当該ユーザが得る皮膚感覚を、例えば当該ユーザ以外の他のユーザが知ることが可能であることも望まれる。
【００８７】
｛２−４−１．概要｝
次に、本実施形態の応用例について説明する。図１１は、本応用例による情報処理システムの構成例を示した説明図である。図１１に示したように、本応用例では、あるユーザ２ａが刺激出力部２０およびＨＭＤ３０ａを装着しており、かつ、別のユーザ２ｂがＨＭＤ３０ｂを装着し得る。そして、仮想オブジェクトを含む映像がＨＭＤ３０ａおよびＨＭＤ３０ｂに表示され得る。ここで、ユーザ２ｂは、ユーザ２ａの近くに位置していてもよいし、または、ユーザ２ａがいる場所の遠隔地に位置していてもよい。なお、その他の内容については、図１に示した情報処理システムと同様であるので、説明を省略する。
【００８８】
｛２−４−２．構成｝
次に、本応用例による構成について説明する。なお、上述した実施形態と同様の機能を有する構成要素については説明を省略する。
【００８９】
（出力制御部１０８）
本応用例による出力制御部１０８は、仮想オブジェクトに対する、あるユーザ２ａの触れ方の判定結果と、別のユーザ２ｂが当該仮想オブジェクトの映像を閲覧しているか否かと応じて、オノマトペ画像の表示を制御することが可能である。
【００９０】
‐表示例１
例えば、別のユーザ２ｂが当該仮想オブジェクトの映像を閲覧している場合には、出力制御部１０８は、仮想オブジェクトに対する、あるユーザ２ａの触れ方に対応するオノマトペ画像を、ユーザ２ａが装着しているＨＭＤ３０ａ、および、ユーザ２ｂが装着しているＨＭＤ３０ｂの両方に表示させる。一例として、この場合、出力制御部１０８は、仮想オブジェクトに対するユーザ２ａの触れ方に対応するオノマトペ画像を、当該仮想オブジェクトに対してユーザ２ａが触れている場所の近辺に、当該２つのＨＭＤ３０に表示させる。また、別のユーザ２ｂが当該仮想オブジェクトの映像を閲覧していない場合（例えばユーザ２ｂがＨＭＤ３０ｂを装着していない場合など）には、オノマトペ画像をいずれのＨＭＤ３０にも表示させない。この表示例によれば、ユーザ２ｂは、仮想オブジェクトに対してユーザ２ａが触れた際の皮膚感覚を視覚的に知ることができる。また、ユーザ２ａは、ユーザ２ｂが当該仮想オブジェクトの映像を閲覧しているか否かを知ることができる。
【００９１】
‐表示例２
または、別のユーザ２ｂが当該仮想オブジェクトの映像を閲覧していない場合には、出力制御部１０８は、オノマトペ画像を回転させずに、（ユーザ２ａが装着している）ＨＭＤ３０ａに表示させてもよい。また、ユーザ２ｂが当該仮想オブジェクトの映像を閲覧している場合には、出力制御部１０８は、ユーザ２ａが装着しているＨＭＤ３０ａ、および、ユーザ２ｂが装着しているＨＭＤ３０ｂの両方に、オノマトペ画像を回転させて表示させてもよい。
【００９２】
ここで、図１２および図１３を参照して、上記の機能についてより詳細に説明する。図１２および図１３は、刺激出力部２０を装着しているユーザ２ａが、動物の仮想オブジェクト５０に対して触れる場面を示した説明図である。例えば、別のユーザ２ｂが仮想オブジェクト５０の映像を閲覧していない場合には、出力制御部１０８は、図１２に示したように、（「もしゃもしゃ」というオノマトペを含む）オノマトペ画像５４を回転させずにＨＭＤ３０ａのみに表示させる。また、別のユーザ２ｂが仮想オブジェクト５０の映像を閲覧している場合には、出力制御部１０８は、図１３に示したように、オノマトペ画像５４を例えば所定の回転軸Ａ回りに回転させて、ＨＭＤ３０ａおよびＨＭＤ３０ｂの両方に表示させる。この表示例によれば、ユーザ２ａは、別のユーザ２ｂが仮想オブジェクト５０の映像を閲覧しているか否かを知ることができる。
【００９３】
‐表示例３
また、例えば、仮想オブジェクトを含む映像が自由視点映像である場合などには、出力制御部１０８は、ユーザ２ａが装着しているＨＭＤ３０ａに表示されている画像のうち、別のユーザ２ｂが装着しているＨＭＤ３０ｂに現在表示されている領域に関しては表示態様を変更してもよい。例えば、出力制御部１０８は、ＨＭＤ３０ａに表示されている画像のうち、ＨＭＤ３０ｂに現在表示されている領域に関しては半透明で表示させてもよい。この表示例によれば、ＨＭＤ３０ａにオノマトペ画像が表示された際に、ユーザ２ａは、別のユーザ２ｂが当該オノマトペ画像を閲覧しているか否かを知ることができる。
【００９４】
｛２−４−３．効果｝
以上説明したように、本応用例によれば、刺激出力部２０を装着しているユーザ２ａが仮想オブジェクトに触れる際に刺激出力部２０によりユーザ２ａに提示され得る皮膚感覚を、別のユーザ２ｂは、オノマトペ画像を介して知ることができる。
【００９５】
｛２−４−４．適用例｝
次に、本応用例の適用例について説明する。この適用例では、遠隔地にいる複数のユーザが装着するＨＭＤ３０が、同じ仮想空間の内部の映像を表示することを想定する。これにより、当該複数のユーザはあたかも当該仮想空間内に一緒にいるかのような体験をすることができる。または、本適用例による情報処理装置１０は、遠隔地に位置する別のユーザ２ｂの映像を、ユーザ２ａが位置する実空間に重畳して、ユーザ２ａが装着する透過型のＨＭＤ３０に表示させてもよい。これにより、ユーザ２ａは、ユーザ２ａが位置する実空間内にあたかもユーザ２ｂが居るかのような体験をすることができる。
【００９６】
例えば、父親が単身赴任している家庭において、当該父親の家族（例えば子ども）が例えば光学シースルー型のＨＭＤ３０ａを装着している場合、ＨＭＤ３０ａは、当該子どもが住む家（つまり自宅）の中で当該父親の映像を重畳表示することが可能である。これにより、子どもは、父親があたかも自宅の中に一緒にいるかのような体験をすることができる。
【００９７】
この場合、情報処理装置１０は、ＨＭＤ３０に表示される、自宅に存在する物体に対するユーザの動きの判定結果に基づいて、オノマトペ画像をＨＭＤ３０に表示させることが可能である。例えば、情報処理装置１０は、自宅に存在する物体に対して父親が触った際（例えば機器の操作用のスイッチを押下した場合など）の触り方と、当該物体とに応じて表示対象のオノマトペを選択し、そして、選択したオノマトペを含むオノマトペ画像を、当該父親が装着しているＨＭＤ３０に表示させてもよい。また、情報処理装置１０は、自宅に存在する物体に対して子どもが触った際の触り方と、当該物体とに応じて表示対象のオノマトペを選択し、そして、選択したオノマトペを含むオノマトペ画像を、父親が装着しているＨＭＤ３０に表示させてもよい。
【００９８】
この適用例によれば、父親が遠隔地に位置する場合であっても、父親や子どもが自宅内の物体に対して触れた際に得られる皮膚感覚を、当該父親に対して視覚的に提示することができる。
【００９９】
＜＜３．ハードウェア構成＞＞
次に、本実施形態による情報処理装置１０のハードウェア構成について、図１４を参照して説明する。図１４に示すように、情報処理装置１０は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１５２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１５４、バス１５６、インターフェース１５８、ストレージ装置１６０、および通信装置１６２を備える。
【０１００】
ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１５０は、情報処理装置１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
【０１０１】
ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
【０１０２】
ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムや、使用中のデータなどを一時的に記憶する。
【０１０３】
バス１５６は、ＣＰＵバスなどから構成される。このバス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、および、ＲＡＭ１５４を相互に接続する。
【０１０４】
インターフェース１５８は、ストレージ装置１６０および通信装置１６２を、バス１５６と接続する。
【０１０５】
ストレージ装置１６０は、記憶部１２２として機能する、データ格納用の装置である。ストレージ装置１６０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
【０１０６】
通信装置１６２は、例えば通信網３２などに接続するための通信デバイス（例えばネットワークカードなど）等で構成された通信インターフェースである。また、通信装置１６２は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６２は、通信部１２０として機能する。
【０１０７】
＜＜４．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０８】
＜４−１．変形例１＞
例えば、上述した実施形態による情報処理システムの構成は、図１に示した例に限定されない。一例として、ＨＭＤ３０と情報処理装置１０とは一体的に構成されてもよい。例えば、上述した制御部１００に含まれる各構成要素はＨＭＤ３０が有してもよい。この場合、ＨＭＤ３０が、刺激出力部２０に対して触覚刺激の出力を制御し得る。
【０１０９】
また、ユーザ２が位置する実空間内にプロジェクタが配置されてもよい。そして、情報処理装置１０は、例えば仮想オブジェクトなどの映像を当該実空間内の投影対象（例えば壁など）に対して当該プロジェクタに投影させてもよい。なお、この変形例では、本開示における表示部は、プロジェクタであってもよい。また、この場合、当該情報処理システムは、ＨＭＤ３０を有しなくてもよい。
【０１１０】
＜４−２．変形例２＞
また、上述した実施形態の処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
【０１１１】
また、上述した実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した実施形態による情報処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記録媒体も提供される。
【０１１２】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１１３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、
前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部と、
を備える、情報処理装置。
（２）
前記取得部は、前記仮想オブジェクトに関連付けられている属性情報をさらに取得し、
前記出力制御部は、前記モーション情報と前記属性情報とに応じて、前記オノマトペを含む画像の表示を制御する、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、前記仮想オブジェクトに対して前記ユーザが接触しているか否かを前記モーション情報に基づいて判定する判定部をさらに備え、
前記仮想オブジェクトに対して前記ユーザが接触していると前記判定部により判定された場合に、前記出力制御部は、前記オノマトペを含む画像を前記表示部に表示させる、前記（２）に記載の情報処理装置。
（４）
前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の方向に応じて、前記オノマトペを含む画像の表示態様を変更する、前記（３）に記載の情報処理装置。
（５）
前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度に応じて、前記オノマトペを含む画像の表示態様を変更する、前記（３）または（４）に記載の情報処理装置。
（６）
前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度が大きいほど、前記オノマトペを含む画像の表示時間をより小さくする、前記（５）に記載の情報処理装置。
（７）
前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度が大きいほど、前記オノマトペを含む画像の表示サイズをより大きくする、前記（５）または（６）に記載の情報処理装置。
（８）
前記情報処理装置は、複数の種類のオノマトペのうちのいずれかを前記属性情報に応じて選択する選択部をさらに備え、
前記出力制御部は、前記選択部により選択されたオノマトペを含む画像を前記表示部に表示させる、前記（３）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記選択部は、さらに、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の方向に応じて、前記複数の種類のオノマトペのうちのいずれかを選択する、前記（８）に記載の情報処理装置。
（１０）
前記選択部は、さらに、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度に応じて、前記複数の種類のオノマトペのうちのいずれかを選択する、前記（８）または（９）に記載の情報処理装置。
（１１）
前記選択部は、さらに、前記ユーザのプロファイルに応じて、前記複数の種類のオノマトペのうちのいずれかを選択する、前記（８）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記仮想オブジェクトに対して前記ユーザが接触していると前記判定部により判定された場合には、前記出力制御部は、さらに、前記モーション情報と前記属性情報とに応じた、触覚に関する刺激を刺激出力部に出力させる、前記（３）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記判定部は、前記刺激出力部の受信情報または送信情報の有無をさらに判定し、
前記受信情報または送信情報が無く、かつ、前記仮想オブジェクトに対して前記ユーザが接触していると判定された場合には、前記出力制御部は、前記オノマトペを含む画像を前記表示部に表示させる、前記（１２）に記載の情報処理装置。
（１４）
前記判定部は、前記刺激出力部の受信情報または送信情報の有無をさらに判定し、
前記受信情報または送信情報が有り、かつ、前記仮想オブジェクトに対して前記ユーザが触れていると判定された場合には、前記出力制御部は、前記仮想オブジェクトに対する前記ユーザの触れ方に対応する目標の触覚刺激と、前記刺激出力部が出力可能な触覚刺激に関する情報とに基づいて、前記オノマトペを含む画像を前記表示部に表示させる、前記（１２）または（１３）に記載の情報処理装置。
（１５）
前記目標の触覚刺激を前記刺激出力部が出力可能ではないと判定された場合には、前記出力制御部は、前記オノマトペを含む画像を前記表示部に表示させる、前記（１４）に記載の情報処理装置。
（１６）
前記判定部は、前記刺激出力部の受信情報または送信情報の有無をさらに判定し、
前記受信情報または送信情報が有り、かつ、前記仮想オブジェクトに対して前記ユーザが触れていると判定された場合には、前記出力制御部は、前記仮想オブジェクトに対する前記ユーザの触れ方に対応する目標の触覚刺激と、前記刺激出力部が出力する触覚刺激量に基づいて、前記オノマトペを含む画像の視認性を変化させる、前記（１２）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記出力制御部は、さらに、前記仮想オブジェクトが複数の表示部により表示されているか否かに応じて、前記オノマトペを含む画像の表示を制御する、前記（３）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記仮想オブジェクトが前記複数の表示部により表示されている場合には、前記出力制御部は、前記オノマトペを含む画像を回転して前記複数の表示部に表示させる、前記（１７）に記載の情報処理装置。
（１９）
表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得することと、
前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示をプロセッサが制御することと、
を含む、情報処理方法。
（２０）
コンピュータを、
表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、
前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部、
として機能させるための、プログラム。
（２１）
前記目標の触覚刺激を前記刺激出力部が出力可能であると判定される場合には、前記出力制御部は、前記目標の触覚刺激を前記刺激出力部に出力させるとともに、前記オノマトペを含む画像を前記表示部に表示させない、前記（１４）または（１５）に記載の情報処理装置。
【符号の説明】
【０１１４】
１０  情報処理装置
２０  刺激出力部
３０  ＨＭＤ
３２  通信網
１００  制御部
１０２  情報取得部
１０４  判定部
１０６  選択部
１０８  出力制御部
１２０  通信部
１２２  記憶部
１２４  オブジェクトＤＢ
【図１】
2018110003.tif 000003
【図２】
2018110003.tif 000004
【図３】
2018110003.tif 000005
【図４】
2018110003.tif 000006
【図５】
2018110003.tif 000007
【図６】
2018110003.tif 000008
【図７】
2018110003.tif 000009
【図８】
2018110003.tif 000010
【図９】
2018110003.tif 000011
【図１０】
2018110003.tif 000012
【図１１】
2018110003.tif 000013
【図１２】
2018110003.tif 000014
【図１３】
2018110003.tif 000015
【図１４】
2018110003.tif 000016
【国際調査報告】
2018110003.tif 000017
2018110003.tif 000018