(57)【要約】【課題】ユーザの行動の質的変化に追随するような拡張現実感が得られる情報処理装置を提供する。【解決手段】行動認識部１０２と、音データ選択部１０４と、音情報生成部１０８とを具備する情報処理装置１である。上記行動認識部１０２は、センサ情報に基づいて、ユーザの行動態様を認識するように構成される。上記音データ選択部１０４は、上記行動認識部１０２により認識された上記ユーザの行動態様に応じた音データを選択するように構成される。上記音情報生成部１０８は、上記音データ選択部１０４により選択された上記音データに基づいて、ユーザを中心とした現実空間上に音源を音像定位するマルチチャンネル音声情報を生成する。【選択図】図４
2018082308.tif 000002
【特許請求の範囲】
【請求項１】
センサ情報に基づいて、ユーザの行動態様を認識するように構成される行動認識部と、
前記行動認識部により認識された前記ユーザの行動態様に応じた音データを選択するように構成される音データ選択部と、
前記音データ選択部により選択された前記音データに基づいて、前記ユーザを中心とした現実空間上に音源を音像定位するマルチチャンネル音声情報を生成する音情報生成部
とを具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記音データ選択部は、前記現実空間上に配置される仮想オブジェクトから発せられた音声として前記音データを選択するよう構成され、
前記音情報生成部は、前記仮想オブジェクトの配置場所を前記音源とする音像定位を、前記マルチチャンネル音声情報の生成により行うよう構成される
情報処理装置。
【請求項３】
請求項１に記載の情報処理装置であって、
前記音データ選択部は、前記行動認識部の認識の結果、選択する音データが変更される際に、変更前から変更後の音データの切り替わりパターンに応じた音データを前記変更後の音データと同時に選択するように構成される
情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記音データ選択部は、前記行動認識部の認識の結果、選択する音データが変更される際に、前記ユーザの行動態様に応じた音データが複数ある場合、前記仮想オブジェクトに関連付けられた情報に整合する音データを選択するように構成される
情報処理装置。
【請求項５】
請求項１に記載の情報処理装置であって、
前記センサ情報に基づいて、ユーザの位置の相対的変化を含むユーザ変位として出力する変位算出部
をさらに具備する情報処理装置。
【請求項６】
請求項５に記載の情報処理装置であって、
前記音情報生成部は、前記変位算出部の出力する前記ユーザ変位に基づいて、前記音データ選択部により選択された前記音データを変調させて、前記マルチチャンネル音声情報を生成するように構成される
情報処理装置。
【請求項７】
請求項６に記載の情報処理装置であって、
前記音情報生成部は、前記マルチチャンネル音声情報により音像定位される音源が前記変位算出部の出力する前記ユーザ変位に追随する位置に配置されるように、前記音データ選択部により選択された前記音データを変調させて、前記マルチチャンネル音声情報を生成するように構成される
情報処理装置。
【請求項８】
請求項７に記載の情報処理装置であって、
前記音情報生成部は、前記マルチチャンネル音声情報により音像定位される音源が、前記ユーザ変位により特定される前記ユーザの位置を起点とした空間上の位置に、遅延を伴って追随するように、前記マルチチャンネル音声情報を生成するように構成される
情報処理装置。
【請求項９】
請求項５に記載の情報処理装置であって、
前記音情報生成部は、前記変位算出部の出力する前記ユーザ変位と、外部から取得する建物の位置座標を含む地図情報に基づいて、前記仮想オブジェクトの配置場所が前記地図情報に含まれる建物の位置座標の範囲に含まれないように、前記マルチチャンネル音声情報を生成する
情報処理装置。
【請求項１０】
請求項９に記載の情報処理装置であって、
前記音情報生成部は、前記地図情報に含まれる建物の位置座標の範囲に、前記仮想オブジェクトの配置場所が重なる場合に、衝突音を含む前記マルチチャンネル音声情報の生成を行う
情報処理装置。
【請求項１１】
請求項１に記載の情報処理装置であって、
前記行動認識部により認識された前記ユーザの行動態様、及び、前記センサ情報のいずれか一方に応じて変動する前記ユーザの状態を分析するように構成される状態分析部
をさらに具備する情報処理装置。
【請求項１２】
請求項１１に記載の情報処理装置であって、
前記音データ選択部は、前記ユーザの行動態様に応じた音データと、前記状態分析部により分析された前記ユーザの状態に応じた音データとを選択するように構成される
情報処理装置。
【請求項１３】
請求項１２に記載の情報処理装置であって、
前記音情報生成部は、前記音データ選択部により選択された、前記ユーザの行動態様に応じた音データと、前記ユーザの状態に応じた音データとを合成し、合成した音データに基づいて、前記マルチチャンネル音声情報を生成するように構成される
情報処理装置。
【請求項１４】
請求項１１に記載の情報処理装置であって、
前記状態分析部は、前記行動認識部により認識された前記ユーザの行動態様、及び、前記センサ情報のいずれか一方に応じて単位時間当たりの疲労度を割り当て、割り当てた前記単位時間当たりの疲労度を累積することにより、前記ユーザの状態として疲労度を算出するように構成される
情報処理装置。
【請求項１５】
請求項１に記載の情報処理装置であって、
前記音データ選択部は、前記行動認識部により認識されたユーザの行動態様が所定の閾値を超えて継続した場合に、前記行動認識部により認識された前記ユーザの行動態様に応じた音データとは異なる音データを選択する
情報処理装置。
【請求項１６】
センサ情報に基づいて、ユーザの行動態様を認識する行動認識ステップと、
前記行動認識ステップにより認識された前記ユーザの行動態様に応じた音データを選択する音データ選択ステップと、
前記音データ選択ステップにより選択された前記音データに基づいて、前記ユーザを中心とした現実空間上に音源を音像定位するマルチチャンネル音声情報を生成する音情報生成ステップ
とを含む情報処理方法。
【請求項１７】
コンピュータに、
センサ情報に基づいて、ユーザの行動態様を認識する行動認識ステップと、
前記行動認識ステップにより認識された前記ユーザの行動態様に応じた音データを選択する音データ選択ステップと、
前記音データ選択ステップにより選択された前記音データに基づいて、前記ユーザを中心とした現実空間上に音源を音像定位するマルチチャンネル音声情報を生成する音情報生成ステップ
とを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、拡張現実感（Augmented Reality）の品質向上に関する。
【背景技術】
【０００２】
ウェアラブルコンピューティングの技術分野においては、ウェアラブルコンピュータを装着したユーザが移動した場合、ユーザの空間的変位量を、そのウェアラブルコンピュータの具備するセンサデバイスにより推定する技術が既に知られている（例えば、特許文献１参照）。
【０００３】
特許文献１はまた、マルチチャンネル音声情報の生成に関する技術も開示している。特許文献１に記載の技術は、ある音が、ある空間的位置から発せられたように知覚させることができるように音声を合成するもので、特に、ユーザが位置や向きを変えても、音が発せられている空間的位置が変化しないように近くされるように、音声の合成を行う。
【０００４】
特許文献２には、ある行動者の行動中に、他の行動者の実際の過去の行動情報を用いて、当該他の行動者の過去の行動情報に係る仮想オブジェクトを表示する技術が開示されている。特許文献２に開示されている適用例では、ランニング中に、同じコースを走った他人のランニングイメージをメガネ型の表示装置に映す例が示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−００５０２１号公報
【特許文献２】特開２０１３−１６７９４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ウェアラブルコンピュータを用いて拡張現実感（Augmented Reality）をユーザにもたらす技術分野においては、よりリアリティのある演出が求められている。しかしながら、上述の先行例では、ユーザの行動の内容にまで注目して拡張現実感（ＡＲ）を提供するものではなかった。例えば、行動の内容が、「歩く」行為から「走る」行為に変化したり、「軽く疲労」する運動から「重く疲労」する運動に変化したりしても、その行動の質的変化に追随する出力が行われていなかった。
【０００７】
以上のような事情に鑑み、本技術の目的は、ユーザの行動の質的変化に追随するような拡張現実感が得られる情報処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成する本技術の一側面は、行動認識部と、音データ選択部と、音情報生成部とを具備する情報処理装置である。
上記行動認識部は、センサ情報に基づいて、ユーザの行動態様を認識するように構成される。
上記音データ選択部は、上記行動認識部により認識された上記ユーザの行動態様に応じた音データを選択するように構成される。
上記音情報生成部は、上記音データ選択部により選択された上記音データに基づいて、上記ユーザを中心とした現実空間上に音源を音像定位するマルチチャンネル音声情報を生成する。
【０００９】
この本技術の一側面に係る情報処理装置によれば、ユーザの行動の質的変化に追随するような拡張現実感をユーザに与えることができる。
【００１０】
上記音データ選択部は、上記現実空間上に配置される仮想オブジェクトから発せられた音声として上記音データを選択するよう構成されてもよい。
この場合、上記音情報生成部は、上記仮想オブジェクトの配置場所を上記音源とする音像定位を、上記マルチチャンネル音声情報の生成により行うよう構成されてもよい。
【００１１】
上記音データ選択部は、上記行動認識部の認識の結果、選択する音データが変更される際に、変更前から変更後の音データの切り替わりパターンに応じた音データを上記変更後の音データと同時に選択するように構成されてもよい。
【００１２】
上記音データ選択部は、上記行動認識部の認識の結果、選択する音データが変更される際に、上記ユーザの行動態様に応じた音データが複数ある場合、上記仮想オブジェクトに関連付けられた情報に整合する音データを選択するように構成されてもよい。
【００１３】
上記情報処理装置は、上記センサ情報に基づいて、ユーザの位置の相対的変化を含むユーザ変位として出力する変位算出部をさらに具備してもよい。
【００１４】
上記音情報生成部は、上記変位算出部の出力する上記ユーザ変位に基づいて、上記音データ選択部により選択された上記音データを変調させて、上記マルチチャンネル音声情報を生成するように構成されてもよい。
【００１５】
上記音情報生成部は、上記マルチチャンネル音声情報により音像定位される音源が上記変位算出部の出力する上記ユーザ変位に追随する位置に配置されるように、上記音データ選択部により選択された上記音データを変調させて、上記マルチチャンネル音声情報を生成するように構成されてもよい。
【００１６】
上記音情報生成部は、上記マルチチャンネル音声情報により音像定位される音源が、上記ユーザ変位により特定される上記ユーザの位置を起点とした空間上の位置に、遅延を伴って追随するように、上記マルチチャンネル音声情報を生成するように構成されてもよい。
【００１７】
上記音情報生成部は、上記変位算出部の出力する上記ユーザ変位と、外部から取得する建物の位置座標を含む地図情報に基づいて、上記仮想オブジェクトの配置場所が上記地図情報に含まれる建物の位置座標の範囲に含まれないように、上記マルチチャンネル音声情報を生成するように構成されてもよい。
【００１８】
上記音情報生成部は、上記地図情報に含まれる建物の位置座標の範囲に、上記仮想オブジェクトの配置場所が重なる場合に、衝突音を含む前記マルチチャンネル音声情報の生成を行うように構成してもよい。
【００１９】
上記情報処理装置は、上記行動認識部により認識された上記ユーザの行動態様、及び、上記センサ情報のいずれか一方に応じて変動する上記ユーザの状態を分析するように構成される状態分析部をさらに具備してもよい。
【００２０】
上記音データ選択部は、上記ユーザの行動態様に応じた音データと、上記状態分析部により分析された上記ユーザの状態に応じた音データとを選択するように構成されてもよい。
【００２１】
上記音情報生成部は、上記音データ選択部により選択された、上記ユーザの行動態様に応じた音データと、上記ユーザの状態に応じた音データとを合成し、合成した音データに基づいて、上記マルチチャンネル音声情報を生成するように構成されてもよい。
【００２２】
上記状態分析部は、上記行動認識部により認識された上記ユーザの行動態様、及び、上記センサ情報のいずれか一方に応じて単位時間当たりの疲労度を割り当て、割り当てた上記単位時間当たりの疲労度を累積することにより、上記ユーザの状態として疲労度を算出するように構成されてもよい。
【００２３】
上記音データ選択部は、上記行動認識部により認識されたユーザの行動態様が所定の閾値を超えて継続した場合に、上記行動認識部により認識された上記ユーザの行動態様に応じた音データとは異なる音データを選択するよう構成してもよい。
【００２４】
本技術の別の一側面は、行動認識ステップと、音データ選択ステップと、音情報生成ステップとを含む情報処理方法である。
上記行動認識ステップでは、センサ情報に基づいて、ユーザの行動態様を認識する。
上記音データ選択ステップでは、上記行動認識ステップにより認識された前記ユーザの行動態様に応じた音データを選択する。
上記音情報生成ステップでは、上記音データ選択ステップにより選択された前記音データに基づいて、上記ユーザを中心とした現実空間上に音源を音像定位するマルチチャンネル音声情報を生成する。
【００２５】
本技術のまた別の一側面は、コンピュータに行動認識ステップと、音データ選択ステップと、音情報生成ステップとを実行させるプログラムである。
上記行動認識ステップでは、センサ情報に基づいて、ユーザの行動態様を認識する。
上記音データ選択ステップでは、上記行動認識ステップにより認識された前記ユーザの行動態様に応じた音データを選択する。
上記音情報生成ステップでは、上記音データ選択ステップにより選択された前記音データに基づいて、上記ユーザを中心とした現実空間上に音源を音像定位するマルチチャンネル音声情報を生成する。
【発明の効果】
【００２６】
以上のように、本技術によれば、ユーザの行動の質的変化に追随するような拡張現実感が得られる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果又は本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００２７】
【図１】本技術の一実施の形態に係る情報処理装置による出力の結果、ユーザに提供される拡張現実感（Augmented Realty）の例を示す図（その１）である。
【図２】本技術の一実施の形態に係る情報処理装置による出力の結果、ユーザに提供される拡張現実感（Augmented Realty）の例を示す図（その２）である。
【図３】上記情報処理装置に係る情報処理装置の外観構成の一例を示す図である。
【図４】上記情報処理装置の内部構成の一例を示すブロック図である。
【図５】上記情報処理装置が実行する処理の流れを示すフローチャートである。
【図６】上記情報処理装置の音データ選択部による情報処理の説明図である。
【図７】上記情報処理装置の音像位置計算部による情報処理の説明図である。
【図８】本技術の他の実施形態の構成の一例を示すブロック図である。
【図９】本技術の他の実施形態の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下に添付図面を参照しながら、本技術の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２９】
また、説明は以下の順序で行うものとする。
１．本技術の一実施形態による情報処理装置の概要
２．構成
２−１．外観構成
２−２．内部構成
３．動作
４．まとめ
５．他の実施形態
５−１．他の実施形態１
５−２．他の実施形態２
５−３．他の実施形態３
５−４．他の実施形態４
５−５．他の実施形態５
５−６．他の実施形態６
５−７．他の実施形態７
６．付記
【００３０】
＜１．本技術の一実施形態による情報処理装置の概要＞
図１と図２は、本実施形態に係る情報処理装置１による出力の結果、ユーザに提供される拡張現実感（Augmented Realty）の例を示す図である。情報処理装置１はユーザの周囲の特定の方向から音が聞こえてくるように音像定位させたマルチチャンネルの音声情報を出力する。音像定位は例えば、左右の耳にそれぞれ入る音の音量を調整することで行われる。
【００３１】
図１（ａ）は、ユーザの前方５０ｃｍのところを仮想オブジェクトの一例としてのヴァーチャルドッグが歩いている様子を示している。犬の足音や呼吸の音をマルチチャンネル化し、左右の耳に入る音量やエフェクトを調整することで、図示のような拡張現実感をユーザに提供する。ここで、マルチチャンネル音声情報における左右の音量のバランスを変更することにより、図１（ｂ）に示すように、仮想オブジェクトが左後方１００ｃｍのところを歩いているように感じさせる。
【００３２】
このような音像定位技術により仮想オブジェクトの存在感を一定程度ユーザに感じさせることができるが、ユーザの行動に質的変化が起きたり、ユーザの状態に変化があったりした場合でも、仮想オブジェクトを発生元とする音声に変化がないと不自然である。例えば、ユーザが歩いている状態から（図２（ａ））、走る状態に変化した場合（図２（ｂ））、犬に擬した仮想オブジェクトが、歩いているときと同じ呼吸音でユーザについてくると不自然である。同様に、長時間一緒にランニングしてもまったく疲れた様子が感じられない場合も不自然である。
【００３３】
そこで、以下に説明する本実施形態においては、より質の高い拡張現実感を提供するために、拡張現実感がユーザの行動の質的変化に追随するようにする。
【００３４】
ここで質的変化には、ユーザの行動の種類（「走る」と「歩く」など）の変化を含む。従来のウェアラブルコンピューティングにおいては、絶対位置測位などの方法によりユーザの行動が「移動」であることをシステムが把握可能ではあった。しかしながら、「歩く」という行動の種類から「走る」という行動の種類への変化があった場合、この質的変化への追随が不十分であった。そのため、ユーザに違和感を感じさせるような拡張現実感を提供する結果となる可能性があった。
【００３５】
仮想オブジェクトが一例として、仮想的に存在するキャラクタであると考えた場合、ユーザに提供される拡張現実感は、そのキャラクタの行動の種類に応じて変化するべきである。例えば、同じ「足音」でも、キャラクタが走っているときの足音と歩いているときの足音が異なるとユーザが違和感を感じる可能性がある。
【００３６】
本実施形態では、センサ１０１から入力されるセンサ情報に基づいて、ユーザの行動態様を認識し、認識した行動態様に応じた音データを選択した上で、選択した音データを変位させて、ユーザの行動の質的変化に追随するような拡張現実感をユーザに提供する。
【００３７】
なお、以下の説明においては、仮想オブジェクトの一例として仮想の犬（ヴァーチャルドッグ）を用いる。また、アプリケーション全体として、ユーザが情報処理装置１を装着してヴァーチャルドッグと一緒に散歩できるようなアプリケーションを例にとって説明を進める。
【００３８】
以上、本実施形態に係る情報処理装置１の概要について説明した。次に、情報処理装置１の構成について、図３及び図４を参照して説明する。
【００３９】
＜２−１．外観構成＞
図３は本実施形態に係る情報処理装置の外観構成の一例を示す図である。図３に示すように、情報処理装置１は、一例としてネックバンド型のウェアラブルコンピュータである。図３に示すように、首掛け型の情報処理装置１は全体として馬蹄形をしていて、ユーザの首の後ろ側に掛けられることでユーザに装着される。
【００４０】
また、情報処理装置１は、図３に示すように、音声出力部１０９及び各種センサ１０１を有する。音声出力部１０９は、音声データの再生を行う。特に本実施形態によるスピーカ１５は、現実空間に実際に存在しているかのようにユーザに知覚させる仮想オブジェクトの音像定位処理された音声信号を再生する。
【００４１】
＜２−１．内部構成＞
図４は本実施形態に係る情報処理装置の内部構成の一例を示す図である。図４に示すように、情報処理装置１はハードウェアとして、中央演算装置（以下、ＣＰＵと呼ぶ）１００と、センサ１０１と、記憶部１０７と、音声出力部１０９を備える。ＣＰＵ１００は、これを利用するソフトウェアプログラムによる情報処理により、図４に示すような各機能ブロックを有するように構成される。
【００４２】
センサ１０１は、情報処理装置１が有する各種センサデバイス群を抽象レイヤーで捉えたものである。具体的なセンサデバイスの例としては、前後・左右・上下の３方向の加速度を捉える加速度センサ、３方向の軸を中心とした各速度を捉えるジャイロセンサ、大気圧を測る気圧センサ、地磁気を検知する方位センサなどがある。ＧＰＳ（Global Positioning System）や移動通信システム、無線ローカルエリアネットワークにおける信号を受信し、情報処理装置１の位置情報（以下、「絶対位置情報」）を割り出す機構を、センサ１０１を構成するセンサデバイス群の１種として捉えてもよい。そのほかには、ユーザの脈拍や体温、体温の上昇を検知するセンサデバイスや、音声入力を行うマイクもセンサ１０１の具体例として挙げられる。なお、センサ１０１からＣＰＵ１００に入力される情報をセンサ情報と呼ぶ。
【００４３】
記憶部１０７は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）など、不揮発性の記憶デバイスで構成される。記憶部１０７は、複数種類の音データを記憶する。
【００４４】
音声出力部１０９は、音情報生成部１０８で生成したユーザを中心とした現実空間上に音源を音像定位するマルチチャンネル音声情報を、音波として出力する機能を備えるデバイスである。具体例としては、図３に示すような形態のスピーカでもよい。
【００４５】
ＣＰＵ１００は、情報処理装置１が有する演算処理デバイスである。ＣＰＵ１００が情報処理装置１にとって主要な演算処理デバイスである必要はない。ＣＰＵ１００は情報処理装置１にとって補助的なデバイスで構成されてもよい。記憶部１０７に記憶されるソフトウェアプログラムもしくは外部からダウンロードされたソフトウェアプログラムがＣＰＵ１００により実行されることにより、ＣＰＵ１００は、以下に述べるような機能を備える行動認識部１０２と、疲労度算出部１０３と、音データ選択部１０４と、変位算出部１０５と、音像位置計算部１０６と、音情報生成１０８とを有するように構成される。
【００４６】
行動認識部１０２は、ユーザの行動の態様の一例としてユーザの行動の種類を認識する。
疲労度算出部１０３は、ユーザの状態を分析する状態分析部の一例であり、ユーザの疲労度を算出する。
音データ選択部１０４は、行動認識部１０２で認識されたユーザの行動の種類と、疲労度算出部１０３で算出された疲労度に基づいて、適切な音声データを選択する。
【００４７】
変位算出部１０５は、センサ１０１から入力された情報に基づいて、ある時刻Ｔ０からその後の時刻Ｔｎまでの間に発生したユーザの空間的変位を算出する。
【００４８】
音像位置計算部１０６は、変位算出部１０５が算出したユーザ変位に基づいて、現実空間上に重畳させる仮想オブジェクトを現実空間において定位させるべき位置を計算する。
【００４９】
音情報生成部１０８は、音データ選択部１０４で選択された音声データを変調させて、ユーザを中心とした現実空間上に音源を音像定位するマルチチャンネル音声情報を生成する。変調の際には、音像位置計算部１０６で設定した音像位置をパラメータに用いる。
【００５０】
＜３．動作＞
図５に本実施形態に係る情報処理装置で実行される処理の流れを示す。以下に記載する、図５に示した処理の説明においては、特に断りのない限り、ＣＰＵ１００が動作の主体となっている。まず、ＣＰＵ１００は、センサ情報を取得し各部に入力する（Ｓ１０１）。
【００５１】
次に、行動認識部１０２は、センサ１０１から入力された情報に基づいて、ユーザの行動の種類（ユーザの行動態様の一例）を認識する（Ｓ１０２）。行動の種類の認識の情報処理は、例えば、センサ情報を入力とし、行動の種類を出力とする判別器に機械学習をさせた、学習済み判別器を用いる方法がある。あるいは、センサ情報に含まれる加速度の変化から静止／歩行／走りを判断する方法を用いてもよい。
【００５２】
次に、疲労度算出部１０３は、ユーザの疲労度を算出する（Ｓ１０３）。ユーザの疲労度は累積するパラメータとすることができる。この場合、疲労度に係るパラメータは、行動認識部１０２により認識された行動の種類に基づいて決定される単位時間当たりの疲労度に、当該行動の継続時間を乗じる演算などにより算出される。疲労度は、時間が経つと徐々に減少するパラメータとしてもよい。
【００５３】
例えば、単位時間当たりの疲労度としては、行動認識部１０２による行動認識の結果を用いて、静止中であれば−α，歩行中であれば＋β，走り中であれば＋γ（ただし、α，β，γは正の値、β＜γ）というように、行動の種類ごとに割り当てられる値を用いてもよい。なお、行動認識の結果、ユーザの行動の種類が変化した場合は、単位時間当たりの疲労度をそれに応じて更新してもよい。疲労度はこのようにして割り当てられる単位時間当たりの疲労度を積分して算出してもよい。
【００５４】
疲労度算出部１０３は、行動認識部１０２の認識結果を用いる疲労度算出に代えて、より単純な方法で疲労度を算出してもよい。例えば、センサ１０１により把握されるユーザの歩数の累積や、加速度センサやジャイロセンサの変動から直接算出した値を、疲労度として出力してもよい。あるいは、ユーザの脈拍や体温、体温の上昇を検知するセンサデバイスの出力（センサ情報の一例）に基づく活動量を疲労度として出力してもよい。
【００５５】
次に、音データ選択部１０４は、行動認識部１０２により認識されたユーザの行動の種類に応じて音データを選択する（Ｓ１０４）。記憶部１０７にはあらかじめ想定される行動の種類に対応する複数パターンの音データが記憶されている。ある一つの行動の種類に複数パターンの音データが対応するように構成されてもよく、その場合、音データ選択部１０４は複数パターンの音データの中からランダムに一つを選択する。なお、音声を出力すると違和感を感じさせるおそれがある場合など、行動の種類によっては音データを選択しないように構成してもよい。
【００５６】
例えば、行動認識部１０２によりユーザの行動が「歩行中」と認識された場合、音データ選択部１０４は記憶部１０７にあらかじめ記憶されている仮想オブジェクトの動作音のうち、「歩行中」に関連付けられている音データの中からランダムに一つ選択する。前述のように仮想オブジェクトがヴァーチャルドッグである場合、ユーザが歩行中であればヴァーチャルドッグも同じペースで歩いていることが想起されるような音声が選ばれるように構成する。
【００５７】
同様に、行動認識部１０２によりユーザの行動が「走り中」と認識された場合、音データ選択部１０４は記憶部１０７にあらかじめ記憶されている仮想オブジェクトの動作音のうち、「走り中」に関連付けられている音データの中からランダムに一つ選択する。また、行動認識部１０２によりユーザの行動が「静止中」と認識された場合、音データ選択部１０４は記憶部１０７にあらかじめ記憶されている仮想オブジェクトの動作音のうち、「静止中」に関連付けられている音データの中からランダムに一つ選択する。静止中の場合は音データを選択しないように構成してもよい。
【００５８】
例えば、「歩行中」には歩いている足音や動作音の音データが関連付けられる。「走り中」には走っている足音や、歩行中のものよりも荒い息をしている動作音の音データが関連付けられる。
【００５９】
音データ選択部１０４はまた、疲労度算出部１０３が算出した疲労度にも応じて音データを選択する（Ｓ１０４）。音データ選択部１０４では、疲労度を所定の閾値で二分し、「疲労度大」と「疲労度小」に分け、「疲労度大」と判定された場合、記憶部１０８にあらかじめ記憶されている仮想オブジェクトの動作音のうち「疲労度大」に関連付けられている音データの中からランダムに一つ選択する。他方、「疲労度小」と判定された場合、記憶部１０８にあらかじめ記憶されている仮想オブジェクトの動作音のうち「疲労度小」に関連付けられている音データの中からランダムに一つ選択する。
【００６０】
「疲労度大」には例えば息切れの音が関連付けられてもよい。また、疲労度の程度は大・中・小のように三段階やそれ以上に細かく分けて把握されるようにしてもよい。
【００６１】
図６に音データ選択部１０４による情報処理を理解するための説明図を示す。図６（ａ）中の２つのテーブルは記憶部１０７にあらかじめ記憶されている仮想オブジェクトの動作音などの音データとユーザの行動の種類との関連付けを示すテーブルと、同じく音データと疲労度との関連付けを示すテーブルである。
【００６２】
音データ選択部１０４は、行動認識部１０２により認識されたユーザの行動の種類に応じた音データを選択するとともに、疲労度算出部１０３が算出した疲労度に応じて音データを選択し、選択した２つの音データを後段に出力する。図６（ａ）中では「歩行」に対応するファイル mb002.mp3 と「疲労度大」に対応するファイル tc001.mp3 が選択されている。選択された音データは音情報生成部１０８により合成される。
【００６３】
音データ選択部１０４による音データ選択のもう一つの実施例としては、図６（ｂ）に示すような、行動認識部１０２により認識されうる行動の種類と、疲労度算出部１０３により算出される疲労度の度合いとを軸にしたテーブルをあらかじめ用意しておき、合成済みの音データを選択する処理を行うように構成してもよい。この場合、例えば、「歩行」と「疲労度大」に当てはまる音データとして「ぜいぜい息切れしながら歩いている様子の音」などが配置される。
【００６４】
そのほかの音データ選択部１０４による音データ選択の実施例としては、音データ選択部１０４が音声データパターンを動的に生成し、動的に生成した音声データを選択する実施例がある。この場合、行動認識部１０２が認識するユーザの行動を連続的な値を持つパラメータとし、疲労度算出部１０３が算出する疲労度も連続的な値を持つパラメータとする。このように、音データ選択部１０４が、「歩き」から「走り」に至るまでの移動速度の度合いと、疲労度合いとをパラメータとして、このようなパラメータ群に基づいて動的に音声データを生成することとしてもよい。
【００６５】
音データ選択部１０４は、音データの選択をした場合、時刻と選択結果のペアを記憶部１０７に記憶させる（Ｓ１０５）。時刻と選択結果のペアは、音像位置計算部１０６などに利用される。
【００６６】
次に、変位算出部１０５は、任意のある時点を起点とした変位を算出する（Ｓ１０６）。ここで算出する変位とは、情報処理装置１の空間的変位を指す。情報処理装置１はユーザに装着されていることが前提であるので、以下、変位算出部１０５が算出する変位を「ユーザ変位」と呼ぶ。ユーザ変位には、ユーザの空間的位置の相対的変化が含まれ、方位、水平位置、鉛直方向の位置、それぞれの変位が含まれる。
【００６７】
方位の変位は、センサ１０１から入力されるセンサ情報のうち、例えば、ジャイロセンサの出力の積算により算出できる。他には、地磁気センサの出力により絶対方位を得る方法がある。地磁気センサの精度を補うために、ジャイロセンサの出力の積算を用いてもよい。これらの方法により、変位算出部１０５は、ユーザ変位のうち方位（ユーザの向き、正面の方向）を算出する。
【００６８】
変位算出部１０５は、ユーザ変位の一つとして水平位置の変位も算出する。水平位置の変位は、ＧＰＳ衛星の電波を受信する絶対位置測位により算出してもよいし、複数の基地局と無線通信を行うことで絶対位置を割り出す方法により算出してもよい。その他の方法としては、変位算出部１０５は、進行距離と進行方向（前述した方位の変位）により、ある時点を起点とした相対的な位置の変位を算出する。ここで、進行距離は、加速度センサの出力値を積算することにより求める方法がある。
【００６９】
進行距離はまた、加速度変化から歩行ステップを検知し、歩行ステップに応じた歩幅に歩数を乗算することにより求めてもよい。この場合、歩幅は平均的なものを固定で使ったり、水平移動距離と歩数の関係からユーザの平均歩幅を算出したりして設定する。
【００７０】
変位算出部１０５は、ユーザ変位の一つとして高さの変位も算出する。高さ方向（鉛直方向）の変位は、気圧センサの計測値を利用するほか、行動認識部１０２により「立つ」と認識されるユーザの行動の種類及び「座る」と認識されるユーザの行動の種類が、交互に繰り返されるように認識された場合に、それに応じた高さの変位を算出するという方法をとることができる。なお、「立つ」／「座る」は加速度センサの計測値の変動パターンから認識可能である。
【００７１】
変位算出部１０５が算出したユーザ変位は、音像位置計算部１０６が利用する。音像位置計算部１０６は、仮想オブジェクトの、ユーザから見た相対的な位置を計算する（Ｓ１０７）。この位置は、最終的に合成された音声が音声出力部１０９から出力された場合に、その音声によりユーザが感じ取る感覚上の音源（現実空間上の位置）となる。
【００７２】
音像位置計算部１０６による情報処理は、本アプリケーションが仮想オブジェクトに付与させたい性格に応じて、適切なものが選ばれるようにしてもよい。この場合、仮想オブジェクトがどのようなキャラクタであるか、どのような存在であるかに応じて、音像位置計算部１０６が実行する計算方法にいくつかのパターンを設定する。以下、図７を参照しながら代表的な２つのパターンについて説明する。図７は音像位置計算部１０６の情報処理を説明するための模式図であって、それぞれのパターンにおけるユーザ変位と仮想オブジェクトの変位を例示している。
【００７３】
図７（ａ）は、仮想オブジェクトの動きが、ユーザの変位に対し、一定の時間遅れて同じ位置をたどるようにした音像位置計算パターンを示している。図中、縦軸は変位の一例としての３軸位置３軸方向からなる６次元の情報を、１次元的に表現したものである。横軸は時刻ｔを示す。
【００７４】
図７（ａ）に示すようなユーザ変位への追随が得られるような音像位置計算パターンは、例えば、下記式で得られる。ただし、Ｘ（ｔ）はユーザ変位、Ｘ′（ｔ）は仮想オブジェクトの変位、Ｋは仮想オブジェクトが動き出すまでの時間の遅れとする。Ｋの値が大きければ大きいほど、動き出すまでの時間（遅れ）が大きい。
Ｘ′（ｔ）＝Ｘ（ｔ−Ｋ）
【００７５】
仮想オブジェクトの、図７（ａ）に示すようなユーザ変位への追随は、ユーザの動きに沿って動く存在を演出する場合に有効である。例えば、仮想オブジェクトが人やロボット、車、動物など、音像定位位置がユーザ変位に対し一定の時間の遅れを伴いながら同じ位置をたどるような拡張現実感をユーザに提供したい場合に、この音像位置計算パターンを採用してもよい。
【００７６】
図７（ｂ）は、仮想オブジェクトの動きが、ユーザの変位に対し、一定の時間遅れで、ユーザのいる位置に直接向かうような移動をするようにした音像位置計算パターンを示している。このような音像位置計算パターンは、例えば下記式で得られる。ただし、ａは仮想オブジェクトの動きの速さを表す。ａの値が０に近いほど、ユーザに追いつくのに時間がかかる。つまり、動きが遅い。
Ｘ′（ｔ）＝ａＸ（ｔ−Ｋ）＋（１−ａ）Ｘ′（ｔ−１）
【００７７】
仮想オブジェクトの、図７（ｂ）に示すようなユーザ変位への追随は、例えば、壁を通り抜けてユーザを追ってくる存在を演出するような場合に有効であり、例えば、仮想オブジェクトで幽霊のキャラクタを表現する場合に適している。
【００７８】
音像位置計算部１０６は、上述の情報処理により計算する変位Ｘ′（ｔ）や、これにより算出可能な時刻ｔにおけるポイントを、時刻ｔにおける仮想オブジェクトの位置とする。なお、このポイントをベースポイントとして、これに所定の位置変化を加えて得られたポイントを仮想オブジェクトの位置としてもよい。例えば、仮想オブジェクトが犬のキャラクタであれば計算により得られたベースポイントから、地面に近い低い位置にシフトしたポイントを出力する。あるいは、仮想オブジェクトが幽霊のキャラクタであれば、浮遊している感じを演出するために、一定周期で上下する位置変化を加える計算をする。この構成によれば、よりリアルなキャラクタの動きを再現することができる。
【００７９】
また、音像位置計算部１０６は、ユーザ位置を起点としたキャラクタの位置（Ｘ′（ｔ）−Ｘ（ｔ））にユーザの方位変位を加味して、キャラクタのユーザから見た相対的な位置を計算する。この音像定位方法については、特許文献１に記載の方法を用いることができる。
【００８０】
音情報生成部１０８は、音情報を空間的に配置する情報処理を行う（Ｓ１０８）。この情報処理は、ユーザを中心としたユーザからの距離、方向というユーザからの相対的な位置に、音像を定位するものであり、例えば特許文献１に記載されているような方法を用いることができる。
【００８１】
音情報生成部１０８は、出力に用いる音情報として音データ選択部１０４により選択された音データを使う。ただし、音像位置計算において遅延を含む場合、ユーザ位置を参照する時刻における、選択された音データを利用する。つまり、Ｘ′（ｔ）＝Ｘ（ｔ−Ｋ）の計算式で音像位置を計算した場合は、時刻ｔでは時刻ｔ−Ｋにおいて選択された音データを利用する。音情報生成部１０８は、音データ選択部１０４が記憶部１０７に時刻情報と関連付けて記憶させた音データを取り出して用いる。
【００８２】
また、音情報生成部１０８は、出力する音情報によりユーザが感じ取る感覚上の音源の位置（音像が定位される位置）として、変位算出部１０５の出力するユーザ変位に基づいて音像位置計算部１０６が計算した位置を指定する。音情報生成部１０８は、指定した位置から聞こえてくるように、音データを変調させる。本実施形態では２ｃｈの音情報として生成するが、音声出力部１０９の具体的実施態様によっては５．１ｃｈの音情報として生成してもよい。
【００８３】
また、音情報生成部１０８は、変位算出部１０５が算出したユーザ変位に基づいて算出されるユーザの移動速度に応じて、変調された音データの再生速度を調整してもよい。例えば、音データ選択部１０４により選択された音データが同じく「歩き」に対応する音データであった場合でも、その移動速度の違いに応じて異なる再生速度で再生する。
【００８４】
次に、音声出力部１０９が音情報生成部１０８にて生成された音データを物理的に音波として出力する（Ｓ１０９）。
【００８５】
＜４．まとめ＞
上述の実施形態によれば、ユーザの行動の態様を認識し、それに基づいて再生する音データを切り替えることによって、ユーザの行動の態様の変化に追随した表現が可能になる。また、ユーザの三次元位置や方位変化に基づいて、音像の定位位置を変化させることによって、ユーザの行動の結果、ユーザが空間内で占めている位置に追随した音表現が可能になる。さらに、音像定位位置又はそのベースとなるポイントが、ユーザの行動より所定の遅延を伴って移動することにより、ユーザの位置変化に追随する音表現が可能になる。このように、上述の実施形態によれば、仮想オブジェクトとして仮想的なキャラクタ（例えば、犬など）を設定した場合、ユーザの傍らに実際にいるかのような音表現が実現する。
【００８６】
＜５．他の実施形態＞
なお、本技術は以下のような構成もとることができる。
図３では首に掛けるネックバンド型のスピーカを外観構成例として示したが、上述の実施形態が開示する技術はその他の態様、例えば、メガネ型を含むヘッドマウントディスプレイにも適用可能である。この場合、変位算出部１０５と音像位置計算部１０６の情報処理により出力される仮想オブジェクトの位置に、その映像を描画することも好ましい。本技術による聴覚刺激に視覚刺激も加えることで相乗効果が得られ、より高品質な拡張現実感をユーザに提供することができる。
【００８７】
＜５−１．他の実施形態１＞
図８を参照して、本技術に係るその他の実施形態１の構成を説明する。本実施形態においては、情報処理装置１のユーザが複数を想定する。本実施形態においては、ＣＰＵ１００に入力されるセンサ情報が２系統ある。変位算出部１０５におけるユーザ変位の算出に係る情報処理に用いるセンサ情報を出力する１以上のセンサをセンサ１０１とし、行動認識と疲労度算出に用いるセンサ情報を出力する１以上のセンサを他人センサ１１０とする。
【００８８】
変位算出部１０５は、音声出力部１０９が出力する音声を知覚するユーザのユーザ変位を算出する。行動認識部１０２と疲労度算出部１０３は、当該ユーザでない、他の人物のセンサ情報に基づいて、その他の人物の行動態様や、疲労度を認識する。その他の情報処理については、上述の実施形態と同様である。
【００８９】
本実施形態によれば、他のユーザの行動を認識し、その行動の態様に応じた音データが選択される一方で、その音像が定位される現実空間上の位置は、音声を聞くユーザの空間的変位に追随する。本実施形態によれば、他人のアバターがユーザについてくるような拡張現実感をユーザに提供することができる。音像位置計算部１０６が、音像定位位置を空中に設定して、他人のアバターが宙に浮いた感じを演出してもよい。
【００９０】
本実施形態は、限定するものではないが、遠隔地で走る他人とユーザが競争できるようなランニングアプリケーションへの適用などが考えられる。あるいは他人の体験をユーザが追体験するようなアプリケーションへの適用も考えられる。例えば、他人の視界をユーザが体験するヘッドマウントディスプレイに適用し、遠隔地のスポーツ選手の動きを目の前で追うというような拡張現実感をユーザに提供することができる。
【００９１】
＜５−２．他の実施形態２＞
上述の実施形態で説明した情報処理は、上述の実施形態で例示したハードウェア及びソフトウェア構成に依存して実行されるものではない。図４に示した各機能ブロックの一部ないし全部が、別のハードウェア上で実行される形態で本技術を実施してもよい。本実施形態は図９に示すように、ＣＰＵ１００及び記憶部１０７を有するサーバ２と、ウェアラブルデバイス３が、ネットワーク４を介して相互に通信するサーバクライアントシステムとして、情報処理装置１を構成した場合の実施形態である。
【００９２】
本実施形態において、ウェアラブルデバイス３としては、図３で示したようなネックバンド型スピーカを採用することができる。そのほかには、スマートフォンもウェアラブルデバイス３の一例とすることができる。サーバ２はクラウド上に置かれ、本技術の情報処理はサーバ２側で実行される。本技術は、このような形態での実施も可能である。
【００９３】
＜５−３．他の実施形態３＞
上述の実施形態では、図５のＳ１０２で、行動認識部１０２は、ユーザの行動の種類を認識する。本実施形態においては、ここで、ユーザの行動の種類の変化が認識されると、音データ選択部１０４は、変更前から変更後の音データの切り替わりパターンに応じた音データを前記変更後の音データと同時に選択する。
【００９４】
音データの切り替わりのタイミングは、行動の開始や終了のタイミングとなる。例えば、仮想オブジェクトに付与するキャラクタが「鈴をつけたキャラクタ」であって、行動の種類が「走り」から「静止」に変化したとき、鈴がチャリンと鳴るようなジングル音が音データ選択部１０４により選択されるように構成する。音データ選択部１０４は、「静止」に対応する音データと同時に、ジングル音に係る音データも選択する。
【００９５】
このような仮想オブジェクトに係るキャラクタの行動の変化に応じて音データを選択する構成によれば、よりエンターテイメント性に富んだ拡張現実感、あるいは、リアリティのある拡張現実感をユーザに提供することができる。
【００９６】
ジングル音の他にも、行動の種類が「走り」から「静止」に変化したときに、キャラクタが驚いたことを示すセリフを音データ選択部１０４が選択するよう構成してもよい。この場合、ユーザが走っていて突然止まったら、仮想オブジェクトに係るキャラクタが驚くといった演出が可能になる。キャラクタをより生き生きとしたものにすることができ、よりエンターテイメント性に富んだ拡張現実感をユーザに提供することができる。
【００９７】
＜５−４．他の実施形態４＞
上述の実施形態では、図５のＳ１０２で、行動認識部１０２は、ユーザの行動の種類を認識する。本実施形態においては、ここで、ユーザの行動の種類の変化を認識すると、ＣＰＵ１００がこのタイミングで、変化後の行動の種類に関連する所定の条件判定を行う。この条件判定は、変化後の行動の種類が、仮想オブジェクトに関連付けられた情報と整合するか否かを判定するものとする。
【００９８】
上記実施形態や本実施形態では、仮想オブジェクトがユーザに追随しているような拡張現実感（ＡＲ）をユーザに提供する。そこで、ユーザの行動の種類に応じて仮想オブジェクトから発せられる音声も可能であれば変化させる。仮想オブジェクトには情報処理装置１により実在しないキャラクタとしての性格や特徴、持ち物などが付与されている。このような仮想オブジェクトに関連付けられた情報が、変化後の行動の種類が整合しない場合、拡張現実感を減じさせてしまう。
【００９９】
そこで、本実施形態では、変化後の行動の種類が、仮想オブジェクトに関連付けられた情報と整合するか否かを判定する。この整合性に関する条件判定を行った際、音データ選択部１０４が所定の音データを選択するように構成してもよい。
【０１００】
例えば、行動の種類が、「歩く」から「自転車に乗る」のような変化があった場合に、仮想オブジェクトに係るキャラクタの持ち物に「自転車」が含まれているか否かの条件判定を行う。本例においては持ち物に「自転車」が含まれているか否かの条件判定が、変化後の行動の種類が、仮想オブジェクトに関連付けられた情報と整合するか否かを判定に該当する。
【０１０１】
本例の判定の結果、仮想オブジェクトに関連付けられた情報（キャラクタの持ち物）に自転車が含まれていない場合、つまり、当該キャラクタが「自転車」を持っていない場合、音データ選択部１０４は、自転車に対応する音データの選択をしないようにする。その代わりに、当該キャラクタが「私も自転車に乗りたい」とつぶやく音声を選択するようにしてもよい。
【０１０２】
このような仮想オブジェクトに係るキャラクタの発話のタイミングを制御する構成によれば、よりエンターテイメント性に富んだ拡張現実感、あるいは、リアリティのある拡張現実感をユーザに提供することができる。
【０１０３】
＜５−５．他の実施形態５＞
上述の実施形態においては、ユーザの状態の一例として、ユーザの疲労ないし疲労度を算出し、音データ選択に用いていた。しかしながら、ユーザの状態の別の一例として、ユーザの感情（喜怒哀楽など）をセンサ１０１により取得し、それに基づく音データ選択を行ってもよい。センサ１０１に特に限定はなく、生体センシングデバイスにより血圧や体温からユーザの感情を取得できれば、それに基づく音データ選択を行ってもよい。
【０１０４】
また、ユーザの状態、感情に代えて、あるいは、それと同時に、ユーザ周囲の環境情報を取得し、それに基づいて音データ選択を行ってもよい。例えば、環境情報として降雨を検出した場合、これに伴い、音データ選択部１０４が水溜りの上を歩く音を選択するようにする。この構成によれば、よりエンターテイメント性に富んだ拡張現実感、あるいは、リアリティのある拡張現実感をユーザに提供することができる。
【０１０５】
＜５−６．他の実施形態６＞
音像位置計算部１０６は、仮想オブジェクトを配置する位置を、以下のいずれか１つ以上の組み合わせによって決定してもよい。
・センサ１０１から取得する情報
・外部から取得する情報（地図データなど）
・仮想オブジェクトに付与される性格や持ち物などの情報
【０１０６】
例えば、情報処理装置１が詳細な地図データを取得可能であり、且つ、変位算出部１０５により算出されたユーザ変位に基づくユーザの絶対位置が建物の壁の近傍であった場合、音像位置計算部１０６は、仮想オブジェクトが壁を挟んでユーザと対向する位置に来ないように配置する。例えば、仮想オブジェクトが犬のようなキャラクタであった場合、キャラクタが散歩中に壁の向こう側に入り込んでしまっては不自然であるため、音像位置計算部１０６は、詳細な地図データが取得可能であれば、仮想オブジェクトを、ユーザ側に回り込むように配置する。
【０１０７】
外部から取得可能な地図データとしては、建物の位置する大まかな緯度経度だけでなく、建物と道路などとの境界を画する壁の位置座標も有するものがある。情報処理装置１がこのような地図データを利用可能である場合、建物を壁の位置座標で囲まれた範囲として捉えることができる。そこで、音像位置計算部１０６は、変位算出部１０５の出力するユーザ変位に基づいて決める仮想オブジェクトの音像定位位置を、建物の位置座標の範囲に含まれない位置に配置する。具体的には例えば、道路側に仮想オブジェクトを配置する。あるいは、音像位置計算部１０６は、空間が開けている方向（例えば道路のある方向）に仮想オブジェクトを配置する。
【０１０８】
さらに本例においては、仮想オブジェクトが地図データ上の建物の壁などのオブジェクトとぶつかる場合、衝突音などの音声データが再生されるように構成してもよい。例えば、音情報生成部１０８が、音像位置計算部１０６により配置される仮想オブジェクトの位置が建物の位置範囲の座標に重なる場合、衝突音などの音声データが再生されるように構成する。
【０１０９】
なお、仮想オブジェクトに付与されるキャラクタが、ゴーストのような壁をすり抜けられるキャラクタであった場合、音像位置計算部１０６は、キャラクタを壁の向こう側に配置してもよい。また、壁をすり抜けた瞬間に、特定のジングル音を鳴らすように構成してもよい。
【０１１０】
本実施形態の構成によれば、よりエンターテイメント性に富んだ拡張現実感、あるいは、リアリティのある拡張現実感をユーザに提供することができる。
【０１１１】
＜５−７．他の実施形態７＞
本実施形態においては、上述の実施形態で開示された構成に加えて、さらに、音情報生成部１０８が、仮想オブジェクトに係るキャラクタの行動状態に応じて生成する音情報を異ならせる構成を備える。例えば、ユーザの行動態様が所定の閾値を越えて長時間走り続けていることが行動認識部１０２により把握されると、音データ選択部１０４が選択する音データを異ならせ、最終的に音情報生成部１０８が生成する音情報を異ならせる構成としてもよい。この場合、音情報生成部１０８は、音データ選択部１０４が選択する音データを、通常の走っているときの音声データから、例えば、息切れ音や、「疲れた」といった声などを含む、キャラクタが疲れていることを示す音声データに切り替えてもよい。
【０１１２】
このような構成によれば、仮想オブジェクトに係るキャラクタにも行動状態（疲れている、飽きているなど）があるように演出することが可能になり、よりエンターテイメント性に富んだ拡張現実感、あるいは、リアリティのある拡張現実感をユーザに提供することができる。
【０１１３】
＜６．付記＞
本明細書に開示される技術的思想の一部は、下記（１）〜（１１）のように記載されうる。
（１）
センサ情報に基づいて、ユーザの行動態様を認識するように構成される行動認識部と、
前記行動認識部により認識された前記ユーザの行動態様に応じた音データを選択するように構成される音データ選択部と、
前記音データ選択部により選択された前記音データに基づいて、前記ユーザを中心とした現実空間上に音源を音像定位するマルチチャンネル音声情報を生成する音情報生成部
とを具備する情報処理装置。
（２）
上記（１）に記載の情報処理装置であって、
前記音データ選択部は、前記現実空間上に配置される仮想オブジェクトから発せられた音声として前記音データを選択するよう構成され、
前記音情報生成部は、前記仮想オブジェクトの配置場所を前記音源とする音像定位を、前記マルチチャンネル音声情報の生成により行うよう構成される
情報処理装置。
（３）
上記（１）又は（２）に記載の情報処理装置であって、
前記音データ選択部は、前記行動認識部の認識の結果、選択する音データが変更される際に、変更前から変更後の音データの切り替わりパターンに応じた音データを前記変更後の音データと同時に選択するように構成される
情報処理装置。
（４）
上記（１）から（３）のいずれかに記載の情報処理装置であって、
前記音データ選択部は、前記行動認識部の認識の結果、選択する音データが変更される際に、前記ユーザの行動態様に応じた音データが複数ある場合、前記仮想オブジェクトに関連付けられた情報に整合する音データを選択するように構成される
情報処理装置。
（５）
上記（１）から（４）のいずれかに記載の情報処理装置であって、
前記センサ情報に基づいて、ユーザの位置の相対的変化を含むユーザ変位として出力する変位算出部
をさらに具備する情報処理装置。
（６）
上記（５）に記載の情報処理装置であって、
前記音情報生成部は、前記変位算出部の出力する前記ユーザ変位に基づいて、前記音データ選択部により選択された前記音データを変調させて、前記マルチチャンネル音声情報を生成するように構成される
情報処理装置。
（７）
上記（６）に記載の情報処理装置であって、
前記音情報生成部は、前記マルチチャンネル音声情報により音像定位される音源が前記変位算出部の出力する前記ユーザ変位に追随する位置に配置されるように、前記音データ選択部により選択された前記音データを変調させて、前記マルチチャンネル音声情報を生成するように構成される
情報処理装置。
（８）
上記（７）に記載の情報処理装置であって、
前記音情報生成部は、前記マルチチャンネル音声情報により音像定位される音源が、前記ユーザ変位により特定される前記ユーザの位置を起点とした空間上の位置に、遅延を伴って追随するように、前記マルチチャンネル音声情報を生成するように構成される
情報処理装置。
（９）
上記（５）から（８）のいずれかに記載の情報処理装置であって、
前記音情報生成部は、前記変位算出部の出力する前記ユーザ変位と、外部から取得する建物の位置座標を含む地図情報に基づいて、前記仮想オブジェクトの配置場所が前記地図情報に含まれる建物の位置座標の範囲に含まれないように、前記マルチチャンネル音声情報を生成する
情報処理装置。
（１０）
上記（９）に記載の情報処理装置であって、
前記音情報生成部は、前記地図情報に含まれる建物の位置座標の範囲に、前記仮想オブジェクトの配置場所が重なる場合に、衝突音を含む前記マルチチャンネル音声情報の生成を行う
情報処理装置。
（１１）
上記（１）から（１０）のいずれかに記載の情報処理装置であって、
前記行動認識部により認識された前記ユーザの行動態様、及び、前記センサ情報のいずれか一方に応じて変動する前記ユーザの状態を分析するように構成される状態分析部
をさらに具備する情報処理装置。
（１２）
上記（１１）に記載の情報処理装置であって、
前記音データ選択部は、前記ユーザの行動態様に応じた音データと、前記状態分析部により分析された前記ユーザの状態に応じた音データとを選択するように構成される
情報処理装置。
（１３）
上記（１２）に記載の情報処理装置であって、
前記音情報生成部は、前記音データ選択部により選択された、前記ユーザの行動態様に応じた音データと、前記ユーザの状態に応じた音データとを合成し、合成した音データに基づいて、前記マルチチャンネル音声情報を生成するように構成される
情報処理装置。
（１４）
上記（１１）から（１３）のいずれかに記載の情報処理装置であって、
前記状態分析部は、前記行動認識部により認識された前記ユーザの行動態様、及び、前記センサ情報のいずれか一方に応じて単位時間当たりの疲労度を割り当て、割り当てた前記単位時間当たりの疲労度を累積することにより、前記ユーザの状態として疲労度を算出するように構成される
情報処理装置。
（１５）
上記（１）から（１４）のいずれかに記載の情報処理装置であって、
前記音データ選択部は、前記行動認識部により認識されたユーザの行動態様が所定の閾値を超えて継続した場合に、前記行動認識部により認識された前記ユーザの行動態様に応じた音データとは異なる音データを選択する
情報処理装置。
（１６）
センサ情報に基づいて、ユーザの行動態様を認識する行動認識ステップと、
前記行動認識ステップにより認識された前記ユーザの行動態様に応じた音データを選択する音データ選択ステップと、
前記音データ選択ステップにより選択された前記音データに基づいて、前記ユーザを中心とした現実空間上に音源を音像定位するマルチチャンネル音声情報を生成する音情報生成ステップ
とを含む情報処理方法。
（１７）
コンピュータに、
センサ情報に基づいて、ユーザの行動態様を認識する行動認識ステップと、
前記行動認識ステップにより認識された前記ユーザの行動態様に応じた音データを選択する音データ選択ステップと、
前記音データ選択ステップにより選択された前記音データに基づいて、前記ユーザを中心とした現実空間上に音源を音像定位するマルチチャンネル音声情報を生成する音情報生成ステップ
とを実行させるプログラム。
【符号の説明】
【０１１４】
１…情報処理装置
１００…ＣＰＵ
１０１…センサ
１０２…行動認識部
１０３…疲労度算出部（状態分析部）
１０４…音データ選択部
１０５…変位算出部
１０６…音像位置計算部
１０７…記憶部
１０８…音情報生成部
１０９…音声出力部
１１０…他人センサ
【図１】
2018082308.tif 000003
【図２】
2018082308.tif 000004
【図３】
2018082308.tif 000005
【図４】
2018082308.tif 000006
【図５】
2018082308.tif 000007
【図６】
2018082308.tif 000008
【図７】
2018082308.tif 000009
【図８】
2018082308.tif 000010
【図９】
2018082308.tif 000011