(57)【要約】  環境認識及びユーザの行動認識を含む状況認識に基づき、環境で行動するユーザに音情報を適切な形態で制御して提示する情報処理装置を提供する。  情報提示装置は、物体を検出するセンサと、聴取者の耳に装着され、音響発生部と、前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースと、前記音響発生部で発生させる音源の音情報を処理する処理部を具備し、前記処理部は、前記センサが検出した物体に対応する音源の音情報を取得し、前記検出した物体の位置に対応する３次元音響空間上の位置に関連して、前記取得した音源の音像を、位置を変えながら定位させる処理を行う。
2019225192.tif 000002
【特許請求の範囲】
【請求項１】
物体を検出するセンサと、
聴取者の耳に装着され、音響発生部と、前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースと、
前記音響発生部で発生させる音源の音情報を処理する処理部と、
を具備し、
前記処理部は、前記センサが検出した物体に対応する音源の音情報を取得し、前記検出した物体の位置に対応する３次元音響空間上の位置に関連して、前記取得した音源の音像を、位置を変えながら定位させる処理を行う、
情報処理装置。
【請求項２】
前記処理部は、仮想音を構成する前記音源の音像の位置を変えながら定位させる処理を行う、
請求項１に記載の情報処理装置。
【請求項３】
前記処理部は、前記イヤピースの開放部を通過して鼓膜に到達する音の特性と識別可能な特性を持つ前記仮想音の処理を行う、
請求項２に記載の情報処理装置。
【請求項４】
前記センサは、センシングモードに応じた検出エリアを有する、
請求項１に記載の情報処理装置。
【請求項５】
前記センシングモードは、前記センサの通常の検出エリアにより検出を行う通常モードと、前記通常モードよりも限定した検出エリアにより検出を行う白杖モードを含む、
請求項４に記載の情報処理装置。
【請求項６】
前記白杖モードでは、前記処理部は、前記センサが前記聴取者周辺の所定範囲の領域にある物体を検出したことに応じて、前記音源の音像の位置を変えながら定位させる処理を実施する、
請求項５に記載の情報処理装置。
【請求項７】
複数の色を点灯できる機能を持つＬＥＤをさらに備え、
前記白杖モードでは、前記ＬＥＤを所定の色に点灯させる、
請求項５に記載の情報処理装置。
【請求項８】
物体を検出するセンサと、
聴取者の耳に装着され、音響発生部と、前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースと、
前記音響発生部で発生させる音源の音情報を処理する処理部と、
を具備し、
前記処理部は、前記センサが検出した物体に関連して情報提供部によって提供される情報に対応する音源の音情報を取得し、前記音情報の型を選択するとともに前記音情報の情報量を制御しながら、前記取得した音源の音像を定位させる処理を行う、
情報処理装置。
【請求項９】
前記音情報の型は、音声データ又は音源データである、
請求項８に記載の情報処理装置。
【請求項１０】
前記処理部は、前記音源データの音を発生させる頻度により前記音情報の情報量を制御する、
請求項８に記載の情報処理装置。
【請求項１１】
前記音情報は、音情報の型が音声データであるときには、キャラクタＩＤと、前記キャラクタＩＤによって特定される音声の特徴情報を含む、
請求項９に記載の情報処理装置。
【請求項１２】
前記音情報は、音情報の型が音源データであるときには、周波数、継続時間、音圧サンプル値の時系列データ、音ＩＤのうち少なくとも１つを含む、
請求項９に記載の情報処理装置。
【請求項１３】
前記情報提供部は、データベースから前記物体により特定される情報を取得して提供する、
請求項８に記載の情報処理装置。
【請求項１４】
前記情報提供部は、インターネットに接続されたサーバ装置で動作するソフトウェアと通信することにより、前記サーバ装置が前記物体により特定した情報を取得して提供する、
請求項８に記載の情報処理装置。
【請求項１５】
前記処理部は、パーソナルエージェントである、
請求項８に記載の情報処理装置。
【請求項１６】
前記パーソナルエージェントは、人工知能の機能を提供する、
請求項１５に記載の情報処理装置。
【請求項１７】
前記人工知能の機能は、学習又は推定（推論）のための計算である、
請求項１６に記載の情報処理装置。
【請求項１８】
ニューラルネットワーク処理部をさらに備える、
請求項８に記載の情報処理装置。
【請求項１９】
前記ニューラルネットワーク処理部は、人工知能の機能の処理を行う、
請求項１８に記載の情報処理装置。
【請求項２０】
前記処理部は、パーソナルエージェントの制御に基づき、前記情報提供部の処理をさらに行う、
請求項８に記載の情報処理装置。
【請求項２１】
前記物体に関連する情報を格納するメモリをさらに備え、
前記情報提供部は、前記物体に関連する情報を前記メモリから読み出して提供する、
請求項２０に記載の情報処理装置。
【請求項２２】
通信部をさらに備え、
前記情報提供部は、前記通信部を介して接続したサーバ装置に対して前記物体に関連する情報を問い合わせ、前記サーバ装置から受信した前記物体に関連する情報を提供する、
請求項２０に記載の情報処理装置。
【請求項２３】
通信部とマイクをさらに備え、
前記情報提供部は、前記通信部を介して接続したサーバ装置に対して前記マイクから取得した前記聴取者の音声を送信して前記物体に関連する情報を問い合わせ、前記サーバ装置から受信した前記物体に関連する情報を提供する、
請求項２０に記載の情報処理装置。
【請求項２４】
前記情報提供部は、前記サーバ装置から前記音声に対応する関連情報をさらに受信し、
前記処理部は、受信した関連情報に含まれる音源の音情報を取得して、その音源の音像を定位させる処理を行う、
請求項２３に記載の情報処理装置。
【請求項２５】
聴取者の耳の背面に配設される音響発生部と、前記耳の耳介背面から耳垂付近を通過して前記耳の耳介前面に折り返す構造を有して前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースと、
外部の情報を取得するセンサと、
プロセッサと、
を具備し、複数のモードのいずれかを選択して動作する情報処理装置であって、
前記プロセッサは、前記センサによって取得した外部の情報に基づいて外部の３次元空間を再現し、前記複数のモードのうち選択されたモードに応じて、前記音響発生部に音を発生させるための仮想音情報を生成し、前記３次元空間上で時間とともに位置を変化させる音源を音像定位させる、
情報処理装置。
【請求項２６】
物体を検出するステップと、
前記検出した物体に対応する音源の音情報を取得するステップと、
前記検出した物体の位置に対応する３次元音響空間上の位置に関連して、前記取得した音源の音像を、位置を変えながら定位させる処理を行うステップと、
音響発生部と前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースから、前記音像の音を出力するステップと、
を有する情報処理方法。
【請求項２７】
物体を検出するステップと、
前記検出した物体に関連して提供される情報に対応する音源の音情報を取得するステップと、
前記音情報の型を選択するとともに前記音情報の情報量を制御しながら、前記取得した音源の音像を定位させる処理を行うステップと、
音響発生部と前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースから、前記音像の音を出力するステップと、
を有する情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、環境認識及びユーザの行動認識を含む状況認識に基づき、環境で行動するユーザに対して音情報を適切な形態で制御して提示する情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
視力に障害（Ｖｉｓｕａｌｌｙ  Ｉｍｐａｉｒｅｄ）を有する人の活動を支援するために、３次元音響空間から音響情報を提供するシステムが開発されている。例えば、移動音源又は壁などの歩行訓練環境を任意に設定して仮想的な音響空間を生成する歩行訓練環境生成システムや（例えば、特許文献１を参照のこと）、空間インタラクションモジュールによって実行されるそれぞれの空間インタラクション関連機能を呼び出すコマンドをユーザから受信する入力機構のセットを有し、ユーザが空間とインタラクトするときにユーザにオーディオ情報を提示するヘッドセットや（例えば、特許文献２を参照のこと）、オーディオ出力を介して環境内のナビゲーション支援を提供する頭部装着型コンピューティングデバイス（例えば、特許文献３を参照のこと）、などが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１６３１７５号公報
【特許文献２】特表２０１８−５０２３６０号公報
【特許文献３】特表２０１７−５１３５３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１で開示されるシステムによれば、あらかじめ定義された道路環境要素、音要素、壁要素に基づいて３次元音響空間の音響データを生成することで、ユーザに対して仮想的な訓練環境を提供することができる。【０００５】
また、上記特許文献２に開示されるヘッドセットは、骨伝導によりオーディオ情報を提示するのでユーザの耳道を閉塞せず、このヘッドセットを装着したユーザが２つの場所の間を移動さる際にルートを作成し、ルート上を移動している際に、各種センサで把握された絶対位置／相対位置情報や地図から把握される障害物情報の判定に基づき、又は空間内に配置されたビーコンから発せられた情報に基づき、ユーザに音声情報等を通じて一連のプロンプトを与えることでナビゲーションガイダンスを提供することができる。また、このヘッドセットは、ユーザに対してジェスチャ入力などのツールとのインタラクション方法を提供することで、ユーザフレンドリで邪魔にならないガイダンスを提供することができる。【０００６】
また、上記特許文献３に開示される頭部装着型コンピューティングデバイスは、深度画像データや可視光センサシステムを用いて環境を把握することで、物理的な物体の特徴を把握し、オーディオナビゲーションキューと呼ばれる音情報をユーザの頭部伝達関数に基づいて３次元音響空間内の特定の位置から発生している、あるいは音量を変えることで距離情報をユーザに与えるなどして聴覚に障害のあるユーザに対するナビゲーション支援を行うことができる。【０００７】
ところが、上記特許文献２で開示されるヘッドセットを装着したユーザに対して、ビーコンから発せられた情報に基づいて音声情報を提供する場合、ヘッドセットがユーザの耳道を閉塞しないゆえに、ユーザは提供された音声情報と現実環境から耳に直接伝わる周囲音声との区別がつかなくなることがある。また、上記特許文献２及び特許文献３で開示されるように、ビーコンなどを配置した場合であっても、発信される情報が多過ぎると、視覚情報に頼らずに実際の空間においてナビゲーションガイダンスしようとしたとき、多過ぎる情報によってユーザを混乱させてしまうことが懸念される。【０００８】
そこで、本明細書では、実環境で行動するユーザに対して、センサ情報を用いた環境の認識、及び環境内でユーザの置かれた状態やユーザの行動などを考慮した状況の認識に基づいて、３次元音響空間において人工的に再生される仮想音又は音声と現実環境の周囲音（音声を含む）を効果的に区別することができる音響情報を提示するとともに、３次元音響空間において再生される仮想音又は音声の情報の量をユーザのニーズや条件（環境や状況）に応じて適切に制御することができる情報処理装置及び情報処理方法について開示する。
【課題を解決するための手段】
【０００９】
本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
物体を検出するセンサと、
聴取者の耳に装着され、音響発生部と、前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースと、
前記音響発生部で発生させる音源の音情報を処理する処理部と、
を具備し、
前記処理部は、前記センサが検出した物体に対応する音源の音情報を取得し、前記検出した物体の位置に対応する３次元音響空間上の位置に関連して、前記取得した音源の音像を、位置を変えながら定位させる処理を行う、
情報処理装置である。【００１０】
第１の側面に係る情報処理装置は、前記センサの通常の検出エリアにより検出を行う通常モードと、前記通常モードよりも限定した検出エリアにより検出を行う白杖モードを含む、２以上のセンシングモードを有する。前記白杖モードでは、前記処理部は、前記センサが前記聴取者周辺の所定範囲の領域にある物体を検出したことに応じて、前記音源の音像の位置を変えながら定位させる処理を実施する。【００１１】
また、本明細書で開示する技術の第２の側面は、
物体を検出するセンサと、
聴取者の耳に装着され、音響発生部と、前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースと、
前記音響発生部で発生させる音源の音情報を処理する処理部と、
を具備し、
前記処理部は、前記センサが検出した物体に関連して情報提供部によって提供される情報に対応する音源の音情報を取得し、前記音情報の型を選択するとともに前記音情報の情報量を制御しながら、前記取得した音源の音像を定位させる処理を行う、
情報処理装置である。【００１２】
また、本明細書で開示する技術の第３の側面は、
聴取者の耳の背面に配設される音響発生部と、前記耳の耳介背面から耳垂付近を通過して前記耳の耳介前面に折り返す構造を有して前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースと、
外部の情報を取得するセンサと、
プロセッサと、
を具備し、複数のモードのいずれかを選択して動作する情報処理装置であって、
前記プロセッサは、前記センサによって取得した外部の情報に基づいて外部の３次元空間を再現し、前記複数のモードのうち選択されたモードに応じて、前記音響発生部に音を発生させるための仮想音情報を生成し、前記３次元空間上で時間とともに位置を変化させる音源を音像定位させる、
情報処理装置である。【００１３】
また、本明細書で開示する技術の第４の側面は、
物体を検出するステップと、
前記検出した物体に対応する音源の音情報を取得するステップと、
前記検出した物体の位置に対応する３次元音響空間上の位置に関連して、前記取得した音源の音像を、位置を変えながら定位させる処理を行うステップと、
音響発生部と前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースから、前記音像の音を出力するステップと、
を有する情報処理方法である。【００１４】
また、本明細書で開示する技術の第５の側面は、
物体を検出するステップと、
前記検出した物体に関連して提供される情報に対応する音源の音情報を取得するステップと、
前記音情報の型を選択するとともに前記音情報の情報量を制御しながら、前記取得した音源の音像を定位させる処理を行うステップと、
音響発生部と前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースから、前記音像の音を出力するステップと、
を有する情報処理方法である。
【発明の効果】
【００１５】
本明細書で開示する技術によれば、実環境で行動する聴取者に耳穴開放型のイヤピースを装着させて、３次元音響空間において人工的に再生される仮想音と現実環境の音を効果的に区別することができる音響を提示する情報処理装置及び情報処理方法を提供することができる。【００１６】
本明細書で開示する情報処理装置によれば、３次元音響空間の中で提供される音情報（仮想音情報などの音響的に構成される情報）の提供レベルを、センサ情報を用いた環境の認識、及び環境内でユーザの置かれた状態やユーザの行動などを考慮した状況の認識に基づいて、さらにはユーザの選択又は自動的な選択により設定して、提供される音情報の提示方法（前述の仮想音と周囲音の区別を目的とするものに限られない）や情報量を制御することが可能であり、聴取者の聴覚能力の拡張（又は拡大）に寄与することができる。【００１７】
また、本明細書で開示する情報処理装置は、聴覚拡張の他に、センサ情報を用いた環境の認識、及び環境内でユーザの置かれた状態やユーザの行動などを考慮した状況の認識に基づいて、さらにはユーザの選択又は自動的な選択により設定して、３次元音響空間の中で人工的に提供される音情報の提示方法や情報量を制御して提示する装置又はシステムの機能を持つ。さらに、本明細書で開示する情報処理装置は、マイク並びに各種センサを用いて外部の情報を取得し、当該装置単体として、又はサーバ装置と連携して情報処理を行うことによって、聴取者に提示する仮想音情報を生成するという情報処理装置又は情報処理システムとしての機能も持つ。付言すれば、本明細書で開示する情報処理装置は、補聴器としての機能も持つ。【００１８】
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。【００１９】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２０】
【図１】図１は、情報処理装置１００の正面図である。
【図２】図２は、情報処理装置１００を左側から見た斜視図である。
【図３】図３は、情報処理装置１００を聴取者の左耳に装着した様子を示した図である。
【図４】図４は、情報処理装置１００が聴取者の耳に音波を出力する様子を示した図である。
【図５】図５は、情報処理装置１００本体における各機能モジュールの配置例を示した図である。
【図６】図６は、情報処理装置１００本体における各機能モジュールの配置例を示した図である。
【図７】図７は、情報処理装置１００の機能的構成例を示した図である。
【図８】図８は、情報処理装置１００の機能的構成例（マイクアレイアンテナを装備する構成例）を示した図である。
【図９】図９は、情報処理装置１００の筐体表面のタッチセンサ５１４上で聴取者の指をスライドさせる様子を示した図である。
【図１０】図１０は、情報処理装置１００の筐体表面のタッチセンサ５１４上で聴取者の指をタップさせる様子を示した図である。
【図１１】図１１は、スマートフォン１１００が装備するユーザインターフェースを利用して情報処理装置１００の制御を行う例を示した図である。
【図１２】図１２は、情報処理装置１００の機能的構成例（学習・推定機能を強化した構成例）を示した図である。
【図１３】図１３は、ニューラルネットワークアクセラレータ５５５の構成例を示した図である。
【図１４】図１４は、情報処理装置１００の本体部１４０１と機能拡張部１４０２からなる聴覚拡張システム１４００の構成例（分離した状態）を示した図である。
【図１５】図１５は、情報処理装置１００の本体部１４０１と機能拡張部１４０２からなる聴覚拡張システム１４００の構成例（結合した状態）を示した図である。
【図１６】図１６は、情報処理装置１００の本体部１４０１と機能拡張部１４０２からなる聴覚拡張システム１４００の機能構成例を示した図である。
【図１７】図１７は、ＨＲＴＦを用いて音像定位を実現するシステムの一例を示した図である。
【図１８】図１８は、図１７に示したシステム１７００を適用して、複数個の物体を音源として同時再生する様子を例示した図である。
【図１９】図１９は、深度センサ５１２の検出結果に基づいて把握することができる空間認識の状態のイメージの一例を示した図である。
【図２０】図２０は、３次元音響空間において音像の定位が移動する様子を示した図である。
【図２１】図２１は、３次元音響空間において音像の定位が移動する様子を示した図である。
【図２２】図２２は、３次元音響空間において音像の定位が移動する様子を示した図である。
【図２３】図２３は、３次元音響空間において音像の定位が移動する様子を示した図である。
【図２４】図２４は、３次元音響空間において音像の定位が移動する様子を示した図である。
【図２５】図２５は、３次元音響空間において音像の定位が移動する様子を示した図である。
【図２６】図２６は、提供情報レベルを設定する仕組みを示した図である。
【図２７】図２７は、音モードとセンシングモードの組み合わせの状態遷移関係を示した図である。
【図２８】図２８は、センシングモードを示した図である。
【図２９】図２９は、聴取者の視界画像の一例を示した図である。
【図３０】図３０は、図２９に示した聴取者の視界を深度センサ５１２の検出結果に基づいて認識される３次元音響空間を示した図である。
【図３１】図３１は、図３０に示した３次元音響空間内で仮想音が空間伝搬する様子を示した図である。
【図３２】図３２は、白杖モード下の情報処理装置１００の動作例を示した図である。
【図３３】図３３は、仮想音源提示（Ｓｏｕｎｄ  Ｃｌｕｅ）用のＢＬＥビーコンのフレームフォーマット例を示した図である。
【図３４】図３４は、仮想音情報（エレベータスイッチオブジェクト）の構成例を示した図である。
【図３５】図３５は、エレベータスイッチに設定されたローカル極座標系を示した図である。
【図３６】図３６は、聴取者をエレベータスイッチのリモート指示に導く仮想音源の音像定位位置を示した図である。
【図３７】図３７は、聴取者をエレベータスイッチのリモート指示に導く仮想音源の音像定位を移動させる様子を示した図である。
【図３８】図３８は、聴取者が情報処理装置１００を使ってエレベータの上昇ボタンの選択をリモート指示する様子を示した図である。
【図３９】図３９は、聴取者が情報処理装置１００を使ってエレベータの下降ボタンの選択をリモート指示する様子を示した図である。
【図４０】図４０は、聴取者をエレベータスイッチのリモート指示に導く仮想音源の音像定位を移動させる他の例を示した図である。
【図４１】図４１は、聴取者が情報処理装置１００を使ってエレベータスイッチの選択をリモート指示する他の例を示した図である。
【図４２】図４２は、聴取者をエレベータスイッチの直接操作に導く仮想音源の音像定位位置を示した図である。
【図４３】図４３は、聴取者をエレベータスイッチの直接操作に導く仮想音源の音像定位を移動させる様子を示した図である。
【図４４】図４４は、白杖モード下での情報処理装置１００が実行する処理手順を示したフローチャートである。
【図４５】図４５は、仮想音を提示するための詳細な処理手順を示したフローチャートである。
【図４６】図４６は、仮想音に誘導させた聴取者によるリモート指示に応じて対象機器を制御するための詳細な処理手順を示したフローチャートである。
【図４７】図４７は、パーソナルエージェント及び音響空間制御ソフトウェアの処理の関係の一例を示した図である。
【図４８】図４８は、センシング処理の手順を示したフローチャートである。
【図４９】図４９は、状況認識処理の手順を示したフローチャートである。
【図５０】図５０は、物体認識処理の手順を示したフローチャートである。
【図５１】図５１は、情報処理装置１００と連携する自律移動装置５１００の機能的構成例を示した図である。
【図５２】図５２は、自律移動装置５１００と情報処理装置１００のソフトウェアによる連携処理の一例を示した図である。
【図５３】図５３は、自律移動装置のパーソナルエージェントが行う状態認識処理の手順を示したフローチャートである。
【図５４】図５４は、３次元音響空間生成の処理手順を示したフローチャートである。
【図５５】図５５は、エレベータのオブジェクトの定義を示した図である。
【図５６】図５６は、情報処理装置１００のモード遷移を例示した図である。
【図５７】図５７は、情報処理装置１００のセンサの一部の配置位置の例を示した図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。下記では、まず、本明細書で使用される用語についての簡単な定義を与える。
【００２２】
本明細書では、特に断らない限り、「音（音声を含む）」というときには、以下の３つの音を含むものとする。
（Ａ）周囲からそのまま耳に入る自然な周囲音（音声含む）。
（Ｂ）周囲音を一時的に記録又は記憶した（バッファリング含む）オーディオデータ（記録された自然な音声や音楽配信のデータ含む）を信号処理（ノイズ処理や増幅・減衰など含む）して得られた加工音（音声含む）。
（Ｃ）基本的な音源データ（標準音声データやＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）データを含む）などに基づき人工的に加工・合成された仮想的な音（音声含む）。
【００２３】
ここで、特に「仮想音（音声含む）」又は「仮想音」というときには、（Ｂ）と（Ｃ）を意味するものとし、「自然音（音声含む）」というときには、（Ａ）を意味するものとする。また、特に断らない限り、「周囲音」という場合には、「周囲音声」も含むものとする。
【００２４】
また、本明細書では、「イヤピース（Ｅａｒｐｉｅｃｅ）」という場合、特に断らない限り、耳に対して音を提供するための音響発生部を筐体内に収めた装置であって、ヘッドホン、ヘッドセット、イヤホン、補聴器など人の耳に装着することができる形態であり、オーバヘッド型、オンイヤ型、カナル型などの形式があるものを含むものとする。
【００２５】
また、本明細書では、クラウド（Ｃｌｏｕｄ）というときは、一般的に、クラウドコンピューティング（Ｃｌｏｕｄ  Ｃｏｍｐｕｔｉｎｇ）を指すものとする。クラウドは、インターネットなどのネットワークを経由してコンピューティングサービスを提供する。コンピューティングが、ネットワークにおいて、サービスを受ける情報処理装置により近い位置で行われる場合には、エッジコンピューティング（Ｅｄｇｅ  Ｃｏｍｐｕｔｉｎｇ）やフォグコンピューティング（Ｆｏｇ  Ｃｏｍｐｕｔｉｎｇ）などとも称される。本明細書におけるクラウドは、クラウドコンピューティングのためのネットワーク環境やネットワークシステム（コンピューティングのための資源（プロセッサ、メモリ、無線又は有線のネットワーク接続設備などを含む））を指すものと解される場合もある。また、クラウドの形態で提供されるサービスやプロバイダ（Ｐｒｏｖｉｄｅｒ）を指すものと解される場合もある。
【００２６】
「サーバ装置」という場合には、コンピューティングにおいて主としてコンピューティングサービスを提供する少なくとも１台のコンピュータ（又はコンピュータの集合）を指すものとする。言い換えると、本明細書における「サーバ装置」は、単体のコンピュータを意味する場合もあるし、コンピュータの集合（群）を意味する場合もある。
【００２７】
「サーバ装置」の処理は、特に断らない限り、本明細書の情報処理装置との間で情報（データや制御）のために直接通信を行うコンピュータが必要とされるすべての処理を行ってもよいし、情報処理装置から要求された処理を情報処理装置から提供された情報に基づいて１台以上のコンピュータ群において分散して行ってもよい。この場合、１台以上のコンピュータはプロバイダの管理する仮想環境（Ｖｉｒｔｕａｌｉｚａｔｉｏｎ）として提供されてもよいし、ＩｏＴ（Ｉｎｔｅｒｎｅｔ  ｏｆ  Ｔｈｉｎｇｓ）のフォグ（Ｆｏｇ）コンピューティングにおけるように、コンピュータは、世界中に設置され、一部はセンサノードとして必要とされる情報収集処理を行い、一部はネットワークにおけるデータ通信の中継処理を行い、一部はデータベースの情報管理を行い、さらに一部は、学習・推定（推論）などの人工知能に関わる処理を行っていてもよい。
【００２８】
なお、説明は以下の順序で行うものとする。
１．第１の実施例
１．１  耳穴開放型イヤピース
１．２  機能構成例
１．３  拡張機能分離型装置の構成例
１．４  聴覚拡張用空間認識機能
１．５  提供情報レベル制御機能
２．ネットワークシステム
３．プログラム
４．変形例
【００２９】
１．第１の実施形態
まず、聴覚拡張（Ａｕｄｉｂｌｅ  Ａｂｉｌｉｔｙ（あるいは、Ｈｅａｒｉｎｇ）  Ｅｎｈａｎｃｅｍｅｎｔ）を実現する情報処理装置の１つの実施例について、下記で記載する。この実施例に限ることなく、本明細書で開示する情報処理装置は、耳穴開放型イヤピース（ヘッドホン、ヘッドセット、イヤホン、補聴器など人の耳に装着することができる形態であり、オーバヘッド型、オンイヤ型、カナル型などの形式がある）の構成をとることができる。本明細書で開示する情報処理装置は、イヤピースを介して、３次元音響空間の中で信号処理などを経て人工的に又は仮想的に提供される音（音声含む）の音情報提供レベルを、センサ情報を用いた環境の認識、及び環境内でユーザの置かれた状態やユーザの行動などを考慮した状況の認識に基づいて、さらには聴取者の選択又は自動的な選択により設定して、提供される仮想的な音情報の提示方法や情報量を制御することが可能であり、聴取者の聴覚能力を拡張（又は拡大）することができる。なお、本明細書では、情報処理装置のイヤピース部分を耳に装着して聴覚拡張機能を享受するユーザのことを「聴取者」と呼ぶことにする。
【００３０】
１．１  耳穴開放型イヤピース
（１）耳穴開放型イヤピースの概要
カナル型と言われるイヤピースの場合、基本的には外耳道を塞ぐ密閉構造となっている。このため、聴取者自身が発生する音声や自らの咀嚼音（以下、これらを併せて「自発音」という）は、外耳道の開放時と比べて異なるように聴こえるといった違和感があり、聴取者の不快感の原因となることが多い。これは、自発声音が骨や肉を通じて、密閉された外耳道に放音され、低域が増強された状態で、その音が鼓膜に通じるためと考えられている。これに対し、耳穴開放型のイヤピースは、外耳道を塞ぐ密閉構造ではないことから、このような現象が起こらず、聴取者の違和感や不快感を削減することができる。
【００３１】
また、耳穴開放型のイヤピースによれば、耳穴入口付近において、再生用の構造物（例えば、カナル型イヤホンのイヤプラグ）で耳穴全体を塞ぐことがない（耳穴の少なくとも一部を開放する）構造のおかげで、周囲音を直接聴くことができる（音響的に透過である）。このため、聴取者は、耳穴開放型のイヤピースを装着して、オーディオ機器により再生される音声情報（例えば、音楽やラジオ、ネットからの情報音声。以下、「再生音」とする）を聴取しながら、周囲音を自然に聴取することができる。したがって、聴取者は、耳穴開放型のイヤピースを装着しているときであっても、空間把握、危険察知、会話並びに会話時の微妙なニュアンスの把握といった、聴覚特性に依存した人間の機能を正常に利用することができ、且つ、周囲の人からの呼びかけにすぐさま反応して、通常通りの会話を楽しむことが可能である。
【００３２】
一方、実際の周囲音と、耳穴開放型のイヤピースから再生されている音を同時に聴く場合、周囲音と再生音を聴取者が聞き分けることができず、混乱してしまうこともある。周囲音は当然ながら「通常の聴こえ」と同じであり、人間の脳における周囲の複数の音源それぞれの音像定位は、それぞれの音源の位置が適切な距離感を以って行われる。これに対し、再生音の場合、音声や音楽が外耳道近くで再生されると、再生音の音像は聴取者に近い位置で定位される。同様に、音声や音楽などの再生音をステレオ状態で聴く場合にも、音像は聴取者に近い位置で頭内定位を起こす。このように、周囲音と再生音との距離感や「聴こえ方」が異なるために、同時に両方の音を聞く場合は、「聞き疲れ」などを生じ、音情報を認識するのに時間が要することになる。例えば、音楽を聴いている最中に、周囲音の中にアラームが鳴っている場合などに、聴覚的に注力（フォーカス）すべきターゲットに移行する時間が遅れをとったりすることがある。
【００３３】
本実施例に係る耳穴開放型イヤピースでは、周囲音と再生音などとの距離感と「聞こえ方」が異なることに起因する課題を解決するために、耳穴開放型イヤピースから音声や音楽などの再生音を、信号処理を用いて所望の位置に仮想的に音像定位させた後、耳の外耳道近くで再生する（すなわち、仮想音を再生する）。また、この耳穴開放型イヤピースでは、周囲音環境に馴染むように仮想音の音源を提供し、又は、あたかも自然空間に音源があるかのように仮想音の聴こえ方を制御することで、聴取者の聞き疲れを減らすことができる。このことは、聴取者が、脳内で把握する音像マップを手掛かりに、周囲音と仮想音（音声を含む）の両方を、選択的に聴取することが可能にし、結果として、聴取者の聞き疲れを防止することもできる。
【００３４】
このような人為的な音像定位は、一般的に映像分野で知られるＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：拡張現実）として知られるものの音響版として、「音響ＡＲ」と称することができる。また、周囲音に対して仮想音（音声を含む）をオーバーレイする、とも考えることができる。なお、耳穴開放型のイヤピースを使うことでオーバーレイされる可能性のある音は下記の３種類である。
【００３５】
（Ａ）周囲からそのまま耳に入る自然な周囲音（音声を含む）。
（Ｂ）周囲音を一時的に記録・記憶した（バッファリングを含む）オーディオデータ（記録された自然な音声や音楽配信のデータを含む）を信号処理（ノイズ処理や増幅・減衰など含む）して得られた加工音（音声を含む）。
（Ｃ）基本的な音源データ（標準音声データやＰＣＭデータを含む）などに基づいて人工的に加工又は合成された仮想的な音（音声を含む）。
【００３６】
ここで、特に「仮想音（音声含む）」というときには、（Ｂ）と（Ｃ）を意味するものとし、「自然音（音声含む）」というときには、（Ａ）を意味するものとする。
【００３７】
（２）聴覚拡張可能な情報処理装置の実施例
聴覚拡張可能な情報処理装置の基本構造について説明する。情報処理装置は、主に音声情報を提示する機能を有する音声情報処理装置若しくはシステムであるが、後述するように３次元音響空間の中で聴取者の聴覚を拡張する機能を有するという観点から「聴覚拡張装置」としての側面を持つ。また、情報処理装置は、聴取者にとって必要な「音」を情報処理によって補うという観点から、補聴器としての機能を備えるという側面もある。
【００３８】
図１乃至図３には、本明細書で開示する技術を適用した情報処理装置１００の一例を示している。情報処理装置１００は、図示のように耳穴開放型イヤピースを用いており、この耳穴開放型イヤピースを装着する聴取者に対して再生音を提示する。後述するように、情報処理装置１００において、耳穴開放型イヤピースを介して再生音を人為的な位置に音像定位させることによって、聴取者の聴覚を拡張することができる。
【００３９】
図１は、情報処理装置１００の正面図であり、図２は、情報処理装置１００を左側から見た斜視図であり、図３は情報処理装置１００を聴取者の左耳に装着した様子を示している。なお、図１乃至図３では、聴取者の左耳に着用するように構成された耳穴開放型イヤピースを備えた情報処理装置１００を例示しているが、右耳装着用の耳穴開放型イヤピース（図示しない）はこれとは左右対称の形状に構成されていてもよい。また、図１乃至図３に示す情報処理装置１００には、外部装置（図示しない）と接続するケーブルの記載はないが、外部装置（図示しない）とプラグにより接続するケーブルを備えていてもよい。
【００４０】
図示の情報処理装置１００は、音響を発生する音響発生部１１０と、音響発生部１１０から発生される音響を一端から取り込む音導部１２０と、音導部１２０を他端付近で保持する保持部１３０を備えている。音導部１２０は、内径が１〜５ｍｍの中空の管材（チューブ）からなり、その両端はともに開放端である。音導部１２０の一端は、音響発生部１１０からの発生音の音響入力孔であり、他端はその音響出力孔になっている。なお、情報処理装置１００は、耳に負担をかけない程度の重さであることが好ましい。
【００４１】
図３に示すように、音導部１２０を他端付近で支持する保持部１３０は、好ましくは、耳甲介腔の底面に当接し、珠間切痕と係合することで、外耳道の入り口付近に取り付けられている。また、音導部１２０の一端と結合する音響発生部１１０は、耳介の裏側に配設されている。
【００４２】
保持部１３０は、外耳道の入り口付近（例えば、珠間切痕）と係合して、音導部１２０の他端の音響出力孔が外耳道の奥側を向くように、音導部１２０をその他端付近で支持する。保持部１３０は、ゴム状の弾力性のある部材であることが望ましく、音導部１２０を支え易いように音導部１２０外形と接合されるようにされている。保持部１３０と音導部１２０は一体的に形成されてもよいし、音導部１２０の他端に嵌め込んで接続されるように、保持部１３０を音導部１２０とは別体として分離できる部材（チップ（Ｔｉｐ）とも呼ばれる）として形成してもよい。音導部１２０の周囲に、別体として分離できる保持部１３０を設置したときに音導部１２０の周囲で保持部１３０が回転しないように、保持部１３０の内側に切り欠きを設け、他方音導部１２０の外部に突起を設けるなどして、双方が密着して結合することが望ましい。保持部１３０の部材の材質は、プラスチックや金属であってもよい。音導部１２０の少なくとも他端付近の外径は、耳穴の内径よりも小さくなるように形成されている。したがって、音導部１２０の他端が保持部１３０によって外耳道の入り口付近で保持されている状態でも、聴取者の耳穴を塞ぐことはない。すなわち、耳穴は開放されているので、情報処理装置１００は、「耳穴開放型」という特徴を担保することができる。音導部１２０の他端に、耳垢による汚染を防止する耳垢侵入防止部（図示しない）をさらに備えていてもよい。保持部１３０は、取り外し可能で、多様な耳の形状に対応できるように複数のサイズを用意してもよい。また、保持部１３０は、清掃により繰り返し使用し、あるいは汚染する度に新品と交換して使用するようにしてもよい。
【００４３】
また、保持部１３０は、音導部１２０を保持した状態でも、外耳道入口（耳穴）を外界に開放する開口部１３１を備えている。図１及び図２に示す例では、保持部１３０は、耳甲介腔の底面に当接し珠間切痕と係合できるように、下端に曲面形状を持つ中空の構造体であり、中空構造の空洞部の一部においてのみ管状の音導部１２０の外面の一部と連結するか、又は別体として形成される形成される保持部１３０が中空構造の空洞部の一部において管状の音導部１２０が貫通して挿入されるような構造を有することによって連結しているため、中空状構造体のそれ以外の部分はすべて開口部１３１となる。なお、保持部１３０は、中空状構造に限定されるものではなく、中空構造を備えていれば、音導部１２０の他端を支持できる任意の形状でよい。
【００４４】
管状の音導部１２０は、音響発生部１１０から発生される音響をその一端から管内に取り込むと、その空気振動を伝搬して、保持部１３０によって外耳道の入り口付近に保持された他端から外耳道に向けて放音して、鼓膜に伝える。
【００４５】
上述したように、音導部１２０の他端付近を保持する保持部１３０は、外耳道の入り口（耳穴）を外界に開放する開口部１３１を備えている。開口部１３１を通過した周囲音は、音導部１２０で閉塞していない外耳道入口を経由して鼓膜に伝わる。したがって、情報処理装置１００を装着している状態でも、聴取者は、耳穴が塞がれることはなく、音響発生部１１０から出力される音響を聴取しながら開口部１３１を介して周囲音を十分に聴取することができる。
【００４６】
また、情報処理装置１００は、耳穴を開放している一方、発生音（再生音）の外部への漏れを抑制することもできる。これは、音導部１２０の他端が外耳道の入り口付近で奥を向くように取り付けられ、発生音の空気振動を鼓膜の近くで放音するので、小さな音量の音でも鼓膜を十分に振動させることができ、小さな音量の場合には反射音も少ないため外耳道を通って外部に漏れ出す音も少なくすることができるためである。結果として、音響出力部１００の出力を小さくしても十分な音質を得ることができる。
【００４７】
また、音導部１２０の他端からの放音による空気振動の指向性も、音漏れの防止に寄与する。図４には、情報処理装置１００が聴取者の耳に音波を出力する様子を示している。音導部１２０の他端から外耳道の内部に向けて空気振動が放音することで、外耳道４００は、外耳道入り口４０１から始まり鼓膜４０２で終了する穴であり、一般的におよそ２５〜３０ｍｍの長さがある。外耳道３００は筒状をした閉空間である。このため、音響部１２０の他端から外耳道３００の奥に向かって放音された空気振動は、参照符号４１１で示すように、指向性をもって鼓膜４０２まで伝搬する。また、空気振動は外耳道４００内では音圧が上がることから、とりわけ低域の感度（ゲイン）が向上する。他方、外耳道４００の外側すなわち外界は開空間である。このため、音導部１２０の他端から外耳道４００の外に放音された空気振動は、参照符号４１２で示すように、外界では指向性がなく、急激に減衰する。
【００４８】
再び図１乃至図３を参照しながら説明する。管状の音導部１２０は、屈曲部１２３において耳穴の背面側から正面側に折り返す屈曲形状を有している。なお、図３に示す例では、音導部１２０が耳垂若しくは耳介の下端付近で折り返すようにして情報処理装置１００を耳に装着しているが、耳介の上端付近で折り返すようにして情報処理装置１００を耳に装着することが可能な構造を持つ耳穴開放型イヤピースとして構成してもよい。
【００４９】
また、音導部１２０は、外耳道の入り口付近に配設される他端と、屈曲部１２３の間に、懸吊垂下部１２４をさらに有している。懸吊垂下部１２４は、音導部１２０の他端が外耳道の奥に向けて音響信号を放出できるようにするとともに、保持部１３０を支点として音導部１２０が下向きに垂れ下がり、屈曲部１２３において耳の背面に音響発生部１１０を配置することで、全体構造として、情報処理装置１００が耳に安定して装着できるように構成されている。
【００５０】
以上を言い換えると、図１乃至図３に示した情報処理装置１００の基本構造の特徴を下記のようにまとめることができる。
【００５１】
●  情報処理装置１００は、聴取者の耳に取り付ける小型軽量のデバイスである。
●  情報処理装置１００は、音響発生部１１０が耳の背面に配設され、音導部１２０が耳の耳介背面から前面に折り返す折り返し構造（屈曲部１２３）を有する、イヤホン若しくはヘッドホンのような音響出力装置でもある。図１乃至図３に示した例では、音導部１２０の折り返し構造が耳の耳垂付近を通過し、耳穴付近に到達するようにして、情報処理装置１００は聴取者の耳に装着される。音導部１２０の折り返し部分は、耳垂の他端付近、あるいは耳垂のその他の一部を通過してもよい。また、音導部１２０の折り返し構造は、Ｕ字型構造であってもよい。
●  音導部１２０の一端は耳の背面に配設される音響発生部１１０と結合しており、また、音導部１２０の他端は開口端からなる音響出力部であり、保持部１３０により耳穴付近に保持される。音響発生部１１０は、耳の耳裏形状面に当接する部分において、少なくとも一部に曲面形状からなり耳裏形状面に適合し易い形状からなる接触部を備えていてもよい。外耳道入り口に配設される保持部１３０は、外耳道の入り口付近（例えば、珠間切痕）と係合した時に負担とならないように、ゴム状の弾力性のある部材で構成されることが好ましく、別体として形成してもよい。
●  音導部１２０の他端は、耳の外耳道の内径よりも小さい外径を有するように構成することができる。図１乃至図３に示した構成例では、音導部１２０の他端は、保持部１３０によって耳の外耳道入り口付近で保持されている。
●  保持部１３０は、耳の外耳道入り口付近（珠間切痕）と係合するとともに、音導部１２０の他端付近を固定することで、外耳道に深く挿入しないようにする機能を持つとともに、耳の珠間切痕と係合して、保持部１３０を支点として、音導部１２０の他端（開口からなる音響出力部）が外耳道の奥を向くように支持する機能も持つ。保持部１３０は、外耳道入り口を外界に開放する開口部１３１を備え、耳の外耳道の内径よりも小さい外径を有する他端を支持しても、耳穴が開放された状態を担保する。保持部１３０は、耳の珠間切痕と係合する際に、耳甲介腔の底面と接触することが好ましいが、耳甲介腔の底面と面（若しくは、広い接触面積）で接触する接触部を備えていてもよいし、耳甲介腔の底面形状になるように湾曲した接触部を備えていてもよい。なお、図１乃至図３に示した構成例では、保持部１３０は円環の形状をなし、開口の中央付近で音導部１２０の他端を支持しているが、保持部１３０の形状は任意である。
【００５２】
なお、音響発生部１１０は、ハウジング内に収まるサイズであれば、ダイナミック型スピーカの他、バランスド・アーマーチュア（Ｂａｌａｎｃｅｄ  Ａｒｍａｔｕｒｅ）型、圧電型、静電型のうちいずれか１つ、又は２以上の複合であってもよい。
【００５３】
１．２  機能構成例
図５及び図６には、情報処理装置１００本体における各機能モジュールの配置例を示している。また、図７には、情報処理装置１００の機能的構成例を示している。但し、各図は個別の構成例であり、装備する機能モジュールの種類や個数は完全には一致しない。また、各図は、紙面の都合上、一部の機能モジュールの図示を省略している場合もある。同じ機能モジュールについては、各図で同じ参照番号を付している。
【００５４】
コントローラ５５１は、コンピュータプログラムを実行するプロセッサであり、情報処理装置１００全体の動作を統括的に制御する。
【００５５】
バッテリ５０１は、図示しないバッテリコントローラによって制御され、情報処理装置１００内の各ハードウェアモジュールに対して電源を供給する。
【００５６】
無線モジュール５５３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）などの通信用ＲＦ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）回路を備えており、この種の通信規格に則って外部機器（例えば、情報処理装置１００と連携（若しくは、ペアリング）するスマートウォッチなどの情報端末や、無線アクセスポイントなど）と接続可能である。
【００５７】
メモリ５５２は、ＲОＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ  Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などで構成される。メモリ５５２内には、コントローラ５５１において実行するコンピュータプログラム（ソフトウェア）並びにプログラム実行に使用する各種データが記憶される。
【００５８】
例えば、メモリ５５２内には、無線接続に必要な情報（ＭＡＣ（Ｍｅｄｉａ  Ａｃｃｅｓｓ  Ｃｏｎｔｒｏｌ）アドレスなどの接続機器にアクセスするためのアドレス情報）、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続機器とのペアリング情報、インターネットなどネットワーク（又はクラウド）上で接続されているサーバ装置に関する接続に必要な情報（ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）アドレス、ＭＡＣアドレスなどのサーバ装置にアクセスするためのアドレス情報）、サーバ装置上で動作するパーソナルエージェントのＩＤ情報などとともに、これらの接続を支援するためのコンピュータプログラム（ソフトウェア）が格納されている。情報処理装置１００は、これらの情報を用いて、サーバ装置に接続し、サーバ装置との間で情報やデータの送受信を行うことにより、サーバ装置で動作するパーソナルエージェントなどのコンピュータプログラムに必要な情報処理を依頼して、情報処理装置１００で必要とされる処理結果としてのデータを受信することができる。サーバ装置から受信したデータは、周囲で認識された物体の情報（特性や形状）や音声データ（音源の音情報など）などを含む。
【００５９】
また、メモリ５５２内には、情報処理装置１００の各種モード情報、音源の音情報（音データ）、音情報の型、及び音情報の情報量（データサイズ）などのデータを各種ハードウェアやソフトウェアで利用するパラメータとして、又は一時的なバッファデータとして格納することができる。また、メモリ５５２内には、音響処理用のフィルタ及びセンサ処理用のフィルタのパラメータを格納することができる。なお、本実施形態では、情報処理装置１００は、ノイズキャンセルモード、音モード（音声モード、仮想音モード）、センシングモード（通常モード、白杖モード）などの各種モードを有するが、これらの詳細については後述に譲る。
【００６０】
センサ類５１０は、物体検出センサ５１１、深度センサ５１２、イメージセンサ５１３、タッチセンサ５１４など各種のセンサ素子で構成される。図示を省略するが、位置情報を取得するＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）又はＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｉｔｅ  Ｓｙｓｔｅｍ）、情報処理装置１００を着用した聴取者の頭部の移動を検出する加速度センサやジャイロセンサ、情報処理装置１００の周辺温度を検出する温度センサ、情報処理装置１００を着用した聴取者の生体情報（体温、血圧、脈拍など）を取得する生体センサ、気圧センサ、方位センサ、近接センサなどのうち少なくとも１つをセンサ類５１０に含めることもできる。センサ類５１０は、例えば図５に示すように、一体成形されたヘッドホン（若しくは、イヤホン）形状をした情報処理装置１００本体に分散して配置され、あるいは図６に示すように、信号ケーブル用のダクトを兼ねた下端部などの特定の部位に集めて配置してもよい。各センサ５１１、５１２、…の検出信号は、それぞれ対応するセンサコントローラ５２１、５２２、…で信号処理された後にデジタル検出信号として出力される。
【００６１】
（Ａ）オーディオ信号処理機能
情報処理装置１００は、さらに聴覚拡張のための基本的な音声サービス機能を提供するために、オーディオ信号処理機能として、オーディオコーデック部５３０、マイク５４１、エラーマイク５４２、マイク用アンプ５４３、スピーカ５４４、スピーカ用アンプ５４５など、一般的なオーディオヘッドホンが必要とする回路コンポーネントを備えている。
【００６２】
なお、オーディオコーデック部５３０は、ＡＤＣ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）５３１、ＤＡＣ（Ｄｉｇｉｔａｌ−ｔｏ−Ａｎａｌｏｇ  Ｃｏｎｖｅｒｔｅｒ）５３２、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）５３３、及びインターフェースコントローラ５３４などを含み、例えば単一の半導体チップとして構成される。
【００６３】
また、エラーマイク５４２は、ノイズキャンセル用の集音マイクである。これらの回路コンポーネントは、データバス並びに命令バスなどによって結合されている。図５及び図６では、マイク５４１並びにエラーマイク５４２をそれぞれ１つしか描いていないが、マイク５４１並びにエラーマイク５４２はそれぞれ２以上のマイクからなるマイクアレイであってもよい。また、エラーマイク５４２は、必ずしもエラー信号取得専用マイクと解される必要はなく、ノイズキャンセル用信号取得マイクであってもよい。
【００６４】
また、スピーカ用アンプ５４５から出力されるオーディオ信号は、基本的にはスピーカ５４４に入力され、スピーカ５４４により音響（物理振動）に変換される。スピーカ５４４は、音響発生部１１０と同じであってもよい。音響発生部１１０から出力される音響は、音導部１２０を経由して、聴取者の耳に伝達される。
【００６５】
ＤＳＰ５３３は、後述するように、マイクアレイにより取得した信号をビームフォーミング処理（所定の音源から複数のマイクへの音声到達時間のずれとマイク間の距離から所定の音源の位置（到来角）を推定する技術）する機能や、音源の音像定位を行うためのＨＲＴＦ（Ｈｅａｄ−Ｒｅｌａｔｅｄ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）に基づくフィルタ処理を行うことができる。ＨＲＴＦを使った音像定位の詳細については、後述に譲る。
【００６６】
ＤＳＰ５３３は、ノイズキャンセル用信号の生成のためのフィルタとして使用することもできる。又は、ＤＳＰ５３３の一部のハードウェアブロックが、ノイズキャンセル用信号を生成するようにしてもよいし、ソフトウェア処理によりフィルタのパラメータを調整し、ノイズキャンセル用信号を生成するようにしてもよい。あるいは、ノイズキャンセル用信号を生成するハードウェアブロックの動作をソフトウェアによって制御するようにしてもよい。
【００６７】
また、ＤＳＰ５３３は、複数のノイズキャンセルのモードを設定しておいてもよい。この場合、複数のフィルタのパラメータセットがメモリ５５２に格納されており、ＤＳＰ５３３は選択したモードに応じたパラメータセットをメモリ５５２から読み出してフィルタの係数設定することにより、ノイズキャンセルの特性を変化させるようにしてもよい。
【００６８】
ノイズキャンセルのモードを自動的に変更するようにしてもよい。例えば、マイク５４１や物体検出センサ５１１、深度センサ５１２、イメージセンサ５１３、その他のセンサ（位置情報を取得するＧＰＳ又はＧＮＳＳ、情報処理装置１００を着用した聴取者の頭部の移動を検出する加速度センサやジャイロセンサ、情報処理装置１００の周辺温度を検出する温度センサ、情報処理装置１００を着用した聴取者の生体情報（体温、血圧、脈拍など）を取得する生体センサ、気圧センサ、方位センサ、近接センサなど）や、聴取者による入力（音声、コマンド、ボタンによる状態の指示など）によって認識された環境の変化、又は聴取者の行動（歩く、走る、止まる、座る、電車に乗る、バスに乗る、自動車を運転する）などに応じて、ノイズキャンセルのモードを自動的に変更するようにしてもよい。
【００６９】
また、ノイズキャンセルのモードを聴取者などが手動により変更するようにしてもよい。例えば、情報処理装置１００の筐体に装備されたタッチセンサ５１４やボタンなどの機械的な操作子（図示しない）などを介して、モードを手動で選択できるようにしてもよい。あるいは、情報処理装置１００と連携する外部装置（例えば、情報処理装置１００とＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）などで無線接続するスマートフォンやその他の情報端末）のユーザインターフェースを用いた選択操作を介して、ノイズキャンセルのモードを設定するようにしてもよい。
【００７０】
ノイズキャンセル用の信号は、マイクによって収音され、マイク用アンプ５４３によって増幅されたオーディオ信号に対して逆相の信号である。このノイズキャンセル用の信号は、スピーカ５４４から出力される音声データ（音楽データ、マイクから収音された周囲音データをフィルタ処理したデータ、周囲音から分離された、又は無線モジュール５５３を介して送られた音声データなど）とともに、加算器（例えばＤＳＰ５３３内に装備される）によって合成されて、スピーカ用アンプ５４５によって増幅されて、スピーカ５４４から出力するように構成される。ノイズキャンセルを生成させるフィルタの特性を決めるパラメータは、あらかじめメモリ５５２の中に複数の既定のノイズキャンセルモードに関連付けて格納されたパラメータセットを情報処理装置１００のタッチセンサ５１４などのユーザインターフェースを用いてモード選択をすることに応じて設定してもよいし、情報処理装置１００と連携する外部機器（スマートフォンなど）のユーザインターフェースを用いて任意にあるいは規定のモードを選択することで設定してもよい（前述）。インターネットなどネットワーク（又はクラウド）上で接続されているサーバ装置からの情報に基づいてモードを設定するようにしてもよい。
【００７１】
ノイズキャンセル用の信号は、複数のエラーマイク５４２から収音した音声データの各々に対して生成することもできる。スピーカ５４４の近傍に配置されたマイク５４１が、エラーマイク５４２の役割を果たすこともある。エラーマイク５４２はＦＢ（Ｆｅｅｄｂａｃｋ）マイクとも称され、スピーカ５４４の近傍まで漏れこんだＦＢノイズキャンセル用の信号生成のデータパスにおいて用いられる。一方、一般的には、スピーカ５４４からは離れ、より外部環境の音を収音し易い位置に配置されるマイク５４１は、ＦＦ（Ｆｅｅｄｆｏｒｗａｒｄ）マイクとも称され、ＦＦノイズキャンセル信号生成のデータパスにおいて用いられる。
【００７２】
ＤＳＰ５３３は、無線を介して音声通話（電話やエージェントとのコミュニケーション）を行うための機能を備えることもできる。この種の音声通話は、ハードウェアで処理を行ってもよいし、ソフトウェアによって一部制御されるようにしてもよい。音声通話の際に、マイク５４１から収音されたノイズが送信先に送られることを防ぐために、信号のノイズを抑制するノイズサプレッション（又はリダクション）用のフィルタ回路をＤＳＰ５３３に内蔵することもできる。ＤＳＰ５３３は、音声データの周波数特性を変更させることが可能なイコライザ（Ｅｑｕａｌｉｚｅｒ）を内蔵することもできる。イコライザのパラメータは、あらかじめメモリ５５２の中に複数の既定のイコライザモードに関連付けて格納されたパラメータセットを情報処理装置１００のタッチセンサ５１４などのユーザインターフェースを用いてモード選択をすることに応じて設定してもよいし、情報処理装置１００と連携する外部機器（スマートフォンなど）のユーザインターフェースを用いて任意にあるいは規定のモードを選択することで設定してもよい。また、上述したノイズキャンセルモードの設定と同様に、センサ類５１０の検出結果に基づく状況認識や聴取者の行動認識に応じて自動でイコライザモードを設定するようにしてもよい。
【００７３】
マイク５４１によって収音された周囲音の信号をオーディオコーデック部５３０で解析してもよいが、オーディオコーデック部５３０ではなくコントローラ５５１に音声データを送信し、コントローラ５５１で音声データを処理することもできる。コントローラ５５１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、又はＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）若しくはＧＰＧＰＵ（Ｇｅｎｅｒａｌ  Ｐｕｒｐｏｓｅ  Ｇｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などと呼ばれる、メモリ５５２に格納したプログラムを読み出して実行させるプロセッサである。コントローラ５５１で動作するプログラムにおいて、上述した音声データの解析や、その他の処理を実行することができる。この際、オーディオコーデック部５３０内に搭載されたＬＰＦ（Ｌｏｗ−Ｐａｓｓ  Ｆｉｌｔｅｒ）やＨＰＦ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ）によって入力信号を特定の周波数帯で限定して、又は、サンプリングレートコンバータによってデータを修正して、信号解析用のサイドチェーンデータ（Ｓｉｄｅ  Ｃｈａｉｎ  Ｄａｔａ）として、さらに外部のコントローラ（図示しない）に送信するようにしてもよい。外部のコントローラは、ＭＰＵなどのプロセッサであってもよいし、無線又は有線通信経由で接続されるインターネット上のサーバ装置（処理装置やストレージ（メモリを含む））であってもよい。
【００７４】
（Ｂ）空間認識用センサ
情報処理装置１００は、着用する聴取者の視覚能力を補助するために、聴覚を拡張する装置でもある。情報処理装置１００は、聴覚拡張の１つとして、白杖機能を提供することができる。
【００７５】
情報処理装置１００は、白杖機能を提供するために、物体検出センサ５１１を内蔵する。物体検出センサ５１１として、 例えば、ミリ波レーダ、ＬＩＤＡＲ（Ｌａｓｅｒ  Ｉｍａｇｉｎｇ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）、赤外線センサ、超音波センサなどを用いることができる。また、ビームフォーミング技術と組み合わせた方法などを物体検出センサ５１１として用いることができる。物体検出センサ５１１は、能動的に信号を発信し、反射してくる信号を分析することで物体を検出することができる。例えば、ミリ波データを物体検出センサ５１１に用いることで、悪天候下（雨、雪、霧）や夜間などの環境下でも、車両のようにレーダ反射の強い物体と、人のようなレーダ反射が微弱な物体を同時に検出することができる。発信信号として帯域幅５ＧＨｚ帯の無線周波数帯域を用いることで、分解能の高いものでは１０ｃｍ未満の距離で物体検出が可能であり、方位分解能の高いものでは１度未満で検出が可能である。また、長距離にも対応でき数百ｍの距離にある物体も検出できる。
【００７６】
赤外線センサを物体検出センサ５１１に用いた場合には、情報処理装置１００の筐体が聴取者の耳のいずれかに装着されたとき、耳垂の下にはみ出した部分（例えば、図５７の点線部で例示されるような範囲）に配置され、ユーザ前方を照射できるようにされることが好ましい。超音波センサを物体検出センサ５１１に用いた場合には、情報処理装置１００の筐体が聴取者の耳のいずれかに装着されたとき、耳垂の下にはみ出した部分（例えば、図５７の点線部で例示されるような範囲）に聴取者の視線方向より下方を向くよう配置することで、聴取者が正面を見たときに、足元至近の前方の物体を検出できるように、情報処理装置１００の筐体内に配置する。例えば、情報処理装置１００を右耳に装着した聴取者が正面を見たとき、前方５ｍ以内の障害物を検出できるような位置に、所定の方向を向いて配置されるようにすることができる。また、加速度センサや角速度センサを利用して、頭部の姿勢を推定し、検出するエリアの補正を行うこともできる。
【００７７】
聴取者に対して周辺物体の検出情報を即時的に提供する必要がある。このため、物体検出センサ５１１の検出信号の処理は、情報処理装置１００に内蔵されたコントローラ５５１で行い、短遅延時間で聴取者に情報提供できるようにすることが好ましい。但し、即時的な情報以外の情報分析する目的で、無線又は有線通信経由で接続されるインターネット（又はクラウド）上のサーバ装置（処理装置やストレージ（メモリを含む））に物体検出センサ５１１の検出結果を他のセンサ情報とともに送信することで、空間認識や物体に認識といった処理をサーバ装置で行うようにしてもよい。
【００７８】
情報処理装置１００は、１つ以上のイメージセンサ５１３から取得した情報に基づいて物体認識を行うことができる。イメージセンサ５１３を用いれば、物体の色や形状（奥行を含む）といった情報を用いることができる。また、情報処理装置１００は、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）センサに代表される深度センサ５１２を備えることもできる。ＴＯＦセンサは、３０Ｈｚから６０Ｈｚ程度の周波数を持つ赤外線の反射光を赤外線カメラで読み取り、赤外光が往復した時間に基づいて反射物との距離を算出するセンサである。ユーザの動きが大きい場合、ＴＯＦセンサが取得するデータにブレが発生してしまう可能性がある。ブレを避けるために、ＴＯＦセンサにアクチュエータを使用したブレ補正や、信号処理によるブレ補正を行うことが望ましい。情報処理装置１００は、ＴＯＦセンサなどの深度センサ５１２を利用することで、３次元空間においてに、聴取者に対して物体がどのような配置に存在しているかの認識を補助することができる。
【００７９】
イメージセンサ５１３や深度センサ（例えば、ＴＯＦセンサ）５１２は、好ましくは、情報処理装置１００を耳に装着した聴取者の視線方向を捕捉するように配置することで、聴取者が見ているイメージを把握できるようにこれらのセンサ５１２、５１３を機能させることができる。イメージセンサ５１３や深度センサ５１２は、情報処理装置１００の筐体が聴取者の耳のいずれかに装着されたとき、耳垂の下にはみ出した部分（例えば、図５７の点線部で例示されるような範囲）に配置され、ユーザ前方を撮像できるようにされることが好ましい。
【００８０】
イメージセンサ５１３や深度センサ５１２からの検出情報を用いた解析処理や認識処理は、情報処理装置１００内のコントローラ５５１に内蔵されるＣＰＵ若しくはＭＰＵ、又はＧＰＵ若しくはＧＰＧＰＵを用いてローカルに実行するようにしてもよいし、又は、無線や有線通信によって接続されるインターネットなどネットワーク（又はクラウド上）上のサーバ装置（処理装置やストレージ（メモリを含む）を含む）にイメージ情報を送信することで、サーバ装置において物体認識処理や環境認識処理を行うようにしてもよい。後者の場合、情報処理装置１００は、認識された物体や環境に関する情報をサーバ装置から受信して、音声情報として聴取者に提示することができる。
【００８１】
また、情報処理装置１００は、２以上のマイクを搭載することで、マイクアレイとして機能させることができる。図８には、複数のマイクを装備するように構成された情報処理装置１００の構成例を示している。図示の情報処理装置１００は、マイク毎の複数のマイク用アンプ５４３−１、５４３−２、５４３−３、…が配設されるとともに、オーディオコーデック部５３０は、各マイクから収音される周囲音の信号（但し、マイク用アンプ５４３により増幅処理された後の信号）をＡＤ変換する個別のＡＤＣ５３１−１、５３１−２、５３１−３、…を備えている。そして、ＤＳＰ５３３は、各マイクから収音された周囲音を各ＡＤＣ５３１−１、５３１−２、５３１−３、…によってそれぞれ変換して得られたデジタルオーディオ信号を処理する。複数のマイクをマイクアレイとして機能させ、ビームフォーミング技術（前述）を用いることにより、音源の方向を認識するための音源分離を行うことができる。オーディオコーデック部５３０内のＤＳＰ５３３、又はコントローラ５５１は、複数のマイクから取得した各マイクチャネルを合成した後、マイクチャネル周辺の角度範囲毎（例えば、３６０度を４５度ずつに８等分した範囲）に音源分離を行った上で、音響分析を行うことができる。このような音響分析方法によれば、マイクアレイを空間認識センサとして使用することができる。
【００８２】
音源分離を行った上で、上述したノイズキャンセル信号と組み合わせることにより、又はフィルタ回路を用いて所定の帯域（例えば、音声、車両が発生するロードノイズ）以外のノイズ抑制を行うことにより、人の音声あるいは車両の接近音などを方位情報とともに認識することができる。そして、情報処理装置１００は、方位情報に基づいて聴取者に音声情報を提供することにより、聴取者本来の聴覚能力による危険回避行動を拡張して、聴取者の行動を支援することができる。なお、音響分析は、ＤＳＰ５３３やコントローラ５５１など情報処理装置１００内で実行するのではなく、無線モジュール５５３を介して各音声チャネルの信号をインターネット上のサーバ装置に送信して、サーバ装置側で音響分析を実施してもよい。
【００８３】
深度センサ５１２、イメージセンサ５１３、並びに２以上のマイク５４１からなるマイクアレイから取得した情報を用いることで、自己位置推定や環境マップを同時に生成することができる。このように、自己位置推定と環境マップ作成を同時に行う技術として、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）が知られている。上述した環境認識処理はＳＬＡＭ処理でもよく、認識された環境情報はＳＬＡＭ情報であってもよい。
【００８４】
認識された環境情報や物体情報により、空間の中で、どの方向に空きスペースがあるか、どのような物体が存在しているか、という情報を入手することができ、聴取者が視覚情報に頼らず移動できるように、仮想音（音声を含む）によって聴取者を支援する音情報を提供することが可能になる。聴取者が視覚的に不自由を抱えている場合には、特に有効である。
【００８５】
深度センサ５１２により、例えば、近い物体は明るい色で表現され、遠い物体は暗い色で表現される輝度画像を取得することができる。また、深度センサ５１２から取り出した点群データ情報をそのまま使うと情報量が多過ぎるため、例えばボクセルグリッドフィルタなどのフィルタ処理を行うことができる。図１９には、深度センサ５１２の検出結果に基づいて把握することができる空間認識の状態のイメージの一例を示している。但し、同図では、空間内に人（情報処理装置１００を着用する聴取者）のイメージをマッピングしている。図１９からも分かるように、深度センサ５１２により、物体のエッジなどの情報を取得することができる。
【００８６】
後述するように、情報処理装置１００は、イメージセンサ５１３や深度センサ５１２の検出結果に基づいて認識される３次元空間に仮想音源を定位させることによって、聴取者に３次元音響空間を提供する。３次元音響空間において、仮想音源を定位させるパラメータ（例えば、仮想音を移動させる始点と終点、移動経路、移動速度など）を変えることによって、聴取者にさまざまな印象を与えることができ、聴取者の行動支援にも活用することができる。
【００８７】
また、ディスプレイが搭載されたスマートフォンやアイウェア（ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ：仮想現実）グラス、ＡＲグラス、スマートグラスなどと呼ばれるもの）などが情報処理装置１００と連動する場合には、深度センサ５１２により取得された（図１９に示すような）空間認識のイメージを画像処理して、ディスプレイ上に表示することもできる。この場合、聴取者は、音響空間としてだけでなく、視覚的な空間としても、３次元空間を認識することができる。
【００８８】
（Ｃ）ユーザインターフェース機能
情報処理装置１００は、タッチセンサ５１４を筐体の表面又は側面に装備することにより、ユーザインターフェースを提供することができる。図９には、タッチセンサ５１４上で聴取者の指をスライドさせる様子を示している。また、図１０には、タッチセンサ５１４上で聴取者の指をタップさせる様子を示している。
【００８９】
情報処理装置１００は、タッチセンサ５１４上での指をスライドさせた量（距離）に応じて、音量の強弱、ノイズキャンセルの強弱、音声情報量の大小などを制御することができる。また、聴取者がタッチセンサ５１４上で指をタップするなどのオペレーションにより、電源や仮想音サービスのオン・オフ、モード切換などを情報処理装置１００に指示することもできる。これらのユーザインターフェースに対するオペレーションをタッチセンサ５１４で行う代わりに、音声制御によって行うことも可能である。マイク５４１から入力された聴取者の音声情報を、情報処理装置１００内のコントローラ５５１でリアルタイムに音声認識（Ｖｏｉｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ）してもよいし、又は、無線又は有線通信を介してネットワーク上のサーバ装置に送信して、実際に聴取者に対してサービスを提供するサーバ装置において、聴取者が希望するように音声情報量の制御を行うこともできる。
【００９０】
タッチセンサ５１４を使ったユーザインターフェースは、外部の機器を遠隔操作する場合においても有用である。ＩｏＴの技術によりインターネットなどネットワークで結合した各機器には、エージェント・ソフトウェア機能が備わるようになっている。このエージェント・ソフトウェアを用いて、タッチセンサ５１４に対して聴取者が行ったオペレーションに応じて、機器を遠隔的に制御することができる。例えば、エレベータについては、「上りエレベータ呼び出し」、「下りエレベータ呼び出し」のボタンによる指示と同じ指示をタッチセンサ５１４に対して行うことにより、エレベータの遠隔制御を行うことができる。仮想音を用いてこのような遠隔制御を実施することができるが、詳細については後述する。
【００９１】
また、情報処理装置１００がタッチインターフェースを装備する外部装置（スマートフォン）と連携する場合には、外部装置のタッチインターフェースを利用して、情報処理装置１００の各モード選択（ノイズキャンセルのモードや、イコライザのモードなど）や音情報量の制御を行うことができる。
【００９２】
図１１には、スマートフォン１１００が装備するユーザインターフェースを利用して情報処理装置１００の制御を行う例を示している。例えば、スマートフォン１１００の筐体側面に配設されたボタンなどの機械的な操作子を、情報処理装置１００の音響ＡＲアシスト機能（すなわち、本明細書の実施例で示されるさまざまな機能）をオン／オフするボタンとして一時的に利用することができる。また、スマートフォン１１００の画面を、情報処理装置１００側のモードのプリセット選択や、再生音源のオン／オフを学習・推定（推論）システムへフィードバックするためのボタンなどを配置したＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）として活用することができる。
【００９３】
情報処理装置１００は、内部状態を表示するＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）５５４を備えることができる。ＬＥＤ５５４は、青、赤、黄、白など単色のものでもよいし、複数の色を点灯できる機能を持つが、一度にいずれかの色を点灯させることができるものでもよい。また、ＬＥＤ５５４は、製造メーカのロゴや製品名を示すロゴの形状をしていてもよい。ＬＥＤ５５４の搭載位置は、周囲から見え易い位置に配置することが望ましい。例えば、筐体の表面上部や、側面が好ましいが、外部から見えるのであれば、これらに限られるものではない。ＬＥＤ５５４は、一般にコントローラ５５１の処理状態を示すために用いる。例えば、電源オンや特定の機能のオン・オフ状態を明示的に示す場合に用いることができる。
【００９４】
また、情報処理装置１００の後述するモードの表示においてＬＥＤ５５４は有用である。特に「白杖」モードは、視覚に不自由を抱えた聴取者が情報処理装置１００を利用する場合に好適な機能である。このため、ＬＥＤ５５４の表示機能の使用は、聴取者の周辺にいる人に対して、聴取者が「白杖」モードを必要とすることを、ＬＥＤ５５４の表示機能を利用して明確に示唆する目的において有用である。視覚機能において支援を必要とする聴取者が利用することを示す特定の色が標準規格や業界標準として定義されている場合には、そのような定義される色をＬＥＤ５５４で用いて表示することが望ましい。
【００９５】
また、情報処理装置１００において「白杖」モードが選択された場合、ＬＥＤ５５４の表示とともに（若しくは、ＬＥＤ５５４の表示に代えて）、白色などのランプ（図示しない）によって聴取者の足元前方などを照らすようにしてもよい。このようにすることで、周囲の人は、通常の（実物の）「白杖」を見て注意喚起するのと同様に、聴取者の足元前方の点灯を見つけることで、その聴取者が視覚的な支援を必要としていることを理解することができる。このランプは、プロジェクターのような映像を投影できる出力デバイスであってもよい。その場合、例えば、前面に杖があるかの如く映像を投影することにより、周囲の人に対して、どんな支援が必要か明示することができる。
【００９６】
（Ｄ）学習・推定（推論）機能
図１２には、ニューラルネットワークアクセラレータ５５５を搭載した情報処理装置１００の構成例を示している。ＣＰＵなどで構成されるコントローラ５５１とは別にニューラルネットワークアクセラレータ５５５を備えることで、センサ類５１０から入力されるセンサ情報と聴取者の行動などに基づく学習・推定処理を高速化することができる。但し、ニューラルネットワークアクセラレータ５５５は、ＣＰＵやＧＰＵとともに、単一のコントローラ５５１の中に、それぞれ機能的に異なるハードウェア処理機能ブロックとして混載することも可能である。また、ニューラルネットワークアクセラレータ５５５の機能の処理は、汎用のＧＰＧＰＵにおいて提供することができる。ＧＰＧＰＵは、上述したＧＰＵの代わりにコントローラに内蔵することもできるが、この場合には、ニューラルネットワークの機能と後述する音響空間レンダリングをともにＧＰＧＰＵ（又はＧＰＵ）で処理する必要があるため、別々のユニットとして装備する場合と比較すると、処理能力は限定されるが、一方で開発コストを抑えることができる。また、ニューラルネットワークアクセラレータ５５５は、学習の中でも特にニューラルネットワークを用いた学習の際に好適である。ここで、ニューラルネットワークを用いた学習という場合、いわゆるディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）と呼ばれる学習を含む。ディープラーニングにおいては、畳み込みニューラルネットワーク（Ｃｏｍｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：ＣＮＮ）、リカレントニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、オートエンコーダ（Ａｕｔｏｅｎｃｏｄｅｒ）、スタイル変換ネットワーク（Ｓｔｙｌｅ  Ｔｒａｎｓｆｅｒ  Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）など多様なニューラルネットワークを組み合わせることができる。また、学習には教師有り学習（Ｓｕｐｅｒｖｉｓｅｄ  Ｌｅａｒｎｉｎｇ）や、教師無し学習（Ｕｎｓｕｐｅｒｖｉｓｅｄ  Ｌｅａｒｎｉｎｇ）などがある。
【００９７】
図１３には、ニューラルネットワークアクセラレータ５５５の構成例を示している。図示のニューラルネットワークアクセラレータ５５５は、マルチプロセッサであり、多数（理想的には、数１００〜数１０００個）からなるマルチプロセッサの各ＰＥ（Ｐｒｏｃｅｓｓｉｎｇ  Ｅｌｅｍｅｎｔ）が、全体として、畳み込みニューラルネットワーク１３０１の各ノードを構成することができる。各ＰＥは、プログラムに従って並列に動作する。ＰＥ間の接続関係は、外部のプロセッサ（コントローラ５５１など）の指示により、動的に変形可能なようにされている。ニューラルネットワークアクセラレータ５５５内の各モジュールは、コントローラ５５１からの処理命令を受け取ると、メモリ５５２を介して処理を開始する。
【００９８】
センサ類５１０により検出されたセンサ情報や聴取者の行動などに関する入力データが、バスインターフェース１３０２を介してニューラルネットワークアクセラレータ５５５に入力される。入力データは、ＣＮＮ１３０１内の入力バッファに一時保持された後、各ＰＥに分配される。各ＰＥは、プログラムの実行に合わせ、入力バッファ経由で入力ベクトルを受信するとともに、重み処理部１３０３から重みベクトルを受信し、全体として大規模なＣＮＮの計算を行うとともに、重みの学習を行う。学習された各ＰＥの重みは、全体としてメモリ５５２に記憶され、次回の計算に利用することができる。
【００９９】
各ＰＥの処理結果が加算器１３０４で加算され、ニューラルネットワーク後処理部１３０５で正規化などの後処理計算も行うことができるようになっており、ニューラルネットワークアクセラレータ５５５は、学習フェーズ及び推定（推論）フェーズにも対応できる。ニューラルネットワーク後処理部１３０５の処理結果は、共有バッファ１３０６に一時保持される。そして、出力処理部１３０７は、共有バッファ１３０６内の処理済みデータを、バスインターフェース１３０２を介してニューラルネットワークアクセラレータ５５５の外部（コントローラ５５１）に出力する。
【０１００】
図１３に示すニューラルネットワーク後処理部１３０５のような専用のモジュールを用いることにより、ＣＰＵが実行するパーソナルエージェントなどのプログラムにおいて、必要とされるニューラルネットワークの学習計算や、推定（推論）計算に相当する操作を高速に実装することができる。
【０１０１】
情報処理装置１００内での学習は、聴取者が発する音声を理解する音声パーソナライゼーションのための学習に適している。聴取者は、初回の使用開始に当たり、学習モードとなるようにしてもよい。又は、情報処理装置１００と連携する外部装置（スマートフォンなど）のユーザインターフェースを介して、情報処理装置１００を学習モードにモード切り替えできるように構成してもよい。
【０１０２】
（Ｅ）音響空間レンダリング（Ａｃｃｏｕｓｔｉｃ  Ｓｐａｃｅ  Ｒｅｎｄｅｒｉｎｇ）機能
音響空間レンダリングは、壁などの音響反射体の持つ音響特性（形状や反射率など）や音の波動性を考慮した３次元音場計算に基づき、耳元での音圧波形を数値的に算出して可聴化する計算処理のことである。音響空間レンダリングには、ＳＰＵ（Ｓｏｕｎｄ  Ｆｉｅｌｄ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）など専用のプロセッサやＧＰＧＰＵ（又はＧＰＵ）を用いて処理することができる。これら処理性能の高いプロセッサを用いた音響空間レンダリングにより、後述する３次元音響空間における音源の移動しながらの音像定位など、高速な音響空間レンダリングをリアルタイムに処理することが可能になる。
【０１０３】
空間認識並びに音響空間生成などの計算は、すべての情報を処理すると、リアルタイム処理においては大規模になり得る。このため、情報処理装置１００では限られた計算処理のみを行い、残りの計算処理は、無線又は有線通信経由で接続されるインターネット上のサーバ装置（処理装置やストレージ（メモリを含む））により行うこともできる。情報処理装置１００が行う限られた計算処理の一例としては、限定的な狭い空間（例えば、前後左右に２ｍ程度、上下は地上３ｍ程度）の３次元空間における環境内に含まれるオブジェクト（壁や床など）を対象とし、これらの音源の移動の効果についての計算処理を挙げることができ、その限定的な環境外の計算処理についてはインターネット上のサーバ装置に委ねてもよい。
【０１０４】
１．３  拡張機能分離型の装置構成例
情報処理装置１００が装備する機能の一部を、機能拡張部として、イヤピースなどの形態からなる情報処理装置１００本体から分離して、本体部と組み合わせて１つの聴覚拡張システムを構成する形態であってもよい。この場合、イヤピースを兼ねる本体部と機能拡張部は、制御情報やデータの通信、並びに電源供給のために、接続端子を有していてもよい。
【０１０５】
図１４及び図１５には、情報処理装置１００の本体部１４０１と機能拡張部１４０２からなる聴覚拡張システム１４００の構成例を示している。図１４は、本体部１４０１と機能拡張部１４０２が分離した状態を示し、図１５は、本体部１４０１と機能拡張部１４０２が結合した状態を示している。但し、各機能モジュールの配置は、図１４及び図１５に示した例に限定されるものではない。多くの機能モジュールは、本体部１４０１と機能拡張部１４０２のいずれにも配置することが可能であり、設計の都合などに応じて便宜的に本体部１４０１と機能拡張部１４０２のいずれか一方に配置することができる。図１４及び図１５に示す例では、ＬＥＤ５５４は本体部１４０１側に配置されているが、本体部１４０１又は機能拡張部１４０２のうち少なくとも一方に配置して、情報処理装置１００の内部状態を発光色や発光パターンなどにより表現するようにしてもよい。
【０１０６】
本体部１４０１は接続端子１４１１を備えるとともに、機能拡張部１４０２は接続端子１４１１と着脱可能な接続端子１４１２を備えている。本体部１４０１と機能拡張部１４０２は、接続端子１４１１及び１４１２を経由して、それぞれの有するコンポーネント間のデータ（コマンド含む）通信及び電源の供給を行うことができる。なお、接続端子１４１１と接続端子１４１２間をケーブルで接続したり、無線通信より接続したりすることにより同様の機能を提供するという実施形態も想定される。
【０１０７】
図１４及び図１５ではバッテリを図示していないが、バッテリは本体部１４０１と機能拡張部１４０２のいずれにも配置することができる。本体部１４０１と機能拡張部１４０２の双方にバッテリを配置してもよく、この場合、一方のバッテリを主電源とし、他方のバッテリを補助電源とし使用してもよい。また、一方のバッテリ残量が減少した場合に他方のバッテリを主電源に切り替えるなど、バッテリの制御機能を持つバッテリコントローラ（図示しない）をさらに備えていてもよい。
【０１０８】
図１６には、情報処理装置１００の本体部１４０１と機能拡張部１４０２からなる聴覚拡張システム１４００の機能構成例を示している。本体部１４０１と機能拡張部１４０２間は、互いのＩＯ（入出力）インターフェース１６１１及び１６１２を介して相互接続されている。本体部１４０１と機能拡張部１４０２は、ＩＯインターフェース１６１１及び１６１２を経由して、それぞれの有するコンポーネント間のデータ（コマンド含む）通信及び電源の供給を行うことができる。
【０１０９】
図１６に示す構成例では、バッテリ５０１並びに無線モジュール５５３は機能拡張部１４０２側に配置されている。また、図１６に示す構成例では、センサ類５１０のうち物体検出センサ５１１並びにタッチセンサ５１４が本体部１４０１に配置され、深度センサ５１２並びにイメージセンサ５１３は機能拡張部１４０２側に配置される。但し、センサ類５１０に含まれる各センサ素子を本体部１４０１又は機能拡張部１４０２のいずれに搭載するかについては、さまざまな組み合わせが考えられる（勿論、すべてのセンサ素子を機能拡張部１４０２側に搭載することも可能である）。また、本体部１４０１側のコントローラ５５１及びメモリ５５２とは別に、機能拡張部１４０２側にもコントローラ１６０１及びメモリ１６０２が配置されている。コントローラ１６０１は、メモリ１６０２から読み出したプログラムを実行して、機能拡張部１４０２側の処理や、本体部１４０１との通信処理などを統括的に制御するようになっている。
【０１１０】
機能拡張部１４０２は、図１４及び図１５に示したような、イヤピースの形態をした情報処理装置１００の筐体の一部を分割したような形状には限定されない。例えば、スマートフォンやスマートウォッチ、ＡＲの機能を搭載したアイウェア、ネックバンド、ショルダーウェア、首下げ型デバイス、ベスト型などのウェアラブルデバイス、又はリングあるいは杖などの形態をした外部装置の筐体内に、機能拡張部１４０２を構成する機能モジュールの一部又は全部を配置するようにしてもよい。また、機能拡張部１４０２としての外部装置に、情報処理装置１００の機能選択、モード選択、音量調節などの機能を装備してもよい。
【０１１１】
ディスプレイが搭載されたスマートフォンやアイウェアなどを機能拡張部１４０１として用いた場合には、情報装置１００の本体部１４０１から機能拡張部１４０１に対して情報が提供できるようにした場合は、本体部１４０１によって認識された物体情報や環境情報を、機能拡張部１４０１のディスプレイ上に表示することもできる。
【０１１２】
１．４  聴覚拡張用空間認識機能
本実施形態に係る情報処理装置１００の空間拡張機能は、各種センサ素子からなるセンサ類５１０からのセンサ情報を分析することにより認識される環境情報を３次元音響空間にマッピングして、音響データや音声データを３次元音響空間内で表現することによって聴取者に提供される。情報処理装置１００は、聴覚拡張のための基本的な音声サービス機能として音像定位を行うために、ＨＲＴＦデータベースをメモリ５５２内に保持し、オーディオコーデック部５３０外のコントローラを介して、ＨＲＴＦデータベースに内蔵された適切なＨＲＴＦをＤＳＰ５３３のフィルタ特性として設定することにより、音像定位を可能にする。コントローラ５５１を用いて音像位置制御を行うことにより、聴取者に対し、所定の音響空間の中で任意の位置に所定の音源を設定し、音像定位を実現することができる。
【０１１３】
図１７には、ＨＲＴＦを用いて音像定位を実現するシステム１７００の一例を示している。同システム１７００において、音像定位を実現する仕組みについて説明する。
【０１１４】
ＨＲＴＦの畳み込みはフィルタ１７１５によって行われる。フィルタ１７１５によって音源（図示しない）の位置から聴取者の耳までの伝達特性を畳み込むことで、任意の場所への音像定位を実現させることができる。情報処理装置１００のスピーカ５４４から聴取者に提示された音は、ＨＲＴＦを畳み込まない場合は聴取者の頭内で聴こえるが、ＨＲＴＦを畳み込むことによって仮想的な音として聴取者の頭外で聴こえる。したがって、情報処理装置１００のスピーカ５４４から提示された仮想音（音声を含む）は、周囲音とともに頭外の音として聴こえるので、聴取者は違和感なく周囲音と仮想音を聴くことができる。なお、ＨＲＴＦのフィルタ１７１５は、ＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタにより実現することができ、また、周波数軸上の演算や、ＩＩＲ（Ｉｎｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）の組み合わせで近似したフィルタでも、同様に音像定位の実現が可能である。
【０１１５】
ＨＲＴＦのフィルタ１７１５により音源の音へ畳み込みを行うことで、聴取者は、音源の方向感と音源までのある程度の距離を認識して、音像定位ができる。図１７に示すシステム１７００では、再生時の周囲環境に対して音源を音像としてなじませるため、さらに音響環境伝達関数をフィルタ１７１８によって畳み込む。音響環境伝達関数には、主に反射音、残響の情報が含まれており、理想的には、実際の再生環境を想定して、又は実際の再生環境に近い環境を想定して、適切な２点間（例えば仮想スピーカの位置と耳の位置との２点間）の伝達関数（インパルス応答）などを使うことが望ましい。
【０１１６】
音像定位の位置に応じたフィルタ１７１５用のフィルタ係数が、音像位置別ＨＲＴＦデータベース１７２０に蓄積されている。また、音響環境の種類に応じたフィルタ１７１８用のフィルタ係数が、周囲音響環境データベース１７２１に蓄積されている。聴取者は、例えばユーザインターフェース（ＵＩ）１７２２を介して、音像定位の位置や音響環境の種類について選択することができる。ユーザインターフェース１７２２は、情報処理装置１００の本体に設けられたスイッチなどの機械的な操作子や、音響出力装置１００と連携する外部装置（スマートフォンなど）の画面（タッチパネル）などが挙げられる。あるいは、マイク５４１を介した音声入力により音像定位の位置や音響環境の種類を選択できるようにしてもよい。
【０１１７】
音像位置制御部１７２４は、スピーカ５４４から出力する音源の音像位置を制御する。この際、音像位置制御部１７２４は、聴取者によるユーザインターフェース１７２２の操作などに応じて、最適なフィルタ係数を音像位置別ＨＲＴＦデータベース１７２０から選択して、フィルタ１７１５に設定する。また、音響環境制御部１７２５は、スピーカ５４４から出力する音源による音の音響を制御する。この際、音響環境制御部１７２５は、聴取者によるユーザインターフェース１７２２の操作などに応じて、所望の音響環境に応じた最適なフィルタ係数を周囲音響環境データベース１７２１から選択してフィルタ１７１８に設定する。
【０１１８】
例えば、個人の聴取感覚の差に応じて、あるいは使用する状況毎に応じて、音源の音像定位をさせたい位置が異なることがあるので、聴取者がユーザインターフェース１７２２を介して音像定位の位置を操作して選択できるようにする。これにより、聴取者にとって利便性の高いシステム１７００を構築することができる。また、ＨＲＴＦについては個人の耳の形状により個人差があることが知られている。このため、複数の耳形状に対応するＨＲＴＦを、音像位置別ＨＲＴＦデータベース１７２０に蓄積しておき、聴取者に選択させることで、個人差に応じた最適なＨＲＴＦを選択することもできる。また、聴取者毎に個別に測定した個人用のＨＲＴＦを音像位置別ＨＲＴＦデータベース１７２０に蓄積しておき、聴取者は、自分専用の音像位置別ＨＲＴＦを選択できるようにしてもよい。
【０１１９】
音響環境についても、聴取者がユーザインターフェース１７２２を介して最適な（若しくは、所望する）音響環境を選択できるようにする。これにより、スピーカ５４４から出力する音源の音を、所望の音響環境に設定することができる。例えば、コンサート会場、映画館などの音響環境下で、スピーカ５４４からの音源の音を聴くことも可能である。
【０１２０】
さらに、聴取者の頭部の動きと連動して、音像位置が実空間に対して固定されるような処理を行うようにしてもよい。図１７に示すシステム１７００では、センサ類５１０に含まれるＧＰＳや加速度センサ、ジャイロセンサなどで聴取者の頭の動きを検出し、音像位置制御部１７２４が、頭の動きに応じて音像位置別ＨＲＴＦデータベース１７２０から最適なフィルタを自動選択して、フィルタ１７１５のフィルタ係数を更新するように構成されている。なお、聴取者がユーザインターフェース１７２２を介して音源の音に対して音像定位をさせたい位置を指定した後に、頭の動きに追従させて音像定位の位置を変化させることが好ましい。これにより、例えば聴取者の頭の向きが変化した場合であっても、音像の位置は空間上で一定となるようにＨＲＴＦを制御することができる。
【０１２１】
なお、音像位置制御部１７２４や音響環境制御部１７２５は、コントローラ５５１上で実行するプログラムによって実現されるソフトウェアモジュールであっても、あるいは専用のハードウェアモジュールであってもよい。また、音像位置別ＨＲＴＦデータベース１７２０や周囲音響環境データベース１７２１は、メモリ５５２に格納されていてもよいし、無線モジュール５５３経由でアクセス可能な外部のデータベースであってもよい。
【０１２２】
情報処理装置１００で提示する音源の音を、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）、又は移動通信規格（ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ−Ａｄｖａｎｃｅｄ、５Ｇなど）のような無線システムを経由して、外部から供給するようにしてもよい。音源の音としては、音楽の音（音声を含む）、インターネットなどネットワーク（又はクラウド）上のサーバ装置１７５０が人工知能の機能によって自動的に生成若しくは再生する音声応答の音声、無線ネットワークで接続したオペレータ（又は指示者、声優、コーチなど）の声をマイク１７２６で収音して得られた音声などを挙げることができる（マイク１７２６で収音して得られる音声は、あらかじめ収音して録画されたものを再生した音声情報を含む）。このうち、サーバ装置１７５０が生成又は再生する音声には、例えばサーバ装置１７５０のコントローラ１７２７によるコンテンツ自動読み上げ、音声翻訳、データ検索（情報検索、地図情報に基づくガイダンスなどが含まれる。これらの音声のうちいずれかが選択部１７２８による切り換えで選択されて、サーバ装置１７５０側の無線通信部１７３０から情報処理装置１００の無線モジュール５５３へ送られる。そして、無線モジュール５５３が受信した音声はフィルタ１７１５へ送られ、上述したように、最適な（若しくは、聴取者が所望する）場所への音像定位を実現し、さらに再生時の周囲環境に対して音源を音像としてなじませるための処理が施された後、スピーカ５４４から出力される。
【０１２３】
図１７に示したシステム１７００を、例えば、歩行者、視覚に障害（Ｖｉｓｕａｌｌｙ  Ｉｍｐａｉｒｅｄ）のある人、スポーツプレーヤ、自動車などのドライバ、又は講演中の講演者に対してアドバイスを行うシステムに適用した場合、歩行者などは、アドバイスを聞きながら周囲の音を十分聞くことができるため、安全に歩行などでき、また、スマートスピーカのように不特的多数に対して公共の場でアドバイス音声を発生するものではないため、プライバシーにも配慮し個人的なアドバイスを聴くことができる。また、図１７に示したシステム１７００は、後述するパーソナルエージェントの人工知能の機能を用い、他人からの問い合わせに対して、聴取者に代わって自動応答することもできる。
【０１２４】
図１７に示したシステム１７００を、複数個の物体を音源として同時再生するように拡張応用することもできる。図１８には、図１７に示したシステム１７００を利用して、博物館での複数個の仮想音源を提示する展示物案内システムの動作例を示している。情報処理装置１００は、センサ類５１０に含まれるＧＰＳや加速度センサ、ジャイロセンサが検出したセンサ情報を解析して、サーバ装置１７５０から音声情報を取得する。サーバ装置１７５０は、例えば、ＧＰＳで取得した位置情報に基づいて、聴取者が現在いる展示部屋内の各展示物などの物体からを音源とする音声（「砂漠の風の音」、「ファラオの叫ぶ声」、「ラクダが歩いて横切る音」、「ナレータによる順路案内」）や、管内のアナウンスなどの案内情報などのコンテンツを自動読み上げして、情報処理装置１００に送信する。そして、聴取者が、石造などの展示物の正面に立つと、音像位置制御部１７２４が音源の音像位置が該当する展示物と一致し且つ聴取者の頭部の動きと連動するように制御し、また、音響環境制御部１７２５が展示部屋の音響環境に設定して、「砂漠の風の音」、「ファラオの叫ぶ声」、「ラクダが歩いて横切る音」、「ナレータによる順路案内」などの仮想音を聴取者に提示する。
【０１２５】
同じ展示会場にいる複数の見学者にこのシステム１７００を適用すれば、各見学者が同じ音像位置に定位された仮想音を同時に体感することになり、複数人数で仮想的な音像の存在を共有し、実世界と仮想音源との融合を楽しむことが可能となる。もちろん、各見学者はそれぞれ自分の情報処理装置１００から提示される仮想音しか聴こえないので、各情報処理装置１００は着用した各聴取者に合わせた言語での再生が可能である。したがって、会場内に設置されたスピーカから一斉に音声を発する場合と異なり、言語の異なる見学者がそれぞれ楽しめることは言うまでもない。
【０１２６】
１．５  仮想音源の識別
ＨＲＴＦに基づいて３次元音響空間上に仮想音（音声を含む）の音源を音像定位して再生することができる。本実施形態に係る情報処理装置１００においては、耳穴開放型のイヤピースを通じて現実の周囲音を聞きながら人工音を聞くことができるが、このとき、聴取者は、現実の周囲音又は仮想音のいずれを聴いているのかの区別ができず、時として不便を生じることがある。
【０１２７】
仮想音源を定位させるパラメータを工夫することで、聴取者が周囲音と仮想音を識別することを可能にすることができる。仮想音源の情報は、メモリ５５２中のデータベースに仮想音ＩＤに関連付けて登録されている。仮想音源としては、ＰＣＭ音源として記録されたものを登録してもよい。この場合、ＰＣＭ音源のサイズが小さければ、一度再生してキャッシュメモリに残っている音源であれば、ＩＤを指定するだけで高速に再生処理することが可能になる。また、頻繁に再生される音は、統計情報を基にキャッシュメモリに保存しておくことができる。
【０１２８】
仮想音源に関するデータベースは、情報処理装置１００内のメモリ５５２に格納されていてもよいし、インターネットなどのネットワーク（又はクラウド）上のサーバ装置がアクセスできるＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）などのストレージやメモリで構成される仮想記憶装置に格納されていてもよい。
【０１２９】
情報処理装置１００において、３次元空間に仮想音を定位させる際、例えば、まず当該装置１００を装着した聴取者の頭内に仮想音を一度定位させた後に、対象の物体に定位させるように仮想音を移動させる（憑依させる）。このような仮想音の提示方法によれば、聴取者に、その音が、現実の音ではなく仮想音源であることを認識させることができる。また、情報処理装置１００の耳穴開放型のイヤピースの開放部を通過して鼓膜へ到達する音の特性と識別可能な特性を持つように周波数特性などを変更し、信号処理を行うことにより仮想音を生成することができる。
【０１３０】
同様に、実世界には実在しない、又は、実在しても非常にまれな音源の移動を３次元音響空間上で生成することにより、聴取者に、その音が仮想音源であることを認識させることができる。仮想音の音源移動に関するいくつかの例を以下に示す。
【０１３１】
−  音源が遠方から急激に聴取者に近づくように移動しながら音像定位する。
−  音源が３次元音響空間で再現される壁の中から出てくるように音像定位する。
−  音源が３次元音響空間で再現される床の下から浮き出てくるように音像定位する。
−  音源が３次元音響空間で再現される空（天井）方向から降ってくるように音像定位する。
−  音像が３次元音響空間中を螺旋移動するように音像定位する。
−  音像が３次元音響空間中でボールのようにバウンドしながら音像定位する。
−  ３次元音響空間中で、聴取者の身体の一部又は部位である手の先、足の先などから音像が伸びていく、あるいは手の先、足の先に収束するように音像定位する。
【０１３２】
３次元音響空間において、仮想音源を定位させるパラメータ（例えば、仮想音源を定位させる物体の種類、仮想音を移動させる始点と終点、移動経路、移動速度など）を変えることによって、聴取者にさまざまな印象を与えることができ、聴取者へのメッセージや案内、行動支援などにも活用することができる。以下では、仮想音源を定位させるパラメータにより聴取者に意図的に印象を与えるいくつかの具体例について説明する。
【０１３３】
（Ａ）物への憑依（１）
頭内で音像定位していた音が、頭から離れ、対象の物体（ドアノブ）へ定位が移動していく。図２０には、深度センサ５１２による検出結果に基づく３次元音響空間において、聴取者の頭内で音像定位していた音が、頭から離れてドアノブ２００２に向かって移動していく様子を示している。同図中、仮想音源が移動する経路を参照番号２００１で示している。図２０からも分かるように、音が、物に憑依していくような印象を聴取者に与えることができる。実体を持った現実の物体はこのような動きをすることはあり得ないため、聴取者は、経路２００１上を移動する音源が仮想音源であることが認識することができる。
【０１３４】
（Ｂ）物への憑依（２）
上記の（Ａ）と同様に、仮想音源が特定の物体に憑依する例である。但し、図２１に示すように、仮想音源は、聴取者の頭内からドアノブ２１０２に向かうのではなく、参照番号２１０１で移動経路を示すように、聴取者の身体の回りを旋回してから、ドアノブ２１０２に張り付くように音像定位する。なお、図２１に示す例では、仮想音源を身体回りに１回だけ旋回させているが、複数回旋回させたり、旋回させる半径を変えたりすることによって、さらに別の印象を聴取者に与えることもできる。
【０１３５】
（Ｃ）上方からの接近
図２２には、深度センサ５１２による検出結果に基づく３次元音響空間において、仮想音源が天井（空）から降ってくる例を示している。仮想音源は、聴取者が居る部屋の天井を突き抜けると、参照番号２２０１で示す経路で下降して、ドアノブ２２０２に到達する。実態を持った現実の物体で、このような動きをすることはめったにないので、聴取者は、参照番号２２０１で示す経路上を移動する音源が仮想音源であることを認識できる。さらに、仮想音源が天井を突き抜けて出てくる際に、その音量を変化（大きく、又は小さく）させたり、又は、天井を突き抜けた音のような音響効果をかけたりすることで、聴取者に、現実ではなく仮想音であることをより強く認識させることができる。
【０１３６】
（Ｄ）壁や床から物への憑依
図２３には、深度センサ５１２による検出結果に基づく３次元音響空間において、仮想音源が壁から湧いて、ドアノブ２３０２に憑依して音像定位する例を示している。仮想音源は、聴取者が居る部屋の壁から湧き出てくると、参照番号２３０１で示す経路で進行して、ドアノブ２３０２に到達する。なお、仮想音源は、壁ではなく床から湧いてくるのでもよい。実態を持った現実の物体で、このような動きをすることはめったにないので、聴取者は、参照番号２３０１で示す経路上を移動する音源が仮想音源であることを認識できる。さらに、仮想音源が壁から湧き出てくる際に音響効果をかけたりすることで、聴取者に、現実ではなく仮想音であることをより強く認識させることができる。
【０１３７】
（Ｅ）バウンシングボール
図２４には、深度センサ５１２による検出結果に基づく３次元音響空間において、仮想音源がボールのようにバウンドして動きながら音像定位する例を示している。図２４に示す例では、仮想音源は、参照番号２４０１で経路を示すように、階段２４０２の各ステップでバウンドしながら、降りていく。ＧＰＵ（又は、ＧＰＧＰＵ）の機能を使って、仮想音源の移動を物理演算（シミュレーション）することにより、３次元音響空間での仮想音源の聴こえ方を音響空間レンダリングすることができる。仮想音源は常に音を発していてもよいし、地面と接触する度に一定の間隔で音を出してもよい。各ステップでバウンドする度に、仮想音源の高さや距離が変化していくので、聴取者は、仮想音源が段差又は高低差のある路面上を下っていることをイメージすることができる。また、これほど自由に動ける物体は、現実世界にめったにないので、聴取者は、参照番号２４０１で示す経路上を移動する音源が仮想音源であることを認識できる。
【０１３８】
（Ｆ）手摺への音像定位
特に視覚的に不自由な人が階段を昇降する際、手摺は重要な役割を持つ。よって、手摺の位置を認識し易くさせることは重要である。手摺は階段とともに継続して存在するため、聴取者には継続的に仮想音源を現実の音と区別して意識させなければならない。
【０１３９】
図２５には、情報処理装置１００が、深度センサ５１２による検出結果に基づく３次元音響空間において、聴取者が階段２５０２に近づいたのを認識して、手摺２５０３に仮想音源を定位させる様子を示している。図２５に示す例では、手摺りを掴むことが想定される聴取者の左手に音像定位していた仮想音源が、左手から離れて、参照番号２５０１で示す経路で、手摺２５０３に向かって移動していく。仮想音が手摺２５０３に到達したこと（憑依したこと）を表現する音源は、単純なポーンという音でもよい。但し、定位したことを聴取者が理解し易くする（若しくは、注意喚起する）ために、１ｋＨｚ〜１０ｋＨｚ周辺の高い音域を含むか騒音であることが望ましい。
【０１４０】
聴取者が階段２５０２を昇るとの判断に足りる距離並びに身体の姿勢などから、階段２５０２に近づいたのを認識すると、手摺２５０３にも仮想音源を音像定位させる。そして、聴取者の足（左足）に音像定位していた仮想音源が、足先から離れて、参照番号２５０４で示す経路で、階段２５０２の一段目のステップに定位する。聴取者が階段２５０２の一段目を昇り始めた以降は、音源は消滅させてもよい。
【０１４１】
また、聴取者が階段２５０２を昇り続けて踊り場２５０５に到達したときには、聴取者の足に定位させた仮想音源を足先から離して、壁の方向に移動させながら音像定位するようにして、折り返す階段側へと誘導するようにしてもよい。
【０１４２】
（Ｇ）エスカレータに音像定位
情報処理装置１００は、深度センサ５１２による検出結果に基づく３次元音響空間において、聴取者がエスカレータに近づいたことを認識すると、聴取者の足に音像定位させていた仮想音源を、足先から離して、エスカレータの入口ステップの方向に移動させながら音像定位させる。そして、聴取者が所定の位置に近づくと、仮想音源をエスカレータの入口（第１ステップ）に固定して音像定位させる。このようにすることで、聴取者は、移動する仮想音源に導かれながら（すなわち、仮想音源の方向に足先を移動させながら）、エスカレータに容易に乗ることができるようになる。また、聴取者の手に音像定位していた仮想音源を、その手から離して、手摺に向かって移動させることによって、聴取者は、移動する仮想音源に導かれながら（すなわち、仮想音源の方向に手を移動させながら）、エスカレータの手摺を容易に掴むことができるようになる。
【０１４３】
その後、エスカレータの出口付近では、手摺の傾斜がなくなり水平になり、ステップ間の段差が小さくなることから、聴取者は、エスカレータの出口に近づいたことを認識することができる。また、エスカレータの出口付近では、エスカレータのステップ（若しくは、聴取者の足元）に固定していた仮想音源を、ステップ若しくは足先から離して、エスカレータの出口に向かって移動させながら音像定位させたり、手摺に固定していた仮想音源を前方に向かって解き放しながら音像定位させたりすることによって、聴取者にエスカレータから降りた以降の動作を指示することができる。
【０１４４】
（Ｈ）エレベータに音像定位
情報処理装置１００は、深度センサ５１２による検出結果に基づく３次元音響空間において、聴取者がエレベータホールに入ったことを認識すると、エレベータの扉位置付近に仮想音源を定位させる。そのエレベータが上昇する場合には、エレベータの扉に沿って地面から上方向に移動する仮想音源を提示する。また、そのエレベータが下降する場合には、エレベータの扉に沿って天井から下方向に移動する仮想音源を提示する。
【０１４５】
後述するように、情報処理装置１００は、モードを組み合わせて音声又はセンシングモードにおける仮想音情報のサービスを提供できる。音声モードのサービスとして、聴取者が階段に近づき、又はエスカレータ若しくはエレベータが到着に近づいたときに、音声で建物の階数の情報（例えば、「４階紳士服売り場です」などの案内情報）を提供するなどしてもよい。
【０１４６】
１．６  提供情報レベル制御機能
情報処理装置１００は、これを使用する聴取者のニーズなどに応じて、音情報（仮想音を（音声を含む）によって提供される情報）として提供する情報の量を制御することができる。仮想的に生成される音声（仮想音声）の場合、例えば、あまり多くの音声情報を一度に提供されると聴取者が混乱するような状況では、提供する音声情報全体の要約のレベルをサーバ装置１７５０で制御することで、情報処理装置１００は、限定された情報のみを聴取者に提供することができる。また、情報処理装置１００は、音声メッセージからなる音声情報も提供することもできるが、聴取者が仮想音声によるメッセージを希望しないときは、「ポーン」といった擬音語のような仮想音源が発する単音を用いて仮想音による情報を提示することもできる。また、その時周囲で聞こえる音（例えば、風の音や自動車の接近音）を使って仮想的な音を合成することで生成した仮想音によって情報を提示することもできる。
【０１４７】
情報処理装置１００が発する仮想音源としては、例えば、単音、複数音の組み合わせ（単純音階やメロディなどだけではなく、人工的に合成して造られたキャラクタの音声も含む）が挙げられる。また、情報処理装置１００は、これらの音データの情報を音像定位と組み合わせることで、仮想音源が移動するような表現形式で提供することもできる。また、情報処理装置１００は、音響空間レンダリングを行うことにより、ドップラー効果などを用いて、聴取者に物が近づいている状態や、逆に聴取者から物が離れていく状態を含む、特殊な効果を利用した情報も提供することができる。さまざまな仮想音源を用いた情報処理方法並びにそれらの効果の詳細については、後述する。
【０１４８】
図２６には、情報処理装置１００において提供情報レベルを設定する仕組みを図解している。提供情報のレベルは、以下の４つのモードを軸として制御される。
【０１４９】
●  情報量制御：
仮想音（音声を含む）によって提供される情報量を制御するものである。情報量が多い場合には、情報を提供するパーソナルエージェントが、センサ類５１０によって聴取者（若しくは情報処理装置１００）の周辺で検出され、認識された情報を、継続的に、できる限り多く提供しようとする。情報量を最小に設定すれば、情報処理装置１００が全く仮想音（音声を含む）の情報を提供しないようにすることができる。情報処理装置１００を緊急モードに設定することにより、緊急な状況を認識した場合には、仮想音（音声を含む）で、聴取者に警報を出すこともできる。
【０１５０】
●  音モード：
音モードは、音声モードと仮想音モードから選択できる。音モードは、情報処理装置１００がセンサ類５１０による検出結果に基づく情報認識に基づいて、仮想的に生成された音声によって、認識された状況における情報を提供するモードである。後述するように、お任せモードとプロファイルモードから聴取者が選択するように設定することができる。これらの選択は、情報処理装置１００と連携する外部装置（スマートフォンなど）のディスプレイ上で提供されるＧＵＩ（Ｇｒａｐｈｉｃ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を通じて、メニュー形式で選択できるようにしてもよいし、情報処理装置１００本体に具備したボタン、レバー、タッチセンサなどを操作することで、段階的に提供するようにしてもよい。
【０１５１】
●  ガイダンスモード：
ガイダンスモードは、後述するように、お任せモード又はプロファイルモードから、自動的又は手動で選択でき、ガイダンスの提供方法を変化させるものである。お任せモードは、パーソナルエージェントに任せてガイダンスさせるモードであり、プロファイルモードは、それぞれの状況にカスタマイズされたプロファイルに沿ってガイダンスが行われるモードである。
【０１５２】
●  センシングモード：
センシングモードは、情報処理装置１００がセンサ類５１０による検出結果に基づく情報認識に応じて仮想音（音声を含む）によって情報を提供するモードである。後述するように、情報処理装置１００は、センシングモードとして、通常モードと白杖モードの２種類を提供する。
【０１５３】
上述した４つのモード軸の各々は、ユーザインターフェースで選択することができる。モード選択にも利用できるユーザインターフェースとして、情報処理装置１００の筐体の表面にスイッチ、スライドバー、タッチセンサのような入力手段（入力情報を電気信号に変換して処理装置に伝達する回路やバスを含む）を設けてもよい。情報処理装置１００は、音声コマンドによってモードを設定するようにしてもよい。また、スマートフォンやスマートウォッチ、アイウェアといった情報処理装置１００と連携する外部装置のユーザインターフェースを用いて、モード選択の指示を行えるようにしてもよい。情報処理装置１００と連携する外部装置がスマートフォンなどのようにタッチパネルディスプレイを有する場合には、そのディスプレイ上のＧＵＩを用いてメニュー表示を行い、タッチパネルによってモード選択の指示を行えるようにしてもよい。なお、聴取者が音声サービスを望まない場合や、聴取者に提供情報レベルの選択をさせる場合においても、まずは音声によって、レベルを選択できるようなユーザインターフェースを提供してもよい。
【０１５４】
図２７には、音モードとセンシングモードの組み合わせの状態遷移関係を示している。図２７中の４つの状態に対して、情報量制御とガイダンスモードがさらに加わって、情報提供方法を制御することができる。このため、聴取者が音情報に対する期待、あるいは音情報の必要性の度合いなどによって、さまざまなレベルで情報を制御することができる。
【０１５５】
なお、本実施例において、ガイダンスモードのモード名は、想定される機能を称するために便宜上設けられるものであり、同様な機能であれば、別の名称を用いることもできる。また、以下で示される機能の区別についても、別の方法で行ってもよい。
【０１５６】
（Ａ）ガイダンスモード
ガイダンスモードは、少なくとも下記の２つの機能に分けられる。例えば聴取者がユーザインターフェースを使って下記のいずれかの機能を選択可能なように構成される。
【０１５７】
（Ａ−１）お任せモード（情報量制御モード）
お任せモードは、現在時刻、現在時に沿って、適宜パーソナルエージェントが情報をつぶやく（仮想的な音声によって提示する）又は仮想音によって表現するモードである。
【０１５８】
上述したように、情報量制御のために設けられるユーザインターフェースによってレベル調整することで、情報処理装置１００が発するつぶやき（仮想音の表現）の頻度を調整できる。
【０１５９】
聴取者などから音声問い合わせがあれば、情報処理装置１００が仮想音モードであっても、仮想的に生成された音声によって応答は行うように設定することもできる。情報量制御が最低レベル（ＭＩＮ、ＺＥＲＯ）の場合、仮想音（音声を含む）の情報を全く提供しないようにされる。一方、最大レベル（ＭＡＸ）の場合には、現在センサによって認識された情報に基づいて、エージェントが気になる話題があれば、継続的に仮想音（音声を含む）により情報を提供するようにされる。情報制御量が中間の場合には、ある程度の間隔をあけて情報提供するようにされる。
【０１６０】
情報量制御は、システムによって規定の数で段階的に切り替わるように設定することもできる。１つの実施例においては、１０段階の情報制御量が設定され、１が最小、１０が最大となる。最大から１段階落ちるごとに、つぶやくタイミングが１分毎に長くなるようにする設定も可能であるし、１段階落ちる毎につぶやく文章の単語数が２分の１に減少するような設定も可能である。また、聴取者などが、情報処理装置１００と連携する外部装置（スマートフォンなど）のユーザインターフェースを用いて、情報量制御を適宜設定することもできる。
【０１６１】
また、お任せモードは、プロファイル選択モードと組み合わせて使用することもできる。この場合、情報処理装置１００が特定のプロファイルに沿って仮想音（音声を含む）による情報を提供しているとき、聴取者は、情報量が多過ぎると思えば、レベル調整により、情報量（音声メッセージの頻度）を少なくすることができる。また、聴取者がより多くのメッセージが欲しい場合には、最大とすればよい。音声翻訳のように、リアルタイムで、相手の話の内容をすべて翻訳して欲しい場合には、最大とすれば、すべての内容を翻訳するようにできる。
【０１６２】
プロファイル選択モードと組み合わせない状態で、物体認識処理において優先される物体としてプロファイルに定義される物体は、最近認識された物体のうち、あまり認識されなかったカテゴリー（クラス、サブクラス）に属する物体である。すなわち、情報処理装置１００のコントローラ５５１で動作するパーソナルエージェントは、センサ類５１０から取得される情報に基づいて物体認識を行い、所定時間に観測された物体のカテゴリー（クラス、サブクラス）について統計処理を行い、頻度の少ない物体が認識された場合には、聴取者に対する音情報を生成するよう構成することができる。
【０１６３】
パーソナルエージェントは、無線や有線通信によって接続されるインターネットなどネットワーク上のサーバ装置（処理装置やストレージ（メモリ含む）を含む）で動作させてもよい。この場合、情報処理装置１００は、マイク５４１などから取得した聴取者の音声情報を、無線モジュール５５３を介してサーバ装置１７５０に送信する。サーバ装置１７５０側では、受信した音声情報をリアルタイムで音声認識し、その認識結果に基づいて聴取者の問い合わせ内容を理解したパーソナルエージェントによる音声情報を情報処理装置１００に返信する。そして、情報処理装置１００は、サーバ装置１７５０から受信した音声情報を利用して、聴取者に音声応答を行うことができる。
【０１６４】
また、パーソナルエージェントは、センサ類５１０から取得した情報を、情報処理装置１００内のコントローラ５５１を用いて処理する場合であっても、同時にサーバ装置にも送信することも可能である。この場合、情報処理装置１００は、サーバ装置でセンサ類５１０の情報を解析処理又は認識処理した結果を受信して、聴取者に音声情報で提示することができる。
【０１６５】
（Ａ−２）プロファイル選択モード
情報処理装置１００のプロファイルをあらかじめ選択しておき、情報処理装置１００は選択されたプロファイルの定義に基づいて、必要なときに仮想音（音声を含む）によるガイダンスを生成する。プロファイル選択モードは、１つの定義として、下記のような形態をとる。
【０１６６】
・ホームモード：
ホームモードは、聴取者からの音声による問い合わせに応じて、パーソナルエージェントの仮想音（音声を含む）の情報を提供するモードである。家は一般的に聴取者がよく知った環境であり、通常、サポートを必要とする状況ではない。このため、情報処理装置１００は、困った状況に陥った聴取者からの問い合わせがない限り、仮想音（音声を含む）の情報を提供しないようにすることにより、聴取者を不要な仮想音（音声を含む）で悩ますことはない。ここで言う聴取者が「困った状況」は、例えば、視覚に不自由を持つ聴取者が「冷蔵庫の中に何が残っているか教えてください」というように確認するための情報提供を求めるような状況である。情報処理装置１００は、ホームモード下では、聴取品からの問い合わせがない限りは、仮想音（音声を含む）の情報は発生させない。ホームモードで物体認識処理において優先される物体は、過去の情報から認識できない人や物である。
【０１６７】
・オフィスモード：
オフィスモードは、情報処理装置１００がセンサ類５１０による検出結果などに基づいて聴取者の動作を監視し、通常と異なる動作を認識した場合に、その状況において必要とされるパーソナルエージェントの応答を提供するモードである。音モードとして（仮想）音声モードが設定されている場合には、仮想的に生成された音声により情報を提示し、仮想音モードが設定されている場合には、仮想音により情報を提示する。
【０１６８】
例えば、聴取者が自動販売機の前で滞留している時間が長い場合には、選択対象が分からず困惑している状況が推定（推論）されるので、情報処理装置１００は例えば「コーヒーは右上にあります」といった音声メッセージを発生させる。また、聴取者がエレベータホールの半ばで、誰とも話をすることなく滞留している時間が長い場合には、情報処理装置１００は「右方向に行けば自動販売機があります」という音声メッセージを発生させる。また、仮想音モードが選択されている場合には、自動販売機のコーヒーのボタンに仮想音源の音像が定位するように音源が移動する（例えば、聴取者の手に定位していた仮想音源が、指先から離れて、自動販売機に向かって移動し、最終的のコーヒーのボタンに音像が定位する）ことで、聴取者にコーヒーのボタンの場所を教えることができる。
【０１６９】
オフィスモードでは、聴取者の目的とする場所が限定される。例えば、オフィススペースから廊下に出た場合、化粧室か自動販売機コーナーかの選択があった場合、物に憑依して音源が、交互に、継続的に、化粧室と自動販売機コーナーの方向に移動しながら音像定位する。あたかも風が２つの方向に耳元から進んでいくような印象を聴取者に与えることができる。分岐点において、化粧室が左、自動販売機コーナーが右にある場合には、左耳辺りから化粧室の方向に移動しながら音像定位する化粧室の音源データと、右耳辺りから自動販売機コーナーの方向に移動しながら音像定位する自動販売機コーナーの音源データが、交互に生成されることになる。聴取者が分岐点で右に曲がった後は、自動販売機コーナーが選択されたと判断し、自動販売機コーナーの音源のみが自動販売機コーナーの方向に移動しながら音像定位することとなる。
【０１７０】
オフィスモードで物体認識処理において優先される物体は、聴取者が通常使う物体（化粧室、食堂、自動販売機コーナー）、又は、聴取者の滞留時間が長い場合、直前にある物体である。
【０１７１】
・外出モード：
外出モードについては、さらに細分化した複数のモードを設定することができる。１つの実施例として、下記のモードから選択することができる。
【０１７２】
外出モードからさらに細分化した各モードには名称がそれぞれついている。但し、モードの名称は、必ずしもモードが有する機能を表現するものではない。例えば、モードＡ、モードＢ、モードＣ、…のように、機能を直接示唆しない、あるいは抽象化した名称を割り振ってもよい。以下、外出モードから細分化した各モードについて説明する。
【０１７３】
・散歩モード（あるいは、モードＡ）
散歩モードは、聴取者が日常的に知っている場所を散策するときに安全性を確保するために必要なアドバイスを優先して行うモードである。お任せモードであって、且つ情報量制御が最低に設定されている場合でも、情報処理装置１００は、安全性を確保するのに必要不可欠とされる仮想音（音声を含む）の情報を必ず提供する。例えば、センサ類５１０に含まれる障害物検出センサ（物体検出センサ５１１）による検出結果に基づいて聴取者の後方から車両が接近していることを認識すると、情報処理装置１００は、衝突の可能性が高い場合などに音声メッセージを発生する。散歩モードで物体認識処理において優先される物体は、障害物である。
【０１７４】
・買い物モード（あるいは、モードＢ）
買い物モードは、あらかじめリスト化されている商品のうち、特筆すべき事項がある物についてガイドを行うモードである。買い物モードで物体認識処理において優先される物体は、買い物リストに登録された物体である。
【０１７５】
・旅行モード（あるいは、モードＣ）
旅行モードは、事前に立てた計画に沿って聴取者に適宜必要なアドバイスを行うモードである。情報処理装置１００は、ＧＰＳ（又はＧＮＳＳ）で入手した位置情報やイメージセンサ５１３で入手した画像情報などに基づいて、地図情報やインターネットで提供されるお店やホテルの情報を収集し、これらの情報を組み合わせてアドバイスを行う。また、聴取者の現在位置が盗難や事故などが発生し易い場所であれば、情報処理装置１００は、聴取者に注意を喚起する仮想音（音声を含む）の情報を提供する。注意喚起度合いが高く設定されている場所では、情報処理装置１００は、他の音声メッセージに優先して、注意喚起メッセージを提供する。また、情報処理装置１００は、お任せモードで且つ情報量制御が最低に設定されている場合であっても、注意喚起メッセージを必ず提供するようにしてもよい。旅行モードで物体認識処理において優先される物体は、ＰＯＩ（Ｐｏｉｎｔ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）である。ＰＯＩは、ガイドブックなどで注目されている観光スポット、店舗、ホテル、空港、レンタカー会社、美術館、劇場、又は特記事項のある地図上の位置（例えば盗難多発地帯、事故多発地帯、など）、及び所定のＰＯＩに関連付けられた物体（例えば、おみやげ、食事のメニュー、有名な絵画、など）を含む。
【０１７６】
・鑑賞モード（あるいは、モードＤ）
鑑賞モードは、聴取者が現在いる場所で上演などが行われている鑑賞対象について、適宜必要なアドバイスを行うモードである。例えば、ＧＰＳ（又はＧＮＳＳ）の検出結果に基づいて、聴取者が劇場内にいることを認識した場合には、情報処理装置１００は、サーバ装置１７５０に配置され、又は情報処理装置１００自身のメモリ５５２上に常駐するパーソナルエージェントが、その劇場の演目に関する情報を、演目の開始時間までにネットワーク上のサーバ装置から入手するようにできる。入手した演目などの情報が外国語であるなど聴取者が理解し難い場合には、翻訳機能などにより聴取者が理解できる情報で、演目の内容を説明できるような情報を含めるようにすることができる。また、英語を母国語若しくは日常語とする聴取者が日本語で演じられる歌舞伎を鑑賞する場合、パーソナルエージェントが演目に合わせて概要を英語に翻訳して、情報処理装置１００が英語で説明することができる。情報処理装置１００がお任せモードに設定されている場合には、情報量制御と組み合わせることで、説明される内容の音声情報提供量を調整することができる。鑑賞モードで物体認識処理において優先される物体は、演目のシーンである。
【０１７７】
・レジャーモード（あるいは、モードＥ）
レジャーモードは、選択されたレジャー（登山、キャンプ、など）について推奨されている情報を、推奨されているタイミングで提供するモードである。例えば、センサ類５１０に含まれるＧＰＳによる検出結果に基づいて、聴取者が登山口にいることを認識した場合には、情報処理装置１００は、聴取者に対して「ここで登山計画を提出して下さい」などの音声情報を行うことができる。レジャーモードで物体認識処理において優先される物体は、ＰＯＩ（登山口、キャンプ地など）、及びＰＯＩに関連付けられた特記事項（登山ポスト、コテージなど）である。
【０１７８】
・スポーツモード（あるいは、モードＦ）
スポーツモードは、センサ類５１０に含まれる加速度センサやジャイロセンサによる検出結果などに基づいて、聴取者の身体の動きを検出し、センサ情報を記録することで、適宜必要なアドバイスを行うモードである。例えば、聴取者がテニスをしている場合、加速度センサがプラスの加速度を継続的に認識しているときに突然マイナスの加速度を認識した場合には、情報処理装置１００は、聴取者がボールをヒットする動作を行ったと認識する。そして、ボールをヒットするタイミングが遅いと認識した場合には、「もう少し早くラケットを振ってください」というような音声情報によって、アドバイスを行うことができる。スポーツモードで物体認識処理において優先される物体は、ボール、ラケット、などスポーツに関連する用具である。
【０１７９】
・その他のモード：
その他のモードとしては、運転サポートモード（あるいは、モードＧ）がある。運転サポートモードは、自動車のインフォテインメントシステムなどオンボードの無線装置（例えばＢｌｕｅｔｏｏｔｈ（登録商標））と情報処理装置１００の無線モジュール５５３の間で通信が行えるように接続することで、情報処理装置１００のパーソナルエージェントが、自動車に備えられたコンピュータ上で動作するパーソナルエージェント又は自動車のコンピュータの移動通信無線機能によりインターネットなどネットワーク上のサーバ装置で動作するパーソナルエージェントと情報交換を行うことで、音情報サービスを受けられるようにするモードである。運転サポートモードへの切り替えは、ユーザの選択により、又は自動により行われ、プロファイルも切り替わることで異なる音情報サービスの提供を受けることができる。自動車のオンボードコンピュータに接続したＮＦＣ（Ｎｅａｒ−Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）リーダが近接無線により、情報処理装置１００を認証することで、自動的に接続することができる。又は、情報処理装置１００がセンサ情報により自動車内にいることを認識することで、パーソナルエージェントが自動的に自動車のコンピュータの無線装置に接続するようにしてもよい。
【０１８０】
（Ｂ）センシングモード
センシングモードは、センサ類５１０に含まれる各種センサが検出対象とするエリアの大きさにより、図２８に示すように、少なくとも「通常モード」と「白杖モード」の２つの機能モードに分類される。聴取者などは、情報処理装置１００若しくは連携する外部装置のユーザインターフェースを使って、センシングモードを選択することができる。
【０１８１】
図２８に示すように、通常モードでは、聴取者を取り囲む環境からセンサ類５１０により検出できるすべての物体が対象となる。通常モードの検出エリアを参照番号２８０１で示している。通常モード下では、図２８中で、物体「ＩＤ００５」及び「ＩＤ３６０」が検出対象となる。一方、白杖モードでは、センサ類５１０で検出できる物体のうち、点線で囲んだ所定の範囲に入った物体の検出及び認識動作を行う。白杖モードの検出エリアを参照番号２８０２で示している。白杖モード下では、物体「ＩＤ３６０」のみが検出される。
【０１８２】
白杖モードは、懐中電灯で前面を照らす、白杖で手元を探る、又は盲導犬が聴取者の周囲を見張るというように、主に聴取者の前方あるいは狭いエリアの周囲に焦点が当てられ、主に物体検出センサ５１１を用いた検出結果に基づいて周辺情報を提供する目的で用いられる。物体検出センサ５１１から取得した情報をイメージセンサ５１３及び深度センサ５１２から取得した情報を組み合わせることで、より高度なサービスを提供する構成を採ることができる。
【０１８３】
なお、図２８に示す例では、白杖モードの検出エリア２８０２を円柱の形で描いているが、これは所定の範囲に限定して対象を検出することを表現しているに過ぎず、当該検出エリアの形状は円柱形には限定されない。また、システムの設計においてさまざまな形態により、白杖モードの検出エリア２８０２を限定することができる。
【０１８４】
音像定位の方法についても、さまざまな形態が考えられる。例えば、白杖モードでパーソナルエージェントのキャラクタタイプを「犬」に設定すると、地面近くを移動するように音源が位置を変化させながら音像定位するようにすることもできる。
【０１８５】
情報処理装置１００は、各センシングモードにおいて、音モードと組み合わせ、また、情報量制御を行うことで、さまざまな態様で情報を提供することができる。また、聴取者がお気に入りの場所に近づいた、あるいはパーソナルエージェントがお薦めの場所に近づいた、といった所定の事象が発生したことに応じて、情報処理装置１００は、センシングモードを通常モードから白杖モードへ、自動的に切り替えるようにしてもよい。このようにすることで、より情報量を制限して、聴取者に音情報サービスを提供することができる。もちろん、情報処理装置１００は、他の事象が発生したことに応じて、逆に白杖モードから通常モードへ、自動的に復帰するようにしてもよい。
【０１８６】
（Ｂ−１）通常モード
通常モードは、情報処理装置１００の白杖モードをオフにするモードである。通常モードでは、情報処理装置１００は、センサ類５１０に含まれる各種センサによるすべてのセンサ情報を利用した環境状況の解析若しくは認識結果に基づいて、聴取者を取り巻く環境内の物体に関する仮想音（音声を含む）による情報提供を行う。
【０１８７】
（Ｂ−２）白杖モード
白杖モードは、聴取者の至近距離における物体検出などの処理を優先して行なうモード、と言うこともできる。情報処理装置１００は、至近距離で検出した物体について、必要な場合に、音モードに応じて仮想音（音声を含む）により、聴取者に情報提供を行う。ここで言う「至近距離」は、白杖モードの検出エリアの範囲内に相当する（直径５ｍ以内程度の距離が好ましい）。物体検出センサ５１１は、常に聴取者の足元付近を探索するように機能する。白杖モードは、音声モードと組み合わせることはできる。また、白杖モードを仮想音モードと組み合わせると、仮想的に生成された音声よりは情報量が制限されるため、視覚が制限される聴取者にとっては比較的好適な環境を提供できる。
【０１８８】
情報処理装置１００は、白杖モードでは、例えば、歩行のステップ（振動センサなどにより、歩行のステップを認識した場合のステップ、あるいは聴取者に同調してほしい参照歩行ステップ）に同期させて、聴取者自身が杖を突く音を表現するように仮想パルス音を発生することもできるし、あたかも前に歩いているような印象を与える前の人の仮想的な足音、あるいはその他の仮想音情報を３次元音響空間の前方に発生させ、音像定位させるようにもできる。例えば、前方に同じ方向に進む人を物体検出センサ５１１により認識した場合、追従できるように前の人の足音を拡大して、３次元音響空間に音像定位させるようにしてもよい。
【０１８９】
また、情報処理装置１００は、白杖モードにおいて、前方に衝突可能性のある物体を検出した場合には、その物体の種別に応じた仮想音を発生させる。具体的には、上記の１．４項の「仮想音源の識別」で例示したような仮想音源を使って、聴取者に対してサービスを提供することができる。また、情報処理装置１００は、点音源のインパルスやソナーの仮想音を３次元音響空間で再生して、空間伝播を計算して、仮想の反射音を聴取者に提示するようにすることができる。
【０１９０】
図３０には、図２９に示す実空間（聴取者の現実の視界）を深度センサ５１２の検出結果に基づいて認識される３次元空間を示している。図３０では、深度センサ５１２が１６段階でセンシングした深度情報を、深度に応じた濃淡画像で表現している。但し、深度センサ５１２から取り出した点群データ情報をそのまま使うと情報量が多過ぎるため、例えばボクセルグリッドフィルタなどのフィルタ処理を行うようにしてもよい。また、図３１には、図３０に示した深度情報に基づく３次元音響空間に配置された仮想音源３１０１から再生される仮想音が、その空間に配置された他の物体３１０２に反射し、その反射音が参照番号３１０３で示すように空間伝搬して、聴取者の両耳に到達する様子を示している。図３１に示す例では、仮想音源３１０１は、聴取者の視界の後方の壁に配置され、室内で着席している女性を反射物体３１０２としている。情報処理装置１００内では、仮想音源３１０１として配置した点音源のインパルスやソナーの仮想音を３次元音響空間で再生する際の空間伝播を計算して、算出された空間伝搬の通りに仮想音源の音像定位を移動させる。
【０１９１】
図３１に示すように仮想の反射音を聴取者に提示する際に、情報処理装置１００は、物体検出センサ５１１により検出した物体の硬さなど、物体が持つ特性や性質に応じて音の提示方法をより細かく制御するようにしてもよい。具体的には、物体検出センサ５１１により検出した障害物が壁や柱などの硬い物体である場合には高い音を提示し、逆に人など柔らかい障害物を場合には低い音を提示する。聴取者は、情報処理装置１００から提示された音の高低に基づいて障害物の質感を把握して、障害物との衝突に備える（身構える）ことができる。なお、物体検出センサ５１１に加えて、ミリ波センサなどを組み合わせて用いることにより、物の硬さに応じた情報を効果的に取得することができる。
【０１９２】
また、情報処理装置１００は、障害物の距離に応じて、音の大きさを変えるようにしてもよい。具体的には、障害物に近づくにつれて音を大きく、逆に遠ざかるにつれて音を小さくしていく。聴取者は、情報処理装置１００から提示された音の大小に基づいて障害物までの距離を把握して、障害物との衝突に備える（身構える）ことができる。例えば、聴取者は、歩行を停止する、あるいは歩行の方向を変更するといった衝突回避動作を行うことができる。
【０１９３】
また、情報処理装置１００は、白杖モードの検出エリア内で、仮想音を提示すべき物体の物体ＩＤを認識し、その物体のデータに基づいて仮想音を提示するサービスを実施することができる。例えば、認識した物体が聴取者による操作可能なものであった場合（若しくは、聴取者がその物体を操作しなければならない場合）には、仮想音の音像定位の移動を使用して、聴取者に所望の操作を行わせるように誘導することができる。
【０１９４】
ここで、聴取者は、その物体に近づいてその物体を直接操作することもできるし、その物体をリモート操作することもできる。リモート操作の方法には、聴取者のジェスチャによるリモート指示や、タッチセンサ５１４など情報処理装置１００が備えるユーザインターフェースを用いたリモート指示を挙げることができる。聴取者は、いずれかの物体の操作方法を選択することができ、選択した操作方法に従って物体を操作できるように、仮想音の音像定位の移動を使用して聴取者を誘導する。例えば、上述したような「憑依（物への憑依）」の仮想音表現技法により、聴取者を物体の操作へと誘導する。
【０１９５】
聴取者が操作可能な物体は、例えば自らの物体ＩＤを示す情報を発信してもよい。あるいは、情報処理装置１００は、イメージセンサ５１３で捕捉した物体の画像を認識して、その物体ＩＤを特定するようにしてもよい。前者の場合、聴取者が操作可能な物体は、例えばＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）  Ｌｏｗ  Ｅｎｅｒｇｙ）のような白杖モードの検出エリア内で通信可能な近距離無線技術を利用して、仮想音源提示用のビーコンを発信するようにしてもよい。また、光や音波を使用したビーコン、及びその複合処理を利用してもよい。情報処理装置１００は無線モジュール５５３で受信したビーコンに含まれる情報から、物体ＩＤを特定することができる。あるいは、聴取者が操作可能な物体に２次元バーコードやマーカーなどの視覚情報を取り付けておき、情報処理装置１００は、イメージセンサ５１３による捕捉画像を画像認識した結果から、物体ＩＤを特定するようにしてもよい。
【０１９６】
また、情報処理装置１００は、物体ＩＤに基づいて、聴取者を物体の操作に誘導するための仮想音提示に必要となる仮想音情報を、インターネットなどネットワーク上のサーバ装置や、情報処理装置１００と連携する外部装置（スマートフォンなど）から、取得することができる。もちろん、情報処理装置１００は、一度使用した仮想音提示のための仮想音情報を、物体ＩＤと紐付けしてキャッシュしておいてもよい。
【０１９７】
そして、情報処理装置１００は、サーバ装置又は外部装置から仮想音提示のための情報を取得し、又は、キャッシュしておいた仮想音提示のための情報を利用して、仮想音の音像定位の移動を実施して、聴取者に物体に対する操作を行わせるように誘導する。
【０１９８】
ここで、図３２に示すように、情報処理装置１００を着用する聴取者がエレベータホール３２００に入った際に、エレベータスイッチ（「上昇」並びに「下降」ボタン）を操作可能な物体とする場合を具体的な例にとって、白杖モード下の情報処理装置１００の動作例について説明する。
【０１９９】
エレベータホール３２００内では、エレベータの「上昇」ボタン３２０２や「下降」ボタン３２０３が、聴取者による操作可能な物体であり、聴取者に仮想音を提示すべき物体である。図示の例では、「上昇」ボタン３２０２や「下降」ボタン３２０３の間に設置された発信機３２０４からは、「上昇」ボタン３２０２及び「下降」ボタン３２０３からなる物体「エレベータスイッチ」を特定するためのＢＬＥビーコンが発信されている。一方、聴取者が左耳及び右耳の両方又は少なくとも一方に装着された情報処理装置１００（図３２では図示を省略）は、「上昇」ボタン３２０２及び「下降」ボタン３２０３が白杖モードの検出エリア３２０１内に入ってくると、発信機３２０４からのＢＬＥビーコンを受信して、「エレベータスイッチ」の物体ＩＤを特定することができる。
【０２００】
図３３には、リモート指示の対象となる物体が発信する、仮想音源提示（Ｓｏｕｎｄ  Ｃｌｕｅ）用のＢＬＥビーコンのフレームフォーマット例を示している。ＢＬＥパケット３３００は、先頭から順に、Ｐｒｅａｍｂｌｅフィールド３３０１、Ａｃｃｅｓｓ  Ａｄｄｒｅｓｓフィールド３３０２、Ｐｒｏｔｏｃｏｌ  Ｄａｔａ  Ｕｎｉｔ（ＰＤＵ）フィールド３３０３と続き、最後に誤り訂正用に３Ｏｃｔ長のＣＲＣ（Ｃｙｃｌｉｃ  Ｒｅｄｕｎｄａｎｃｙ  Ｃｏｄｅ）３２０４が付加される。Ｐｒｅａｍｂｌｅフィールド３３０１には、受信側でビット単位の同期をとるための１Ｏｃｔ長のビット系列が格納される。また、Ａｃｃｅｓｓ  Ａｄｄｒｅｓｓフィールド３３０２には、受信側でパケット判別とバイト単位の同期をとるための４Ｏｃｔ長の固定データが格納される（但し、アドバータイズチャネルの場合）。ＰＤＵフィールド３３０３には、当該パケット３３００では運ぶ、最大３９Ｏｃｔ長のデータ本体が格納される。
【０２０１】
ビーコン送信時に使用されるアドバータイズチャネルのＰＤＵフィールド３３０３のフォーマットを、参照番号３３１０で示している。アドバータイズチャネルのＰＤＵフィールド３３０３は、先頭から順に、２Ｏｃｔ長のＨｅａｄｅｒフィールド３３１１、６Ｏｃｔ長のアドバータイザアドレスフィールド３３１２、最大３１Ｏｃｔ長のアドバータイザデータフィールド３３１３で構成される。
【０２０２】
また、Ｓｏｕｎｄ  Ｃｌｕｅ用ＢＬＥビーコンフレームの場合のアドバータイザデータフィールド３３１３の詳細な構成を、参照番号３３２０で示している。アドバータイザデータフィールド３３１３は、当該パケットがＳｏｕｎｄ  Ｃｌｕｅ用のビーコンであることを示す９バイト長のＳｏｕｎｄ  Ｃｌｕｅ  Ｂｅａｃｏｎ  Ｐｒｅｆｉｘフィールド３３２１、オブジェクトを一意に識別するＵＵＩＤ（Ｕｎｉｖｅｒｓａｌｌｙ  Ｕｎｉｑｕｅ  Ｉｄｅｎｔｉｆｉｅｒ）を格納する１６バイト長のＵＵＩＤフィールド３３２２、仮想音のタイプを示す２バイト長のＳｏｕｎｄ  Ｔｙｐｅフィールド３３２３、仮想音の優先順位を示す２バイト長のＰｒｉｏｒｉｔｙフィールド３３２４、当該パケットの送信電力を示す１バイト長のＴｘ  Ｐｏｗｅｒフィールド３３２５を含んでいる。ＵＵＩＤを物体ＩＤとして使用する。
【０２０３】
再び図３２を参照しながら説明する。情報処理装置１００は、ＢＬＥビーコンから取得した物体ＩＤに基づいて、聴取者を「上昇」ボタン３２０２又は「下降」ボタン３２０３の聴取者を物体の操作に誘導するための仮想音提示に必要となる仮想音情報を、インターネットなどネットワーク上のサーバ装置や、情報処理装置１００と連携する外部装置（スマートフォンなど）から、取得する。あるいは、情報処理装置１００は、ＢＬＥビーコンから取得した物体ＩＤに該当する仮想音情報を、既にメモリ５５２などにキャッシュしている場合には、キャッシュからその仮想音情報を取得する。
【０２０４】
図３４には、エレベータホール３２００内の発信機３２０４から送信されたＢＬＥビーコンで指定された物体ＩＤに基づいて取得される仮想音情報の構成例を示している。図示の仮想音情報は、聴取者を「上昇」ボタン３２０２又は「下降」ボタン３２０３の操作に導くための情報であり、以下では、「エレベータスイッチオブジェクト」とも呼ぶ。図３４では、理解を容易にするために、自然言語の形式で記述されたエレベータスイッチオブジェクトを例示しているが、任意の言語を使ってエレベータスイッチオブジェクトを記述することができる。
【０２０５】
図示のエレベータスイッチオブジェクトは、該当するエレベータスイッチの物体ＩＤの情報３４０１（図示の例では、エレベータスイッチの物体ＩＤは「ＥＶＳＷ０３４０」）と、エレベータスイッチの基準位置及び基準方向の情報３４０２と、聴取者をこのエレベータスイッチのリモート指示に導くための仮想音源を定位させるためのＡＰＩ（図示の例では、「ＡＰＩ−ＴＹＰＥ  ＳＥＬＥＣＴＯＮ＿Ａ＿ＯＲ＿Ｂ」と呼ぶ）３４０３と、聴取者をこのエレベータスイッチの直接操作へ導くための仮想音源を定位させるためのＡＰＩ（図示の例では、「ＡＰＩ＿ＬＯＣＡＴＯＩＮ＿ＰＲＥＳＥＮＴＡＴＩＯＮ」と呼ぶ）３４０４を含んでいる。
【０２０６】
参照番号３４０２で示す、エレベータスイッチの基準位置及び基準方向の情報は、（世界座標系に対する）エレベータスイッチのローカル座標系を設定する情報である。図３２及び図３４に示す例では、エレベータの上昇ボタン３２０２と下降ボタン３２０３の中間にエレベータスイッチのローカル座標系の原点が設定され、且つ、（１，０，０）すなわち北向きが正面方向に設定されている。図３５には、エレベータスイッチに設定されたローカル極座標系を示している。
【０２０７】
参照番号３４０３は、聴取者をこのエレベータスイッチのリモート指示に導くための仮想音源を定位させるためのＡＰＩを示している。このＡＰＩは、エレベータスイッチのリモート指示に導く仮想音源を識別する音源ＩＤ（ＯＳ００３０）と、聴取者によるエレベータスイッチのリモート指示選択のために定義されたアシスト音声の文字情報並びに音声情報と、聴取者をエレベータの上昇ボタン３２０２のリモート指示（「ＵＰ」）に導くための仮想音源を識別する音源ＩＤ（ＯＳ００３０）及びこの仮想音源の定位位置を示す情報と、聴取者をエレベータの下降ボタン３２０３のリモート指示（「ＤＯＷＮ」）に導くための仮想音源を識別する音源ＩＤ（ＯＳ７４０１）及びこの仮想音源の定位位置を示す情報を含んでいる。なお、物体によっては、聴取者のコマンド選択のためにアシスト音声が定義されている。但し、仮想音モードでは、このアシスト音声は使われないようにすることができる（以下、同様）。
【０２０８】
参照番号３４０４は、聴取者をこのエレベータスイッチの直接操作に導くための仮想音源を定位させるためのＡＰＩを示している。このＡＰＩは、エレベータスイッチの直接指示に導く仮想音源を識別する音源ＩＤ（ＯＳ００３１）と、聴取者によるエレベータスイッチの直接選択のために定義されたアシスト文言並びにアシスト音声と、聴取者をエレベータの上昇ボタン３２０２の場所に導く（若しくは、上昇ボタン３２０２の場所を示す）ための仮想音源を識別する音源ＩＤ（ＯＳ００３１）及びこの仮想音源の定位位置を示す情報と、聴取者をエレベータの下降ボタン３２０３の場所に導く（若しくは、下降ボタン３２０３の場所を示す）ための仮想音源を識別する音源ＩＤ（ＯＳ７４０２）及びこの仮想音源の定位位置を示す情報を含んでいる。
【０２０９】
ここで、図３４に示したエレベータスイッチオブジェクト中の参照番号３４０３で示したコード部分で規定される、聴取者をエレベータスイッチのリモート指示に導くための仮想音源の定位位置は、聴取者のローカル座標系（聴取者の頭部を中心とした極座標系）で表されている。図３６には、各仮想音源の音像定位位置を示している。聴取者を上昇ボタン３２０２のリモート指示に導く仮想音源の定位位置は、参照番号３６０１で示す、聴取者の正面方向を０度とした水平平面回転座標の時計回りの方位角４５度、同正面方向を０度とした垂直面回転座標の仰角１０度の方向に頭部中心からの距離４０ｃｍだけ離間した位置である。一方、聴取者を下降ボタン３２０３のリモート指示に導く仮想音源の定位位置は、参照番号３６０２で示す、聴取者の正面方向を０度とした水平平面回転座標の時計回りの方位角−４５度、同正面方向を０度とした垂直面回転座標の仰角１０度の方向に頭部中心からの距離４０ｃｍだけ離間した位置である。
【０２１０】
したがって、エレベータスイッチのリモート指示が選択された場合には、図３７に示すように、音源ＩＤ「ＯＳ００３０」で指定される仮想音の音像が、エレベータの上昇ボタン３２０２から離れて、例えば参照番号３７０１で示す経路を辿って、参照番号３６０１で示す定位位置まで移動して、聴取者を上昇ボタン３２０２のリモート指示に導く。このとき、聴取者は、例えば、自分の右耳に装着している情報処理装置１００のタッチセンサ５１４をタッチすることによって（図３８を参照のこと）、上昇ボタン３２０２の選択をリモート指示することができる。情報処理装置１００は、上昇ボタン３２０２が選択されたことを、サーバ装置又は連携する外部装置（スマートフォンなど）経由で、エレベータ側に通知する。
【０２１１】
また、図３７に示すように、音源ＩＤ「ＯＳ７４０１」で指定される仮想音が、エレベータの下降ボタン３２０３から離れて、例えば参照番号３７０２で示す経路を辿って、参照番号３６０２で示す定位位置まで移動して、聴取者を下降ボタン３２０３のリモート指示に導く。このとき、聴取者は、例えば、自分の左耳に装着している情報処理装置１００のタッチセンサ５１４をタッチすることによって（図３９を参照のこと）、下降ボタン３２０３の選択をリモート指示することができる。情報処理装置１００は、下降ボタン３２０３が選択されたことを、サーバ装置又は連携する外部装置（スマートフォンなど）経由で、エレベータ側に通知する。
【０２１２】
図３４に示したエレベータスイッチオブジェクト中の参照番号３４０３で示したコード部分は、聴取者が両耳に情報処理装置１００を装着し、左右の情報処理装置１００を使ってリモート指示を行うことを想定したＡＰＩの記述例と言うこともできる。図４０には、図３６〜図３９の変形例として、聴取者の右耳に装着した情報処理装置１００のみを使用してエレベータスイッチのリモート指示に導く仮想音の表現技法の一例を示している。音源ＩＤ「ＯＳ００３０」で指定される仮想音の音像が、エレベータの上昇ボタン３２０２から離れ、参照番号４００１で示す経路を辿って、参照番号４００３で示す聴取者の右上腕に定位して、聴取者を上昇ボタン３２０２のリモート指示に導く。また、音源ＩＤ「ＯＳ７４０１」で指定される仮想音の音像が、エレベータの下降ボタン３２０３から離れ、参照番号４００２で示す経路を辿って、参照番号４００４で示す聴取者の右前腕に定位して、聴取者を下降ボタン３２０３のリモート指示に導く。なお、各仮想音の音像は、聴取者の腕に定位した後に、風が去るように上昇ボタン３２０２並びに下降ボタン３２０３に戻るようにしてもよい。このときの聴取者は、図４１に示すように、自分の右耳に装着している情報処理装置１００のタッチセンサ５１４の上方をタッチすることによって上昇ボタン３２０２の選択をリモート指示したり、タッチセンサ５１４の下方をタッチすることによって下降ボタン３２０３の選択をリモート指示したりすることができる。
【０２１３】
なお、白杖モードの検出エリア内の物体をリモート指示する際に、図３８、図３９、図４１に示したようにタッチセンサ５１４など情報処理装置１００のユーザインターフェースを利用する以外に、聴取者のジェスチャを利用することも可能である。例えば、聴取者が所望の動作対象の音像と手を接触又は交差させたり、自分の耳に装着した情報処理装置１００の上側や下側を触れたりするジェスチャ動作を、深度センサ５１２の検出結果に基づいて認識することができる。
【０２１４】
また、図３４に示したエレベータスイッチオブジェクト中の参照番号３４０４で示したコード部分で規定される、聴取者をエレベータスイッチの直接操作に導くための仮想音源の定位位置は、参照番号３４０２で示したエレベータスイッチの基準位置を基準とした極座標系（図３５を参照のこと）で表されている。図４２には、聴取者をエレベータスイッチの直接操作に導くための仮想音源の定位位置を示している。聴取者を上昇ボタン３２０２の直接操作に導く仮想音源の定位位置は、参照番号４２０１で示す、基準位置（上昇ボタン３２０２と下降ボタン３２０３の中間）の正面方向を０度とした水平平面回転座標の時計回りの方位角０度、同正面方向を０度とした垂直面回転座標の仰角９０度の方向に基準位置からの距離２０ｃｍだけ離間した上昇ボタン３２０２の位置である。一方、聴取者を下降ボタン３２０３の直接操作に導く仮想音源の定位位置は、参照番号４２０２で示す、基準位置の正面方向を０度とした水平平面回転座標の時計回りの方位角０度、同正面方向を０度とした垂直面回転座標の仰角−９０度の方向に基準位置から距離２０ｃｍだけ離間した下降ボタン３２０３の位置である。
【０２１５】
したがって、エレベータスイッチの直接操作が選択された場合には、図４３に示すように、音源ＩＤ「ＯＳ００３１」で指定される仮想音の音像が、聴取者の右耳付近から離れて、例えば参照番号４３０１で示す経路を辿って、上昇ボタン３２０２まで移動することによって、聴取者を上昇ボタン３２０２の場所まで導く。そして、聴取者は、エレベータに乗って上の階に行きたいときには、音源ＩＤ「ＯＳ００３１」で指定される仮想音の音像が定位されている上昇ボタン３２０２を直接押して、上階行きのエレベータの籠を呼ぶことができる。同様に、音源ＩＤ「ＯＳ７４０２」で指定される仮想音の音像が、聴取者の右耳付近から離れて、例えば参照番号４３０２で示す経路を辿って、下降ボタン３２０３まで移動することによって、聴取者を下降ボタン３２０３の場所まで導く。そして、聴取者は、エレベータに乗って下の階に行きたいときには、音源ＩＤ「ＯＳ７４０２」で指定される仮想音の音像が定位されている下降ボタン３２０３を直接押して、下階行きのエレベータの籠を呼ぶことができる。
【０２１６】
図４４には、白杖モード下での情報処理装置１００が実行する処理手順をフローチャートの形式で示している。白杖モード下の情報処理装置１００は、検出エリア内の物体から発信されたＢＬＥビーコンを検出して、聴取者に仮想音源を提示し、聴取者による操作に応じて対象機器（例えば、エレベータ）を制御する。情報処理装置１００内での処理は、基本的には、コントローラ５５１による制御下で実行されるものとする。
【０２１７】
情報処理装置１００は、白杖モード下では、白杖モードの検出エリア内でＢＬＥビーコンの検出を待機している（ステップＳ４４０１）。そして、情報処理装置１００は、ＢＬＥビーコンを検出したときには（ステップＳ４４０２のＹｅｓ）、そのＢＬＥパケットを受信処理する（ステップＳ４４０３）。
【０２１８】
次いで、情報処理装置１００は、受信したＢＬＥビーコンのＳｏｕｎｄ  Ｃｌｕｅ  Ｂｅａｃｏｎ  Ｐｒｅｆｉｘを参照して、仮想音源用のＰｒｅｆｉｘであるかどうかをチェックする（ステップＳ４４０４）。仮想音源用のＰｒｅｆｉｘでない場合には（ステップＳ４４０４のＮｏ）、受信したＢＬＥビーコンの発信元はリモート指示の対象となる物体ではなく、情報処理装置１００は聴取者に仮想音を提示する必要がないので、本処理を終了する。
【０２１９】
一方、仮想音源用のＰｒｅｆｉｘである場合には（ステップＳ４４０４のＹｅｓ）、受信したＢＬＥパケットの発信元はリモート指示の対象となる物体である。そこで、情報処理装置１００は、受信したＢＬＥビーコンに記載されているＵＵＩＤ（オブジェクトＩＤ）についての仮想音などの情報を既にキャッシュしているどうかをさらにチェックする（ステップＳ４４０５）。
【０２２０】
該当するＵＵＩＤの情報をキャッシュしていない場合には（ステップＳ４４０５のＮｏ）、情報処理装置１００は、インターネット上のサーバ装置若しくは連携している外部装置（スマートフォンなど）に対して、そのＵＵＩＤを照会して（ステップＳ４４０６）、そのＵＵＩＤに応じた仮想音に関する情報（エレベータスイッチオブジェクトなど）が返送されるまで待機する（ステップＳ４４０７）。
【０２２１】
サーバ装置若しくは外部装置側では、情報処理装置１００からＵＵＩＤの問い合わせを受けると（ステップＳ４４１１のＹｅｓ）、そのＵＵＩＤに応じた仮想音に関する情報を情報処理装置１００に返信して（ステップＳ４４１２）、情報処理装置１００との接続を完了する。
【０２２２】
そして、情報処理装置１００は、サーバ装置若しくは外部装置から仮想音に関する情報を受信し（ステップＳ４４０７のＹｅｓ）、又は、キャッシュ済みの仮想音に関する情報が存在する場合には（ステップＳ４４０５のＹｅｓ）、白杖モードの検出エリアで検出した物体に対する操作へと聴取者を導くための、仮想音源の音像定位の移動を実施する（ステップＳ４４０８）。ステップＳ４４０８では、例えば図３７、図４０、並びに図４３に示したような、「憑依（物への憑依）」の仮想音表現技法により、聴取者を物体の操作へと誘導する。
【０２２３】
聴取者は、仮想音の音像定位の移動に誘導されて、白杖モードの検出エリア内の物体に対するリモート指示を行う。そして、情報処理装置１００は、聴取者が行ったリモート指示に応じて、対象機器の制御を実施して（ステップＳ４４０９）、本処理を終了する。
【０２２４】
図４５には、図４４に示したフローチャートのステップＳ４４０８において、情報処理装置１００が仮想音を提示するための詳細な処理手順をフローチャートの形式で示している。
【０２２５】
情報処理装置１００は、ステップＳ４４０７で取得した仮想音の情報（エレベータスイッチオブジェクトなど）に含まれる仮想音源の定位情報から、周辺の３次元マップをメモリ５５２にロードする（ステップＳ４５０１）。
【０２２６】
情報処理装置１００は、該当する３次元マップを、インターネット上のサーバ装置若しくは連携している外部装置（スマートフォンなど）に問い合わせてもよい。サーバ装置又は外部装置は、常時、情報処理装置１００からの問い合わせ待ち状態にある。そして、サーバ装置又は外部装置は、情報処理装置１００からの問い合わせに対して（ステップＳ４５１１のＹｅｓ）、マップ情報を返送する（ステップＳ４５１２）。
【０２２７】
情報処理装置１００は、マップ情報のメモリ５５２へのロードが済むと（ステップＳ４５０２のＹｅｓ）、続いて、ステップＳ４４０７で取得した仮想音の情報に含まれる音源ＩＤに対応する音源データを、メモリ５５２にロードする（ステップＳ４５０３）。
【０２２８】
情報処理装置１００は、該当する音源データをサーバ装置若しくは連携している外部装置に問い合わせてもよい。サーバ装置又は外部装置は、情報処理装置１００からの問い合わせに対して（ステップＳ４５１３のＹｅｓ）、音源データを返送する（ステップＳ４５１４）。
【０２２９】
情報処理装置１００は、音源データのメモリ５５２へのロードが済むと（ステップＳ４５０４のＹｅｓ）、仮想音源の定位位置の周辺の３次元マップ内で、この情報処理装置１００を耳に装着する聴取者の頭部位置を推定する（ステップＳ４５０５）。
【０２３０】
そして、情報処理装置１００は、仮想音の情報に含まれる仮想音源の定位情報と、聴取者の頭部位置に基づいて、仮想音の音像定位を移動させる経路を生成して（ステップＳ４５０６）、その音源パスに従って音像定位を移動させながら（例えば、図３７を参照のこと）、仮想音の音源データを再生して（ステップＳ４５０７）、仮想音の提示処理を完了する。
【０２３１】
図４６には、図４４に示したフローチャートのステップＳ４４０９において、情報処理装置１００が仮想音に誘導させた聴取者によるリモート指示に応じて対象機器を制御するための詳細な処理手順をフローチャートの形式で示している。
【０２３２】
情報処理装置１００は、タッチセンサ５１４などのユーザインターフェースに対して入力があり、又は聴取者のジェスチャを認識すると（ステップＳ４６０１のＹｅｓ）、操作（リモート指示）の対象となっている物体の物体ＩＤと、選択されたＡＰＩタイプと、聴取者が選択した操作に該当する音源ＩＤの情報を、インターネット上のサーバ装置、又は連携する外部装置（スマートフォンなど）に送信して（ステップＳ４６０２）、問い合わせをする。例えば、エレベータスイッチオブジェクトを操作の対象とし、ＡＰＩタイプとして「ＳＥＬＥＣＴＩＯＮ＿Ａ＿ＯＲ＿Ｂ」が選択されているときに、聴取者が右耳に装着した情報処理装置１００のタッチセンサ５１４をタッチして選択した場合には（例えば、図３８を参照のこと）、情報処理装置１００は、サーバ装置又は外部装置に対して音源ＩＤ「ＯＳ００３０」を問い合わせて、問い合わせ先のサーバ装置又は外部装置からの応答を待つ（ステップＳ４６０３）。
【０２３３】
サーバ装置や外部装置、並びに聴取者の操作対象となっている機器は、常時、問い合わせ待ち状態にあるとする。
【０２３４】
サーバ装置又は外部装置は、情報処理装置１００から物体ＩＤ、ＡＰＩタイプ、及び選択された音源ＩＤの情報の問い合わせがあると（ステップＳ４６１１のＹｅｓ）、操作対象となっている機器を特定して、その操作対象機器に対して、問い合わされたＡＰＩタイプ及び音源ＩＤに対応する制御を依頼して（ステップＳ４６１２）、依頼先の操作対象機器からの応答を待つ（ステップＳ４６１３）。
【０２３５】
操作対象機器は、サーバ装置又は外部装置から問い合わせがあると（ステップＳ４６２１のＹｅｓ）、制御依頼を受け付けた旨の通知を返信して（ステップＳ４６２２）、依頼内容に従って、操作対象機器自身の動作を制御する（ステップＳ４６２３）。そして、操作対象機器は、制御依頼に従って動作を完了すると、再び問い合わせ待ち状態になる。
【０２３６】
また、サーバ装置又は外部装置は、制御依頼先の操作対象装置から制御受付の通知を受け取ると（ステップＳ４６１３のＹｅｓ）、問い合わせ元の情報処理装置１００に対して、操作対象機器が制御を受け付けたことを通知し（ステップＳ４６１４）、その後、再度問い合わせ待ち状態になる。
【０２３７】
また、情報処理装置１００は、問い合わせ先のサーバ装置又は外部装置から操作対象機器が制御を受け付けた旨の通知を受け取ると（ステップＳ４６０３のＹｅｓ）、聴取者に対して、ステップＳ４６０１で入力された聴取者の操作が完了したことをフィードバックして（ステップＳ４６０４）、当該操作を完了させる。
【０２３８】
（Ｃ）パーソナルエージェント
パーソナルエージェントは、コンピュータ上のプロセッサで動作するソフトウエア（コンピュータプログラム）である。本実施形態では、情報処理装置１００がパーソナルエージェントをメモリ５５２に常駐させ、聴取者の行動を監視するようにする。これによって、パーソナルエージェントは、情報処理装置１００のモード設定（前述）に応じて、聴取者の行動を認識し、適切な情報を仮想音（音声を含む）の情報として提供することができる。パーソナルエージェントは、その一部がメモリ５５２（言い換えれば、情報処理装置１００のローカル）に常駐し、別の一部あるいは別のパーソナルエージェントがインターネットなどのネットワーク（又はクラウド）上で動作するようにすることで、聴取者に対して、クラウドと連携したサービスを提供することができる。
【０２３９】
図４７には、パーソナルエージェント及び音響空間制御ソフトウェアの処理の関係の一例を示している。なお、同図では、センサ類５１０（マイク５４１も含む）、ユーザインターフェース４７０１、及び音響発生部１１０は、情報処理装置１００の主要ハードウェアである（ユーザインターフェース４７０１は、タッチセンサ５１４を含んでもよいし、ボタンやスイッチなど情報処理装置１００が備える機械的操作子であってもよい。また、情報処理装置１００と連携する外部装置（スマートフォンなど）によって提供されるユーザインターフェースを含んでもよい）。他方、同図中、点線で囲まれた上記以外の処理単位は、基本的には、コントローラ５５１などのプロセッサによって実行される際にメモリ５５２から読み出されて実行されるソフトウェアモジュール及びデータ（情報量、モードなどの内部状態や認識された物体（オブジェクト）のデータ）である。
【０２４０】
ここで、図４７に示した各コンポーネントが実施する処理は、お互いの処理において同期待ち合わせが必要とされない限り、並列に処理される。よって、マルチプロセッサが利用可能な場合、あるいはオペレーティングシステム（ＯＳ）によってマルチスレッド実行が可能な場合においては、並列実行可能な処理単位はすべてメモリに読み出され並列実行させることができる。例えば、パーソナルエージェントソフトウェアにおける、センシング処理部４７０２と出力情報決定処理部４７０６は、間に別の処理がデータバッファの役割を果たすように関係しているため、常に並列実行が可能である。状況認識処理部４７０３と行動認識処理部４７０５も、同様に並列実行が可能である。
【０２４１】
パーソナルエージェントは、センシング処理部４７０２、状況認識処理部４７０３、行動認識処理部４７０５により、及び学習・推定処理部４７０４が連携することにより、人工知能（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）の機能を提供することができる。人工知能の機能は、パーソナルエージェントのソフトウェアの一部、ハードウェアとしてのコントローラ（又は専用のニューラルネットワークアクセラレータ）、又は、これらソフトウェアとハードウェアの組み合わせによって提供することができる。人工知能の機能の処理は、好ましくは、上述したニューラルネットワークアクセラレータ５５５を搭載したコントローラ５１５１や、別体としてニューラルネットワークアクセラレータ５５５を制御するコントローラ５５１によって提供されるが、コントローラ５５１がパーソナルエージェントのソフトウェアの処理の一部においてニューラルネットワークによる学習・推定（推論）などの処理を行うようにしてもよい。
【０２４２】
パーソナルエージェントは、マイク５４１を含むセンサ類５１０からの入力を取得し、また、聴取者によってユーザインターフェース４７０１を介して選択されたモードや情報量などの内部状態データを取得すると、その入力データを状況認識処理部４７０３、行動認識処理部４７０５、及び学習・推定処理部４７０４に送る。ここで、学習・推定処理部４７０４はオプションとすることもできるし、必要なときだけ実行されるようにすることもできる。学習機能については後述する。状況認識処理部４７０３は、その処理において、検出したオブジェクトの情報をデータベース（図示しない）から取得する。ここで、データベースが、インターネットなどのネットワーク（又はクラウド）上のサーバ装置によって管理されている場合、無線モジュール５５３などの通信インターフェースを使ってサーバ装置と通信を行い、検出したオブジェクトの情報を取得する。状況認識処理部４７０３によって取得されたオブジェクトのデータや、認識された状況のデータ、行動認識処理部４７０５によって認識された聴取者の行動のデータは、出力情報決定処理部４７０６に送られる。ここで、状況認識処理部４７０３や行動認識処理部４７０５においては、学習されたニューラルネットワークを用いた推定（推論）処理などを用いて認識を行うことができる。
【０２４３】
出力情報決定処理部４７０６では、これら送られたデータは、聴取者によってユーザインターフェース４７０１を介して選択されたモードや情報量などの内部状態データも含め、学習・推定処理部４７０４によって学習されたニューラルネットワークを用いた推定（推論）処理などを必要に応じて行うことにより、３次元音響空間に必要なデータの選択を行う。ここで出力が決定されたオブジェクトの音源データなどは、音響空間制御ソフトウェアの音像位置制御処理部４７０７に送られる。音像位置制御処理部４７０７では、音響空間レンダリングによって音源位置の移動の効果などを計算するとともに、ＨＲＴＦデータに基づいてＤＳＰ５３３のフィルタを設定し、音像定位の処理を行う。そして、３次元音響空間生成処理部４７０８によって最終的に生成された３次元音響空間の音は、オーディオ出力ドライバである音響発生部１１０に送られ、管状の音導部１２０を経由して聴取者の耳に音データとして出力される。
【０２４４】
なお、音響空間制御ソフトウェアの処理については、聴取者の耳元でのＨＲＴＦを考慮した処理が必要なので、マイク５４１及び音響発生部１１０を備えた情報処理装置１００内のメモリ５５２に格納されて動作するのが適切であるが、それ以外のパーソナルエージェントソフトウェアの処理（例えば物体認識に基づく物体情報の提供など）については、それぞれの処理単位の一部又は全部が、情報処理装置１００と連携する外部装置（スマートフォンなど）、又はインターネットなどのネットワーク（又はクラウド）上のサーバ装置において、エージェントのプロキシープロセスにおいて処理するようにしてもよい。また、物体のデータなどのデータベースは、好ましくはサーバ装置で管理されるストレージに記憶されるのがよいが、情報処理装置１００と連携する外部装置（例えば、スマートフォン）など、聴取者が利用するパーソナルデバイス上のメモリに格納されてもよい。
【０２４５】
以下では、情報処理装置１００において実行されるエージェントの処理の一例について説明する。但し、情報処理装置１００では、電源が投入された後にエージェントが下記の処理ステップを繰り返すものとする。
【０２４６】
（ステップ１）
センシング処理部４７０２において、深度処理（深度センサ５１２から深度データを受信して処理）、画像処理（イメージセンサ５１３から画像データを受信して処理）、及び物体検出処理（物体検出センサ５１１から物体検出データを受信して処理）の３つの処理が並行に行われる。ＭＰＵなどのコントローラ５５１がマルチコアプロセッサを含む場合には、実際に並列処理が行われる。コントローラ５５１がシングルコアプロセッサの場合には、ＯＳのスケジューラによって疑似並列処理（マルチプロセス処理又はマルチスレッド処理）が行われる。深度処理では、深度センサ５１２から取り込んだ深度データをフィルタ処理し、空間の深度情報を管理し易い情報（例えば、ボクセルグリッド）に変換する処理が行われ、深度マップ情報が生成される。画像処理では、画像認識処理によって物体認識が行われ、認識された物体情報が生成される。物体検出処理では、ユーザの周辺で衝突の可能性のある物体の検出が行われ、認識された物体情報が生成される。これらの処理の一部又は全部は、インターネットなどネットワーク（又はクラウド）上のサーバ装置や情報処理装置１００と連携する外部装置（スマートフォンなど）によって行われてもよい。
【０２４７】
（ステップ２）
センシング処理部４７０２によるセンシング処理と並行して、状況認識処理部４７０３では状況認識処理が行われる。状況認識処理は、センシング処理部４７０２が生成した深度マップ情報及び物体情報に基づいて物体認識を行う。認識された物体に関する情報を抽出するために、後続のステップ３（後述）におけるオブジェクトデータ取得処理を呼び出す。これらの処理の一部又は全部は、インターネットなどネットワーク（又はクラウド）上のサーバ装置や情報処理装置１００と連携する外部装置（スマートフォンなど）によって行われてもよい。
【０２４８】
（ステップ３）
オブジェクトデータ取得処理では、認識された物体の中から、聴取者の関心が高いと思われる物体を１つ選択し、データベースから対象物体の音源情報を取得する。これらの処理の一部又は全部は、インターネットなどネットワーク（又はクラウド）上のサーバ装置や情報処理装置１００と連携する外部装置（スマートフォンなど）によって行われてもよい。サーバ装置など情報処理装置１００の外部でオブジェクトデータ取得処理が行われる場合には、データベースは、サーバ装置と無線又は有線通信によって接続可能なネットワーク上のストレージに格納され、サーバ装置などがそのデータベースからデータを取得可能なようにされている。
【０２４９】
（ステップ４）
出力情報決定処理部４７０６は、選択された音源情報を取得する（オブジェクトデータ取得処理からメモリ５５２を介して、又は通信回線を介して取得する）。音源情報は、検出された物体までの距離などに基づく物体の位置情報（あるいはエレベータなど位置が固定の物体であれば、データベースに登録された位置情報）、物体に対して登録されている音源データなどを含む。
【０２５０】
（ステップ５）
音像位置制御処部４７０７では、聴取者の現在位置情報と取得した物体の位置情報から、聴取者と物体を３次元音響空間の位置にマッピングし、マッピングされた２つの位置の間で、定義された音像の移動軌跡（物への憑依のイメージなど）を計算する。
【０２５１】
（ステップ６）
３次元音響空間生成処理では、先行するステップ５で生成された軌跡に沿って音源を移動させながら音像定位するように、音響空間フィルタを制御して３次元音響データを生成する。この際、３次元音響空間生成処理部４７０８は、聴取者個人のＨＲＴＦを考慮したフィルタ処理も行う。さらに、生成された音響データをスピーカ５４４から音響出力する（若しくは、音響発生部１１０で音響データを物理振動からなる音響に変換し、音導部１２０を経由して、聴取者の耳に向けて出力する）。
【０２５２】
以下では、パーソナルエージェントにおける処理を、音モード、センシングモード、ガイダンスモード、及び情報量制御の４つの観点で制御する例について説明する。
【０２５３】
図４８には、上記の（ステップ１）において、パーソナルエージェントが、センシング処理部４７０２において実施するセンシング処理の手順をフローチャートの形式で示している。
【０２５４】
パーソナルエージェントは、まず、情報処理装置１００のセンシングモードが白杖モードであるかどうかをチェックする（ステップＳ４８０１）。
【０２５５】
そして、情報処理装置１００が白杖モードであれば（ステップＳ４８０１のＹｅｓ）、パーソナルエージェントは、物体検出センサ５１１を近距離優先設定とする（ステップＳ４８０２）。既に述べたように、白杖モードでは、ユーザの至近距離での物体検出が優先されるため（例えば、図２８を参照のこと）、物体検出センサ５１１の状態を「近距離優先設定」とする。具体的には、物体検出センサ５１１としてミリ波レーダと超音波センサの両方を使用可能な情報処理装置１００においては、ミリ波レーダを電源オフ（又は使用不可状態）とするとともに超音波センサの電源をオン（又は使用可能状態）とし、超音波センサにより近接物体の検出を優先して行えるようにする。あるいは、物体検出センサ５１１としてミリ波レーダのみが搭載されている情報処理装置１００においては、ミリ波レーダのレンジを近距離に設定して、より消費電力を抑えた形で物体検出を行うようにしてもよい。
【０２５６】
一方、情報処理装置１００が白杖モードではない場合（若しくは、通常モードの場合）には（ステップＳ４８０１のＮｏ）、パーソナルエージェントは、物体検出センサ５１１の状態を「通常設定」とする（ステップＳ４８０３）。この場合、物体検出センサ５１１を通常近距離だけに限ることはなく、最大限の物体検出が可能なように、長距離センサを使うようにしてもよい。また、情報処理装置１００が複数の物体検出センサを使用可能な場合には、すべてを使用可能な状態としてもよい。
【０２５７】
図４９には、上記の（ステップ２）において、パーソナルエージェントが、状況認識処理部４７０３において実施する状況認識処理の手順をフローチャートの形式で示している。
【０２５８】
パーソナルエージェントは、まず、情報処理装置１００のセンシングモードが白杖モードであるかどうかをチェックする（ステップＳ４９０１）。
【０２５９】
そして、情報処理装置１００が白杖モードであれば（ステップＳ４９０１のＹｅｓ）、パーソナルエージェントは、聴取者の進行方向に衝突可能性のある物体があるかどうかを検出処理する（ステップＳ４９０２）。
【０２６０】
聴取者の進行方向に衝突可能性のある物体が検出された場合には（ステップＳ４９０２のＹｅｓ）、パーソナルエージェントは、情報処理装置１００の音モードが仮想音モードであるかどうかをさらにチェックする（ステップＳ４９０３）。また、聴取者の進行方向に衝突可能性のある物体が検出されない場合には（ステップＳ４９０２のＮｏ）、パーソナルエージェントは、物体検出センサ５１１などの検出結果に基づいて物体認識処理を行って（ステップＳ４９０６）、検出された物体情報を取得してから、情報処理装置１００の音モードをチェックする（ステップＳ４９０３）。情報処理装置１００が仮想音モードであれば（ステップＳ４９０３のＹｅｓ）、パーソナルエージェントは、警告用の仮想音を生成させる（ステップＳ４９０４）。また、情報処理装置１００が音声モードであれば（ステップＳ４９０３のＮｏ）、パーソナルエージェントは、警告用に仮想的な音声を生成させる（ステップＳ４９０５）。
【０２６１】
一方、情報処理装置１００が白杖モードではなく通常モードの場合には（ステップＳ４９０１のＮｏ）、パーソナルエージェントは、物体検出センサ５１１などの検出結果に基づいて物体認識処理を行って（ステップＳ４９０６）、検出された物体情報を取得する。そして、パーソナルエージェントは、情報処理装置１００の音モードが仮想音モードであるかどうかをさらにチェックする（ステップＳ４９０７）。情報処理装置１００が仮想音モードであれば（ステップＳ４９０７のＹｅｓ）、パーソナルエージェントは、認識した物体に関する仮想音を生成させる（ステップＳ４９０８）。また、情報処理装置１００が音声モードであれば（ステップＳ４９０３のＮｏ）、パーソナルエージェントは、認識した物体に関する情報を通知するために仮想的な音声を生成する（ステップＳ４９０９）。
【０２６２】
図５０には、図４９に示したフローチャートのステップＳ４９０６において実施される物体認識処理の手順をフローチャートの形式で示している。
【０２６３】
パーソナルエージェントは、まず、情報処理装置１００のガイダンスモードをチェックする（ステップＳ５００１）。
【０２６４】
そして、情報処理装置１００のガイダンスモードがお任せモードであれば（ステップＳ５００１のＹｅｓ）、パーソナルエージェントは、情報量が０であるかどうかをさらにチェックする（ステップＳ５００２）。情報量が０であれば（ステップＳ５００２のＹｅｓ）、聴取者が音情報を希望していないので、物体認識処理を中止して、本処理を終了する。一方、情報量が０でなければ（ステップＳ５００２のＮｏ）、設定されている情報量に合わせて、パーソナルエージェントが興味を持つ（若しくは、聴取者に推薦したい）物体を、センサ類５１０の検出結果の認識処理（例えば、画像処理）によって探索して、物体情報をリストアップする（ステップＳ５００３）。
【０２６５】
また、情報処理装置１００のガイダンスモードがお任せモードでない場合には（ステップＳ５００１のＮｏ）、パーソナルエージェントは、ユーザがユーザインターフェースなどにより情報量制御で設定する情報量が０（ゼロ）であるかどうかをさらにチェックする（ステップＳ５００４）。情報量が０（ゼロ）であれば（ステップＳ５００４のＹｅｓ）、聴取者が音情報を希望していないので、物体認識処理を中止して、本処理を終了する。一方、情報量が０（ゼロ）でなければ（ステップＳ５００４のＮｏ）、パーソナルエージェントは、設定されている情報量に合わせて、選択されたプロファイルで指定された優先順位に従い、センサ類５１０の検出結果の認識処理（例えば、画像処理）を通じて物体を探索して、物体情報をリストアップする（ステップＳ５００５）。
【０２６６】
図５０に示した物体認識処理を終了すると、制御は図４９に示した状況認識処理に戻る。そして、ステップＳ４９０７において、音モードが仮想音モードでいるかどうかをチェックし、そのチェック結果に基づいて仮想音（音声を含む）が発生される。
【０２６７】
（Ｄ）学習機能によるモード選択サポート
パーソナルエージェントを情報処理装置１００のメモリ５５２内に常駐させ、聴取者の行動を監視するようにすることで、聴取者に提供する音声サービス又はセンシングサービスにおける情報量制御のために、学習支援することができる。
【０２６８】
例えば、聴取者は、センシングモードとして白杖モードを選択するとともに、ガイダンスモードとしてお任せモードを選択し、音モードとして仮想音モードを選択し、さらに情報量制御を「最低」に設定している。この場合、白杖モードでは仮想音情報を提供するのが原則であるが、パーソナルエージェントは、聴取者から音声による問い合わせがあった場合のみ、必要に応じて仮想的に生成した音声で情報を回答することができる。
【０２６９】
パーソナルエージェントが、聴取者の行動を監視し、特定の場所で所定時間以上滞留している状況を認識したとする。このような場合、聴取者が困難な状況にあると判断して、その状況を学習するようにパーソナルエージェントの学習・推定処理部４７０４を学習のために動作させることができる。
【０２７０】
聴取者は、自身自分のいる位置が分かっている場合、その場所について質問することはない。例えば、聴取者は、自分が自動販売機（ベンディングマシン）の前にいることを知っているが、しばらく自動販売機において購入動作をしない。このような場合、聴取者は、「缶コーヒーの場所を示してほしい」と言う。白杖モードであるため、音源（仮想音の音像）が移動して、缶コーヒーのボタンに憑依するように定位する。
【０２７１】
この場合、パーソナルエージェントは、学習・推定処理部４７０４において学習のためにニューラルネットワークアクセラレータ５５５を起動し、又は、ＭＰＵなどからなるコントローラ５５１においてニューラルネットワークの学習機能を用いて、入力ベクトルの情報として「自動販売機」の位置と「缶コーヒーのボタン」の位置を入力し、学習させる。このようにすることで、次回、情報処理装置１００を白杖モードに設定して、聴取者が同じ場所に来た場合には、情報処理装置１００は、音源が缶コーヒーのボタンに憑依するような音像定位の移動する処理を自動的に実行することができる。同じ「自動販売機」に対して、複数の選択肢を学習した場合には、複数のボタンを示すように複数の音源が音像定位するかもしれない。また、聴取者に押される確率が高いボタンに憑依するように仮想音の音像定位を移動させるかもしれない。
【０２７２】
情報処理装置１００の学習モードにおいて、入力ベクトルの情報として、日付、天気、直前の選択などを、該当する物体（自動販売機など）の位置情報とともに学習させれば、パーソナルエージェントは、同じような状況（位置、日付、天気、直前の選択、などによって規定される状態の集合）をセンサ類５１０の検出結果に基づいて認識した場合に、聴取者に対して、所定のボタンを押すことを示唆するように、仮想音源の音像定位を行うようにすることもできる。
【０２７３】
もちろん、パーソナルエージェントが無線又は有線通信によって接続されるインターネットなどネットワーク（又はクラウド）上のサーバ装置（処理装置やストレージ（メモリ含む）を含む）で動作する場合には、サーバ装置が上述したような学習機能を提供するようにしてもよい。
【０２７４】
＜２．ネットワークシステム＞
続いて、情報処理装置１００と通信を行いながらサービスの提供をサポートする聴覚拡張システムについて説明する。
【０２７５】
聴覚拡張システムは、「クラウド」とも呼ばれるコンピュータネットワークシステムにおいて情報処理装置１００を取り込んだシステムであり、インターネットに接続する多数のサーバ装置（又は、クラウドサーバ、エッジサーバ、フォグサーバなど）、ＩｏＴデバイス、又は、複数の情報処理装置１００、情報処理装置１００と連携する外部装置（スマートフォン、スマートウォッチ、タブレット、パーソナルコンピュータなど聴取者が保有する情報端末）などによって構成されるシステムである。
【０２７６】
パーソナルエージェントは、環境に応じて、自動的に又は手動で選択するようにすることができる。パーソナルエージェントは、インターネットなどのネットワーク（又はクラウド）上のサーバ装置、聴取者が搭乗する乗り物（自分で運転する自動車、又はバスや電車などの公共交通機関）のコンピュータ、又は聴取者の自宅に設置されたホームサーバやテレビ、冷蔵庫などの各種電気製品に搭載されているコンピュータなどで、異なるパーソナルエージェントとして動作することができる。パーソナルエージェントは、聴取者が行動する環境に応じて、自動的に選択されるように設定してもよいし、あらかじめ情報処理装置１００のメモリ５５２内に記憶した選択済みのパーソナルエージェントに常に接続されるように設定してもよい。また、情報処理装置１００は、これらのパーソナルエージェントが動作するサーバ装置との接続情報を記憶している。
【０２７７】
パーソナルエージェントが自動的に選択される場合には、自動的にプロファイル選択モードを選択するようにすることもできる。図５６には、プロファイル選択モード下における情報処理装置１００のモード遷移を例示している。情報処理装置１００のモード切り替えに応じて、パーソナルエージェントも切り替わる。具体的には、聴取者が家にいるときには、家庭のパーソナルエージェントが機能してホームモードを選択し、オフィスにいるときには、オフィス用のパーソナルエージェントがオフィスモードを選択し、映画館に来たときには映画館専用のパーソナルエージェントが鑑賞モードを選択し、自動車に搭乗しているときには自動車専用のパーソナルエージェントが運転サポートモードを選択するように、聴覚拡張システムを設定することができる。
【０２７８】
＜３．プログラム＞
上述した聴覚拡張機能を実現するためのコンピュータプログラムは、オーディオコーデック部５３０や、コントローラ５５１などのプロセッサ（例えば、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＧＰＵ、ＧＰＧＰＵ、ニューラルネットワークアクセラレータ５５５のような形態で提供されるプログラム処理装置）で動作するような命令で構成され、コントローラ５５１が読み出すことが可能なメモリ５５２（ＲＯＭ、ＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ、ＳＳＤ）に格納されて保持される。メモリ５５２は、ＧＰＵなどのコントローラ５５１やニューラルネットワークアクセラレータ５５５を構成する回路チップに混載され、それぞれの処理ユニット内に含まれる多数のＰＥが処理ユニット内でデータを共有するための共有メモリ（Ｓｈａｒｅｄ  Ｍｅｍｏｒｙ）として実装することもできる。このようにすることで、音響空間計算やニューラルネットワークの計算などを、外部のメモリや処理ユニットから独立して、高速且つ効率的に処理することができる。
【０２７９】
プログラムは、可搬型の半導体メモリやＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などのリムーバブル記憶メディアに記録され、いわゆるパッケージメディアソフトウエアとして提供される。
【０２８０】
また、プログラムは、インターネットに接続されるプログラムのダウンロードが可能なサーバ装置（ＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）などで場所を指定してアクセスが可能とされており、サイト（Ｓｉｔｅ）と呼ばれることもある）の記憶装置に記録され、インターネットやＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を経由して、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）のような無線通信やＥｔｈｅｒｎｅｔ（登録商標）又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などの有線通信により、情報処理装置１００にダウンロードすることが可能である。
【０２８１】
いずれの入手方法にせよ、取得したプログラムをメモリ５５２に記録した上で、ＯＳによって管理されるプログラムとしてインストールすることによって、例えば汎用の情報端末を本実施形態に係る情報処理装置１００として機能させることも可能になる。
【０２８２】
要するに、コンピュータプログラムという形態で、本実施形態に係る情報処理装置１００を広範に普及させることができ、視力に障害を有する人を始め、さまざまな人が情報処理装置１００によって提供される聴覚拡張機能を容易に享受できる。
【０２８３】
＜４．変形例＞
これまで本明細書で開示する技術の実施形態について説明してきたが、さらにたような変形例が考えられる。
【０２８４】
（１）パーソナルエージェント
パーソナルエージェントの性格（キャラクタ）は、聴取者がユーザインターフェースを用いて選択するようにできる。キャラクタのデータは、下記のような項目を含み、既存の定義がある項目もあるが、いくつかの項目については聴取者がカスタマイズして設定することができるものとする。
【０２８５】
●  タイプ：  人（定型）、登録済みのスペシャルなキャラクタ（ゲーム、アニメーションの登場人物のキャラクタ）、動物（猫、犬）又は鳥などの中から選択可能。
【０２８６】
●  性別：  キャラクタタイプが人の場合に選択可能。
【０２８７】
●  年齢：  キャラクタタイプが人の場合に選択可能。
【０２８８】
●  嗜好性：  趣味など嗜好性を選択・入力可能。
【０２８９】
●  気質：  穏やか、活動的、などから選択可能。
【０２９０】
●  （仮想）音声データ：音声モードが選択されたときに使用される仮想音声を生成するためのデータ。
（ａ）キャラクタタイプが人（定型）を選択した場合。性別、年齢、嗜好性の入力項目に関して集積された音声データベースから作成された平均的な音声の特徴データ（特徴データとは、データに基づいてテキストの音声読み上げを行うのに十分なデータである）
（ｂ）キャラクタタイプがスペシャルなキャラクタの場合。キャラクタを演じている実在の声優の音声の特徴データ。特徴データに基づき仮想的な声優の音声を生成する。
（ｃ）キャラクタタイプが動物の場合。デフォルトでは使用されない。仮想音データ参照。
（ｄ）自動作成データ：音声サンプルを与え、分析された結果抽出された音声の特徴データ。特徴データに基づき仮想的に音声を生成する。特徴データに基づき仮想的に音声を生成する。
【０２９１】
●  仮想音（仮想音声を除く）データ：周波数、継続時間、音圧サンプル値の時系列データ、又は仮想音ＩＤを含む。仮想音ＩＤは、仮想音データベースに登録された仮想音情報と関連付けられた識別子である。仮想音モードが選択されたときに、パーソナルエージェントが発する基本仮想音として、パーソナルエージェントの存在を知るために使われるもの。不要なときには、聴取者からの入力によって停止するようにすることもできるし、あらかじめ発生させないようなタイプもある。
（ａ）キャラクタタイプが人（定型）の場合。デフォルト発生させない。
（ｂ）キャラクタタイプがスペシャルキャラクタの場合。デフォルト発生させない。アニメーションなどの効果音を状況別に登録して、認識された状況に応じて、適宜発生させるモードを選択することもできる。
（ｃ）キャラクタタイプが動物又は鳥の場合。認識された状況に応じて発生させる仮想音を定義することができる。キャラクタタイプが犬であった場合、白杖モードで機能させるときに発生させる音として、犬の音源が聴取者の周辺をうろうろするような仮想音を発生させるようにできる。
【０２９２】
仮想音（音声を含む）データは、キャラクタＩＤと関連付けて登録されているため、特定のキャラクタＩＤを選択することで、特定の仮想音（音声を含む）によって、サービスを提供することができる。
【０２９３】
（２）物の特性に応じた仮想音源の属性
仮想音源については、その憑依する物体の性質や属性によって仮想音源を変えることもできる。例えば、聴取者がエレベータに乗る場合には、足元から「シュッ」という音でエレベータの方向に向かった仮想音が、エレベータに憑依する時点で「チン」というエレベータの到着音のように変化してもよい。このような特性は、あらかじめ規定のプロファイルとして提供されてもよいし、聴取者が変更可能なプロファイルとして提供され、スマートフォンなどのユーザインターフェースを用いて変更できるようにもできる。
【０２９４】
（３）仮想音源の数の制御
上述した実施例においては、パーソナルエージェントの音声メッセージの量を制御する機能について説明した。一方で、環境内でセンサ類５１０の検出結果に基づいて識別された物体の数や種類に応じて仮想音源を生成し、音像定位させることも可能である。環境内で識別できた物体の数や種類が多く、仮想音源が多過ぎた場合には、聴取者は自分の好みや使い勝手などに応じて手動（例えば、ジェスチャによって）で、又は自動で、これらの音源の数を制御するような制御機能を設けてもよい。仮想音源の数を間引く方法としては、下記のような機能を提供できる。
【０２９５】
●  聴取者が手動で明示的に特定の仮想音源をオフにする。このためには、仮想音源が提示されている音の位置を触って押しのけるようなジェスチャを行えばよい。ＴＯＦセンサやステレオカメラを使うことでユーザの手の位置を認識し、その位置が、おおよそ仮想音源の方向とオーバラップしている場合には、所定の仮想音源をオフにすることができる。
●  聴取者に近づいてくる物体に関する仮想音源をオンにする一方、聴取者から遠ざかっていく物体に関する仮想音源をオフにする。
●  聴取者がまだ行ったことがない場所や知見が浅い場所では仮想音源をオンにするが、聴取者が過去に行ったことがある場所や知見が豊富な場所では仮想音源をオフにする。
●  パーソナルエージェントが興味を持ち、又は聴取者に推薦したい物体に関する仮想音源をオンにするが、パーソナルエージェントが興味を持たず、又は聴取者に推薦する必要がない物体に関する仮想音源をオフにする。
【０２９６】
（４）白杖モードの応用としての自律移動システム
情報処理装置１００の白杖モードを、外部装置と組み合わせることができる。具体的には、自律移動可能なロボットや自律飛行可能な無人飛行機（ドローン）といった自律移動装置をセンサ類５１０若しくは状況認識処理部４７０３として、情報処理装置１００と組み合わせた聴覚拡張システムを構築することができる。
【０２９７】
この場合、情報処理装置１００のセンシングモードとして白杖モードを選択することに応じて、白杖モードと連携する外部装置をさらに選択できるようにすることができる。具体的には、白杖モードで動作する情報処理装置１００と連携する外部装置を登録する。例えば、スマートフォンなどディスプレイを備えた危機のユーザインターフェースが提供する白杖モードの設定画面において、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信により接続可能な外部装置を、白杖モードで連携するデバイスとして選択することができる。白杖モードで情報処理装置１００と連携するように設定されている外部装置は、通常モードで動作する場合には必ずしも連携する必要はない。白杖モードで連携可能な外部装置として、以下の装置を例示することができる。
【０２９８】
●  スマートフォンなど汎用且つ個人用装置（Ｐｅｒｓｏｎａｌ  Ｄｅｖｉｃｅ）
●  アイウェア（スマートグラス、ＶＲグラス、ＡＲグラス）など頭部装着装置（図１６の機能拡張部１４０２もこの類型に属す）
●  スマートウォッチやショルダーウェアなど頭部以外に装着する装置
●  杖型装置など特殊目的の手持ち用装置
●  移動ロボット又はドローンなど自律移動装置（地上、地中、空中、水中で動作）
【０２９９】
上記のうち、移動ロボットやドローンなどの自律移動装置は、移動手段の駆動系（モータ、車輪や脚、プロペラなど）や筐体の構造などが他の類型の装置とは相違するが、それ以外のセンサ類やハードウェア、センサ類の検出結果などを処理するソフトウェアは、上述した情報処理装置１００と本質的には相違しない。したがって、移動ロボットやドローンなどの自律移動装置を、聴取者の情報収集を支援し又はその他の目的を果たす外部装置として、情報処理装置１００と連携させることができる。
【０３００】
外部装置を情報処理装置１００と連携させることにより、少なくとも以下の２つの主要な効果が生じる。
【０３０１】
●  情報処理装置１００のバッテリ消費を低減できる。
●  情報処理装置１００の処理負荷を低減できる。
【０３０２】
図５１には、情報処理装置１００と連携する自律移動装置５１００の機能的構成例を示している。図５１に示す例では、センサ類５１１０を構成するセンサ素子及びセンサコントローラの多くが自律移動装置５１００に搭載され、且つ自律移動装置５１００側でセンサ類５１１０の検出結果に基づく認識処理が実施される（センサ類５１１０には、図示しないマイク５４１（前述）を含む）。そして、情報処理装置１００には、自律移動装置５１００とのペアリング通信により認識結果がもたらされる。したがって、図７に示した情報処理装置１００の構成例と比較して、情報処理装置１００のバッテリ消費や処理負荷が低減される、ということができる。
【０３０３】
コントローラ５１５１は、コンピュータプログラムを実行するプロセッサであり、自律移動装置５１００全体の動作を統括的に制御する。コントローラ５１５１は、ＣＰＵやＧＰＵ、ニューラルネットワークアクセラレータといったプロセッサを適宜含んで構成される。
【０３０４】
バッテリ５１０１は、図示しないバッテリコントローラによって制御され、自律移動装置５１００内の各ハードウェアモジュールに対して電源を供給する。
【０３０５】
無線モジュール５１５３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）などの通信用ＲＦ回路を備えており、この種の通信規格に則って、連携する（若しくはペアリングされた）情報処理装置１００と接続可能であり、制御命令やデータの送受信を行うことができる。
【０３０６】
メモリ５１５２は、ＲОＭ、ＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ、ＳＳＤなどで構成される。メモリ５１５２内には、コントローラ５１５１において実行するコンピュータプログラム（ソフトウェア）並びにプログラム実行に使用する各種データが記憶される。
【０３０７】
例えば、メモリ５１５２内には、無線接続に必要な情報（ＭＡＣアドレスなどの情報処理装置１００にアクセスするためのアドレス情報）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信で接続する情報処理装置１００とのペアリング情報も格納されている。自律移動装置５１００は、これらの接続情報を用いて、イヤピースの形状をした情報処理装置１００に接続して、聴取者の聴覚拡張のためのセンサ機能や、状況認識、物体認識などの機能を情報処理装置１００に提供することができる。
【０３０８】
センサ類５１１０は、物体検出センサ５１１１、深度センサ５１１２、イメージセンサ５１１３など各種のセンサ素子で構成される。図示を省略するが、位置情報を取得するＧＰＳ、自律移動装置５１００の移動を検出する加速度センサやジャイロセンサ、周辺温度を検出する温度センサなどのうち少なくとも１つをセンサ類５１０に含めることもできる。各センサ５１１１、５１１２、５１１３、…の検出信号は、それぞれ対応するセンサコントローラ５１２１、５１２２、５１２３、…で信号処理された後にデジタル検出信号として出力される。
【０３０９】
また、図５２には、自律移動装置５１００と情報処理装置１００のソフトウェアによる連携処理の一例を示している。図５２に示す例では、パーソナルエージェントソフトウェアが自律移動装置５１００上で動作するとともに、音響空間制御ソフトウェアが情報処理装置１００で動作する。したがって、図４７に示した、パーソナルエージェントソフトウェアと音響空間制御ソフトウェアがともに情報処理装置１００で動作するソフトウェア処理例と比較して、情報処理装置１００の処理負荷が低減される、ということができる。
【０３１０】
パーソナルエージェントは、マイク５４１を含むセンサ類５１１０からの入力を取得すると、その入力データを状況認識処理部５２０３、行動認識処理部５２０５、及び学習・推定処理部５２０４に送る。ここで、学習・推定処理部５２０４はオプションとすることもできるし、必要なときだけ実行されるようにすることもできる。状況認識処理部５２０３は、その処理において、検出したオブジェクトの情報をデータベース（図示しない）から取得する。ここで、データベースが、インターネットなどのネットワーク（又はクラウド）上のサーバ装置によって管理されている場合、無線モジュール５１５３などの通信インターフェースを使ってサーバ装置と通信を行い、検出したオブジェクトの情報を取得する。状況認識処理部５２０３によって取得されたオブジェクトのデータや、認識された状況のデータ、行動認識処理部５２０５によって認識された聴取者の行動のデータは、出力情報決定処理部５２０６に送られる。ここで、状況認識処理部５２０３や行動認識処理部５２０５においては、学習されたニューラルネットワークを用いた推定（推論）処理などを用いて認識を行うことができる。
【０３１１】
出力情報決定処理部５２０６では、情報処理装置１００において選択されたモードや情報量などの内部状態データも含め、学習・推定処理部５２０４によって学習されたニューラルネットワークを用いた推定（推論）処理などを必要に応じて行うことにより、３次元音響空間に必要なデータの選択を行う。ここで出力が決定されたオブジェクトの音源データなどは、音響空間制御ソフトウェアの音像位置制御処理部５２０７に送られる。音像位置制御処理部５２０７では、音響空間レンダリングによって音源位置の移動の効果などを計算するとともに、ＨＲＴＦデータに基づいてＤＳＰ５３３のフィルタを設定し、音像定位の処理を行う。そして、３次元音響空間生成処理部５２０８によって最終的に生成された３次元音響空間の音は、オーディオ出力ドライバである音響発生部１１０に送られ、管状の音導部１２０を経由して聴取者の耳に音データとして出力される。
【０３１２】
白杖モードの情報処理装置１００と移動ロボットとの連携が選択された場合、移動ロボット用のパーソナルエージェントのキャラクタタイプが設定される。ここで選択された移動ロボットが犬型ロボットの場合、移動ロボットとの連携開始時に、パーソナルエージェントのキャラクタタイプが「犬」に設定される。
【０３１３】
移動ロボットは、ＧＰＳやセンサ類５１０の検出結果に基づいて聴取者の位置を確認し、聴取者と所定の位置を保つように、聴取者の移動に合わせて、聴取者に先行して移動するようになっている。図５２からも分かるように、移動ロボットのパーソナルエージェントは、センシング処理、状況認識処理、物体検出処理を行う。センシング処理と物体検出処理は、情報処理装置１００のパーソナルエージェントが行う処理（図４７を参照のこと）と同様である。
【０３１４】
図５３には、自律移動装置のパーソナルエージェントが行う状態認識処理の手順をフローチャートの形式で示している。パーソナルエージェントは、物体認識処理を行って（ステップＳ５３０１）、連携する情報処理装置１００の３次元音響空間に出力すべき物体の音情報（音源データ、音源の位置データなど）を、無線通信などを介して情報処理装置１００に送信する（ステップＳ５３０２）。
【０３１５】
図５４には、情報処理装置１００側のパーソナルエージェントが行う３次元音響空間生成の処理手順をフローチャートの形式で示している。
【０３１６】
パーソナルエージェントは、まず自律移動装置と連携しているかどうかをチェックする（ステップＳ５４０１）。ここで、自律移動装置と連携していなければ（ステップＳ５４０１のＮｏ）、情報処理装置１００内で、センサ類５１０の検出結果に基づいて状況認識処理を実施する（ステップＳ５４０６）。
【０３１７】
一方、自律移動装置と連携している場合には（ステップＳ５４０１のＹｅｓ）、パーソナルエージェントは、連携している自律移動装置から音情報を受信待ちする（ステップＳ５４０２のＮｏ）。
【０３１８】
そして、自律移動装置から音情報を受信すると（ステップＳ５４０２のＹｅｓ）、情報処理装置１００の音モードが仮想音モードかどうかをさらにチェックする（ステップＳ５４０３）。仮想音モードであれば（Ｓ５４０３のＹｅｓ）、音響空間制御ソフトウェアは仮想音を生成し（ステップＳ５４０４）、音声モードであれば（ステップＳ５４０３のＮｏ）、仮想的に生成された音声によって情報を提供することになる。
（５）その他の変形例
●  聴取者が行列に遭遇した場合、情報処理装置１００は、仮想音を発生させ、聴取者の足元から行列の最後尾に憑依するように、仮想音の音像定位を移動させる。
【０３１９】
●  パーソナルエージェントが興味を持つもの、又はパーソナルエージェントが聴取者に推薦したいものをアピールするような音源で仮想音を生成し、例えば聴取者の身体の周りを周回してから、そのものに憑依するように、音像定位を移動させる。
【０３２０】
●  旅行モードにおいて、目的地（例えば、高層ビル）からかなり離れた場所（例えば１ｋｍ程度）に聴取者がいる場合、仮想音を発生させ、その目的地である高層ビルの方向に向かって上空に飛んで行って消えるように音像定位を移動させる。聴取者は、仮想音が向かった方向を頼りに、目的地へのおおよその方向を把握して進むことができる。また、目的地の近くに来たときには、仮想音が飛んでいく高度を次第に低くすることによって、目的地が近づいたという印象を聴取者に与えることができる。
【０３２１】
●  ＧＰＳなどで計測された聴取者の履歴に基づいて、聴取者が初めて訪れた場所であることが判った場合には、情報処理装置１００のガイダンスモードを自動的にオンにして、場所の説明などを行う。
【０３２２】
●  聴取者が自動販売機に向かったときに、情報処理装置１００は、仮想音を発生させ、聴取者に推薦したい商品のボタンに憑依するように、仮想音の音像定位を移動させる。自動販売機について既に学習済みの複数の選択肢（コーヒー、紅茶、オレンジジュースなど）があるときには、ルーレットなどを用いてランダムに選択した候補のボタンに、仮想音を憑依させる。
【０３２３】
●  聴取者が初めて訪れる場所、又は聴取者が初めて音像定位を経験する場合には、パーソナルエージェントの学習機能をオンにする。
【０３２４】
●  音情報の情報量が非常に限られている場合でも、サーバ装置にはすべての認識した物体のリストを、認識された場所と時間の情報と関連してデータベースで管理するようにしていてもよい。この場合、聴取者が時間のあるときに、その日にセンサで認識した物体についての音声情報サービスを受けられるように、「音声再生」機能を提供することができる。この場合には、ユーザインターフェースによって「音声再生」ボタン（ハードウェア的なボタンだけではなく、ソフトウェアによってＧＵＩ上に提供されるボタンも含む）などを提供することで、聴取者が「音声再生」ボタンを押すことにより、その日にセンサで認識した物体についての情報を提供するようにできる。また、この場合にも、聴取者は、情報量が多いと思えば、「情報量制御」のためのユーザインターフェースを用いて、音情報（仮想音（音声を含む）によって提供される情報）の量を制御することができる。
【０３２５】
なお、本明細書では、「音ＩＤ」、「仮想音ＩＤ」、「キャラクタＩＤ」、「オブジェクトＩＤ」などの用語を用いたが、これらはＵＵＩＤであればよく、「音」、「仮想音」、「キャラクタ」、「オブジェクト」などは、それぞれＵＵＩＤを割り当てられるデータ構造のタイプであると考えればよい。例えば、前述したエレベータのオブジェクトは、図５５に示すように定義される。図示の例では、エレベータスイッチの識別子は「ＥＶＳＷ０３４０」であること、エレベータは「オブジェクト」のサブクラスであること、エレベータの基本音源の識別子は「ＯＳ９４７０」であること、並びに、エレベータの基本音源の識別子は「ＯＳ９４７０」であり、ＰＣＭ音源は「音源」のサブクラスであり、音源データのデータサイズ及びＰＣＭ音源データのデータブロックが定義されている。
【産業上の利用可能性】
【０３２６】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。【０３２７】
本明細書で開示する技術を適用した情報処理装置は、主に音情報（音声又は仮想音によって提供される情報）を提示する機能を有する音声情報処理装置若しくはシステムであるが、後述するように３次元音響空間の中で聴取者の聴覚を拡張する機能を有するという観点から「聴覚拡張装置」としての側面を持つ。また、情報処理装置は、補聴器としての機能を備えるという側面もある。さらに、本明細書では、要素技術の説明と関連付けて発明として固有の効果を記載しており、本明細書で開示する技術は特許請求の範囲に記載された発明に限定されるものではないことを付言しておく。【０３２８】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。【０３２９】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）物体を検出するセンサと、
聴取者の耳に装着され、音響発生部と、前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースと、
前記音響発生部で発生させる音源の音情報を処理する処理部と、
を具備し、
前記処理部は、前記センサが検出した物体に対応する音源の音情報を取得し、前記検出した物体の位置に対応する３次元音響空間上の位置に関連して、前記取得した音源の音像を、位置を変えながら定位させる処理を行う、
情報処理装置。
（２）前記処理部は、仮想音を構成する前記音源の音像の位置を変えながら定位させる処理を行う、
上記（１）に記載の情報処理装置。
（３）前記処理部は、前記イヤピースの開放部を通過して鼓膜に到達する音の特性と識別可能な特性を持つ前記仮想音の処理を行う、
上記（２）に記載の情報処理装置。
（４）前記センサは、センシングモードに応じた検出エリアを有する、
上記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）前記センシングモードは、前記センサの通常の検出エリアにより検出を行う通常モードと、前記通常モードよりも限定した検出エリアにより検出を行う白杖モードを含む、
上記（４）に記載の情報処理装置。
（６）前記白杖モードでは、前記処理部は、前記センサが前記聴取者周辺の所定範囲の領域にある物体を検出したことに応じて、前記音源の音像の位置を変えながら定位させる処理を実施する、
上記（５）に記載の情報処理装置。
（７）複数の色を点灯できる機能を持つＬＥＤをさらに備え、
前記白杖モードでは、前記ＬＥＤを所定の色に点灯させる、
上記（５）又は（６）のいずれかに記載の情報処理装置。
（８）物体を検出するセンサと、
聴取者の耳に装着され、音響発生部と、前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースと、
前記音響発生部で発生させる音源の音情報を処理する処理部と、
を具備し、
前記処理部は、前記センサが検出した物体に関連して情報提供部によって提供される情報に対応する音源の音情報を取得し、前記音情報の型を選択するとともに前記音情報の情報量を制御しながら、前記取得した音源の音像を定位させる処理を行う、
情報処理装置。
（９）前記音情報の型は、音声データ又は音源データである、
上記（８）に記載の情報処理装置。
（１０）前記処理部は、前記音源データの音を発生させる頻度により前記音情報の情報量を制御する、
上記（８）又は（９）のいずれかに記載の情報処理装置。
（１１）前記音情報は、音情報の型が音声データであるときには、キャラクタＩＤと、前記キャラクタＩＤによって特定される音声の特徴情報を含む、
上記（９）又は（１０）のいずれかに記載の情報処理装置。
（１２）前記音情報は、音情報の型が音源データであるときには、周波数、継続時間、音圧サンプル値の時系列データ、音ＩＤのうち少なくとも１つを含む、
上記（９）又は（１０）のいずれかに記載の情報処理装置。
（１３）前記情報提供部は、データベースから前記物体により特定される情報を取得して提供する、
上記（８）に記載の情報処理装置。
（１４）前記情報提供部は、インターネットに接続されたサーバ装置で動作するソフトウェアと通信することにより、前記サーバ装置が前記物体により特定した情報を取得して提供する、
上記（８）に記載の情報処理装置。
（１５）前記処理部は、パーソナルエージェントである、
上記（８）に記載の情報処理装置。
（１６）前記パーソナルエージェントは、人工知能の機能を提供する、
上記（１５）に記載の情報処理装置。
（１７）前記人工知能の機能は、学習又は推定（推論）のための計算である、
上記（１６）に記載の情報処理装置。
（１８）ニューラルネットワーク処理部をさらに備える、
上記（８）に記載の情報処理装置。
（１９）前記ニューラルネットワーク処理部は、人工知能の機能の処理を行う、
上記（１８）に記載の情報処理装置。
（２０）前記処理部は、パーソナルエージェントの制御に基づき、前記情報提供部の処理をさらに行う、
上記（８）乃至（１９）のいずれかに記載の情報処理装置。
（２１）前記物体に関連する情報を格納するメモリをさらに備え、
前記情報提供部は、前記物体に関連する情報を前記メモリから読み出して提供する、
上記（２０）に記載の情報処理装置。
（２２）通信部をさらに備え、
前記情報提供部は、前記通信部を介して接続したサーバ装置に対して前記物体に関連する情報を問い合わせ、前記サーバ装置から受信した前記物体に関連する情報を提供する、
上記（２０）又は（２１）のいずれかに記載の情報処理装置。
（２３）通信部とマイクをさらに備え、
前記情報提供部は、前記通信部を介して接続したサーバ装置に対して前記マイクから取得した前記聴取者の音声を送信して前記物体に関連する情報を問い合わせ、前記サーバ装置から受信した前記物体に関連する情報を提供する、
上記（２０）又は（２１）のいずれかに記載の情報処理装置。
（２４）前記情報提供部は、前記サーバ装置から前記音声に対応する関連情報をさらに受信し、
前記処理部は、受信した関連情報に含まれる音源の音情報を取得して、その音源の音像を定位させる処理を行う、
上記（２３）に記載の情報処理装置。
（２５）聴取者の耳の背面に配設される音響発生部と、前記耳の耳介背面から耳垂付近を通過して前記耳の耳介前面に折り返す構造を有して前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースと、
外部の情報を取得するセンサと、
プロセッサと、
を具備し、複数のモードのいずれかを選択して動作する情報処理装置であって、
前記プロセッサは、前記センサによって取得した外部の情報に基づいて外部の３次元空間を再現し、前記複数のモードのうち選択されたモードに応じて、前記音響発生部に音を発生させるための仮想音情報を生成し、前記３次元空間上で時間とともに位置を変化させる音源を音像定位させる、
情報処理装置。
（２６）物体を検出するステップと、
前記検出した物体に対応する音源の音情報を取得するステップと、
前記検出した物体の位置に対応する３次元音響空間上の位置に関連して、前記取得した音源の音像を、位置を変えながら定位させる処理を行うステップと、
音響発生部と前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースから、前記音像の音を出力するステップと、
を有する情報処理方法。
（２７）物体を検出するステップと、
前記検出した物体に関連して提供される情報に対応する音源の音情報を取得するステップと、
前記音情報の型を選択するとともに前記音情報の情報量を制御しながら、前記取得した音源の音像を定位させる処理を行うステップと、
音響発生部と前記音響発生部が発生した音を耳穴内部に伝える音導部を備えた耳穴開放型のイヤピースから、前記音像の音を出力するステップと、
を有する情報処理方法。
【符号の説明】
【０３３０】
１００…情報処理装置、１１０…音響発生部
１２０…音導部、１３０…保持部
５０１…バッテリ
５１１…物体検出センサ、５２１…センサコントローラ
５１２…深度センサ、５２２…センサコントローラ
５１３…イメージセンサ、５２３…センサコントローラ
５１４…タッチセンサ
５３０…オーディオコーデック部、５３１…ＡＤＣ、５３２…ＤＡＣ
５３３…ＤＳＰ、５３４…インターフェースコントローラ
５４１…マイク、５４２…エラーマイク、５４３…マイク用アンプ
５４４…スピーカ、５４５…スピーカ用アンプ
５５１…コントローラ、５５２…メモリ
５５３…無線モジュール、５５４…ＬＥＤ
５５５…ニューラルネットワークアクセラレータ
１３０１…畳み込みニューラルネットワーク（ＣＮＮ）
１３０２…バスインターフェース、１３０３…重み処理部
１３０４…加算器、１３０５…ニューラルネットワーク後処理部
１３０６…共有バッファ、１３０７…出力処理部
１４００…聴覚拡張システム
１４０１…本体部、１４０２…機能拡張部
１４１１、１４１２…接続端子
１６０１…コントローラ、１６０２…メモリ
１６１１、１６１２…ＩＯインターフェース
１７１５…フィルタ（ＨＲＴＦ）
１７１８…フィルタ（音響環境伝達関数）
１７２０…音像位置別ＨＲＴＦデータベース
１７２１…周囲音響環境データベース
１７２２…ユーザインターフェース
１７２４…音像位置制御部、１７２５…音響環境制御部
１７２６…マイク、１７２７…コントローラ、１７２８…選択部
１７３０…無線通信部、１７５０…サーバ装置
４７０１…ユーザインターフェース、４７０２…センシング処理部
４７０３…状況認識処理部、４７０４…学習・推定処理部
４７０５…行動認識処理部、４７０６…出力情報決定処理部
４７０７…音像位置制御処理部、４７０８…３次元音響空間生成処理部
５２０１…ユーザインターフェース、５２０２…センシング処理部
５２０３…状況認識処理部、５２０４…学習・推定処理部
５２０５…行動認識処理部、５２０６…出力情報決定処理部
５２０７…音像位置制御処理部、５２０８…３次元音響空間生成処理部
【図１】
2019225192.tif 000003
【図２】
2019225192.tif 000004
【図３】
2019225192.tif 000005
【図４】
2019225192.tif 000006
【図５】
2019225192.tif 000007
【図６】
2019225192.tif 000008
【図７】
2019225192.tif 000009
【図８】
2019225192.tif 000010
【図９】
2019225192.tif 000011
【図１０】
2019225192.tif 000012
【図１１】
2019225192.tif 000013
【図１２】
2019225192.tif 000014
【図１３】
2019225192.tif 000015
【図１４】
2019225192.tif 000016
【図１５】
2019225192.tif 000017
【図１６】
2019225192.tif 000018
【図１７】
2019225192.tif 000019
【図１８】
2019225192.tif 000020
【図１９】
2019225192.tif 000021
【図２０】
2019225192.tif 000022
【図２１】
2019225192.tif 000023
【図２２】
2019225192.tif 000024
【図２３】
2019225192.tif 000025
【図２４】
2019225192.tif 000026
【図２５】
2019225192.tif 000027
【図２６】
2019225192.tif 000028
【図２７】
2019225192.tif 000029
【図２８】
2019225192.tif 000030
【図２９】
2019225192.tif 000031
【図３０】
2019225192.tif 000032
【図３１】
2019225192.tif 000033
【図３２】
2019225192.tif 000034
【図３３】
2019225192.tif 000035
【図３４】
2019225192.tif 000036
【図３５】
2019225192.tif 000037
【図３６】
2019225192.tif 000038
【図３７】
2019225192.tif 000039
【図３８】
2019225192.tif 000040
【図３９】
2019225192.tif 000041
【図４０】
2019225192.tif 000042
【図４１】
2019225192.tif 000043
【図４２】
2019225192.tif 000044
【図４３】
2019225192.tif 000045
【図４４】
2019225192.tif 000046
【図４５】
2019225192.tif 000047
【図４６】
2019225192.tif 000048
【図４７】
2019225192.tif 000049
【図４８】
2019225192.tif 000050
【図４９】
2019225192.tif 000051
【図５０】
2019225192.tif 000052
【図５１】
2019225192.tif 000053
【図５２】
2019225192.tif 000054
【図５３】
2019225192.tif 000055
【図５４】
2019225192.tif 000056
【図５５】
2019225192.tif 000057
【図５６】
2019225192.tif 000058
【図５７】
2019225192.tif 000059
【国際調査報告】
2019225192.tif 000060
2019225192.tif 000061
2019225192.tif 000062