(57)【要約】【課題】ユーザの状況に応じてメニュー項目を選択し易くする。【解決手段】音声再生端末は、ユーザが存在する現実空間に対応する仮想空間に、第１〜第８メニュー項目を示す仮想アイコンＩ１〜Ｉ８を配置する。音声再生端末は、仮想アイコンＩ１〜Ｉ８が配置された位置及びユーザの位置に対応する音の伝達特性に応じた信号処理を、第１〜第８メニュー項目を示す音声信号に施し、信号処理が施された音声信号に応じた音をスピーカーから出力する。表示端末２０は、仮想空間に配置された仮想アイコンＩ１〜Ｉ８を表示する。音声再生端末は、ユーザの体の動作及びその動作の動作量を検出する。例えば、仮想アイコンＩ１が配置された方向に体を動かす動作が検出され、且つ、検出された動作の動作量が閾値を超える場合、音声再生端末は、仮想アイコンＩ１が示す第１メニュー項目を選択する。【選択図】図７
2016035632.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが存在する現実空間に対応する仮想空間に、メニュー項目を示す仮想オブジェクトを配置する配置部と、
前記仮想オブジェクトが配置された前記仮想空間内の位置及び前記仮想空間上の前記ユーザの位置に対応する音の伝達特性に応じた信号処理を、前記メニュー項目を示す音声信号に施す信号処理部と、
前記信号処理が施された前記音声信号に応じた音を出力するスピーカーと、
前記仮想空間に配置された前記仮想オブジェクトを表示する表示部と、
前記ユーザの体の動作及び前記動作の動作量を検出する検出部と、
前記仮想オブジェクトが配置された方向に前記体を動かす動作が検出され、且つ、前記検出された動作の動作量が閾値を超えた場合には、前記メニュー項目を選択する選択部と、
前記スピーカーを有する第１端末と、前記表示部を有する第２端末との間の距離を測定する測定部と、
前記測定された距離に応じて、前記閾値を変更する変更部と
を備えるメニュー選択システム。
【請求項２】
前記スピーカーは、前記動作が開始されてから前記動作量が前記閾値に達するまでの間、第１通知音を出力し、前記動作量が前記閾値を超えると、第２通知音を出力する
請求項１に記載のメニュー選択システム。
【請求項３】
前記スピーカーは、前記閾値が変更されると、第３通知音を出力する
請求項１又は２に記載のメニュー選択システム。
【請求項４】
前記変更部は、前記ユーザの状況又は行動に応じて、前記閾値を変更する
請求項１から３のいずれか１項に記載のメニュー選択システム。
【請求項５】
ユーザが存在する現実空間に対応する仮想空間に、メニュー項目を示す仮想オブジェクトを配置するステップと、
前記仮想オブジェクトが配置された前記仮想空間内の位置及び前記仮想空間上の前記ユーザの位置に対応する音の伝達特性に応じた信号処理を、前記メニュー項目を示す音声信号に施すステップと、
前記信号処理が施された前記音声信号に応じた音をスピーカーから出力するステップと、
前記仮想空間に配置された前記仮想オブジェクトを表示部に表示するステップと、
前記ユーザの体の動作及び前記動作の動作量を検出するステップと、
前記仮想オブジェクトが配置された方向に前記体を動かす動作が検出され、且つ、前記検出された動作の動作量が閾値を超えた場合には、前記メニュー項目を選択するステップと、
前記スピーカーを有する第１端末と、前記表示部を有する第２端末との間の距離を測定するステップと、
前記測定された距離に応じて、前記閾値を変更するステップと
を備えるメニュー選択方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メニュー項目を選択する技術に関する。
【背景技術】
【０００２】
バーチャルサラウンド技術を利用して、メニュー項目の選択を実現する技術が知られている。例えば、特許文献１には、仮想的な３次元音場に複数のメニュー項目に対応する複数のメニュー音像を定位させ、装着者が頭を動かすことによって任意のメニュー音像を選択し、選択されたメニュー音像に対応するメニュー項目を実行することが記載されている。また、特許文献２のように、ＡＲ（Augmented Reality）を利用して、仮想オブジェクトを表示する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１９４４６０号公報
【特許文献２】特開２０１４−２１５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の発明のように、ユーザが体を動かすことによってメニュー項目を選択する場合には、ユーザの状況によってはメニュー項目を選択し難い場合がある。例えば、ユーザが満員電車に乗っている場合には、体をあまり動かすことができないため、メニュー項目を選択し難い。
本発明は、ユーザの状況に応じてメニュー項目を選択し易くすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、ユーザが存在する現実空間に対応する仮想空間に、メニュー項目を示す仮想オブジェクトを配置する配置部と、前記仮想オブジェクトが配置された前記仮想空間内の位置及び前記仮想空間上の前記ユーザの位置に対応する音の伝達特性に応じた信号処理を、前記メニュー項目を示す音声信号に施す信号処理部と、前記信号処理が施された前記音声信号に応じた音を出力するスピーカーと、前記仮想空間に配置された前記仮想オブジェクトを表示する表示部と、前記ユーザの体の動作及び前記動作の動作量を検出する検出部と、前記仮想オブジェクトが配置された方向に前記体を動かす動作が検出され、且つ、前記検出された動作の動作量が閾値を超えた場合には、前記メニュー項目を選択する選択部と、前記スピーカーを有する第１端末と、前記表示部を有する第２端末との間の距離を測定する測定部と、前記測定された距離に応じて、前記閾値を変更する変更部とを備えるメニュー選択システムを提供する。
【０００６】
前記スピーカーは、前記動作が開始されてから前記動作量が前記閾値に達するまでの間、第１通知音を出力し、前記動作量が前記閾値を超えると、第２通知音を出力してもよい。
【０００７】
前記スピーカーは、前記閾値が変更されると、第３通知音を出力してもよい。
【０００８】
前記変更部は、前記ユーザの状況又は行動に応じて、前記閾値を変更してもよい。
【０００９】
また、本発明は、ユーザが存在する現実空間に対応する仮想空間に、メニュー項目を示す仮想オブジェクトを配置するステップと、前記仮想オブジェクトが配置された前記仮想空間内の位置及び前記仮想空間上の前記ユーザの位置に対応する音の伝達特性に応じた信号処理を、前記メニュー項目を示す音声信号に施すステップと、前記信号処理が施された前記音声信号に応じた音をスピーカーから出力するステップと、前記仮想空間に配置された前記仮想オブジェクトを表示部に表示するステップと、前記ユーザの体の動作及び前記動作の動作量を検出するステップと、前記仮想オブジェクトが配置された方向に前記体を動かす動作が検出され、且つ、前記検出された動作の動作量が閾値を超えた場合には、前記メニュー項目を選択するステップと、前記スピーカーを有する第１端末と、前記表示部を有する第２端末との間の距離を測定するステップと、前記測定された距離に応じて、前記閾値を変更するステップとを備えるメニュー選択方法を提供する。
【発明の効果】
【００１０】
本発明によれば、ユーザの状況に応じてメニュー項目を選択し易くすることができる。
【図面の簡単な説明】
【００１１】
【図１】メニュー選択システムの構成を示す図。
【図２】音声再生端末のハードウェア構成を示す図。
【図３】音声再生端末の制御部の機能構成を示す図。
【図４】表示端末のハードウェア構成を示す図。
【図５】表示端末の制御部の機能構成を示す図。
【図６】メニュー選択システムの動作を示すシーケンスチャート。
【図７】仮想アイコンの配置の一例を示す図。
【図８】仮想アイコンの表示例を示す図。
【図９】表示端末の移動の一例を示す図。
【図１０】仮想アイコンの表示例を示す図。
【図１１】メニュー項目を選択する動作の一例を説明する図。
【発明を実施するための形態】
【００１２】
１．構成
（１）システムの全体構成
図１は、メニュー選択システム１の構成を示す図である。メニュー選択システム１は、音声再生端末１０と、表示端末２０とを備える。音声再生端末１０は、イヤホン型のウェアラブルコンピュータである。音声再生端末１０は、ユーザの耳に装着される。表示端末２０は、腕時計型のウェアラブルコンピュータである。表示端末２０は、ユーザの腕に装着される。音声再生端末１０と表示端末２０とは、予めペアリングされている。音声再生端末１０と表示端末２０とは連携して、ユーザによるメニュー項目の選択を実現する。
【００１３】
（２）音声再生端末１０の構成
音声再生端末１０は、右耳用の筐体１０１と、左耳用の筐体１０２と、ケーブル１０３と、本体１０４とを備える。筐体１０１は、ユーザの右耳に装着される。筐体１０１には、スピーカー１６‐１が収容される。筐体１０２は、ユーザの左耳に装着される。筐体１０２には、スピーカー１６‐２が収容される。ケーブル１０３は、筐体１０１と本体１０４、及び筐体１０２と本体１０４とを接続する。本体１０４は、２チャンネルの音声信号をスピーカー１６‐１及び１６‐２に供給することにより、ステレオ方式で音を再生する。
【００１４】
図２は、音声再生端末１０のハードウェア構成を示す図である。音声再生端末１０は、ユーザが存在する現実空間に対応する仮想空間に、メニュー項目に対応する仮想アイコンを配置し、バーチャルサラウンドを利用してユーザに仮想アイコンの配置を認識させる機能を有する。ユーザは、仮想アイコンが配置された方向に体を動かす動作を行うことにより、その仮想アイコンが示すメニュー項目を選択することができる。音声再生端末１０は、制御部１１と、記憶部１２と、通信部１３と、操作部１４と、マイクロフォン１５と、スピーカー１６‐１及び１６‐２と、測位部１７と、センサ部１８と、電源１９とを備える。これらの構成要素は、バス又はケーブル１０３を介して接続される。なお、スピーカー１６‐１及び１６‐２以外の構成要素は、基本的には、本体１０４に収容される。ただし、センサ部１８は、筐体１０１又は１０２に収容される。
【００１５】
制御部１１は、記憶部１２に記憶されたプログラムを実行することにより、データの演算や他の構成要素の制御を行う。制御部１１には、例えばＣＰＵが用いられる。記憶部１２は、制御部１１により実行されるプログラムや各種のデータを記憶する。記憶部１２は、主記憶装置と補助記憶装置とを含む。主記憶装置には、例えばＲＡＭが用いられる。補助記憶装置には、例えばフラッシュメモリが用いられる。
【００１６】
通信部１３は、データ通信を行うための通信インタフェースである。通信部１３は、Bluetooth（登録商標）等の近距離無線通信規格に従って表示端末２０と通信を行う。操作部１４は、ユーザの操作に応じた信号を制御部１１に入力する。操作部１４には、例えばタッチセンサーが用いられる。マイクロフォン１５は、音を受信し、受信した音に応じた信号を制御部１１に入力する。スピーカー１６‐１及び１６‐２は、音声信号に応じた音を出力する。
【００１７】
測位部１７は、音声再生端末１０の現在の位置を測定する。測位部１７には、例えばＧＰＳ（Global Positioning System）受信機が用いられる。電源１９は、音声再生端末１０の各構成要素に電力を供給する。電源１９には、例えばバッテリーが用いられる。
【００１８】
センサ部１８は、ユーザの動作の検出に用いられる。センサ部１８には、例えば加速度センサ１８１と、角速度センサ１８２と、地磁気センサ１８３とが含まれる。加速度センサ１８１は、三軸方向の加速度を測定する。角速度センサ１８２は、三軸方向の角速度を測定する。地磁気センサ１８３は、三軸方向の地磁気を測定する。
【００１９】
図３は、制御部１１の機能構成を示す図である。制御部１１は、記憶部１２に記憶された１又は複数のプログラムを実行することにより、配置部１１１、信号処理部１１２、出力制御部１１３、送信部１１４、検出部１１５、選択部１１６、実行部１１７、測定部１１８、及び変更部１１９の機能を実現する。また、これらの機能は、制御部１１と他の構成要素との協働により実現されてもよい。
【００２０】
配置部１１１は、ユーザが存在する現実空間に対応する仮想空間に、メニュー項目を示す仮想オブジェクトを配置する。信号処理部１１２は、仮想オブジェクトが配置された仮想空間内の位置及び前記仮想空間上のユーザの位置に対応する音の伝達特性に応じた信号処理を、メニュー項目を示す音声信号に施す。出力制御部１１３は、信号処理が施された音声信号に応じた音をスピーカー１６‐１及び１６‐２から出力する。送信部１１４は、仮想オブジェクトの配置を示す配置情報を表示端末２０に送信する。検出部１１５は、ユーザの体の動作及びその動作量を検出する。選択部１１６は、仮想オブジェクトが配置された方向に体を動かす動作が検出され、且つ、その動作の動作量が閾値を超える場合には、メニュー項目を選択する。実行部１１７は、選択部１１６により選択されたメニュー項目に対応する処理を実行する。測定部１１８は、音声再生端末１０と表示端末２０との間の距離を測定する。本実施形態では、第１端末として音声再生端末１０が用いられ、第２端末として表示端末２０が用いられる。変更部１１９は、測定された距離に応じて、閾値を変更する。
【００２１】
（３）表示端末２０の構成
図４は、表示端末２０のハードウェア構成を示す図である。表示端末２０は、仮想アイコンを表示する機能を有する。表示端末２０は、制御部２１と、記憶部２２と、通信部２３と、操作部２４と、表示部２５と、センサ部２６と、電源２７とを備える。これらの構成要素は、バスを介して接続される。
【００２２】
制御部２１は、記憶部２２に記憶されたプログラムを実行することにより、データの演算や他の構成要素の制御を行う。制御部２１には、例えばＣＰＵが用いられる。記憶部２２は、制御部２１により実行されるプログラムや各種のデータを記憶する。記憶部２２は、主記憶装置と補助記憶装置とを含む。主記憶装置には、例えばＲＡＭが用いられる。補助記憶装置には、例えばフラッシュメモリが用いられる。
【００２３】
通信部２３は、データ通信を行うための通信インタフェースである。通信部２３は、Bluetooth（登録商標）等の近距離無線通信規格に従って音声再生端末１０と通信を行う。操作部２４は、ユーザの操作に応じた信号を制御部２１に入力する。操作部２４には、例えばタッチセンサーが用いられる。表示部２５は、情報を表示する。表示部２５には、例えば液晶ディスプレイが用いられる。電源２７は、表示端末２０の各構成要素に電力を供給する。電源２７には、例えばバッテリーが用いられる。
【００２４】
センサ部２６は、ユーザの動作の検出に用いられる。センサ部２６には、例えば加速度センサ２６１と、角速度センサ２６２と、地磁気センサ２６３とが含まれる。加速度センサ２６１は、三軸方向の加速度を測定する。角速度センサ２６２は、三軸方向の角速度を測定する。地磁気センサ２６３は、三軸方向の地磁気を測定する。
【００２５】
図５は、制御部２１の機能構成を示す図である。制御部２１は、記憶部２２に記憶された１又は複数のプログラムを実行することにより、表示制御部２１１及び送信部２１２の機能を実現する。また、これらの機能は、制御部２１と他の構成要素との協働により実現されてもよい。
【００２６】
表示制御部２１１は、仮想空間に配置された仮想オブジェクトを表示する。送信部２１２は、表示部２５に表示されている仮想オブジェクトを識別する情報を音声再生端末１０に送信する。
【００２７】
２．動作
図６は、メニュー選択システム１の動作を示すシーケンスチャートである。この動作は、例えばユーザが音声再生端末１０を用いてメニュー項目を起動する操作を行ったときに開始される。この操作は、例えば音声認識技術を利用した音声操作である。例えば、ユーザにより「メニュー」という言葉が発せられたときに、この動作が開始される。
【００２８】
ステップＳ１０１において、配置部１１１は、ユーザが存在する現実空間に対応する仮想空間に、メニュー項目を示す仮想アイコン（仮想オブジェクトの一例）を配置する。「仮想アイコンを配置する」とは、具体的には、仮想空間における仮想アイコンの位置を決定することをいう。仮想アイコンの配置は、例えばユーザの頭の位置を原点としたｘｙ平面上の位置を示す端末座標系に基づいて行われる。図７は、仮想アイコンの配置の一例を示す図である。図７は、仮想アイコンの配置を上から見た図である。図７では、ユーザの前方向がｙ軸方向で示され、ユーザの後ろ方向が−ｙ軸方向で示され、ユーザの右方向がｘ軸方向で示され、ユーザの左方向が−ｘ軸方向で示されている。
【００２９】
図７に示す例では、ｘｙ平面において、ユーザの頭の位置を中心とする仮想円Ｃ１上に、４５度間隔で仮想アイコンＩ１〜Ｉ８が配置される。仮想アイコンＩ１〜Ｉ８は、それぞれ第１〜第８メニュー項目を示す。仮想アイコンＩ１は、ユーザの前方に配置される。仮想アイコンＩ２は、ユーザの右前方に配置される。仮想アイコンＩ３は、ユーザの右に配置される。仮想アイコンＩ４は、ユーザの右後方に配置される。仮想アイコンＩ５は、ユーザの後方に配置される。仮想アイコンＩ６は、ユーザの左後方に配置される。仮想アイコンＩ７は、ユーザの左に配置される。仮想アイコンＩ８は、ユーザの左前方に配置される。
【００３０】
ステップＳ１０２において、送信部１１４は、仮想アイコンの配置を示す配置情報を表示端末２０に送信する。この配置情報には、仮想空間において仮想アイコンが配置された位置を示す位置座標が含まれる。図７に示す例では、配置情報には、仮想空間における仮想アイコンＩ１〜Ｉ８の位置座標が含まれる。また、この配置情報には、仮想空間におけるユーザの頭の位置を示す位置座標と、表示端末２０の位置を示す位置座標とが含まれる。この表示端末２０の位置は、例えばユーザが表示端末２０の表示部２５を見る基本的な姿勢をとったときの表示端末２０の位置であり、予め音声再生端末１０に登録される。表示端末２０は、音声再生端末１０から配置情報を受信すると、ステップＳ１０３に進む。
【００３１】
ステップＳ１０３において、表示制御部２１１は、受信した配置情報が示す配置に沿って、表示部２５に仮想アイコンを表示する。このとき、全ての仮想アイコンが表示されてもよいし、仮想アイコンの一部だけが表示されてもよい。後者の場合、表示制御部２１１は、仮想空間内に選択範囲を設定し、選択範囲内の仮想アイコンだけを表示部２５に表示する。仮想アイコンの表示は、表示部２５の画面の左上を原点とするＸＹ平面上の位置を示すスクリーン座標系に基づいて行われる。
【００３２】
図８は、仮想アイコンの表示例を示す図である。この例では、まず図７に示すｘｙ平面において、表示端末２０とユーザの頭とを含むように選択範囲Ｒ１が設定される。この選択範囲Ｒ１は、表示部２５に対応する大きさ及び形状を有する。図７に示すように、選択範囲Ｒ１には、仮想アイコンＩ１及びＩ８が含まれる。この場合、図８に示すように、表示部２５には、選択範囲Ｒ１における仮想アイコンＩ１及びＩ８の位置に基づいて、仮想アイコンＩ１及びＩ８が表示される。
【００３３】
具体的には、仮想アイコンＩ１は、選択範囲Ｒ１における位置に対応する画面上の位置に表示される。また、仮想アイコンＩ８は、選択範囲Ｒ１における位置に対応する画面上の位置に表示される。仮想アイコンＩ１及びＩ８の画面上の位置は、仮想アイコンＩ１及びＩ８の端末座標系の位置座標を、スクリーン座標系の位置座標に座標変換することにより求められる。
【００３４】
また、表示部２５には、選択範囲Ｒ１における表示端末２０の位置及び頭の位置を示すマークＷ１及びＨ１が表示される。具体的には、マークＷ１は、選択範囲Ｒ１における表示端末２０の位置に対応する画面上の位置に表示される。マークＨ１は、選択範囲Ｒ１における頭の位置に対応する画面上の位置に表示される。マークＷ１及びＨ１の画面上の位置は、表示端末２０の端末座標系の位置座標及び頭の端末座標系の位置座標を、スクリーン座標系の位置座標に変換することにより求められる。
【００３５】
ユーザが表示端末２０を移動させると、その移動量に応じて選択範囲Ｒ１が移動し、表示部２５の表示が更新される。例えば、図９に示すように、ユーザが表示端末２０を右側の移動させた場合には、選択範囲Ｒ１も右側に移動する。図９に示すように、移動後の選択範囲Ｒ１には、仮想アイコンＩ１及びＩ２が含まれる。この場合、図１０に示すように、表示部２５には、移動後の選択範囲Ｒ１における仮想アイコンＩ１及びＩ２の位置に基づいて、仮想アイコンＩ１及びＩ２が表示される。また、表示部２５には、移動後の選択範囲Ｒ１における表示端末２０の位置及び頭の位置を示すマークＷ１及びＨ１が表示される。
【００３６】
ステップＳ１０４において、測定部１１８は、音声再生端末１０と表示端末２０との間の距離を測定する。例えば、測定部１１８は、表示端末２０に信号を送信する。音声再生端末１０から信号を受信すると、送信部２１２は、音声再生端末１０に応答を送信する。測定部１１８は、信号を送信してから応答が返ってくるまでの往復遅延時間を測定し、測定した往復遅延時間に応じて、音声再生端末１０と表示端末２０との間の距離を測定する。往復遅延時間が大きいほど、音声再生端末１０と表示端末２０との間の距離が大きいことを示す。
【００３７】
ステップＳ１０５において、変更部１１９は、ステップＳ１０４で測定された距離に応じて、メニュー項目の選択に用いられる閾値を変更する。音声再生端末１０と表示端末２０との間の距離が小さい場合には、例えばユーザが満員電車等のあまり動けない場所に居ると考えられる。したがって、変更部１１９は、測定された距離が所定の距離より小さい場合には、閾値を小さくする。例えば、閾値が頭の傾き角度であり、その初期値が５５度である場合には、閾値が５０度に変更される。
【００３８】
また、閾値が変更されると、出力制御部１１３は、閾値が変更されたことを示す通知音（第３通知音の一例）をスピーカー１６‐１及びスピーカー１６‐２から出力する。この通知音は、例えば水面に落ちるしずくの音である。この通知音は、変更後の閾値に応じて変化する。例えば、閾値が小さくなった場合には、通知音の残響時間が小さくなる。
【００３９】
ステップＳ１０６において、信号処理部１１２は、仮想アイコンが配置された仮想空間内の位置及び仮想空間上のユーザの位置に基づいて、仮想アイコンの位置からユーザに至るまでの音の伝達特性に応じた信号処理を、メニュー項目を示す音声信号に施す。人間は、左右の耳に伝達する音の大きさの差、時間差、周波数特性の差により、音の到来方向及び距離を認識している。そこで、仮想アイコンが配置された位置及び方向に応じて、左右のスピーカー１６‐１及び１６‐２に供給される音声信号に、音圧レベル差、時間差、周波数特性の差を付加することにより、疑似的に仮想アイコンが配置された位置から聞こえる音を作り出すことができる。この場合、仮想アイコンの位置に仮想音源があることになる。具体的には、信号処理では、仮想アイコンが配置された位置からユーザの位置までの頭部伝達関数を、メニュー項目を示す音声信号に畳み込む処理が行われる。
【００４０】
ステップＳ１０７において、出力制御部１１３は、メニュー項目の読み上げ処理を行う。この読み上げ処理では、メニュー項目を示す音が一つずつ順番にスピーカー１６‐１及び１６‐２から出力される。メニュー項目を示す音は、例えばメニュー項目の名称を読み上げる音声である。
【００４１】
具体的には、出力制御部１１３は、まずメニュー項目の読み上げ順序を決定する。図７に示す例では、ユーザの前方に配置された仮想アイコンＩ１を基準として時計周りに見ると、仮想アイコンＩ１〜Ｉ８は、仮想アイコンＩ１、Ｉ２、Ｉ３、Ｉ４、Ｉ５、Ｉ６、Ｉ７、Ｉ８という順序で配列されている。この場合、第１〜第８メニュー項目の読み上げ順序は、第１メニュー項目、第２メニュー項目、第３メニュー項目、第４メニュー項目、第５メニュー項目、第６メニュー項目、第７メニュー項目、第８メニュー項目という順序になる。
【００４２】
続いて、出力制御部１１３は、読み上げ順序に従って、信号処理が施されたメニュー項目を示す音声信号を一つずつ順番にスピーカー１６‐１及び１６‐２に供給する。このとき、右耳用の音声信号はスピーカー１６‐１に供給され、左耳用の音声信号はスピーカー１６‐２に供給される。これにより、第１〜第８メニュー項目を示す音が一つずつ順番にスピーカー１６‐１及びスピーカー１６‐２から出力される。
【００４３】
図７に示す例では、第１メニュー項目を示す仮想アイコンＩ１は、ユーザの前方に配置されている。したがって、第１メニュー項目を示す音は、疑似的にユーザの前方から聞こえる。第２メニュー項目を示す仮想アイコンＩ２は、ユーザの右前方に配置されている。したがって、第２メニュー項目を示す音は、疑似的にユーザの右前方から聞こえる。第３〜第８メニュー項目を示す音についても、同様である。これにより、ユーザは、仮想アイコンＩ１〜Ｉ８の配置を認識することができる。
【００４４】
他の例として、表示部２５に仮想アイコンの一部だけが表示されている場合には、表示部２５に表示されている仮想アイコンが示すメニュー項目に限り、メニュー項目を示す音が出力されてもよい。図８に示す例では、表示部２５には、仮想アイコンＩ１及びＩ８が表示されている。この場合、送信部２１２は、表示部２５に表示されている仮想アイコンＩ１及びＩ８を示す第１及び第８メニュー項目を識別するＩＤを音声再生端末１０に送信する。表示端末２０から第１及び第８メニュー項目のＩＤを受信すると、出力制御部１１３は、第１メニュー項目を示す音及び第８メニュー項目を示す音を順番にスピーカー１６‐１及び１６‐２から出力する。
【００４５】
ユーザが表示端末２０を移動させることにより表示部２５の表示が更新されたときにも、同様の処理が行われてもよい。例えば、図１０に示すように表示部２５の表示が更新された場合、表示部２５には、仮想アイコンＩ１及びＩ２が表示されている。この場合、送信部２１２は、表示部２５に表示されている仮想アイコンＩ１及びＩ２が示す第１及び第２メニュー項目を識別するＩＤを音声再生端末１０に送信する。表示端末２０から第１及び第２メニューのＩＤを受信すると、出力制御部１１３は、第１メニューを示す音及び第２メニュー項目を示す音を順番にスピーカー１６‐１及び１６‐２から出力する。
【００４６】
ステップＳ１０８において、送信部１１４は、各々のメニュー項目を示す音がスピーカー１６‐１及び１６‐２から出力される度に、そのメニュー項目を識別するＩＤを表示端末２０に送信する。例えば、第１メニュー項目を示す音がスピーカー１６‐１及び１６‐２から出力されると、第１メニュー項目を識別するＩＤが表示端末２０に送信される。第２メニュー項目を示す音がスピーカー１６‐１及び１６‐２から出力されると、第２メニュー項目を識別するＩＤが表示端末２０に送信される。表示端末２０は、音声再生端末１０からメニュー項目のＩＤを受信すると、ステップＳ１０９に進む。
【００４７】
ステップＳ１０９において、表示制御部２１１は、受信したＩＤにより識別されるメニュー項目を示す仮想アイコンの表示を変化させる。この表示の変化は、例えば仮想アイコンの色、形、又は大きさを変化させることが含まれる。図８に示す例では、表示部２５に第１及び第２メニュー項目を示す仮想アイコンＩ１及びＩ２が表示されている。例えば第１メニュー項目のＩＤが受信されると、第１メニュー項目を示す仮想アイコンＩ１が光る。
【００４８】
ユーザは、スピーカー１６‐１及び１６‐２から出力されたメニュー項目を示す音及び表示部２５に表示された仮想アイコンの位置に基づいて、仮想アイコンの配置を認識する。図７に示す例では、第１メニュー項目の音はユーザの前方から聞こえるため、第１メニュー項目を示す仮想アイコンＩ１はユーザの前方に配置されていることが分かる。また、図８に示す例では、仮想アイコンＩ１とマークＨ１の相対的な位置関係により、仮想アイコンＩ１がユーザの前方に配置されていることが分かる。例えば、第１メニュー項目を選択する場合、ユーザは、頭を前方に傾ける動作又は表示端末２０が装着された腕を前方に移動させる動作を行う。
【００４９】
ステップＳ１１０において、検出部１１５は、ユーザの体の動作及びその動作量を検出する。例えばユーザが頭を傾ける動作を行った場合、この動作及び動作量は、角速度センサ１８２により測定された角速度に基づいて検出される。一方、ユーザが表示端末２０の装着された腕を移動させる動作を行った場合、この動作及び動作量は、加速度センサ２６１により測定された加速度に基づいて検出される。具体的には、送信部２１２は、加速度センサ２６１により測定された加速度を音声再生端末１０に送信する。表示端末２０から加速度を受信すると、検出部１１５は、予め登録された表示端末２０の位置とこの加速度とに基づいて、表示端末２０が装着された腕を移動させる動作及びその動作量を検出する。
【００５０】
ステップＳ１１１において、選択部１１６は、仮想アイコンが配置された方向に体を動かす動作が検出され、且つ、その動作量が閾値を超えた場合には、その仮想アイコンが示すメニュー項目を選択する。なお、仮想アイコンが配置された方向とは、必ずしも仮想アイコンが配置された位置を通る方向である必要はない。例えば、仮想アイコンが配置された位置を含む所定の範囲を通る方向も、仮想アイコンが配置された方向に含まれてもよい。例えば、頭を前方に傾ける動作又は表示端末２０が装着された腕を前方に移動させる動作が検出され、且つ、その動作量が閾値を超えた場合には、ユーザの前方に配置された仮想アイコンＩ１が示す第１メニュー項目が選択される。なお、ステップＳ１１１では、ステップＳ１０５で変更された閾値が用いられる。
【００５１】
図１１は、メニュー項目を選択する動作の一例を説明する図である。例えば、ユーザが頭を前方に傾ける動作を行った場合には、その傾き角度が所定の角度θ１に到達すると、第１メニュー項目の選択動作が開始されたと判断される。このとき、選択動作が開始されたことを示す通知音がスピーカー１６‐１及び１６‐２から出力される。ユーザの頭の傾き角度が所定の角度θ１から閾値θ２に達するまでの間、選択動作が行われていることを示す通知音（第１通知音の一例）がスピーカー１６‐１及び１６‐２から出力される。この通知音は、ユーザの頭の傾き角度が大きくなるにつれて、徐々に音量レベルが小さくなる。ユーザの頭の傾き角度が閾値θ２を超えると、ユーザの前方に配置された仮想アイコンＩ１が示す第１メニュー項目が選択される。このとき、第１メニュー項目の選択が完了したことを示す通知音（第２通知音の一例）がスピーカー１６‐１及び１６‐２から出力される。
【００５２】
他の例として、選択部１１６は、表示部２５に表示されている仮想アイコンが示すメニュー項目に限り、選択を行ってもよい。図８に示す例では、表示部２５には、仮想アイコンＩ１及びＩ８が表示されている。この場合、送信部２１２は、上述したように、表示部２５に表示されている仮想アイコンＩ１及びＩ８が示す第１及び第８メニュー項目を識別するＩＤを音声再生端末１０に送信する。表示端末２０から第１及び第８メニュー項目のＩＤを受信すると、選択部１１６は、第１及び第８メニュー項目だけを選択できるようにし、それ以外の第２〜第７メニュー項目については選択できないように制限する。この場合、仮想アイコンＩ１又はＩ８が配置された方向に体を動かす動作が行われ、且つ、その動作量が閾値を超えた場合には、第１又は第８メニュー項目が選択される。一方、仮想アイコンＩ２〜Ｉ７が配置された方向に体を動かす動作が行われても、第２〜第７メニュー項目は選択されない。
【００５３】
ステップＳ１１２において、実行部１１７は、ユーザにより選択されたメニュー項目に対応する処理を実行する。例えば、第１メニュー項目がアプリケーションに関するものである場合において、第１メニュー項目が選択されると、第１メニュー項目に対応するアプリケーションが起動される。
【００５４】
本実施形態では、ユーザが体をあまり動かすことができない状況にある場合には、メニュー項目の選択に用いられる閾値が小さくなるため、ユーザは、体を大きく動かさなくても、メニュー項目を選択することができる。このように、本実施形態によれば、ユーザの状況に応じてメニュー項目を選択し易くすることができる。
【００５５】
また、本実施形態によれば、ユーザがメニュー項目を選択する動作を行っている間は、選択動作が行われていることを示す通知音がスピーカー１６‐１及び１６‐２から出力されるため、ユーザは選択動作が受け付けられていることを認識することができる。また、メニュー項目の選択が完了すると、メニュー項目の選択が完了したことを示す通知音がスピーカー１６‐１及び１６‐２から出力されるため、ユーザはメニュー項目の選択が完了したことを認識することができる。
【００５６】
さらに、本実施形態によれば、閾値が変更されると、閾値が変更されたことを示す通知音がスピーカー１６‐１及びスピーカー１６‐２から出力されるため、ユーザは閾値が変更されたことを認識することができる。
【００５７】
３．変形例
本発明は、上述した実施形態に限定されない。例えば、実施形態を以下のように変形してもよい。また、以下の変形例を組み合わせてもよい。
【００５８】
（１）ユーザの状況や行動に応じて、閾値が変更されてもよい。例えば、変更部１１９は、ユーザが満員電車に乗っている場合等、ユーザが人の密集した場所に居る場合には、閾値を小さくしてもよい。この場合、変更部１１９は、通信部１３により通信範囲内に存在する他の通信端末と通信を行うことにより、通信範囲内に存在する他の通信端末の数を計算する。他の通信端末の数が所定の数より大きい場合、変更部１１９は、ユーザが人の密集した場所に居ると判断し、閾値を小さくする。
【００５９】
また、変更部１１９は、ユーザが歩行中の場合には、閾値を大きくしてもよい。この場合、変更部１１９は、加速度センサ１８１により測定された加速度に基づいて、ユーザが歩行中であるか否かを判断する。ユーザが歩行中である場合、変更部１１９は、閾値を大きくする。ユーザが歩行中である場合には、ユーザの体が常に動いているため、閾値が小さいと、意図しないメニュー項目が誤って選択される恐れがある。本変形例によれば、このような誤選択を抑制することができる。
【００６０】
（２）ユーザの姿勢に応じて、メニュー項目を選択する動作が変更されてもよい。例えば、ユーザが寝ている姿勢をとっている場合には、頭の回転によりメニュー項目を選択できるようにしてもよい。この場合、選択部１１６は、角速度センサ１８２により測定された角速度に基づいて、ユーザが寝ている姿勢をとっているか否かを判断する。例えば、ユーザが一定時間、横になっている場合には、ユーザが寝ている姿勢をとっていると判断される。この場合、選択部１１６は、検出部１１５により頭を回転させる動作が検出された場合には、その回転角度に応じたメニュー項目を選択する。
【００６１】
（３）音声再生端末１０と表示端末２０との間の距離を測定する方法は、実施形態で説明した方法に限定されない。上述したように、音声再生端末１０には、予めユーザが表示端末２０の表示部２５を見る基本的な姿勢をとったときの表示端末２０の位置が登録されている。この登録された位置からの表示端末２０の移動量に応じて、音声再生端末１０と表示端末２０との間の距離が測定されてもよい。この場合、送信部２１２は、加速度センサ２６１により測定された加速度を音声再生端末１０に送信する。表示端末２０から加速度を受信すると、測定部１１８は、予め登録された表示端末２０の位置とこの加速度とに基づいて、表示端末２０の現在位置を測定する。そして、測定部１１８は、表示端末２０の現在位置に基づいて、音声再生端末１０と表示端末２０との間の距離を測定する。
【００６２】
（４）音声再生端末１０及び表示端末２０は、実施形態で説明した例に限定されない。例えば、音声再生端末１０は、イヤーフック型やオーバーヘッド型のウェアラブルコンピュータであってもよい。表示端末２０は、スマートフォンであってもよい。また、音声再生端末１０の機能の一部が表示端末２０又は外部のサーバ装置により実現されてもよい。例えば、図３に示す配置部１１１、信号処理部１１２、検出部１１５、選択部１１６、実行部１１７、測定部１１８、又は変更部１１９の機能が表示端末２０により実現されてもよい。
【００６３】
（５）メニュー項目は、実施形態で説明した例に限定されない。メニュー項目は、音声再生端末１０にダウンロードされた音楽や画像に関するものであってもよい。
【００６４】
（６）実施形態では、制御部１１の機能及び制御部２１の機能がソフトウェアにより実現される例について説明した。制御部１１の機能及び制御部２１の機能の少なくとも一部がハードウェアにより実現されてもよい。例えば、信号処理部１１２がハードウェアにより実現されてもよい。
【００６５】
（７）音声再生端末１０の制御部１１及び表示端末２０の制御部２１により実行されるプログラムは、インターネット等の通信回線を介してダウンロードされてもよい。また、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。
【符号の説明】
【００６６】
１０：音声再生端末、１６‐１，１６‐２：スピーカー、２０：表示端末、２５：表示部、１１１：配置部、１１２：信号処理部、１１３：出力制御部、１１４：送信部、１１５：検出部、１１６：選択部、１１７：実行部、１１８：測定部、１１９：変更部、２１１：表示制御部、２１２：送信部
【図１】
2016035632.tif 000003
【図２】
2016035632.tif 000004
【図３】
2016035632.tif 000005
【図４】
2016035632.tif 000006
【図５】
2016035632.tif 000007
【図６】
2016035632.tif 000008
【図７】
2016035632.tif 000009
【図８】
2016035632.tif 000010
【図９】
2016035632.tif 000011
【図１０】
2016035632.tif 000012
【図１１】
2016035632.tif 000013