(57)【要約】【課題】音像と画像とを効果的に連動させた再生装置を提供すること。【解決手段】再生装置１０は、第１のセンサ１４と、処理部１８と、スピーカ１１と、ディスプレイ１２とを有する。第１のセンサ１４は、ユーザの現在地を検出する。処理部１８は、目的地を取得し、現在地を基準とした目的地の方向を判断し、目的地の方向からの音像に対応する誘導音像を生成し、目的地の方向を示す誘導画像を生成し、ユーザの状態と前記ユーザの周囲の環境の状態とに応じて誘導音像の出力タイミングと誘導画像の出力タイミングとを判断する。スピーカ１１は、処理部１８によって判断された出力タイミングで誘導音像を再生する。ディスプレイ１２は、処理部１８によって判断された出力タイミングで誘導画像を再生する。【選択図】図１
2020041897.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの現在地を検出する第１のセンサと、
目的地を取得し、
前記現在地を基準とした前記目的地の方向を判断し、
前記目的地の方向からの音像に対応する誘導音像を生成し、
前記目的地の方向を示す誘導画像を生成し、
前記ユーザの状態と前記ユーザの周囲の環境の状態とに応じて前記誘導音像の出力タイミングである第１の出力タイミングと前記誘導画像の出力タイミングである第２の出力タイミングとを判断する、
処理部と、
前記処理部によって判断された第１の出力タイミングで前記誘導音像を再生して前記ユーザを前記目的地に誘導する音声再生デバイスと、
前記処理部によって判断された第２の出力タイミングで前記誘導画像を再生して前記ユーザを前記目的地に誘導する画像再生デバイスと、
を具備する再生装置。
【請求項２】
前記処理部は、一定時間内の前記ユーザが前記画像再生デバイスを注視している回数、一定時間内の前記ユーザの頭部の動きの回数及びユーザの移動方向と一定時間内の前記目的地の方向とが相違している回数の少なくとも何れかが所定回数を超えているときには、前記第１の出力タイミングと前記第２の出力タイミングの一方だけを有効にする、請求項１に記載の再生装置。
【請求項３】
前記処理部は、前記第１の出力タイミングを有効にし、前記誘導音像の方向を前記画像再生デバイスの方向に変更する、請求項２に記載の再生装置。
【請求項４】
前記再生装置の筐体における前記画像再生デバイスと同一の側に設けられていて、前記ユーザの方向を撮像して第１の画像を取得する第１のカメラをさらに具備し、
前記処理部は、前記第１の画像に基づいて、前記ユーザが前記画像再生デバイスを注視している回数及び前記ユーザの頭部の動きの回数を判断する、請求項２又は３に記載の再生装置。
【請求項５】
前記処理部は、ユーザの移動速度が所定速度を超えているときには、前記第２の出力タイミングを無効にする、請求項１乃至４の何れか１項に記載の再生装置。
【請求項６】
前記処理部は、前記ユーザの周囲の騒音量が所定量を超えているときには、前記第２の出力タイミングに対して前記第１の出力タイミングを遅延させる、請求項１乃至５の何れか１項に記載の再生装置。
【請求項７】
前記処理部は、前記ユーザの進行方向に障害物があるときには、前記第１の出力タイミングに対して前記第２の出力タイミングを遅延させる、請求項１乃至６の何れか１項に記載の再生装置。
【請求項８】
前記再生装置の筐体における前記画像再生デバイスと逆側に設けられていて、前記ユーザの進行方向を撮像して第２の画像を取得する第２のカメラをさらに具備し、
前記処理部は、前記第２の画像に前記目的地の方向を示す画像を重畳させて前記誘導画像を生成する、請求項１乃至７の何れか１項に記載の再生装置。
【請求項９】
前記再生装置は、前記ユーザとの相対距離が維持されるようにカートに取り付けられ、
前記処理部は、前記音声再生デバイスと前記ユーザの頭部との相対的な位置関係に応じて前記誘導音像を生成するための頭部伝達関数を調整する、請求項１乃至８の何れか１項に記載の再生装置。
【請求項１０】
前記音声再生デバイスは、前記ユーザに装着され、
前記処理部は、
前記誘導音像によって示される方向と前記ユーザの移動方向とを比較し、
前記誘導音像によって示される方向と前記ユーザの移動方向とが一致していないときに、前記ユーザに前記音声再生デバイスの適切な装着を促し、
前記適切な装着を促した後でも前記誘導音像によって示される方向と前記ユーザの移動方向とが一致していないときには、誘導音像による前記ユーザの誘導を音量差だけによる前記ユーザの誘導に切り替える、請求項１乃至９の何れか１項に記載の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生装置に関する。
【背景技術】
【０００２】
聴覚によってユーザを所定の方向に誘導したり、所定の方向に対する注意を喚起したりする技術が知られている。この種の技術として、予めユーザの進むべき方向に沿って複数のスピーカを配置しておき、それぞれのスピーカからの音声の出力タイミングをずらすことでユーザを所定の方向に誘導する技術が知られている。また、カーナビゲーションシステム等では、地図上の行き先を示す音声をユーザに対して出力することでユーザを所定の方向に誘導する技術が知られている。さらに、近年、音像定位技術によってユーザを所定の方向に誘導する技術も提案されてきている。音像定位技術は、例えばユーザの左右の耳に入力される音声に音量差及び位相差をつけることでユーザに音源までの距離感を認知させて、ユーザに仮想的な音源の位置を認知させる技術である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５９４４５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザを所定の場所まで確実に誘導するには、音像による誘導に加えて画像による誘導も利用することが望ましい。しかしながら、音像による誘導と画像による誘導とを効果的に連動させないとかえってユーザを混乱させる可能性がある。
【０００５】
本実施形態は、音像と画像とを効果的に連動させた再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
再生装置は、第１のセンサと、処理部と、音声再生デバイスと、画像再生デバイスとを有する。第１のセンサは、ユーザの現在地を検出する。処理部は、目的地を取得し、前記現在地を基準とした前記目的地の方向を判断し、前記目的地の方向からの音像に対応する誘導音像を生成し、前記目的地の方向を示す誘導画像を生成し、前記ユーザの状態と前記ユーザの周囲の環境の状態とに応じて前記誘導音像の出力タイミングである第１の出力タイミングと前記誘導画像の出力タイミングである第２の出力タイミングとを判断する。音声再生デバイスは、前記処理部によって判断された第１の出力タイミングで前記誘導音像を再生して前記ユーザを前記目的地に誘導する。画像再生デバイスは、前記処理部によって判断された第２の出力タイミングで前記誘導画像を再生して前記ユーザを前記目的地に誘導する。
【図面の簡単な説明】
【０００７】
【図１】図１は、各実施形態に係る再生装置の一例の構成を示す図である。
【図２】図２は、第１の実施形態における再生装置の適用例を示す図である。
【図３】図３は、第１のカメラと第２のカメラの配置を示す図である。
【図４】第１の実施形態における再生装置の動作を示すフローチャートである。
【図５Ａ】図５Ａは、頭部伝達関数Ｃの調整の概念を示す図である。
【図５Ｂ】図５Ｂは、頭部伝達関数Ｃの調整の概念を示す図である。
【図６】図６は、出力判断処理の一例について示すフローチャートである。
【図７Ａ】図７Ａは、ユーザが行き先を迷っているか否かの判定について説明するための図である。
【図７Ｂ】図７Ｂは、ユーザが行き先を迷っているか否かの判定について説明するための図である。
【図８】図８は、ユーザが移動しているときの誘導音像の出力タイミングについて示す図である。
【図９】図９は、騒音状態のときの誘導画像及び誘導音像の出力タイミングについて示す図である。
【図１０】図１０は、障害物があるときの誘導音像及び誘導画像の出力タイミングについて示す図である。
【図１１】図１１は、出力処理を示すフローチャートである。
【図１２】図１２は、第１の実施形態の効果を説明するための図である。
【図１３Ａ】図１３Ａは、音声再生デバイスの変形例としてのネックバンドスピーカを示す図である。
【図１３Ｂ】図１３Ｂは、音声再生デバイスの変形例としてのスピーカを内蔵した眼鏡を示す図である。
【図１４】図１４は、音声再生デバイスの装着を検出する処理のフローチャートである。
【図１５】図１５は、第２の実施形態に係る再生装置の適用例を示す図である。
【図１６】図１６は、第２の実施形態の再生装置の動作を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して実施形態を説明する。
【０００９】
［第１の実施形態］
第１の実施形態を説明する。図１は、各実施形態に係る再生装置の一例の構成を示す図である。再生装置１０は、スピーカ１１と、ディスプレイ１２と、カメラ１３と、第１のセンサ１４と、第２のセンサ１５と、操作部１６と、メモリ１７と、処理部１８とを有している。再生装置１０は、例えばユーザとともに移動できるように構成されている。
【００１０】
図２は、第１の実施形態における再生装置１０の適用例を示す図である。再生装置１０は、例えばユーザＵによって押されることによって移動するカート２０に設置される端末である。この再生装置１０は、音像Ｓと画像Ｉとを効果的に連動させることでユーザを所定の方向に誘導したり、ユーザに対して所定の方向への注意を喚起したりする。図２に示す再生装置１０の筐体１０ａは、チルト方向Ｔに傾けることができるように例えばヒンジを介してカート２０に取り付けられていてよい。カート２０は、商業用のカート、物流業用のカート、製造業用のカート、医療用のカート等であって特に限定されるものではない。
【００１１】
スピーカ１１は、図２に示すように、再生装置１０の筐体１０ａに設置された音声再生デバイスである。スピーカ１１は、ステレオスピーカであり、再生装置１０の筐体１０ａの右側に設置されたスピーカ１１ａと、再生装置１０の筐体の左側に設置されたスピーカ１１ｂとを有する。
【００１２】
ディスプレイ１２は、再生装置１０の筐体１０ａに設置された画像再生デバイスである。ディスプレイ１２は、液晶ディスプレイ、有機ＥＬディスプレイといった各種のディスプレイであってよい。
【００１３】
カメラ１３は、再生装置１０の筐体１０ａに設置され、撮像によって画像を生成する。カメラ１３は、例えば２台のカメラを有する。図３は、第１のカメラ１３ａと第２のカメラ１３ｂの配置を示す図である。第１のカメラ１３ａは、筐体１０ａにおける、カート２０の進行方向Ｄ１と逆側、すなわちユーザＵの側に設置される。第１のカメラ１３ａは、ユーザＵの方向Ｄ２を撮像する。第２のカメラ１３ｂは、図３に示すように、筐体１０ａにおける、カート２０の進行方向Ｄ１の側に設置される。第２のカメラ１３ｂは、カート２０の進行方向Ｄ３を撮像する。
【００１４】
第１のセンサ１４は、再生装置１０の現在地、すなわち再生装置１０とともに移動するユーザの現在地を検出するセンサである。第１のセンサ１４は、例えばＧＰＳ受信機であって、人工衛星等の複数の電波発信機から送信された電波を検出する。カート２０が屋内で使用されることが想定される場合、第１のセンサ１４は、屋内に設けられた複数の無線ＬＡＮのアクセスポイント等から送信された電波を検出するように構成されていてもよい。第１のセンサ１４は、ユーザの現在地を検出できるセンサであれば、特に限定されない。
【００１５】
第２のセンサ１５は、再生装置１０の筐体１０ａの姿勢、すなわち筐体１０ａに設置されたスピーカ１１の姿勢を検出する。第２のセンサ１５は、例えば筐体１０ａとカート２０との取り付けのために設けられたヒンジに設置される角度センサである。第２のセンサ１５は、スピーカ１１の姿勢を検出できるセンサであれば、特に限定されない。例えば、第２のセンサ１５は、筐体１０ａに設けられた３軸の加速度センサ等であってもよい。
【００１６】
操作部１６は、ユーザが再生装置１０を操作するための各種の操作部材を含む。操作部１６は、例えばディスプレイ１２と一体的に設けられたタッチパネルである。操作部１６は、タッチパネル以外の、ボタン、スイッチ、ダイヤルといった操作部材を含んでいてもよい。操作部１６は、マイクロホン等の音声の入力デバイスを含んでいてもよい。
【００１７】
メモリ１７は、スピーカ１１で再生される音像の生成のための音声を不揮発的に記憶する。この音声は、例えばアラーム音であるが、これに限るものではない。この音声は、目的地のある方向を示す音声等であってもよい。また、音声は、バイノーラル音声として記録されていてもよい。バイノーラル音声は、例えば、既知の方向及び距離から発せられた音声を、人間の頭部と同等の音響効果を再現できるように構成されたダミーヘッドにおいて録音することで得られる音声である。
【００１８】
また、メモリ１７は、ディスプレイ１２で再生される画像を不揮発的に記憶している。この画像は、ユーザを所定の方向に誘導するための画像であって、例えば方向を示す矢印画像であるが、これに限るものではない。
【００１９】
また、メモリ１７は、スピーカ１１とユーザの頭部（耳）との間の音声の伝達特性である頭部伝達関数Ｃをデータベースとして記憶している。頭部伝達関数Ｃは、右側のスピーカ１１ａからユーザの右耳に伝達される音の空間伝達特性ＣＲＲ、右側のスピーカ１１ａからユーザの左耳に伝達される音の空間伝達特性ＣＲＬ、左側のスピーカ１１ｂからユーザの右耳に伝達される音の空間伝達特性ＣＬＲ、左側のスピーカ１１ｂからユーザの左耳に伝達される音の空間伝達特性ＣＬＬを要素とする行列で表される。また、メモリ１７は、ユーザの位置と目的地に設定される仮想音源との位置関係を予め定められた位置関係としたときの仮想音源とユーザの頭部（耳）との間の音声の伝達特性である頭部伝達関数ｄをデータベースとして有している。頭部伝達関数ｄは、仮想音源から予め定められた場所に位置していると想定されるユーザの右耳に伝達される音の空間伝達特性ｄＲと、ユーザの左耳に伝達される音の空間伝達特性ｄＬとを要素とする行列で表される。
【００２０】
なお、メモリ１７は、単一のメモリであってもよいし、複数のメモリであってもよい。
【００２１】
処理部１８は、ＣＰＵ、ＡＳＩＣ、ＦＰＧＡ又はＤＳＰ等のデジタル信号処理器を有しており、再生装置１０の動作を制御する。処理部１８は、ユーザを誘導するために用いる音像及び画像を生成する。また、処理部１８は、ユーザの状態とユーザの周囲の環境の状態とに応じてスピーカ１１による音像の出力タイミングとディスプレイ１２による画像の出力タイミングとを判断する。なお、処理部１８は、単一のＣＰＵ等で構成されていてもよいし、複数のＣＰＵ等で構成されていてもよい。
【００２２】
図４は、第１の実施形態における再生装置１０の動作を示すフローチャートである。図４の処理は、処理部１８によって制御される。以下の処理は、例えばユーザの所定距離（例えば数メートル）の移動のタイミング毎に行われる。
【００２３】
ステップＳ１において、処理部１８は、目的地が設定されたか否かを判定する。目的地は、例えばユーザのタッチパネルの操作又はマイクロホンのよる音声入力によって設定される。この場合、ユーザは、例えば予め設定されている目的地の中から所望の目的地を選択する。また、特定の場所にユーザを誘導したり、特定の方向へのユーザの注意を喚起したりするために、処理部１８が目的地を自動的に設定してもよい。ステップＳ１において、目的地が設定されるまで、ステップＳ１の判定は繰り返される。ステップＳ１において、目的地が設定されたと判定されたときには、処理はステップＳ２に移行する。
【００２４】
ステップＳ２において、処理部１８は、第１のセンサ１４の出力から再生装置１０の現在地を取得する。
【００２５】
ステップＳ３において、処理部１８は、現在地から目的地に向かう方向を算出する。目的地に向かう方向は、目的地の座標と現在地の座標との差に相当するベクトルの方向として算出される。
【００２６】
ステップＳ４において、処理部１８は、頭部伝達関数Ｃをメモリ１７から取得する。また、処理部１８は、算出した方向に応じた頭部伝達関数ｄをメモリ１７から取得する。
【００２７】
ステップＳ５において、処理部１８は、スピーカ１１の姿勢及びユーザの姿勢に応じて頭部伝達関数Ｃを調整する。
【００２８】
図５Ａ及び図５Ｂは、頭部伝達関数Ｃの調整の概念を示す図である。図５Ａは、ある身長を有するユーザＵが筐体１０ａの角度でディスプレイ１２を注視している状態である。図５Ａの状態における頭部伝達関数Ｃ１がメモリ１７に固定値として記憶されているとする。
【００２９】
ここで、ユーザにより筐体１０ａの向きが図５Ｂの向きに変えられた場合、スピーカ１１とユーザＵの頭部との相対位置が変化する。このとき、頭部伝達関数Ｃは、頭部伝達関数Ｃ１から頭部伝達関数Ｃ２に変化する。したがって、安定した音像の再生のためには、頭部伝達関数Ｃ１は、スピーカ１１とユーザＵの相対姿勢に応じてロバストに調整されることが望ましい。このため、処理部１８は、スピーカ１１とユーザの頭部との相対位置の変化、すなわちスピーカ１１の姿勢の変化と頭部伝達関数Ｃ１とに基づいて頭部伝達関数Ｃ２を計算する。スピーカ１１の姿勢は、例えば第２のセンサ１５によって検出される筐体１０ａの姿勢から検出される。
【００３０】
ここで、頭部伝達関数Ｃの具体的な調整手法については、例えば特許第５９４４５６７号公報において開示されている手法を用いることができる。勿論、頭部伝達関数Ｃの具体的な調整手法については、例えば特許第５９４４５６７号公報において開示されている手法に限定されるものではない。また、頭部伝達関数Ｃに加えて、頭部伝達関数ｄも調整されてよい。
【００３１】
また、スピーカ１１とユーザの頭部との相対位置の変化は、ユーザＵの頭部の姿勢の変化によっても起こり得る。このほか、ユーザＵの頭部の動きがなくとも、ユーザの身長の変化によってもスピーカ１１とユーザの頭部との相対位置の変化は起こり得る。したがって、好ましくはユーザＵの頭部の姿勢の変化も考慮して頭部伝達関数Ｃが調整されることが望ましい。ユーザＵの頭部の姿勢は、例えば第１のカメラ１３ａで取得されるユーザの画像から検出される。また、ユーザＵがディスプレイ１２に正対していると仮定することで、例えば第２のセンサ１５によって検出される筐体１０ａの姿勢からユーザＵの頭部の姿勢が推定されてもよい。
【００３２】
ステップＳ６において、処理部１８は、誘導音像を生成する。誘導音像は、右側のスピーカ１１ａについての右音声信号と、左側のスピーカ１１ｂについての左音声信号とを含む。この誘導音像は、再生すべき音声に対して目的地の方向に応じた制御フィルタを適用することによって生成される。制御フィルタは、例えば頭部伝達関数Ｃの逆行列Ｃ−１に頭部伝達関数ｄを右から乗じることによって計算される。
【００３３】
ステップＳ７において、処理部１８は、誘導画像を生成する。誘導画像は、目的地の方向を示す画像をメモリ１７から取得することで生成される。誘導画像は、例えば矢印画像を目的地の方向に応じて回転させることで生成されてもよい。また、誘導画像は、ＡＲ（拡張現実）画像として、第２のカメラ１３ｂで得られるユーザの進行方向の画像に重ねられることで生成されてもよい。
【００３４】
ステップＳ８において、処理部１８は、出力タイミング判断処理を行う。出力タイミング判断処理は、誘導音像の出力タイミングと誘導画像の出力タイミングとをそれぞれ判断する処理である。出力タイミングは、出力の有無と、遅延時間とを含む。出力タイミング判断処理の詳細については後で説明する。
【００３５】
ステップＳ９において、処理部１８は、出力処理を行う。出力処理は、出力タイミング判断処理で判断された出力タイミングに応じて誘導音像と誘導画像を出力する処理である。出力処理の詳細については後で説明する。
【００３６】
ステップＳ１０において、処理部１８は、誘導を終了するか否かを判定する。例えば、現在地と目的地とが一致したときに、誘導を終了すると判定される。ここでの一致は、厳密な一致でなくてもよい。ステップＳ１０において、誘導を終了しないと判定されたときに、処理はステップＳ２に戻る。ステップＳ１０において、誘導を終了すると判定されたときに、図４の処理は終了する。
【００３７】
図６は、出力判断処理の一例について示すフローチャートである。ステップＳ１０１において、処理部１８は、ユーザが行き先を迷っているか否かを判定する。ステップＳ１０１において、ユーザが行き先を迷っていると判定されたときには、処理はステップＳ１０２に移行する。ステップＳ１０１において、ユーザが行き先を迷っていないと判定されたときには、処理はステップＳ１０３に移行する。
【００３８】
ユーザが行き先を迷っているか否かは、例えば、一定時間内のユーザのディスプレイ１２の注視回数、一定時間内のユーザの頭部の向きの変更回数、及び一定時間内の目的地の方向の変化の回数に基づいて判定される。
【００３９】
ディスプレイ１２の注視回数は、第１のカメラ１３ａで取得されるユーザの画像からユーザの視線方向を特定することによって推定され得る。一定時間内のユーザのディスプレイ１２の注視回数が所定回数（例えば１０回）を超えているときには、ユーザが行き先を迷っていると判定される。
【００４０】
また、ユーザの頭部の向きの変更回数は、第１のカメラ１３ａで取得されるユーザの画像から推定され得る。一定時間内のユーザの頭部の向きの変更回数が所定回数（例えば１０回）を超えているときには、ユーザが行き先を迷っていると判定される。
【００４１】
また、一定時間内の目的地の方向が変化している回数が所定回数（例えば３回）を超えているときには、ユーザが行き先を迷っていると判定される。目的地の方向が変化している状態は、例えば目的地の方向が同一の象限内にない状態である。例えば、処理部１８は、過去のタイミングＴ１、Ｔ２、Ｔ３において算出された目的地が変化しているか否かを判定する。そして、例えば図７Ａに示すように、連続する３回の目的地の方向ＤＴ１、ＤＴ２、ＤＴ３が異なる象限にあるときには、処理部１８は、ユーザが行き先を迷っていると判定する。一方、図７Ｂに示すように、目的地の方向ＤＴ１、ＤＴ２、ＤＴ３で多少の方向のばらつきがあっても、それらが同一の象限にあるときには、処理部１８は、ユーザが行き先を迷っていないと判定する。
【００４２】
ステップＳ１０２において、処理部１８は、誘導音像の出力を有効にし、誘導画像の出力を無効にする。その後、図６の処理は終了する。例えば、生成された誘導音像を表す音声信号（右側及び左側）をｙ１、生成された誘導画像を表す画像信号をｙ２、音像と画像の出力重みをａ（０≦ａ≦１）とし、音像と画像の合成出力Ｙが以下の（式１）で定義されるとする。ステップＳ１０２では、処理部１８は、出力重みａを１に設定する。ステップＳ１０２では、ユーザが行き先を迷っていることが推定されている。このため、誘導音像と誘導画像の両方を提示してしまうと、かえってユーザが混乱してしまう可能性がある。したがって、ユーザが行き先を迷っていることが推定されている間は、正しい経路で誘導できるまで、例えば音像のみで誘導する。出力重みが１であるとき、後で説明する出力処理においてスピーカ１１からは最大音量の音声が発せられる。一方、ディスプレイ１２に表示される誘導画像の明るさは最小となる。ここでは音像のみで誘導する例を示しているが、ステップＳ１０２において、画像のみで誘導する、すなわち出力重みａが０に設定されてもよい。この場合において、ユーザにディスプレイ１２を注視させるために、画像のみで誘導するに先立って、カート２０の正面方向、すなわちディスプレイ１２の方向に対応する音像を再生するようにしてもよい。
Ｙ＝ａ・ｙ１＋（１−ａ）・ｙ２                              （式１）
【００４３】
ステップＳ１０３において、処理部１８は、ユーザの移動速度Ｖが所定速度を超えているか否かを判定する。ユーザの移動速度Ｖは、現在位置の変化量から算出され得る。また、所定速度は、ユーザが静止しているとみなせる速度であって、例えば５ｋｍ／ｈである。ステップＳ１０３におけるユーザの移動速度Ｖが所定速度を超えていると判定されたときには、処理はステップＳ１０４に移行する。ユーザの移動速度Ｖが所定速度を超えていないと判定されたときには、処理はステップＳ１０６に移行する。
【００４４】
ステップＳ１０４において、処理部１８は、誘導音像の出力を有効にし、誘導画像の出力を無効にする。ユーザがディスプレイ１２の画面を注視しながら移動するのは好ましくない。このため、ユーザの移動速度Ｖが所定速度を超えているときには、誘導音像による誘導が行われるようにする。
【００４５】
ステップＳ１０５において、処理部１８は、誘導音像の遅延時間ΔＴＳを算出する。その後、図６の処理は終了する。ユーザの移動速度Ｖによっては音像の計算が追従できない可能性がある。しかしながら、ユーザが移動しているといってもユーザが誘導を必要とするのは、曲がり角にきたとき等の複数の移動先があるときであることが多い。したがって、ユーザが止まることなく移動していても、少なくとも数メートルに１回くらいの割合で又は曲がり角等の特定の地点で誘導音像を提示できれば十分であると考えられる。仮に、図８で示すＡ地点で誘導音像が生成され、実際に誘導音像の再生までにユーザがＢ地点まで移動していて、地点Ｂにおける目的地の方向がＡ地点において計算された目的地の方向と異なっていても、地点Ａから地点Ｂまでの移動距離Ｌが数ｍ程度（この間はほぼ直線移動）ならば、地点Ｂにおける目的地の方向がＡ地点において計算された目的地の方向とはともに同一の象限にある可能性が高い。つまり、以下の（式２）よって設定された遅延時間ΔＴＳだけ誘導音像の出力タイミングを遅延させても、地点Ｂにおける目的地の方向がＡ地点において計算された目的地の方向とはともに同一の象限になる。
ΔＴＳ＝Ｌ／Ｖ                                    （式２）
【００４６】
ステップＳ１０６において、処理部１８は、ユーザの周囲の騒音量が所定量を超えているか否かを判定する。ユーザの周囲の騒音量は、例えば第１のカメラ１３ａと第２のカメラ１３ｂによって得られる画像から判定され得る。つまり、ユーザの画像及びユーザの進行方向の画像に騒音の要因となる音源が含まれていれば、騒音量が大きいと推定される。騒音の要因となる音源としては、例えば人物が挙げられる。この場合、画像に写っている人物の数が所定数を超えているときには、騒音量が大きいと判定される。再生装置１０がマイクロホンを備えていれば、処理部１８は、マイクロホンによって測定されるユーザの周囲の音量から騒音量が所定量を超えているか否かを判定してもよい。ステップＳ１０６において、ユーザの周囲の騒音量が所定量を超えていると判定されたときには、処理はステップＳ１０７に移行する。ステップＳ１０６において、ユーザの周囲の騒音量が所定量を超えていないと判定されたときには、処理はステップＳ１０９に移行する。
【００４７】
ステップＳ１０７において、処理部１８は、誘導画像の出力重みを大きくする。つまり、処理部１８はａを小さくする。つまり、ユーザの周囲に騒音がある場合、ユーザはスピーカ１１からの音声を聞き取りづらくなる。この場合には、画像主体で誘導が行われることが望ましい。出力重みａは、０．５よりも小さな値、例えば０．２５程度に設定されてよい。この場合、後で出力処理においてスピーカ１１から発せられる音声の音量は相対的に小さくなり、ディスプレイ１２に表示される画像の明るさは相対的に明るくなる。勿論、出力重みａは０に設定されてもよい。
【００４８】
ステップＳ１０８において、処理部１８は、誘導音像の遅延時間ΔＴＳを算出する。その後、図６の処理は終了する。画像主体で誘導をするため、誘導画像に対して誘導音像の出力を遅らせる。このとき、誘導音像は、補助的な役割を果たす。遅延時間ΔＴＳは、（式２）と同様にして計算されてよい。ステップＳ１０８において遅延時間ΔＴＳが設定されることにより、後で説明する出力処理において、誘導音像は、図９に示すように、誘導画像の再生からΔＴＳだけ遅れて再生される。ここで、ステップＳ１０８においては、移動速度Ｖが０である場合もあり得る。ステップＳ１０８において移動速度Ｖが０である場合は、遅延時間ΔＴＳは予め定めた固定時間とする。
【００４９】
ステップＳ１０９において、処理部１８は、目的地の方向に障害物があるか否かを判定する。目的地の方向の障害物は、例えば第１のカメラ１３ｂによって得られる画像から判定され得る。このほか、処理部１８は、例えば周辺の地図情報を記憶していれば、この地図情報から目的地の方向の障害物を判定してよい。ステップＳ１０９において、ユーザの進行方向に障害物があると判定されたとき、処理はステップＳ１１０に移行する。ステップＳ１０９において、ユーザの進行方向に障害物がないと判定されたときには、処理はステップＳ１１２に移行する。
【００５０】
ステップＳ１１０において、処理部１８は、誘導音像の出力重みを大きくする。つまり、処理部１８はａを大きくする。つまり、目的地の方向に障害物がある場合、誘導画像は、実際にユーザが移動することができない方向を示すことになる。このため、ユーザは混乱してしまう可能性がある。この場合には、音像主体で誘導が行われることが望ましい。出力重みａは、０．５よりも大きい値、例えば０．７５程度に設定されてよい。この場合、出力処理においてスピーカ１１から発せられる音声の音量は相対的に大きくなり、ディスプレイ１２に表示される画像の明るさは相対的に暗くなる。勿論、出力重みａは１に設定されてもよい。
【００５１】
ステップＳ１１１において、処理部１８は、誘導画像の遅延時間ΔＴＩを算出する。音像主体で誘導をするため、誘導音像に対して誘導画像の出力を遅らせる。その後、図６の処理は終了する。このとき、誘導画像は、補助的な役割を果たす。遅延時間ΔＴＩは、（式２）と同様にして計算されてよい。ステップＳ１１１において遅延時間ΔＴＩが設定されることにより、後で説明する出力処理において、誘導画像は、図１０に示すように、誘導音像の再生からΔＴＩだけ遅れて再生される。ここで、ステップＳ１１１においては、移動速度Ｖが０である場合もあり得る。ステップＳ１１１において移動速度Ｖが０である場合は、遅延時間ΔＴＩは予め定めた固定時間とする。
【００５２】
ステップＳ１１２において、処理部１８は、誘導音像と誘導画像の双方の出力重みを等しくする。つまり、処理部１８はａを０．５にする。その後、図６の処理は終了する。ユーザが混乱しない状況においては、音像による誘導と画像による誘導の両方が同時に行われる。これにより、ユーザを目的地までより確実に誘導することができる。
【００５３】
ここで、図６で示した出力判断は、一例である。図６で示した各判定の一部が除かれてもよいし、別の判定が追加されてもよい。
【００５４】
図１１は、出力処理を示すフローチャートである。ステップＳ２０１において、処理部１８は、誘導音像の遅延時間ΔＴＳが設定されているか否かを判定する。ステップＳ２０１において、遅延時間ΔＴＳが設定されていると判定されたときに、処理はステップＳ２０２に移行する。ステップＳ２０１において、遅延時間ΔＴＳが設定されていないと判定されたときに、処理はステップＳ２０８に移行する。
【００５５】
ステップＳ２０２において、処理部１８は、誘導画像の出力が有効であるか否かを判定する。誘導画像の出力重みが０でない場合には誘導画像の出力が有効であると判定される。ステップＳ２０２において、誘導画像の出力が有効であると判定されたときには、処理はステップＳ２０３に移行する。ステップＳ２０２において、誘導画像の出力が有効でないと判定されたときには、処理はステップＳ２０６に移行する。
【００５６】
ステップＳ２０３において、処理部１８は、ディスプレイ１２から誘導画像を出力させる。具体的には、処理部１８は、選択した誘導画像をディスプレイ１２に入力する。これを受けてディスプレイ１２は、（式２）に基づいて算出された重みに応じた明るさで画像を表示する。ステップＳ２０４において、処理部１８は、遅延時間ΔＴＳだけ待機する。そして、遅延時間ΔＴＳ経過後のステップＳ２０５において、処理部１８は、スピーカ１１から誘導音像を出力させる。具体的には、処理部１８は、右音声信号を右側のスピーカ１１ａに入力するとともに、左音声信号を左側のスピーカ１１ｂに入力する。これを受けて右側のスピーカ１１ａと左側のスピーカ１１ｂは、（式２）に基づいて算出された重みと制御フィルタによってつけられた重みとに応じて音声を発する。右側のスピーカ１１ａと左側のスピーカ１１ｂで再生される音声に与えられている音圧差及び時間差（位相差）により、ユーザは、所定の仮想音源からの再生された音像と同等の音像を認知する。ステップＳ２０３−Ｓ２０５の処理により、図９で示した画像主体の誘導が行われる。ステップＳ２０５の処理の後、図１１の処理は終了する。
【００５７】
ステップＳ２０６において、処理部１８は、遅延時間ΔＴＳだけ待機する。そして、遅延時間ΔＴＳ経過後のステップＳ２０７において、処理部１８は、スピーカ１１から誘導音像を出力させる。具体的には、処理部１８は、右音声信号を右側のスピーカ１１ａに入力するとともに、左音声信号を左側のスピーカ１１ｂに入力する。これを受けて右側のスピーカ１１ａと左側のスピーカ１１ｂは、（式２）に基づいて算出された重みと制御フィルタによってつけられた重みとに応じて音声を発する。ステップＳ２０６−Ｓ２０７の処理により、図８で示した音像だけでの誘導が行われる。ステップＳ２０７の処理の後、図１１の処理は終了する。
【００５８】
ステップＳ２０８において、処理部１８は、誘導画像の遅延時間ΔＴＩが設定されているか否かを判定する。ステップＳ２０８において、遅延時間ΔＴＩが設定されていると判定されたときに、処理はステップＳ２０９に移行する。ステップＳ２０８において、遅延時間ΔＴＩが設定されていないと判定されたときに、処理はステップＳ２１５に移行する。
【００５９】
ステップＳ２０９において、処理部１８は、誘導音像の出力が有効であるか否かを判定する。誘導音像の出力重みが０でない場合には誘導音像の出力が有効であると判定される。ステップＳ２０９において、誘導音像の出力が有効であると判定されたときには、処理はステップＳ２１０に移行する。ステップＳ２０９において、誘導音像の出力が有効でないと判定されたときには、処理はステップＳ２１３に移行する。
【００６０】
ステップＳ２１０において、処理部１８は、スピーカ１１から誘導音像を出力させる。具体的には、処理部１８は、右音声信号を右側のスピーカ１１ａに入力するとともに、左音声信号を左側のスピーカ１１ｂに入力する。これを受けて右側のスピーカ１１ａと左側のスピーカ１１ｂは、（式２）に基づいて算出された重みと制御フィルタによってつけられた重みとに応じて音声を発する。ステップＳ２１１において、処理部１８は、遅延時間ΔＴＩだけ待機する。そして、遅延時間ΔＴＩ経過後のステップＳ２１２において、処理部１８は、ディスプレイ１２から誘導画像を出力させる。具体的には、処理部１８は、選択した誘導画像をディスプレイ１２に入力する。これを受けてディスプレイ１２は、（式２）に基づいて算出された重みに応じた明るさで画像を表示する。ステップＳ２１０−Ｓ２１２の処理により、図１０で示した音像主体の誘導が行われる。ステップＳ２１２の処理の後、図１１の処理は終了する。
【００６１】
ステップＳ２１３において、処理部１８は、遅延時間ΔＴＩだけ待機する。そして、遅延時間ΔＴＩ経過後のステップＳ２１４において、処理部１８は、ディスプレイ１２から誘導画像を出力させる。具体的には、処理部１８は、選択した誘導画像をディスプレイ１２に入力する。これを受けてディスプレイ１２は、（式２）に基づいて算出された重みに応じた明るさで画像を表示する。ステップＳ２１４の処理の後、図１１の処理は終了する。
【００６２】
ステップＳ２１５において、処理部１８は、スピーカ１１から誘導音像を出力させるとともに、ディスプレイ１２から誘導画像を出力させる。具体的には、処理部１８は、右音声信号を右側のスピーカ１１ａに入力するとともに、左音声信号を左側のスピーカ１１ｂに入力する。同時に、処理部１８は、選択した誘導画像をディスプレイ１２に入力する。これを受けて右側のスピーカ１１ａと左側のスピーカ１１ｂは、（式２）に基づいて算出された重みと制御フィルタによってつけられた重みとに応じて音声を発するとともに、ディスプレイ１２は、（式２）に基づいて算出された重みに応じた明るさで画像を表示する。ステップＳ２１５の処理の後、図１１の処理は終了する。
【００６３】
図１２は、本実施形態の効果を説明するための図である。図１２において、ユーザは地点Ｐ１から目的地Ｔまで行こうとしているものとする。
【００６４】
地点Ｐ１では、ユーザの後方に目的地Ｔが存在している。したがって、スピーカ１１ａ及び１１ｂからはユーザの後方からの音像に対応した誘導音像Ｓ１が再生され、ディスプレイ１２では後方を示す矢印画像である誘導画像Ｉ１が再生される。これらの誘導音像Ｓ１及び誘導画像Ｉ１より、ユーザは目的地Ｔの方向を知ることができる。
【００６５】
次に、ユーザが所定距離（数ｍ程度）移動して地点Ｐ２に位置したとする。地点Ｐ２では、ユーザの右方に目的地Ｔが存在している。したがって、スピーカ１１ａ及び１１ｂからはユーザの右方からの音像に対応した誘導音像Ｓ２が再生される。一方、ユーザの右方向には、障害物Ｏが存在しており、ユーザは右方向に進行することができない。したがって、ディスプレイ１２による誘導画像の再生は行われないか、遅延される。このように誘導音像Ｓ２だけの誘導により、ユーザは目的地Ｔの方向を知ることができるとともに、進行方向を混乱することもない。
【００６６】
次に、ユーザが所定距離（数ｍ程度）移動して地点Ｐ３に位置したとする。地点Ｐ３では、ユーザの右斜め前方に目的地Ｔが存在している。したがって、スピーカ１１ａ及び１１ｂからはユーザの右斜め前方からの音像に対応した誘導音像Ｓ３が再生され、ディスプレイ１２では右斜め前方を示す矢印画像である誘導画像Ｉ３が再生される。地点Ｐ３ではユーザの進行方向に障害物Ｏがないので誘導音像Ｓ３と誘導画像Ｉ３とは同時に再生される。
【００６７】
次に、ユーザが所定距離（数ｍ程度）移動して地点Ｐ４に位置したとする。地点Ｐ４では、ユーザの右斜め前方に目的地Ｔが存在している。したがって、スピーカ１１ａ及び１１ｂからはユーザの右斜め前方からの音像に対応した誘導音像Ｓ４が再生され、ディスプレイ１２では右斜め前方を示す矢印画像である誘導画像Ｉ４が再生される。これらの誘導音像Ｓ４及び誘導画像Ｉ４より、ユーザは目的地Ｔの方向を知ることができる。
【００６８】
このようにして本実施形態によれば、音像と画像の両方を連動させた誘導により、ユーザはより確実に目的地まで誘導される。また、本実施形態によれば、誘導音像と誘導画像の出力タイミングが時々刻々に判定され、誘導音像と誘導画像の両方が提示されることでかえってユーザを混乱させると判断されたときには、音像主体の誘導又は画像主体の誘導が行われる。これにより、ユーザを混乱させずに目的地まで誘導することができる。
【００６９】
また、本実施形態では、スピーカ１１を有する再生装置１０がカート２０に取り付けられている。再生装置１０がカート２０に取り付けられていることにより、ユーザの頭部とスピーカ１１との相対位置が維持されやすい。したがって、頭部伝達関数Ｃを固定値としても音像が安定して再生され得る。また、ユーザの頭部とスピーカ１１との相対位置が変化しても、この変化に応じて頭部伝達関数Ｃがロバストに調整されることにより、ユーザの頭部とスピーカ１１との相対位置が変化しても安定した音像の再生が行われ得る。
【００７０】
［第１の実施形態の変形例１］
第１の実施形態の変形例を説明する。前述した例では、音像はカート２０に取り付けられたスピーカ１１から再生されている。これに対し、音像を再生するための音声再生デバイスは必ずしもカート２０に取り付けられたスピーカである必要はない。例えば、音声再生デバイスは、再生装置１０とは別に設けられていてもよい。再生装置１０とは別に設けられる音声再生デバイスは、例えば図１３Ａに示すような首に装着されるネックバンドスピーカ１１ｃであってもよいし、図１３Ｂに示すようなスピーカ１１ｄを内蔵した眼鏡であってもよい。このほか、音声再生デバイスは、イヤホン、ヘッドホン等であってもよい。これらの音声再生デバイスの場合、カート２０に取り付けられたスピーカ１１に比べて、よりユーザの頭部との相対位置が維持されやすい。したがって、頭部伝達関数Ｃの調整が容易になる。
【００７１】
変形例１で説明したユーザに装着される音声再生デバイスの場合、これらの音声再生デバイスが適切にユーザに装着されていないと、安定した音像の再生が困難になる。したがって、ユーザがこれらの音声再生デバイスを適切に装着しているかを再生装置１０において検出できることが望ましい。図１４は、音声再生デバイスの装着を検出する処理のフローチャートである。図１４の処理は、例えば図４の誘導音像の生成に先立って行われる。
【００７２】
ステップＳ３０１において、処理部１８は、過去にユーザに提示した誘導音像によって示される方向と実際のユーザの移動方向とが一致しているか否かを判定する。ユーザの移動方向は、現在地の変化から検出される。なお、誘導音像によって示される方向と実際のユーザの移動方向とが一致しているか否かは、例えば前述の目的地の方向が変化しているか否かの判定と同様に、誘導音像によって示される方向とユーザの移動方向とが同一象限内にあるか否かで判定されてよい。そして、例えば、連続する３回、誘導音像によって示される方向とユーザの移動方向が異なる象限にあるときには、処理部１８は、誘導音像によって示される方向と実際のユーザの移動方向とが一致していないと判定してよい。ステップＳ３０１において、誘導音像によって示される方向と実際のユーザの移動方向とが一致していると判定されたときには、図１４の処理は終了する。この場合、誘導音像による誘導が行われる。ステップＳ３０１において、誘導音像によって示される方向と実際のユーザの移動方向とが一致していないと判定されたときには、処理はステップＳ３０２に移行する。
【００７３】
ステップＳ３０２において、処理部１８は、カート２０の正面方向に対応した音像を再生するようにスピーカ１１ａ及び１１ｂを制御する。このとき、再生する音声は、例えば音声再生デバイスの装着の確認を促す音声とする。つまり、音像による誘導が正しく行われておらず、音声再生デバイスの装着が適切に行われていない可能性があるので、ユーザに対して音声再生デバイスの装着を促す。カート２０の正面方向に対応した音像を生成するための頭部伝達関数Ｃ及びｄは、例えば予めメモリ１７に記憶されている。この音像を聞いたユーザは、音声再生デバイスの装着を確認し、必要に応じて音声再生デバイスを適切に装着する。
【００７４】
ステップＳ３０３において、処理部１８は、ユーザの移動方向がカート２０の正面方向、すなわち現在の音像によって示される方向と一致しているか否かを判定する。ステップＳ３０３において、ユーザの移動方向がカート２０の正面方向と一致していると判定されたときには、図１４の処理は終了する。この場合、誘導音像による誘導が再開される。ステップＳ３０３において、ユーザの移動方向がカート２０の正面方向と一致していると判定されたときには、処理はステップＳ３０４に移行する。
【００７５】
ステップＳ３０４において、処理部１８は、音像による誘導から音量差による誘導に切り替える。その後、図１４の処理は終了する。具体的には、目的地の方向が右方向であれば、処理部１８は、スピーカ１１ａから発せられる音声の音量を上げるように制御し、目的地の方向が左方向であれば、処理部１８は、スピーカ１１ｂから発せられる音声の音量を上げるように制御し、目的地の方向が正面方向であれば、処理部１８は、スピーカ１１ａ及びスピーカ１１ｂから発せられる音声の音量を等しくするように制御する。音量差による誘導では、ユーザの前後方向の誘導をすることはできないが、不適切な音像の再生によってユーザを混乱させる可能性は低減される。
【００７６】
以上説明した変形例により、より安定した音像の再生を行うことができるともに、不適切な音像の再生によってユーザを混乱させてしまうこともない。
【００７７】
［第１の実施形態の変形例２］
前述した再生装置１０は、カート２０に取り付けられるとしているが、再生装置１０は必ずしもカート２０に取り付けられる必要はない。再生装置１０は、スマートフォン、タブレットＰＣ等のスピーカとディスプレイとを備えた端末であってもよい。
【００７８】
また、第１のセンサ１４は、ユーザの現在地を検出できればよいので、必ずしも再生装置１０に設けられている必要はない。第１のセンサ１４は、例えばユーザによって装着されるセンサであってもよい。
【００７９】
また、第１のカメラ１３ａと第２のカメラ１３ｂとは、必ずしも再生装置１０に設置される必要はなく、再生装置１０と別に設置されてもよい。また、第１のカメラ１３ａと第２のカメラ１３ｂの２台のカメラに代えて、魚眼レンズ等の広画角のレンズを有する１台のカメラが再生装置１０に設置されてもよい。
【００８０】
［第２の実施形態］
第２の実施形態を説明する。図１５は、第２の実施形態に係る再生装置の適用例を示す図である。なお、再生装置の構成は、図１及び図３を用いて説明した構成と同様でよい。したがって、再生装置の構成の詳細については説明を省略する。
【００８１】
第２の実施形態の再生装置１０は、スマートフォン、タブレットＰＣ等のスピーカとディスプレイとを備えた端末である。再生装置１０は、例えば製品を点検する点検装置に適用される。ユーザＵは、再生装置１０を対象の製品のほうに向ける。このとき、再生装置１０は、第２のカメラ１３ｂ（図１５では図示されていない）によって前方を撮像し、ユーザの視界方向の画像を取得する。そして、再生装置１０は、ユーザの視界方向の画像をディスプレイ１２に表示させる。
【００８２】
ここで、第２のカメラ１３ｂによって得られた画像の中に、予め定められた点検箇所があるときには、再生装置１０は、ディスプレイ１２に表示されている画像中の点検箇所に相当する位置に誘導画像としてのＡＲマーカを表示させる。図１５は、ディスプレイ１２に表示されている画像中に、点検の工程１と点検の工程２の２箇所の点検箇所がある例を示している。この場合、再生装置１０は、２箇所分のＡＲマーカＩ１、Ｉ２を表示させる。
【００８３】
また、再生装置１０は、第２のカメラ１３ｂによって得られた画像の外に、予め定められた点検箇所があるか否かも判定できる。そして、画像の外に、予め定められた点検箇所があるときには、再生装置１０は、その点検箇所の方向に対応した音像が再生されるようにスピーカ１１ａ及び１１ｂを制御する。図１５は、ディスプレイ１２に表示されている画像の外に、工程３の点検箇所がある例を示している。この場合、再生装置１０は、点検の工程３の方向を示す音像Ｓを再生する。
【００８４】
図１６は、第２の実施形態の再生装置１０の動作を示すフローチャートである。ステップＳ４０１において、処理部１８は、第２のカメラ１３ｂによって得られたユーザの視界方向の画像をディスプレイ１２に表示させる。
【００８５】
ステップＳ４０２において、処理部１８は、第２のカメラ１３ｂによって得られた画像の中に、予め定められた点検箇所があるか否かを判定する。画像内の点検箇所の有無は、例えば点検箇所の座標情報から判定され得る。第２のカメラ１３ｂの撮像方向に含まれる点検箇所の座標があるときには、第２のカメラ１３ｂによって得られた画像の中に、予め定められた点検箇所があると判定される。第２のカメラ１３ｂの撮像方向は、第２のセンサ１５によって検出される再生装置１０の筐体１０ａの姿勢と、第２のカメラ１３ｂの画角とから推定できる。ステップＳ４０２において、第２のカメラ１３ｂによって得られた画像の中に、予め定められた点検箇所があると判定されたときには、処理はステップＳ４０３に移行する。ステップＳ４０２において、第２のカメラ１３ｂによって得られた画像の中に、予め定められた点検箇所がないと判定されたときには、処理はステップＳ４０４に移行する。
【００８６】
ステップＳ４０３において、処理部１８は、画像中の点検箇所の位置に誘導画像としてのＡＲマーカを表示させる。ＡＲマーカは、点検箇所を強調する画像、点検の工程の番号を示す画像、矢印画像等であってよい。
【００８７】
ステップＳ４０４において、処理部１８は、第２のカメラ１３ｂによって得られた画像外に、予め定められた点検箇所があるか否かを判定する。画像外の点検箇所の有無は、例えば点検箇所の座標情報から判定され得る。第２のカメラ１３ｂの撮像方向に含まれない点検箇所の座標があるときには、第２のカメラ１３ｂによって得られた画像外、予め定められた点検箇所があると判定される。ステップＳ４０４において、第２のカメラ１３ｂによって得られた画像外に、予め定められた点検箇所があると判定されたときには、処理はステップＳ４０５に移行する。ステップＳ４０４において、第２のカメラ１３ｂによって得られた画像外に、予め定められた点検箇所がないと判定されたときには、処理はステップＳ４０６に移行する。
【００８８】
ステップＳ４０５において、処理部１８は、画像外の点検箇所の方向及び距離に対応した誘導音像を生成する。そして、処理部１８は、スピーカ１１ａ及び１１ｂを制御して誘導音像を再生する。その後、処理はステップＳ４０７に移行する。なお、誘導音像として再生される音声は、例えばアラームでよい。
【００８９】
ステップＳ４０７において、処理部１８は、点検を終了するか否かを判定する。例えば、ユーザの操作部１６の操作によって点検の終了が指示されたときには、点検を終了すると判定される。ステップＳ４０７において、点検を終了しないと判定されたときは、処理はステップＳ４０１に戻る。ステップＳ４０７において、点検を終了すると判定されたときは、図１６の処理は終了する。
【００９０】
以上説明したように第２の実施形態によれば、画像では誘導できない範囲を音像による誘導でカバーすることができる。点検をする製品が大きく、点検の工程数が多くなると、ディスプレイ１２では一度にすべての点検箇所を確認することが困難になる。第２の実施形態では、ディスプレイ１２の表示範囲から外れた点検箇所も音像によって確認することができる。
【００９１】
ここで、第２の実施形態においては、音像の出力タイミングと画像の出力タイミングについては特に言及していない。音像の出力タイミングと画像の出力タイミングは同時であってもよいし、異なっていてもよい。例えば、再生装置１０の筐体１０ａの移動速度に応じて音像の出力タイミングを遅延させる等してもよい。
【００９２】
以上、いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９３】
１０  再生装置、１０ａ  筐体、１１，１１ａ，１１ｂ  スピーカ、１２  ディスプレイ、１３  カメラ、１３ａ  第１のカメラ、１３ｂ  第２のカメラ、１４  第１のセンサ、１５  第２のセンサ、１６  操作部、１７  メモリ、１８  処理部、２０  カート。
【図１】
2020041897.tif 000003
【図２】
2020041897.tif 000004
【図３】
2020041897.tif 000005
【図４】
2020041897.tif 000006
【図５Ａ】
2020041897.tif 000007
【図５Ｂ】
2020041897.tif 000008
【図６】
2020041897.tif 000009
【図７Ａ】
2020041897.tif 000010
【図７Ｂ】
2020041897.tif 000011
【図８】
2020041897.tif 000012
【図９】
2020041897.tif 000013
【図１０】
2020041897.tif 000014
【図１１】
2020041897.tif 000015
【図１２】
2020041897.tif 000016
【図１３Ａ】
2020041897.tif 000017
【図１３Ｂ】
2020041897.tif 000018
【図１４】
2020041897.tif 000019
【図１５】
2020041897.tif 000020
【図１６】
2020041897.tif 000021