(57)【要約】      （修正有）【課題】触覚刺激と聴覚刺激の一体感や統一感を向上させることができる触聴覚呈示装置を提供する。【解決手段】触聴覚呈示装置１は、操作がなされる操作面１２０に振動を付加するアクチュエータ１６と、音声１８０を出力する音声出力部１８と、操作面に振動を与えるようにアクチュエータ１６を制御すると共に振動が呈示されるタイミングで音声を出力するように音声出力部１８を制御してクロスモーダルなフィードバックを呈示する制御部２０と、を備えて概略構成されている。【選択図】図１
2018097706.tif 000002
【特許請求の範囲】
【請求項１】
操作がなされる操作面に振動を付加するアクチュエータと、
音声を出力する音声出力部と、
前記操作面に振動を与えるように前記アクチュエータを制御すると共に振動が呈示されるタイミングで音声を出力するように前記音声出力部を制御してクロスモーダルなフィードバックを呈示する制御部と、
を備えた触聴覚呈示装置。
【請求項２】
前記制御部は、前記操作面を不連続に振動させると共に音声を不連続に出力させる、
請求項１に記載の触聴覚呈示装置。
【請求項３】
前記制御部は、増加又は減衰する振動を前記操作面に与えるように前記アクチュエータを制御すると共に、増加又は減衰する音声を振動に合わせて出力するように前記音声出力部を制御して操作対象の機能の開始又は終了を示す前記クロスモーダルなフィードバックを呈示する、
請求項１又は２に記載の触聴覚呈示装置。
【請求項４】
前記制御部は、一定の間隔で前記操作面を振動させると共に、一塊となる振動の波形は増加又は減衰させず、波形の塊ごとに振幅を大きく又は小さくすることで前記操作面に与える振動を増加又は減衰させ、
前記一定の間隔に合わせて音声を出力すると共に、一塊となる音声の波形は増加又は減衰させず、波形の塊ごとに振幅を大きく又は小さくすることで音声を増加又は減衰させる、
請求項１乃至３のいずれか１項に記載の触聴覚呈示装置。
【請求項５】
前記操作面を押し込む操作が行われた際に付加された荷重を検出する荷重検出部を有し、
前記制御部は、検出された前記荷重が荷重しきい値以上である場合、前記アクチュエータ及び前記音声出力部を制御して前記クロスモーダルなフィードバックを呈示する、
請求項１乃至４のいずれか１項に記載の触聴覚呈示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、触聴覚呈示装置に関する。
【背景技術】
【０００２】
従来の技術として、少なくとも車室内前方に設置される薄膜振動板と、この薄膜振動板と一体化して若しくは近接して重ねて設けられ、乗員が触れることによって操作される操作部と、この操作部が操作されたことを検出する検出手段と、検出手段により操作部が操作されたことが検出された時に、薄膜振動板の少なくとも操作部の領域を振動させることにより、乗員に操作を受け付けたことを知らせるための確認振動を行う確認振動制御手段と、音響信号を入力した時に、薄膜振動板を振動させることにより音響出力を行う音響出力制御手段と、を備えた車両用操作ユニットが知られている（例えば、特許文献１参照。）。
【０００３】
この車両用操作ユニットは、薄膜振動板による確認振動の周波数帯域と音響出力の周波数帯域とを区分することで、確認振動のための振動と、音響出力による音響振動とを容易に識別可能とする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−７９１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし従来の車両用操作ユニットは、触覚刺激と聴覚刺激の一体感や統一感が得られない可能性がある。
【０００６】
従って本発明の目的は、触覚刺激と聴覚刺激の一体感や統一感を向上させることができる触聴覚呈示装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、操作がなされる操作面に振動を付加するアクチュエータと、音声を出力する音声出力部と、操作面に振動を与えるようにアクチュエータを制御すると共に振動が呈示されるタイミングで音声を出力するように音声出力部を制御してクロスモーダルなフィードバックを呈示する制御部と、を備えた触聴覚呈示装置を提供する。
【発明の効果】
【０００８】
本発明によれば、触覚刺激と聴覚刺激の一体感や統一感を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】図１（ａ）は、実施の形態に係る触聴覚呈示装置の一例が搭載された車両内部の概略図であり、図１（ｂ）は、触聴覚呈示装置の一例を示す概略図であり、図１（ｃ）は、触聴覚呈示装置の一例を示すブロック図である。
【図２】図２（ａ）は、実施の形態に係る触聴覚呈示装置の荷重検出部が検出した荷重と荷重しきい値の一例について説明するためのグラフであり、図２（ｂ）は、アクチュエータに出力される駆動信号の一例について説明するためのグラフであり、図２（ｃ）は、音声出力部に出力される音声信号の一例について説明するためのグラフである。
【図３】図３（ａ）は、表示装置に表示された割り当てられた機能が終了状態にあるアイコンの一例を示す概略図であり、図３（ｂ）は、当該機能が開始状態にあるアイコンの一例を示す概略図である。
【図４】図４は、実施の形態に係る触聴覚呈示装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（実施の形態の要約）
実施の形態に係る触聴覚呈示装置は、操作がなされる操作面に振動を付加するアクチュエータと、音声を出力する音声出力部と、操作面に振動を与えるようにアクチュエータを制御すると共に振動が呈示されるタイミングで音声を出力するように音声出力部を制御してクロスモーダルなフィードバックを呈示する制御部と、を備えて概略構成されている。
【００１１】
この触聴覚呈示装置は、振動の呈示と音声の呈示のタイミングを合わせるので、この構成を採用しない場合と比べて、触覚刺激と聴覚刺激の一体感や統一感を向上させることができる。
【００１２】
[実施の形態]
（触聴覚呈示装置１の概要）
図１（ａ）は、実施の形態に係る触聴覚呈示装置の一例が搭載された車両内部の概略図であり、図１（ｂ）は、触聴覚呈示装置の一例を示す概略図であり、図１（ｃ）は、触聴覚呈示装置の一例を示すブロック図である。図２（ａ）は、実施の形態に係る触聴覚呈示装置の荷重検出部が検出した荷重と荷重しきい値の一例について説明するためのグラフであり、図２（ｂ）は、アクチュエータに出力される駆動信号の一例について説明するためのグラフであり、図２（ｃ）は、音声出力部に出力される音声信号の一例について説明するためのグラフである。図２（ａ）は、横軸が時間、縦軸が検出された荷重であり、図２（ｂ）は、横軸が時間、縦軸が駆動信号であり、図２（ｃ）は、横軸が時間、縦軸が音声信号である。なお荷重Ｆは、図１（ｂ）の紙面下向きを正とする。
【００１３】
なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｃ）では、主な信号や情報の流れを矢印で示している。また数値範囲を示す「Ａ〜Ｂ」は、Ａ以上Ｂ以下の意味で用いるものとする。
【００１４】
触聴覚呈示装置１は、例えば、図１（ａ）に示すように、車両８のフロアコンソール８０に操作面１２０が露出するように配置されている。触聴覚呈示装置１は、例えば、車両８に搭載された操作対象の電子機器と電磁気的に接続されている。そして触聴覚呈示装置１は、当該電子機器の表示部となるセンターコンソール８１に配置された表示装置８２に表示されたカーソルの移動、表示されたアイコンの選択、決定、ドラッグ、ドロップなどの指示を行うことができる遠隔操作装置である。操作対象の電子機器は、一例として、ナビゲーション装置、空調装置、音楽及び映像再生装置などである。
【００１５】
また触聴覚呈示装置１は、操作面１２０なされた操作に応じて操作面１２０に振動を付加すると共に音声を出力して操作者に触覚刺激及び聴覚刺激によるフィードバック、つまりクロスモーダルなフィードバックを呈示するように構成されている。
【００１６】
具体的には、触聴覚呈示装置１は、図１（ｂ）〜図２（ｃ）に示すように、操作がなされる操作面１２０に振動を付加するアクチュエータ１６と、音声１８０を出力する音声出力部１８と、操作面１２０に振動を与えるようにアクチュエータ１６を制御すると共に振動が呈示されるタイミングで音声１８０を出力するように音声出力部１８を制御してクロスモーダルなフィードバックを呈示する制御部２０と、を備えて概略構成されている。
【００１７】
また本実施の形態の触聴覚呈示装置１は、操作面１２０を押し込む操作が行われた際に付加された荷重Ｆを検出する荷重検出部１４を備えている。そして制御部２０は、検出された荷重Ｆが荷重しきい値２０１以上である場合、アクチュエータ１６を制御して触覚刺激を呈示すると共に音声出力部１８を制御して聴覚刺激を呈示する。
【００１８】
さらに本実施の形態の触聴覚呈示装置１は、操作面１２０に接触又は接近した検出対象の座標を検出するタッチパッド１２を備えている。
【００１９】
触聴覚呈示装置１は、例えば、操作面１２０に操作がなされて操作対象の機能が開始される際、離散的に徐々に振幅が増加する振動を操作面１２０に付加すると共に、音圧（振幅）が増加する音声１８０を出力することにより機能が開始するクロスモーダルなフィードバックを呈示する。
【００２０】
また触聴覚呈示装置１は、例えば、図２（ａ）〜図２（ｃ）に示すように、操作面１２０に操作がなされて操作対象の機能が終了する際、減衰する振動を操作面１２０に付加すると共に、音圧（振幅）が減衰する音声１８０を出力することにより機能が終了するクロスモーダルなフィードバックを呈示する。
【００２１】
つまり触聴覚呈示装置１は、一例として、操作対象の状態を示す操作対象の機能開始のクロスモーダルなフィードバックと、機能終了のクロスモーダルなフィードバックを呈示する。なお触聴覚呈示装置１は、一例として、図２（ｂ）及び図２（ｃ）に示す減衰する振動及び音声を振幅の小さい順に呈示することで機能の開始を呈示するように構成されている。
【００２２】
操作面１２０は、例えば、図１（ｂ）に示すように、タッチパッド１２の操作面１２０であるがこれに限定されず、スイッチのボタンを模した板部材などの表面であっても良い。
【００２３】
（タッチパッド１２の構成）
タッチパッド１２は、例えば、操作者の体の一部（例えば、操作指）や専用のペンで操作面１２０に触れることにより、触れた操作面１２０上の位置を検出するタッチセンサである。操作者は、例えば、操作面１２０に操作を行うことにより、接続された電子機器の操作を行うことが可能となる。タッチパッド１２としては、例えば、抵抗膜方式や静電容量方式などのタッチパネルを用いることが可能である。本実施の形態のタッチパッド１２は、一例として、静電容量方式のタッチセンサである。
【００２４】
タッチパッド１２は、操作面１２０の下方に、複数の駆動電極と複数の検出電極が絶縁性を保ちながら交差して配置されている。タッチパッド１２は、例えば、複数の駆動電極及び複数の検出電極を走査して周期的に静電容量を読み出している。タッチパッド１２は、この読み出した静電容量に基づいて操作指９が検出された検出点１２１の座標を算出する。
【００２５】
そしてタッチパッド１２は、例えば、算出した検出点１２１の座標に基づいて検出情報Ｓ１を生成して制御部２０に出力する。この座標は、操作面１２０に設定された座標系における座標である。
【００２６】
（荷重検出部１４の構成）
荷重検出部１４は、図１（ｂ）に示すように、タッチパッド１２の裏面側に配置され、操作面１２０に付加された荷重Ｆを検出するように構成されている。この荷重Ｆは、荷重や振動が付加されない基準位置１２０ａを基準として押し込み方向に付加された荷重を正としている。
【００２７】
荷重検出部１４は、例えば、歪みゲージである。荷重検出部１４は、検出した荷重Ｆに基づく荷重情報Ｓ２を生成して制御部２０に出力する。
【００２８】
（アクチュエータ１６の構成）
アクチュエータ１６は、図１（ｂ）に示すように、操作面１２０の裏面側に配置されている。アクチュエータ１６は、例えば、ボイスコイルモータやピエゾ素子を用いて構成されている。
【００２９】
本実施の形態のアクチュエータ１６は、筐体１０と荷重検出部１４の間に配置されたボイスコイルモータである。アクチュエータ１６は、制御部２０から出力される駆動信号Ｓ３に基づいて基準位置１２０ａの上下に操作面１２０を振動させる。操作面１２０を基準位置１２０ａから上方向に駆動する駆動信号Ｓ３は、図２（ｂ）に示すグラフの上側である。また操作面１２０を基準位置１２０ａから下方向に駆動する駆動信号Ｓ３は、図２（ｂ）に示すグラフの下側である。
【００３０】
（音声出力部１８の構成）
音声出力部１８は、例えば、図１（ａ）に示すように、車両８のピラーやドアに配置されたスピーカを含んで構成されている。音声出力部１８は、制御部２０から出力される音声信号Ｓ４に応じて音声１８０を出力する。
【００３１】
音声１８０は、例えば、機能の開始や終了を連想させる音などの予め設定された音である。音声出力部１８は、例えば、図１（ｃ）及び図２（ｃ）に示すように、音声信号Ｓ４に応じて離散的に音声１８０を出力する。
【００３２】
（制御部２０の構成）
図３（ａ）は、表示装置に表示された割り当てられた機能が終了状態にあるアイコンの一例を示す概略図であり、図３（ｂ）は、当該機能が開始状態にあるアイコンの一例を示す概略図である。図３（ａ）の表示画面８２０に示すアイコン８２２は、一例として、カーソル８２１による選択決定により、割り当てられた操作対象の機能の状態が変わると共に表示が変わるように構成されている。
【００３３】
制御部２０は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部２０が動作するためのプログラムと、状態情報２００と、荷重しきい値２０１と、呈示パターン情報２０２と、が格納されている。
【００３４】
また制御部２０は、例えば、タッチパッド１２から取得した検出情報Ｓ１、及び荷重検出部１４から取得した荷重情報Ｓ２に基づいて操作指９の検出点１２１の座標の情報や操作面１２０を押し込む操作（プッシュ操作）の情報を含む操作情報Ｓ５を接続された操作対象の電子機器に出力するように構成されている。
【００３５】
状態情報２００は、例えば、操作対象の状態に関する情報である。制御部２０は、例えば、操作面１２０にプッシュ操作がなされた場合、この状態情報２００に基づいて機能の開始なのか終了なのか、つまり第１の状態なのか第２の状態なのかを判定して適切なクロスモーダルなフィードバックを呈示する。制御部２０は、一例として、操作対象から取得した指定情報Ｓ６に基づいて状態情報２００を生成する。
【００３６】
変形例として制御部２０は、例えば、指定情報Ｓ６に基づいて操作対象の機能の開始なのか終了なのかを判定してクロスモーダルなフィードバックを呈示するように構成されても良い。なお触聴覚呈示装置１が荷重検出部１４を備えない構成である場合、操作対象から出力される指定情報Ｓ６に基づいて機能の開始を示すクロスモーダルなフィードバックの呈示、及び機能の終了を示すクロスモーダルなフィードバックの呈示を行う。
【００３７】
また状態情報２００は、例えば、機能を割り当てられたアイコンが複数表示されている場合、複数のアイコンごとの現在の状態を記憶する。
【００３８】
荷重しきい値２０１は、図２（ａ）に示すように、触覚及び聴覚の呈示を行うか否かを判定するためのしきい値である。制御部２０は、例えば、図２（ａ）〜図２（ｃ）に示すように、検出された荷重Ｆと荷重しきい値２０１とを比較し、この荷重Ｆが時間ｔにおいて荷重しきい値２０１以上となると、触覚パターン２０２ａを有する駆動信号Ｓ３を生成してアクチュエータ１６に出力すると共に聴覚パターン２０２ｃを有する音声信号Ｓ４を生成して音声出力部１８に出力する。
【００３９】
この触覚パターン２０２ａ及び聴覚パターン２０２ｃは、呈示パターン情報２０２に基づいて生成される。なお呈示パターン情報２０２は、例えば、関数であっても良い。
【００４０】
機能の終了を呈示するための触覚パターン２０２ａは、図２（ｂ）に示すように、操作面１２０を不連続に振動させるパターンである。また触覚パターン２０２ａは、一定の間隔△ｔで操作面１２０を振動させるパターンである。つまり触覚パターン２０２ａは、複数の孤立波形２０２ｂが一定の間隔△ｔで並び、かつ孤立波形２０２ｂの振幅が減衰せず、一の孤立波形２０２ｂに続く孤立波形２０２ｂの振幅が小さくなり、全体として減衰するパターンとなっている。この孤立波形２０２ｂは、一例として、正弦波である。なお波形は、正弦波に限定されず、矩形波、三角波など、様々な波形であって良い。
【００４１】
また機能の開始を呈示するための触覚パターン２０２ａは、複数の孤立波形２０２ｂが一定の間隔△ｔで並び、かつ孤立波形２０２ｂの振幅が増加せず、一の孤立波形２０２ｂに続く孤立波形２０２ｂの振幅が大きくなり、全体として増加するパターンとなる。
【００４２】
制御部２０は、上述のように、一定の間隔△ｔで操作面１２０を振動させると共に、一塊となる振動の波形は増加又は減衰させず、波形の塊ごとに振幅を大きく又は小さくすることで操作面１２０に与える振動を増加又は減衰させるように構成されている。
【００４３】
孤立波形２０２ｂが正弦波である場合、実験などの結果により、触覚パターン２０２ａは、周波数ｆ１が１０〜１００Ｈｚ、孤立波形２０２ｂに含まれる波の周期が０．５〜２周期、間隔△ｔが０．０５〜０．２ｓ、減衰比ζ１が０．１〜０．９、波数が２〜７波の組み合わせのパターンとして構成される。なお後述するように聴覚パターン２０２ｃは、触覚パターン２０２ａに類似する特徴を有するパターンとして生成される。また増加する際の増加比は、減衰比の逆数となる。
【００４４】
具体的には、周波数ｆ１が１０Ｈｚ未満である場合、触覚による知覚が困難となる。また周波数ｆ１が１００Ｈｚより高い場合、個々の振動の触覚が明確であるため、増加又は減衰していく感覚を想起させるのが困難である。
【００４５】
孤立波形２０２ｂに含まれる波が０．５周期未満の場合、知覚される振動が弱く、増加又は減衰していく感覚を想起させるのが困難となる。また孤立波形２０２ｂに含まれる波が２周期より長い場合、触感が悪くなり適さない。
【００４６】
間隔△ｔが０．０５ｓ未満の場合、孤立波形２０２ｂ間の間隔が短くなって複数の波形と知覚され難い。また間隔△ｔが０．２ｓより長い場合、間隔が長すぎて増加又は減衰する触感が得られない。
【００４７】
減衰比ζ１が０．１未満である場合、最初の波形が強調されるため、１つの波としか知覚されず、従来のクリック感のような触感になり適さない。また減衰比ζ１が０．９より大きい場合、増加又は減衰する触覚が得られない。
【００４８】
波数が１波である場合、従来のクリック感のように、単純な振動フィードバックとなる。また波数が８波以上である場合、振動の継続時間が長くなり、触感が悪くなり適さない。
【００４９】
以上の結果により、触覚パターン２０２ａの最適な条件は、一例として、周波数ｆ１が１０Ｈｚ、孤立波形２０２ｂに含まれる波の周期が１周期、間隔△ｔが０．１ｓ、減衰比ζ１が０．７、波数が５波の組み合わせのパターンとして構成されるのが好ましい。なお減衰比ζは、図２（ｂ）に示すように、ｂ／ａ＝ｃ／ｂ＝ｄ／ｃ＝ｅ／ｄである。図２（ｂ）の孤立波形２０２ｂの減衰比ζ１は、０．７である。
【００５０】
機能の終了を呈示するための聴覚パターン２０２ｃは、図２（ｃ）に示すように、音声１８０を不連続に出力させるパターンである。また聴覚パターン２０２ｃは、振動と同じ一定の間隔△ｔで音声１８０を出力させるパターンである。つまり聴覚パターン２０２ｃは、複数の孤立波形２０２ｄが一定の間隔△ｔで並び、かつ孤立波形２０２ｄの振幅が減衰せず、一の孤立波形２０２ｄに続く孤立波形２０２ｄの振幅が小さくなり、全体として減衰するパターンとなっている。この孤立波形２０２ｄは、一例として、触覚パターン２０２ａの孤立波形２０２ｂと同様に正弦波である。なお波形は、正弦波に限定されず、触覚パターン２０２ａの孤立波形２０２ｂに応じて変更される。
【００５１】
また機能の開始を呈示するための聴覚パターン２０２ｃは、複数の孤立波形２０２ｄが一定の間隔△ｔで並び、かつ孤立波形２０２ｄの振幅が増加せず、一の孤立波形２０２ｄに続く孤立波形２０２ｄの振幅が大きくなり、全体として増加するパターンとなる。
【００５２】
制御部２０は、上述のように、一定の間隔△ｔで音声１８０を出力させると共に、一塊となる音声１８０の波形は増加又は減衰させず、波形の塊ごとに振幅を大きく又は小さくすることで音声１８０を増加又は減衰させるように構成されている。
【００５３】
なお聴覚パターン２０２ｃは、周波数ｆ２が１０〜５０００Ｈｚである。また聴覚パターン２０２ｃの減衰比ζ２は、図２（ｃ）に示すように、Ｂ／Ａ＝Ｃ／Ｂ＝Ｄ／Ｃ＝Ｅ／Ｄであり、触覚パターン２０２ａの減衰比ζ１と同じである。
【００５４】
制御部２０は、離散的に増加する触覚刺激及び聴覚刺激によって徐々に機能が開始する感覚を操作者に想起させる。制御部２０は、離散的に減衰する触覚刺激及び聴覚刺激によって徐々に機能が終了する感覚を操作者に想起させる。
【００５５】
制御部２０は、操作対象の機能終了時には、図２（ｂ）及び図２（ｃ）に示すように徐々に減衰する触覚パターン２０２ａを有する駆動信号Ｓ３を生成してアクチュエータ１６に出力すると共に徐々に減衰する聴覚パターン２０２ｃを有する音声信号Ｓ４を生成して音声出力部１８に出力する。
【００５６】
また制御部２０は、操作対象の機能開始時には、一例として、徐々に振動が増加するような、つまり触覚パターン２０２ａを逆にした触覚パターンを有する駆動信号Ｓ３を生成してアクチュエータ１６に出力すると共に、徐々に音声１８０が増加する、つまり聴覚パターン２０２ｃを逆にした聴覚パターンを有する音声信号Ｓ４を生成して音声出力部１８に出力する。
【００５７】
制御部２０は、例えば、図３（ａ）に示すように、アイコン８２２の機能が終了状態にある場合、カーソル８２１で選択した状態で操作面１２０にプッシュ操作がなされると、機能開始状態を呈示する駆動信号Ｓ３及び音声信号Ｓ４を呈示パターン情報２０２に基づいて生成してアクチュエータ１６及び音声出力部１８に出力して機能開始を呈示する。
【００５８】
また制御部２０は、例えば、図３（ｂ）に示すように、機能が開始されたアイコン８２２をカーソル８２１で選択した状態で操作面１２０にプッシュ操作がなされると、機能終了を呈示する駆動信号Ｓ３及び音声信号Ｓ４を呈示パターン情報２０２に基づいて生成してアクチュエータ１６及び音声出力部１８に出力して機能終了を呈示する。
【００５９】
続いて本実施の形態の触聴覚呈示装置１の動作の一例について図４のフローチャートに従って説明する。ここでは、操作面１２０を押し込むことで操作対象の機能の第１の状態又は第２の状態を呈示する場合について説明する。
【００６０】
（動作）
触聴覚呈示装置１の制御部２０は、荷重検出部１４から荷重情報Ｓ２を取得し（Ｓｔｅｐ１）、荷重しきい値２０１を超えるか否かを監視する。制御部２０は、ステップ２の「Ｙｅｓ」が成立する、つまり検出された荷重Ｆが荷重しきい値２０１以上となると（Ｓｔｅｐ２：Ｙｅｓ）、状態情報２００を参照して操作対象の状態が機能開始なのか機能終了なのかを確認する。
【００６１】
制御部２０は、機能終了である場合（Ｓｔｅｐ３：Ｙｅｓ）、振動及び音声１８０が離散的に徐々に減衰する駆動信号Ｓ３及び音声信号Ｓ４を生成してアクチュエータ１６及び音声出力部１８に出力し、減衰する振動及び音声１８０を呈示する（Ｓｔｅｐ４）。
【００６２】
具体的には制御部２０は、呈示パターン情報２０２に基づいて離散的に徐々に減衰する触覚パターン２０２ａに基づいた駆動信号Ｓ３を生成してアクチュエータ１６に出力すると共に、離散的に徐々に減衰する聴覚パターン２０２ｃに基づいた音声信号Ｓ４を生成して音声出力部１８に出力する。制御部２０は、触覚刺激及び聴覚刺激によって機能の終了を示すクロスモーダルなフィードバックを呈示して動作を終了する。
【００６３】
ここでステップ３において制御部２０は、機能開始である場合（Ｓｔｅｐ３：Ｎｏ）、振動及び音声１８０が離散的に徐々に増加する駆動信号Ｓ３及び音声信号Ｓ４を生成してアクチュエータ１６及び音声出力部１８に出力し、増加する振動及び音声１８０を呈示する（Ｓｔｅｐ５）。
【００６４】
具体的には制御部２０は、呈示パターン情報２０２に基づいて離散的に徐々に増加するように触覚パターン２０２ａを反転したような駆動信号Ｓ３を生成してアクチュエータ１６に出力すると共に、離散的に徐々に増加するように聴覚パターン２０２ｃを反転したような音声信号Ｓ４を生成して音声出力部１８に出力する。制御部２０は、触覚刺激及び聴覚刺激によって機能の開始を示すクロスモーダルなフィードバックを呈示して動作を終了する。
【００６５】
（実施の形態の効果）
本実施の形態に係る触聴覚呈示装置１は、振動による触覚刺激と音声１８０による聴覚刺激のタイミングを合わせるので、この構成を採用しない場合と比べて、触覚刺激と聴覚刺激の一体感や統一感を向上させたクロスモーダルなフィードバックを呈示することができる。
【００６６】
触聴覚呈示装置１は、連続的に増加又は減衰するのではなく、波形の塊である振動及び音声１８０の孤立波形（孤立波形２０２ｂ及び孤立波形２０２ｄ）が一定間隔△ｔで呈示され、かつ一の孤立波形に続く孤立波形が一の孤立波形より増加又は減衰することで全体として増加又は減衰するので、この構成を採用しない場合と比べて、増加又は減衰に関するクロスモーダルなフィードバックが操作者に認識され易い。
【００６７】
また触聴覚呈示装置１は、押し込み操作によって操作対象の機能が第１の状態から第２の状態、第２の状態から第１の状態に切り替わるクロスモーダルなフィードバックを呈示することができる。
【００６８】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６９】
１…触聴覚呈示装置、８…車両、９…操作指、１０…筐体、１２…タッチパッド、１４…荷重検出部、１６…アクチュエータ、１８…音声出力部、２０…制御部、８０…フロアコンソール、８１…センターコンソール、８２…表示装置、１２０…操作面、１２０ａ…基準位置、１２１…検出点、１８０…音声、２００…状態情報、２０１…荷重しきい値、２０２…呈示パターン情報、２０２ａ…触覚パターン、２０２ｂ…孤立波形、２０２ｃ…聴覚パターン、２０２ｄ…孤立波形、８２０…表示画面、８２１…カーソル、８２２…アイコン
【図１】
2018097706.tif 000003
【図２】
2018097706.tif 000004
【図３】
2018097706.tif 000005
【図４】
2018097706.tif 000006