(57)【要約】【課題】直感的に、複数の音響ソースから入力される音響信号の中から、所望の音響信号を選択することができる音響信号制御装置を提供する。【解決手段】複数の音響ソースから入力される各々の音響信号に基づいて、触覚・振動覚刺激を提示する触覚・振動覚提示デバイス３ａと、音響信号に対し所定の処理を施すよう指示する際に操作される操作デバイス３ｂと、を一体化して結合した結合デバイス３を、複数の音響ソースの各々に対応して備え、触覚・振動覚提示デバイス３ａによって提示される触覚・振動覚刺激を制御する信号処理部１及び駆動部２と、音響信号に基づく音を出力装置４００に出力させる音出力制御部４と、を備えるよう構成した。【選択図】図２
2008306372.tif 000002
【特許請求の範囲】
【請求項１】
複数の音響ソースから入力される各々の音響信号に基づいて、触覚・振動覚刺激を提示する触覚・振動覚提示デバイスと、前記音響信号に対し所定の処理を施すよう指示する際に操作される操作デバイスと、を一体化して結合した結合デバイスを、前記複数の音響ソースの各々に対応して備え、
前記触覚・振動覚提示デバイスによって提示される前記触覚・振動覚刺激を制御する触覚・振動覚提示制御手段と、
前記音響信号に基づく音を出力装置に出力させる出力制御手段と、
を備えることを特徴とする音響信号制御装置。
【請求項２】
請求項１に記載の音響信号制御装置において、
前記触覚・振動覚提示制御手段は、前記音響信号の強度の時間変化をあらわす強度信号と、当該強度信号を平滑化した平滑化強度信号と、を求め、当該強度信号が、当該平滑化強度信号よりも大きくなった時に、前記触覚・振動覚提示デバイスによる前記触覚・振動覚刺激の提示を開始させて、当該提示を所定時間継続させることを特徴とする音響信号制御装置。
【請求項３】
請求項２に記載の音響信号制御装置において、
前記強度信号は、線形予測分析での予測誤差信号の強度信号であることを特徴とする音響信号制御装置。
【請求項４】
請求項２に記載の音響信号制御装置において、
前記強度信号は、非周期成分の強度信号であることを特徴とする音響信号制御装置。
【請求項５】
請求項１〜４の何れか一項に記載の音響信号制御装置において、
前記触覚・振動覚提示制御手段は、前記触覚・振動覚提示デバイスに、ベースバンド信号に基づく触覚・振動覚刺激及び／又は予め設定された周波数に振幅変調された振幅変調信号に基づく触覚・振動覚刺激を提示させることを特徴とする音響信号制御装置。
【請求項６】
請求項１〜５の何れか一項に記載の音響信号制御装置において、
前記触覚・振動覚提示制御手段は、ある時間において前記音響信号に基づく聴覚刺激が最も強い音響信号に対応する触覚・振動覚提示デバイスに、前記触覚・振動覚刺激を提示させることを特徴とする音響信号制御装置。
【請求項７】
請求項１〜５の何れか一項に記載の音響信号制御装置において、
前記音響信号の時間軸を伸縮する時間軸伸縮手段を備え、
前記触覚・振動覚提示制御手段は、前記触覚・振動覚提示デバイスに、前記時間軸伸縮手段によって時間軸が伸縮された音響信号に基づく触覚・振動覚刺激を提示させることを特徴とする音響信号制御装置。
【請求項８】
複数の音響ソースから入力される各々の音響信号に基づいて、触覚・振動覚刺激を提示する触覚・振動覚提示デバイスと、前記音響信号に対し所定の処理を施すよう指示する際に操作される操作デバイスと、を一体化して結合した結合デバイスを、前記複数の音響ソースの各々に対応して備え、
前記触覚・振動覚提示デバイスによって提示される前記触覚・振動覚刺激を制御する触覚・振動覚提示制御手段と、
前記音響信号に基づく音を出力装置に出力させる出力制御手段と、
を備え、
前記触覚・振動覚提示制御手段は、前記音響信号の強度の時間変化をあらわす線形予測分析での予測誤差信号の強度信号と、当該強度信号を平滑化した平滑化強度信号と、を求め、当該強度信号が、当該平滑化強度信号よりも大きくなった時に、前記触覚・振動覚提示デバイスによる、当該強度信号に基づく触覚・振動覚刺激及び／又は予め設定された周波数に振幅変調された振幅変調信号に基づく触覚・振動覚刺激の提示を開始させて、当該提示を所定時間継続させることを特徴とする音響信号制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の音響ソースから入力される音響信号を制御する音響信号制御装置に関する。
【背景技術】
【０００２】
テレビジョン受信機や、補聴器、音響信号編集機などの音出力装置においては、ユーザは、その音出力装置から出力される複数の音響信号に基づく音を聞きながら、特定の音響信号に対して所定の処理（例えば、一の音響信号に基づく音のみを出力する処理や、音響信号に基づく音の音量を調整する処理）を施すよう指示する場合がある。
具体的な３つの例を以下に挙げる。
【０００３】
第１はテレビジョン放送の同時視聴である。例えば、ニュース番組は、複数の放送局で同時刻に始まることが多い。視聴者は、関心を持っている特定のニュースがある場合、その特定のニュースを真っ先に放送してくれる放送局がどの放送局であるか分からないので、チャンネルをこまめに切り替えながら、所望のニュースが放送されるのを待ち受けるしかない。しかしながら、それでは、所望のニュースを見逃してしまう可能性がある。
そこで、複数チャンネルのテレビジョン放送信号を同時受信可能なチューナをテレビジョン受信機に搭載して、視聴者に、同時に複数の番組を視聴させる方法が有力となる。このとき、複数の番組で音声出力の特性を異ならせると、各番組の音声が聞き取り易くなる（例えば、特許文献１参照）。
しかしながら、特許文献１等の技術によって、視聴者が、所望のニュースの内容を聞き出せたとしても、それがどのチャンネルに対応するか把握することは困難である。したがって、視聴者が、例えば、視聴している複数の番組のうちの所望の番組のみを視聴したい場合、その所望の番組のチャンネルを瞬時に選択することは困難である。そのため、ユーザが、所望の番組のチャンネルを直感的に選択することができるスイッチ等の操作デバイスが必要になる。
【０００４】
第２は分離された信号の出力切替である。近年の信号分離技術の発展によって、日常生活の音環境であっても、複数の話者の音声をリアルタイムで分離することが可能になりつつある。例えば、信号分離機能を有する補聴器においては、複数の話者の音声を自動的に別々に分離して取り出すことができる。このとき、話者の特徴を記憶させて、ユーザによって選択された話者の音声のみを当該特徴に基づいて出力することができるよう補聴器を構成しておけば（例えば、特許文献２参照）、ユーザは、補聴器に特徴が記憶された話者の中から所望の話者を選択することによって、所望の話者の音声のみを聞くことができる。
しかしながら、特許文献２等の技術では、特徴が記憶された話者の音声は出力できるものの、任意の話者の音声は出力できない。また、スイッチ等の操作デバイスによって出力する音声を任意の話者毎に切り替えることができるよう構成したとしても、複数の話者のうちの誰の音声を聞きたいかはユーザの意思によるので、この部分は自動化できない。そのため、ユーザが、所望の話者を直感的に選択することができる操作デバイスが必要になる。
【０００５】
第３はミキシングコンソールなどの音響信号編集機を用いた音響信号の編集である。例えば、４ｃｈの音楽ソースがあり、ｃｈ−１にドラムの音楽ソース、ｃｈ−２にボーカルの音楽ソース、ｃｈ−３にピアノの音楽ソース、ｃｈ−４にベースギターの音楽ソースが収録されているとする。音響信号編集機の操作者（ユーザ）は、例えば、各音楽ソースに対応する音量調整ノブ等の操作デバイスをそれぞれ操作して、所望の音楽ソースからの音響信号に基づく音の音量を調整するようになっている。そして、音響信号編集機は、その音量が調整された４種類の音響信号の加重平均をとった音を出力するようになっている。これによって、音響信号編集機を用いて、最終的なバランスの音楽が作成される。
しかしながら、音楽ソースが複数ある場合、音量を調整したい音の音楽ソースに対応する操作デバイスを確実に選択することは困難である。そのため、ユーザが、音量を調整したい音の音楽ソースを直感的に選択することができる操作デバイスが必要になる。
【０００６】
ここで、ユーザが、所望の番組のチャンネルを選択する場合、所望の話者を選択する場合、音量を調整したい音の音楽ソースを選択する場合、すなわち、複数の音響ソースから入力される音響信号の中から、１つの音響信号を選択する場合、最も簡単な方法として、出力する音響信号を、スイッチ等の操作デバイスで順に１つずつ切り替えていく方法がある。
【０００７】
また、音響信号を触覚刺激や振動覚刺激に変換して人間に与える方法として最もポピュラーなのは、ボディーソニックなどの、低音部を耳からではなく体に直接伝える方法である。その他、振動を指先に伝えることで音楽のリズム感を体感させたり、音声の感情を振動で伝えたりするアイデアも提案されている（例えば、特許文献３〜５参照）。
【０００８】
また、スイッチ等の操作デバイスと触覚・振動覚提示デバイスとを一体化するアイデアとして、携帯電話機などに設けられたキーが確実に押下されたことを振動でユーザに伝えるもの（例えば、特許文献６参照）、タッチパネルの操作確認を振動でユーザに伝えるもの（例えば、特許文献７参照）、ロータリースイッチ、プッシュスイッチ、スライドスイッチ及び押しボタンスイッチからなる入力部において、ロータリー入力を必要とする場合に振動してユーザに伝えるもの（例えば、特許文献８参照）などが提案されている。
【特許文献１】特開２００５−２１０３４９号公報
【特許文献２】特開２０００−１２５３９７号公報
【特許文献３】特開平８−１９０７８号公報
【特許文献４】特開２００６−１４２５５号公報
【特許文献５】特開２００６−４７６４０号公報
【特許文献６】特開２００３−５８９３号公報
【特許文献７】特開平９−１６１６０２号公報
【特許文献８】特開２００４−７０５０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、出力する音響信号を、スイッチ等の操作デバイスで順に１つずつ切り替えていく方法は、スイッチがＯＦＦになっている間に重要な音が出力されてしまう場合があり、その重要な音を聞き逃してしまうという懸念がある。
【００１０】
また、ボディーソニックや特許文献３〜５等の技術では、音を振動で伝えることはできるものの、複数の音響ソースから入力される音響信号の各々を振動で識別することはできないため、複数の音響ソースから入力される音響信号の中から、１つの音響信号を選択する場合には利用できない。
【００１１】
また、特許文献６〜８等の技術では、操作の確認や入力の必要性を振動で伝えることはできるものの、複数の音響ソースから入力される音響信号の各々を振動で識別することはできないため、複数の音響ソースから入力される音響信号の中から、１つの音響信号を選択する場合には利用できない。
【００１２】
本発明の課題は、直感的に、複数の音響ソースから入力される音響信号の中から、所望の音響信号を選択することができる音響信号制御装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、請求項１に記載の発明は、
複数の音響ソースから入力される各々の音響信号に基づいて、触覚・振動覚刺激を提示する触覚・振動覚提示デバイスと、前記音響信号に対し所定の処理を施すよう指示する際に操作される操作デバイスと、を一体化して結合した結合デバイスを、前記複数の音響ソースの各々に対応して備え、
前記触覚・振動覚提示デバイスによって提示される前記触覚・振動覚刺激を制御する触覚・振動覚提示制御手段と、
前記音響信号に基づく音を出力装置に出力させる出力制御手段と、
を備えることを特徴とする。
【００１４】
請求項２に記載の発明は、
請求項１に記載の音響信号制御装置において、
前記触覚・振動覚提示制御手段は、前記音響信号の強度の時間変化をあらわす強度信号と、当該強度信号を平滑化した平滑化強度信号と、を求め、当該強度信号が、当該平滑化強度信号よりも大きくなった時に、前記触覚・振動覚提示デバイスによる前記触覚・振動覚刺激の提示を開始させて、当該提示を所定時間継続させることを特徴とする。
【００１５】
請求項３に記載の発明は、
請求項２に記載の音響信号制御装置において、
前記強度信号は、線形予測分析での予測誤差信号の強度信号であることを特徴とする。
【００１６】
請求項４に記載の発明は、
請求項２に記載の音響信号制御装置において、
前記強度信号は、非周期成分の強度信号であることを特徴とする。
【００１７】
請求項５に記載の発明は、
請求項１〜４の何れか一項に記載の音響信号制御装置において、
前記触覚・振動覚提示制御手段は、前記触覚・振動覚提示デバイスに、ベースバンド信号に基づく触覚・振動覚刺激及び／又は予め設定された周波数に振幅変調された振幅変調信号に基づく触覚・振動覚刺激を提示させることを特徴とする。
【００１８】
請求項６に記載の発明は、
請求項１〜５の何れか一項に記載の音響信号制御装置において、
前記触覚・振動覚提示制御手段は、ある時間において前記音響信号に基づく聴覚刺激が最も強い音響信号に対応する触覚・振動覚提示デバイスに、前記触覚・振動覚刺激を提示させることを特徴とする。
【００１９】
請求項７に記載の発明は、
請求項１〜５の何れか一項に記載の音響信号制御装置において、
前記音響信号の時間軸を伸縮する時間軸伸縮手段を備え、
前記触覚・振動覚提示制御手段は、前記触覚・振動覚提示デバイスに、前記時間軸伸縮手段によって時間軸が伸縮された音響信号に基づく触覚・振動覚刺激を提示させることを特徴とする。
【００２０】
請求項８に記載の発明は、
複数の音響ソースから入力される各々の音響信号に基づいて、触覚・振動覚刺激を提示する触覚・振動覚提示デバイスと、前記音響信号に対し所定の処理を施すよう指示する際に操作される操作デバイスと、を一体化して結合した結合デバイスを、前記複数の音響ソースの各々に対応して備え、
前記触覚・振動覚提示デバイスによって提示される前記触覚・振動覚刺激を制御する触覚・振動覚提示制御手段と、
前記音響信号に基づく音を出力装置に出力させる出力制御手段と、
を備え、
前記触覚・振動覚提示制御手段は、前記音響信号の強度の時間変化をあらわす線形予測分析での予測誤差信号の強度信号と、当該強度信号を平滑化した平滑化強度信号と、を求め、当該強度信号が、当該平滑化強度信号よりも大きくなった時に、前記触覚・振動覚提示デバイスによる、当該強度信号に基づく触覚・振動覚刺激及び／又は予め設定された周波数に振幅変調された振幅変調信号に基づく触覚・振動覚刺激の提示を開始させて、当該提示を所定時間継続させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、音響信号制御装置において、複数の音響ソースから入力される各々の音響信号に基づいて、触覚・振動覚刺激を提示する触覚・振動覚提示デバイスと、音響信号に対し所定の処理を施すよう指示する際に操作される操作デバイスと、を一体化して結合した結合デバイスを、複数の音響ソースの各々に対応して備え、触覚・振動覚提示デバイスによって提示される触覚・振動覚刺激を制御する触覚・振動覚提示制御手段と、音響信号に基づく音を出力装置に出力させる出力制御手段と、を備えている。
すなわち、複数の音響ソースから入力される音響信号の各々に対応する触覚・振動覚提示デバイスを備え、触覚・振動覚提示デバイスの各々から、対応する音響信号に基づく触覚・振動覚刺激を提示することができるため、ユーザは、直感的に、複数の音響ソースから入力される音響信号の中から、所望の音響信号を選択することができる。
【発明を実施するための最良の形態】
【００２２】
《実施例》
以下、図を参照して、本発明にかかる音響信号制御装置の最良の形態を詳細に説明する。なお、発明の範囲は、図示例に限定されない。
【００２３】
図１には、音響信号制御装置１００の機能的構成を示すブロック図を示し、図２には、音響信号制御装置１００での信号の流れを示す。
【００２４】
音響信号制御装置１００は、例えば、テレビジョン受信機等に組み込まれた装置であり、例えば、図１に示すように、当該テレビジョン受信機のチューナ２００及びアンプ３００と接続している。
【００２５】
具体的には、音響信号制御装置１００は、例えば、図１に示すように、チューナ２００と接続する信号処理部１と、駆動部２と、触覚・振動覚提示デバイス３ａと操作デバイス３ｂとを一体化して結合した結合デバイス３と、アンプ３００と接続する音出力制御部４と、制御部５と、などを備えて構成される。
【００２６】
［チューナ］
チューナ２００は、例えば、複数チャンネルのテレビジョン放送信号を同時受信可能なチューナである。
具体的には、チューナ２００は、例えば、図１及び図２に示すように、アンテナ２００ａを有している。チューナ２００は、例えば、アンテナ２００ａによって受信されたテレビジョン放送波から複数チャンネルで放送されている複数の番組に関するテレビジョン放送信号を受信して、そのテレビジョン放送信号から音響信号を分離し、当該複数の番組に関する音響信号の各々を別個独立に音響信号制御装置１００に入力する。すなわち、チューナ２００は、複数の音響ソースを有しており、その複数の音響ソースからの音響信号を音響信号制御装置１００に入力する音響信号入力装置である。
【００２７】
例えば、図２に示すチューナ２００は、複数の番組に関する音響信号として、第１ＴＶ番組〜第４ＴＶ番組の４つのＴＶ番組に関する音響信号を、音響信号制御装置１００（信号処理部１）に入力するようになっている。
【００２８】
［信号処理部］
信号処理部１は、制御部５から入力される制御信号に従って、例えば、チューナ２００から入力された音響信号に対して所定の音響信号処理（例えば、図３）を行って、音響信号を音出力制御部４に出力するとともに、音響信号に基づく触覚・振動覚刺激を駆動部２を介して触覚・振動覚提示デバイス３ａに提示させる。
【００２９】
例えば、図２に示す信号処理部１は、第１信号処理部〜第４信号処理部を有している。第１信号処理部は、第１ＴＶ番組に関する音響信号が入力されるようになっている。第２信号処理部は、第２ＴＶ番組に関する音響信号が入力されるようになっている。第３信号処理部は、第３ＴＶ番組に関する音響信号が入力されるようになっている。第４信号処理部は、第４ＴＶ番組に関する音響信号が入力されるようになっている。
そして、例えば、図２に示す信号処理部１は、第１信号処理部〜第４信号処理部の各々が、音響信号処理（例えば、図３）を行って、音響信号（ｘ(ｔ)）を音出力制御部４に出力するとともに、触覚・振動覚提示デバイス３ａを駆動するための信号（ｆ２(ｎＢ)）を駆動部２に出力するようになっている。
【００３０】
＜音響信号処理＞
信号処理部１による音響信号処理の具体例を、図３のフローチャートを参照して説明する。
【００３１】
ここで、チューナ２００から入力される１つの音響信号をｘ(ｔ)とする。音響信号ｘ(ｔ)をサンプリング周波数ＦＳでのデジタル信号とし、ｔをサンプリング番号とする。すなわち、例えば、ＦＳ＝４４１００Ｈｚとしたとき、ｔ＝４４１００は“１秒後”をあらわす。以後、時間軸上での長さはサンプリング番号であらわすことにする。
また、音響信号ｘ(ｔ)は、所定時間分のブロック毎に処理が施される。そのブロック長をＴＮとするとともに、隣り合うブロックの始点同士の間隔（時間間隔）をＴＳとし、ＴＳ＜ＴＮとして、前後のブロックがオーバーラップするようにする。以後、ＴＮ＝１４７０、ＴＳ＝２４５として説明する。なお、ブロックを時間順に並べたときのブロック番号をｎＢとする。
【００３２】
まず、信号処理部１は、例えば、各変数を初期化する。すなわち、信号処理部１は、例えば、ブロック番号ｎＢに“０”、カウントに“０”、ｆ１(−１)に“０”、ｆ２(−１)に“０”、ＰＡ(−１)に“０”を設定する（ステップＳ１）。
【００３３】
次いで、信号処理部１は、例えば、１ブロック分の音響信号ｘ(ｔ)（ＴＳｎＢ≦ｔ＜ＴＳｎＢ＋ＴＮ）を、解析用バッファｙ(ｔ)（０≦ｔ＜ＴＮ）にコピーする（ステップＳ２）。
【００３４】
次いで、信号処理部１は、例えば、解析用バッファｙ(ｔ)（０≦ｔ＜ＴＮ）に対して線形予測分析を行い、線形予測係数ａ１，ａ２，…，ａＫを求める（ステップＳ３）。ここで、Ｋは線形予測の次数である。以後、Ｋ＝２０として説明する。
【００３５】
次いで、信号処理部１は、例えば、線形予測係数ａ１，ａ２，…，ａＫを用いて、１ブロックの中心にあるＴＳ個のサンプルを予測し、予測誤差の系列を求める。すなわち、線形予測係数ａ１，ａ２，…，ａＫを用いて、解析用バッファｙ（ｔ）（０≦ｔ＜ＴＮ）のうちのｙ（ｔ）（(ＴＮ−ＴＳ)/２≦ｔ＜(ＴＮ＋ＴＳ)/２）を予測し、予測誤差の系列を求める。そして、信号処理部１は、例えば、この予測誤差の系列の２乗和（予測誤差エネルギー（すなわち、音響信号の強度の時間変化をあらわす線形予測分析での予測誤差信号の強度信号））を算出して、これを強度信号ＰＲ(ｎＢ)とする（ステップＳ４）。
強度信号ＰＲ(ｎＢ)は、音声の音量が大きいほど大きな値をとるが、単に音量に比例するものではなく、子音部で大きく増加する。また、母音部の開始時点でも大きく増加する。したがって、強度信号ＰＲ(ｎＢ)が急峻に増加するタイミングで、触覚・振動覚刺激を提示することができれば、人間は音と刺激とを比較的容易に対応付けることができるのである。
【００３６】
次いで、信号処理部１は、例えば、強度信号ＰＲ(ｎＢ)を平滑化した平滑化強度信号ＰＡ(ｎＢ)を作成する（ステップＳ５）。具体的には、信号処理部１は、例えば、平滑化の時定数をＴＡとしたとき、δ＝１−exp(−ＴＳ/ＴＡ)で定義されるδを用いて、ＰＡ(ｎＢ)＝（１−δ）ＰＡ(ｎＢ−１)＋δＰＲ(ｎＢ)を算出することによって、平滑化強度信号ＰＡ(ｎＢ)を作成する。平滑化強度信号ＰＡ(ｎＢ)は、強度信号ＰＲ(ｎＢ)にゆっくりと追従していくことで、強度信号ＰＲ(ｎＢ)の局所的な平均エネルギーをあらわす信号になっている。以後、ＴＡ＝８８２（２０ミリ秒に相当）として説明する。
【００３７】
次いで、信号処理部１は、例えば、第１閾値信号ＰＨ(ｎＢ)に“ＰＡ(ｎＢ)を１ｄＢ大きくした信号”、第２閾値信号ＰＬ(ｎＢ)に“ＰＡ(ｎＢ)を５ｄＢ小さくした信号”を設定する（ステップＳ６）。
強度信号ＰＲ(ｎＢ)が平滑化強度信号ＰＡ(ｎＢ)を大きく上回れば、予測誤差エネルギーが急増したことになるため、子音部又は開始時点の母音部であると推定でき、強度信号ＰＲ(ｎＢ)が平滑化強度信号ＰＡ(ｎＢ)を大きく下回れば、無音部又は継続中の母音部であると推定できる。この推定を行うために、２つの閾値信号（第１閾値信号ＰＨ(ｎＢ)と第２閾値信号ＰＬ(ｎＢ)）を設けた。なお、第１閾値信号ＰＨ(ｎＢ)は、ＰＡ(ｎＢ)を１ｄＢ大きくした信号に限ることはなく、平滑化強度信号ＰＡ(ｎＢ)以上であれば任意である。また、第２閾値信号ＰＬ(ｎＢ)は、ＰＡ(ｎＢ)を５ｄＢ小さくした信号に限ることはなく、平滑化強度信号ＰＡ(ｎＢ)以下であれば任意である。
【００３８】
次いで、信号処理部１は、例えば、強度信号ＰＲ(ｎＢ)が第１閾値信号ＰＨ(ｎＢ)よりも大きいか否かを判断する（ステップＳ７）。
【００３９】
ステップＳ７で、強度信号ＰＲ(ｎＢ)が第１閾値信号ＰＨ(ｎＢ)よりも大きいと判断すると（ステップＳ７；Ｙｅｓ）、信号処理部１は、例えば、信号ｆ１(ｎＢ)に“１”を設定して（ステップＳ８）、ステップＳ１２の処理に移行する。
【００４０】
一方、ステップＳ７で、強度信号ＰＲ(ｎＢ)が第１閾値信号ＰＨ(ｎＢ)よりも大きくないと判断すると（ステップＳ７；Ｎｏ）、信号処理部１は、例えば、強度信号ＰＲ(ｎＢ)が第２閾値信号ＰＬ(ｎＢ)よりも小さいか否かを判断する（ステップＳ９）。
【００４１】
ステップＳ９で、強度信号ＰＲ(ｎＢ)が第２閾値信号ＰＬ(ｎＢ)よりも小さいと判断すると（ステップＳ９；Ｙｅｓ）、信号処理部１は、例えば、信号ｆ１(ｎＢ)に“０”を設定して（ステップＳ１０）、ステップＳ１２の処理に移行する。
【００４２】
一方、ステップＳ９で、強度信号ＰＲ(ｎＢ)が第２閾値信号ＰＬ(ｎＢ)よりも小さくないと判断すると（ステップＳ９；Ｎｏ）、信号処理部１は、例えば、信号ｆ１(ｎＢ)に“ｆ１(ｎＢ−１)”を設定する（ステップＳ１１）。
すなわち、信号ｆ１(ｎＢ)は、２値信号であり、強度信号ＰＲ(ｎＢ)＞第１閾値信号ＰＨ(ｎＢ)となった時に“１”になり、強度信号ＰＲ(ｎＢ)＜第２閾値信号ＰＬ(ｎＢ)となった時に“０”になり、どちらでもない時に前回の値（ｆ１(ｎＢ−１)）を継続する信号である。したがって、信号ｆ１(ｎＢ)の立ち上がり（すなわち、ｆ１(ｎＢ)＝０からｆ１(ｎＢ)＝１に切り替わった時点）が、子音部又は開始時点の母音部に同期する。
【００４３】
次いで、信号処理部１は、例えば、ｆ１(ｎＢ−１)＝０、ｆ１(ｎＢ)＝１、ｆ２(ｎＢ−１)＝０及びカウント＞ＴＭ/ＴＳであるか否かを判断する（ステップＳ１２）。
ＴＭは、ｆ２(ｎＢ)＝０が予め定められた時間（ＴＭ）以上継続していない限り、ｆ２(ｎＢ)＝１に切り替えないために設けた条件である。これによって、人間が感知できないほど早さでｆ２(ｎＢ)＝０からｆ２(ｎＢ)＝１に切り替わるのを防ぐことができる。以後、ＴＭ＝２２０５（５０ミリ秒に相当）として説明する。
【００４４】
ステップＳ１２で、ｆ１(ｎＢ−１)＝０、ｆ１(ｎＢ)＝１、ｆ２(ｎＢ−１)＝０及びカウント＞ＴＭ/ＴＳであると判断すると（ステップＳ１２；Ｙｅｓ）、すなわち、前回から今回で信号ｆ１(ｎＢ)が“０”から“１”に切り替わり、前回の値（ｆ２(ｎＢ−１)）が“０”であり、且つ、カウント＞ＴＭ/ＴＳであると判断すると、信号処理部１は、信号ｆ２(ｎＢ)に“１”、カウントに“０”を設定して（ステップＳ１３）、ステップＳ１７の処理に移行する。
【００４５】
一方、ステップＳ１２で、ｆ１(ｎＢ−１)＝０、ｆ１(ｎＢ)＝１、ｆ２(ｎＢ−１)＝０及びカウント＞ＴＭ/ＴＳでないと判断すると（ステップＳ１２；Ｎｏ）、すなわち、ｆ１(ｎＢ−１)＝０、ｆ１(ｎＢ)＝１、ｆ２(ｎＢ−１)＝０及びカウント＞ＴＭ/ＴＳのうちの少なくとも１つを満たさないと判断すると、信号処理部１は、例えば、ｆ２(ｎＢ−１)＝１及びカウント＝ＴＰ/ＴＳであるか否かを判断する（ステップＳ１４）。
ＴＰは、ｆ２(ｎＢ)＝１が予め定められた時間（ＴＰ）継続すると、ｆ２(ｎＢ)＝０に切り替えるために設けた条件である。これによって、人間が感知に都合のよい時間だけ刺激を継続させることができる。以後、ＴＭ＝２２０５（５０ミリ秒に相当）として説明する。
ここで、刺激時間は母音部や子音部の長さに比例させた方が良さそうであるが、人間の指先は、刺激に対する検出能力がそれほど高くないため、刺激時間が短時間である場合にはその刺激を感じ取ることができない。よって、刺激時間は、母音部や子音部の長さに比例させるよりも、人間の感知に都合のよい時間に設定する方がよい。
【００４６】
ステップＳ１４で、ｆ２(ｎＢ−１)＝１及びカウント＝ＴＰ/ＴＳであると判断すると（ステップＳ１４；Ｙｅｓ）、信号処理部１は、例えば、ｆ２(ｎＢ)に“０”、カウントに“０”を設定して（ステップＳ１５）、ステップＳ１７の処理に移行する。
【００４７】
一方、ステップＳ１４で、ｆ２(ｎＢ−１)＝１及びカウント＝ＴＰ/ＴＳでないと判断すると（ステップＳ１４；Ｎｏ）、信号処理部１は、例えば、ｆ２(ｎＢ)に“ｆ２(ｎＢ−１)”、カウントに“カウント＋１”を設定する（ステップＳ１６）。
【００４８】
次いで、信号処理部１は、例えば、信号ｆ２(ｎＢ)を駆動部２に出力するとともに、１ブロック分の音響信号ｘ(ｔ)（ＴＳｎＢ−ＴＤ≦ｔ＜ＴＳｎＢ−ＴＤ＋ＴＮ）を音出力制御部４に出力し（ステップＳ１７）、ｎＢに“ｎＢ＋１”を設定して（ステップＳ１８）、ステップＳ２以降の処理を繰り返して行う。
【００４９】
ここで、音出力制御部４に出力する音響信号ｘ(ｔ)（ＴＳｎＢ−ＴＤ≦ｔ＜ＴＳｎＢ−ＴＤ＋ＴＮ）は、解析用バッファｙ(ｔ)（０≦ｔ＜ＴＮ）に記憶された音響信号ｘ(ｔ)（ＴＳｎＢ≦ｔ＜ＴＳｎＢ＋ＴＮ）と比較して、ＴＤだけ遅延している。
これは、人間における「聴覚」と「触覚・振動覚」の反応の時間差を補正するためである。具体的には、聴覚に比べて触覚・振動覚は鈍感なので、同時に刺激したとしても、触覚・振動覚刺激の方を遅れて感知してしまう。したがって、聴覚刺激（すなわち、音響信号ｘ(ｔ)）を、予め定めた時間（ＴＤ）だけ触覚・振動覚刺激よりも遅れて出力する方が良い結果が得られることが多い。さらに、音響信号ｘ(ｔ)の処理はブロック長がＴＮのブロック毎に行われるため、ブロック長ＴＮに依存した時間補正が必要になることも多い。したがって、これら２つの補正を含めて、音出力制御部４に出力する音響信号ｘ(ｔ)（ＴＳｎＢ−ＴＤ≦ｔ＜ＴＳｎＢ−ＴＤ＋ＴＮ）を、解析用バッファｙ(ｔ)（０≦ｔ＜ＴＮ）に記憶された音響信号ｘ(ｔ)（ＴＳｎＢ≦ｔ＜ＴＳｎＢ＋ＴＮ）よりもＴＤだけ遅延させている。
【００５０】
＜波形の例＞
「白髪のお婆さんが杖をついて」という音声に関する音響信号ｘ(ｔ)に対して、信号処理部１が音響信号処理（図３）を適用した場合の各信号の波形の例を図４に示す。
図４（ａ）は入力された音響信号ｘ(ｔ)の波形、図４（ｂ）は強度信号ＰＲ(ｎＢ)、第１閾値信号ＰＨ(ｎＢ)及び第２閾値信号ＰＬ(ｎＢ)の波形、図４（ｃ）は信号ｆ１(ｎＢ)の波形、図４（ｄ）は信号ｆ２(ｎＢ)の波形、図４（ｅ）は第１振幅変調信号ｆ３(ｎＢ)（後述）の波形、図４（ｆ）はｆ１(ｎＢ)−ｆ２(ｎＢ)の波形（後述）、図４（ｇ）は第２振幅変調信号ｆ４(ｎＢ)（後述）の波形、図４（ｈ）は信号ｆ５(ｎＢ)（後述）の波形である。
【００５１】
図４（ｃ）によれば、強度信号ＰＲ(ｎＢ)＞第１閾値信号ＰＨ(ｎＢ)となると、信号ｆ１(ｎＢ)は“１”にセットされ、強度信号ＰＲ(ｎＢ)＜第２閾値信号ＰＬ(ｎＢ)となると、信号ｆ１(ｎＢ)は“０”にリセットされている。さらに、第１閾値信号ＰＨ(ｎＢ)と第２閾値信号ＰＬ(ｎＢ)との間には所定の差（例えば、第１閾値信号ＰＨ(ｎＢ)に“ＰＡ(ｎＢ)を１ｄＢ大きくした信号”、第２閾値信号ＰＬ(ｎＢ)に“ＰＡ(ｎＢ)を５ｄＢ小さくした信号”を設定した場合は、６ｄＢの差）があるため、信号ｆ１(ｎＢ)の変化にはヒステリシスが存在し、そのため、信号ｆ１(ｎＢ)が不安定に変化することを抑制できている。
【００５２】
また、図４（ｄ）によれば、信号ｆ１(ｎＢ)が“１”にセットされると、信号ｆ２(ｎＢ)は予め定められた時間（ＴＰ）だけ“１”となり、以後“０”になる。そして、“０”になった後は、信号ｆ２(ｎＢ)は予め定められた時間（ＴＭ）は“１”にならないようになっている。このようにすることで、人間が指先で感じることのできない複雑な変動を避けることができる。
【００５３】
そして、図４によれば、信号ｆ２(ｎＢ)が、子音と強い母音（「は」、「く」、「つ」、「おば」、「が」、「つ」、「つ」、「て」）に反応しており、狙いどおりの良好な信号が得られていることが分かる。
【００５４】
［駆動部］
駆動部２は、例えば、信号処理部１から入力される信号ｆ２(ｎＢ)に従って、触覚・振動覚提示デバイス３ａを駆動する。
【００５５】
例えば、図２に示す駆動部２は、第１駆動部〜第４駆動部を有している。第１駆動部は、第１信号処理部から入力された信号ｆ２(ｎＢ)に従って、対応する触覚・振動覚提示デバイス３ａを駆動するようになっている。第２駆動部は、第２信号処理部から入力された信号ｆ２(ｎＢ)に従って、対応する触覚・振動覚提示デバイス３ａを駆動するようになっている。第３駆動部は、第３信号処理部から入力された信号ｆ２(ｎＢ)に従って、対応する触覚・振動覚提示デバイス３ａを駆動するようになっている。第４駆動部は、第４信号処理部から入力された信号ｆ２(ｎＢ)に従って、対応する触覚・振動覚提示デバイス３ａを駆動するようになっている。
【００５６】
具体的には、駆動部２は、例えば、ｆ２(ｎＢ)＝０の信号ｆ２(ｎＢ)が入力された場合には、触覚・振動覚刺激を提示しないよう触覚・振動覚提示デバイス３ａを制御し、ｆ２(ｎＢ)＝１の信号ｆ２(ｎＢ)が入力された場合には、触覚・振動覚指摘を提示するよう触覚・振動覚提示デバイス３ａを制御する。
【００５７】
ここで、駆動部２は、例えば、触覚・振動覚提示デバイス３ａに、ベースバンド信号（ｆ２(ｎＢ)）に基づく触覚・振動覚刺激と、第１振幅変調信号ｆ３(ｎＢ)に基づく触覚・振動覚刺激と、の何れか一方を提示させるようになっている。
ベースバンド信号に基づく触覚・振動覚刺激は、例えば、信号処理部１から入力される信号ｆ２(ｎＢ)に基づく触覚・振動覚刺激である。
また、第１振幅変調信号ｆ３(ｎＢ)に基づく触覚・振動覚刺激は、例えば、信号処理部１から入力される信号ｆ２(ｎＢ)を予め設定された周波数に振幅変調した信号に基づく触覚・振動覚刺激である。ここで、予め設定された周波数は、例えば、触覚・振動覚刺激が、振動による刺激である場合、人間が振動として感知しやすい５０〜１５０Ｈｚ程度とする。
【００５８】
実験の結果、２０Ｈｚを超える振動の場合、人間の指先は周波数をほとんど判別することができなかった。触覚・振動覚は、聴覚と比較して、周波数の識別についてはかなり鈍感であることが分かった。
しかしながら、ベースバンド信号（ｆ２(ｎＢ)）に基づく触覚・振動覚刺激と、第１振幅変調信号ｆ３(ｎＢ)に基づく触覚・振動覚刺激と、については、人間の指先は明確に識別することができた。これを利用して、音響信号処理（図３）で検出された子音部及び開始時点の母音部をベースバンド信号（ｆ２(ｎＢ)）に基づく触覚・振動覚刺激で提示し、それに重ね合わせて５０〜１５０Ｈｚの振動による第２振幅変調信号ｆ４(ｎＢ)に基づく触覚・振動覚刺激を提示すれば、信号ｆ５(ｎＢ)に基づく触覚・振動覚刺激を提示することができる。具体的には、例えば、図４（ｆ）に示すｆ１(ｎＢ)−ｆ２(ｎＢ)を５０〜１５０Ｈｚの周波数に振幅変調して、図４（ｇ）に示す第２振幅変調信号ｆ４(ｎＢ)を生成し、そして、第２振幅変調信号ｆ４(ｎＢ)に信号ｆ２(ｎＢ)を加算することで、図４（ｈ）に示す信号ｆ５(ｎＢ)を生成することができる。信号ｆ５(ｎＢ)に基づく触覚・振動覚刺激を提示することで、信号ｆ１(ｎＢ)の継続時間までも刺激を提示することができることとなって、人間の指先に、より多くの情報を与えることができる。
なお、ここで示したように図４（ｆ）をｆ１(ｎＢ)−ｆ２(ｎＢ)として作成する方法は、あくまで一例であって、本発明の範囲はそれに限られるわけではない。
【００５９】
なお、触覚・振動覚提示デバイス３ａによって提示される触覚・振動覚刺激を制御する触覚・振動覚提示制御手段は、例えば、信号処理部１と、駆動部２と、から構成される。
【００６０】
［結合デバイス］
結合デバイス３は、例えば、複数の音響ソースを有するチューナ２００から入力される各々の音響信号に基づいて、触覚・振動覚刺激を提示する触覚・振動覚提示デバイス３ａと、ユーザが音響信号に対し所定の処理を施すよう指示する際に操作される操作デバイス３ｂと、を一体化して結合したものであり、複数の音響ソースの各々に対応して備えられている。
【００６１】
例えば、図２に示す４つの結合デバイス３…は、第１ＴＶ番組〜第４ＴＶ番組の音響ソースの各々に対応している。
そして、第１ＴＶ番組の音響ソースに対応する結合デバイス３は、第１駆動部によって駆動される触覚・振動覚提示デバイス３ａと、ユーザが第１ＴＶ番組に関する音響信号に対して所定の処理を施すよう指示するための操作デバイス３ｂと、を備えている。
第２ＴＶ番組の音響ソースに対応する結合デバイス３は、第２駆動部によって駆動される触覚・振動覚提示デバイス３ａと、ユーザが第２ＴＶ番組に関する音響信号に対して所定の処理を施すよう指示するための操作デバイス３ｂと、を備えている。
第３ＴＶ番組の音響ソースに対応する結合デバイス３は、第３駆動部によって駆動される触覚・振動覚提示デバイス３ａと、ユーザが第３ＴＶ番組に関する音響信号に対して所定の処理を施すよう指示するための操作デバイス３ｂと、を備えている。
第４ＴＶ番組の音響ソースに対応する結合デバイス３は、第４駆動部によって駆動される触覚・振動覚提示デバイス３ａと、ユーザが第４ＴＶ番組に関する音響信号に対して所定の処理を施すよう指示するための操作デバイス３ｂと、を備えている。
【００６２】
具体的には、触覚・振動覚提示デバイス３ａは、例えば、振動刺激や電気刺激などの、人間の体（指）の触覚・振動覚で感知できる刺激を提示するようになっている。
また、操作デバイス３ｂは、例えば、押しボタン式のスイッチであり、例えば、ユーザにより操作（押下）されると、その操作信号を、制御部５を介して音出力制御部４に出力するようになっている。
【００６３】
例えば、図２及び図５に示すように、結合デバイス３は、刺激提示部分である触覚・振動覚提示デバイス３ａを、刺激非提示部分である操作デバイス３ｂにより取り囲んで形成されており、操作デバイス３ｂが操作されると、触覚・振動覚提示デバイス３ａも操作デバイス３ｂと一緒に動くようになっている。したがって、操作デバイス３ｂを操作しても、触覚・振動覚提示デバイス３ｂに対する指の圧力はほとんど変動しないため、人間の指先は、操作デバイス３ｂの操作の有無に影響されることなく、提示された触覚・振動覚刺激を感知することができる。
例えば、図５によれば、４つの結合デバイス３…は、それぞれ親指、人差し指、中指及び薬指で操作（押下）されるようになっており、中指が、結合デバイス３（操作デバイス３ｂ）を押下している。
【００６４】
ここで、操作デバイス３ｂは、例えば、ユーザが、同時に視聴している複数の番組（第１ＴＶ番組〜第４ＴＶ番組）の中に単独で視聴したい番組がある場合等に、その番組を選択する際に操作される。
【００６５】
［音出力制御部］
音出力制御部４は、制御部５から入力される制御信号に従って、例えば、出力制御手段として、信号処理部１から入力された音響信号ｘ(ｔ)に所定の処理を施して、アンプ３００に出力することによって、音響信号に基づく音を出力装置４００に出力させる。
ここで、所定の処理は、例えば、信号処理部１を介してチューナ２００から入力された複数の番組に関する音響信号の中から、ユーザによる操作デバイス３ｂの操作によって選択された番組に関する音響信号のみを、アンプ３００を介して出力装置４００に出力する処理である。
【００６６】
具体的には、音出力制御部４は、例えば、ユーザによって番組が選択されない場合には、チューナ２００から入力された複数の番組に関する音響信号を、出力装置４００に出力する。
一方、音出力制御部４は、例えば、ユーザによって番組が選択された場合には、すなわち、制御部５を介して操作デバイス３ｂから操作信号が入力された場合には、チューナ２００から入力された複数の番組に関する音響信号のうちの、選択された番組に関する音響信号を、出力装置４００に出力する。
【００６７】
［アンプ］
アンプ３００は、例えば、音出力制御部４から入力される音響信号を増幅して、出力装置４００に出力する。
【００６８】
［出力装置］
出力装置４００は、例えば、スピーカ機器等であり、例えば、アンプ３００から入力された音響信号に基づく音を出力する。
【００６９】
［制御部］
制御部５は、例えば、図２に示すように、ＣＰＵ（Central Processing Unit）５１と、ＲＡＭ（Random Access Memory）５２と、記憶部５３と、などを備えている。
【００７０】
ＣＰＵ５１は、例えば、記憶部５３に記憶された音響信号制御装置１００用の各種処理プログラムに従って各種の制御動作を行う。
【００７１】
ＲＡＭ５２は、例えば、ＣＰＵ５１によって実行される処理プログラムなどを展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果などを格納するデータ格納領域などを備える。
【００７２】
記憶部５３は、例えば、音響信号制御装置１００で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラム、これら各種処理プログラムを実行する際に使用されるデータ、ＣＰＵ５１によって演算処理された処理結果のデータなどを記憶する。なお、プログラムは、コンピュータが読み取り可能なプログラムコードの形で記憶部５３に記憶されている。
【００７３】
記憶部５３は、例えば、図１に示すように、信号処理プログラム５３ａと、音出力制御プログラム５３ｂと、などを記憶している。
【００７４】
信号処理プログラム５３ａは、例えば、信号処理部１に制御信号を入力して、チューナ２００から入力された音響信号に対して所定の音響信号処理（例えば、図３）を行わせて、音響信号を音出力制御部４に出力させるとともに、音響信号に基づく信号ｆ２(ｎＢ)を駆動部２に出力させる機能を、ＣＰＵ５１に実現させる。
【００７５】
音出力制御プログラム５３ｂは、例えば、音出力制御部４に制御信号を入力して、信号処理部１から入力された音響信号に所定の処理を施させて、アンプ３００に出力させる機能を、ＣＰＵ５１に実現させる。
【００７６】
以上説明した本発明の音響信号制御装置１００によれば、複数の音響ソースを有するチューナ２００から入力される各々の音響信号（第１ＴＶ番組〜第４ＴＶ番組に関する音響信号）に基づいて、触覚・振動覚刺激を提示する触覚・振動覚提示デバイス３ａと、音響信号に対し所定の処理を施すよう指示する際に操作される操作デバイス３ｂと、を一体化して結合した結合デバイス３を、複数の音響ソースの各々に対応して備え、触覚・振動覚提示デバイス３ａによって提示される触覚・振動覚刺激を制御する信号処理部１及び駆動部２と、音響信号に基づく音を出力装置４００に出力させる音出力制御部４と、を備えている。そして、信号処理部１及び駆動部２によって、音響信号の強度の時間変化をあらわす強度信号ＰＲ(ｎＢ)と、強度信号ＰＲ(ｎＢ)を平滑化した平滑化強度信号ＰＡ(ｎＢ)と、を求め、強度信号ＰＲ(ｎＢ)が、平滑化強度信号ＰＡ(ｎＢ)よりも大きくなった時に、触覚・振動覚提示デバイス３ａによる触覚・振動覚刺激の提示を開始させて、当該提示を所定時間（ＴＰ）継続させるようになっている。
すなわち、チューナ２００から入力される音響信号の各々に対応する触覚・振動覚提示デバイス３ａを備え、触覚・振動覚提示デバイス３ａの各々から、対応する音響信号に基づく触覚・振動覚刺激を提示することができるため、ユーザは、直感的に、チューナ２００から入力される複数の番組に関する音響信号の中から、所望の番組に関する音響信号を選択することができる。
また、触覚・振動覚刺激によって操作すべき操作デバイス３ｂが分かるため、ユーザは、操作の際に操作デバイス３ｂを見る必要がなくなって、ＴＶ番組の視聴時に画面から目を離す必要がなくなる。
【００７７】
また、音響信号制御装置１００によれば、強度信号は、線形予測分析での予測誤差信号の強度信号である。したがって、触覚・振動覚提示デバイス３ａにより提示される触覚・振動覚刺激のタイミングを子音部と開始時点の母音部のタイミングに略同期させることができるため、人間の聴感的に感じるタイミングに近いタイミングで触覚・振動覚刺激を提示することができることとなって、ユーザは、音と触覚・振動覚刺激を容易に対応付けることができる。
【００７８】
また、音響信号制御装置１００によれば、信号処理部１及び駆動部２は、触覚・振動覚提示デバイス３ａに、ベースバンド信号（信号処理部１から入力される信号ｆ２(ｎＢ)）に基づく触覚・振動覚刺激と、予め設定された周波数に振幅変調された第１振幅変調信号ｆ３(ｎＢ)に基づく触覚・振動覚刺激と、の何れか一方を提示させることができる。さらに、触覚・振動覚提示デバイス３ａに、ベースバンド信号（信号処理部１から入力される信号ｆ２(ｎＢ)）に基づく触覚・振動覚刺激と、予め設定された周波数に振幅変調された第２振幅変調信号ｆ４(ｎＢ)に基づく触覚・振動覚刺激と、の両方（すなわち、信号ｆ５(ｎＢ)に基づく触覚・振動覚刺激）を提示させるよう、信号処理部１及び駆動部２を構成することも可能であるため、ユーザの指先に、より多くの情報を提示することができる。
【００７９】
なお、本発明は、上記した実施の形態のものに限るものではなく、その要旨を逸脱しない範囲で適宜変更可能である。
【００８０】
《変形例１》
実施例では、信号処理部１による音響信号処理（図３）において、音響信号の強度の時間変化をあらわす強度信号ＰＲ(ｎＢ)として、線形予測分析での予測誤差信号の強度信号を用いる手法、すなわち、予測誤差の２乗和を用いる手法を示したが、音響信号の強度の時間変化をあらわす強度信号ＰＲ(ｎＢ)は、例えば、音響信号そのものの２乗和であってもよい。
【００８１】
具体的には、例えば、実施例の信号処理部１による音響信号処理（図３）のステップＳ３及びステップＳ４の代わりに、１ブロックの中心にあるＴＳ個のサンプル値（すなわち、解析用バッファｙ（ｔ）（０≦ｔ＜ＴＮ）のうちのｙ（ｔ）（(ＴＮ−ＴＳ)/２≦ｔ＜(ＴＮ＋ＴＳ)/２）のサンプル値）の２乗和（音響信号エネルギー）を求めて、これを強度信号ＰＲ(ｎＢ)としてもよい。
【００８２】
ここで、「白髪のお婆さんが杖をついて」という音声に関する音響信号ｘ(ｔ)に対して、変形例１の音響信号処理を適用した場合の各信号の波形の例を図６に示す。
図６（ａ）は入力された音響信号ｘ(ｔ)の波形、図６（ｂ）は強度信号ＰＲ(ｎＢ)、第１閾値信号ＰＨ(ｎＢ)及び第２閾値信号ＰＬ(ｎＢ)の波形、図６（ｃ）は信号ｆ１(ｎＢ)の波形、図６（ｄ）は信号ｆ２(ｎＢ)の波形、図６（ｅ）は第１振幅変調信号ｆ３(ｎＢ)の波形である。
【００８３】
実施例の音響信号処理（図３）を適用した場合の各信号の波形の例（図４）においては、信号ｆ２(ｎＢ)が、「おばあさんが」の語頭の「おば」と語尾の濁音「が」に反応しているのに対し、変形例１の音響信号処理を適用した場合の各信号の波形の例（図６）においては、信号ｆ２(ｎＢ)が、「おばあさんが」の単語中央の音響信号エネルギーが比較的強い「さん」の部分に反応してしまっている。すなわち、変形例１は、人間が聴感的に感じるタイミングからすると、実施例と比較して劣っている。
しかしながら、「はくはつの」と「つえをついて」については、変形例１では、信号ｆ２(ｎＢ)が、実施例と同一の反応を示しているため、十分実用になることが示唆される。
【００８４】
以上説明した変形例１によれば、線形予測分析法を用いない簡易な構成であっても、人間の聴感的に感じるタイミングに近いタイミングで触覚・振動覚刺激を提示することができることとなって、ユーザは、音と触覚・振動覚刺激を容易に対応付けることができる。
【００８５】
《変形例２》
音響信号の強度の時間変化をあらわす強度信号ＰＲ(ｎＢ)として線形予測分析での予測誤差信号の強度信号を用いない手法は、変形例１に限ることはなく、音響信号の強度の時間変化をあらわす強度信号ＰＲ(ｎＢ)は、例えば、非周期成分の強度信号であってもよい。
【００８６】
具体的には、例えば、実施例の信号処理部１による音響信号処理（図３）のステップＳ３及びステップＳ４の代わりに、１０ミリ秒程度の長さを持つ異なる２つの時区間の信号波形の差波形のエネルギーを求めて、これを強度信号ＰＲ(ｎＢ)としてもよい。
【００８７】
変形例２の音響信号処理を適用した場合であっても、子音部と開始時点の母音部を検出することができるので、線形予測分析法の代用として、十分実用になることが示唆される。
【００８８】
以上説明した変形例２によれば、線形予測分析法を用いない簡易な構成であっても、人間の聴感的に感じるタイミングに近いタイミングで触覚・振動覚刺激を提示することができることとなって、ユーザは、音と触覚・振動覚刺激を容易に対応付けることができる。
【００８９】
《変形例３》
音響信号制御装置１００は、テレビジョン受信機等に組み込まれた装置に限ることはなく、例えば、図７及び図８に示す音響信号制御装置１００Ｊのように、補聴器等に組み込まれていてもよい。
【００９０】
図７には、音響信号制御装置１００Ｊの機能的構成を示すブロック図を示し、図８には、音響信号制御装置１００Ｊでの信号の流れを示す。
なお、音響信号制御装置１００Ｊは、例えば、実施例の音響信号制御装置１００（図１及び図２）と比較して、音響信号入力装置（チューナ２００）の構成のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。
【００９１】
具体的には、音響信号制御装置１００Ｊは、例えば、図７に示すように、信号分離機能付補聴システム２００Ｊと接続する信号処理部１と、駆動部２と、触覚・振動覚提示デバイス３ａと操作デバイス３ｂとを一体化して結合した結合デバイス３と、アンプ３００と接続する音出力制御部４と、制御部５と、などを備えて構成される。
【００９２】
［信号分離機能付補聴システム］
信号分離機能付補聴システム２００Ｊは、例えば、複数の話者の音声に関する音響信号を話者毎に分離可能な補聴システムである。
具体的には、信号分離機能付補聴システム２００Ｊは、例えば、図７及び図８に示すように、複数のマイクロホン２００ａＪを有している。信号分離機能付補聴システム２００Ｊは、例えば、複数のマイクロホン２００ａＪ…により受信された複数の話者の音声に関する音響信号を話者毎に分離して、当該複数の話者の音声に関する音響信号の各々を別個独立に音響信号制御装置１００Ｊに入力する。すなわち、信号分離機能付補聴システム２００Ｊは、複数の音響ソースを有しており、その複数の音響ソースからの音響信号を音響信号制御装置１００Ｊに入力する音響信号入力装置である。
【００９３】
例えば、図８に示す信号分離機能付補聴システム２００Ｊは、複数の話者の音声に関する音響信号として、４人の話者の音声に関する音響信号を、音響信号制御装置１００Ｊ（信号処理部１）に入力するようになっている。
そして、信号処理部１の第１信号処理部〜第４信号処理部には、例えば、４人の話者の音声に関する音響信号の各々が入力されるようになっている。
【００９４】
以上説明した変形例３の音響信号制御装置１００Ｊによれば、複数の音響ソースを有する信号分離機能付補聴システム２００Ｊから入力される各々の音響信号（４人の話者の音声に関する音響信号）に基づいて、触覚・振動覚刺激を提示する触覚・振動覚提示デバイス３ａと、音響信号に対し所定の処理を施すよう指示する際に操作される操作デバイス３ｂと、を一体化して結合した結合デバイス３を、複数の音響ソースの各々に対応して備え、触覚・振動覚提示デバイス３ａによって提示される触覚・振動覚刺激を制御する信号処理部１及び駆動部２と、音響信号に基づく音を出力装置４００に出力させる音出力制御部４と、を備えている。そして、信号処理部１及び駆動部２によって、音響信号の強度の時間変化をあらわす強度信号ＰＲ(ｎＢ)と、強度信号ＰＲ(ｎＢ)を平滑化した平滑化強度信号ＰＡ(ｎＢ)と、を求め、強度信号ＰＲ(ｎＢ)が、平滑化強度信号ＰＡ(ｎＢ)よりも大きくなった時に、触覚・振動覚提示デバイス３ａによる触覚・振動覚刺激の提示を開始させて、当該提示を所定時間継続させるようになっている。
すなわち、信号分離機能付補聴システム２００Ｊから入力される音響信号の各々に対応する触覚・振動覚提示デバイス３ａを備え、触覚・振動覚提示デバイス３ａの各々から、対応する音響信号に基づく触覚・振動覚刺激を提示することができるため、ユーザは、直感的に、信号分離機能付補聴システム２００Ｊから入力される複数の話者の音声に関する音響信号の中から、所望の音声に関する音響信号を選択することができる。
また、触覚・振動覚刺激によって操作すべき操作デバイス３ｂが分かるため、ユーザは、操作の際に操作デバイス３ｂを見る必要がなくなって、会話相手等から目を離す必要がなくなる。
【００９５】
《変形例４》
また、音響信号制御装置１００は、例えば、図９及び図１０に示す音響信号制御装置１００Ｋのように、ミキシングコンソールなどの音響信号編集機等に組み込まれていてもよい。
【００９６】
図９には、音響信号制御装置１００Ｋの機能的構成を示すブロック図を示し、図１０には、音響信号制御装置１００Ｋでの信号の流れを示す。
なお、音響信号制御装置１００Ｋは、例えば、実施例の音響信号制御装置１００（図１及び図２）と比較して、音響信号入力装置（チューナ２００）の構成と、結合デバイス３の構成の一部と、音出力制御部４の構成と、制御部５の構成の一部と、のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。
【００９７】
具体的には、音響信号制御装置１００Ｋは、例えば、図９に示すように、音楽ソース入力装置２００Ｋと接続する信号処理部１と、駆動部２と、触覚・振動覚提示デバイス３ａと操作デバイス３ｂＫとを一体化して結合した結合デバイス３Ｋと、アンプ３００と接続するミキサー４Ｋと、制御部５Ｋと、などを備えて構成される。
【００９８】
［音楽ソース入力装置］
音楽ソース入力装置２００Ｋは、例えば、ドラムの音楽ソースや、ボーカルの音楽ソース、ピアノの音楽ソース、ベースギターの音楽ソースなどの、複数の音楽ソースからの音響信号を入力可能な装置である。
具体的には、音楽ソース入力装置２００Ｋは、例えば、図９及び図１０に示すように、複数の音楽ソースからの音響信号の各々を別個独立に音響信号制御装置１００Ｋに入力する。すなわち、音楽ソース入力装置２００Ｋは、複数の音響ソースとしての音楽ソースを有しており、その複数の音楽ソースからの音響信号を音響信号制御装置１００Ｋに入力する音響信号入力装置である。
【００９９】
例えば、図１０に示す信号分離機能付補聴システム２００Ｋは、複数の音楽ソースからの音響信号として、第１音楽ソース〜第４音楽ソースの４種類の音楽ソースからの音響信号を、音響信号制御装置１００Ｋ（信号処理部１）に入力するようになっている。
そして、信号処理部１の第１信号処理部〜第４信号処理部には、例えば、４種類の音楽ソースからの音響信号の各々が入力されるようになっている。
【０１００】
［結合デバイス］
結合デバイス３Ｋは、例えば、触覚・振動覚提示デバイス３ａと、ユーザが音響信号に対し所定の処理を施すよう指示する際に操作される操作デバイス３ｂＫと、を一体化して結合したものであり、複数の音楽ソースの各々に対応して備えられている。
【０１０１】
例えば、図１０に示す４つの結合デバイス３Ｋ…は、第１音楽ソース〜第４音楽ソースの各々に対応している。
そして、第１音楽ソースに対応する結合デバイス３Ｋは、第１駆動部によって駆動される触覚・振動覚提示デバイス３ａと、ユーザが第１音楽ソースからの音響信号に対して所定の処理を施すよう指示するための操作デバイス３ｂＫと、を備えている。
第２音楽ソースに対応する結合デバイス３Ｋは、第２駆動部によって駆動される触覚・振動覚提示デバイス３ａと、ユーザが第２音楽ソースからの音響信号に対して所定の処理を施すよう指示するための操作デバイス３ｂＫと、を備えている。
第３音楽ソースに対応する結合デバイス３Ｋは、第３駆動部によって駆動される触覚・振動覚提示デバイス３ａと、ユーザが第３音楽ソースからの音響信号に対して所定の処理を施すよう指示するための操作デバイス３ｂＫと、を備えている。
第４音楽ソースに対応する結合デバイス３Ｋは、第４駆動部によって駆動される触覚・振動覚提示デバイス３ａと、ユーザが第４音楽ソースからの音響信号に対して所定の処理を施すよう指示するための操作デバイス３ｂＫと、を備えている。
【０１０２】
具体的には、操作デバイス３ｂＫは、例えば、スライド式の可変抵抗器であり、例えば、ユーザにより操作（スライド）されると、その操作信号を、制御部５Ｋを介して音出力制御部４に出力するようになっている。
【０１０３】
例えば、図１０に示すように、結合デバイス３Ｋは、刺激提示部分である触覚・振動覚提示デバイス３ａを、刺激非提示部分である操作デバイス３ｂＫにより取り囲んで形成されており、操作デバイス３ｂＫが操作されると、触覚・振動覚提示デバイス３ａも操作デバイス３ｂＫと一緒に動くようになっている。したがって、操作デバイス３ｂＫを操作しても、触覚・振動覚提示デバイス３ｂに対する指の圧力はほとんど変動しないため、人間の指先は、操作デバイス３ｂＫの操作の有無に影響されることなく、提示された触覚・振動覚刺激を感知することができる。
【０１０４】
ここで、操作デバイス３ｂＫは、例えば、ユーザが、同時に聞いている複数の音（第１音楽ソース〜第４音楽ソースからの音響信号に基づく音）の中に音量を調整したい音がある場合等に、その音を選択して音量を調整する際に操作される。
【０１０５】
［ミキサー］
ミキサー４Ｋは、制御部５Ｋから入力される制御信号に従って、例えば、出力制御手段として、信号処理部１から入力された音響信号に所定の処理を施して、アンプ３００に出力することによって、音響信号に基づく音を出力装置４００に出力させる。
ここで、所定の処理は、例えば、信号処理部１を介して音楽ソース入力装置２００Ｋから入力された複数の音楽ソースからの音響信号の音量をユーザによる操作デバイス３ｂＫの操作に従って調整し、そして、その音量が調整された音響信号の加重平均をとって、アンプ３００を介して出力装置４００に出力する処理である。
【０１０６】
［制御部］
制御部５Ｋは、例えば、図９に示すように、ＣＰＵ５１と、ＲＡＭ５２と、記憶部５３Ｋと、などを備えている。
【０１０７】
記憶部５３Ｋは、例えば、図９に示すように、信号処理プログラム５３ａと、音出力制御プログラム５３ｂＫと、などを記憶している。
【０１０８】
音出力制御プログラム５３ｂＫは、例えば、ミキサー４Ｋに制御信号を入力して、信号処理部１から入力された音響信号に所定の処理を施させて、アンプ３００に出力させる機能を、ＣＰＵ５１に実現させる。
【０１０９】
以上説明した変形例４の音響信号制御装置１００Ｋによれば、複数の音楽ソースを有する音楽ソース入力装置２００Ｋから入力される各々の音楽ソースからの音響信号（第１音楽ソース〜第４音楽ソースからの音響信号）に基づいて、触覚・振動覚刺激を提示する触覚・振動覚提示デバイス３ａと、音響信号に対し所定の処理を施すよう指示する際に操作される操作デバイス３ｂＫと、を一体化して結合した結合デバイス３Ｋを、複数の音響ソースの各々に対応して備え、触覚・振動覚提示デバイス３ａによって提示される触覚・振動覚刺激を制御する信号処理部１及び駆動部２と、音響信号に基づく音を出力装置４００に出力させる音出力制御部４と、を備えている。そして、信号処理部１及び駆動部２によって、音響信号の強度の時間変化をあらわす強度信号ＰＲ(ｎＢ)と、強度信号ＰＲ(ｎＢ)を平滑化した平滑化強度信号ＰＡ(ｎＢ)と、を求め、強度信号ＰＲ(ｎＢ)が、平滑化強度信号ＰＡ(ｎＢ)よりも大きくなった時に、触覚・振動覚提示デバイス３ａによる触覚・振動覚刺激の提示を開始させて、当該提示を所定時間継続させるようになっている。
すなわち、音楽ソース入力装置２００Ｋから入力される音響信号の各々に対応する触覚・振動覚提示デバイス３ａを備え、触覚・振動覚提示デバイス３ａの各々から、対応する音響信号に基づく触覚・振動覚刺激を提示することができるため、ユーザは、直感的に、音楽ソース入力装置２００Ｋの複数の音楽ソースから入力される音響信号の中から、所望の音楽ソースから入力される音響信号を選択することができる。
また、触覚・振動覚刺激によって操作すべき操作デバイス３ｂＫが分かるため、ユーザは、操作の際に操作デバイス３ｂＫを見る必要がない。
【０１１０】
《変形例５》
上述のように、人間は触覚・振動覚刺激に関してそれほど優れた識別能力を有していない。そこで、実施例や変形例１〜４の工夫をすることで、音響信号との同期性を持ち、人間が識別可能な触覚・振動覚刺激を提示するようにした。しかしながら、それでも、複数の音が同時に発生されて、複数の刺激が同時に提示されると、人間は混乱する。そこで、例えば、図１１及び図１２に示す音響信号制御装置１００Ｌのように、複数の触覚・振動覚刺激が同時に提示されるのを起こりにくくすることで、混乱を抑制するとよい。
【０１１１】
図１１には、音響信号制御装置１００Ｌの機能的構成を示すブロック図を示し、図１２には、音響信号制御装置１００Ｌでの信号の流れを示す。
なお、音響信号制御装置１００Ｌは、例えば、実施例の音響信号制御装置１００（図１及び図２）と比較して、信号処理部１の構成の一部と、制御部５の構成の一部と、のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。
【０１１２】
具体的には、音響信号制御装置１００Ｌは、例えば、図１１に示すように、チューナ２００と接続する信号処理部１Ｌと、駆動部２と、触覚・振動覚提示デバイス３ａと操作デバイス３ｂとを一体化して結合した結合デバイス３と、アンプ３００と接続する音出力制御部４と、制御部５と、などを備えて構成される。
【０１１３】
［信号処理部］
信号処理部１Ｌは、制御部５Ｌから入力される制御信号に従って、例えば、チューナ２００から入力された音響信号に対して所定の音響信号処理を行って、音響信号を音出力制御部４に出力するとともに、音響信号に基づく触覚・振動覚刺激を駆動部２を介して触覚・振動覚提示デバイス３ａに提示させる。
【０１１４】
例えば、図１２に示す信号処理部１Ｌは、第１信号処理部〜第４信号処理部と、最大平滑化強度信号決定部１１Ｌと、を有している。
そして、例えば、図１２に示す信号処理部１Ｌは、第１信号処理部〜第４信号処理部の各々が、音響信号処理を行って、音響信号ｘ(ｔ)を音出力制御部４に出力するとともに、触覚・振動覚提示デバイス３ａを駆動するための信号ｆ２(ｎＢ)を駆動部２に出力するようになっている。
【０１１５】
具体的には、信号処理部１Ｌは、例えば、音響信号の強度の時間変化をあらわす強度信号ＰＲ(ｎＢ)と、強度信号ＰＲ(ｎＢ)を平滑化した平滑化強度信号ＰＡ(ｎＢ)と、を求め、強度信号ＰＲ(ｎＢ)が、各音響信号の平滑化強度信号ＰＡ(ｎＢ)のうちの最大値を有する最大の平滑化強度信号ＰＡ(ｎＢ)よりも大きくなった時に、駆動部２を介して、触覚・振動覚提示デバイス３ａによる触覚・振動覚刺激の提示を開始させて、当該提示を所定時間（ＴＰ）継続させる。
【０１１６】
より具体的には、信号処理部１Ｌによる音響信号処理では、例えば、実施例の信号処理部１による音響信号処理（図３）のステップＳ１〜ステップＳ５の処理を実行し、その後、最大平滑化強度信号決定部１１Ｌが、ステップＳ５において作成された各音響信号の平滑化強度信号ＰＡ(ｎＢ)の中で、平滑化強度信号ＰＡ(ｎＢ)の値が最大のものを最大の平滑化強度信号ＰＡ(ｎＢ)として決定し、そして、ステップＳ６の代わりに、第１閾値信号ＰＨ(ｎＢ)に“最大の平滑化強度信ＰＡ(ｎＢ)を１ｄＢ大きくした信号”を設定するとともに、第２閾値信号ＰＬ(ｎＢ)“最大の平滑化強度信ＰＡ(ｎＢ)を５ｄＢ小さくした信号”を設定する処理を行って、以後、ステップＳ７〜ステップＳ１８の処理を実行するようになっている。
【０１１７】
［制御部］
制御部５Ｌは、例えば、図１１に示すように、ＣＰＵ５１と、ＲＡＭ５２と、記憶部５３Ｌと、などを備えている。
【０１１８】
記憶部５３Ｌは、例えば、図１１に示すように、信号処理プログラム５３ａＬと、音出力制御プログラム５３ｂと、などを記憶している。
【０１１９】
信号処理プログラム５３ａＬは、例えば、信号処理部１Ｌに制御信号を入力して、チューナ２００から入力された音響信号に対して所定の音響信号処理を行わせて、音響信号を音出力制御部４に出力させるとともに、音響信号に基づく信号ｆ２(ｎＢ)を駆動部２に出力させる機能を、ＣＰＵ５１に実現させる。
【０１２０】
以上説明した変形例５の音響信号制御装置１００Ｌによれば、信号処理部１Ｌ及び駆動部２によって、音響信号の強度の時間変化をあらわす強度信号ＰＲ(ｎＢ)と、強度信号ＰＲ(ｎＢ)を平滑化した平滑化強度信号ＰＡ(ｎＢ)と、を求め、強度信号ＰＲ(ｎＢ)が、各音響信号の平滑化強度信号ＰＡ(ｎＢ)のうちの最大値を有する最大の平滑化強度信号ＰＡ(ｎＢ)よりも大きくなった時に、触覚・振動覚提示デバイス３ａによる触覚・振動覚刺激の提示を開始させて、当該提示を所定時間（ＴＰ）継続させるようになっている。
したがって、最大の聴覚刺激を持つ音響信号以外ではｆ２(ｎＢ)＝１が起こりにくくなるため、触覚・振動覚刺激が同時に提示されるのを起こりにくくなって、ユーザの混乱を抑制することができる。
その一方で、最大の聴覚刺激とほぼ同等の聴覚刺激を持つ音響信号がある場合は、その音響信号に基づく触覚・振動覚刺激も提示されるため、ユーザの選択範囲を安易に制限しすぎることがない。
【０１２１】
なお、変形例５において、音響信号の強度の時間変化をあらわす強度信号ＰＲ(ｎＢ)は、変形例１のように、音響信号そのものの２乗和であっても良いし、変形例２のように、非周期成分の強度信号であっても良い。
また、変形例５において、音響信号制御装置１００Ｌは、例えば、変形例３の音響信号制御装置１００Ｊのように、信号分離機能付補聴システム２００Ｊと接続して補聴器等に備えられていても良いし、変形例４の音響信号制御装置１００Ｋのように、音楽ソース入力装置２００Ｋと接続して音響信号編集機等に備えられていても良い。
【０１２２】
また、複数の触覚・振動覚刺激が同時に提示されるのを起こりにくくすることで、混乱を抑制することができるのであれば、信号処理部１Ｌ及び駆動部２は、ある時間（例えば、ＴＰ＋ＴＭ）において音響信号に基づく聴覚刺激が最も強い音響信号に対応する触覚・振動覚提示デバイス３ａに、触覚・振動覚刺激を提示させるようにしてもよい。
具体的には、例えば、聴覚刺激が最も強い音響信号に対応する触覚・振動覚提示デバイス３ａが動作したら（ｆ２(ｎＢ)＝１となったら）、予め定められたある時間（例えば、ＴＰ＋ＴＭ）は、他の触覚・振動覚提示デバイス３ａ…は動作させないように制御してもよい。
【０１２３】
《変形例６》
複数の触覚・振動覚刺激が同時に提示されることによる人間の混乱を抑制する手法は、変形例５に限ることはなく、例えば、図１３及び図１４に示す音響信号制御装置１００Ｍのように、音響信号の時間軸を伸縮して、複数の触覚・振動覚刺激が同時に提示されない手法であってもよい。
【０１２４】
図１３には、音響信号制御装置１００Ｍの機能的構成を示すブロック図を示し、図１３には、音響信号制御装置１００Ｍでの信号の流れを示す。
なお、音響信号制御装置１００Ｍは、例えば、実施例の音響信号制御装置１００（図１及び図２）と比較して、時間軸伸縮部６Ｍを追加した点と、制御部５の構成の一部と、のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。
【０１２５】
具体的には、音響信号制御装置１００Ｍは、例えば、図１３に示すように、チューナ２００と接続する時間軸伸縮部６Ｍと、信号処理部１と、駆動部２と、触覚・振動覚提示デバイス３ａと操作デバイス３ｂとを一体化して結合した結合デバイス３と、アンプ３００と接続する音出力制御部４と、制御部５と、などを備えて構成される。
【０１２６】
時間軸伸縮部６Ｍは、制御部５Ｍから入力される制御信号に従って、例えば、時間軸伸縮手段として、一般的な時間軸伸縮技術（Time Scale Modification技術）を使って、チューナ２００から入力された音響信号の時間軸を伸縮して、信号処理部１に出力する。
これにより、信号処理部１及び駆動部２は、触覚・振動覚提示デバイス３ａに、時間軸伸縮部６Ｍによって時間軸が伸縮された音響信号に基づく触覚・振動覚刺激を提示させ、音出力制御部４は、出力装置４００に、時間軸伸縮部６Ｍによって時間軸が伸縮された音響信号に基づく音を出力させる。
【０１２７】
例えば、図１３に示す時間軸伸縮部６Ｍは、チューナ２００から入力された第１ＴＶ番組〜第４ＴＶ番組に関する音響信号の時間軸を伸縮して、信号処理部１の第１信号処理部〜第４信号処理部に出力する。
これにより、第１ＴＶ番組〜第４ＴＶ番組に関する音響信号に対応する触覚・振動覚提示デバイス３ａ…からは、時間軸が伸縮された第１ＴＶ番組〜第４ＴＶ番組に関する音響信号に基づく触覚・振動覚刺激が提示されることになり、出力装置４００からは、時間軸が伸縮された第１ＴＶ番組〜第４ＴＶ番組に関する音響信号に基づく音が出力されることになる。
【０１２８】
具体的には、時間軸伸縮部６Ｍは、例えば、音響信号の有音部（音声部）を検出し、複数の音響信号同士の間で有音部が重なる領域があれば、その有音部が重なる領域がなくなるよう、有音部でない領域（無音部）の時間軸を伸縮するようになっている。
【０１２９】
ここで、音響信号の時間軸の伸縮についての具体例を、図１５を参照して説明する。
図１５は、例えば、第１ＴＶ番組の関する音響信号の波形と、第２ＴＶ番組に関する音響信号の波形と、を示す。そして、図１５（ａ）は時間軸を伸縮する前、図１５（ｂ）は時間軸を伸縮した後、を示す。
【０１３０】
図１５（ａ）によれば、斜線で示す領域で、第１ＴＶ番組の音声と、第２ＴＶ番組の音声と、が重なっていることが分かる。
一方、図１５（ｂ）によれば、第１ＴＶ番組に関する音響信号の無音部の波形が伸ばされて、第２ＴＶ番組に関する音響信号の無音部の波形が縮められたことによって、第１ＴＶ番組の音声と、第２ＴＶ番組の音声と、が重なる領域がなくなったことが分かる。
【０１３１】
［制御部］
制御部５Ｍは、例えば、図１３に示すように、ＣＰＵ５１と、ＲＡＭ５２と、記憶部５３Ｍと、などを備えている。
【０１３２】
記憶部５３Ｍは、例えば、図１３に示すように、信号処理プログラム５３ａと、音出力制御プログラム５３ｂと、時間軸伸縮プログラム５３ｃＭと、などを記憶している。
【０１３３】
時間軸伸縮プログラム５３ｃＭは、例えば、時間軸伸縮部６Ｍに制御信号を入力して、チューナ２００から入力された音響信号の時間軸を伸縮させる機能を、ＣＰＵ５１に実現させる。
【０１３４】
以上説明した変形例６の音響信号制御装置１００Ｍによれば、チューナ２００から入力された音響信号の時間軸を伸縮する時間軸伸縮部６Ｍを備え、信号処理部１及び駆動部２は、触覚・振動覚提示デバイス３ａに、時間軸伸縮部６Ｍによって時間軸が伸縮された音響信号に基づく触覚・振動覚刺激を提示させることになる。
すなわち、複数の音響信号同士の間で有音部が重なっている領域があれば、有音部が重なる領域がなくなるよう時間軸を伸縮するため、同時に複数のｆ２(ｎＢ)＝１が起こらなくなり、触覚・振動覚刺激が同時に提示されなくなって、ユーザの混乱を抑制することができる。
【０１３５】
なお、変形例６において、音響信号の強度の時間変化をあらわす強度信号ＰＲ(ｎＢ)は、変形例１のように、音響信号そのものの２乗和であっても良いし、変形例２のように、非周期成分の強度信号であっても良い。
また、変形例６において、音響信号制御装置１００Ｍは、例えば、変形例３の音響信号制御装置１００Ｊのように、信号分離機能付補聴システム２００Ｊと接続して補聴器等に備えられていても良いし、変形例４の音響信号制御装置１００Ｋのように、音楽ソース入力装置２００Ｋと接続して音響信号編集機等に備えられていても良い。
【０１３６】
なお、実施例及び変形例１〜６において、音響信号制御装置１００，１００Ｊ〜１００Ｍと、音響信号入力装置（チューナ２００や、信号分離機能付補聴システム２００Ｊ、音楽ソース入力装置２００Ｋなど）や、アンプ３００、出力装置４００と、は別体である必要はなく、一体であってもよい。
【０１３７】
また、実施例及び変形例１〜６において、結合デバイス３の個数は４つに限ることはなく、複数であり、且つ、音響ソースの個数に対応するのであれば任意である。無論、これに応じて、信号処理部１，１Ｌ内の信号処理部（第１信号処理部…）の個数、駆動部２内の駆動部（第１駆動部…）の個数、などは変更される。
【図面の簡単な説明】
【０１３８】
【図１】実施例の音響信号制御装置の機能的構成を示すブロック図である。
【図２】実施例の音響信号制御装置での信号の流れを示す図である。
【図３】実施例の音響信号制御装置の信号処理部による音響信号処理を示すフローチャートである。
【図４】「白髪のお婆さんが杖をついて」という音声に関する音響信号に対して、実施例の音響信号制御装置の信号処理部が音響信号処理を適用した場合の各信号の波形の例を示す図である。
【図５】実施例の音響信号制御装置の結合デバイスを示す図である。
【図６】「白髪のお婆さんが杖をついて」という音声に関する音響信号に対して、変形例１の音響信号制御装置の信号処理部が音響信号処理を適用した場合の各信号の波形の例を示す図である。
【図７】変形例３の音響信号制御装置の機能的構成を示すブロック図である。
【図８】変形例３の音響信号制御装置での信号の流れを示す図である。
【図９】変形例４の音響信号制御装置の機能的構成を示すブロック図である。
【図１０】変形例４の音響信号制御装置での信号の流れを示す図である。
【図１１】変形例５の音響信号制御装置の機能的構成を示すブロック図である。
【図１２】変形例５の音響信号制御装置での信号の流れを示す図である。
【図１３】変形例６の音響信号制御装置の機能的構成を示すブロック図である。
【図１４】変形例６の音響信号制御装置での信号の流れを示す図である。
【図１５】変形例６の音響信号制御装置の信号伸縮部による音響信号の時間軸の伸縮についての具体例を示す図である。
【符号の説明】
【０１３９】
１，１Ｌ  信号処理部（触覚・振動覚提示制御手段）
２  駆動部（触覚・振動覚提示制御手段）
３  結合デバイス
３ａ  触覚・振動覚提示デバイス
３ｂ，３ｂＫ  操作デバイス
４  音出力制御部（出力制御手段）
４Ｋ  ミキサー（出力制御手段）
６Ｍ  時間軸伸縮部（時間軸伸縮手段）
１００，１００Ｊ，１００Ｋ，１００Ｌ，１００Ｍ  音響信号制御装置
４００  出力装置
【図１】
2008306372.tif 000003
【図２】
2008306372.tif 000004
【図３】
2008306372.tif 000005
【図４】
2008306372.tif 000006
【図５】
2008306372.tif 000007
【図６】
2008306372.tif 000008
【図７】
2008306372.tif 000009
【図８】
2008306372.tif 000010
【図９】
2008306372.tif 000011
【図１０】
2008306372.tif 000012
【図１１】
2008306372.tif 000013
【図１２】
2008306372.tif 000014
【図１３】
2008306372.tif 000015
【図１４】
2008306372.tif 000016
【図１５】
2008306372.tif 000017