(57)【要約】【課題】言語音の伝達を適切に行う。【解決手段】音声伝達環境評価システム１は、所定の環境を経た、言語音が含まれた音響信号を取得する音響情報取得部１０と、音響信号に言語音が含まれる程度を示す評価値を算出する評価部３０と、を有し、評価部３０は、言語音に関して周波数範囲に基づいて振り分けられた互いに異なる複数の成分である複数の言語音成分を、音響信号を用いて記述した際に、言語音成分それぞれについて言語音が含まれている程度を示す評価量を算出し、各言語音成分に対応する評価量に基づいて評価値を算出する。【選択図】図２
2020071306.tif 000002
【特許請求の範囲】
【請求項１】
所定の環境を経た、言語音が含まれた音響信号を取得する音響情報取得部と、
前記音響信号に前記言語音が含まれる程度を示す評価値を算出する評価部と、
を有し、
前記評価部は、前記言語音に関して周波数範囲に基づいて振り分けられた互いに異なる複数の成分である複数の言語音成分を、前記音響信号を用いて記述した際に、前記言語音成分それぞれについて前記言語音が含まれている程度を示す評価量を算出し、各言語音成分に対応する前記評価量に基づいて、前記評価値を算出する、音声伝達環境評価システム。
【請求項２】
前記評価部は、前記音響信号を周波数範囲に基づいて振り分けて得られる複数の成分に基づいて複数の前記言語音成分に係る回帰式を記述し、重回帰分析を行った際の前記各言語音成分に係る決定係数を評価量として算出し、前記各言語音成分に係る前記評価量の代表値を前記評価値とする、請求項１に記載の音声伝達環境評価システム。
【請求項３】
前記評価部は、前記音響信号に含まれて、前記所定の環境を経る前の前記言語音に係る情報を用いて、前記評価量および前記評価値を算出する、請求項１または２に記載の音声伝達環境評価システム。
【請求項４】
前記評価部は、前記言語音成分における言語音の特徴的な音量分布を示す情報を用いて、前記評価量および前記評価値を算出する、請求項１または２に記載の音声伝達環境評価システム。
【請求項５】
前記音響情報取得部が取得した前記音響信号について前処理を行う前処理部を有し、
前記評価部は、前記前処理部による前処理が行われた後の音響信号に基づいて、前記評価量および前記評価値を算出する、請求項１〜４のいずれか一項に記載の音声伝達環境評価システム。
【請求項６】
前記言語音について前処理を行う前処理部を有し、
前記評価部は、前記前処理部による前処理が行われた後の言語音を所定の環境に対して出力することにより得られる音響信号を取得する、請求項１〜４のいずれか一項に記載の音声伝達環境評価システム。
【請求項７】
言語音が含まれた原信号、当該原信号を加工して得られる信号、または当該原信号が所定の環境を経て得られる音響信号について、周波数範囲が互いに異なる複数の成分毎に、音量の変化に関連した時間の関数を生成する信号生成部と、
前記信号生成部において生成された複数の前記時間の関数に対応する感覚刺激を対象者に対して提示する提示部と、
を有する、感覚刺激提示装置。
【請求項８】
前記感覚刺激は、皮膚への感覚刺激である、請求項７に記載の感覚刺激提示装置。
【請求項９】
前記複数の時間の関数は、前記原信号を周波数範囲に基づいて振り分けられた互いに異なる３〜６個の因子に縮約した、３〜６個の時間の関数である、請求項７または８に記載の感覚刺激提示装置。
【請求項１０】
前記複数の時間の関数は、前記音響信号を周波数範囲に基づいて振り分けて得られる複数の成分に基づいて、周波数範囲に基づいて振り分けられた互いに異なる複数の成分である複数の言語音成分に係る回帰式を記述し、重回帰分析を行うことにより得られる、前記原信号の推測値に係る関数である、請求項７または８に記載の感覚刺激提示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声伝達環境評価システム及び感覚刺激提示装置に関する。
【背景技術】
【０００２】
音声信号は、伝送系や音場を経ることで劣化する場合がある。そのため、音声品質を評価する装置が検討されている。例えば、特許文献１では、ノイズ除去フィルタによって背景雑音を除去した音源を用いて、音源の品質を評価することが検討されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−６１１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、伝送系または音場を経た音声信号が当該音声信号を受信すべき対象者に対して適切に提示できていない点について、適切な対応がなされていない場合があった。
【０００５】
本開示は、言語音の伝達を適切に行うことが可能な音声伝達環境評価システム及び感覚刺激提示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一形態に係る音声伝達環境評価システムは、所定の環境を経た、言語音が含まれた音響信号を取得する音響情報取得部と、前記音響信号に前記言語音が含まれる程度を示す評価値を算出する評価部と、を有し、前記評価部は、前記言語音に関して周波数範囲に基づいて振り分けられた互いに異なる複数の成分である複数の言語音成分を、前記音響信号を用いて記述した際に、前記言語音成分それぞれについて前記言語音が含まれている程度を示す評価量を算出し、各言語音成分に対応する前記評価量に基づいて、前記評価値を算出する。
【０００７】
上記のように、音響情報取得部において取得された言語音を含む音響信号について、周波数範囲に基づいて振り分けられた互いに異なる複数の成分である複数の言語音成分を、前記音響信号を用いて記述した際に、前記言語音成分それぞれについて前記言語音が含まれている程度を示す評価量を算出し、各言語音成分に対応する評価量に基づいて、評価値を算出する。このように、周波数範囲に基づいて振り分けられた互いに異なる複数の成分である複数の言語音成分を、音響信号を用いて記述し、その評価量を算出する構成とすることで、言語音が含まれる程度を複数の成分毎に評価することができるため、例えば、言語音に関係性の高い特徴的な音量分布等を示す周波数帯域について、周波数帯域とは区別して評価量を算出することができる。そして、成分毎に算出された複数の評価量に基づいて音響信号としての評価値を算出するため、音響信号全体としての評価値を一度に算出する場合と比較して、周波数帯域毎に異なる言語音の音量分布の特徴を考慮した評価値を算出することができるため、所定の環境を経た際の言語音の伝達状況を適切に評価することができる。また、このように言語音の伝達状況を適切に評価することで、言語音の伝達状況を改善するための環境の改善等の対策を行うことができるため、言語音の伝達状況の改善を行うことができ、言語音の適切な伝達を実現することができる。
【０００８】
ここで、前記評価部は、前記音響信号を周波数範囲に基づいて振り分けて得られる複数の成分に基づいて複数の前記言語音成分に係る回帰式を記述し、重回帰分析を行った際の前記各言語音成分に係る決定係数を評価量として算出し、前記各言語音成分に係る前記評価量の代表値を前記評価値とする態様とすることができる。
【０００９】
上記のように、音響信号を周波数範囲に基づいて振り分けて得られる複数の成分を用いて複数の言語音成分に係る回帰式を記述し、重回帰分析を用いて算出された各成分に係る決定係数を評価量とし、各成分での評価量の代表値を評価値とする構成とすることで、所定の環境を経た際の言語音の伝達状況を適切に評価することができる。
【００１０】
前記評価部は、前記音響信号に含まれて、前記所定の環境を経る前の前記言語音に係る情報を用いて、前記評価量および前記評価値を算出する態様とすることができる。
【００１１】
上記のように、所定の環境を経る前の言語音に係る情報を用いることで、この所定の環境を経る前の言語音に係る情報と、音響信号とに基づいて、所定の環境を経ることによって言語音の変化を適切に特定することができ、所定の環境を経た際の言語音の伝達状況を適切に評価することができる。
【００１２】
前記評価部は、前記言語音成分における言語音の特徴的な音量分布を示す情報を用いて、前記評価量および前記評価値を算出する態様とすることができる。
【００１３】
上記のように、複数の言語音成分における言語音の特徴的な音量分布を示す情報を用いて評価量及び評価値を算出する構成とした場合、この所定の環境を経る前の言語音に係る情報を用いることなく評価量及び評価値を算出することができるため、汎用性を高めることが可能となる。
【００１４】
前記音響情報取得部が取得した前記音響信号について前処理を行う前処理部を有し、前記評価部は、前記前処理部による前処理が行われた後の音響信号に基づいて、前記評価量および前記評価値を算出する態様とすることができる。
【００１５】
上記のように前処理部により音響信号を前処理可能な構成とすることで、例えば、前処理により、言語音との関連性が低い特定の周波数帯域の音は削除する等の処理が可能となるため、言語音の伝達状況の評価の精度を高めることが可能となる。
【００１６】
前記言語音について前処理を行う前処理部を有し、前記音響情報取得部は、前記前処理部による前処理が行われた後の言語音を所定の環境に対して出力することにより得られる音響信号を取得する態様とすることができる。
【００１７】
上記のように前処理部により言語音に対して前処理を行った後に所定の環境を通す構成とすることで、例えば、前処理により、ノイズとなり得る成分の音について音量の調整を行う等の処理が可能となるため、言語音の伝達状況の評価の精度を高めることが可能となる。
【００１８】
本開示の一形態に係る感覚刺激提示装置は、言語音が含まれた原信号、当該原信号を加工して得られる信号、または当該原信号が所定の環境を経て得られる音響信号について、周波数範囲が互いに異なる複数の成分毎に、音量の変化に関連した時間の関数を生成する信号生成部と、前記信号生成部において生成された複数の前記時間の関数に対応する感覚刺激を対象者に対して提示する提示部と、を有する。
【００１９】
上記の感覚刺激提示装置によれば、原信号または音響信号に基づいて、周波数範囲が互いに異なる複数の成分毎に、音量の変化に関連した時間の関数を生成し、この時間の関数に対応する感覚刺激が対象者に対して提示される。このような構成とすることで、言語音に関係性の高い特徴的な音量分布等を示す周波数範囲を考慮した感覚刺激を対象者に対して提示することができるため、感覚刺激を利用して対象者に対する言語音の伝達を補助することができる。
【００２０】
ここで、前記感覚刺激は、皮膚への感覚刺激である態様とすることができる。
【００２１】
提示部が皮膚への感覚刺激を提示する構成である場合、言語音に対応する感覚刺激の提示をより簡単な構成により実現することができる。ただし、皮膚への感覚刺激とは異なる手法を用いた場合でも、対象者への言語音の伝達の補助を行うことが可能である。
【００２２】
また、前記複数の時間の関数は、前記原信号を周波数範囲に基づいて振り分けられた互いに異なる３〜６個の因子に縮約した、３〜６個の時間の関数である態様とすることができる。
【００２３】
また、前記複数の時間の関数は、前記音響信号を周波数範囲に基づいて振り分けて得られる複数の成分に基づいて、前記言語音に関して周波数範囲に基づいて振り分けられた互いに異なる複数の成分である言語音成分に係る回帰式を記述し、重回帰分析を行うことにより得られる、前記原信号の推測値に係る関数である態様とすることができる。
【発明の効果】
【００２４】
本開示によれば、言語音の伝達状況を適切に評価することが可能な音声伝達環境評価システムが提供される。
【図面の簡単な説明】
【００２５】
【図１】図１は、一形態に係る音声伝達環境評価システムの使用状況を説明する図である。
【図２】図２は、一形態に係る音声伝達環境評価システムの機能を説明するブロック図である。
【図３】図３は、音声伝達環境評価システムによる処理の手順を説明する図である。
【図４】図４は、音声伝達環境評価システムのハードウェア構成を説明する図である。
【図５】図５は、一形態に係る感覚刺激提示装置の概略構成を説明する図である。
【図６】図６（ａ），図６（ｂ）は、感覚刺激提示装置の構成例を説明する図である。
【図７】図７は、感覚刺激提示装置による処理の手順を説明する図である。
【発明を実施するための形態】
【００２６】
以下、添付図面を参照して、本開示を実施するための形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００２７】
［音声伝達環境評価システム］
図１は、本開示の一形態に係る音声伝達環境評価システムの評価対象を説明する図である。また、図２は、音声伝達環境評価システムの機能を説明するブロック図である。
【００２８】
図１に示すように、音声伝達環境評価システム１は、原音声が所定の環境（伝送系または音場）を経ることでどのような信号に変更するかを評価するシステムである。原音声とは、言語音を含む音声信号であり、例えば、話者が特定の文章等を音読した際の音声等が挙げられる。本実施形態では、原音声の伝達状況を評価する対象となる環境（所定の環境）が伝送系または音場である場合について説明する。原音声は、伝送系または音場を経る際に、外部の影響受けて変化する。
【００２９】
伝送系には、アナログ伝送及びネットワーク伝送の両方が含まれる。音声信号を伝送路に応じた所定の信号に変換して、伝送路内を伝搬させた後、受信側で再度音声信号に変換する。信号の変換時、または、伝送路内の伝搬時などに、雑音等が含まれる場合がある。また、音声信号が音場を経ると、音声信号が音場を経る際に音場で発生する残響や雑音等が音声信号に含まれる場合がある。このように、伝送系または音場を経た音声信号は、原音声には含まれていなかった音が含まれる可能性がある。
【００３０】
本実施形態では、伝送系または音場を経た原音声を音響信号という。原音声には含まれていなかった音が含まれる音響信号は、原音声とは異なる音により原音声がかき消されるため、聴者（聞き手）は音響信号に含まれる原音声を聞き取り難くなると考えられる。本実施形態で説明する音声伝達環境評価システム１は、伝送系または音場、すなわち音声が伝達される環境を経た後に、原音声に含まれる言語音をどの程度聞き取ることが可能かを評価するシステムである。音響信号には種々の周波数の音が含まれる。音声伝達環境評価システム１は、音響信号にどのような周波数の音がどの程度含まれているか（強度がどれくらいか）を時々刻々と分析し、その結果に基づいて、言語音をどの程度認識できるかを示す評価値を算出する。
【００３１】
以下の実施形態では、原音声に係る音声信号をＳｉｎとし、原音声が伝送系または音場を経た後の音響信号をＳｏｕｔとして説明する場合がある。
【００３２】
図２に示すように、音声伝達環境評価システム１は、音響情報取得部１０、前処理部２０、評価部３０、及び出力部４０を含んで構成される。
【００３３】
音響情報取得部１０は、自システムにおける評価に用いられる音響信号を取得する機能を有する。音響情報取得部１０が取得する音響信号には、伝送系または音場を経た後の音響信号Ｓｏｕｔが含まれる。音響信号Ｓｏｕｔとしては、例えば、数十秒以上の長さの信号が用いられる。伝送系または音場を経た際に原音声Ｓｉｎに対して与える影響（伝送系または音場を経ることによって音響信号に含まれる雑音等）には、時間変動がある場合がある。したがって、ある程度の長さの音響信号を用いて評価を行うことで、より精度の高い評価を行うことができる。
【００３４】
なお、音響情報取得部１０は、音響信号Ｓｏｕｔに対応する（すなわち、伝送系または音場を経る前の音響信号Ｓｏｕｔに相当する原音声Ｓｉｎも取得する構成としてもよい。原音声Ｓｉｎも取得する構成の場合は、この原音声Ｓｉｎも音響信号Ｓｏｕｔに基づく評価に用いられる。また、原音声Ｓｉｎを取得して、後述の前処理部２０による前処理を行った後に、原音声Ｓｉｎを伝送系または音場に対して出力する構成とする場合もある。
【００３５】
前処理部２０は、必要に応じて、音響情報取得部１０で取得された原音声Ｓｉｎに対して前処理を行う機能を有する。前処理部２０が行う原音声Ｓｉｎに対する前処理とは、例えば、原音声Ｓｉｎに含まれる言語音を加工することにより、音響信号Ｓｏｕｔの評価をより精度よく行うまたは簡単な計算で行うための処理が挙げられる。具体的には、原音声Ｓｉｎに含まれる所定の周波数範囲に含まれる音の強度を平均化する処理等が挙げられる。なお、前処理部２０による前処理は行わなくてもよい。前処理後の原音声Ｓｉｎは、出力部４０から出力される。また、前処理後の原音声Ｓｉｎは、必要に応じて、後述の評価部３０に含まれる基準情報保持部３４に保持される。
【００３６】
また、前処理部２０は、必要に応じて、音響情報取得部１０で取得された音響信号Ｓｏｕｔに対して前処理を行う機能を有する。前処理部２０が行う音響信号Ｓｏｕｔに対する前処理とは、例えば、音響信号Ｓｏｕｔのうち特定の周波数範囲の音をフィルタリングする処理等が挙げられる。なお、前処理部２０による前処理は行わなくてもよい。前処理後の音響信号Ｓｏｕｔは、評価部３０へ送られて評価に使用される。
【００３７】
評価部３０は、音響信号Ｓｏｕｔを用いて原音声に含まれる言語音をどの程度聞き取ることが可能かを評価する機能を有する。評価部３０は、具体的には、成分振り分け部３１、評価量算出部３２、評価値算出部３３、及び、基準情報保持部３４を有する。
【００３８】
まず、評価部３０における評価の手順について概略を説明する。評価部３０では、音響信号について、周波数を基準に複数の成分に区分する。音響信号には、上述の通り種々の周波数の音の成分が含まれるので、これらを予め定めた複数の成分に振り分ける。そして、振り分け後の成分を用いて、音響信号に対応する言語音を再現した際に、言語音に由来する成分がどの程度含まれているかに係る評価量を算出する。評価量は、周波数範囲に基づいて振り分けられた、言語音を構成する互いに異なる複数の成分（言語音成分）毎に算出される。そして、成分毎に算出された評価量に基づいて、音響信号に言語音がどの程度含まれているかを示す評価値を算出する。
【００３９】
そのため、成分振り分け部３１は、音響信号Ｓｏｕｔに含まれる音を、予め区切られた複数の周波数範囲に対応する成分に振り分ける機能を有する。評価量算出部３２は、振り分けた成分を用いて言語音成分を記述し、言語音に由来する成分がどの程度含まれているかに係る評価量を算出する機能を有する。評価値算出部３３は、評価量算出部３２にて算出された評価量に基づいて、音響信号Ｓｏｕｔ全体において言語音がどの程度含まれているかを示す評価値を算出する機能を有する。基準情報保持部３４は、評価値または評価量の算出に必要となる言語音に係る情報を基準情報として保持する機能を有する。評価部３０にける評価の具体的な手順については後述する。
【００４０】
出力部４０は、評価部３０において算出された評価値を外部装置等へ出力する機能を有する。出力方法は特に限定されないが、例えば、外部装置との間に対して有線または無線の通信により、評価値に関する情報を送信する等の方法を用いることができる。
【００４１】
ここで、音声伝達環境評価システム１による音響信号Ｓｏｕｔに係る評価値の算出方法について具体的に説明する。
【００４２】
上述の通り、評価値の算出の手順に関する具体的な評価値の算出に用いられる評価量は、複数の言語音成分毎に算出される。複数の言語音成分をどのような成分から構成するかは、適宜変更することができる。本実施形態では、一例として、音声知覚に用いられる５０Ｈｚ〜７０００Ｈｚの周波数に含まれる音の成分を、聴覚末梢系を模倣した２０の周波数帯域に分割する。その後、分割した各周波数帯域の音の成分を、４つの周波数帯域（５０Ｈｚ〜５５０Ｈｚ、５５０Ｈｚ〜１７００Ｈｚ、１７００Ｈｚ〜３５００Ｈｚ、及び、３５００Ｈｚ以上）に縮約する。２０の周波数帯域とは、例えば、E. Zwicker and E. Terhardt, “Analytical Expressions forCritical-Band Rate and Critical Bandwidth as a Function of Frequency,” Journalof Acoustic Society of America, Vol. 68, No. 5, 1980, pp. 1523-1525.doi:10.1121/1.385079において示された２０のバンドを用いることができる。この２０のバンドそれぞれにおける音の強度（パワー）の変化が、音声（言語音）の内容を伝える際に重要であると考えられている。
【００４３】
音響信号Ｓｏｕｔには、原音声Ｓｉｎと同じ言語音に対応する成分が含まれているはずである。しかしながら、伝送系または音場を経ることで、原音声Ｓｉｎには含まれていない音声信号が音響信号Ｓｏｕｔには含まれることになる。また、伝送系または音場の影響を受けて、原音声Ｓｉｎに含まれていた言語音に対応する成分が打ち消されて、音響信号Ｓｏｕｔには当該成分が含まれない状態となる場合がある。例えば、伝送系として用いられたスピーカーの周波数特性に問題があり、特定の周波数帯域の音を伝搬させることができないために、当該周波数帯域の音が音響信号Ｓｏｕｔには含まれないこともあり得る。また、音場を経ることで特定の周波数帯域の音が音場において反射または吸収されることも想定される。このように、伝送系または音場を経ることで、原音声Ｓｉｎには含まれていたはずの成分が音響信号Ｓｏｕｔには含まれない状態になることが考えられる。したがって、音響信号Ｓｏｕｔは、原音声Ｓｉｎを構成する言語音成分を完全に再現することはできないと考えられる。音声伝達環境評価システム１では、音響信号Ｓｏｕｔに含まれる音声信号を利用して原音声Ｓｉｎをどの程度再現できるか、という観点から音響信号Ｓｏｕｔに係る分析を行う。
【００４４】
音響信号Ｓｏｕｔ、及び、音響信号Ｓｏｕｔと同じ言語音が含まれている原音声Ｓｉｎの両方には、同じ言語音に関する情報が含まれている。ここで、伝送系または音場による影響を受けていない原音声Ｓｉｎを上記の２０のバンドに分割し、２０のバンドに分割された音の強度変化を、上述の４つの周波数帯域に関連する時間関数として縮約する。縮約の手法は特に限定されないが、一例として、起点移動主成分分析を用いることができる。この起点移動主成分分析は、Kishida, T., Nakajima, Y., Ueda, K., & Remijn, G. B. (2016).Three factors are critical in order to synthesize intelligible noise-vocodedJapanese speech. Frontiers in Psychology, 7:517で示されたものである。この分析を用いることで、４つの周波数帯域に関連する音の成分を、それぞれ時間の関数に縮約することができる。上記の４つの周波数帯域とは、Kazuo Ueda and Yoshitaka Nakajima. (2017). An acoustic key to eightlanguages/dialects: Factor analyses of critical-band-filtered speech,Scientific Reports, 7, 42468; doi: 10.1038/srep42468で示されているように、多言語に共通して言語音の認識において区別される周波数帯域と考えられる。上記の４つの周波数帯域に関連づけて縮約された原音声Ｓｉｎに対する時間の関数（因子）を、それぞれｆ１（ｔ）、ｆ２（ｔ）、ｆ３（ｔ）、ｆ４（ｔ）とすることができる。これらの時間の関数を、本実施形態では、周波数範囲に基づいて振り分けられた互いに異なる成分である言語音成分という。本実施形態では４つの言語音成分を用いる。
【００４５】
一方、伝送系または音場を経て取得される音響信号Ｓｏｕｔにも、原音声Ｓｉｎと同様の言語音が含まれていると考えられる。したがって、音響信号Ｓｏｕｔについても、原音声Ｓｉｎも上記と同じ手法で縮約することができる。各周波数帯域に関連する時間の関数に縮約された音響信号Ｓｏｕｔに対する時間の関数を、それぞれｇ１（ｔ）、ｇ２（ｔ）、ｇ３（ｔ）、ｇ４（ｔ）とすることができる。なお、本実施形態では、音響信号Ｓｏｕｔについて原音声Ｓｉｎと同様に４つの時間の関数ｇ１（ｔ）、ｇ２（ｔ）、ｇ３（ｔ）、ｇ４（ｔ）に縮約する場合、すなわち、音響信号Ｓｏｕｔから４つの因子（言語音成分）を生成する場合について説明するが、音響信号Ｓｏｕｔから生成する因子の数は４つに限定されない。例えば、音響信号Ｓｏｕｔに含まれる音については、上記の２０のバンドに分割するのみとし、分割後の各成分を２０の因子として取り扱ってもよい。また、本実施形態では、４つの因子を取り扱う場合について説明するが、因子の数は適宜変更することができる。具体的には、原音声Ｓｉｎ（原信号）を互いに異なる周波数範囲に対応する３〜６個の因子（言語音成分）に縮約した３〜６個の時間の関数を取り扱うこととしてもよい。
【００４６】
伝送系または音場を経た音響信号Ｓｏｕｔが原音声Ｓｉｎに対して何ら変化をしていない場合、すなわち、音響信号Ｓｏｕｔが原音声Ｓｉｎと同じである場合には、原音声Ｓｉｎが伝送系または音場の通過に要する時間をｄとすると、ｆ１（ｔ）＝ｇ１（ｔ＋ｄ）、ｆ２（ｔ）＝ｇ２（ｔ＋ｄ）、ｆ３（ｔ）＝ｇ３（ｔ＋ｄ）、及び、ｆ４（ｔ）＝ｇ４（ｔ＋ｄ）が成り立つはずである。しかしながら、実際には、伝送系または音場の影響を受けるため、上記の関係は成立せず、何らかの変化が生じる。したがって、伝送系または音場がどのような原音声Ｓｉｎに対して影響を与えて音響信号Ｓｏｕｔを形成しているかは、ｇ１…ｇ４がｆ１…ｆ４の情報をどの程度保存しているか、すなわち、ｇ１…ｇ４からｆ１…ｆ４をどの程度再構築することができるかで評価することができる。
【００４７】
そこで、ｆ１…ｆ４とｇ１…ｇ４との間に以下の回帰式を設定し、重回帰分析を行う。なお、以下の数式において、＾ｘとはｘの推測値を表し、ａ１０〜ａ４４は、偏回帰係数である。
＾ｆ１（ｔ）＝ａ１０＋ａ１１・ｇ１（ｔ＋ｄ）＋ａ１２・ｇ２（ｔ＋ｄ）＋ａ１３・ｇ３（ｔ＋ｄ）＋ａ１４・ｇ４（ｔ＋ｄ）
＾ｆ２（ｔ）＝ａ２０＋ａ２１・ｇ１（ｔ＋ｄ）＋ａ２２・ｇ２（ｔ＋ｄ）＋ａ２３・ｇ３（ｔ＋ｄ）＋ａ２４・ｇ４（ｔ＋ｄ）
＾ｆ３（ｔ）＝ａ３０＋ａ３１・ｇ１（ｔ＋ｄ）＋ａ３２・ｇ２（ｔ＋ｄ）＋ａ３３・ｇ３（ｔ＋ｄ）＋ａ３４・ｇ４（ｔ＋ｄ）
＾ｆ４（ｔ）＝ａ４０＋ａ４１・ｇ１（ｔ＋ｄ）＋ａ４２・ｇ２（ｔ＋ｄ）＋ａ４３・ｇ３（ｔ＋ｄ）＋ａ４４・ｇ４（ｔ＋ｄ）
【００４８】
上記の４つの回帰式の決定係数をＲ１２，Ｒ２２，Ｒ３２，Ｒ４２とし、その平均値を￣Ｒ２とする。￣Ｒ２を最大にするｄ（≧０）の値を探索的に求める。この結果、￣Ｒ２の値￣Ｒｍａｘ２を得ることができる。￣Ｒｍａｘ２は、４つの回帰式の精度を示すものであり、すなわち、原音声Ｓｉｎが音響信号Ｓｏｕｔを用いてどの程度再現可能かを示す値であるともいえる。したがって、￣Ｒｍａｘ２は、音響信号Ｓｏｕｔが原音声Ｓｉｎに係る要素をどの程度含んでいるかを示す評価量といえる。
【００４９】
したがって、￣Ｒ２を最大にするｄを当てはめた際の上記の４つの回帰式の決定係数Ｒ１２，Ｒ２２，Ｒ３２，Ｒ４２が各周波数帯域での評価値となり、￣Ｒｍａｘ２が４つの周波数帯域を包含する音響信号Ｓｏｕｔに対する評価量となる。
【００５０】
上記の手法により評価量を算出する場合、評価部３０では、成分振り分け部３１が、音響信号Ｓｏｕｔを４つの周波数帯域に対応した時間関数ｇ１（ｔ）〜ｇ４（ｔ）を求める機能を有する。また、音声伝達環境評価システム１が原音声Ｓｉｎを取得している場合、成分振り分け部３１は、原音声Ｓｉｎを４つの周波数帯域に対応した時間関数ｆ１（ｔ）〜ｆ４（ｔ）を求める機能も有する。
【００５１】
また、評価量算出部３２及び評価値算出部３３は、成分振り分け部３１で得られた時間関数ｇ１（ｔ）〜ｇ４（ｔ）及び時間関数ｆ１（ｔ）〜ｆ４（ｔ）を用いて、評価量及び評価値を算出する機能を有する。上記の手法の場合、評価量算出部３２及び評価値算出部３３が連動して評価量及び評価値を算出することになる。
【００５２】
また、基準情報保持部３４は、時間関数ｆ１（ｔ）〜ｆ４（ｔ）に用いられる音響信号を保持する。上記で説明したように、原音声Ｓｉｎから時間関数ｆ１（ｔ）〜ｆ４（ｔ）を算出する場合には、基準情報保持部３４は、原音声Ｓｉｎに係る情報を保持することになる。なお、上記の手法は、原音声Ｓｉｎを必ずしも使用しなくてもよい。その場合には、上記のKishidaら（2016）で示されているように、４つの周波数帯域のそれぞれにおいて言語認識に重要な要素に関係する波長域の音量（あるいは因子の因子得点）の時間変化の特徴に基づいて、時間関数ｆ１（ｔ）〜ｆ４（ｔ）を別途作成して、評価値及び評価量の算出に使用することもできる。このような構成の場合には、この時間関数ｆ１（ｔ）〜ｆ４（ｔ）の作成に必要な情報、または、作成された時間関数ｆ１（ｔ）〜ｆ４（ｔ）を基準情報として保持することができる。なお、音響信号Ｓｏｕｔに対応する原音声Ｓｉｎに基づいた時間関数ｆ１（ｔ）〜ｆ４（ｔ）を用いて評価量及び評価値を求める構成とすることで、伝送系または音場に由来する音響の変化のみが時間関数ｆ１（ｔ）〜ｆ４（ｔ）と時間関数＾ｆ１（ｔ）〜＾ｆ４（ｔ）との差分に含まれることになるため、より正確な評価を行うことができると考えられる。
【００５３】
上記の手法に基づく音声伝達環境評価システム１による音響信号Ｓｏｕｔに係る評価値の算出方法について、図３を参照しながら説明する。
【００５４】
まず、音声伝達環境評価システム１では、音響情報取得部１０において、音響信号Ｓｏｕｔを取得する（Ｓ０１）。
【００５５】
次に、評価部３０の成分振り分け部３１、評価量算出部３２及び評価値算出部３３により、各因子（時間の関数：上述のｆ１（ｔ）〜ｆ４（ｔ）及びｇ１（ｔ）〜ｇ４（ｔ））を用いて上記の回帰式を作成し、重回帰分析を行う（Ｓ０２）。具体的には、必要であれば前処理部２０による前処理を行った後に、評価部３０の成分振り分け部３１において、原音声Ｓｉｎ及び音響信号Ｓｏｕｔから複数成分の因子（時間の関数）を生成する。この際には、上記で説明した手法が用いられる。次に、また、評価部３０の評価量算出部３２及び評価値算出部３３により、言語音成分に係る回帰式が作成される。重回帰分析を行うための回帰式の作成に際しては、基準情報保持部３４において保持される情報等も適宜使用される。重回帰分析に基づいて、４つの因子に対応する回帰式における決定係数（Ｒ１２，Ｒ２２，Ｒ３２，Ｒ４２）を算出する（Ｓ０３）。そして、この決定係数の平均の最大値（￣Ｒｍａｘ２）を求め、評価値として算出する（Ｓ０４）。算出された評価値は、出力部４０によって必要に応じて外部装置等へ出力される。
【００５６】
上記の音声伝達環境評価システム１は、音声伝達環境評価システム１の処理を行うコンピュータとして機能してもよい。図４は、本実施形態に係る音声伝達環境評価システム１のハードウェア構成の一例を示す図である。上述の音声伝達環境評価システム１は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。なお、「装置」とは、回路、デバイス、ユニットなどに読み替えることができる。音声伝達環境評価システム１のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【００５７】
音声伝達環境評価システム１における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。
【００５８】
プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインタフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central  Processing  Unit）で構成されてもよい。プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。上述の各種処理は、１つのプロセッサ１００１で実行されてもよいし、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。
【００５９】
メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read  Only  Memory）、ＥＰＲＯＭ（Erasable  Programmable  ＲＯＭ）、ＥＥＰＲＯＭ（Electrically  Erasable  Programmable  ＲＯＭ）、ＲＡＭ（Random  Access  Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。
【００６０】
ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact  Disc  ＲＯＭ）などの光ディスク、ハードディスクドライブ等により構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。
【００６１】
通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。なお、通信装置１００４は含まれていなくてもよい。
【００６２】
入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。
【００６３】
また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
【００６４】
上記のように、本実施形態に係る音声伝達環境評価システム１によれば、音響情報取得部１０において取得された、言語音（原音声Ｓｉｎ）を含む音響信号Ｓｏｕｔについて、評価部３０において、以下の処理が行われる。すなわち、周波数範囲に基づいて振り分けられた互いに異なる複数の成分である複数の言語音成分（＾ｆ１、＾ｆ２、＾ｆ３、＾ｆ４）を、音響信号Ｓｏｕｔを用いて記述した際に、言語音成分それぞれについて言語音が含まれている程度を示す評価量（Ｒ１２、Ｒ２２、Ｒ３２、Ｒ４２）を算出し、各言語音成分に対応する評価量に基づいて、言語音が含まれる程度を示す評価値を算出する。このように、このように、周波数範囲に基づいて振り分けられた互いに異なる複数の成分である複数の言語音成分を、音響信号を用いて記述し、その評価量を算出する構成とすることで、言語音が含まれる程度を複数の成分毎に評価することができるため、例えば、言語音に関係性の高い特徴的な音量分布等を示す周波数帯域について、周波数帯域とは区別して評価量を算出することができる。そして、成分毎の算出された複数の評価量に基づいて音響信号としての評価値を算出するため、音響信号全体としての評価値を一度に算出する場合と比較して、周波数帯域毎に異なる言語音の音量分布（音量の時間変化）の特徴を考慮した評価値を算出することができるため、所定の環境を経た際の言語音の伝達状況を適切に評価することができる。また、このように言語音の伝達状況を適切に評価することで、言語音の伝達状況を改善するための環境の改善等の対策を行うことができるため、言語音の伝達状況の改善を行うことができ、言語音の適切な伝達を実現することができる。
【００６５】
また、上記の音声伝達環境評価システム１では、評価部３０において、音響信号Ｓｏｕｔを周波数範囲に基づいて振り分けて得られる複数の成分に基づいて複数の言語音成分（＾ｆ１、＾ｆ２、＾ｆ３、＾ｆ４）に係る回帰式を記述し、重回帰分析を行った際の各言語音成分に係る決定係数を評価量として算出し、各言語音成分での前記評価値の代表値を評価値とする。このように、重回帰分析を用いて算出された各言語音成分に係る決定係数を評価量とし、各言語音成分での評価量の代表値を評価値とする構成とすることで、所定の環境を経た際の言語音の伝達状況を適切に評価することができる。なお、上記実施形態では、代表値として、複数の評価量の平均を用いたが、代表値は平均値に限定されず、平均値を算出する以外の手法により代表値を求めてもよい。
【００６６】
また、音声伝達環境評価システム１では、起点移動主成分分析を利用して、音響信号を多言語に共通して言語音の認識において区別される周波数帯域と考えられる４つの周波数帯域に区別し、それぞれについて言語音成分に係る回帰式を作成し、重回帰分析を行っている。このように、言語音の認識において区別される周波数帯域に対応するように、回帰式を作成する各言語音成分を作成することで、言語音の伝達状況に係る評価をより適切に行うことが可能となる。
【００６７】
また、上記のように、所定の環境を経る前の言語音に係る情報（上記実施形態では原音声Ｓｉｎ）を用いて、評価部３０における評価を行うことで、この所定の環境を経る前の言語音に係る情報である原音声Ｓｉｎと、音響信号Ｓｏｕｔとに基づいて、所定の環境を経ることによって言語音の変化を適切に特定することができる。したがって、所定の環境を経た際の言語音の伝達状況を適切に評価することができる。
【００６８】
また、評価部は、原音声Ｓｉｎに代えて、各言語音成分における言語音の特徴的な音量分布を示す情報を用いて評価量及び評価値を算出してもよい。このような構成とした場合、所定の環境を経る前の言語音に係る情報を用いることなく評価量及び評価値を算出することができるため、音声伝達環境評価システム１の汎用性を高めることが可能となる。
【００６９】
（応用例）
上記実施形態で説明した音声伝達環境評価システム１の応用例について説明する。上記の通り、音声伝達環境評価システム１は、所定の環境を経た言語音がどのように変化するか伝達状況を評価することができる。したがって、評価結果を利用して、言語音の伝達状況を改善することが可能となる。音声伝達環境評価システム１による評価結果を利用すると、言語音の伝達状況を改善するための方法を見出すこともできる。また、音声伝達環境評価システム１では、複数の言語音成分のそれぞれについて言語音が含まれる程度を示す評価量を算出した上で、各成分での評価量に基づいて、言語音が含まれる程度を示す評価値を算出するため、算出の際の伝達状況の改善のための手法を示すことも可能となる。具体的には、特定の言語音成分の評価量が改善されるように、伝送系または音場での音声伝達状況を変更することにより、言語音の伝達状況を改善することが可能となる。
【００７０】
また、例えば、原音声の伝達状況を評価する対象となる環境（所定の環境）として高齢者等の聴覚系を設定することもできる。伝送系において、例えば高齢者の聴力の低下に対応させて高周波数成分の多いマスキング雑音を混入して模擬する周波数分解能が落ちること（周波数方向の因子の分かれかたがあいまいになること）については、ｇ１（ｔ）、ｇ２（ｔ）、ｇ３（ｔ）、ｇ４（ｔ）を求める際に、ｆ１（ｔ）、ｆ２（ｔ）、ｆ３（ｔ）、ｆ４（ｔ）を求める際に用いたよりも帯域幅の広い（例えば、隣接するフィルタの帯域と重なる）フィルタを用いることによって模擬することができる。さらに、時間分解能が落ちることについては、最終的に得られた音響信号Ｓｏｕｔのパワー変化に対して時間方向の移動平均を行うことによって模擬することができる。このように、評価を行いたい環境を想定した伝送系を設計することで、例えば、電話、放送の品質評価、騒音評価、リスニングテストの環境評価等、種々の環境の評価を行うことができる。さらに、音声伝達環境評価システム１を利用した評価結果が改善するように環境を変更するなど、環境に係る改善プロセスにも利用することができる。
【００７１】
（変形例）
以下、上記実施形態で説明した音声伝達環境評価システム１の変形例について説明する。
【００７２】
音声伝達環境評価システム１は、１台のコンピュータ装置等により構成されていてもよいし、複数台の装置に対して音声伝達環境評価システム１に係る機能が分散配置されていてもよい。すなわち、音声伝達環境評価システム１の装置構成は特に限定されない。
【００７３】
前処理部２０による前処理に関する変形例について説明する。前処理部２０による前処理としては、音響信号Ｓｏｕｔに対して行う前処理と、原音声Ｓｉｎに対して行う前処理と、が挙げられる。
【００７４】
音響信号Ｓｏｕｔに対して行う前処理とは、音響情報取得部１０が取得した音響信号Ｓｏｕｔについて前処理を行うことである。この場合、評価部３０は、前処理部２０による前処理が行われた後の音響信号に基づいて、評価量および前記評価値を算出することになる。このように、前処理部２０により音響信号Ｓｏｕｔを前処理可能な構成とした場合、例えば、前処理により、言語音との関連性が低い特定の周波数帯域の音は削除する等の処理が可能となるため、言語音の伝達状況の評価の精度を高めることが可能となる。なお、前処理部２０による音響信号Ｓｏｕｔに対する前処理としては、上記のように所定の周波数帯域の音の削除することが挙げられるが、これに限定されない。
【００７５】
原音声Ｓｉｎに対して行う前処理とは、原音声Ｓｉｎが所定の伝送系または音場に対して出力される前に音声伝達環境評価システム１において前処理を行うことである。この場合、前処理後の原音声Ｓｉｎが所定の環境に対して出力されるため、音響情報取得部１０は、前処理後の原音声Ｓｉｎが所定の環境を経ることで変化した音響信号Ｓｏｕｔを取得し、評価を行うことになる。この場合、例えば、前処理により、背景騒音以外ではありえない成分の音の音量の調整を行う等の処理が可能となるため、言語音の伝達状況の評価の精度を高めることが可能となる。なお、前処理部２０による原音声Ｓｉｎに対する前処理としては、上記のように特定の成分の音量の調整のほか、例えば、最良の可能性を示すために音声知覚の手掛かりを強調する処理、現場に合わせて品質をわざと劣化させる処理等が挙げられる。
【００７６】
評価部３０による評価量及び評価値の算出方法の変形例について説明する。上記実施形態では、評価量及び評価値の算出の際に、音響信号を２０のバンドに対して分割した後に、起点移動主成分分析を利用して起点移動主成分分析を利用して、音響信号を多言語に共通して言語音の認識において区別される周波数帯域と考えられる４つの周波数帯域に対応した成分に縮約している。そして、４つの成分（言語音成分）についてそれぞれ回帰式を作成して重回帰分析を行った上で、決定係数の平均が最大値となる場合の決定係数を評価量とし、当該最大値を評価値としている。しかしながら、同じ手法を採る場合であっても、種々の変更を加えることができる。例えば、２０のバンドに対する分割は省略してもよいし、分割する場合でも分割数を変更してもよい。また、４つの周波数帯域に対応した成分への縮約についても、起点移動主成分分析とは異なる手法を利用してもよい。また、言語音成分の数は、少なくとも複数であればよく、４つに限定されない。例えば、３〜６個程度の言語音成分を用いることができる。
【００７７】
さらに、本実施形態では、音響信号から、周波数帯域に基づいて振り分けられた互いに異なる複数の言語音成分を記述し、当該言語音成分毎に評価量を算出し、その評価量に基づいた評価値を算出する構成であればよい。すなわち、重回帰分析に係る決定係数に基づいた評価量及び評価値に限定されない。例えば、そのほかの統計的処理（例えば、二次関数または対数などを用いた当てはめなど）を行うことにより、評価量及び評価値を算出する構成としてもよい。
【００７８】
また、評価量及び評価値の算出は、上記実施形態で説明したように、実質的に同時に行ってもよいし、まず評価量を算出した上で、評価量に基づいて評価値を算出する構成としてもよい。
【００７９】
［感覚刺激提示装置］
図４は、本開示の一形態に係る感覚刺激提示装置を説明する図である。また、図５は、感覚刺激提示装置の構成例を示す図である。
【００８０】
感覚刺激提示装置２は、原音声または原音声に対応する音声信号を、音声とは別の刺激として対象者（音声信号を伝達すべき対象者）に対して提示する装置である。音声伝達環境評価システム１は、伝送系または音場を経た原音声がどのように変化するかを評価するシステムであった。これに対して感覚刺激提示装置２は、対象者に対して伝達すべき音声信号を音声とは別の刺激として対象者に提示する装置である。対象者に対して提示する別の「刺激」とは、対象者に対する感覚刺激を指す。また、対象者に対して提示する感覚刺激としては、例えば、皮膚への感覚刺激、または、内耳への刺激が挙げられる。さらに、皮膚への感覚刺激とは、具体的には、振動、電気刺激等が挙げられる。ただし、感覚刺激提示装置が対象者に対して提示する感覚刺激は、上記の刺激に限定されない。
【００８１】
感覚刺激提示装置２は、音声信号に対応した刺激信号を生成し、当該刺激信号に基づく刺激を対象者に対して提示する。音声信号に対応した刺激信号とは、音声信号に含まれる言語の特徴に対応したものである。このような刺激信号として、上記で説明した４つの周波数帯域に関連づけて縮約された原音声Ｓｉｎに対する時間の関数（言語音成分：ｆ１（ｔ）、ｆ２（ｔ）、ｆ３（ｔ）、ｆ４（ｔ））を用いることができる。原音声Ｓｉｎに対する時間の関数（ｆ１（ｔ）、ｆ２（ｔ）、ｆ３（ｔ）、ｆ４（ｔ））は、上述した通り、４つの周波数帯域のそれぞれにおいて言語認識に重要な要素に関係する波長域の音量（あるいは因子の因子得点）の時間変化の特徴を含むものである。したがって、言語認識との関連性が高い上記の時間の関数（ｆ１（ｔ）、ｆ２（ｔ）、ｆ３（ｔ）、ｆ４（ｔ））を音は別の刺激により対象者に提示した場合でも、対象者はこの刺激を言語として認識することが可能となると考えられる。時間の関数（ｆ１（ｔ）、ｆ２（ｔ）、ｆ３（ｔ）、ｆ４（ｔ））に含まれる音量の変化は、例えば、刺激の強弱として対象者に提示することができる。
【００８２】
なお、原音声Ｓｉｎに対する時間の関数（ｆ１（ｔ）、ｆ２（ｔ）、ｆ３（ｔ）、ｆ４（ｔ））の代わりに、原音声Ｓｉｎを加工して得られる信号を音声信号に対応する刺激として対象者に提示することとしてもよい。さらに、音響信号Ｓｏｕｔから作成する時間の関数を、音声信号に対応する刺激として対象者に提示することもできる。このような場合でも、対象者はこの刺激に基づいて、あるいはこの刺激と既存の刺激とを対応付けて、言語を認識することが可能になると考えられる。例えば、音声伝達環境評価システム１では、評価部３０において、音響信号Ｓｏｕｔの各成分に基づいて原音声Ｓｉｎの言語音成分に係る回帰式を記述し、重回帰分析を行い、原音声Ｓｉｎに対する時間の関数（ｆ１（ｔ）、ｆ２（ｔ）、ｆ３（ｔ）、ｆ４（ｔ））の推測値の関数となる時間の関数＾ｆ１（ｔ）、＾ｆ２（ｔ）、＾ｆ３（ｔ）、＾ｆ４（ｔ）を求めている。感覚刺激提示装置２でも、音声伝達環境評価システム１と同様に時間の関数ｆ１（ｔ）〜ｆ４（ｔ）を推測した関数＾ｆ１（ｔ）〜＾ｆ４（ｔ）を算出する構成とし、この時間の関数＾ｆ１（ｔ）〜＾ｆ４（ｔ）に対応した刺激を対象者に提示することによっても、対象者に対して音声信号に対応した刺激を提示することが可能となる。
【００８３】
さらに、音響信号Ｓｏｕｔから作成する、音響信号Ｓｏｕｔに対応する４つの因子に係る時間の関数ｇ１（ｔ）、ｇ２（ｔ）、ｇ３（ｔ）、ｇ４（ｔ）を音声信号に対応する刺激として対象者に提示した場合でも、対象者はこの刺激に基づいて言語を認識することが可能となると考えられる。原音声Ｓｉｎから生成される４つの因子に係る時間の関数（ｆ１（ｔ）、ｆ２（ｔ）、ｆ３（ｔ）、ｆ４（ｔ））と比べると、音響信号Ｓｏｕｔに対応する４つの因子に係る時間の関数（ｇ１（ｔ）、ｇ２（ｔ）、ｇ３（ｔ）、ｇ４（ｔ））には伝送系または音場を経ることによる信号の変化の要素が含まれるため、言語認識の観点では精度が劣る可能性はある。しかしながら、音響信号Ｓｏｕｔにおいても言語音に基づく周波数毎の音量分布の変化に係る情報が含まれるため、この音響信号Ｓｏｕｔから作成した４つの因子に係る時間の関数に対応した刺激を対象者に提示した場合でも、対象者はこの刺激に基づいて言語を認識することが可能となると考えられる。なお、音響信号Ｓｏｕｔを各周波数帯域に関連する時間の関数に縮約して得られるｇ１（ｔ）、ｇ２（ｔ）、ｇ３（ｔ）、ｇ４（ｔ）ではなく、音響信号Ｓｏｕｔを各周波数帯域に対応させて単純に複数（例えば、４つ）の成分に振り分けて、何らかの計算処理を加えることで得られる複数の時間の関数を用いてもよいと考えられる。
【００８４】
上記の構成を実現するため、感覚刺激提示装置２は、図５に示すように刺激信号作成部５０と、複数の刺激提示部６０（６０Ａ〜６０Ｄ）とを含んで構成される。刺激信号作成部５０は、対象者に提示する刺激の変化に係る信号を作成する機能を有する。刺激信号作成部５０は、周波数範囲が互いに異なる複数の成分に振り分けて、各成分に対応した複数の刺激信号を作成する。そして、刺激提示部６０Ａ〜６０Ｄは、複数の刺激信号それぞれに対応する刺激を対象者に対して提示する。
【００８５】
刺激信号作成部５０は、音響情報取得部５１と、信号生成部５２と、提示制御部５５とを有する。また、信号生成部５２は、成分振り分け部５３と、時間関数作成部５４と、を有する。
【００８６】
音響情報取得部５１は、刺激の提示に使用する音響情報を取得する機能を有する。具体的には、上述したように原音声Ｓｉｎまたは音響信号Ｓｏｕｔが取得される。
【００８７】
信号生成部５２は、刺激の提示に使用する信号を生成する。このうち、成分振り分け部５３は、音響情報取得部５１が取得した音響情報を、予め区切られた複数の周波数範囲の成分に振り分ける機能を有する。また、時間関数作成部５４は、刺激の提示に使用する刺激信号に用いられる時間の関数を作成する機能を有する。すなわち、上記の原音声Ｓｉｎに対する時間の関数（ｆ１（ｔ）、ｆ２（ｔ）、ｆ３（ｔ）、ｆ４（ｔ））、当該原音声Ｓｉｎ（原信号）を加工して得られる信号に対応する時間の関数、重回帰分析により得られる原音声Ｓｉｎに対する推測値の関数となる時間の関数（＾ｆ１（ｔ）、＾ｆ２（ｔ）、＾ｆ３（ｔ）、＾ｆ４（ｔ））、音響信号Ｓｏｕｔに対応する４つの因子に係る時間の関数（ｇ１（ｔ）、ｇ２（ｔ）、ｇ３（ｔ）、ｇ４（ｔ））、及び、音響信号Ｓｏｕｔを４つの成分に振り分けて所定の計算処理を経て得られる４つの時間の関数のいずれかを生成する機能を有する。原音声Ｓｉｎ（原信号）に対して行われる加工とは、例えば、音声に係る知覚の手掛かりが浮かびあがるように、原音声Ｓｉｎ（原信号）に対して行われる強調処理などが挙げられる。
【００８８】
提示制御部５５は、信号生成部５２において生成された刺激の提示に使用する信号を用いて刺激提示部６０Ａ〜６０Ｄを制御する機能を有する。上述のように４つの因子（時間関数）により刺激を提示する場合、提示制御部５５は、どの時間の関数に対応した振動をどの刺激提示部６０Ａにおいて提示するか等という信号の割り当てを決定し、この割り当てに基づいて時間関数に対応した刺激を発生させるように刺激提示部６０Ａ〜６０Ｄのそれぞれを制御する。
【００８９】
刺激提示部６０Ａ〜６０Ｄは、例えば、それぞれ振動子により構成される。４つの刺激提示部６０Ａ〜６０Ｄは互いに独立して、同一の対象者に対して互いに異なるタイミングに刺激を提示することができる。複数（ここでは４つ）の刺激提示部６０Ａ〜６０Ｄは、例えば、図６（ａ）に示すように、対象者の手Ｈの４本の指に対して取り付けられる指輪状の振動子として構成することができる。このような構成とした場合、対象者は、４つの刺激信号に対応する振動を互いに異なる指で検知することができる。また、複数の刺激提示部６０Ａ〜６０Ｄは、例えば、図６（ｂ）に示すように、棒状または板状の本体部７０の表面の互いに異なる位置に設けられた４つの振動子として構成してもよい。このような構成とした場合、対象者がこの本体部７０を把持し、刺激提示部６０Ａ〜６０Ｄ（振動子）に対応する位置に手（例えば４本の指）を当てることで、対象者は、４つの刺激信号に対応する振動を手の互いに異なる場所で検知することができる。刺激提示部６０Ａ〜６０Ｄは、それぞれ複数の振動子を組み合わせて構成されていてもよい。振動の増幅度が互いに異なる複数の振動子を組み合わせて刺激提示部を構成することで、複数の振動子を利用してより細かなパワー変化を対象者に対して提示することができる。そのため、対象者はパワー変化をより一層細やかに認識することが可能となる。
【００９０】
なお、図６（ａ），（ｂ）に示す例は、刺激提示部６０Ａ〜６０Ｄにより対象者に対して皮膚感覚刺激として振動を提示する場合の構成例であるが、感覚刺激提示装置２が提示する刺激の種類、または、刺激を提示する対象となる部位（例えば、手、内耳等）に応じて、刺激提示部６０Ａ〜６０Ｄの構成は変更することができる。また、刺激を提示する際に用いる信号（時間の関数）の数（振り分ける成分の数）に応じて、刺激提示部の数も適宜変更することができる。
【００９１】
感覚刺激提示装置２において行われる処理の手順について図７を参照しながら説明する。まず、感覚刺激提示装置２では、音響情報取得部５１において、提示する信号の元となる音響情報（原音声Ｓｉｎまたは音響信号Ｓｏｕｔ）を取得する（Ｓ１１）。次に、信号生成部５２の成分振り分け部５３及び時間関数作成部５４により、対象者に提示する刺激に係る信号を作成する（Ｓ１２）。作成の手順は、上述したとおりであり、その結果、複数の時間の関数（上述のｆ１（ｔ）〜ｆ４（ｔ）、＾ｆ１（ｔ）〜＾ｆ４（ｔ）、ｇ１（ｔ）〜ｇ４（ｔ）またはその他の関数）が策せ入れる。その後、作成された刺激提示用の信号に基づいて、提示制御部５５が刺激提示部６０Ａ〜６０Ｄを制御し、対象者に対して刺激が提示される（Ｓ１３）。
【００９２】
このように、上記の感覚刺激提示装置２によれば、原信号（原音声Ｓｉｎ）または所定の環境（伝送系または音場）を経た音響信号Ｓｏｕｔに基づいて、刺激信号作成部５０の信号生成部５２において、周波数範囲が互いに異なる複数の成分毎に、音量の変化に関連した時間の関数が生成される。そして、この時間の関数に基づいて、刺激提示部６０Ａ〜６０Ｄにより、時間の関数に対応する感覚刺激が対象者に対して提示される。このような構成とすることで、言語音に関係性の高い特徴的な音量分布等を示す周波数範囲を考慮した感覚刺激を対象者に対して提示することができるため、感覚刺激を利用して対象者に対する言語音の伝達を補助することができる。なお、本実施形態では、４つの因子を取り扱う場合について説明したが、因子の数は適宜変更することができる。具体的には、原音声Ｓｉｎ（原信号）を互いに異なる周波数範囲に対応する３〜６個の因子に縮約した３〜６個の時間の関数を取り扱うこととしてもよい。
【００９３】
また、刺激提示部６０Ａ〜６０Ｄのように、提示部が皮膚への感覚刺激を提示する構成である場合、言語音に対応する刺激の提示をより簡単な構成により実現することができる。ただし、皮膚への感覚刺激とは異なる手法を用いた場合でも、対象者への言語音の伝達の補助を行うことが可能である。
【００９４】
（変形例）
以下、上記実施形態で説明した感覚刺激提示装置２の変形例について説明する。
【００９５】
感覚刺激提示装置２は、１台のコンピュータ装置等を含んで構成されていてもよいし、複数台の装置に対して感覚刺激提示装置２に係る機能が分散配置されていてもよい。すなわち、感覚刺激提示装置２の装置構成は特に限定されない。また、上記実施形態で説明した音声伝達環境評価システム１と感覚刺激提示装置２とは組み合わせた構成であってもよい。例えば、音声伝達環境評価システム１として評価値を算出するために行った重回帰分析での結果を利用して、感覚刺激提示装置２として対象者に刺激を提示するための信号を作成し、対象者に対して刺激を提示する構成としてもよい。
【符号の説明】
【００９６】
１…音声伝達環境評価システム、２…感覚刺激提示装置、１０，５１…音響情報取得部、２０…前処理部、３０…評価部、３１…成分振り分け部、３２…評価量算出部、３３…評価値算出部、３４…基準情報保持部、４０…出力部、５０…刺激信号作成部、５２…信号生成部、５５…提示制御部、６０Ａ〜６０Ｄ…刺激提示部。
【図１】
2020071306.tif 000003
【図２】
2020071306.tif 000004
【図３】
2020071306.tif 000005
【図４】
2020071306.tif 000006
【図５】
2020071306.tif 000007
【図６】
2020071306.tif 000008
【図７】
2020071306.tif 000009