(57)【特許請求の範囲】
【請求項１】
音処理装置であって、互いに間隔を保つ複数の周波数チャネルにおける音信号の振幅エンベロープを推定する手段と、該推定された振幅エンベロープをある時間に亘って分析することによって前記エンベロープ中の短期間の振幅の遷移を検出する手段と、前記短期間の振幅の遷移の１つの所定期間に亘る大きさの相対的な差を決定する手段を含み、前記短期間の振幅の遷移の相対的な振幅を増大させる手段と、前記大きさの相対的な差から、前記短期間の振幅の遷移の前記１つに適用される相対的な振幅の増大のサイズを求めることによって、前記音信号中の低い強度の短期間の音声の特徴を知覚することを支援する手段と、を有する音処理装置。
【請求項２】
前記所定期間が約６０ｍｓである請求項１に記載の装置。
【請求項３】
約１４ｄＢのゲインまで前記音信号に加えるように構成され、かつゲインの量が、
(i)前記期間に亘る前記大きさの相対的な差が急激な増大に続いて低下することによって、約１４ｄＢまでゲインを増大させるか、
(ii)前記期間に亘る前記大きさの相対的な差が急激な増大に続いて比較的一定のレベルになることによって、約６ｄＢまでゲインを増大させるか、
(iii) 前記期間に亘る前記大きさの相対的な差が比較的一定したレベルに続いて急激に低下することによって、ゲインを殆どまたは全く増大させないか、
に従って選択するように構成される、請求項１または２に記載の装置。
【請求項４】
マイクロホン、前置増幅器、およびＮ個の並列フィルタ・バンクを含む、請求項１〜３のいずれか一項に記載の装置。
【請求項５】
ｎがフィルタ・チャネル番号を、ｔが時間をそれぞれ表すとして、Ｓn（ｔ）で示される、いずれかのフィルタ・チャネルにおける信号を、Ｇnがチャネルｎに対するゲイン係数、Ｋnが約２に等しいゲイン修正子定数を表すとして、Ｓ’n（ｔ）＝Ｓn（ｔ）×（１＋Ｋn×Ｇn）に従ってスケーリングするように構成される、請求項１〜４のいずれか一項に記載の装置。
【請求項６】
バッファがフィルタ・チャネルｎにおけるエンベロープ信号Ｓn（ｔ）の履歴を保持し、バッファは、複数の連続するタイム・ウィンドウに分割され、各ウィンドウにおいて、ゆっくり変動するエンベロープ信号の推定値が、約４５Ｈｚのカットオフ周波数を有して微細なプロファイル構造を平滑化する２次低域フィルタと近似的に等価のウィンドウにおける平均化した期間によって、とり出される、請求項５に記載の装置。
【請求項７】
ゲイン係数Ｇnを、各ウィンドウにおける前記推定値の関数からとり出す、請求項５または６に記載の装置。
【請求項８】
Ｅc、ＥpおよびＥfが前記フィルタ・チャネルｎにおける現在、過去および未来での、ゆっくり変動するエンベロープ信号の推定値を表すとして、前記フィルタ・チャネルｎに対するゲイン係数が、関数：
Ｇn＝（２×Ｅc-２×Ｅp-Ｅf）/（Ｅc＋Ｅp＋Ｅf）
から導出される、請求項５〜７のいずれか一項に記載の装置。
【請求項９】
音信号に加えられる付加的なゲイン係数Ｇnが、急激な立上りに続いて急激な立下りを有する前記期間に亘る大きさの相対的な差では約０乃至２の範囲、急激な立上りに続いて比較的一定したレベルを有する前記期間に亘る大きさの相対的な差では約０乃至０．５の範囲、定常状態レベルに続く急激な低下を有する前記期間に亘る大きさの相対的な差では０．１より小、定常状態の大きさまたはゆっくり変動する前記期間に亘る大きさの相対的な差では約０である、請求項８に記載の装置。
【請求項１０】
異なったピークレベルではあるが、ピークと谷の比が類似している短期間のピークを示す、前記期間に亘る大きさの相対的な差を有する複数の音信号それぞれが、同様の量だけ増幅される、請求項８または９に記載の装置。
【発明の詳細な説明】
【０００１】
〔発明の分野〕
本発明は、特に移植蝸牛刺激装置や補聴器のような聴覚補助装置や、音の処理またはコード化を必要とする他のシステムにおいて刺激を発生させるための、音の刺激からとり出される信号の処理に関する。
〔発明の背景〕
移植蝸牛刺激装置や補聴器のような聴覚補助装置を刺激するのに使用される音信号を処理するための種々の音声処理ストラテジーが開発されている。このようなストラテジーは音声の特定の態様、例えばフォルマントに焦点を絞っている。他のストラテジーは、本願の出願人によるオーストラリア特許第６５７９５９号に詳細に記述されているスペクトラル・マキシマ・サウンド・プロセッサ（ＳＭＳＰ）ストラテジーのように、より総合的な、チャネルごとの振幅に基づく選択に依存する。上記特許の内容は関連文献として本願明細書中にとり込まれている。
【０００２】
このような音処理システムが繰り返し遭遇する困難は、利用者が音刺激中の音声を正しく知覚できるのに充分な情報を提供することにある。
〔発明の概要および目的〕
この発明の目的は、音の刺激中の微弱な短期間の音声の特徴を知覚することを支援するように、音の処理ストラテジーを提供することにある。
【０００３】
本発明は音処理装置であって、互いに間隔を保つ複数の周波数チャネルにおける音信号の振幅エンベロープを推定する手段と、推定された振幅エンベロープをある時間に亘って分析することによって前記エンベロープ中の短期間の振幅の遷移を検出する手段と、前記短期間の振幅の遷移の所定期間に亘る変化のプロファイルのレートを決定する手段を含み、前記短期間の振幅の遷移の相対的な振幅を増大させる手段と、前記変化のプロファイルのレートから、前記音信号における前記遷移に適用される相対的な振幅の増大のサイズを求めることによって、前記信号中の低い強度の短期間の音声の特徴を知覚することを支援する手段とから成る前記音処理装置を提供する。
【０００４】
好ましい実施態様では、前記所定期間は約６０ｍｓである。ログの（logarithmic）振幅目盛上で、前記短期間の振幅の遷移の変化のレートが速く/大きい程、前記遷移に適用される相対的な振幅の増大も大きくなる。また、短期間のバースト遷移に対応する変化のプロファイルのレートでは、オンセット（onset）遷移に対応するプロファイルの場合よりも相対的な振幅の増大がより顕著である。本願明細書における“バースト遷移”とは、振幅エンベロープにおいて急激な増大に続いて急激な低下が起こることを意味し、また“オンセット遷移”とは、振幅エンベロープにおいて急激な増大に続いて比較的一定したレベルが現れることを意味する。
【０００５】
上記した過渡エンファシス・ストラテジーは、特に難聴者や移植蝸牛刺激装置利用者のため、低い強度の短期間の音声の特徴を知覚することを支援するように構成されている。これらの音声の特徴は典型的には、i）破裂音の子音を伴う低い強度の短期間のノイズバースト/摩擦エネルギーと、ii）音声フォルマント(特に第２フォルマント、Ｆ２)、例えば、破裂音、鼻音およびその他の子音のような発音を伴う音声フォルマントの周波数における急激な遷移から成る。バックグラウンド・ノイズと共に与えられた場合、これらの特徴の知覚を向上させることで、幾つかの子音(即ち、破裂音と鼻音)の知覚だけでなく、音声全体の知覚をも支援することが判明した。
【０００６】
過渡エンファシス・ストラテジーは他の音声処理システム、特に、限定するものではないが、刺激用移植電極アレイに対するフロントエンドプロセスとして適用することが好ましい。本発明の好ましい実施例は、上記スペクトラル・マキシマ・サウンド・プロセッサ（ＳＭＳＰ）ストラテジーに組み込まれている。過渡エンファシス・スペクトラル・マキシマ（ＴＥＳＭ）サウンド・プロセッサとして知られる複合ストラテジーは、過渡エンファシス・ストラテジーを利用することにより、最大振幅を有するチャネルを選択する前にＳＭＳＰのフィルタ・バンクの出力を強調する。
【０００７】
多重チャネル音声処理システムの多くがそうであるように、入力音信号は帯域フィルタのバンクを利用することによって複数の周波数チャネルに分割される。次いで、これらの帯域において、信号を整流および低域フィルタリングすることによって信号エンベロープをとり出す。次いで、各チャネルごとにエンベロープ信号中の短期間の遷移のエンファシスを行う。このエンファシスは、i）典型的にはノイズ・バースト、フォルマント遷移、および音声オンセットのような音声の特徴に対応する、チャネルエンベロープ中での短期間(約５乃至６０ｍｓ)の振幅変化を検出し、ii）これらの期間中に、信号ゲインを増大させることによって行う。加えられるゲインは、ゆっくり変動するエンベロープ信号の時間に対する２次導関数（または、好適な実施例の説明において後述するような同様のルール）に関連している。
【０００８】
エンベロープ信号中での定常状態または比較的緩やかに変動するレベルの期間中(約６０ｍｓの期間に亘る)は、ゲインは全く加えられない。エンベロープ信号中の短期間の遷移が検出される期間中は、加えられるゲインの量は典型的には約１４ｄＢまで変動可能である。ゲインは下記のいずれかに分類される短期間の遷移の性質に応じて変動する。i)信号エンベロープにおける急激な増大に続く低下(約６０ｍｓ以内の期間に亘る)を生ずる場合で、典型的には、これは破裂音の子音中に現れるノイズバースト、または、子音から母音または母音から子音への遷移中に現れるフォルマントの急激な周波数シフトのような音声の特徴に対応する。ii)信号エンベロープにおける急激な増大に続いて比較的一定したレベルが現れる場合で、典型的には、母音における有声音のオンセットのような音声の特徴に相当する。分類i)による短期間の音声の特徴は、分類ii)によるものよりも知覚にとってより重要であると考えられ、従って、相対的に２倍のゲインを受ける。
【０００９】
なお、比較的一定したレベルに続いて急激な低下が現れる信号エンベロープは有声音/音の中絶に相当するから、殆どまたは全くゲインを受けない。
【００１０】
本発明をより容易に理解しうるようにするために、本発明の１つの好適な実施形態について添付図面を参照しながら説明する。
〔好適な実施形態の説明〕
図１を参照しながら、この発明の好適な実施形態を、ＳＭＳＰストラテジーをもって使用する場合について説明する。ＳＭＳＰストラテジーによって、マイクロホン１および前置増幅器２を介して受信される音信号に対応する電気信号が、近接する周波数に同調させたＮ個の並列フィルタ・バンク３によって処理される（典型的にはＮ＝１６）。各フィルタチャネルは各チャネルにおける信号の振幅（エンベロープ）を推定するため、帯域フィルタ４、整流器５および低域フィルタ６を含む。この実施形態では、フィルタ・バンクでの高速フーリエ変換（ＦＦＴ）の実行を採用する。Ｎ−チャネル・フィルタ・バンクの出力は、ＳＭＳＰストラテジーに従ってさらに処理される前に、過渡エンファシス・アルゴリズム７（後述する）によって修正される。
【００１１】
２．５ｍｓ間隔で６０ｍｓの期間に亘る、各チャネルにおけるエンベロープ信号の動作履歴は、Ｓn（ｔ）で示されるようにスライディング・バッファ８に保持される。ここで、Ｓn（ｔ）の添字ｎはチャネル番号、ｔは現在の分析間隔に対する時間を表す。このバッファは３つの連続する２０ｍｓのタイム・ウィンドウに分割され、ウィンドウ内の期間にわたって平均化することによって、各ウィンドウにおいてゆっくり変動するエンベロープ信号の推定値が得られる。平均化ウィンドウは遮断周波数が４５Ｈｚの２次低域フィルタとほぼ等価であり、主として、有声周波数変調や無声ノイズ変調のような、微細なエンベロープ構造の平滑化に利用される。従って、３つのウィンドウから得られる平均値は、バッファＳn（ｔ）の中点を基準として、過去（Ｅp）９、現在（Ｅc）１０および未来（Ｅf）１１の、ゆっくり変動するエンベロープ信号の推定値である。印加される付加的ゲインの量は方程式（１）で表される、ゆっくり変動するエンベロープの推定値の関数から導出される。この関数の導出および分析は付記Ａにおいて説明する。
【００１２】
Ｇ＝（２×Ｅc−２×Ｅp−Ｅf）/（Ｅc＋Ｅp＋Ｅf）            （１）
各チャンネルに対するゲイン係数（Ｇ）１２は以下に説明するようにゆっくり変動するエンベロープ信号の挙動によって変化する：(a)ゆっくり変動するエンベロープ信号中における（ほぼ６０ｍｓ以内の期間に亘っての）急激な立上りとこれに続く急激な降下とから成る短期間の信号がＧの最大値を発生させる。このようなタイプの信号では、Ｇは約０から２までの範囲にあると考えられる。（ｂ）急激な立上りとこれに続く比較的一定したレベルとから成る長期間信号の開始に伴って、典型的には０から０．５までの範囲にある低いレベルのＧを生成する。（ｃ）比較的定常な状態、またはゆっくり変動するエンベロープ信号は負の値のＧを生成する。（ｄ）エンベロープ信号における比較的定常な状態のレベルとこれに続く急激な低下とは（即ち、エンベロープ・エネルギーの休止/オフセットは）、小さい（約０．１より小）または負の値のＧを生成する。負の値のＧが生じうるから、ステップ１３において、方程式（２）に示すように、Ｇがゼロより下に低下しないように方程式（１）の結果が制限される。
【００１３】
（Ｇ＜０）なら、Ｇ＝０                                      （２）
方程式（１）のもう１つの重要な性質は、ゲイン係数を、ゆっくり変動するエンベロープ信号の大きさにおける絶対レベルではなく、相対的な差の関数と関連させることである。例えば、ピーク・レベルは異なるが、ピークと谷の比が同一のゆっくり変動するエンベロープ信号中の短期間ピークは同じ量だけ増幅されることになる。
【００１４】
各チャネルごとのゲイン係数（Ｇn）（ここで、ｎはチャネル番号を表す）は、方程式（３）に従って元のエンベロープ信号Ｓn（ｔ）をスケーリングするのに利用される（ここで、ｔmはバッファＳn（ｔ）の中間点を表す）。
【００１５】
Ｓ’n（ｔm）＝Ｓn（ｔm）×（１＋Ｋn×Ｇn）                （３）
ステップ１４において、アルゴリズムの全体のゲインを調整するためのゲイン修正子定数（Ｋn）が導入される。この実施例では、すべてのｎに対してＫn＝２である。いずれのチャネルのエンベロープ信号においても殆ど変化が無い期間では、ゲイン係数（Ｇn）はゼロに等しく、従って、Ｓ’n（ｔm）＝Ｓn（ｔm）となるのに対して、急激な変化が起こる期間では、Ｇnは０から２までの範囲となり、従って、全体では０乃至１４ｄＢのゲインが印加される。ゲインはエンベロープ信号の中間点で印加されるから、過渡エンファシス・アルゴリズムの入力から出力までの時間に約３０ｍｓの総合的遅延が導入される。ステップ１５において、修正されたエンベロープ信号Ｓ’n（ｔ）が、フィルタ・バンクからとり出された元のエンベロープ信号Ｓn（ｔ）に取って代わり、以下、ＳＭＳＰストラテジーにより処理が進められる。ＳＭＳＰストラテジーによって、ステップ１６では、所与の時点において最大の振幅を有するＳ’n（ｔ）のＮ個のチャネルのうちのＭ個を選択する（典型的にはＭ＝６）。これは規則正しいタイムインターバルで、即ち、過渡エンファシス・ストラテジーでは通常２．５ｍｓ間隔で行われる。次いで、Ｍ個の選択されたチャネルを利用して、これらＭ個の選択されたチャネルの振幅および周波数に対応する刺激強度および電極番号のＭ個の電気的刺激１７を発生させる（ＳＭＳＰストラテジーにより）。これらＭ個の刺激を、無線周波リンク１８を介して移植蝸牛刺激装置１９に伝送し、この刺激を利用して対応するＭ個の対応する電極場所を活性化する。
【００１６】
過渡エンファシス・アルゴリズムはスペクトラル・マキシマの選択よりも前に適用されるから、(a)常態では音声処理システムの、マップされている閾値レベル以下に低下するか、（ｂ）または、振幅が比較的大きい定常状態の信号を含むチャネルが存在するためＳＭＳＰストラテジーでは選択されない、低い強度の短期間の信号を含むチャネルであっても、増幅されることで選択される大きいチャンスが与えられる。
【００１７】
音声信号のコード化についてのストラテジーの効果を説明するため、チャネルごとの刺激強度を時間の関数としてプロットしたエレクトロドグラム（音信号に対するスペクトログラムに相当）として知られる刺激出力パターンがＳＭＳＰおよびＴＥＳＭストラテジーに対して記録されたものを、それぞれ図２および３に示す。これらの記録に提示されている音声語句は“god”であり、女性によって発声されたものである。ＴＥＳＭストラテジーの効果はイニシアル・ストップ“ｇ”におけるノイズ・バースト・エネルギーを表す刺激強度および電極数に認められる（点Ａ）。母音“o”におけるフォルマント・エネルギーの始まりもやや強調されている（点Ｂ）。極めて重要な効果として、母音“o”からファイナル・ストップ“ｄ”への第２フォルマント遷移を表す刺激も、ファイナル・ストップ“ｄ”におけるノイズ・バースト・エネルギーをコード化する刺激（点Ｄ）と同様に高い強度を示している（点Ｃ）。
〔付記Ａ：ＴＥＳＭゲイン係数〕
ゆっくり変動するエンベロープ信号に関して各チャネルごとにゲイン係数（Ｇ）１２についての関数を求めるため、下記の判定基準を採用した。第１に、ゲイン係数はゆっくり変動するエンベロープ信号の２次導関数と相関関係にあるべきである。２次導関数はゆっくり変動するエンベロープ信号におけるピークでは最大の負（谷では最大の正）となるから、これは無視する：方程式（Ａ１）。
【００１８】
Ｇ∝２×Ｅc−Ｅp−Ｅf                                    （Ａ１）
第２に、“逆方向（backward）”グラディエント（即ち、Ｅc−Ｅp）が正ではあるが小さい場合、Ｅfが小さければ（即ち、長期間信号に対するエンベロープ・エネルギーの休止（オフセット）の場合）、方程式（Ａ１）で表されるようなかなりのゲインが得られる。この影響は望ましいものではなく、逆方向グラディエントが小さい場合それをゼロ近くまたはそれ以下に（即ち、負に）低下させることによって最小にすることができる。但し、逆方向グラジエントが大きい場合、方程式（Ａ１）は維持すべきである。簡単な解決法はＥpを２でスケーリングすることである。‘修正された’２次導関数は方程式（Ａ２）で表される。ＥpがＥcに近づくにつれて、Ｇは方程式（Ａ１）の場合のようにＥc−Ｅfにではなく、−Ｅfに近づくから、ゲイン係数は小さい、または負の値に近づく。但し、Ｅp＜＜Ｅcなら、Ｇは方程式（Ａ１）の場合の限定的な状態と全く同様に２×Ｅc−Ｅfに近づく。
【００１９】
Ｇ∝２×Ｅc−２×Ｅp−Ｅf                                （Ａ２）
第３に、ゆっくり変動するエンベロープ信号での絶対値の差ではなく相対的な差に基づいてゲインを提供することに注目するものであり、従って、方程式（Ａ３）によって、ゆっくり変動するエンベロープ信号の平均レベルに対してゲイン係数を正規化しなければならない。方程式（Ａ３）における分子は方程式（Ａ２）に規定されている線形ゲイン係数を０乃至２の範囲に圧縮する。これにより、ゲイン係数は修正された２次導関数に比例し、ゆっくり変動するエンベロープ・チャネル信号の平均レベルに反比例することになる。
【００２０】
Ｇ＝（２×Ｅc−２×Ｅp−Ｅf）/（Ｅc＋Ｅp＋Ｅf）        （Ａ３）
最後に、方程式（Ａ３）で与えられるゲイン係数は、Ｅc＜Ｅp＋Ｅf/２ならゼロ以下に低下する。そこで、ゲインが常にゼロ以上となるように、Ｇnに方程式（Ａ４）の条件を課する。
【００２１】
（Ｇ＜０）なら、Ｇ＝０                                    （Ａ４）
ゲイン係数に対する限定的な場合を分析することによって、ゆっくり変動するエンベロープ信号の関数としてゲイン係数の動向を記述するのに使用することができる。ＥpがＥcよりもはるかに小さい場合（即ち、エンベロープ信号における急激な立上りの期間）、方程式（Ａ３）は下記のように簡略化される：
Ｇ＝（２×Ｅc-Ｅf）/（Ｅc＋Ｅf）                        （Ａ５）
この場合、ＥfがＥcよりも大きく、２×Ｅcに近ずけば（即ち、ゆっくり変動するエンベロープ信号における定常的な立上りの期間）、Ｇはゼロに近くなる。ＥfがＥcと同程度なら（即ち、長期間信号における立上り期間の終わり）、Ｇはほぼ０．５となる。ＥfがＥcよりもやや小さければ（即ち、エンベロープ信号における短期間ピークの場合と同様に、直後に急激な立下りが来る急激な立上りの頂点において）Ｇがその最大値である２に近づく。
【００２２】
ＥfがＥcよりもはるかに小さい場合、方程式（Ａ３）は下記のように簡略化される：
Ｇ＝（２×Ｅc-２×Ｅp）/（Ｅc＋Ｅp）                    （Ａ６）
この場合、もしＥcがＥpと同程度なら（即ち、長期間信号に対するエンベロープの休止/オフセット）、Ｇはゼロに近づく。ＥcがＥpよりもはるかに大きければ（即ち、エンベロープでのピークにおいて）、Ｇは最大ゲイン２に近づく。
【００２３】
音声信号の処理に際しては、強度をログ（ｄＢ）目盛で表すのが普通である。これにより、ゆっくり変動するエンベロープ信号のログ（log）の大きさのグラディエントとの関連で、印加されたゲイン係数を見ることができて便利である。方程式（Ａ３）はゆっくり変動するエンベロープ信号の推定値の比で表すことができる。逆方向（backward）の大きさの比をＲb＝Ｅc/Ｅp、順方向（forward）の大きさの比をＲf＝Ｅf/Ｅcと定義すれば、方程式（Ａ７）が得られる。
【００２４】
Ｇ＝（２×Ｒb-２−Ｒb×Ｒf）/（Ｒb＋１＋Ｒb×Ｒf）      （Ａ７）
順方向および逆方向の大きさの比は、ログの大きさのグラディエントと等価であり、ログの大きさの項間の差、即ち、それぞれＦg=ｌｏｇ（Ｅf）-ｌｏｇ（Ｅc）およびＢg=ｌｏｇ（Ｅc）−ｌｏｇ（Ｅp）で表すことができる。ゲイン係数と順方向および逆方向のログの大きさのグラディエントとの関係を図４に示す。線形ゲインを縦軸に、逆方向のログの大きさのグラディエント（ｄＢでの）を横軸に示してある。ゲイン係数を、各曲線における順方向のログの大きさのグラディエントの異なるレベルに対してプロットした。どの順方向のログの大きさのグラディエントの値においても、逆方向のログの大きさのグラディエントが約４０ｄＢの時、ゲイン係数がある最大値に達する。この最大レベルは順方向のログの大きさのグラディエントのレベルに応じて異なる。点線で示すように、順方向のログの大きさのグラディエントが０ｄＢである場合(即ち、Ｅf＝Ｅcである長期間信号の立上り期間の終わりにおいて)、最大ゲインは０．５となる。順方向のログの大きさのグラディエントが破線で示すように非常に急勾配という限定的な場合(エンベロープ信号における急激な立下り、即ち、Ｅf＜＜Ｅc)、最大ゲインは２．０となる。順方向のログの大きさのグラディエントに対する限界は、そのグラディエントが約−４０ｄＢであるときに到達する。
【図面の簡単な説明】
【図１】  本発明により音信号に適用される信号処理を略示する図である。
【図２】  本発明の効果を示すための音信号の比較エレクトロドグラムである。
【図３】  本発明の効果を示すための音信号の比較エレクトロドグラムである。
【図４】  ゲイン係数と順方向および逆方向のログの大きさのグラディエントとの関係を示す図である。
【図１】
0004737906.tif 000002
【図２】
0004737906.tif 000003
【図３】
0004737906.tif 000004
【図４】
0004737906.tif 000005