(57)【要約】本発明の音声処理装置および音声処理方法では、提示された音声信号が音声励起される正常な蝸牛内に発生させるであろうと予測される運動に基づいて刺激を選択する基底膜運動モデルを利用している。使用するフィルタは、１つの電極にチャネル１つだけというアプローチとは異なり、複数のチャネルをカバーすると同時に互いに重複している。したがって提示された刺激は、音声励起される正常な蝸牛内の基底膜において観察される空間および時間進行波に近い神経興奮パターンを発生させる。好適には電極に与える刺激は、電極位置において予測される瞬間的振幅に基づく。
2004500788.tif 000002
【特許請求の範囲】
【請求項１】
人工聴覚器官のための電気的刺激を発生させるのに用いる音声信号を処理するため、所定の命令群に従って音声信号を処理して埋め込まれた電極アレイのための刺激命令群を発生させるステップを含む方法において、
前記所定の命令群は刺激命令群を発生させ、該刺激命令群は、前記電極アレイによって提示されることにより、前記音声信号によって刺激されたときに音声励起される正常な蝸牛内の基底膜において観察される進行波に付随した空間および時間上のパターンに近い神経興奮パターンを発生させることを特徴とする方法。
【請求項２】
前記所定の命令群が、各電極位置に付随する周波数のみには限定されない重複する広いフィルタを用いて、各電極の位置における進行波の振幅変化を計算し、該フィルタは、正常な蝸牛内における進行音波の振幅のエンベロープ、または正常な蝸牛内の心理物理学的チューニング曲線の形のいずれか一方に基づいた形を有する請求項１に記載の方法。
【請求項３】
前記音声信号をサンプリングしてデータ・サンプルを発生させるステップと、
上記データ・サンプルのための複素数フーリエ変換係数からなるベクトルを導出するステップと、
前記係数のベクトルに、正常な蝸牛内のアブミ骨における振幅と位相に対応する、蝸牛内の電極の位置におけるフーリエ周波数成分の振幅と位相を表わす複素数の行列を乗じて出力ベクトルを発生させるステップと；
この出力ベクトルの値を刺激命令群に変換するステップとを含む請求項２に記載の方法。
【請求項４】
音声励起される正常な蝸牛内でアブミ骨から各電極位置まで音声信号が伝播するのに要する時間を考慮して前記フィルタの個々の遅延時間を調節する請求項２に記載の方法。
【請求項５】
前記所定の命令群は基底膜運動モデル部を含み、該モデル部におけるステップは、音声信号による刺激を受けたとき、音声励起される正常な蝸牛内の各電極位置におけるその音声の位相と振幅を決定することを含む請求項１に記載の方法。
【請求項６】
前記所定の命令群は内有毛細胞モデル部を含み、該モデル部におけるステップは、音声信号による刺激を受けたとき、音声励起される正常な蝸牛内の各電極位置における神経興奮レベルを計算することを含む請求項５に記載の方法。
【請求項７】
前記モデル部が半波整流器である、請求項６に記載の方法。
【請求項８】
前記所定の命令群は外有毛細胞モデル部を含み、提示された刺激命令群が基底膜の応答に対して及ぼす効果を前記基底膜モデル部にフィードバックする請求項５に記載の方法。
【請求項９】
前記刺激命令群は、各電極位置における波形の瞬間的振幅に基づいている請求項１に記載の方法。
【請求項１０】
前記刺激命令群は、ある電極位置において計算された進行波が局所的最大値に達したときにその電極上に刺激を供給する請求項９に記載の方法。
【請求項１１】
２つ以上の電極位置において計算された進行波が同時に局所的最大値に達した場合、より大きな振幅を有する電極が最初に励起される請求項１０に記載の方法。
【請求項１２】
前記所定の命令群は、利用者が音声または音楽の認知を向上させるための経験による特別な変更命令をさらに含む請求項１に記載の方法。
【請求項１３】
移植蝸牛刺激装置システムで使用され、音声信号を受け取り、その信号を所定の命令群に従って処理し、埋め込まれた電極アレイに刺激命令を与える音声処理装置において、前記所定の命令群が刺激命令群を発生させ、この刺激命令群は、前記電極アレイによって提示されることにより、前記音声信号によって刺激されたときに音声励起される正常な蝸牛内の基底膜において観察される進行波に付随する空間および時間上のパターンに近い神経興奮パターンを発生させることを特徴とする音声処理装置。
【請求項１４】
前記所定の命令群が、各電極位置に付随する周波数のみには限定されない重複する広いフィルタを用いて各電極の位置における進行波の振幅変化を計算し、該フィルタは、正常な蝸牛内における進行音波の振幅のエンベロープ、または正常な蝸牛内の心理物理学的チューニング曲線の形のいずれか一方に基づいた形を有する請求項１３に記載の音声処理装置。
【請求項１５】
前記所定の命令群は、前記音声信号をサンプリングしてデータ・サンプルを発生させ、該データ・サンプルのための複素数フーリエ変換係数からなるベクトルを導出し、該係数からなる該ベクトルに、正常な蝸牛内のアブミ骨における振幅および位相に対応する、蝸牛内の電極の位置におけるフーリエ周波数成分の振幅および位相を表わす複素数行列を乗じて出力行列を発生させ、該出力ベクトルの値を刺激命令群に変換する請求項１４に記載の音声処理装置。
【請求項１６】
音声励起される正常な蝸牛内でアブミ骨から各電極位置まで音声信号が伝播するのに要する時間を考慮して前記フィルタの個々の遅延時間を調節する請求項９に記載の音声処理装置。
【請求項１７】
前記所定の命令群は基底膜運動モデル部を含み、該モデル部は、音声信号による刺激を受けたとき、音声励起される正常な蝸牛内の各電極位置におけるその音声の位相と振幅を決定することが含まれる請求項１３に記載の音声処理装置。
【請求項１８】
前記所定の命令群は内有毛細胞モデル部を含み、該モデル部は、音声信号による刺激を受けたとき、音声励起される正常な蝸牛内の各電極位置における神経興奮レベルを計算する請求項１７に記載の音声処理装置。
【請求項１９】
前記モデル部は半波整流器である請求項１８に記載の音声処理装置。
【請求項２０】
前記所定の命令群は外有毛細胞モデル部を含み、提示された刺激命令群が基底膜の応答に対して及ぼす効果を前記基底膜モデル部にフィードバックする請求項１７に記載の音声処理装置。
【請求項２１】
前記刺激命令群は、各電極位置における波形の瞬間的振幅に基づく請求項１３に記載の音声処理装置。
【請求項２２】
前記刺激命令群は、ある電極位置において計算された進行波が局所的最大値に達したときにその電極上に刺激を供給する請求項２１に記載の音声処理装置。
【請求項２３】
前記所定の命令群は、利用者が音声または音楽の認知を向上させるための経験による特別な変更命令をさらに含む請求項１３に記載の音声処理装置。
【請求項２４】
前記刺激命令群は、ある電極位置において計算された進行波が局所的最大値に達したときにその電極上に刺激を供給する請求項１３に記載の音声処理装置。
【請求項２５】
２つ以上の電極位置において計算された進行波が同時に局所的最大値に達した場合、より大きな振幅を有する電極が最初に励起される請求項１４に記載の音声処理装置。
【発明の詳細な説明】
【０００１】
〔技術分野〕
本発明は、移植蝸牛刺激装置と、移植蝸牛刺激装置に関する音声処理装置ならびに音声処理方法に関する。
【０００２】
〔背景となる技術〕
聴覚が正常である場合、音声は機械的振動を引き起こして蝸牛の有毛細胞を刺激し、電気パルスを発生させる。その電気パルスは聴覚神経を伝わり、脳で音声として認識される。重度の難聴である人のように、もし何らかの理由で有毛細胞が破壊されたり蝸牛内に存在していなかったりすると、神経細胞はこの電気的な刺激を受け取ることがないため、音声がまったく認識されない。移植蝸牛刺激装置は、残存している聴覚神経に人工的な電気的刺激を与えることによってこの失われた機能を代替しようとするものである。移植蝸牛刺激装置は、長年にわたって臨床で用いられてきた。この装置は、埋め込まれた複数の電極アレイを用いて蝸牛に電気的刺激を与えるものである。電気的刺激を決めているのは、利用者の環境にある音声信号に応答する処理装置である。
【０００３】
歴史的には、１９９４年頃よりも前には、移植蝸牛刺激装置と合わせて使用される大多数の音声処理装置は、特徴抽出法と言われうる音声処理法を利用していた。この方法では、付随する人工器官のハードウエアが、検出した音声信号の中に存在している音声の特徴を同定し、そうした特徴を電気的刺激のパターンとしてコード化することを試みている。特徴抽出法の利点は、特徴抽出を実行するのに必要なハードウエアが比較的単純で、比較的少ない電力しか消費しないことである。
【０００４】
シリコン・チップ技術が向上し、電気的刺激の安全性に関する知識が増大するのに伴い、音声処理への新しいアプローチが可能になった。このアプローチでは、予想される型に信号をあてはめるハードウエアを使う必要がなく、音声信号のスペクトル情報全体を提供できたため、患者は、興味のある特定の情報を背景となる雑音の中で聴くことができた。そのため、音声処理に関してより実際的なアプローチができた。このような音声処理装置では、帯域通過フィルタを利用して音声信号を周波数帯またはスペクトル成分に分割し、帯域間の重なりがほとんどなくなるようにしている。電極は、これらの帯域におけるエネルギーに応じてトノトピック（ｔｏｎｏｔｏｐｉｃ）な方式で刺激される。通常は、音声処理装置は、それぞれの帯域からの滑らかにされた（低域通過フィルタを通過した）振幅を１つの電極に対して提示する。
【０００５】
既存のそれぞれの方法でかなりの実際的な成功があったにもかかわらず、既存の装置を利用した人の感想は、かなり大きな問題があるというものである。移植蝸牛刺激装置の利用者が報告している音声認識の３つの基本的な問題は、周波数分解能、識別能がよくないこと、信号対雑音比が小さいときに雑音中では音声認識がよくできないこと、音楽の音がよく認識できないことである。
【０００６】
本発明の１つの目的は、移植蝸牛刺激装置システムの実際的な性能をさらに向上させるための新規な音声処理装置と音声処理方法を提供することである。
【０００７】
〔発明の要約〕
要するに、本発明は、移植蝸牛刺激装置での音声処理において利用されている従来の方法を根本的に変えるものである。本発明の処理装置では、音声情報を離散した複数の周波数帯またはチャネルに分離することを試みる代わりに、蝸牛の互いに重複した複数の広い領域を興奮させる電気的刺激パターンを発生させる。本発明のアプローチにより、聴覚が正常な人が音声を聞いているときの聴覚組織の挙動をよりよく近似できると考えられる。現在の処理装置は、音声信号の各成分の周波数に基づいた局在した刺激を発生させている。それとは逆に、本発明では、聴覚が正常な人において音声刺激への応答として基底膜が運動することによって誘起される空間および時間上の神経興奮パターンを近似しようとする。本発明では、単なる局在した刺激ではなく、蝸牛内電極アレイの長さ方向に沿って空間と時間上のパターンを有する刺激を発生させることを試みる。
【０００８】
本発明の第１の態様によれば、本発明は人工聴覚器官用の電気的刺激を発生させるために神経興奮パターンを発生させるにあたって、音声によって興奮した正常な蝸牛内の基底膜で観察される進行波に付随する空間と時間上のパターンに近いものを発生させるという音声信号処理方法にある。
【０００９】
本発明の別の態様によれば、本発明は、移植蝸牛刺激装置システムで使用するため、マイクロホンなどから音声信号を受け取り、その信号を所定の命令群に従って処理し、埋め込まれた電極アレイに刺激命令を与えるタイプの音声処理装置において、上記所定の命令群が、聴覚が正常な人の基底膜への音声信号に応答して誘起される空間および時間上の波形に近くなるようにした刺激命令を発生させることを特徴とする音声処理装置が提供する。
【００１０】
本発明のさらに別の態様によれば、本発明は、移植蝸牛刺激装置のための刺激命令を発生させるために音声信号を処理する方法であって、
データ・サンプル用の複素数フーリエ変換係数からなるベクトルを導出するステップと、
前記係数からなるベクトルに、正常な蝸牛内のアブミ骨における振幅と位相に対応する、蝸牛内の電極の位置におけるフーリエ周波数成分の振幅と位相を表わす複素数の行列を乗じて出力ベクトルを発生させるステップと；
この出力ベクトルの値を電極電流のレベルに変換するステップとを含む方法が提供される。
【００１１】
基底膜の応答による進行波の態様は、正常な聴取プロセスの研究において観察され、報告されている。しかしこの現象を移植蝸牛刺激装置のための刺激処理要素として利用する試みは、これまでになされたことがない。進行波は３次元パターンと見なすことができる。３つの次元とは、時間と、基底膜に沿った距離と、基底膜の変位である。これらパターンにおいて重要であると考えられ（しかも、既存の処理装置の出力とは異な）る性質としては、３次元パターンの対角線状隆起構造、位置に応じて異なる特定の速度で蝸牛電極アレイ内を掃引する隆起パターンの動的な性質、パターンが時間と空間の両方で滑らかに変化するという性質、個々の電極上の刺激パターン相互の間で自然に発生する位相と振幅の関係が維持されることなどが挙げられる。
【００１２】
本発明の実施例を添付の図面を参照してさらに詳しく説明する。
【００１３】
〔詳細な説明〕
本発明を、出願人が使用したハードウエアの実施例を参照して説明する。このハードウエアでは、埋め込まれた受信／刺激ユニットと、外部の音声処理装置およびマイクロホンを使用した。しかし本発明は適用範囲が広く、十分に高度な任意の移植蝸牛刺激装置システムにおいて実現が可能である。特に本発明は、従来技術と比較して処理能力と柔軟性が増大した将来世代の移植蝸牛刺激装置において、より十分に、かつより細かい点まで実現することができよう。本発明は、完全に埋め込まれた装置において、あるいは現在のシステムと完全に埋め込まれた装置の中間段階の装置において実現することもできよう。
【００１４】
ここに説明する本発明が従来の移植蝸牛刺激装置コード方式と本質的に異なっているのは、複数の電極にまたがる重複情報の重要さを認識し、複雑な空間および時間上のパターンを発生させる点である。このパターンは、完全な蝸牛において通常発生する、異なる位置相互の間の振幅と位相の詳細な関係を少なくとも部分的に保持している。振幅と位相の間に存在するこの関係は、蝸牛に沿った位置の関数として滑らかに変化しており、音の“進行波”を発生させる（ｖｏｎ Ｂｅｋｅｓｙ、１９６１年）。進行波処理装置は、音声情報を離散した複数の周波数帯またはチャネルに分割することを試みる代わりに、蝸牛の互いに重複した複数の広い領域を励起させる電気的刺激パターンを発生させる。一例として図１は、本発明の進行波処理装置が純音入力信号に応答して発生させた励起パターンを示している。この図のそれぞれの線は、時間軸のある瞬間における励起関数の形を示している。横軸は、蝸牛に沿って左側の基底端（高周波数）から右側の頂部端（低周波数）に向かうときの位置を示している。
【００１５】
これとは対照的に、現在用いられている任意の移植蝸牛刺激装置コード化方式で処理した後に同じ純音入力信号によって発生する励起パターンは、蝸牛内の１ヶ所に局在し、図１と同様の図面においてページから垂直に立ち上がる狭い隆起として表現されることになろう。いくつかの移植蝸牛刺激装置コード化方式では、垂直隆起の振幅は、頻度とレベルが固定された電気パルス（ＡＣＥ、ＳＰＥＡＫ）、または入力される（低周波数の）音の周波数と同じ周波数で変調された電気パルス（Ｆ０Ｆ２、Ｆ０Ｆ１Ｆ２、ＭＰＥＡＫ、ＣＩＳ、ＳＡＳ）によって表現できよう。後者の場合、励起パターンは、パターンの振幅が最大になる点において図１のパターンから採取した実質的に垂直なスライス部分である。
【００１６】
脳の聴覚経路は、図１に示したような３次元（位置×時間×振幅）励起パターンの特徴を認識するように設計された特別な認識メカニズムを備えていると考えられている。視覚系と触覚系は、ストライプと隆起の方向および間隔を検出する特別な神経メカニズムを備えていることが知られている。聴覚系でも同様のプログラムがなされていて、図１に示したのと同様のパターンの対角線状隆起群を認識できる可能性がある。（従来のあらゆる移植蝸牛刺激装置コード化方式におけるのと同様に）不完全なパターンが蝸牛に提示された場合には、上記の認識メカニズムが関与するだろうが、完全なパターンが提示された場合ほど効果的には動作しないであろう。完全な３次元パターンが提示されることにより、移植蝸牛刺激装置の利用者が音声をよりよく認識し、従来のあらゆる移植蝸牛刺激装置システムに共通する問題を解決または低減することができると考えられる。聴覚が正常な人と比べると、人工内耳の利用者にとっての問題として、周波数識別能、分解能がよくないこと、背景の雑音中での音声認識がよくできないこと、処理された音楽の音の質がよくないことなどが挙げられる。
【００１７】
刺激を３次元パターンとして見た場合、いくつかの帰結がよりはっきりとする。
ａ）１つのパターン全体のほうが、パターンの一部よりも多くの情報を含んでいるので認識しやすい。この特徴は、同じ音源から複数の音声成分をグループ化するのにも重要である。単一の音源から発生する励起パターンの時間および空間上の干渉性（ｃｏｈｅｒｅｎｃｅ）の一部は、信号が帯域通過フィルタを通過して別々の成分にされ、それら成分が互いに独立にコード化されるときに失われる。逆に、異なる音源からの音声は、それぞれの音声が多数の独立な成分ではなく、１つの完全なパターンを生み出すのであれば、分離することがより容易であろう。多数の成分があると、認識メカニズムによって統合する必要があり、音源の数がわからなくなる。背景となる雑音中の音声という特別な場合には、音声と雑音の両方が完全な３次元励起パターンを発生させるため、認識メカニズムはこの情報を利用して、組み合わされたパターンの成分をより容易に雑音または音声に割り当てることができる。
【００１８】
ｂ）動的パターンは、静的パターンよりも認識しやすい。指を物体と接触して静止させるよりも物体の表面を動かす方が、触覚系は、物体のテクスチャ、形状、端部に関するより多くの情報を提供することがよく知られている。同様に、３次元聴覚励起パターンにおける隆起同士の間隔は、蝸牛に沿って隆起を掃引することによって認識度が向上する可能性がある。同様に、音声の開始および重ね合わせは３次元パターン中の縁部に対応し、これらは、蝸牛のいろいろな部分において異なる振幅で出現した後に消失するのではなく、蝸牛に沿って移動する場合に、よりはっきりと認識できる可能性がある。したがって、動的パターンを提示することにより、周波数の識別能と分解能を向上させ、複雑なスペクトルを有する音声の開始と重ね合わせを認識できる可能性がある。
【００１９】
ｃ）パターンが滑らかかつ規則的に変化していることが知られている場合には、抜けている区間を内挿すること、あるいは埋めることが可能である。例えば、柵でできた塀に沿って歩いているとき、ある一瞬、その塀によって景色のほとんどが見えなくなったとしても、その塀の反対側に何があるかを“見る”ことができる。というのも、視覚系は、別々の瞬間に見た複数の部分から連続的な画像を再構成することができるからである。雑音によって不明瞭になった音声信号の場合には、滑らかに変化する規則的な音声パターンの部分は、雑音中に時間とスペクトルのギャップがあれば認識することができるため、同様の方法で再構成できる可能性がある。しかし音声パターンと雑音パターンが位置に関して滑らかに変化していない場合には、この再構成がはるかに難しくなる。信号対雑音比がゼロに近い場合に人工内耳の利用者が雑音中の音声を認識できないという事実は、このことで説明できる可能性がある。進行波処理装置を用いると、振幅のより小さい音声信号がより大きな雑音のために一部不明瞭になっている場合でさえ、雑音中に時間とスペクトルのギャップがいくつかあれば、その音声信号を再構成することができる。
【００２０】
ｄ）調和関係にある複数の成分を有する複合音は、音声パターンが重複する領域に、特徴のある３次元パターンを発生させる。この特徴は、非調和複合音には存在していない。既存の移植蝸牛刺激装置用音声処理装置が発生させる励起パターンにもこの特徴は存在していない。というのも、既存の装置が１オクターブ以上離れた個々の音に対して重複パターンを発生させることはないからである。例えば、図２は、２００Ｈｚと６００Ｈｚという２つの音に対する励起パターンを示している。重複領域では、第３の対角方向の隆起はすべて他の隆起より大きくなっている。これは、２つの励起パターンが発展的な加算をされるためである。図３は、重複領域で２つのパターンが非規則的に加算される非調和な組み合わせを示している。
【００２１】
聴覚が正常な人における進行波は存在が知られており、学術文献で議論されている。しかしこれら文献は、本発明の発明者が知るかぎり、移植蝸牛刺激装置または補聴器の設計にほとんど影響を与えなかった。その１つの理由は、サイン波信号に対する蝸牛の周波数応答はピークが非常に大きいため、人工内耳や補聴器の設計者が周波数応答曲線の低周波数側の裾野を無視することにしたためである。既存の最も近い技術は、入力信号のスペクトル特性を帯域通過フィルタで測定し、個々の電極で刺激することによってその入力信号を表わすという移植蝸牛刺激装置用音声コード化方式である。
【００２２】
本発明の好ましい実施例では、ディジタル化された入力信号から進行波励起パターンを近似する計算を行なうのに、ディジタル信号処理装置を用いる。進行波のパターンは、本質的に、蝸牛の基底膜上の各点の変位を時間と位置の関数として示したものである。この実施例は、基底膜の力学に関する理論モデルに基づいているのではなく、聴覚が正常な人から得られた公表されている実験データに直接基づいている。またこの実施例は、リアルタイムでの実現が可能となるよう、また移植蝸牛刺激装置の個々の利用者がフィッティング手順を簡単に行なえるよう、単純化してある。
【００２３】
本発明のシステムの一実施例を図４に示す。このシステムの要素は以下に示す通りである。
１．音声入力信号を電気信号に変換するためのマイクロホン１１。
２．上記電気信号のレベルを増幅し制御するための前段増幅器／自動利得制御装置１２。
３．上記電気信号を一連のディジタル・サンプルに変換するためのアナログ−ディジタル（ＡＤ）変換器１３。
４．進行波のパターンを計算し、それを電気的刺激パターンに変換するためのディジタル信号処理装置１４。
５．患者ごとのパラメータ、上記処理装置のプログラム、進行波のパターンを計算する際の途中結果を記憶させるためのプログラム可能なメモリ１５。
６．移植蝸牛刺激装置を制御し、上記電気的刺激をこの移植蝸牛刺激装置を装着した人に送るための出力信号発生器１６。
【００２４】
本発明のより単純なバージョン、特にディジタル信号処理装置をより簡単にしたバージョンを図５に示す。この場合には、本発明のポイントは、４つの主要部からなるシステムにある。４つの主要部とは、音声信号を入力として受け取り、各電極の位置で基底膜の変位または速度を計算する基底膜運動モデル部、基底膜運動モデル部から受け取った情報に基づいて各電極の位置で神経の興奮量を計算する内有毛細胞モデル部、内有毛細胞モデル部で計算した神経の興奮量と、そのような興奮が基底膜運動モデル部に及ぼすであろう効果とを考慮したフィードバック経路を提供することで、神経の興奮量が基底膜運動モデル部の応答に影響を与える外有毛細胞モデル部、望ましい神経興奮パターンを提供するための電気的刺激パターンを計算する電気的コード化部品である。これら４つの要素のそれぞれについて以下に詳しく説明する。
【００２５】
〔基底膜運動モデル部〕
基底膜運動モデル部は、入力として音声信号を受信し、各電極の位置でその音声信号に関する基底膜の変位または速度を計算する。
【００２６】
基底膜運動モデル部の１つの考えうる実施例は、以下のステップからなり、該ステップは連続的に繰り返えされる。
１　入力音声信号を、互いに重複した短い複数のフレームに分割する。各フレームは、その音声信号の連続したＬ個のサンプルを含んでおり、列ベクトルＸ１として定義される。適切な長さはＬ＝１２８である。各フレームは前のフレームと大きく重なっており、新しいデータ点をＫ個含んでいる。適切な値はＫ＝１である。
【００２７】
２　１つの点ごとに、入力フレーム・ベクトルＸ１に窓ベクトル（ｗｉｎｄｏｗ ｖｅｃｔｏｒ）Ｗを乗じる。すると以下の式に従う長さＬの列ベクトルＸ２が得られる。
Ｘ２（ｎ）＝Ｘ１（ｎ）×Ｗ（ｎ）　ｎは０からＬ−１。
適切な窓関数はハン関数であり、次のように定義される。
Ｗ（ｎ）＝０．５×（１−ｃｏｓ（２×ｎ×π／Ｌ））　ｎは０からＬ−１。
【００２８】
３　列ベクトルＸ２のＬ点高速フーリエ変換（ＦＦＴ）を計算する。その結果、長さＬの複素数の列ベクトルＸ３が得られる。Ｘ２は実数であり、Ｘ３はエルミート対称性を有するため、最後のＬ／２個のサンプルは捨てることができる（あるいは計算しない）。最初のＬ／２個のサンプルからは実数部分だけが必要とされ、虚数部分は捨てる（あるいは計算しない）。出力は、長さがＬ／２の実数の列ベクトルＸ４である。
【００２９】
４　列ベクトルＸ４に長方形をした重み行列Ｇを以下の式に従って乗じる。
Ｘ５＝Ｇ×Ｘ４。
重み行列ＧはＮ行Ｌ／２列である。出力は、長さがＮの列ベクトルＸ５である。ここにＮはチャネル数である。重み行列Ｇは、各チャネルの周波数応答の大きさを決定している。この重み行列について、以下にさらに詳しく説明する。
【００３０】
５　各チャネルを、以下の式に従い、長さがＮの列ベクトルＤで指定される遅延時間だけ遅延させる。
Ｘ６（ｋ， ｔ）＝Ｘ５（ｋ， ｔ−Ｄ（ｋ））　ｋは１からＮ。
２２チャネルある処理装置の典型的な遅延時間を図７に示す。遅延時間は、チャネル１（基底チャネル）のゼロからチャネル２２（頂部チャネル）の８ミリ秒まで変化している。
【００３１】
出力は、長さがＮの列ベクトルＸ６である。この列ベクトルの各成分が、基底膜運動モデル部の１つのチャネルのサンプルである。
【００３２】
行列Ｗの各行は、アブミ骨における振幅と位相（蝸牛への入力）に対応する、蝸牛内の１つの電極位置におけるＦＦＴ周波数成分の振幅と位相を表わす。位相差は、進行波がアブミ骨から電極の位置まで伝播するのに要する時間の２π倍にＦＦＴ成分の周波数を乗じた値に等しい。アブミ骨と電極位置の間の振幅の差は、電極位置において基底膜が純音に対してＦＦＴ成分（または、電極位置における神経細胞のチューニング曲線）の周波数で応答するときの応答量に比例している。各電極位置における振幅係数は、個々の電極位置における特性周波数に最も近いＦＦＴ周波数に最大値を有するピーク型であり、この周波数よりも大きなＦＦＴ係数の振幅は、急速にゼロになる。
【００３３】
このシステムで遅延を実現するための別の方法は、ＦＦＴ窓を時間軸で各電極ごとに量を変えて後ろにずらすことである。このずれを進行波がアブミ骨から電極の位置まで伝播するのに要する時間に等しくすると、行列Ｗの係数はすべて実数になる（すなわちすべてのＦＦＴ成分について位相がゼロになる）。
【００３４】
重み行列Ｇは、以下のステップに従って計算することができる。
１．各チャネルの特性周波数は、蝸牛内の電極の位置に基づき、グリーンウッド（Ｇｒｅｅｎｗｏｏｄ）の式に従って決定される。蝸牛内の特定の位置にある電極が、グリーンウッドの式から予測されるよりも低い特性周波数で実際に神経細胞を刺激するという事実に合致するよう、これに対するさらなる補正を行なう必要がある（Ｂｌａｍｅｙ， ＰＪ、Ｄｏｏｌｅｙ， ＧＪ、Ｐａｒｉｓｉ， ＥＳ、Ｃｌａｒｋ， ＧＭ著、「音声および電気によって引き起こされる聴覚のピッチ比較」（Ｐｉｔｃｈ ｃｏｍｐａｒｉｓｏｎｓ ｏｆ ａ ｃｏｕｓｔｉｃａｌｌｙ ａｎｄ ｅｌｅｃｔｒｉｃａｌｌｙ ｅｖｏｋｅｄ ａｕｄｉｔｏｒｙ ｓｅｎｓａｔｉｏｎｓ）、Ｈｅａｒｉｎｇ Ｒｅｓｅａｒｃｈ、第９９巻、１３９〜１５０ページ、１９９６年；Ｊａｍｅｓ， Ｃ、Ｂｌａｍｅｙ， ＰＪ、Ｓｈａｌｌｏｐ， ＪＫ、Ｉｎｃｅｒｔｉ， ＰＶ、Ｎｉｃｏｌａｓ， ＡＭ著、「移植蝸牛刺激装置のない耳に残留聴覚を有する利用者における、身体の反対側のマスキング」（Ｃｏｎｔｒａｌａｔｅｒａｌ ｍａｓｋｉｎｇ ｉｎ ｃｏｃｈｌｅａｒ ｉｍｐｌａｎｔ ｕｓｅｒｓ ｗｉｔｈ ｒｅｓｉｄｕａｌ ｈｅａｒｉｎｇ ｉｎ ｔｈｅ ｎｏｎ−ｉｍｐｌａｎｔｅｄ ｅａｒ、Ａｕｄｉｏｌｏｇｙ ａｎｄ Ｎｅｕｒｏ−Ｏｔｏｌｏｇｙ、第６巻、８７〜９７ページ、２００１年）。この補正因子は、アブミ骨から電極までの実効距離が、２．６２５／１．８７５という因子だけ大きいことを意味している。また、以前に別の音声処理装置を利用したことがあり、特定の周波数−電極マップに慣れている人は、これらの周波数を用いることができる。特性周波数は、長さＮのベクトルＣに記憶させる。
【００３５】
２．各ＦＦＴビン（ＦＦＴ ｂｉｎ）の中心周波数を計算し、長さＬ／２のベクトルＢに記憶させる。
【００３６】
３．重み行列Ｇ（ｋ， ｂ）は、ＦＦＴビンｂの中心周波数におけるチャネルｋの利得を表わしており、以下の式で計算することができる。
もしＢ（ｂ）≦Ｃ（ｋ）であるならば、Ｇ（ｋ， ｂ）＝｛Ｂ（ｂ）／Ｃ（ｋ）｝＾Ｅとする。
それ以外の場合には、Ｇ（ｋ， ｂ）＝０とする。
ここに、“＾”という記号は“ベキ”を表わし、パラメータＥは利得指数と呼ばれる。Ｅの適切な値は１から５である。２２チャネルに対する特性周波数を適切に選択すると、利得指数Ｅ＝１の場合には、図６に示した大きさの応答が得られる。
【００３７】
各電極の位置における各ＦＦＴ成分の振幅は、行列Ｗの対応する成分の大きさによって表わされる。これら振幅を見積もるのに用いることができるのは、正常な聴覚を有する人における心理物理学的チューニング曲線（Ｚｗｉｃｋｅｒ， ＥとＴｅｒｈａｒｄｔ， Ｅ編、『聴覚における事実とモデル』（Ｆａｃｔ ａｎｄ ｍｏｄｅｌｓ ｉｎ ｈｅａｒｉｎｇ）の中のＺｗｉｃｋｅｒ， Ｅ著、「チューニング曲線の心理物理学的等価物について」（Ｏｎ ａ ｐｓｙｃｈｏｐｈｙｓｉｃａｌ ｅｑｕｉｖａｌｅｎｔ ｏｆ ｔｕｎｉｎｇ ｃｕｒｖｅｓ）、１３２〜１４１ページ、ベルリン、シュプリンガー・フェアラーク社、１９７４年）、あるいはツヴィッカー（Ｚｗｉｃｋｅｒ）のラウドネス・モデルにおける励起評価（Ｐｌｏｍｐ， ＲとＳｍｏｏｒｅｎｂｕｒｇ， ＧＦ編、『聴覚における周波数解析と周期性の検出』（Ｆｒｅｑｕｅｎｃｙ ａｎａｌｙｓｉｓ ａｎｄ ｐｅｒｉｏｄｉｃｉｔｙ ｄｅｔｅｃｔｉｏｎ ｉｎ ｈｅａｒｉｎｇ）の中のＺｗｉｃｋｅｒ， Ｅ著、「耳の周波数解析の結果としてのマスキングと心理学的興奮」（Ｍａｓｋｉｎｇ ａｎｄ ｐｓｙｃｈｏｌｏｇｉｃａｌ ｅｘｃｉｔａｔｉｏｎ ａｓ ｃｏｎｓｅｑｕｅｎｃｅｓ ｏｆ ｔｈｅ ｅａｒ’ｓ ｆｒｅｑｕｅｎｃｙ ａｎａｌｙｓｉｓ）、３７６〜３９６ページ、ライデン、ＡＷゼイトホフ社、１９７０年）、あるいはムーア（Ｍｏｏｒｅ）とグラスバーグ（Ｇｌａｓｂｕｒｇ）のラウドネス・モデル（Ｍｏｏｒｅ， ＢＣＪとＧｌａｓｂｕｒｇ， ＢＲ著、「蝸牛の障害による難聴に適用したラウドネス認知モデル」（Ａ ｍｏｄｅｌ ｏｆ ｌｅｕｄｎｅｓｓ ｐｅｒｃｅｐｔｉｏｎ ａｐｐｌｉｅｄ ｔｏ ｃｏｃｈｌｅａｒ ｈｅａｒｉｎｇ ｌｏｓｓ）、Ａｕｄｉｔｏｒｙ Ｎｅｕｒｏｓｃｉｅｎｃｅ、第３巻、２８９〜３１１ページ、１９９７年）における励起評価、あるいは個々の移植蝸牛刺激装置利用者にとって進行波処理装置が最適化されるようにした近似または経験関数である。
【００３８】
〔内有毛細胞モデル部（ｉｎｎｅｒ ｈａｉｒ ｃｅｌｌ ｍｏｄｅｌ）〕
内有毛細胞モデル部は、上記の基底膜運動モデル部によって計算された音声信号に関し、各電極の位置における基底膜の変位または速度に基づいて各電極位置での神経の興奮量を計算する。内有毛細胞モデル部の簡単な実施例は、半波整流器である。可能な他の実施例は、当業者には明らかであろう。半波整流は、正常な蝸牛内の有毛細胞の応答を真似ている。半波整流された進行波の各電極位置における振幅は、その電極上の電気パルスの電流レベル（または電荷、またはパルス幅）として表現される。振幅から電気的刺激パラメータへのこのマッピングは、従来の移植蝸牛刺激装置における変換とは異なっている。それは、数ミリ秒の時間窓にわたって平均されることで滑らかにされた振幅または強度を表わすのではなく、進行波の瞬間的な振幅を表わしているという点である。従来の処理装置は、瞬間的な振幅ではなく振幅のエンベロープをコード化しており、そうすることで信号そのものが有する時間情報の多くを失っている。瞬間的な振幅をコード化することは、進行波処理装置にとって特に重要である。というのも、エンベロープ情報をコード化すると、異なる周波数成分からの情報を単に消してしまうことになり、図１から図３に示した詳細な時間情報を提供することができなくなるからである。中でも３次元隆起は、空間次元と時間次元の両方ではるかに広がり、その動的特性を失うことになろう。
【００３９】
〔外有毛細胞モデル部（ｏｕｔｅｒ ｈａｉｒ ｃｅｌｌ ｍｏｄｅｌ）〕
外有毛細胞モデル部は、正常な聴覚を有する人の応答において観察される非線形性を真似ることを目的としている。これは、提示された神経興奮パターンと、そのようなパターンが基底膜運動モデル部に対して及ぼす効果とが基底膜運動モデル部で考慮されるよう、基底膜運動モデル部にフィードバック経路を与えることによって実現される。内有毛細胞モデル部の出力は、正常な聴覚を有する人に存在するであろう神経興奮パターンを想定したものである。小振幅音声信号に対する利得は大振幅音声信号に対する利得よりも大きいことが見いだされている。このユニットはオプションであり、簡単化した実施例では省略することができる。
【００４０】
〔電気的コード化部品〕
電気的コード化部品は、電気的刺激パターンを計算し、望む神経興奮パターンを提供することになる。電気的コード化部品にはいくつかの可能な実施例があり、従来技術の移植蝸牛刺激装置用処理装置で用いられているいくつかの部品は、本発明に従ってこの機能を実行するのに利用できる。各電極位置における波形の瞬間的振幅が、その電極上で電気パルスの電流レベル（または電荷、またはパルス幅）としてコード化されることに注意されたい。これは、従来技術システムにおいては波形の時間平均された振幅エンベロープがその電極上で電流レベルとしてコード化されることと大きく異なっている。要するに、変換は、各電極の以前の測定結果から導出される電流レベルに振幅を関係づける機能によって実現される。なお以前の測定結果は、メモリ１５に記憶させておくことができる。
【００４１】
本発明は、同時におこるおよび／または非同時の刺激を受け入れることが可能な人工内耳において利用できる。複数のチャネルを同時に刺激する人工内耳に本発明を適用する場合、個々の電極位置における進行波の振幅は、各電極上での（パルス状の刺激ではなくアナログの）同時に発生する電流によって表わされる。
【００４２】
複数のチャネルを順番に（非同時に）刺激する人工内耳に本発明を適用する場合には、電気的コード化部品は、図８に示したように２つの副部品に分割することができる。サンプル部品は、神経興奮パターンのサンプリングを行ない、各出力サンプルが電気パルスを１つ発生させるようにする。振幅変換部品は、電流レベルやパルス幅など、パルスの電気的パラメータを計算する。
【００４３】
サンプル部品の簡単な一実施例では、よく知られた連続的インターリーブ式サンプリング（ＣＩＳ）処理装置を採用する。神経興奮パターンを各チャネル上で一定速度で継続してサンプリングする。したがってサンプリング速度は各チャネルを刺激する速度と同じである。サンプルは、電気パルスが順番に出る（重複しない）よう、チャネル間で交互になるようにする。速度は、各チャネル上の神経興奮の時間波形が十分に表現されるよう、十分に大きくする必要がある。一般に、各チャネル上で１秒に１０００パルス以上にする必要がある。
【００４４】
標準的なＣＩＳ処理装置では、フィルタは、互いに重複せず、しかも比較的狭くなるように設計してあり、フィルタ出力の滑らかになったエンベロープをサンプリングしていることに注意されたい。逆に本発明では、互いに大きく重なった広いフィルタを用い、半波整流フィルタ出力の瞬間的振幅をサンプリングする。
【００４５】
ＣＩＳサンプラーのこの実施態様は、大きな刺激速度が必要であるという欠点を有する。本発明において新規な別の実施例は、時間間隔最大サンプラーと呼ばれる。このサンプラーは、必要とされる刺激速度を全体として小さくする。これは以下のステップが実行される。
１．神経興奮パターンを互いに重複しない複数の短い時間間隔に分割する。各時間間隔は、Ｎ列Ｔ行の行列Ｘで表現することができる。ここにＮはチャネルの数であり、Ｔは各時間間隔における神経興奮パターンの時間サンプルの数である。時間間隔の長さは、Ｍ個の電気パルスを出力するのに要する時間に等しい。なおＭはＮよりも小さい。
【００４６】
２．各時間間隔において、各チャネルの最大値を計算する。すなわち、行列Ｘの行を通じた最大値を計算する。出力はＮ列を有する列ベクトルＹであり、チャネル１つにつき１つ出力される。
【００４７】
３．列ベクトルＹ内のＮ個のサンプルの振幅を調べ、大きいほうからＭ個のサンプルを残す。これらＭ個のサンプルのそれぞれは、電気パルスを１つ発生させる。これらパルスは、次の時間間隔において出力される。
【００４８】
振幅マッピング部品は、従来技術の連続的インターリーブ式サンプリング（ＣＩＳ）処理装置で用いられているのと同じもの、またはスペクトル最大音声処理装置（ＳＭＳＰ）にすることができる。これでは以下のステップが実行される。
１．各サンプルの振幅をラウドネス増加関数として知られる非線形関数によって圧縮する。この関数は、一般に対数関数の形をしている。各出力Ｐは、電気的ダイナミック・レンジの割合を表わしている。
【００４９】
２．各電気パルスの電流レベルＬを、出力Ｐと、以前に測定した閾値Ｔと、（そのチャネルの）最大快適レベル（ｍａｘｉｍｕｍ ｃｏｍｆｏｒｔａｂｌｅ ｌｅｖｅｌ）Ｃをもとにして以下の式に従って計算する。
Ｌ＝Ｔ ＋ （Ｃ − Ｔ）×Ｐ
その後、刺激を与える電極を選択し、出力信号発生器１６に対して電気的刺激パルスを発生させるのに必要なデータを供給する。
【００５０】
本発明を実現するには、例えば進行波タイプの刺激を与えるのに回路に用いるなどのさまざまな方法があり、それらも本発明の範囲に含まれることが理解できよう。変形例や追加例も、この明細書に開示した本発明の一般的なアイディアに含めることができる。
【図面の簡単な説明】
【図１】周波数２００Ｈｚの純音に応答して発生する進行波の励起パターンを示すグラフである。
【図２】２００Ｈｚと６００Ｈｚの音に対する進行波の励起パターンを示すグラフである。
【図３】４７０Ｈｚと２００Ｈｚの音に対する進行波の励起パターンを示すグラフである。
【図４】本発明の一実施例の概略図である。
【図５】本発明の音声処理の一実施例のブロック図である。
【図６】２２チャネルあるフィルタバンクの典型的な周波数応答を示すグラフである。
【図７】２２チャネルのそれぞれの典型的な遅延時間を示すグラフである。
【図８】図５の電気的コード化部品の下部素子を示すブロック図である。
【図１】
2004500788.tif 000003
【図２】
2004500788.tif 000004
【図３】
2004500788.tif 000005
【図４】
2004500788.tif 000006
【図５】
2004500788.tif 000007
【図６】
2004500788.tif 000008
【図７】
2004500788.tif 000009
【図８】
2004500788.tif 000010
【国際公開パンフレット】
2004500788.tif 000011
2004500788.tif 000012
2004500788.tif 000013
2004500788.tif 000014
2004500788.tif 000015
2004500788.tif 000016
2004500788.tif 000017
2004500788.tif 000018
2004500788.tif 000019
2004500788.tif 000020
2004500788.tif 000021
2004500788.tif 000022
2004500788.tif 000023
2004500788.tif 000024
2004500788.tif 000025
2004500788.tif 000026
2004500788.tif 000027
2004500788.tif 000028
2004500788.tif 000029
2004500788.tif 000030
2004500788.tif 000031
2004500788.tif 000032
2004500788.tif 000033
2004500788.tif 000034
2004500788.tif 000035
2004500788.tif 000036
2004500788.tif 000037
2004500788.tif 000038
【国際調査報告】
2004500788.tif 000039
2004500788.tif 000040