(57)【要約】オーディオ信号を処理するためのシステム及び方法が、オーディオデバイスでの再生のために提供される。オーディオ信号は、バンドパスフィルタを使用して複数のサブバンド信号にスペクトル分解される。サブバンド信号のそれぞれは、それぞれの変調器に供給され、その後、変調器の出力から、第１のダイナミックレンジコンプレッサであるＤＲＣを含むそれぞれの第１の処理経路に供給される。各サブバンド信号は、それぞれの第１のＤＲＣによってフィードフォワード圧縮されて、フィードフォワード圧縮サブバンド信号が取得される。ここで、第１のＤＲＣは、瞬時ＤＲＣに対して遅くされている。続いて、各フィードフォワード圧縮サブバンド信号は、第２のＤＲＣを含む第２の処理経路に供給され、フィードフォワード圧縮サブバンド信号は、それぞれの第２のＤＲＣによって圧縮されて、それぞれの変調器に出力される。次に、サブバンド信号の変調が、第２の処理経路の出力に応じて実行される。最後に、フィードフォワード圧縮サブバンド信号が再結合される。【選択図】図４
2021529980.tif 000002
【特許請求の範囲】
【請求項１】
オーディオデバイスで再生するためのオーディオ信号を処理する方法であって、
バンドパスフィルタ（４０２、５０２）を使用して、前記オーディオ信号（５０１）の複数のサブバンド信号へのスペクトル分解を実行することと、
前記複数のサブバンド信号のサブバンド信号ごとに、
前記サブバンド信号を、それぞれの変調器（４０７）に供給し、前記変調器の出力から、前記サブバンド信号を、第１のダイナミックレンジコンプレッサであるＤＲＣ（４０４）を含むそれぞれの第１の処理経路に供給することと、
前記サブバンド信号を、それぞれの前記第１のＤＲＣ（４０４）によってフィードフォワード圧縮して、フィードフォワード圧縮サブバンド信号を取得することと、
第２のＤＲＣ（４０６）を含む第２の処理経路に前記フィードフォワード圧縮サブバンド信号を供給すること、前記フィードフォワード圧縮サブバンド信号を、それぞれの前記第２のＤＲＣ（４０６）によって圧縮すること、及び前記第２の処理経路の出力を、それぞれの前記変調器（４０７）に供給することであって、前記サブバンド信号を、それぞれの前記変調器（４０７）によって変調することが、前記第２の処理経路の前記出力に応じて実行される、前記フィードフォワード圧縮サブバンド信号を供給すること、前記第２のＤＲＣ（４０６）によって圧縮すること、及び前記変調器（４０７）に供給することと、
前記フィードフォワード圧縮サブバンド信号を再結合することと
を含み、
フィードフォワード圧縮することが、サブバンド信号ごとに、それぞれの前記第１のＤＲＣ（４０４）を瞬時ＤＲＣに対して遅くすることを含む、前記方法。
【請求項２】
未処理のオーディオ信号を、第１の信号経路（９０３、１００３）と第２の信号経路（９０２、１００２）とに分割することと、
前記第１の信号経路（９０２、１００２）内の前記オーディオ信号を、請求項１に記載の方法の全てのステップを適用することによって処理することと、
前記第１の信号経路及び前記第２の信号経路（９０２、９０３；１００２、１００３）の出力を比率（９１０、１００４）で再結合することと
を含む、請求項１に記載の方法。
【請求項３】
前記複数のサブバンド信号のサブバンド信号ごとに、
前記サブバンド信号を、第１の信号経路（１１０３）と第２の信号経路（１１０４）とに分割することと、
前記第１の信号経路（１１０３）内の前記サブバンド信号を処理することと、
前記第１の信号経路及び前記第２の信号経路（１１０３、１１０４）をある比率で再結合して、処理済みサブバンド信号を取得することと
を含み、
前記第１の信号経路（１１０３）内の前記サブバンド信号を処理することが、
前記サブバンド信号を、それぞれの前記変調器（４０７）に供給し、前記変調器の出力から、前記サブバンド信号を、前記第１のダイナミックレンジコンプレッサであるＤＲＣ（４０４）を含むそれぞれの前記第１の処理経路に供給することと、
前記サブバンド信号を、それぞれの前記第１のＤＲＣ（４０４）によってフィードフォワード圧縮して、前記フィードフォワード圧縮サブバンド信号を取得することと、
前記第２のＤＲＣ（４０６）を含む前記第２の処理経路に前記フィードフォワード圧縮サブバンド信号を供給すること、前記フィードフォワード圧縮サブバンド信号を、それぞれの前記第２のＤＲＣ（４０６）によって圧縮すること、及び前記第２の処理経路の前記出力を、それぞれの前記変調器（４０７）に供給することと
を含み、
前記サブバンド信号を変調することが、前記第２の処理経路の前記出力に応じて実行される、請求項１に記載の方法。
【請求項４】
前記比率（９１０）が、ユーザ定義の比率である、請求項２または請求項３に記載の方法。
【請求項５】
前記第２の信号経路（９０３；１１０４）は遅延を特徴としており、前記遅延信号は保護リミッタにかけられる、請求項２〜４のいずれか１項に記載の方法。
【請求項６】
６０Ｈｚ〜２００００Ｈｚの周波数のみが、前記第１の信号経路（９０２；１１０３）で処理される、請求項２〜５のいずれか１項に記載の方法。
【請求項７】
前記複数のサブバンド信号のサブバンド信号ごとに、
前記第２のＤＲＣ（１３１４）を含む前記第２の処理経路に前記フィードフォワード圧縮サブバンド信号を供給し、更に、隣接周波数帯域からの１つ以上のフィードフォワード圧縮サブバンド信号を、各フィードフォワード圧縮サブバンド信号がそれぞれの重み付け係数で重み付けされて、前記第２の処理経路に供給することと、
前記第２の処理経路内で、前記フィードフォワード圧縮サブバンド信号と、前記隣接周波数サブバンドからの前記重み付きフィードフォワード圧縮サブバンド信号とを、それぞれの前記第２のＤＲＣ（１３１４）によって圧縮することと
を含む、先行請求項のいずれか１項に記載の方法。
【請求項８】
サブバンド信号ごとに、それぞれの前記第２の処理経路の前記出力を遅延させることを更に含み、
任意選択で、サブバンド信号ごとに、それぞれの前記第２の処理経路の前記出力が、５ｍｓ〜２０ｍｓの間隔の遅延量だけ遅延させられている、先行請求項のいずれかに記載の方法。
【請求項９】
前記バンドパスフィルタ（４０２、５０２）が、前記周波数領域で動作する有限インパルス応答フィルタである、先行請求項のいずれかに記載の方法。
【請求項１０】
前記第１のＤＲＣを、前記瞬時ＤＲＣに対して遅くすることが、前記サブバンド信号をオーバサンプリングすることに関連している、先行請求項のいずれかに記載の方法。
【請求項１１】
前記サブバンド信号が、１２８〜５１２の範囲のオーバサンプリングレートＮによってオーバサンプリングされる、請求項１０に記載の方法。
【請求項１２】
前記オーバサンプリングすることは、前記サブバンド信号にｎ点ＦＦＴを適用することと、前記ＦＦＴ変換をｎ／Ｎサンプルだけオーバラップすることとを含み、Ｎはオーバサンプリングレートであり、ｎはＮよりも大きい、請求項１０または請求項１１に記載の方法。
【請求項１３】
前記第１のＤＲＣ（４０４）を、前記瞬時ＤＲＣに対して遅くすることは、前記第１のＤＲＣ（４０４）のアタック時定数及び／またはリリース時定数を増加させることに関連する、請求項１〜１２のいずれかに記載の方法。
【請求項１４】
前記第１のＤＲＣを、前記瞬時ＤＲＣに対して遅くすることは、０．０１ｍｓ〜３ｍｓに及ぶ範囲から選択される時定数τに基づいて、前記第１のＤＲＣ（４０４）のアタック時定数及び／またはリリース時定数を設定することに関連する、請求項１〜１３のいずれか１項に記載の方法。
【請求項１５】
前記第１のＤＲＣを、前記瞬時ＤＲＣに対して遅くすることは、それぞれの前記サブバンド内の周波数ｆに対応する時定数τに基づいて、前記第１のＤＲＣ（４０４）のアタック時定数及び／またはリリース時定数を設定することに関連する、請求項１〜１４のいずれか１項に記載の方法。
【請求項１６】
先行請求項のいずれかの方法に従ってオーディオ信号を処理するように適合されたプロセッサを含む、オーディオ出力デバイス。
【請求項１７】
オーディオ出力デバイスのプロセッサに、前記プロセッサ上で実行されたときに、請求項１〜１５のいずれかの方法に従ってオーディオ処理を実行させるプログラムを格納する、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全体として、デジタル信号処理（ＤＳＰ）、音響工学、及び聴覚学の分野に関し、より詳細には、オーディオデバイスで再生するためのオーディオ信号を処理するシステム及び方法、例えば、強化されたリスニング体験をオーディオデバイスで提供するシステム及び方法に関する。
【背景技術】
【０００２】
従来のＤＳＰサウンドパーソナライゼーションの手法は、多くの場合、ユーザの聴覚プロファイルに応じて補償的な周波数ゲインを適用するイコライゼーション技術に依拠している（例えば、米国特許第９，１３８，１７８号、第９，４６８，４０１号、第９，６８０，４３８号、第９８９８２４８号を参照）。一般に、ユーザが聴覚閾値の上昇を示す周波数を特定するためには、純音閾値（ＰＴＴ）聴覚検査が用いられる。そして、オーディオグラムデータに基づいて、周波数出力が適宜に変調される。その際、ユーザのために音響体験を拡張するアプローチは一次元的なものである。ゲインにより、ユーザは、以前に聞き取れなかった周波数を再び捕らえることができるようになるが、後に音の大きさからくる不快を感じる可能性がある。感音性難聴の聴取者は、聴覚閾値が上がっているにもかかわらず、正常聴覚の聴取者と比較した場合、一般的には、不快閾値がほぼ同じであるか、または低くすらある。この点で、ダイナミックレンジが狭くなり、ＥＱゲインを単純に追加するだけでは、長期的には聴覚の健康状態に悪影響を及ぼすことになる（図１）。
【０００３】
ダイナミックレンジ圧縮（ＤＲＣ）を使用すると、大きな音の音量を下げながら静かな音を増幅し、すなわちオーディオのダイナミックレンジを狭めることで、この問題に対処することができる。しかし、これは、低周波数の騒音が、関心のある高周波数の音の増幅を妨げる可能性があるために問題をもたらし得る。この理由から、補聴器用プロセッサには、微弱な音は大幅に増幅されるが高強度の音は増幅されない、広ダイナミックレンジ圧縮を採用している。この点で、従来の補聴器は、広ダイナミックレンジの音が聴取者に関連する実社会の状況での使用のために設計されており、つまり、聴取者は、目の前で人が大きな声で話していることなどの音響情報の意味を理解するのを望む一方で、同時に、通りを歩きながら、遠くから近づいてくる車のかすかな音に気付くことができるようになることを望む。このことは、実際的な実社会の問題には有効であるが、モバイルデバイスまたはその他の類似のデバイスで消費されるオーディオコンテンツは、日常生活で遭遇する音とは全く異なる信号統計を有するため、聴取者に有益なサウンドパーソナライゼーション体験を提供するには異なる処理戦略が求められる。
【０００４】
健康人の聴覚の機能処理をデジタル方式で再現する機能により、聴覚障害（ＨＩ）を持つユーザにとって、より自然で明瞭なリスニング体験が可能になる。ごく最近まで人間の耳の物理学は十分に解明されていなかった。人間の耳は、音環境を理解するために、音を脳への伝達に最適な形式に前処理する。この前処理は、いくつかの階層的な信号プロセス及びフィードバックループとしてモデル化することができ、その多くは非線形であるために、複雑な非線形機構となる。難聴は、典型的には高音域から始まるが、難聴があることを自覚している聴取者は、一般に、高音域の音が聞こえないことについて不平を言うことはない。その代わりに、その聴取者らは、雑音の多い環境でのリスニングや、オーディオストリームなどの複雑に混ざり合った音の細部を聞き取ることが困難であると報告している。要するに、離調音により、ＨＩの個人に対しては情報が他の周波数のエネルギーで覆い隠されやすくなり、以前は細部まで明瞭かつ豊かであった音楽が曖昧になってしまう。これは、音楽自体が非常にセルフマスキング的なものであるためである。
【０００５】
聴覚が悪化すると、耳の信号調整機能が低下し始め、結果として、ＨＩ聴取者は、複雑な音響場面において関心のある音を理解するために、より多大な知的努力を費やす必要がある（さもなければ情報を完全に聞き逃すことになる）。オーディオグラムにおける閾値の上昇は、単に聴覚感度が低下したということだけでなく、微弱音の感知を不能にする影響を持つ聴覚系中の何らかの深層プロセスの機能不全の結果である。
【０００６】
最近の研究では、中耳の内側の基底膜、内側オリーブ蝸牛複合体、ならびに内有毛細胞及び外有毛細胞の相互接続をモデル化して、人間の耳の物理的性質をより適切にモデル化することが試みられた。Ｃｌａｒｋ  ｅｔ  ａｌ．（２０１２）は、補聴方式技術を基に、基底膜に対する内側オリーブ蝸牛の減衰効果を模倣して、人間の聴覚をより適切にモデル化するアルゴリズムを開発した。それによって、前述の事柄からのデータが示唆するように、ノイズ中の音声のロバスト性を改善する可能性がある（Ｃｌａｒｋ  ｅｔ  ａｌ．，  Ａ  ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ  ｆｅｅｄｂａｃｋ  ｍｏｄｅｌ  ｏｆ  ａｕｄｉｔｏｒｙ  ｅｆｆｅｒｅｎｔ  ｓｕｐｐｒｅｓｓｉｏｎ  ａｎｄ  ｉｔｓ  ｉｍｐｌｉｃａｔｉｏｎｓ  ｆｏｒ  ｔｈｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｏｆ  ｓｐｅｅｃｈ  ｉｎ  ｎｏｉｓｅ．  Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  ａｃｏｕｓｔｉｃａｌ  ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ，  Ｖｏｌｕｍｅ  １３２，  ｉｓｓｕｅ  ３，  ｐａｇｅｓ  １５３５  ｔｏ  １５４１，  ２０１２を参照のこと）。この結果は、スペクトル分解された系内で、遅延フィードバック減衰制御（ＤＦＡＣ）を双対共鳴非線形（ＤＲＮＬ）アルゴリズムに組み込むことによって達成される（ＤＲＮＬについては、Ｅ．Ｌｏｐｅｚ−Ｐｏｖｅｄａ  ａｎｄ  Ｒ．Ｍｅｄｄｉｓ．  Ａ  ｈｕｍａｎ  ｎｏｎｌｉｎｅａｒ  ｃｏｃｈｌｅａｒｆｉｌｔｅｒｂａｎｋ．  Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  ａｃｏｕｓｔｉｃａｌ  ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ，Ｖｏｌｕｍｅ  １１０，ｉｓｓｕｅ  ６，Ｐａｇｅｓ  ３１０７  ｔｏ  ３１１８，２００１を参照のこと）。ＤＲＮＬアルゴリズムは、瞬時ダイナミックレンジ圧縮を含む。
【０００７】
ただし、このアルゴリズムは、聴覚系をモデル化するための枠組みとしてのみ機能し、音の増大のために特化されていなかった。この点で、このアルゴリズムは、歪み成分に対する制御の欠如に起因した主観的な聴覚体験に際してのいくつかの欠点を有する。これらの欠点には、歪みを制御する能力の低下と、（狭帯域フィルタと組み合わせて使用した場合）音の時間的スミアリングを生じさせ、その結果として明瞭度を低下させる可能性のある、周波数分解能の制限、及び位相歪みとが含まれる。つまり、このアルゴリズムは、難聴のユーザが使用した場合、実社会での使用事例のいくつかの態様を改善できる可能性はあるが、オーディオとのからみでは、より幅広いカテゴリの聴取者のリスニング体験を向上させることができない。したがって、本発明の目的は、聴取者に有益なサウンドパーソナライゼーションを提供する、改良された、生物学的知見に基づいたＤＳＰを作り出すことである。
【発明の概要】
【０００８】
既知の先行技術で提起された問題は、以下に説明する本発明において少なくとも部分的に解決される。本発明による特徴は独立請求項中に明示され、その有利な実施態様は従属請求項に示される。特許請求の範囲の特徴は、技術的に意味のある任意の様式で組み合わせることができ、以下の明細書からの説明と同様に、本発明の更なる実施形態を示す図からの特徴も考慮に入れることができる。
【０００９】
健康人の耳の機能処理をより忠実に模倣する、改良された、生物学的知見に基づいたＤＳＰアルゴリズムを作り出すことにより、本提示技術は、先行技術のＤＳＰ手法が内包する制限、すなわち、帯域間の群遅延差によって引き起こされる周波数分解能の低さと時間的スミアリングとを解決する。この点で、本発明は、難聴の聴取者と、低から中程度の難聴を示す個人との両者に、強化されたリスニング体験をオーディオデバイスで提供するものであり、両者はより明瞭なリスニング体験を享受する。
【００１０】
全体として、本技術は、オーディオデバイスで再生するためのオーディオ信号を処理する方法を特徴としている。特に、本方法は、オーディオ信号を処理して、オーディオデバイスで（例えば、再生されたときに）強化された聴覚体験を提供する方法であり得る。
【００１１】
一態様によれば、オーディオデバイスで再生するためのオーディオ信号を処理する方法は、ａ）バンドパスフィルタ（例えば、入力バンドパスフィルタ）を使用して、オーディオ信号を複数の周波数帯域にスペクトル分解する（例えば、複数のサブバンド信号にスペクトル分解し、各サブバンド信号はそれぞれの周波数帯域にある）ことを含み得る。本方法は、ｂ）周波数帯域ごとに、周波数帯域内のオーディオ信号（例えば、サブバンド信号）をそれぞれの変調器に供給し、変調器の出力から、周波数帯域内のオーディオ信号を、それぞれの第１のダイナミックレンジコンプレッサに（例えば、第１のＤＲＣの例としてのフィードフォワードＤＲＣに）供給することを更に含み得る。フィードフォワードＤＲＣは、それぞれの周波数帯域（またはサブバンド信号）の第１の処理経路の一部であり得、周波数帯域内の（変調された）オーディオ信号（例えば、サブバンド信号）は、第１の処理経路に供給され得る。第１の処理経路は、フィードフォワード経路と呼ばれる場合がある。本方法は、ｃ）周波数帯域ごとに、周波数帯域内の変調されたオーディオ信号（例えば、変調されたサブバンド信号）をフィードフォワード圧縮して、それぞれの周波数帯域内のフィードフォワード圧縮オーディオ信号（例えば、フィードフォワード圧縮されたサブバンド信号）を取得することを更に含み得る。それに関して、フィードフォワードＤＲＣは、瞬時ＤＲＣに対して遅くされている。この減速は、直接的または間接的に行うことができる。このダイナミックレンジ圧縮の減速により、高調波歪み成分と相互変調歪み成分とのスペクトル拡散を制御することができる。フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）は、それぞれの圧縮出力に供給され得る。本方法は、ｄ）周波数帯域ごとに、それぞれの圧縮出力からの各フィードフォワード圧縮周波数帯域をフィードバック圧縮することを更に含み得る。この目的のために、各フィードフォワード圧縮周波数帯域は、それぞれの第２のＤＲＣを含むそれぞれの第２の処理経路に供給され得る。第２の処理経路は、フィードバック経路と呼ばれる場合がある。第２のＤＲＣは、（第２のＤＲＣの例として）フィードバックＤＲＣと呼ばれる場合がある。更に、フィードバックＤＲＣは、フィードフォワードＤＲＣに対して遅延させられ得る。つまり、第２の処理経路の出力は、例えば、遅延要素（例えば、バッファなど）によって意図的に遅延させられ得る。遅延は、フィードバックＤＲＣの前または後に挿入することができる。次に、（遅延）フィードバック圧縮周波数帯域が、それぞれの周波数帯域の変調器に供給される。一般に、第２の処理経路の出力は、それぞれの変調器に供給される。変調器は、第２の処理経路の出力に応じて（例えば、第２の処理経路の出力の制御下で）動作することができる。変調器は、第２の処理経路の出力に応じて、ステップｃの圧縮入力で減衰を提供することができる。本方法は、ｅ）フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）を再結合することを更に含み得る。
【００１２】
上記のように構成される提案された方法は、ユーザに強化されたリスニング体験を提供するという利点と技術的効果とを有する。これは、健康人の聴覚系の機能処理を模倣する技術を使用してオーディオ信号を処理することによって達成される。
【００１３】
一実施形態では、入力バンドパスフィルタは位相線形である。更なる実施形態では、位相線形入力バンドパスフィルタは、周波数領域で動作する有限インパルス応答フィルタである。
【００１４】
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることに関連し得る。例えば、オーバサンプリングすることは、サブバンド信号にｎ点ＦＦＴを適用することと、ＦＦＴ変換をｎ／Ｎサンプルだけオーバラップすることとを含み、Ｎはオーバサンプリングレートであり、ｎはＮよりも大きい。所与のｎに対して、オーバサンプリングレートＮは、例えば２〜ｎ／２の範囲（これは、ｎ／２サンプルと２サンプルとの間の範囲のオーバラップに変換される）になり得る。代表的な実施態様（例えば、ｎ＝２５６、５１２、１０２４）の場合、オーバサンプリングレートＮは、例えば１２８〜５１２の範囲になり得る。
【００１５】
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）に関連し得る。例えば、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、０．０１ｍｓ〜３ｍｓの範囲から選択される時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。同様に、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、それぞれの（周波数）サブバンド内の周波数ｆに対応する時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。この周波数は、サブバンドの低域カットオフ周波数、高域カットオフ周波数、または中心周波数の場合がある。
【００１６】
いくつかの実施形態では、瞬時ＤＲＣに対して第１のＤＲＣを遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることと、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）との両方に関わり得る。当業者であれば、第１のＤＲＣを遅くすることは、間接的な減速（すなわち、オーバサンプリング）と、直接的な減速（すなわち、第１のＤＲＣの時定数を変更すること）との両方の組み合わせによって達成され得ることを理解することができる。直接減速の場合、τは、ＲＣ回路の代替パラメータであるカットオフ周波数ｆｃに、τ＝ＲＣ＝１／（２πｆｃ）によって関連付けられている。オーバサンプリングによる減速の代わりに、直接的に減速される第１のＤＲＣの時定数τに（間接的に）相当する値は、オーバサンプリングレートＮをサンプリングレート（例えば、４４１００Ｈｚ）で割ることによって計算することができる。この点で、ＤＲＣの間接的な減速と直接的な減速との組み合わせの効果は、これら２つの値の関数として容易に計算可能である。
【００１７】
別の態様によれば、オーディオ信号を処理して（例えば、再生されたときに）、強化された聴覚体験をオーディオデバイスで提供する方法は、未処理のオーディオ信号を第１の信号経路と第２の信号経路とに分割することと、第１の信号経路でオーディオ信号を処理することと、第１の信号経路と第２の信号経路との出力をある比率で再結合することとを含み得る。第１の信号経路における処理は、ａ）バンドパスフィルタを使用して、第１の信号経路で、オーディオ信号の複数のサブバンド信号へのスペクトル分解を実行することを含み得る。第１の信号経路における処理は、ｂ）サブバンド信号ごとに、サブバンド信号をそれぞれの変調器に供給し、変調器の出力から、サブバンド信号を、第１のダイナミックレンジコンプレッサであるＤＲＣを含むそれぞれの第１の処理経路に供給することを更に含み得る。第１の処理経路は、フィードフォワード経路と呼ばれる場合がある。第１の信号経路における処理は、ｃ）サブバンド信号ごとに、それぞれの第１のＤＲＣによってサブバンド信号をフィードフォワード圧縮して、それぞれの周波数帯域でフィードフォワード圧縮されたオーディオ信号（例えば、フィードフォワード圧縮サブバンド信号）を取得することを更に含み得る。それに関して、フィードフォワードＤＲＣは、瞬時ＤＲＣに対して遅くされている。この減速は、直接的または間接的に行うことができる。このダイナミックレンジ圧縮の減速により、高調波歪み成分と相互変調歪み成分とのスペクトル拡散を制御することができる。フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）は、それぞれの圧縮出力に供給され得る。第１の信号経路における処理は、ｄ）それぞれの圧縮出力からの各フィードフォワード圧縮周波数帯域をフィードバック圧縮することを更に含み得る。この目的のために、各フィードフォワード圧縮周波数帯域は、それぞれの第２のＤＲＣを含むそれぞれの第２の処理経路に供給され得る。第２の処理経路は、フィードバック経路と呼ばれる場合がある。第２のＤＲＣは、（第２のＤＲＣの例として）フィードバックＤＲＣと呼ばれる場合がある。更に、フィードバックＤＲＣは、フィードフォワードＤＲＣに対して遅延させられ得る。つまり、第２の処理経路の出力は、例えば、遅延要素（例えば、バッファなど）によって意図的に遅延させられ得る。遅延は、フィードバックＤＲＣの前または後に挿入することができる。次に、（遅延）フィードバック圧縮周波数帯域が、それぞれの周波数帯域の変調器に供給される。一般に、第２の処理経路の出力は、それぞれの変調器に供給される。変調器は、第２の処理経路の出力に応じて（例えば、第２の処理経路の出力の制御下で）動作することができる。変調器は、第２の処理経路の出力に応じて、ステップｃの圧縮入力で減衰を提供することができる。第１の信号経路における処理は、ｅ）フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）を再結合することを更に含み得る。
【００１８】
一実施形態では、入力バンドパスフィルタは位相線形である。更なる実施形態では、位相線形入力バンドパスフィルタは、周波数領域で動作する有限インパルス応答フィルタである。
【００１９】
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることに関連し得る。例えば、オーバサンプリングすることは、サブバンド信号にｎ点ＦＦＴを適用することと、ＦＦＴ変換をｎ／Ｎサンプルだけオーバラップすることとを含み、Ｎはオーバサンプリングレートであり、ｎはＮよりも大きい。所与のｎに対して、オーバサンプリングレートＮは、例えば２〜ｎ／２の範囲（これは、ｎ／２サンプルと２サンプルとの間の範囲のオーバラップに変換される）になり得る。代表的な実施態様（例えば、ｎ＝２５６、５１２、１０２４）の場合、オーバサンプリングレートＮは、例えば、１２８〜５１２の範囲であり得る。
【００２０】
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）に関連し得る。例えば、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、０．０１ｍｓ〜３ｍｓの範囲から選択される時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。同様に、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、それぞれの（周波数）サブバンド内の周波数ｆに対応する時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。この周波数は、サブバンドの低域カットオフ周波数、高域カットオフ周波数、または中心周波数の場合がある。
【００２１】
いくつかの実施形態では、瞬時ＤＲＣに対して第１のＤＲＣを遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることと、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）との両方に関わり得る。当業者であれば、第１のＤＲＣを遅くすることは、間接的な減速（すなわち、オーバサンプリング）と、直接的な減速（すなわち、第１のＤＲＣの時定数を変更すること）との両方の組み合わせによって達成され得ることを理解することができる。直接減速の場合、τは、ＲＣ回路の代替パラメータであるカットオフ周波数ｆｃに、τ＝ＲＣ＝１／（２πｆｃ）によって関連付けられている。オーバサンプリングによる減速の代わりに、直接的に減速される第１のＤＲＣの時定数τに（間接的に）相当する値は、オーバサンプリングレートＮをサンプリングレート（例えば、４４１００Ｈｚ）で割ることによって計算することができる。この点で、ＤＲＣの間接的な減速と直接的な減速との組み合わせの効果は、これら２つの値の関数として容易に計算可能である。
【００２２】
別の態様によれば、オーディオ信号を処理して（例えば、再生されたときに）、強化された聴覚体験をオーディオデバイスで提供する方法において、サブバンド信号自体が、更に、第１の信号経路と第２の信号経路とに分割され、ある比率で再結合され得る。したがって、本方法は、ａ）バンドパスフィルタを使用して、オーディオ信号を複数のサブバンド信号にスペクトル分解することを含み得る。本方法は、ｂ）サブバンド信号ごとに、サブバンド信号を第１の信号経路と第２の信号経路とに分割することと、第１の信号経路内のサブバンド信号を処理することと、第１の信号経路及び第２の信号経路をある比率で再結合して、処理済みサブバンド信号を取得することとを更に含み得る。第１の信号経路内のサブバンド信号の処理は、ｂ１）周波数帯域内のオーディオ信号（例えば、サブバンド信号）をそれぞれの変調器に供給し、変調器の出力から、周波数帯域内のオーディオ信号を、それぞれの第１のダイナミックレンジコンプレッサに（例えば、第１のＤＲＣの例としてのフィードフォワードＤＲＣに）供給することを含み得る。フィードフォワードＤＲＣは、それぞれの周波数帯域（またはサブバンド信号）の第１の処理経路の一部であり得、周波数帯域内の（変調された）オーディオ信号（例えば、サブバンド信号）は、第１の処理経路に供給され得る。第１の処理経路は、フィードフォワード経路と呼ばれる場合がある。第１の信号経路内のサブバンド信号の処理は、ｂ２）周波数帯域内のオーディオ信号（例えば、変調されたサブバンド信号）を、それぞれの第１のＤＲＣによってフィードフォワード圧縮して、フィードフォワード圧縮オーディオ信号（例えば、フィードフォワード圧縮サブバンド信号）を取得することを更に含み得る。それに関して、フィードフォワードＤＲＣは、瞬時ＤＲＣに対して遅くされている。この減速は、直接的または間接的に行うことができる。このダイナミックレンジ圧縮の減速により、高調波歪み成分と相互変調歪み成分とのスペクトル拡散を制御することができる。フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）は、それぞれの圧縮出力に供給され得る。第１の信号経路内のサブバンド信号の処理は、ｂ３）それぞれの圧縮出力からのフィードフォワード圧縮周波数帯域をフィードバック圧縮することを更に含み得る。この目的のために、フィードフォワード圧縮周波数帯域は、それぞれの第２のＤＲＣを含むそれぞれの第２の処理経路に供給され得る。第２の処理経路は、フィードバック経路と呼ばれる場合がある。第２のＤＲＣは、（第２のＤＲＣの例として）フィードバックＤＲＣと呼ばれる場合がある。更に、フィードバックＤＲＣは、フィードフォワードＤＲＣに対して遅延させられ得る。つまり、第２の処理経路の出力は、例えば、遅延要素（例えば、バッファなど）によって意図的に遅延させられ得る。遅延は、フィードバックＤＲＣの前または後に挿入することができる。次に、（遅延）フィードバック圧縮周波数帯域が、それぞれの周波数帯域の変調器に供給される。一般に、第２の処理経路の出力は、それぞれの変調器に供給される。変調器は、第２の処理経路の出力に応じて（例えば、第２の処理経路の出力の制御下で）動作することができる。変調器は、第２の処理経路の出力に応じて、ステップｂ３の圧縮入力で減衰を提供することができる。本方法は、ｃ）フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）を再結合することを更に含み得る。
【００２３】
一実施形態では、入力バンドパスフィルタは位相線形である。更なる実施形態では、位相線形入力バンドパスフィルタは、周波数領域で動作する有限インパルス応答フィルタである。
【００２４】
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることに関連し得る。例えば、オーバサンプリングすることは、サブバンド信号にｎ点ＦＦＴを適用することと、ＦＦＴ変換をｎ／Ｎサンプルだけオーバラップすることとを含み得、Ｎはオーバサンプリングレートであり、ｎはＮよりも大きい。所与のｎに対して、オーバサンプリングレートＮは、例えば２〜ｎ／２の範囲（これは、ｎ／２サンプルと２サンプルとの間の範囲のオーバラップに変換される）になり得る。代表的な実施態様（例えば、ｎ＝２５６、５１２、１０２４）の場合、オーバサンプリングレートＮは、例えば、１２８〜５１２の範囲であり得る。
【００２５】
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）に関連し得る。例えば、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、０．０１ｍｓ〜３ｍｓの範囲から選択される時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。同様に、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、それぞれの（周波数）サブバンド内の周波数ｆに対応する時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。この周波数は、サブバンドの低域カットオフ周波数、高域カットオフ周波数、または中心周波数の場合がある。
【００２６】
いくつかの実施形態では、瞬時ＤＲＣに対して第１のＤＲＣを遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることと、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）との両方に関わり得る。当業者であれば、第１のＤＲＣを遅くすることは、間接的な減速（すなわち、オーバサンプリング）と、直接的な減速（すなわち、第１のＤＲＣの時定数を変更すること）との両方の組み合わせによって達成され得ることを理解することができる。直接減速の場合、τは、ＲＣ回路の代替パラメータであるカットオフ周波数ｆｃに、τ＝ＲＣ＝１／（２πｆｃ）によって関連付けられている。オーバサンプリングによる減速の代わりに、直接的に減速される第１のＤＲＣの時定数τに（間接的に）相当する値は、オーバサンプリングレートＮをサンプリングレート（例えば、４４１００Ｈｚ）で割ることによって計算することができる。この点で、ＤＲＣの間接的な減速と直接的な減速との組み合わせの効果は、これら２つの値の関数として容易に計算可能である。
【００２７】
別の態様によれば、オーディオ信号を処理して（例えば、再生されたときに）、強化された聴覚体験をオーディオデバイスで提供する方法は、ａ）バンドパスフィルタ（例えば、入力バンドパスフィルタ）を使用して、オーディオ信号を複数の周波数帯域にスペクトル分解する（例えば、複数のサブバンド信号にスペクトル分解し、各サブバンド信号はそれぞれの周波数帯域にある）ことを含み得る。本方法は、ｂ）周波数帯域ごとに、周波数帯域内のオーディオ信号（例えば、サブバンド信号）をそれぞれの変調器に供給し、変調器の出力から、周波数帯域内のオーディオ信号を、それぞれの第１のダイナミックレンジコンプレッサに（例えば、第１のＤＲＣの例としてのフィードフォワードＤＲＣに）供給することを更に含み得る。フィードフォワードＤＲＣは、それぞれの周波数帯域（またはサブバンド信号）の第１の処理経路の一部であり得、周波数帯域内の（変調された）オーディオ信号（例えば、サブバンド信号）は、第１の処理経路に供給され得る。第１の処理経路は、フィードフォワード経路と呼ばれる場合がある。本方法は、ｃ）周波数帯域ごとに、周波数帯域内の変調されたオーディオ信号（例えば、変調されたサブバンド信号）をフィードフォワード圧縮して、それぞれの周波数帯域内のフィードフォワード圧縮オーディオ信号（例えば、フィードフォワード圧縮されたサブバンド信号）を取得することを更に含み得る。それに関して、フィードフォワードＤＲＣは、瞬時ＤＲＣに対して遅くされている。この減速は、直接的または間接的に行うことができる。このダイナミックレンジ圧縮の減速により、高調波歪み成分と相互変調歪み成分とのスペクトル拡散を制御することができる。フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）は、それぞれの圧縮出力に供給され得る。本方法は、ｄ）周波数帯域ごとに、第２のＤＲＣを含む第２の処理経路にフィードフォワード圧縮サブバンド信号を供給し、更に、隣接周波数帯域からの１つ以上のフィードフォワード圧縮サブバンド信号を、各フィードフォワード圧縮サブバンド信号がそれぞれの重み付け係数で重み付けされて、第２の処理経路に供給することを更に含み得る。それに関して、第２の処理経路内で、フィードフォワード圧縮サブバンド信号と、隣接周波数サブバンドからの重み付きフィードフォワード圧縮サブバンド信号とは、それぞれの第２のＤＲＣによって圧縮される。第２のＤＲＣは、（第２のＤＲＣの例として）フィードバックＤＲＣと呼ばれる場合がある。更に、フィードバックＤＲＣは、フィードフォワードＤＲＣに対して遅延させられ得る。つまり、第２の処理経路の出力は、例えば、遅延要素（例えば、バッファなど）によって意図的に遅延させられ得る。遅延は、フィードバックＤＲＣの前または後に挿入することができる。次に、（遅延）フィードバック圧縮周波数帯域が、それぞれの周波数帯域の変調器に供給される。一般に、第２の処理経路の出力は、それぞれの変調器に供給される。変調器は、第２の処理経路の出力に応じて（例えば、第２の処理経路の出力の制御下で）動作することができる。変調器は、第２の処理経路の出力に応じて、ステップｃの圧縮入力で減衰を提供することができる。本方法は、ｅ）フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）を再結合することを更に含み得る。
【００２８】
一実施形態では、入力バンドパスフィルタは位相線形である。更なる実施形態では、位相線形入力バンドパスフィルタは、周波数領域で動作する有限インパルス応答フィルタである。
【００２９】
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることに関連し得る。例えば、オーバサンプリングすることは、サブバンド信号にｎ点ＦＦＴを適用することと、ＦＦＴ変換をｎ／Ｎサンプルだけオーバラップすることとを含み得、Ｎはオーバサンプリングレートであり、ｎはＮよりも大きい。所与のｎに対して、オーバサンプリングレートＮは、例えば２〜ｎ／２の範囲（これは、ｎ／２サンプルと２サンプルとの間の範囲のオーバラップに変換される）になり得る。代表的な実施態様（例えば、ｎ＝２５６、５１２、１０２４）の場合、オーバサンプリングレートＮは、例えば、１２８〜５１２の範囲であり得る。
【００３０】
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）に関連し得る。例えば、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、０．０１ｍｓ〜３ｍｓの範囲から選択される時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。同様に、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、それぞれの（周波数）サブバンド内の周波数ｆに対応する時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。この周波数は、サブバンドの低域カットオフ周波数、高域カットオフ周波数、または中心周波数の場合がある。
【００３１】
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることと、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）との両方に関連し得る。当業者であれば、第１のＤＲＣを遅くすることは、間接的な減速（すなわち、オーバサンプリング）と、直接的な減速（すなわち、第１のＤＲＣの時定数を変更すること）との両方の組み合わせによって達成され得ることを理解することができる。直接減速の場合、τは、ＲＣ回路の代替パラメータであるカットオフ周波数ｆｃに、τ＝ＲＣ＝１／（２πｆｃ）によって関連付けられている。オーバサンプリングによる減速の代わりに、直接的に減速される第１のＤＲＣの時定数τに（間接的に）相当する値は、オーバサンプリングレートＮをサンプリングレート（例えば、４４１００Ｈｚ）で割ることによって計算することができる。この点で、ＤＲＣの間接的な減速と直接的な減速との組み合わせの効果は、これら２つの値の関数として容易に計算可能である。
【００３２】
健康人の機能処理を模倣するＤＳＰ方法は、客観的にも主観的にも豊かなリスニング体験を生み出すために不可欠である。音響処理によって基底膜及びＭＯＣの働きをより正確に再現することにより、ＨＩの聴取者及び健康な聴取者の両者は、より明瞭で自然な音をオーディオデバイスで楽しむことができる。
【００３３】
別段の定義がない限り、本明細書で使用する全ての技術用語は、本技術が属する技術分野の当業者によって一般的に理解されるものと同じ意味を有する。
【００３４】
本明細書において使用される用語「オーディオデバイス」は、携帯電話、コンピュータ、テレビ、補聴器、ヘッドフォン、及び／またはスピーカシステムを含むがこれらに限定されない、オーディオを出力する任意のデバイスと定義されている。
【００３５】
本明細書において使用される句「ダイナミックレンジ圧縮」または「ＤＲＣ」は、オーディオ信号のダイナミックレンジを縮小させるオーディオプロセスと定義されている。コンプレッサは、フィードフォワード設計またはフィードバック設計のいずれかを有し得る。ダイナミックレンジ圧縮は、瞬時に行われる場合もあれば、コンプレッサのアタック時定数及びリリース時定数の調整を通じてレートが制御される場合もある。
【００３６】
本明細書において使用される句「間接的に減速される」は、マルチレート信号処理など、コンプレッサのアタック時間及びリリース時間を調整すること以外の手段によってＤＲＣを減速させることと定義されている。
【００３７】
本明細書において使用される句「直接的に減速される」は、コンプレッサのアタック時定数及びリリース時定数を調整することによってＤＲＣを減速させることと定義されている。
【００３８】
本明細書において使用される句「バンドパスフィルタ」は、特定の範囲内の周波数を（実質的に）通過させ、その範囲外の周波数を減衰させるデバイスと定義されている。
【００３９】
本明細書において使用される句「位相線形」は、フィルタの位相応答が周波数の線形関数であり、入力信号の全ての周波数成分が時間的に同じ一定量だけ移動されるようにして、結果として位相歪みが生じない特性と定義されている。
【００４０】
本明細書において使用される句「高調波歪み」は、非線形系に起因する元の周波数の倍数の生成と定義されている。
【００４１】
本明細書において使用される句「相互変調歪み」は、２つ以上の信号が非線形系において混在する場合に生成される外積周波数の発生と定義されている。
【００４２】
本明細書において使用される句「コンピュータ可読記憶媒体」は、フラッシュメモリを備えたＵＳＢ記憶装置、ＣＤ−ＲＯＭ、ＤＶＤまたはＢｌｕＲａｙ（登録商標）、ディスクまたはテープを含むがこれに限定されない、固形の非一時的な記憶媒体と定義されている。この記憶媒体はまた、ユーザがアクセス可能なサーバ内の物理的な記憶場所であって、例えば、ユーザのデバイスにコンピュータプログラムをインストールするためにダウンロードするための記憶場所、またはクラウドコンピューティングのためにダウンロードするための記憶場所であってもよい。
【００４３】
本開示の上記及び他の利点ならびに特徴を獲得することが可能な方法を説明するために、上で簡潔に説明した原理のより具体的な説明が、添付の図面に示されているその特定の実施形態を参照することによって提供される。これらの図面は、本開示の例示的な実施形態のみを示し、したがってその範囲を限定するものと見なされるべきではないことを理解されたい。本明細書の原理は、添付の図面の使用により、追加の特定性及び詳細と合わせて説明され、明らかにされる。
【図面の簡単な説明】
【００４４】
【図１】聴覚障害を持つ聴取者におけるダイナミックレンジの減少を示すグラフを示す。
【図２】聴覚系の処理モデルと、聴覚変調に影響を与える求心路及び遠心路とを示す。
【図３】先行技術の補聴器回路を示す。
【図４】基底膜及び内側オリーブ蝸牛複合体に触発されたコアデジタル信号処理回路を示す。
【図５】信号がスペクトル分解され、並列的に圧縮され、再結合される例示的な実施形態を示す。
【図６】図５の構成を使用して周波数歪みが低減されたスペクトログラムを示す。
【図７】ＨＩ対象者の心理測定的同調曲線をシャープにする、本明細書に開示される生物学的に設計されたＤＳＰ技術の実施例を示す。
【図８】２つの圧縮された試験信号からの歪みパターンを示す。テスト信号がバンドパスフィルタの仮想的なエッジの近くに移動されると、出力バンドパスフィルタが使用されていない場合は、歪みパターンがより対称的になる。
【図９】信号が第１の信号経路と第２の信号経路（被処理経路と未処理経路）とに分割され、その後、ユーザ定義の比率で再結合される更なる実施形態を示す。
【図１０】信号が第１の信号経路と第２の信号経路とに分割され、その後、ユーザ定義の比率で再結合される更なる実施形態を示す。
【図１１】信号が、各周波数帯域で第１の信号経路と第２の信号経路とに分割され、その後、周波数帯域に従ってユーザ定義の様々な比率で再結合され得る追加の実施形態を示す。
【図１２】スペクトル分解されたオーディオ信号において、図１１の構造を使用する技術を利用した、より広範な実施例を示す。
【図１３】フィードバックＤＲＣでの制御信号が、隣接周波数帯域内の同じ信号の重み付けされたバージョンを含み得る実施例を示す。
【図１４】本技術の特定の態様を実施するためのシステムの実施例を示す。
【発明を実施するための形態】
【００４５】
以下に、本開示の様々な例示的な実施形態を詳細に説明する。具体的な実施態様について説明しているが、これは説明することのみを目的として行われていることを理解しておく必要がある。当業者であれば、本開示の趣旨及び範囲から離れることなく、他の構成要素及び構成を使用できることを認識するであろう。
【００４６】
人間の耳の機能処理を模倣するオーディオ処理アルゴリズムを作成するには、まず健康な聴覚の枠組みを開発しなければならない。一般に、正常聴覚のモデルは、聴覚系の信号処理経路の生理学的部分をシミュレートするカスケード段で構成されている。Ｍｅｄｄｉｓ，Ｒ．によって開発されたモデル（Ｍｅｄｄｉｓ，  Ｒ．，  Ｎ．  Ｒ．  Ｃｌａｒｋ，  Ｗ．  Ｌｅｃｌｕｙｓｅ，  ａｎｄ  Ｔ．  Ｊｕｒｇｅｎｓ，  “ＢｉｏＡｉｄ  −  Ａ  Ｂｉｏｌｏｇｉｃａｌｌｙ  Ｉｎｓｐｉｒｅｄ  Ｈｅａｒｉｎｇ  Ａｉｄ”．  Ａｕｄｉｏｌｏｇｉｃａｌ  Ａｃｏｕｓｔｉｃｓ  ５２：  ２０１３，  １４８−１５２，  ２０１３を参照のこと）は、図２の聴覚末梢系のモデルに見られるように、聴覚神経の発火パターンを忠実に表現することを目的としている。最初に、音響入力信号はフィルタ処理される。この処理は、外耳及び中耳２０１の、周波数に依存した、アブミ骨の変位に対する音圧の伝達を模倣している。続いて、信号は、フィルタバンク２０２を用いて周波数帯域に分解される。フィルタバンクは、外有毛細胞の寄与をモデル化した非線形経路と、基底膜の受動的応答をモデル化した線形経路とで構成されている。後段は、ステレオ変位と、内有毛細胞２０３の電位変動と、最終的に内有毛細胞と聴覚神経２０５との間に位置するシナプス間隙２０４への伝達物質放出とをシミュレートする。
【００４７】
同側の音響反射作用（ＡＲ）２０６と、同側の内側オリーブ蝸牛反射作用（ＭＯＣ）２０７とをモデル化するために、２つの遠心性フィードバックループが付加されている。ＭＯＣ２０７フィードバックループは、フィルタバンクの非線形経路における活動の減衰として周波数局在的に組み込まれている。減衰の量は、脳幹２０８レベルの対応する周波数帯域での総スパイク活動によって制御される。ＢＭ応答のＭＯＣ減衰は、音響刺激の定常部分の間に増大し、刺激の消失後に５０ｍｓの時定数で減衰する。刺激の開始からＭＯＣ減衰の開始までの１０ｍｓの遅延は、シナプス潜時を模倣するために使用される。音響反射作用２０６は、全てのニューロンの総活動に対するアブミ骨応答の減衰として組み込まれる。
【００４８】
この健康な聴覚のモデルは、図３に示すように、Ｍｅｄｄｉｓ  ｅｔ  ａｌ．の「ＢｉｏＡｉｄ−ａｌｇｏｒｉｔｈｍ」の基礎を形成した。最初に、オーディオ信号は、制御入力３０１に供給され、次に、入力バンドパスフィルタ３０３（これは、再帰的な無限インパルス応答（ＩＩＲ）フィルタであり、結果として位相歪みを導入する）によって複数の周波数帯域にスペクトル分解３０２される。各周波数帯域は、パラメータが各周波数帯域に対して異なるものの全て同じ演算器を有する、概略的に示された複数の並列チャネルで処理される。各周波数帯域はそれぞれ、圧縮入力３０４に供給され、（時定数ゼロをもつ）瞬時ダイナミックレンジコンプレッサ３０５によってフィードフォワード圧縮される。圧縮出力３０６からは、オーディオ信号は、フィードバックＤＲＣ３０７によって処理され、このフィードバックＤＲＣ３０７は、瞬時ＤＲＣ３０５に対して遅延している。続いて、圧縮されたオーディオ信号は、瞬時のフィードフォワードＤＲＣに供給されるオーディオ信号を減衰させるように、変調器３０８を通って変調される。
【００４９】
遅延フィードバックＤＲＣ処理は、２つの調整可能パラメータ、すなわち、閾値パラメータ及び強度パラメータによって特徴付けられる。閾値パラメータは、フィードバック処理が機能し始める、瞬時フィードフォワードＤＲＣからの出力のレベルを指定する。強度パラメータは、フィードバック処理がアクティブなときに適用される減衰の量を決定するものであり、フィードバック処理の閾値に対するフィードバック処理プロセスへの入力のｄＢ単位の比率で倍加される（したがって、減衰値をｄＢで与える）スカラ量である。
【００５０】
圧縮出力３０６からのこの圧縮されたオーディオ信号は、出力ＩＩＲバンドパスフィルタ３０９を通過させて、歪みのスペクトル拡散を制御する。この二次的なＩＩＲフィルタ３０９は、入力ＩＩＲバンドパスフィルタ３０３と同じ通過帯域を有する。その後、圧縮された周波数帯域は、ゲイン３１０によって変調され、最後に、演算器３１１において再結合されて、制御出力に供給すべき完全な広帯域オーディオ信号を再度形成する。
【００５１】
上記のように、このアルゴリズムは、ＩＩＲフィルタ３０３、３０９、及び瞬時ＤＲＣ３０５の使用及び構成に起因する主観的な聴覚体験に際しての欠点を有する。この構成では、可聴歪みの拡散が制限されなくなり、特に軽度の難聴のユーザに対しては、知覚品質に悪影響を及ぼすことになる（例えば、図６、８を参照）。このアルゴリズムは、実社会での使用事例（例えば、騒音の中での会話）において難聴の聴取者を支援する補聴アルゴリズムとして設計されているため、オーディオコンテンツをパーソナライズするには不十分なモデルであった。この点で、本発明の目的は、幅広いＮＨ聴取者及びＨＩ聴取者のための客観的及び主観的なリスニング体験を改善することである。
【００５２】
図４及び図５には、本発明の例示的な実施形態が示されている。処理入力４０１に広帯域オーディオ信号が供給され、次いで、広帯域オーディオ信号は、複数の周波数帯域にスペクトル分解（５０１）される（例えば、複数のサブバンド信号にスペクトル分解され、各サブバンド信号がそれぞれの周波数帯域にある）。スペクトル分解は、例えば、入力バンドパスフィルタ４０２、５０２によって行われ得る。各周波数帯域は、それぞれの中心周波数ｆ０と、低域カットオフ周波数及び／または高域カットオフ周波数とを有し得る。
【００５３】
各周波数帯域はそれぞれ、圧縮入力４０３に供給され、フィードフォワードＤＲＣ４０４によってフィードフォワード圧縮される。フィードフォワードＤＲＣ４０４（またはＤＲＣ４０４によって適用されるダイナミックレンジ圧縮）は、瞬時ＤＲＣに対して遅くされている。この減速は、直接的であるかまたは間接的である場合がある。フィードフォワード圧縮を間接的に遅くすることは、ＤＲＣのアタック時定数及び／またはリリース時定数を調整すること以外の手段で達成され得る。この間接的な減速は、有限インパルス応答フィルタと、その後に続く信号のオーバサンプリングとを利用して発生させることができ、これにはフィードフォワード圧縮を瞬時ＤＲＣに対して遅くするという正味の効果がある。この場合は、圧縮された周波数帯域は、例えば、元のサンプルレート及び／または更なる処理及び音質のための十分なレートにダウンサンプリングされる。この手法は、アルゴリズムの計算効率を向上させるだけでなく、分析帯域幅とは無関係に歪みの拡散をパラメータ化する機会を更に提供する。別の実施形態では、フィードフォワードＤＲＣ４０４は、ＤＲＣ４０４のアタック時定数及び／またはリリース時定数を調整することによって直接的に減速される。この遅くした圧縮は、いずれの場合も、先行技術と比較して、高調波歪み成分及び相互変調歪み成分のスペクトル拡散の減少をもたらす。
【００５４】
フィードフォワードＤＲＣ４０４の直接減速のための時定数τは、信号処理を受ける周波数の範囲、例えば、スペクトル分解によって出力される周波数帯域の範囲に基づいて決定され得る。いくつかの実施形態では、この範囲は、６０Ｈｚ〜２０ｋＨｚに及んでもよい。対応する周波数ｆの時定数τは、τ＝１／（２πｆ）により与えられる。これにより、周波数帯域の範囲は、フィードフォワードＤＲＣ４０４を直接減速するための時定数τの範囲に変換され得る。６０Ｈｚから２０ｋＨｚに及ぶ周波数範囲の実施例の場合、時定数τの対応する範囲は、約０．００８ｍｓ〜約２．６５ｍｓに及ぶ。よって、いくつかの実施形態では、時定数τの範囲が０．０１ｍｓ〜３ｍｓとなるように選択される場合がある。その場合、フィードフォワードＤＲＣ４０４を直接減速するのに用いられる実際の時定数τを、時定数の範囲（複数可）から選択することができる。フィードフォワードＤＲＣ４０４を直接減速するためのアタック時定数及び／またはリリース時定数は、例えば、Ｆｒｅｄ  Ｆｌｏｒｕ，  Ａｔｔａｃｋ  ａｎｄ  Ｒｅｌｅａｓｅ  Ｔｉｍｅ  Ｃｏｎｓｔａｎｔｓ  ｉｎ  ＲＭＳ−Ｂａｓｅｄ  Ｃｏｍｐｒｅｓｓｏｒｓ  ａｎｄ  Ｌｉｍｉｔｅｒｓ，  ９９ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，  ６−９  Ｏｃｔｏｂｅｒ  １９９９に記載されているようにして、選択された時定数τから計算することができる。
【００５５】
特に、時定数τの上記範囲は、フィードフォワードＤＲＣ４０４のパラメータの典型的な更新レートに適合する。例えば、４４，１００Ｈｚ及び４８，０００Ｈｚのサンプリングレートに対して６４サンプルごとにフィードフォワードＤＲＣ４０４を更新すると、それぞれ１．４５ｍｓ及び１．３３ｍｓの更新間隔が得られ、これらは時定数τの上記範囲に収まる。
【００５６】
いくつかの実施形態では、所与の周波数帯域でフィードフォワードＤＲＣ４０４を減速するための時定数τは、それぞれの周波数帯域の範囲内の周波数ｆによって決まり得る。例えば、周波数ｆは、それぞれの周波数帯域に対するＲＣフィルタ（例えば、ハイパスフィルタ、ローパスフィルタ、またはバンドパスフィルタ）の特性周波数ｆｃとなるように選択されてもよい。この特性周波数ｆｃは、例えば、ＲＣフィルタの低域カットオフ周波数、高域カットオフ周波数、または中心周波数（または同様に、それぞれの周波数帯域の低域カットオフ周波数、高域カットオフ周波数、または中心周波数）である場合がある。この場合もやはり、所与の周波数帯域の時定数τは、τ＝１／（２πｆ）またはτ＝１／（２πｆｃ）によって決定することができ、フィードフォワードＤＲＣ４０４を直接減速するためのアタック時定数及び／またはリリース時定数は、例えば、Ｆｒｅｄ  Ｆｌｏｒｕ，  Ａｔｔａｃｋ  ａｎｄ  Ｒｅｌｅａｓｅ  Ｔｉｍｅ  Ｃｏｎｓｔａｎｔｓ  ｉｎ  ＲＭＳ−Ｂａｓｅｄ  Ｃｏｍｐｒｅｓｓｏｒｓ  ａｎｄ  Ｌｉｍｉｔｅｒｓ，  ９９ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，  ６−９  Ｏｃｔｏｂｅｒ  １９９９に記載されているようにして、時定数τから計算することができる。いくつかの実施形態では、時定数は、ＲＣフィルタのＲＣ時定数、τ＝ＲＣであってもよい。
【００５７】
上記のように、フィードフォワードＤＲＣ４０４の間接的な減速では、係数Ｎ（例えば、１２８、２５６、５１２など）による信号のオーバサンプリングを伴う場合がある。例えば、信号処理は、ｎ点ＦＦＴ（例えば、２５６点ＦＦＴまたは５１２点ＦＦＴ）を適用した後に、ＦＦＴ領域で行ってもよい。例えば、ｎ点ＦＦＴを各周波数帯域に適用してもよく、またはスペクトル分解をＦＦＴ領域で処理してもよい。その場合、各周波数帯域の変換は、ｎ／Ｎサンプル（例えば、２５６点ＦＦＴ及びＮ＝１２８のオーバサンプリングレートの場合は２サンプル）だけオーバラップされ得る。これは、理論上の（サブバンド）サンプルレートのＮ倍大きいレートが使用されることを意味する。しかし、このレートは、依然として、それぞれの周波数帯域におけるフルデータレートよりもｎ／Ｎだけ遅いレートである。この相対的な遅さは、フィードフォワードＤＲＣ４０４が、アタック時定数及びリリース時定数を適用したフルレートの瞬時ＤＲＣのように動作することを意味する。ちなみに、ｎ点ＦＦＴを適用すると、サンプルレートが（例えば、各周波数帯域で）大幅に低下し、それにより、時間領域での実施と比較して、処理が大幅に節約されるという効果がある。所与のｎについて、オーバサンプリングレートＮは、例えば２からｎ／２に及び得る（これは、ｎ／２サンプルと２サンプルとの間の範囲のオーバラップに変換される）。代表的な実施態様（例えば、ｎ＝２５６、５１２、１０２４）の場合、オーバサンプリングレートＮは、例えば、１２８〜５１２の範囲であり得る。
【００５８】
上記のように、瞬時ＤＲＣに対して第１のＤＲＣを遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることと、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）との両方に関わり得る。当業者であれば、第１のＤＲＣを遅くすることは、間接的な減速（すなわち、オーバサンプリング）と、直接的な減速（すなわち、第１のＤＲＣの時定数を変更すること）との両方の組み合わせによって達成され得ることを理解することができる。直接減速の場合、τは、ＲＣ回路の代替パラメータであるカットオフ周波数ｆｃに、τ＝ＲＣ＝１／（２πｆｃ）によって関連付けられている。オーバサンプリングによる減速の代わりに、直接的に減速される第１のＤＲＣの時定数τに（間接的に）相当する値は、オーバサンプリングレートＮをサンプリングレート（例えば、４４１００Ｈｚ）で割ることによって計算することができる。この点で、ＤＲＣの間接的な減速と直接的な減速との組み合わせの効果は、これら２つの値の関数として容易に計算可能である。
【００５９】
重要なことには、フィードフォワードＤＲＣ４０４を遅くすることはまた、出力バンドパスフィルタ３０９を備える必要性に取って代わり、それによって、残っている高調波歪みの分布がより対称的になる。健康な聴覚系では、蝸牛プロセス自体が一連の変化する特性を持つ共鳴システムと考えることができるため、自然な歪みが基底膜の全ての周波数領域で対称的に発出する。図８に見られるように、所与の周波数の歪みパターンが、出力バンドパスフィルタのバンドエッジの１つに向かって移動すると（パネル８０２、８０３を参照）、歪みパターンは非対称的に短縮される（パネル８０２を参照）。出力バンドパスフィルタが存在しない場合、高調波の対称性はより良好に保持され、この結果として、基底膜が作り出す自然な歪みをより良好にエミュレートする。
【００６０】
圧縮出力４０５からは、オーディオ信号は、フィードバックＤＲＣ４０６によって処理される。フィードバックＤＲＣ４０６は、フィードフォワードＤＲＣに対して遅延している。フィードバック経路は、フィードフォワードＤＲＣプロセスの出力から引き出される。フィードバック経路は、特定の閾値を超える信号部分を取得するように閾値選定することによって、減衰させることができる。その場合、この信号は、時間的平滑化のためにローパスフィルタに通されてもよく、スカラ係数が乗算されてもよい。上記の遅延は、例えば、リングバッファなどのバッファを使用することによって獲得され得る。これは、その遅延によってＭＯＣフィードバック系のシナプス遅延をシミュレートする減衰値のストリームをもたらす。この値のストリームは、その後、各帯域内のフィードフォワードＤＲＣ４０４に供給されるオーディオ信号を変調するのに使用される。変調、フィードフォワード圧縮、及びフィードバック圧縮は、連続的に進行する。したがって、フィードバックループは、圧縮をオーディオ信号レベルに動的に適応させ、聴覚系で生理学的に発生するプロセスである離調音マスキングのより効果的な緩和を可能にする。
【００６１】
周波数帯域は、ゲイン４０８によって変調され得、最後に、演算器５０３において再結合され得て、制御出力５０４に供給すべき完全な広オーディオ帯域信号を再度形成する。各周波数帯域は、それぞれ独自の明確なパラメータ、例えばゲイン、減衰係数などを有してもよい。
【００６２】
本発明の別の例示的な実施形態が図９に示され、図４、図５の構成に従って処理された音が、第１の信号伝送経路（または信号経路）と第２の信号伝送経路（または信号経路）とに分割される。具体的には、広帯域オーディオ信号が、処理入力９０１に供給され、次いで、第１の経路（第１の信号経路）９０２と第２の経路（第２の信号経路）９０３とに分割される。本実施例では、第２の経路９０３は、遅延９０４及び保護リミッタ９０５のみを受ける。対照的に、第１の経路９０２では、制御入力９０１からのオーディオ信号は、図４の構成に従ってスペクトル分解されて処理される。各経路９０２、９０３は、それぞれ重み付け演算器９０６及び９０７を含み得る。例えば、これらの重み付け演算器９０６及び９０７は、単一制御変数９１０によってユーザによる調整が可能な共通関数によって互いに関係付けられてもよい。その後、これらの経路９０２及び９０３は、それらの重み付け係数に従って演算器９０８において再結合され、処理出力９０９に供給される。
【００６３】
並列圧縮は、ユーザが、未処理またはわずかに処理された「乾いた」音を処理された「湿った」音と混合できるようになるという利益を提供し、主観的な好みに基づいて処理をカスタマイズできるようにする。例えば、これにより、聴覚障害を持つユーザが、中程度から低度の難聴のユーザと比較して、大いに処理された音を高い比率で使用することが可能になる。更に、最も高いピークを下げるのではなく、最も弱い音を引き上げることにより、オーディオ信号のダイナミックレンジを縮小することで、音に聞きやすいディティールを与える。人間の耳は、大きな音が急激に音量を下げられることに対しては敏感であるが、弱い音が音量を上げられることに対してはあまり敏感ではない。このミキシング方法は、この観察結果を巧みに利用しており、ダイナミックレンジコンプレッサを単独で使用する場合と比較して、より自然に聞こえるダイナミックレンジの縮小をもたらす。更に、並列圧縮は、会話に関する理解、及び／または完全な本来の音色で音楽を聴くことに特に有用である。
【００６４】
２つの異なる信号経路を混合するには、経路内の信号が位相線形性に従うか、もしくは位相歪みを使用して経路の同一位相に入る必要があり、または経路混合変調器は、相関信号を合計して制御出力にオーディオ信号を供給する際の位相相殺を防ぐために、位相補正ネットワークを必要とする。特に、再帰的入力及び出力ＩＩＲバンドパスフィルタがオーディオ信号に位相歪みを導入するので、先行技術のアプローチを使用する並列圧縮は問題がある。位相歪み信号を同様のオーディオ信号と重ね合わせると、いわゆるコムフィルタ処理効果が発生し、結果の音質に悪影響を与える可能性がある。ユーザはこれらの影響に敏感であり、それによって主観的な聴覚体験を損なうことになる。
【００６５】
本発明の更なる例示的な実施形態が図１０に示されており、処理入力１００１に広帯域オーディオ信号が供給され、次いで広帯域オーディオ信号は、図３と同じ処理構成を利用した第１の被処理経路１００２（第１の信号伝送経路、または第１の信号経路）と、第２の被処理経路１００３（第１の信号伝送経路、または第１の信号経路）とに分割される。図９の構成と同様に、位相相殺及びコムフィルタ処理効果を防ぐために、各被処理経路の位相は同期していなければならない。第２の被処理経路１００３は、例えば、ユーザが経路比を調整して、会話に関するより良好な理解を可能にすることができるようにする、及び／またはそれぞれの背景雑音環境において、ユーザが、ユーザにとって主観的により快適な音楽聴覚体験を得られるようにする、会話理解アルゴリズムなどの音声強調アルゴリズムを含むことができる。更なる実施例はまた、図４に示された構成を使用する異なってパラメータ化されたプロセスを含んでもよく、一般に、好ましくは線形位相特性を有する、補聴アルゴリズムなどの任意の音響処理アルゴリズムが、第１の被処理経路１００２と混合されてもよい。２つの被処理経路は、次のいずれかのルールに従っていなければならない。各経路の信号は、（ｉ）位相線形性に準拠するか、（ｉｉ）同一の位相歪みを導入するか、または（ｉｉｉ）相関信号を合計して出力を形成する際の位相相殺を防ぐために、位相補正ネットワークを含む必要がある。好ましくは、選択肢（ｉ）または選択肢（ｉｉ）が実装されるが、これが無駄のない簡単な実装を可能にするためである。
【００６６】
本発明の更なる例示的な実施形態が図１１及び１２に示されており、処理入力１１０１、１２０１に広帯域オーディオ信号が供給され、次いで広帯域オーディオ信号は、複数の周波数帯域にスペクトル分解される（例えば、複数のサブバンド信号にスペクトル分解され、各サブバンド信号がそれぞれの周波数帯域にある）。スペクトル分解は、例えば、入力バンドパスフィルタ１２０２によって行われ得る。各周波数帯域（例えば、サブバンド信号）はそれぞれ、第１の経路（第１の信号経路）１１０３と第２の経路（第２の信号経路）１１０４とに分割される。本実施例では、第２の経路１１０４は、遅延１１０５及び保護リミッタ１１０６のみを含むので、処理が軽い。その一方、第１の経路１１０３は、図５に示された構成と同様に処理される。すなわち、第１の経路の周波数帯域は、圧縮入力に供給され、フィードフォワードＤＲＣ４０４によってフィードフォワード圧縮される。圧縮出力からは、オーディオ信号は、フィードバックＤＲＣ４０６によって処理され、このフィードバックＤＲＣ４０６は、フィードフォワードＤＲＣ４０４に対して遅延し得る。つまり、フィードバック処理経路の出力は、例えば、遅延要素（例えば、バッファなど）によって意図的に遅延させられ得る。遅延は、フィードバックＤＲＣの前または後に挿入することができる。続いて、圧縮されたオーディオ信号は、フィードフォワードＤＲＣ４０４に供給されるオーディオ信号を減衰させるように、変調器４０７を通って変調され得る。次に、圧縮された周波数帯域は、ゲイン４０８、１１０７によって変調され得る。第１の周波数帯域経路及び第２の周波数帯域経路は、それぞれ、重み付け演算器１１０８及び１１０９を含み得る。ここで、これらの重み付け演算器１１０８及び１１０９は、単一制御変数１１１２によってユーザによる調整が可能な共通関数によって互いに関係付けられてもよい。その後、これらの経路１１０３及び１１０４は、それらの重み付け係数に従って演算器１１１０において再結合され、処理出力１１１１に供給される。最後に、周波数帯域（例えば、サブバンド信号）は、演算器１２０３で再結合されて、制御出力１２０４に供給すべき完全な広オーディオ帯域信号を再度形成する。図１１及び図１２の構成は、重要なことに、ユーザが、信号の音声スペクトルにおいて、どの周波数を処理するかについて、はるかに多くの制御を可能にする。例えば、高音域が強い楽曲では、高周波数範囲にわたって音を処理することが好ましい場合がある。逆に、約１５０Ｈｚ〜４ｋＨｚの人間の音声に耳を傾けている間は、より狭いスペクトルに的を絞って処理を行ってもよい。一般に、スペクトル処理は、計算を節約する目的のために調整することができる。
【００６７】
本発明の更なる例示的な実施形態が図１３に示されている。処理入力１３０１に広帯域オーディオ信号が供給され、次いで、広帯域オーディオ信号は、複数の周波数帯域にスペクトル分解される（例えば、複数のサブバンド信号にスペクトル分解され、各サブバンド信号がそれぞれの周波数帯域にある）。スペクトル分解は、例えば、入力バンドパスフィルタ１３０２によって行われ得る。各周波数帯域はそれぞれ、圧縮入力１３０３に供給され、フィードフォワードＤＲＣ１３０４によってフィードフォワード圧縮される。フィードフォワードＤＲＣ１３０４は、瞬時ＤＲＣに対して遅くされている。これは、直接的または間接的に、例えば上記のようにして行われ得る。複数の周波数帯域１３０６の圧縮出力１３０５であって、それぞれの周波数帯域からの各圧縮出力に、個別の重み付け１３０７、１３０８、１３０９が割り当てられている圧縮出力１３０５からは、それぞれのオーディオ信号は、フィードバック圧縮１３１４によって処理される。図１３は、単一の周波数帯域についてのみ、隣接周波数帯域からの重み付きフィードフォワード圧縮オーディオ信号の供給を示しているが、各周波数帯域におけるフィードバック圧縮が、それぞれの隣接周波数帯域からの入力として、重み付きフィードフォワード圧縮オーディオ信号を受け取り得ることが理解されよう。フィードバックＤＲＣ１３１４は、フィードフォワードＤＲＣ１３０４に対して遅延させられ得る。つまり、フィードバックＤＲＣの出力は、例えば、遅延要素（例えば、バッファなど）によって意図的に遅延させられ得る。遅延は、フィードバックＤＲＣの前または後に挿入することができる。複数の遅延フィードバック圧縮オーディオ信号は、フィードフォワードＤＲＣ１３０４に供給されるオーディオ信号を減衰させるように、変調器１３１０を通って変調され得る。次に、圧縮された周波数帯域は、ゲイン１３１１によって変調され得、最後に、演算器１３１２において再結合されて、制御出力１３１３に供給すべき完全な広オーディオ帯域信号を再度形成する。所与の周波数帯域のオーディオ信号を、１つ以上の隣接周波数帯域の信号レベルを含む関数として減衰させる機能により、拡張聴覚体験のためのより細かなパラメータ化の度合いが提供される。更に、このプロセスは、耳の中のオリーブ蝸牛系で自然に行われている（Ｅｆｆｅｃｔｓ  ｏｆ  ｅｌｅｃｔｒｉｃａｌ  ｓｔｉｍｕｌａｔｉｏｎ  ｏｆ  ｅｆｆｅｒｅｎｔ  ｏｌｉｖｏｃｈｏｃｌｅａｒ  ｎｅｕｒｏｎｓ  ｏｎ  ｃａｔ  ａｕｄｉｔｏｒｙ−ｎｅｒｖｅ  ｆｉｂｅｒｓ．  Ｉｌｌ，  Ｔｕｎｉｎｇ  ｃｕｒｖｅｓ  ａｎｄ  ｔｈｒｅｓｈｏｌｄｓ  ａｔ  ＣＦ，  Ｇｕｉｎａｎ  ＆  Ｇｉｆｆｏｒｄ，  １９８８）。したがって、このオーディオ処理の構成は、聴覚幹の健康な聴覚をより厳密にモデル化する。
【００６８】
図１４は、システムの構成要素が接続１４０５を使用して互いに通信しているコンピューティングシステム１４００（例えば、オーディオデバイス、スマートフォンなど）の実施例を示す。接続１４０５は、バスを介した物理的接続、またはチップセットアーキテクチャなどのプロセッサ１４１０への直接接続であり得る。接続１４０５はまた、仮想接続、ネットワーク接続、または論理接続であってもよい。
【００６９】
いくつかの実施形態では、コンピューティングシステム１４００は、本開示で説明した機能が、データセンタ、複数のデータセンタ、ピアネットワークなどの中で分散され得る分散システムである。いくつかの実施形態では、説明したシステム構成要素の１つ以上は、それぞれが、そのために構成要素を説明した機能の一部または全てを実行する多くのそのような構成要素を表す。いくつかの実施形態では、構成要素は、物理デバイスまたは仮想デバイスであってよい。
【００７０】
例示的なシステム１４００は、少なくとも１つの処理ユニット（ＣＰＵまたはプロセッサ）１４１０と、読み出し専用メモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）などのシステムメモリ１４１５を含む様々なシステム構成要素をプロセッサ１４１０に結合する接続１４０５とを含む。コンピューティングシステム１４００は、プロセッサ１４１０に直接接続されているか、近接しているか、またはプロセッサ１４１０の一部として統合されている高速メモリのキャッシュを含み得る。
【００７１】
プロセッサ１４１０は、任意の汎用プロセッサと、ストレージデバイス１４３０に格納されたサービス１４３２、１４３４、及び１４３６など、プロセッサ１４１０を制御するように構成されたハードウェアサービスまたはソフトウェアサービスと、ソフトウェア命令が実際のプロセッサ設計に組み込まれた専用プロセッサとを含み得る。プロセッサ１４１０は、本質的に、複数のコアまたはプロセッサ、バス、メモリコントローラ、キャッシュなどを含む完全に自己完結型のコンピューティングシステムであり得る。マルチコアプロセッサは、対称型または非対称型であり得る。
【００７２】
ユーザインタラクションを可能にするために、コンピューティングシステム１４００は、スピーチ用のマイクロフォン、ジェスチャ入力用またはグラフィック入力用のタッチセンシティブスクリーン、キーボード、マウス、モーション入力、スピーチなどの任意の数の入力機構を表すことができる入力デバイス１４４５を含む。いくつかの例では、入力デバイスはまた、オーディオジャックなどを介するようなオーディオ信号を含んでもよい。コンピューティングシステム１４００はまた、出力デバイス１４３５を含むこともでき、これは、当業者に知られているいくつかの出力機構のうちの１つ以上であってよい。場合によっては、マルチモーダルシステムにより、ユーザがコンピューティングシステム１４００と対話するための複数のタイプの入力／出力を提供することが可能となり得る。コンピューティングシステム１４００は、通信インタフェース１４４０を含んでもよく、これは、一般に、ユーザ入力及びシステム出力の制御及び管理を行い得る。いくつかの例では、通信インタフェース１４４０は、１つ以上のネットワーク（例えば、ブルートゥース（登録商標）、インターネットなど）を介して１つ以上のオーディオ信号を受信するように構成され得る。特定のハードウェア構成で動作することに制限はなく、したがって、ここでの基本的な機能は、ハードウェアまたはファームウェアの構成が開発されるとき、改善されたそれらの構成に簡単に置き換えることができる。
【００７３】
ストレージデバイス１４３０は、不揮発性メモリデバイスであってもよく、磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、及び／またはこれらのデバイスのいくつかの組み合わせなど、コンピュータによってアクセス可能なデータを記憶することができるハードディスクまたは他のタイプのコンピュータ可読媒体であり得る。
【００７４】
ストレージデバイス１４３０は、ソフトウェアサービス、サーバ、サービスなどを含むことができ、そのようなソフトウェアを定義するコードがプロセッサ１４１０によって実行されると、システムに機能を実行させる。いくつかの実施形態では、特定の機能を実行するハードウェアサービスは、その機能を実行するために必要な、例えば、プロセッサ１４１０、接続１４０５、出力デバイス１４３５などのハードウェア構成要素に関連してコンピュータ可読媒体に格納されたソフトウェア構成要素を含んでもよい。
【００７５】
説明を明確にするために、場合によっては、本技術は、ソフトウェアで具体化される方法におけるデバイス、デバイス構成要素、ステップもしくはルーチン、またはハードウェアとソフトウェアの組み合わせを含む機能ブロックを含む個々の機能ブロックを含むものとして提示され得る。
【００７６】
本提示技術は、健康人の耳の機能処理をより忠実に模倣する、改良された、生物学的知見に基づいたＤＳＰアルゴリズムを作成する。本発明は、先行技術のＤＳＰ方法論に固有の制限、すなわち、制約のない周波数歪み及び位相歪みを回避する。この点で、本発明は、難聴のある個人と健康な聴覚を持つ個人との両者に、強化されたリスニング体験を提供するものであり、両者は、より豊かで鮮明になるオーディオコンテンツのリスニング体験を経験する。
【００７７】
追加の実施形態
本開示の更なる例示的な実施形態は、以下に列挙された例示的な実施形態（ＥＥＥ）に要約されている。
【００７８】
第１のＥＥＥは、オーディオデバイスで再生するためのオーディオ信号を処理する方法に関し、本方法は、ａ）バンドパスフィルタ（４０２、５０２）を使用して、オーディオ信号（５０１）の複数のサブバンド信号へのスペクトル分解を実行することと、ｂ）サブバンド信号ごとに、サブバンド信号を、それぞれの変調器（４０７）に供給し、変調器の出力から、サブバンド信号を、第１のダイナミックレンジコンプレッサであるＤＲＣ（４０４）を含むそれぞれの第１の処理経路に供給することと、ｃ）サブバンド信号ごとに、サブバンド信号を、それぞれの第１のＤＲＣ（４０４）によってフィードフォワード圧縮して、フィードフォワード圧縮サブバンド信号を取得することと、ｄ）サブバンド信号ごとに、第２のＤＲＣ（４０６）を含む第２の処理経路にフィードフォワード圧縮サブバンド信号を供給すること、フィードフォワード圧縮サブバンド信号を、それぞれの第２のＤＲＣ（４０６）によって圧縮すること、及び第２の処理経路の出力を、それぞれの変調器（４０７）に供給することであって、サブバンド信号を、それぞれの変調器（４０７）によって変調することが、第２の処理経路の出力に応じて実行される、フィードフォワード圧縮サブバンド信号を供給すること、第２のＤＲＣ（４０６）によって圧縮すること、及び変調器（４０７）に供給することと、ｅ）フィードフォワード圧縮サブバンド信号を再結合することとを含み、フィードフォワード圧縮することが、サブバンド信号ごとに、それぞれの第１のＤＲＣ（４０４）を瞬時ＤＲＣに対して遅くすることを含む。
【００７９】
第２のＥＥＥは、オーディオデバイスで再生するためのオーディオ信号を処理する方法に関し、本方法は、未処理のオーディオ信号を、第１の信号経路（９０３、１００３）と第２の信号経路（９０２、１００２）とに分割することと、第１の信号経路（９０２、９０３）内のオーディオ信号を処理することと、第１の信号経路及び第２の信号経路（９０２／９０３、１００２／１００３）の出力を比率（９１０、１００４）で再結合することとを含み、第１の信号経路（９０２、１００２）での処理が、ａ）バンドパスフィルタ（４０２、５０２）を使用して、オーディオ信号（５０１）の複数のサブバンド信号へのスペクトル分解を実行することと、ｂ）サブバンド信号ごとに、サブバンド信号を、それぞれの変調器（４０７）に供給し、変調器の出力から、サブバンド信号を、第１のダイナミックレンジコンプレッサであるＤＲＣ（４０４）を含むそれぞれの第１の処理経路に供給することと、ｃ）サブバンド信号ごとに、サブバンド信号を、それぞれの第１のＤＲＣ（４０４）によってフィードフォワード圧縮して、フィードフォワード圧縮サブバンド信号を取得することと、ｄ）サブバンド信号ごとに、第２のＤＲＣ（４０６）を含む第２の処理経路にフィードフォワード圧縮サブバンド信号を供給すること、フィードフォワード圧縮サブバンド信号を、それぞれの第２のＤＲＣ（４０６）によって圧縮すること、及び第２の処理経路の出力を、それぞれの変調器（４０７）に供給することであって、サブバンド信号を、それぞれの変調器（４０７）によって変調することが、第２の処理経路の出力に応じて実行される、フィードフォワード圧縮サブバンド信号を供給すること、第２のＤＲＣ（４０６）によって圧縮すること、及び変調器（４０７）に供給することと、ｅ）フィードフォワード圧縮サブバンド信号を再結合することとを含み、フィードフォワード圧縮することが、サブバンド信号ごとに、それぞれの第１のＤＲＣ（４０４）を瞬時ＤＲＣに対して遅くすることを含む。
【００８０】
第３のＥＥＥは、第２のＥＥＥの方法に関し、比率（９１０、１００４）が、ユーザ定義の比率である。
【００８１】
第４のＥＥＥは、第２のＥＥＥまたは第３のＥＥＥによる方法に関し、第２の信号経路（９０３）は遅延を特徴としており、遅延信号は保護リミッタにかけられる。
【００８２】
第５のＥＥＥは、ＥＥＥ２〜４による方法に関し、１２５Ｈｚ〜１２，０００Ｈｚの周波数のみが、第１の信号経路（９０２、１００２）で処理される。
【００８３】
第６のＥＥＥは、オーディオデバイス上で再生するためのオーディオ信号を処理する方法に関し、本方法は、ａ）バンドパスフィルタ（１１０２、１２０２）を使用して、オーディオ信号の複数のサブバンド信号へのスペクトル分解（１２０２）を実行することと、ｂ）サブバンド信号ごとに、サブバンド信号を第１の信号経路（１１０３）と第２の信号経路（１１０３）とに分割すること、第１の信号経路（１１０３）内のサブバンド信号を処理すること、ならびに第１の信号経路及び第２の信号経路（１１０３、１１０４）をある比率で再結合して、処理済みサブバンド信号を取得することと、ｃ）処理済みサブバンド信号を再結合することとを含み、サブバンド信号ごとに、第１の信号経路（１１０３）内のサブバンド信号の処理が、ｂ１）サブバンド信号を、それぞれの変調器（４０７）に供給し、変調器の出力から、サブバンド信号を、第１のダイナミックレンジコンプレッサであるＤＲＣ（４０４）を含むそれぞれの第１の処理経路に供給することと、ｂ２）サブバンド信号を、それぞれの第１のＤＲＣ（４０４）によってフィードフォワード圧縮して、フィードフォワード圧縮サブバンド信号を取得することと、ｂ３）第２のＤＲＣ（４０６）を含む第２の処理経路にフィードフォワード圧縮サブバンド信号を供給すること、フィードフォワード圧縮サブバンド信号を、それぞれの第２のＤＲＣ（４０６）によって圧縮すること、及び第２の処理経路の出力を、それぞれの変調器（４０７）に供給することであって、サブバンド信号を変調することが、第２の処理経路の出力に応じて実行される、フィードフォワード圧縮サブバンド信号を供給すること、第２のＤＲＣ（４０６）によって圧縮すること、及び変調器（４０７）に供給することとを含み、フィードフォワード圧縮することが、サブバンド信号ごとに、それぞれの第１のＤＲＣ（４０４）を瞬時ＤＲＣに対して遅くすることを含む。
【００８４】
第７のＥＥＥは、第６のＥＥＥによる方法に関し、第２の信号経路（１１０４）は遅延を特徴としており、遅延信号は保護リミッタにかけられる。
【００８５】
第８のＥＥＥは、オーディオデバイスで再生するためのオーディオ信号を処理する方法に関し、本方法は、ａ）バンドパスフィルタを使用して、オーディオ信号の複数のサブバンド信号へのスペクトル分解（１３０２）を実行することと、ｂ）サブバンド信号ごとに、サブバンド信号を、それぞれの変調器（４０７）に供給し、変調器の出力から、サブバンド信号を、第１のダイナミックレンジコンプレッサであるＤＲＣ（１３０４）を含むそれぞれの第１の処理経路に供給することと、ｃ）サブバンド信号ごとに、サブバンド信号を、それぞれの第１のＤＲＣ（１３０４）によってフィードフォワード圧縮して、フィードフォワード圧縮サブバンド信号を取得することと、ｄ）サブバンド信号ごとに、第２のＤＲＣ（１３１４）を含む第２の処理経路にフィードフォワード圧縮サブバンド信号を供給し、更に、隣接周波数帯域からの１つ以上のフィードフォワード圧縮サブバンド信号を、各フィードフォワード圧縮サブバンド信号がそれぞれの重み付け係数で重み付けされて、第２の処理経路に供給すること、第２の処理経路内で、フィードフォワード圧縮サブバンド信号と、隣接周波数サブバンドからの重み付きフィードフォワード圧縮サブバンド信号とを、それぞれの第２のＤＲＣ（１３１４）によって圧縮すること、及び第２の処理経路の出力を、それぞれの変調器に供給することであって、サブバンド信号を変調することが、第２の処理経路の出力に応じて実行される、第２の処理経路に供給すること、第２のＤＲＣ（１３１４）によって圧縮すること、及び変調器に供給することと、ｅ）フィードフォワード圧縮オーディオ信号を再結合することとを含み、フィードフォワード圧縮することが、サブバンド信号ごとに、それぞれの第１のＤＲＣ（１３０４）を瞬時ＤＲＣに対して遅くすることを含む。
【００８６】
第９のＥＥＥは、先行ＥＥＥのいずれかによる方法に関し、サブバンド信号ごとに、それぞれの第２の処理経路（４０６）の出力を遅延させることを更に含む。
【００８７】
第１０のＥＥＥは、先行ＥＥＥのいずれかによる方法に関し、サブバンド信号ごとに、それぞれの第２の処理経路の出力が、５ｍｓ〜２０ｍｓの間隔の遅延量だけ遅延させられている。
【００８８】
第１１のＥＥＥは、先行ＥＥＥのいずれかによる方法に関し、バンドパスフィルタ（４０２、５０２）は位相線形である。
【００８９】
第１２のＥＥＥは、先行ＥＥＥのいずれかによる方法に関し、バンドパスフィルタ（４０２、５０２）が、周波数領域で動作する有限インパルス応答フィルタである。
【００９０】
第１３のＥＥＥは、先行ＥＥＥのいずれかによる方法に関し、第１のＤＲＣ（４０４）は、スペクトル分解プロセスの一部としてのマルチレート信号処理によって遅くされる。
【００９１】
第１４のＥＥＥは、ＥＥＥ１〜１２のいずれかによる方法に関し、第１のＤＲＣ（４０４）は、第１のＤＲＣ（４０４）のアタック時定数及び／またはリリース時定数を変更することによって遅くされる。
【００９２】
第１５のＥＥＥは、先行ＥＥＥのいずれかによる方法に関し、オーディオデバイスは、携帯電話、タブレット、コンピュータ、テレビ、ヘッドフォン、補聴器、またはスピーカシステムのいずれかである。
【００９３】
第１６のＥＥＥは、先行ＥＥＥのいずれかによる方法に関し、１つの周波数帯域につき１つのバンドパスフィルタのみが使用される。
【００９４】
第１７のＥＥＥは、先行ＥＥＥのいずれかの方法に従ってオーディオ信号を処理するためのプロセッサを含むオーディオ出力デバイスに関する。
【００９５】
第１８のＥＥＥは、ＥＥＥ１〜１６のいずれかの方法に従って、オーディオ出力デバイスにオーディオ処理を実行させるプログラムを格納するコンピュータ可読記憶媒体に関する。
【符号の説明】
【００９６】
２０１  外耳及び中耳
２０２  フィルタバンク
２０３  内有毛細胞（ＩＨＣ）
２０４  ＩＨＣシナプス
２０５  聴覚神経
２０６  音響反射作用
２０７  ＭＯＣ反射作用
２０８  脳幹
３０１  制御入力
３０２  スペクトル分解
３０３  ＩＩＲ入力バンドパスフィルタ
３０４  圧縮入力
３０５  瞬時ＤＲＣ
３０６  圧縮出力
３０７  フィードバックＤＲＣ
３０８  変調器
３０９  ＩＩＲ出力バンドパスフィルタ
３１０  ゲイン
３１１  演算器
４０１  制御入力
４０２  入力バンドパスフィルタ
４０３  圧縮入力
４０４  フィードフォワードＤＲＣ
４０５  圧縮出力
４０６  フィードバックＤＲＣ
４０７  変調器
４０８  ゲイン
５０１  スペクトル分解
５０２  入力バンドパスフィルタ
５０３  演算器
５０４  制御出力
６０１  スペクトログラム−瞬時圧縮（ＩＣ）出力（１ｋＨｚ入力）からの歪み
６０２  スペクトログラム−入力ＩＩＲバンドパスフィルタ及び出力ＩＩＲバンドパスフィルタを用いたＩＣ出力からの歪み
６０３  スペクトログラム−入力ＦＩＲバンドパスフィルタを用いたＤＲＣからの歪み
７０１  請求項１によるアルゴリズムを受ける前後の対象者からの心理物理的同調曲線−左耳
７０２  請求項１によるアルゴリズムを受ける前後の対象者からの心理物理的同調曲線−右耳
８０１  バンドパスフィルタを通過する歪み−中心に配置
８０２  バンドパスフィルタを通過する歪み−中心からずれた
８０３  歪み−バンドパスフィルタなし−中心に配置
８０４  歪み−バンドパスフィルタなし−中心からずれた
９０１  制御入力
９０２  被処理経路
９０３  未処理経路
９０４  遅延
９０５  保護リミッタ
９０６  被処理経路の重み付け演算器
９０７  未処理経路の重み付け演算器
９０８  ２つの経路の再結合
９０９  制御出力
９１０  単一制御変数
１００１  制御入力
１００２  被処理経路１
１００３  被処理経路２
１００４  制御変数
１１０１  制御入力
１１０２  入力バンドパスフィルタ
１１０３  被処理周波数帯域経路
１１０４  未処理周波数帯域経路
１１０５  遅延
１１０６  保護リミッタ
１１０７  ゲイン
１１０８  被処理周波数帯域経路の重み付け演算器
１１０９  未処理周波数帯域経路の重み付け演算器
１１１０  単一制御変数
１１１１  制御出力
１２０１  制御入力
１２０２  入力バンドパスフィルタ
１２０３  周波数帯域の再結合
１２０４  制御出力
１３０１  制御入力
１３０２  入力バンドパスフィルタ
１３０３  一次周波数帯域の圧縮入力
１３０４  フィードフォワードＤＲＣ
１３０５  フィードバックＤＲＣ
１３０６  代替周波数帯域
１３０７  重み付け１
１３０８  重み付け２
１３０９  重み付け３
１３１０  変調器
１３１１  ゲイン
１３１２  周波数帯域の再結合
１３１３  制御出力
１３１４  フィードバックＤＲＣ
【図１】
2021529980.tif 000003
【図２】
2021529980.tif 000004
【図３】
2021529980.tif 000005
【図４】
2021529980.tif 000006
【図５】
2021529980.tif 000007
【図６】
2021529980.tif 000008
【図７】
2021529980.tif 000009
【図８】
2021529980.tif 000010
【図９】
2021529980.tif 000011
【図１０】
2021529980.tif 000012
【図１１】
2021529980.tif 000013
【図１２】
2021529980.tif 000014
【図１３】
2021529980.tif 000015
【図１４】
2021529980.tif 000016
【国際調査報告】
2021529980.tif 000017
2021529980.tif 000018