(57)【要約】  本発明は、音声・音響送信器、音声・音響受信器、及びそれらの方法に関する。音声・音響送信器は、第１のサンプリング周波数でサンプリングされた入力音声・音響信号のコア周波数帯域を符号化するコア・エンコーダを備える。コア周波数帯域はカットオフ周波数までの周波数を含む。音声・音響送信器は、入力音声・音響信号に対し複数のセグメントへのセグメンテーションを行うセグメンテーション部と、各セグメントについてのカットオフ周波数を推定し、推定したカットオフ周波数に関する情報をデコーダへ送信するカットオフ周波数推定器と、前記推定されたカットオフ周波数で各セグメントをフィルタリングするローパスフィルタと、フィルタリングされたセグメントを前記カットオフ周波数に関連する第２のサンプリング周波数でリサンプリングし、コア・エンコーダによって符号化される所定サンプル数の音声・音響フレームを生成するリサンプラとを有する。
2010503881.tif 000002
【特許請求の範囲】
【請求項１】
入力音声・音響信号のコア周波数帯域を符号化するコア・エンコーダを有する音声・音響送信器（１０５）であって、
前記コア・エンコーダは、所定サンプル数の前記入力音声・音響信号のフレームに対して動作するもので、
前記入力音声・音響信号は第１のサンプリング周波数でサンプリングされたものであり、
前記コア周波数帯域はカットオフ周波数までの周波数を含み、
前記音声・音響送信器（１０５）は、
前記入力音声・音響信号に対し、各セグメントが適応セグメント長を有する複数のセグメントへのセグメンテーションを行うセグメンテーション部（１１０）と、
前記適応セグメント長と関連付けて各セグメントに対するカットオフ周波数を推定し、推定したカットオフ周波数に関する情報をデコーダに送信するカットオフ周波数推定器（１１０）と、
前記推定されたカットオフ周波数で各セグメントをフィルタリングするローパスフィルタ（１２０）と、
前記フィルタリングされたセグメントを前記カットオフ周波数に関連する第２のサンプリング周波数でリサンプリングし、前記コア・エンコーダ（１４０）によって符号化される前記所定サンプル数の音声・音響フレームを生成するリサンプラ（１３０）と、
を有することを特徴とする、音声・音響送信器（１０５）。
【請求項２】
前記カットオフ周波数推定器（１１０）は、入力したセグメントの特性の分析を聴感基準に従って行い、前記分析に基づいて前記セグメントに対して用いられる前記カットオフ周波数を決定することを特徴とする請求項１に記載の音声・音響送信器（１０５）。
【請求項３】
前記カットオフ周波数推定器（１１０）は、前記カットオフ周波数の量子化した推定値を出力することを特徴とする、請求項１又は２に記載の音声・音響送信器（１０５）。
【請求項４】
前記カットオフ周波数推定器（１１０）は、前記推定されたカットオフ周波数に関する情報をサイド情報パラメータとしてデコーダに直接送信することを特徴とする、請求項１乃至３のいずれか１項に記載の音声・音響送信器（１０５）。
【請求項５】
前記カットオフ周波数推定器（１１０）は、前記推定されたカットオフ周波数に関する情報を、前記セグメンテーションを介した間接的なシグナリングによってデコーダに送信することを特徴とする請求項１乃至３のいずれか１項に記載の音声・音響送信器（１０５）。
【請求項６】
前記カットオフ周波数推定器（１１０）は、前記間接的なシグナリングに各セグメント長を使用することを特徴とする請求項５に記載の音声・音響送信器（１０５）。
【請求項７】
前記カットオフ周波数推定器（１１０）は、各セグメントに関連するビットレートを前記間接的なシグナリングに使用することを特徴とする請求項５に記載の音声・音響送信器（１０５）。
【請求項８】
前記カットオフ周波数推定器（１１０）は、前記推定されたカットオフ周波数に関する情報を、現在のセグメントの第１サンプルとその次のセグメントの第１サンプルとの時刻を用いることによって間接的にデコーダに送信することを特徴とする請求項５に記載の音声・音響送信器（１０５）。
【請求項９】
前記ローパスフィルタ（１２０）の前段で、前記セグメンテーション部（１１０）及び前記カットオフ周波数推定器（１１０）の後段に設けられ、前記リサンプラに供給するＬＰＣ残差を生成する線形予測器（３０１）を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の音声・音響送信器（１０５）。
【請求項１０】
前記セグメンテーション部及び前記カットオフ周波数推定器の前段に設けられ、前記セグメンテーション部（１１０）に供給されるＬＰＣ残差を生成する線形予測器（３０１）を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の音声・音響送信器（１０５）。
【請求項１１】
前記カットオフ周波数及び前記第２のサンプリング周波数のうちの少なくともいずれか一方は、ピッチ周波数推定値に基づいて選択されることを特徴とする請求項１乃至１０のいずれか１項に記載の音声・音響送信器（１０５）。
【請求項１２】
受信器（１６５）の出力信号に関連する信号を生成する手段を更に有することを特徴とする請求項１に記載の音声・音響送信器（１０５）。
【請求項１３】
受信信号の完全な再構成を行うためのコア・デコーダの送信器内バージョン６０１及びアップサンプラ（６０３）と、
所定の忠実度基準に従って前記再構成された信号を原入力音声信号と比較する符号化歪計算器（６０６）と、を更に有し、
前記忠実度基準に照らすと前記再構成された信号では不十分である場合、前記カットオフ周波数推定器１１０は、符号化歪が所定の限界内に収まるように、前記カットオフ周波数及び時間当たりに消費されるビットレートを上方に修正し、
信号品質が良すぎる場合、前記カットオフ周波数推定器１１０は、カットオフ周波数及びビットレートを低下させることに対応して、前記セグメント長を増加させる、
ことを特徴とする請求項１２に記載の音声・音響送信器（１０５）。
【請求項１４】
帯域幅拡張部（６０２）の送信器内バージョンと、
帯域幅拡張によって再構成される高周波帯域を含めて受信信号の完全再構成を行う帯域合成器（６０４）と、
を更に有することを特徴とする請求項１２に記載の音声・音響送信器（１０５）。
【請求項１５】
受信した符号化音声・音響信号を復号化する音声・音響受信器（１６５）であって、
カットオフ周波数推定値の情報（１６２）を用いて復号化音声・音響フレームをリサンプリングして出力音声・音響セグメントを生成するリサンプラを有し、
前記情報は、前記情報を生成して送信するカットオフ周波数推定器を有する音声・音響送信器から受信されることを特徴とする音声・音響受信器。
【請求項１６】
前記カットオフ周波数推定値より上の周波数を再構成する少なくとも１つの帯域幅拡張部（１９０）を更に有することを特徴とする請求項１５に記載の音声・音響受信器（１６５）。
【請求項１７】
前記カットオフ周波数推定値に関する情報をサイド情報パラメータとして直接受信することを特徴とする請求項１５又は１６に記載の音声・音響受信器（１６５）。
【請求項１８】
前記カットオフ周波数推定値に関する情報を、セグメンテーションを介した間接的なシグナリングによって受信することを特徴とする請求項１５乃至１７のいずれか１項に記載の音声・音響受信器（１６５）。
【請求項１９】
選択され量子化されたセグメント長を受信することを特徴とする請求項１８に記載の音声・音響受信器（１６５）。
【請求項２０】
前記間接的シグナリングのための各セグメントに関連するビットレートを受信することを特徴とする請求項１８に記載の音声・音響受信器（１６５）。
【請求項２１】
前記カットオフ周波数推定値に関する情報を、現在のセグメントの第１サンプルとその次のセグメントの第１サンプルの時刻に受信することを特徴とする請求項１８に記載の音声・音響受信器（１６５）。
【請求項２２】
入力音声・音響信号のコア周波数帯域を符号化するコア・エンコーダを有する音声・音響送信器における方法であって、
前記コア・エンコーダは、所定サンプル数の前記入力音声・音響信号のフレームに対して動作するもので、
前記入力音声・音響信号は第１のサンプリング周波数でサンプリングされたものであり、
前記コア周波数帯域はカットオフ周波数までの周波数を含み、
前記方法は、
前記入力音声・音響信号に対し、各セグメントが適応セグメント長を有する複数のセグメントへのセグメンテーションを行うステップと、
前記適応セグメント長と関連付けて各セグメントに対するカットオフ周波数を推定し、推定したカットオフ周波数に関する情報をデコーダに送信するステップ（５０２）と、
各セグメントを、前記推定されたカットオフ周波数のローパスフィルタでフィルタリングするステップ（５０３）と、
前記フィルタリングされたセグメントを前記カットオフ周波数に関連する第２のサンプリング周波数でリサンプリングし、前記コア・エンコーダ（１４０）によって符号化される前記所定サンプル数の音声・音響フレームを生成するステップと、
を有することを特徴とする方法。
【請求項２３】
入力したセグメントの特性の分析を聴感基準に従って行い、前記分析に基づいて前記セグメントに対して用いられる前記カットオフ周波数を決定するステップを更に有することを特徴とする請求項２２に記載の方法。
【請求項２４】
カットオフ周波数推定値に基づいて前記セグメンテーションを再調整するステップ（５０２ａ）を更に有することを特徴とする請求項２２又は２３に記載の方法。
【請求項２５】
前記推定されたカットオフ周波数に関する情報をサイド情報パラメータとしてデコーダに対して直接送信するステップを更に有することを特徴とする請求項２２乃至２４のいずれか１項に記載の方法。
【請求項２６】
前記推定されたカットオフ周波数に関する情報を、前記セグメンテーションを介して間接的にデコーダに送信するステップを更に有することを特徴とする請求項２２乃至２５のいずれか１項に記載の方法。
【請求項２７】
前記ローパスフィルタリングのフィルタリングより前で、前記セグメンテーション及び前記カットオフ周波数の推定より後に、前記リサンプラに供給されるＬＰＣ残差を生成するステップを更に有することを特徴とする請求項２２乃至２６のいずれか１項に記載の方法。
【請求項２８】
前記セグメンテーション及び前記カットオフ周波数の推定より前に、前記セグメンテーションに供給されるＬＰＣ残差を生成するステップを更に有することを特徴とする請求項２２乃至２７のいずれか１項に記載の方法。
【請求項２９】
前記カットオフ周波数及び前記第２のサンプリング周波数のうちの少なくとも一方は、ピッチ周波数推定値に基づいて選択されることを特徴とする請求項２２乃至２８のいずれか１項に記載の方法。
【請求項３０】
受信器（１６５）の出力信号に関連する信号を生成するステップを更に有することを特徴とする請求項２２に記載の方法。
【請求項３１】
受信信号の完全な再構成を行うステップと、
所定の忠実度基準に従って前記再構成された信号を原入力音声信号と比較するステップと、
前記忠実度基準に照らすと前記再構成された信号では不十分である場合、符号化歪が所定の限界内に収まるように、前記カットオフ周波数及び時間当たりに消費されるビットレートを上方に修正するステップと、
信号品質が良すぎる場合、カットオフ周波数及びビットレートを低下させることに対応して、前記セグメント長を増加させるステップと、
を更に有することを特徴とする請求項３０に記載の方法。
【請求項３２】
帯域幅拡張によって再構成される高周波帯域を含めて受信信号の完全再構成を行うステップを更に有することを特徴とする請求項３０に記載の方法。
【請求項３３】
受信した符号化音声・音響信号を復号化する音声・音響受信器における方法であって、
カットオフ周波数推定値の情報を用いて復号化音声・音響フレームをリサンプリングして出力音声・音響セグメントを生成するステップ（５０５）を有し、
前記情報は、前記情報を生成して送信するカットオフ周波数推定器を有する音声・音響送信器から受信されることを特徴とする方法。
【請求項３４】
前記カットオフ周波数推定値より上の周波数を少なくとも１つの帯域幅拡張部によって再構成するステップを更に有することを特徴とする請求項３３に記載の方法。
【請求項３５】
前記カットオフ周波数推定値に関する情報をサイド情報パラメータとして直接受信するステップを更に有することを特徴とする請求項３３又は３４に記載の方法。
【請求項３６】
前記カットオフ周波数推定値に関する情報を、前記セグメンテーションを介した間接的なシグナリングによって受信するステップを更に有することを特徴とする請求項３３又は３４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声・音響送信器及び受信器に関する。特に本発明は、符号化の効率を向上させる、音声・音響コーデックの改良に関する。
【背景技術】
【０００２】
従来の音声・音響の符号化はコア・コーデックによって行われる。コーデックとは、エンコーダとデコーダとを意味する。コア・コーデックは、信号の周波数帯のコア帯域を符号化／復号化するように構成される。ここで、コア帯域はカットオフ周波数までの信号の本質的な周波数を含む。狭帯域音声の場合のカットオフ周波数は、例えば３４００Ｈｚである。コア・コーデックは、コア帯域より上方の、カットオフ周波数を超えるような高周波数を処理する、帯域幅拡張（ＢＷＥ）と組み合わせることもできる。ＢＷＥとは、受信器での周波数スペクトル（帯域幅）をコア帯域の帯域幅以上に拡大させる一種の方法を指す。ＢＷＥの利点は、通常、コア・コーデックのビットレートからビットレートを全く増やすことなく、あるいはわずかなビットレートの増加で実現できることである。コア帯域と帯域幅拡張によって処理される高周波数との境界となる周波数ポイントを、本明細書では、クロスオーバ周波数、あるいはカットオフ周波数と呼ぶ。
【０００３】
例えば３ＧＰＰ  ＴＳ２６．２９０拡張適応マルチレート広帯域（ＡＭＲ−ＷＢ＋）コーデック、トランスコーディング機能、の中の適応マルチレート広帯域＋（ＡＭＲ−ＷＢ＋）オーディオコーデックにおいて利用可能な方法として、オーバクロッキング（overclocking）がある。コーデックが当初は２５．６ｋＨｚという固定された内部サンプリング周波数用に設計されていたとしても、オーバクロッキングによって、変更した内部サンプリング周波数で動作できるようになる。以下に説明するように、内部サンプリング周波数を変更すれば、オーバクロッキングファクタによって、ビットレート、帯域幅、演算量のスケーリングを行うことができる。これによって、ビットレート、帯域幅、演算量に関する要件に応じて、非常に柔軟なやり方でコーデックを動作させることができるようになる。例えば、極低ビットレートが必要である場合、低いオーバクロッキングファクタ（＝アンダークロッキング）を用いて、符号化音声の帯域幅および演算量を低減できる。他方、非常に高品質の符号化が望ましい場合には、高いオーバクロッキングファクタを用いることで、ビットレートや演算量は増加するものの、広い音声帯域幅を符号化させることができる。
【０００４】
エンコーダ側のオーバクロッキングは、柔軟性のあるリサンプラをエンコーダのフロントエンドの中で使用することによって実現される。このリサンプラは、入力信号の当初の音声サンプリングレート（例えば４４．１ｋＨｚ）を、公称内部サンプリング周波数からオーバクロッキングファクタの分だけずれた、任意の内部サンプリング周波数に変換する。実際の符号化アルゴリズムは常に、内部サンプリング周波数でサンプリングされた（所定数のサンプルを含む）固定的な信号フレーム上で動作する。そのため、基本的には、いかなるオーバクロッキングにも気付かない。しかし、所与のオーバクロッキングファクタ、例えばビットレート、演算量、帯域幅、クロスオーバ周波数などによって各種のコーデック属性がスケーリングされる。
【０００５】
符号化効率を高めるためには、上記のオーバクロッキングの方法を利用することが望ましいであろう。これによって、同じビットレートで信号品質を向上させたり、同じ品質レベルを維持しながらビットレートを低くすることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第７０５０９７２号
【非特許文献】
【０００７】
【非特許文献１】C. Shahabi et al., "A comparison of different haptic compression techniques", ICME 2002
【発明の概要】
【発明が解決しようとする課題】
【０００８】
米国特許第７０５０９７２号には、音声符号化システムのための方法が記載されている。その方法によれば、低域の周波数帯域を符号化するためのコア・コーデックと、本明細書においては帯域幅拡張とも呼ぶ高域の周波数帯域の高周波数再生システムとの間のクロスオーバ周波数が、時間と共に適応的に調節される。また、その適応化は、低域の周波数帯域を適切に符号化するためにコア・コーデックの能力に応じて行われうることも記載されている。
【０００９】
しかし、米国特許第７０５０９７２号は、コア・コーデックの符号化効率を向上させるための、すなわち、より低いサンプリング周波数でそれを動作させるための手段を提供するものではない。この方法は単に、コア・コーデックによって符号化されることになる帯域幅を、コア・コーデックがその帯域を適切に符号化できることが保証されるように構成することによって、符号化システム全体の効率を高めることを目指しているにすぎない。つまり、その目的は、コア・コーデックの効率をより高めようとすることではなく、コア帯域と帯域幅拡張帯域との間の最適な性能のトレードオフを達成することである。
【００１０】
特許出願ＷＯ２００５０９６５０８号には、帯域幅拡張モジュールと、リサンプリングモジュールと、心理音響分析モジュール、時間−周波数マッピングモジュール、量子化モジュール、エントロピー符号化モジュールを含むコア・コーデックとを有する、別の方法が記載されている。帯域幅拡張モジュールは、当初入力された音声信号の帯域幅全体を分析し、高周波部分のスペクトル包絡と、スペクトルの低域部分と高域部分との間の依存関係を特徴付けるパラメータとを抽出する。リサンプリングモジュールは、入力された音声信号をリサンプリングし、サンプリングレートを変更し、そしてそれらをコア・コーデックに出力する。
【００１１】
しかし、特許出願ＷＯ２００５０９６５０８は、入力信号の何らかの分析に応じたリサンプリングモジュールの動作の適応化を可能にするための対策を含んでいない。また、当初の入力信号の適応セグメンテーション手段がまったく予測されていない。もしそれがあったなら、入力フレームが所定数のサンプルを含む場合に、適応リサンプリングの後で入力セグメントをその後のコアコードの入力フレーム上にマップすることができたであろう。この結果、最小限の信号サンプリングレートでコア・コーデックが動作することは保証できず、従って、全体としての符号化システムの効率は、思ったほど高くない。
【００１２】
C. Shahabi等による文献 "A comparison of different haptic compression techniques" (ICME 2002) は、データフレーム上で動作する、触覚データのための適応サンプリングシステムについて記述している。このシステムは、データウィンドウ用のナイキスト周波数を定期的に識別し、その後データをこの周波数でリサンプリングする。サンプリング周波数は、カットオフ周波数を超えると信号エネルギは無視することができるという実際的な理由でカットオフ周波数に従って選択される。
【００１３】
上記したC. Shahabi等による文献に関する問題は、音声・音響の符号化という文脈ではそれが利点を与えていないことである。触覚データのサンプリングについては、カットオフ周波数を超えるエネルギの相対的な容量に関連する基準（例えば１％）が適切である可能性があり、これは、最低限のサンプリングレートでデータの精確な表現を保持することを目的としている。しかし、音声・音響の符号化という文脈では通常、入力または出力サンプリング周波数には一定の制約があり、すなわち、当初の信号がまず固定的なカットオフ周波数を使ってローパスフィルタにかけられ、その後、必要なサンプリングレート、例えば８、１６、３２、４４．１、あるいは、４８ｋＨｚ、にダウンサンプリングされるということを意味する。従って、音声信号または音声信号の帯域幅はすでに固定のカットオフ周波数に制限されている。同文献の方法によるその後のサンプリング周波数の適応化は、固定されたカットオフ周波数の結果として適応サンプリング周波数ではなく固定的なサンプリング周波数に至るだけであろうから、一般に機能しないであろう。
【００１４】
しかし、帯域幅が作為的に制限されている場合でも、音声信号のローカルな（時間ごとの）聴感特性によっては、固定的な帯域幅制限の影響が常に同じように知覚されるわけではない。例えば支配的な低周波数容量によるマスキングに起因して高周波数がほとんど知覚されないような、信号の一定の部分（セグメント）については、もっと積極的にローパスフィルタにかけて対応する低域のサンプリング周波数を使ってサンプリングすることも可能であろう。従って、従来の音声・音響符号化システムは、聴感的に動機付けられたサンプリング周波数よりローカルでは高すぎるサンプリング周波数で動作し、従って、符号化効率については妥協している。
【００１５】
本発明の目的は、音声・音響コーデックにおける符号化効率を向上させるための方法および装置を提供することである。
【課題を解決するための手段】
【００１６】
本発明によれば、サンプリング周波数が必要以上に高くならないことを保証しながら、サンプリング周波数をローカルに（時間内に）適応化することによって、符号化効率の向上が達成される。
【００１７】
第１の態様によれば、本発明は、入力音声・音響信号のコア周波数帯域を符号化するコア・エンコーダを有する音声・音響送信器に関する。コア・エンコーダは、所定サンプル数の入力音声・音響信号のフレームに対して動作する。入力音声・音響信号は第１のサンプリング周波数でサンプリングされたものであり、コア周波数帯域は、カットオフ周波数までの周波数を含む。本発明の音声・音響送信器は、各セグメントが適応セグメント長を有する複数のセグメントに対し入力音声・音響信号のセグメンテーションを行うセグメンテーション部と、適応セグメント長と関連付けて各セグメントに対するカットオフ周波数を推定し、推定したカットオフ周波数の情報をデコーダへ送信するカットオフ周波数推定器と、前記推定されたカットオフ周波数で各セグメントをフィルタリングするローパスフィルタと、前記フィルタリングされたセグメントを前記カットオフ周波数に関連する第２のサンプリング周波数でリサンプリングし、前記コア・エンコーダによって符号化される所定サンプル数の音声・音響フレームを生成するリサンプラとを有する。
【００１８】
カットオフ周波数推定器は、入力セグメントの特性の分析を聴感基準に従って行い、その分析に基づいてそのセグメントに対して用いられるカットオフ周波数を決定することが望ましい。さらにまた、カットオフ周波数推定器は、カットオフ周波数の量子化した推定値を出力し、また、前記カットオフ周波数の推定値に基づいてセグメンテーションを再調整することができるようにしてもよい。
【００１９】
本発明の第２の態様によれば、受信した符号化音声・音響信号を復号化する音声・音響受信器が提供される。音声・音響受信器は、カットオフ周波数推定値の情報を用いて復号化音声・音響フレームをリサンプリングして出力音声セグメントを生成するリサンプラを有し、前記情報は、前記情報を生成して送信するカットオフ周波数推定器を有する音声・音響送信器から受信される。
【００２０】
第３の態様によれば、本発明は音声・音響送信器における方法に関する。この方法は、入力音声・音響信号に対し、各セグメントが適応セグメント長を有する複数のセグメントへのセグメンテーションを行うステップと、適応セグメント長と関連付けて各セグメントに対するカットオフ周波数を推定し、推定したカットオフ周波数に関する情報をデコーダに送信するステップと、各セグメントを、前記推定されたカットオフ周波数のローパスフィルタでフィルタリングするステップと、前記フィルタリングされたセグメントを前記カットオフ周波数に関連する第２のサンプリング周波数でリサンプリングし、前記コア・エンコーダによって符号化される前記所定サンプル数の音声・音響フレームを生成するステップとを含む。
【００２１】
第４の態様によれば、本発明は、受信した符号化音声・音響信号を復号化する音声・音響受信器における方法に関する。この方法は、カットオフ周波数推定値の情報を用いて復号化音声・音響フレームをリサンプリングして出力音声・音響セグメントを生成するステップを有し、前記情報は、前記情報を生成して送信するカットオフ周波数推定器を有する音声・音響送信器から受信される。
【００２２】
このようにして上記の諸方法を用いることによって、符号化効率を高めることができる。
【００２３】
本発明の一実施形態によれば、ＢＷＥに伴ってさらなる効率の向上が達成される。これによって、コア・コーデックの帯域幅、すなわちコア・コーデックのビットレートを、最小限に保つことができると同時に、コア・コーデックが厳密に（ナイキスト）サンプリングされたデータを用いて動作することが保証される。
【発明の効果】
【００２４】
本発明の利点は、ＩＰ／ＵＤＰ／ＲＴＰを用いたパケット交換アプリケーションにおいて、カットオフ周波数の必要な送信が、タイムスタンプフィールドを用いて間接的に示されうることから、それを無償で行うことができることである。これは、できれば１つのＩＰ／ＵＤＰ／ＲＴＰパケットが１つの符号化されたセグメントに対応するようにパケット化が行われることを想定している。
【００２５】
本発明のさらなる利点は、トランスポートフォーマット（例えばＲＦＣ３２６７）が影響を受けないことから、本発明が、例えばＡＭＲをコア・コーデックとして既存の音声コーデックと一緒にＶｏＩＰ用に使用できることである。
【図面の簡単な説明】
【００２６】
【図１】本発明の基本概念を表すコーデックを示す図である。
【図２】帯域幅拡張を伴う場合の図１のコーデックを示す図である。
【図３】ＬＰＣ残差領域において帯域幅拡張を伴う場合の本発明の動作を示す図である。
【図４】本発明の一実施形態において用いられるピッチ同期セグメンテーションを示す図である。
【図５ａ】、
【図５ｂ】本発明による方法のフローチャートである。
【図６】閉ループの実施形態を示す図である。
【発明を実施するための形態】
【００２７】
以下では、本発明の十分な理解を提供するために、例えば複数のステップの具体的なシーケンス、信号プロトコルやデバイスの構成のような具体的詳細について述べるが、これは限定的なものではなく説明の目的でするものである。本発明がこれらの具体例と異なる他の実施形態で実施可能であることは、当業者には明らかであろう。
【００２８】
さらに、当業者であれば、本明細書で以下に説明する諸機能は、プログラムされたマイクロプロセッサまたは汎用コンピュータと共に機能するソフトウェアを用いて、および／または特定用途向け集積回路（ＡＳＩＣ）を用いて実施可能であることは理解するであろう。また、本発明は本質的に方法および装置のかたちで記述されているが、本発明がコンピュータプログラムおよび、コンピュータプロセッサとそのプロセッサに結合されたメモリとを備えたシステムとして実施され、メモリが本明細書で開示される諸機能を実行することのある１つ以上のプログラムを使って符号化されうるということも、理解されるであろう。
【００２９】
本発明の基本概念は、送信される音声・音響信号をある長さのセグメントに分割することである。聴感を考慮するカットオフ周波数推定器が、各セグメントについて、ローカルに（セグメント毎に）適切なカットオフ周波数ｆｃを導出する。このカットオフ周波数が聴感品質の損失の定義をもたらす。すなわち、カットオフ周波数推定器は、帯域制限による信号歪が人にわずかに聞こえる、ほとんど聞こえない、聞こえないといった知覚を生じるように、カットオフ周波数を選択する。
【００３０】
図１は、本発明による送信器１０５および受信器１６５を示す。セグメンテーション部１１０は、入力音声信号をセグメントに分割し、カットオフ周波数推定器は、好ましくは聴感基準に基づいて、各セグメントのカットオフ周波数を導出する。聴感基準は、人間の聴覚を模擬することを指向しており、音声・音響信号の符号化によく適用される。聴感基準による符号化とは、聴覚の心理音響モデルを適用することによって符号化を行うことを意味する。心理音響モデルは、それに従うと量子化（または符号化）誤差が人の耳に聞こえにくくなるように符号化ノイズを形成するような、目標ノイズ・シェイピング・プロファイルを決定する。単純な心理音響モデルは、ＬＰＣ合成フィルタの励起信号を判断する際に聴感重み付けフィルタを適用する多くの音声エンコーダの一部をなす。音声コーデックは、例えば、パワの高いスペクトル成分の近くにあるパワの低いスペクトル成分が聞き取れなくなる周波数マスキングを利用した、より高機能の心理音響モデルを適用したものが多い。心理音響モデリングは、音声・音響符号化の当業者にはよく知られている。
【００３１】
次いでセグメントは、ローパスフィルタ１２０によって、上記カットオフ周波数のローパスフィルタにかけられる。その後、リサンプラ１３０が、セグメントを聴感的なカットオフ周波数に従って選択された周波数（例えば２ｆｃ）でリサンプリングし、フレーム１３５に至る。この周波数は、受信器１６５へ直接的に、またはセグメント長を介して間接的に送信される。同様にセグメント長は、ＩＰ／ＵＤＰ／ＲＴＰ転送プロトコルまたはそれに類似したものが用いられて１つのパケットにつき１つの符号化されたセグメントが送信されると仮定した場合、２つの連続するパケットのタイムスタンプの差に対応する。また、セグメント長ｌｓとｆｃとの関係はｌｓ＝ｎｆ／２ｆｃであり、その場合、ｎｆはサンプルのフレーム長と等しいことに留意されたい。フレームは、エンコーダへの入力サンプルのベクトルである。従ってフレームは、任意の音声・音響コーデックのエンコーダ１４０によって符号化され、チャネル１７０を介して送信される。
【００３２】
受信器１６５では、符号化されたフレームがデコーダ１５０を用いて復号化される。復号化フレームは、リサンプラ１６０で当初のサンプリング周波数にリサンプリングされ、再構成セグメント１７５に至る。その目的で、リサンプリングに使用される周波数（例えば２ｆｃ）は、上記のように受信器１６５で利用可能／既知である必要がある。
【００３３】
一実施形態によれば、使用されるサンプリング周波数が、サイド情報パラメータとして直接送信される。典型的には、それに必要なビットレートを制限することを目的として、このパラメータの量子化および符号化を行う必要がある。従って、セグメンテーション・カットオフ周波数推定器のブロックは、そのための量子化および符号化部も含む。１つの典型的な実施形態では、スカラ量子化器を用いて、使用可能なカットオフ周波数の数を例えば２や４のような少数に限定する。その場合、１ビットまたは２ビットの符号化が可能である。
【００３４】
代替の実施形態によれば、使用されるサンプリング周波数は、セグメンテーションを介した間接的なシグナリングによって送信される。１つの方法は、選択された（そして量子化された）セグメント長を信号で送ることである。通常、カットオフ周波数は、ｆｃ＝ｎｆ／２ｌｓの関係によりセグメント長から導出されるが、これはセグメント長ｌｓをカットオフ周波数ｆｃおよびサンプルｎｆにおけるフレーム長と関連付けるものである。もう１つの間接的な可能性は、１つのＩＰ／ＵＤＰ／ＲＴＰパケットの第１のサンプルと、その後のパケットの第１のサンプルとのタイムスタンプを用いることによって、使用されるサンプリング周波数を間接的に送信することであり、その場合、パケット化は、１つのパケットについて１つの符号化されたセグメントを使って行われると想定される。従って、カットオフ周波数推定器１１０は、推定されたカットオフ周波数に関する情報をサイド情報パラメータとしてデコーダ１５０に直接送信するようにさらに構成されてもよいし、あるいは、推定されたカットオフ周波数に関する情報を、現在のセグメントの第１サンプルとその次のセグメントの第１サンプルとの時刻を用いることによって間接的にデコーダ１５０に送信するようにさらに構成されてもよい。
【００３５】
間接的なシグナリングのもう１つの方法は、各セグメントに関連するビットレートをシグナリングに用いることである。各フレームを符号化するのに一定のビットレートが利用可能であるような構成を想定すると、低ビットレート（時間間隔毎に）は長いセグメントに、従って、低カットオフ周波数に対応し、逆も同様である。さらに別の方法は、符号化されたセグメントについての送信時刻をそれらの終了時刻またはそれぞれの次のセグメントの開始時刻と関連付けることである。例えば、符号化された各セグメントが、その終了時刻の後に所定時間が経過したのち、送信される。次いで、送信によってもたらされる遅延ジッタが強すぎないという条件で、符号化されたセグメントが受信器に到着する時刻に基づいて、それぞれのセグメント長が、導出されうる。
【００３６】
原入力信号に対する聴感カットオフ周波数（perceptual cut-off frequency）および適応セグメンテーションの導出の例を、以下の手順で示す。
【００３７】
１．所定の値（例えば２０ｍｓ）または前のセグメントの長さに基づく初期セグメント長ｌ０で開始する。
【００３８】
２．前のセグメントの終点に続く第１サンプルから始まるｌ０の長さのセグメントを抽出し、それを聴感カットオフ周波数推定器に供給する。
【００３９】
３．カットオフ周波数推定器がセグメントの周波数分析を行う。これは、例えばＬＰＣ分析またはＦＦＴのような何らかの周波数領域変換に基づいてもよいし、フィルタバンクを用いてもよい。
【００４０】
４．入力信号の帯域制限の聴感的な（可聴の）影響の指標を示すような聴感基準を計算し適用する。これは、その後の符号化（利用可能なＢＷＥを含めて）によって生じる符号化ノイズを考慮に入れることが望ましい。特に、（例えば低ビットレートの結果として）符号化ノイズが強い場合には、入力信号の帯域制限の聴感的な影響は、もっと少ないであろうし、それゆえ、もっと強力な帯域制限でも許容できるであろう。
【００４１】
５．計算された聴感基準による所定の品質レベルを満たすのに必要なスペクトル成分が保持されるような周波数ｆｃを決定する。
【００４２】
６．カットオフ周波数とセグメント長との関係に従って、典型的には、ｎｆがその後のコーデックのフレーム長である場合には、ｌｆ＝ｎｆ／２ｆｃ、に従って、ｆｃに基づいてセグメント長を再調整する。
【００４３】
７．終了：セグメンテーションアルゴリズムが終了し、セグメントおよび決定したカットオフ周波数をその後の処理ブロックに伝える。あるいは、決定したセグメント長ｌｆが初期セグメント長ｌ０から所定距離よりずれている場合には、セグメンテーションを修正してもよい。この場合、カットオフ周波数推定の精度を高めるべく、ステップ２で、新たな初期セグメント長ｌ０＝ｌｆを用いてアルゴリズムが再度適用される。
【００４４】
注意：カットオフ周波数が量子化され符号化される場合には、量子化後に使用可能性のあるカットオフ周波数の離散集合から求まるセグメント長だけを考慮するよう、手順を制限することが望ましい。量子化後にＰ個のカットオフ周波数の離散集合Ｆ＝｛ｆｃ（ｉ）｝ｉ＝１．．．Ｐが送信されると仮定すると、ステップ１、６、７は、セグメント長｛ｌ（ｉ）｝ｉ＝１．．．Ｐの離散集合Ｌからセグメント長が取られるよう修正する必要がある。集合Ｌは、セグメント長とカットオフ周波数との間の関係によって、集合Ｆに対応する。
【００４５】
ここで留意すべきは、内部コーデックの状態は通常、コーデックが動作しているサンプリング周波数を修正する際に影響を受けるということである。従って、これらの状態は、以前に用いられていたサンプリング周波数から修正されたサンプリング周波数へと変換される必要がある。典型的には、コーデックが時間領域の状態を有する場合には、状態のこのサンプリングレート変換は、変更されたサンプリング周波数にそれらをリサンプリングすることによって行われうる。
【００４６】
図２は、帯域幅拡張（ＢＷＥ）デバイス１９０と組み合わせた実施形態を示す。コア・デコーダ１５０に関連して帯域幅拡張デバイス１９０を使用することによって、コア・コーデック用に有効な聴感的なカットオフ周波数を、受信器内のＢＷＥデバイスが除去された高周波成分を適切に再構成できる程度にまで下げることが可能になる。コア・コーデックがカットオフ周波数ｆｃまでの低周波数帯域を符号化／復号化するのに対し、ＢＷＥデバイス１９０は、ｆｃからｆｓ／２までの範囲の高い方の帯域を再生することに寄与する。またＢＷＥエンコーダ１８０は、図２に示すようにコア・エンコーダ１４０に関連して実装されてもよい。
【００４７】
米国特許第７０５０９７２号の方法に関連して、そしてそれとは異なり、本実施形態は、コア・コーデックのサンプリング周波数の適応化を行う。従って本実施形態は、厳密にサンプリングされたデータを使って非常に効率的にコア・コーデックを動作させることを保証する。また米国特許第７０５０９７２号とは対照的に、コーデックが動作するサンプリングレートについて、本発明は、ＢＷＥのクロスオーバ周波数を変更したり適応化したりはしない。本発明は、コア・エンコーダがカットオフ周波数までの周波数帯域全体上で動作していると想定するのに対して、米国特許第７０５０９７２号は、コア・エンコーダが可変クロスオーバ周波数を有すると予測する。
【００４８】
本発明は、開ループの実施形態として実装されてもよいし、閉ループの実施形態として実装されてもよい。
【００４９】
開ループの実施形態では、カットオフ周波数推定器は、何らかの聴感基準に従って所与の入力セグメントの特性の分析を行う。カットオフ周波数推定器は、この分析に基づいて、そして場合によってはコア・コーデックおよびＢＷＥの性能の何らかの予想に基づいて、所与のセグメントについて用いられることになるカットオフ周波数を判断する。具体的には、この分析は、セグメンテーション・カットオフ周波数手順のステップ４で行われる。
【００５０】
図６に示す閉ループの実施形態では、セグメンテーション・カットオフ周波数手順のステップ４は、コア・デコーダの送信器内バージョン（local version）６０１、ＢＷＥ６０２、アップサンプラ６０３、そして、帯域合成器（加算器）６０４を含んでおり、これによって、受信器によって生成されうる受信信号の完全な再構成６０５が行われる。その後、符号化歪計算部６０６が、再構成された信号を、典型的にはここでもやはり聴感基準を含む何らかの忠実度基準に従って、原入力音声信号と比較する。前記忠実度基準に照らすと再構成された信号では不十分である場合、カットオフ周波数推定器６０７は、符号化歪計算部６０６によって判断された符号化歪が所定の限界内に収まるよう、カットオフ周波数を、すなわち時間当たりに消費されるビットレートを、上方へ修正する。他方、信号品質が良すぎる場合、それは、そのセグメントについてビットレートが多く消費されすぎていることの表れである。それゆえ、カットオフ周波数およびビットレートを減少させることに対応して、セグメント長を増加させることができる。ここで留意すべきだが、閉ループの手法は、ＢＷＥをまったく使用しない上述した別の実施形態でも同様にうまく機能する。
【００５１】
同様の実施形態において、一次的なＢＷＥのスキームがコア・コーデックの一部であると想定されることがありうる。この場合、ここでもやはり再構成帯域をｆｃからｆｓ／２へ拡張し、かつ、図２のＢＷＥブロック１９０に対応するような二次的なＢＷＥを採用することが適切であろう。
【００５２】
セグメンテーション及びカットオフ周波数の選択に影響を与える、好適な一般的なファクタがいくつかある。
【００５３】
・ソース入力信号
（例えば楽音／音声検出器を含む）何らかの検出器の決定に基づいて、あるいは符号化されることになるメディアの（メタデータから導出される）事前の知識に基づいて、入手されうる信号クラス（音声、楽音、混合、非活性）。
【００５４】
何らかの検出器から入手した入力信号のノイズ条件。例えば、背景ノイズがある場合に、この望ましくない信号成分の量を減らして全体的な品質を高めることを目的として、カットオフ周波数を下方に調整することができる。また、背景ノイズ条件に応じてカットオフ周波数を下げることは、望ましくない信号成分のための送信リソース（ビットレート）の無駄を減らす方策である。
【００５５】
・目標ビットレート
カットオフ周波数は、符号化に利用可能な、（場合によっては）時間と共に変化する目標ビットレートに依存してもよい。典型的には、目標ビットレートが低い場合は低いカットオフ周波数を選択することになるであろうし、逆も同様であろう。
【００５６】
・受信側からのフィードバック
カットオフ周波数は、送信チャネルの特性と受信側での条件との知識に依存してもよく、それは典型的には、何らかの逆方向信号チャネルを介して取得される。例えば、不良な送信チャネルという指標があるならば、送信エラーによる影響を受ける可能性のあるスペクトル信号の成分を低減して受信器での聴感品質を向上させることを目的として、カットオフ周波数を下げるようにしてもよい。また、カットオフ周波数を下げることは、消費されるビットレートを下げることに対応してもよく、これは転送ネットワーク内に輻輳条件がある場合によい効果をもたらす。
【００５７】
受信側からの別のフィードバックは、受信側端末の機能及び信号再生条件についての情報を含んでもよい。受信側で例えば低品質の信号が再構築されたという指標がある場合、送信ビットレートの無駄遣いを避けることを目的として、カットオフ周波数を低くする要にしてもよい。
【００５８】
更に別の実施形態によれば、本発明は、図３に示すような線形予測符号化（ＬＰＣ）に適用される。図３は、図２に関連して記述した送信器及び受信器を示す。具体的には、冗長性を除去する適応予測器であるＬＰＣ分析部３０１によって、ＬＰＣ分析が行われる。ＬＰＣ分析部３０１は、ローパスフィルタ１２０の前段で、セグメンテーション・カットオフ周波数推定器１１０の後段に設けられてもよいし、セグメンテーション・カットオフ周波数推定器１１０の前段に設けられてもよいが、ＬＰＣ残差は、リサンプリング部（すなわちローパスフィルタおよびダウンサンプラ）に供給される。ＬＰＣ残差は、ＬＰＣ分析フィルタによってフィルタリングされた（音声）入力である。これはＬＰＣ予測誤差信号と呼ばれることもある。
【００５９】
受信器は、帯域合成器（すなわち加算器）で得られた信号に対しＬＰＣ合成フィルタリングを行い最終的な出力信号を生成する。セグメントのスペクトル包絡を表すＬＰＣパラメータ３０３および可能な場合にはゲインファクタが、ＬＰＣ合成部３０２のために追加のサイド情報として受信器へ送信される。ＬＰＣ分析は当初のサンプリングレートｆｓで、リサンプリングの前に行われるので、この手法がＬＰＣがコア・コーデックの一部でしかない場合には該当するであろうｆｃだけではなく、ｆｓ／２までの完全な（すなわち上記の実施形態のＢＷＥ帯域を含めた）スペクトル包絡の高精度な表現を受信器に与えることができるのが、この手法の利点である。ＬＰＣを備えた上記の手法によれば、ＢＷＥが、例えば単純で低演算量の白色雑音生成器、スペクトルフォルダ（spectral folder）または周波数シフタ（変調器）を備えただけの手法と同じくらいに単純であってもよいという、よい効果が得られる。
【００６０】
別の実施形態によれば、カットオフ周波数および関連する信号のリサンプリング周波数２ｆｃが、ピッチ周波数推定値に基づいて選択される。この実施形態は、有声音はピッチすなわち基本周波数による高い周期性をもつという事実を利用するものである。ピッチすなわち基本周波数は、人が有声音を生成する際の周期的な声門の励振をその発生源とするものである。
【００６１】
次に、セグメンテーション、従ってカットオフ周波数は、各セグメント４０１が１周期または図４による音声信号のいくつかの周期の整数の倍数を含むように選択される。より具体的に言うと、典型的には音声の基本周波数は、おおむね１００Ｈｚから４００Ｈｚの範囲内にあり、それは１０ｍｓから２．５ｍｓの周期に相当する。音声信号は、有声でない場合にはピッチ周波数による周期性はない。その場合、セグメンテーションは、リサンプリング周波数の固定的な選択に従って行ってもよいが、可能であれば、セグメンテーション及びカットオフ周波数の選択は、本明細書におけるいずれかの実施形態によって行われることが望ましい。
【００６２】
対応するセグメンテーションが行われれば、音声の周期性をより簡単に利用でき、かつ、音声信号の各種の統計的パラメータ（例えばゲインまたはＬＰＣパラメータ）の推定により一貫性が備わることから、符号化アルゴリズムの効率を高めることのできるピッチ同期動作が可能になる。
【００６３】
上述のように、本発明は、音声・音響送信器および音声・音響受信器に関するものである。さらに本発明は、音声・音響送信器および音声・音響受信器のための方法にも関する。送信器における方法の一実施形態を図５ａのフローチャートに示す。この方法は以下のステップを含む。
【００６４】
５０１．入力音声信号を複数のセグメントに分割する初期セグメンテーションを行う。
【００６５】
５０２．各セグメントのカットオフ周波数を推定し、推定したカットオフ周波数に関する情報をデコーダへ送信する。
【００６６】
５０２ａ．カットオフ周波数の推定値に基づいてセグメンテーションを再調整する。新たなセグメンテーションが、以前のものから閾値よりずれている場合は、ステップ５０２に戻る。
【００６７】
５０３．各セグメントを、推定されたカットオフ周波数のローパスフィルタにかける。
【００６８】
５０４．フィルタリングされたセグメントを上記カットオフ周波数に関連する第２のサンプリング周波数でリサンプリングして、コア・エンコーダによって符号化される音声フレームを生成する。
【００６９】
受信器における方法を図５ｂのフローチャートに示す。この方法は以下のステップを含む。
【００７０】
５０５．カットオフ周波数推定値の情報を用いて復号化音声フレームをリサンプリングして出力音声セグメントを生成する。ここで、上記情報は、上記情報を推定して送信するように構成されたカットオフ周波数推定器を備えた音声・音響送信器から受信する。
【００７１】
以上、本発明について（特定の装置構成および各種の方法における特定順序のステップを含めて）特定の実施形態を説明したが、本発明は本明細書に記載され図示された特定の実施形態に限定されるものではないことは当業者には理解されよう。従って、この開示は一例にすぎない。それゆえ、本発明は本明細書に添付した特許請求の範囲によってのみ限定されることが意図されている。
【図１】
2010503881.tif 000003
【図２】
2010503881.tif 000004
【図３】
2010503881.tif 000005
【図４】
2010503881.tif 000006
【図５ａ】
2010503881.tif 000007
【図５ｂ】
2010503881.tif 000008
【図６】
2010503881.tif 000009
【国際調査報告】
2010503881.tif 000010
2010503881.tif 000011