(57)【要約】復号化ユニット（１０２）と、第１決定手段（１０２）及び第２決定手段（１０６）を有する決定ユニット（１０２，１０６）とを有する音声データを処理するシステム（１００）について開示している。復号化ユニット（１０２）は、復号化音声データを生成するように符号化音声データを復号化するように適合されている。第１決定手段（１０２）は、復号化音声データが再生されるようになっている再生条件及び／又は復号化音声データの特性を決定するように適合され、第２決定手段（１０６）は、決定された復号化音声データの特性及び／又は復号化音声データが再生されるようになっている決定された再生条件に基づいて、復号化音声データに加算されるべき残響量及び／又はクロストーク量を決定するように適合されている。
2008513845.tif 000002
【特許請求の範囲】
【請求項１】
音声データを処理するシステムであって：
復号化音声データを生成するために符号化音声データを復号化するように適合された復号化ユニット；
前記復号化音声データが再生されるようになっている再生条件及び／又は前記復号化音声データの特性を決定するように適合された第１決定手段；並びに
一方で、前記復号化音声データの決定された特性に基づいて前記復号化音声データに加算されるようになっている残響量及び／又はクロストーク量を、及び／又は、他方で、前記復号化音声データが再生されるようになっている決定された再生条件を、決定するように適合された第２決定手段；
を有するシステム。
【請求項２】
請求項１に記載のシステムであって：
前記符号化ユニットは、前記復号化音声データを生成するように圧縮音声データを圧縮解除するように適合された圧縮解除ユニットを有する；
システム。
【請求項３】
請求項２に記載のシステムであって：
前記圧縮解除ユニットは、ＭＰ３フォーマットを有する圧縮音声データを圧縮解除するように適合されている；
システム。
【請求項４】
請求項１に記載のシステムであって：
前記第１決定手段は、前記復号化音声データに加算されるようになっている残響量及び／又はクロストーク量が決定されることが基づく前記復号化音声データの特性が、前記符号化音声データの品質を表す品質パラメータを有するように適合されている；
システム。
【請求項５】
請求項４に記載のシステムであって：
前記品質パラメータは前記音声データのビットレートである；
システム。
【請求項６】
請求項４に記載のシステムであって：
前記品質パラメータは、前記音声データにおけるスペクトルホールの量及び／又は分布から導き出される；
システム。
【請求項７】
請求項１に記載のシステムであって：
前記第１決定手段は、前記復号化音声データに加算されるようになっている残響量及び／又はクロストーク量が決定されることが基づく前記復号化音声データの特性が、前記復号化音声データの性質を有するように適合されている；
システム。
【請求項８】
請求項１に記載のシステムであって：
前記第１決定手段は、前記復号化音声データに加算されるようになっている残響量及び／又はクロストーク量が決定されることが基づく前記復号化音声データの特性が、ミッドサイド符号化が前記復号化音声データに含まれるかどうかの事実を有するように適合されている；
システム。
【請求項９】
請求項１に記載のシステムであって：
前記第１決定手段は、前記復号化音声データに加算されるようになっている残響量及び／又はクロストーク量が決定されることが基づく前記復号化音声データの特性が、前記復号化音声データの音声帯域幅を有するように適合されている；
システム。
【請求項１０】
請求項１に記載のシステムであって：
前記第１決定手段は、前記復号化音声データに加算されるようになっている残響量及び／又はクロストーク量が決定されることが基づく前記復号化音声データの特性が、可変ビットレートが前記復号化音声データに存在するかどうかの事実を有するように適合されている；
システム。
【請求項１１】
請求項１に記載のシステムであって：
前記第１決定手段は、前記復号化音声データに加算されるようになっている残響量及び／又はクロストーク量が決定されることが基づく前記復号化音声データの特性が、前記復号化音声データの時間的に変化するビットストリームパラメータを有するように適合されている；
システム。
【請求項１２】
請求項１に記載のシステムであって：
前記第１決定手段は、前記復号化音声データに加算されるようになっている残響量及び／又はクロストーク量が決定されることが基づく、前記復号化音声データが再生されるようになっている再生条件が、前記復号化音声データが再生されるようになっている種類の再生装置を有する；
システム。
【請求項１３】
請求項１２に記載のシステムであって：
前記第１決定手段は、前記復号化音声データに加算されるようになっている残響量及び／又はクロストーク量が決定されることが基づく、前記復号化音声データが再生されるようになっている再生条件が、前記復号化音声データがスピーカ又はヘッドホンにより再生されるようになっているかどうかの事実を有する；
システム。
【請求項１４】
請求項１に記載のシステムであって：
前記第１決定手段は、前記復号化音声データに加算されるようになっている残響量及び／又はクロストーク量が決定されることが基づく、前記復号化音声データが再生されるようになっている再生条件が、前記復号化音声データが再生されるようになっている環境の自然残響量を有する；
システム。
【請求項１５】
請求項１に記載のシステムであって：
前記第２決定手段は、前記復号化音声データに加算されるようになっている残響の振幅及び／又は遅延時間を決定するように適合されている；
システム。
【請求項１６】
請求項１に記載のシステムであって：
出力音声データを生成するために前記復号化音声データに前記第２決定手段により決定された残響量及び／又はクロストーク量を加算するように適合された加算ユニットを有する；
システム。
【請求項１７】
請求項１６に記載のシステムであって：
前記加算ユニットに結合されたヘッドホンを有し、該ヘッドホンは、前記出力音声データに基づく音響波を生成して発するように適合されている；
システム。
【請求項１８】
請求項１に記載のシステムであって：
集積回路として実現されている；
システム。
【請求項１９】
請求項１に記載のシステムであって：
携帯型オーディオプレーヤー、ＤＶＤプレーヤー、ＭＰ３プレーヤー又はインターネットラジオ装置として実現されている；
システム。
【請求項２０】
音声データを処理する方法であって：
復号化音声データを生成するように符号化音声データを復号化する段階；
前記復号化音声データが再生されるようになっている再生条件及び／又は前記復号化音声データの特性を決定し、一方で、前記復号化音声データの決定された特性に基づいて前記復号化音声データに加算されるようになっている残響量及び／又はクロストーク量を、及び／又は、他方で、前記復号化音声データが再生されるようになっている決定された再生条件を、決定する段階；
を有するシステム。
【請求項２１】
請求項２０に記載の方法であって：
前記復号化音声データに加算されるようになっている残響量及び／又はクロストーク量は動的に決定される；
方法。
【請求項２２】
処理器により実行されるときに、音声データを処理する方法を実行するように適合されているプログラム要素であって：
復号化音声データを生成するように符号化音声データを復号化し；
前記復号化音声データが再生されるようになっている再生条件及び／又は前記復号化音声データの特性を決定し、一方で、前記復号化音声データの決定された特性に基づいて前記復号化音声データに加算されるようになっている残響量及び／又はクロストーク量を、及び／又は、他方で、前記復号化音声データが再生されるようになっている決定された再生条件を、決定する；
を有するプログラム要素。
【請求項２３】
処理器により実行されるときに、音声データを処理する方法を実行するように適合されているコンピュータプログラムが記憶されているコンピュータ読み取り可能媒体であって：
復号化音声データを生成するように符号化音声データを復号化し；
前記復号化音声データが再生されるようになっている再生条件及び／又は前記復号化音声データの特性を決定し、一方で、前記復号化音声データの決定された特性に基づいて前記復号化音声データに加算されるようになっている残響量及び／又はクロストーク量を、及び／又は、他方で、前記復号化音声データが再生されるようになっている決定された再生条件を、決定する；
を有するコンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声データを処理するシステムに関する。
【０００２】
本発明は更に、音声データを処理する方法に関する。
【０００３】
更に、本発明はプログラム要素に関する
更に、本発明はコンピュータ読み取り可能媒体に関する。
【背景技術】
【０００４】
音声圧縮及び音声信号データ処理は、音楽、オーディオブック等に関連する圧縮された音声データを再生することができる装置についての大きな市場が存在するために、益々重要になってきている。
【０００５】
ＭＰ３、又は更に正確には、“ＭＰＥＧ−１オーディオレイヤ３”は、音声を再生するために必要なデータ量及び音声を記憶するために必要なメモリ量を一般に減少させることができる一方、リスナーに対するオリジナルの圧縮されていない音声の忠実な再生のような音声を発することができる音声圧縮アルゴリズムである。ＭＰ３フォーマットは、時間領域信号を周波数領域信号に変換するようにハイブリッド変換を用いる。ＭＰ３は不可逆的圧縮スキームであり、空間を節約するようにそれは入力から情報を移動させることを意味する。それ故、ＭＰ３アルゴリズムは、例えば、ノイズマスキングのように人間の聴覚特性をモデル化することにより、それが除去する音声を人間のリスナーが感知することができないことを確実にするように、ＭＰ３アルゴリズムは取り組んでいる。したがって、記憶空間の非常に大きい節約が、忠実度における許容可能な小さい損失を伴って達成されることが可能である。しかしながら、音声圧縮の分野においては、ユーザが感知するときに、再生音声信号の主観的品質を改善するように圧縮解除音声信号を処理することが必要である。
【０００６】
国際公開第２００４／００６６２５号パンフレットによると、ステレオベースの広がり量は復号化音声の品質に適合される。
【０００７】
米国特許第６，７６３，２７５号明細書においては、音声信号の処理及び再生のための方法であって、音声品質の調節を示す音声再生制御情報がデジタル音声信号に加算される、方法について開示されている。それ故、デジタル音声信号は、音声再生制御情報と共に記録される。ユーザが音声再生制御情報を選択するとき、デジタル音声信号の音声データは、音声再生制御情報にしたがって調節され、それ故、ユーザは所望の音声品質で音楽を聴くことができる。
【０００８】
非常に小さいビットレート（例えば、ステレオコンテンツに対して６４ｋｂｐｓ）で機能する従来技術にしたがった音声信号を符号化及び復号化するための符号化器／復号化器（コーデック）は、特に、ヘッドホンを用いて評価されるときに、それらは特定のコンテンツに対する可聴アーティファクトを生成するために、あまり受け入れられない。換言すれば、符号化器／復号化器により及び、特に圧縮音声データにより処理された音声信号は、頻繁に低い品質になる。
【０００９】
それ故、従来技術により音声データを処理するシステムは、特に、臨界環境下で、復号化音声データの品質が十分でないという不利点を有する。
【特許文献１】国際公開第２００４／００６６２５号パンフレット
【特許文献２】米国特許第６，７６３，２７５号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、少ない努力により検出音声データの主観的品質を改善することである。
【課題を解決するための手段】
【００１１】
上記の目的を達成するように、独立請求項にしたがって、音声データを処理するシステム、音声データを処理する方法、プログラム要素及びコンピュータ読み取り可能媒体を提供する。
【００１２】
本発明の音声データを処理するシステムは：
復号化音声データを生成するように符号化音声データを復号化するように適合された復号化ユニットと；
復号化音声データの特性及び／又は復号化音声データが再生されるようになっている再生条件を決定するように適合された第１決定手段と；
一方で、復号化音声データの決定された特性に基づいて復号化音声データに加算されるべき残響及び／又はクロストークの量を決定するように、並びに／若しくは、他方で、復号化音声データが再生されるようになっている再生条件を決定するように適合された第２決定手段と；
を有する。
【００１３】
更に、本発明は、音声データを処理する方法であって：
復号化音声データを生成するように符号化音声データを復号化する段階と；
復号化音声データの特性及び／又は復号化音声データが再生されるようになっている再生条件を決定し、そして、一方で、復号化音声データの決定された特性に基づいて復号化音声データに加算されるべき残響及び／又はクロストークの量を決定するように、並びに／若しくは、他方で、復号化音声データが再生されるようになっている再生条件を決定する段階と；
を有する方法を提供する。
【００１４】
更に、プログラム要素が本発明により提供され、そのプログラム要素は、処理器により実行されるときに、音声データを処理する上記方法にしたがった段階を有する音声データを処理する方法を実行するように適合されている。
【００１５】
更に、コンピュータ読み取り可能媒体が提供され、そのコンピュータ読み取り可能媒体において、コンピュータプログラムは、処理器により実行されるときに、音声データを処理する上記方法にしたがった段階を有する音声データを処理する方法を実行するように適合されている。
【００１６】
本発明にしたがった特徴的な特徴は、特に、音声データに残響及び／又はスロストークを加算することに、復号化音声データの品質がかなり改善される有利点を有し、残響及び／又はクロストークの加算された量は、復号化音声データの分析及び／又は再生される音声データが発せられるようになっている環境の条件に基づいて決定される。そのような加算された残響及び／又はクロストークの寄与は、再生される圧縮音声データの主観的品質、即ち、音声再生の品質の人間のリスナーによる主観的印象をかなり改善することが、本発明により判明した。それ故、復号化音声データの品質が人間のリスナーにとって十分でない（例えば、音声信号データの比較的低い客観的品質のために）環境下で、残響成分又はクロストーク成分又は残響及びクロストーク成分を重畳することにより音声データの少なくとも一部を操作することにより、主観的品質は改善される。しかしながら、品質が残響成分及び／又はクロストーク成分を伴わないで既に十分である結果を復号化音声データの分析が与えるシナリオにおいては、復号化音声データに付加されるそのような寄与はない。換言すれば、音声データ及び音響環境の分析の結果に応じて、どれ位の量の残響／クロストークが加算されるべきか、又は、代替として、加算されるべき残響／クロストークがない（即ち、後者の場合、加算量はゼロに等しい）ことが決定される。
【００１７】
それ故、必要に応じて、復号化音声信号を操作するフレキシブルなシステムが本発明により提供される。そのシステムは、非常に迅速に音声データを処理するように、そして同時に、再生される音声の十分に高い主観的品質を達成するように、あまりメモリの機能を用いることなく、音声データを記憶することを可能にする。
【００１８】
下記で詳細に説明するように、本発明者による研究により、強く圧縮された復号化音声に残響を加算することは、ヘッドホンによる再生について可聴アーティファクトを除去するように支援する。特に、比較的低いビットレート、例えば、６４ｋｂｐｓ又は８０ｋｂｐｓにおいて、残響を加算することにより、かなりの改善が得られる。アーティファクトを安全に隠すために必要な残響の量は、音声信号の性質及び品質（例えば、ビットレート）に強く依存する。音声信号の種類又は性質（例えば、クラシック音楽、ポップ音楽、ジャズ音楽、カスタネット等）は、リスナーにより感知される主観的品質に強く影響する。異なる性質の音声信号が圧縮されるとき、音楽要素の一部のみが、品質を改善するように残響及び／又はクロストークを加算することにより操作される必要があり、他のパートは十分な主観的品質を有していて、操作される必要はないことが起こる可能性がある。本発明にしたがって、音声信号の性質／レパートリー及び品質／ビットレートのような特性が、必要である丁度十分な残響及び／又はクロストークを導入するように、残響ユニット及びクロストークユニットを動的に調節するように考慮される。
【００１９】
それ故、本発明は、圧縮音声データを復号化するための音声復号化器と、残響手段とを有するシステムについて提供し、音声復号化器の出力は残響付与が行われ、そして、残響手段の振幅及び／又は遅延時間は、圧縮音声の品質パラメータにより制御されることが可能である。更に、クロストークが、同様に、復号化音声信号に加算されることが可能である。
【００２０】
換言すれば、符号化（例えば、圧縮）音声データは、音声復号化器（例えば、ＭＰ３復号化器）において入力され、そして復号化される（例えば、圧縮解除される）。音声信号（例えば、ビットレートにより表される）パラメータの品質が分析され、その分析は、必要に応じて、所定の主観的音声品質閾値を得るように、復号化データに残響寄与及び／又はクロストーク寄与を加算する残響器を制御する。
【００２１】
それ故、可聴アーティファクトは、特に、強く圧縮された復号化音声のヘッドホンによる再生の場合に削除される。
【００２２】
本発明の重要な特徴については、ＭＰ３データの品質に応じて、ヘッドホン信号に残響を加算するその概念において理解することができる。
【００２３】
音声が密閉空間内で発生され、多重反射され、残響を生成するように共に混合されるとき、自然な残響が発生する。
【００２４】
しかしながら、本発明にしたがって、残響は人為的に生成される、即ち、特に電子的機構が、残響効果を生成するように用いられる。所謂、ＤＰＳ（“デジタル信号処理”）残響器は、擬似乱数長を有する多数の長い遅延を用いることによる残響の効果を生成するように、エレクトロニクスを用い、そして信号処理アルゴリズムを用い、そのことは、等化、エンベロープ整形及び他の処理を組み合わせることが可能である。ＤＳＰ残響器はまた、存在する実生活空間をシミュレートするように、畳み込み及び予め記録されたインパルス応答を用いることが可能である。音声信号に残響を加算することにより、オーディターは、残響付与された信号が残響環境で記録され、“ドライ”スタジオでは記録されない、主観的印象をもつ。
【００２５】
本明細書で用いている用語“クロストーク”は、左の音声再生装置（例えば、左のスピーカ）からの音声はまた、右の耳に達し、その逆もまた然りである。本発明にしたがって、クロストークは、多くの場合に、音声データの品質に関してリスナーの改善された主観的印象をもたらす復号化音声信号に人為的に加算されることが可能である。
【００２６】
用語“音声データ”は、本発明における意味では、音声データの少なくとも一部を、有する何れの信号を有する。しかしながら、加算データは、送信されるデータパッケージに含まれることが可能である。例えば、音声情報及び視覚情報を有する映像データも同様に、本発明に含まれる。この場合、本発明の方法は、送信信号の音声部分にのみ適用される。
【００２７】
リスニングテストは、残響及び／又はクロストークを加算することが人間のリスナーにより知覚される発せられた音声信号の品質を改善することを示した。それ故、ＭＰ３のような多大のデータの圧縮方法は、非可逆圧縮アルゴリズムのための客観的音声品質における損失は、残響／クロストークを人為的に加算すること、したがってユーザが感じる音声信号の主観的品質を改善することにより補償されることができるために、本発明の教示と有利に組み合わせられる。そのようなリスニング実験は、音声信号の主観的品質に関連して、ヘッドホンによるリスニングがスピーカによるリスニングに比べてよりクリティカルであることを示した。それ故、本発明にしたがって、残響及び／又はクロストークを加算することにより、スピーカによるリスニングの状況に近い状況が、ヘッドホンによるリスニングの場合も同様に、達成されることができる。
【００２８】
本発明のシステムは、ビットレートのような品質パラメータに基づいて、音声データに残響及び／又はクロストーク寄与を自動的に加算する。どのような種類の品質を有するどのような種類の音声信号部分及びどのような環境条件が存在するかが評価される。本発明の決定に基づいて、加算されるべき残響／クロストーク量が、各々の音声信号部分について個別に選択されることが可能である。
【００２９】
コンピュータプログラムは、本発明にしたがって、即ち、ソフトウェアにより、又は１つ又はそれ以上の特定の最適化電子回路を用いることにより、即ち、ハードウェアにおいて又はハイブリッドの形式で、即ち、ソフトウェア構成要素及びハードウェア構成要素により、音声データの処理を実現することができる。
【００３０】
従属請求項に関連して、本発明の更なる好適な実施形態が、下記のように記載されている。
【００３１】
続いて、音声データを処理するシステムの好適な実施形態について、記載されている。それらの実施形態はまた、音声データを処理する方法、プログラム要素及びコンピュータ読み取り可能媒体について適用されることが可能である。
【００３２】
本発明のシステムにおいては、復号化ユニットは、復号化音声データを生成するように圧縮音声データを圧縮解除するように適合された圧縮解除ユニットを有することが可能である。特に、圧縮音声データを圧縮解除する符号化音声データ手段を復号化するシナリオにおいては、特に、ＭＰ３のような非可逆的圧縮スキームの場合に、圧縮解除データを再生するときに、品質の問題が生じる可能性がある。そのような客観的な品質の低下は、復号化音声データに残響及び／又はクロストーク寄与を加算することにより、人間のリスナーの相対的な印象に関して補償されることができる。
【００３３】
圧縮解除ユニットは、ＭＰ３フォーマット（ＭＰＥＧ−１オーディオレイヤ３）を有する圧縮音声データを圧縮解除するように、特に適合されることが可能である。残響及び／又はクロストークの加算と、音声を再生するために必要なデータ量をかなり低減することができるＭＰ３圧縮アルゴリズムを組み合わせることにより、圧縮解除データの十分に高い主観的品質を有する高圧縮比が達成される。
【００３４】
システムの第１決定手段は、復号化音声データに加算されるべき残響及び／又はクロストーク量が決定されることが基づく復号化音声データの特性が復号化音声データの品質を示す品質パラメータを有するように、適合されることが可能である。換言すれば、復号化音声データの（客観的）品質を評価することにより、平均的な人間のリスナーにより知覚される主観的品質を改善するように残響及び／又はクロストークを加算することが必要かどうかを判定することに基づいて、信頼性基準が評価される。決定された品質が、何れの操作を伴うことなく、既に十分である場合、加算される残響及びクロストーク量は０であり、即ち、復号化音声信号の操作は実行されない。しかしながら、その品質が、所定の最低の品質閾値より低い場合、現品質値と所定の最低の品質閾値との間の差分が、十分な品質を達成するように加算されるにどれ位の残響及び／又はクロストーク量が必要かを決定するための指標として用いられることが可能である。
【００３５】
品質パラメータは音声データのビットレートであることが可能である。ビットレートは、単位時間当たりの送信ビットを表す、即ち、音声信号の１秒当たりの記憶ビット数を表す。ビットレートは、音声信号の１秒当たりの記憶ビットの量を表す。それ故、ビットレートは、音声信号が残響及び／又はクロストークを加算することにより又は加算しないことにより操作されるべきかどうかを判定するための適切なパラメータである。
【００３６】
付加的に又は代替として、品質パラメータは、音声データのスペクトルホールの量及び／又は分布から導き出されることが可能である。一定のビットレート符号化について、ＭＰ３は、低周波数について高品質を維持するように、符号化音声の帯域幅を動的に狭くする。必要に応じて、符号化器は全帯域幅に戻るように切り換えられる。帯域制限スペクトルと全帯域幅とに連続して切り換えることはスペクトルホールをもたらす。それ故、ビットストリームにおけるコードブックパラメータにより表されているようなスペクトルホールの数を、信号操作が必要であるかどうかを判定するために用いることができる。これを、残響及び／又はクロストークがオンに切り換えられるトリガとして用いることができる。スペクトルホールの量及び／又は分布を考慮することは、特定の帯域におけるスペクトルホールの有無間の頻繁な切り換えはしばしば、連続的なスペクトルホールに比べて厄介なことであるために、重要な特徴である。
【００３７】
第１決定手段は、復号化音声データに加算されるべき残響及び／又はクロストーク量が決定されることが基づく復号化音声データの特性が復号化音声データの性質を有するように適合されることが可能である。例えば、異なる種類の音楽は、異なる残響量により最適な音が得られる傾向にある。それ故、記録／再生されるべき音声信号の種類／性質／ジャンルは、どれ位の量の残響及び／又はクロストークが加算されるべきかの決定に好適に含まれる。ポップ音楽、ロック及び他のジャンルではなくジャズを自動的に判定する自動音声分類器は当該技術分野においては既知である。
【００３８】
システムの第１決定手段は、復号化音声データに加算されるべき残響及び／又はクロストークが決定されることが基づく復号化音声データの特性が、ミッドサイド符号化が音声データを符号化するために用いられるかどうかを含むように適合されることが可能である。それ故、加算されるべき残響及び／又はクロストーク量を判定するための品質パラメータが、ＭＰ３における固定パラメータ、即ち、ミッドサイド符号化（Ｙ／Ｎ）に関連するビットレートから導き出されることが可能である。ミッドサイド符号化の有無は、残響及び／又はクロストークの加算が必要か否かの指標とみなされる。ミッドサイド符号化は、左側チャネルＬ及び右側チャネルＲに代えて、中央チャネルＭ＝（Ｎ＋Ｒ）／２及び側部チャネルＳ＝（Ｌ−Ｒ）／２が送信されるＭＰ３技術にしたがった、ＭＰ３技術に関連する特徴である。この指標を取り込むことにより、特に、モノラルのような信号部分の場合に、更なる圧縮が実現される。
【００３９】
ミッドサイド符号化は、ＭＰ３符号化器の設定の１つである。他は、サンプル周波数の半分に直接、関連付けられる必要のない音声帯域幅を有する。また、一定ビットレートの可変ビットレートが選択されることが可能である。
【００４０】
それ故、第１決定手段は、復号化音声データに加算されるべき残響及び／又はクロストーク量が決定されることが基づく復号化音声データの特性が、ミッドサイド符号化が音声データの音声帯域幅を有するように適合されることが可能である。その音声帯域幅は、サンプル周波数の半分に直接、関連付けられる必要はない。
【００４１】
更に、第１決定手段は、復号化音声データに加算されるべき残響及び／又はクロストーク量が決定されることが基づく復号化音声データの特性が、可変ビットレートが復号化音声データにおいて存在するかどうかの事実を有するように適合されることが可能である。音声データについて、可変ビットレート又は一定ビットレートが選択されることが可能である。
【００４２】
更に、システムの第１決定手段は、復号化音声データに加算されるべき残響及び／又はクロストークの量が決定されることが基づく復号化音声データの特性が、復号化音声データの時間的に変化するビットストリームパラメータを含むように適合されることが可能である。
【００４３】
残響及び／又はクロストークの導入が妥当であるかどうかの判断基準としてビットストリームパラメータの時間依存性を導入することにより、生成される音声信号の品質が改善されることが可能である。
【００４４】
第１決定手段は、復号化音声データに加算されるべき残響及び／又はクロストークの量が決定されることに基づいて、復号化音声データの特性が再生されるようになっている再生条件が、復号化音声データが再生されるようになっている再生装置の種類を有するように更に適合されることが可能である。この実施形態は、ヘッドホンによるリスニングがスピーカによるリスニングに比べてクリティカルであるという本発明者の認識に基づいている。換言すれば、圧縮音声の主観的品質に関してヘッドホン再生に対してスピーカを用いる強い影響が存在する。それ故、スピーカを用いて、復号化音声データが発せられる場合に、十分な品質を達成するように残響及び／又はクロストークを加算することは頻繁には必要ない。しかしながら、ヘッドホンによる再生はよりクリティカルであるため、この場合、再生装置としてのヘッドホンに対してデータを送信する前に、音声データに残響及び／又はクロストークを加算することは、少なからず有利である。それ故、使用される再生装置の種類を考慮することにより、音声信号に加算されるべき残響及び／クロストーク量の評価の信頼性は更に改善される。
【００４５】
特に、第１決定手段は、復号化音声データに加算されるべき残響及び／又はクロストーク量が決定されることに基づいて、復号化音声データが再生されるようになっている再生条件が、復号化音声データがスピーカ又はヘッドホンにより再生されるようになっているかどうかの事実を有することが可能であるように適合されることが可能である。
【００４６】
例えば、スピーカを自動ミュートするように、ヘッドホンが今日のハイファイシステムにおいて検出されることが可能である方法と同様の方法で、スイッチがヘッドホンの圧力を検出することが可能である。代替として、コンパクトなＭＰ３プレーヤーは、ヘッドホンが又はプレーヤーが他の装置に接続されているかどうかをヘッドホンの出力において、それが認識することができるインピーダンスから判定することができる。
【００４７】
更に、第１決定手段は、復号化音声データに加算されるべき残響及び／又はクロストーク量が決定されることに基づいて、復号化音声データが再生されるようになっている再生条件が、復号化音声データが再生されるようになっている環境の必然的な残響量を有することが可能であるように、適合されることが可能である。換言すれば、残響及び／又はクロストークの加算が必要であるかどうかの判定は、音声信号が発せられるようになっている環境又は音響特性の測定データを考慮することにより行われることが可能である。例えば、殆ど自然な残響が殆ど生じないドライな環境においては、音声データの主観的品質を改善するように音声信号に人為的な残響を加算することは有利である可能性がある。他方で、十分な自然な残響が、環境の物理的特性のために既に存在している場合、残響を加算することは不要であり得る。それ故、スピーカが残響装置として用いられる場合に、残響及び／又はクロストークが加算されることがまた、可能である。
【００４８】
例えば、マイクロホンが、スピーカにおいて再生される音声に応答して、環境（例えば、部屋）の残響を検出するように受信器（ラジオ／アンプ）において統合されることが可能である。
【００４９】
第１決定手段は、復号化音声データに加算されるべき残響の振幅及び／又は遅延時間を決定するように適合されることが可能である。残響の振幅及び遅延時間についての異なるパラメータの別個の調節は、残響特性の調節の更なる微調節が発せられる音声データの主観的品質を改善することを可能にする。
【００５０】
更に、本発明のシステムは、出力音声データを生成するように復号化音声データに第２決定手段により決定された残響及び／又はクロストーク量を加算するように適合される加算ユニットを有することが可能である。それ故、復号化ユニットに結合された加算ユニットは、送信される音声信号の品質を最適化するように必要な残響及び／又はクロストーク量を加算する。
【００５１】
更に、ヘッドホンは、本発明のシステムに含まれることが可能であり、ヘッドホンは、出力音声データに基づいて音響波を生成して発するように適合された加算ユニットに接続されることが可能である。それ故、ヘッドホンの場合にしばしば存在する臨界条件下でまた、音声信号の十分な主観的品質が、残響及び／又はクロストークを加算することにより達成されることが可能である。
【００５２】
本発明のシステムは、特に、半導体集積回路のような集積回路として実現されることが可能である。特に、そのシステムは、シリコン技術で製造されるモノリシックＩＣとして実現されることが可能である。
【００５３】
本発明のシステムは、携帯型音声プレーヤー、インターネットラジオ装置、ＤＶＤプレーヤー（好適には、ＭＰ３再生機能を有する）、ＭＰ３プレーヤー等として実現されることが可能である。
【００５４】
下記において、音声データを処理する方法の実施形態について説明する。しかしながら、この実施形態はまた、音声データを処理するシステム、プログラム要素及びコンピュータ読み取り可能媒体に適用されることが可能である。
【００５５】
本発明の方法にしたがって、復号化音声データに加算されるべき残響及び／又はクロストーク量が動的に決定されることが可能である。用語“動的に”は、音声データが複数の副部分に分割されることが可能であることを意味していて、各々の副部分は、エクステント残響及び／又はクロストークが加算されるべきかどうかの決定に関連して個別に分析されることが可能である。それ故、必要な残響及び／又はクロストーク量の時間依存性決定が可能であり、それ故、特定の副部分の特性に拘わらず、一定量の残響及び／又はクロストークが加算される静的システムに比べて、かなり改善される。しかしながら、そのような静的解決方法は、本発明の範囲内に包含され、そして非常に小さい計算能力によってもまた、改善することが可能である。
【００５６】
本発明の上記の及び他の特徴については、以下に詳述する実施形態の実施例について理解され、それらの実施形態の実施例を参照して説明される。
【発明を実施するための最良の形態】
【００５７】
図に示す例示は模式的なものである。
【００５８】
以下、図１を参照するに、本発明の第１実施形態にしたがって音声データを処理するシステム１００について、詳細に示されている。
【００５９】
音声データを処理するシステム１００は、音声復号化器１０２（例えば、ＭＰ３復号化器）の形式の復号化ユニットと、残響ユニット１０６と、加算器１０９と、を有する。
【００６０】
音声復号化器１０２は、圧縮解除音声データ出力１０４において供給される復号化及び圧縮解除された音声データを生成するように音声復号化器１０２の圧縮音声データ入力１０３において供給される圧縮音声データ１０１を復号化するように適合される。更に、音声復号化器１０２は、処理された音声データの品質を示す品質パラメータ（例えば、ビットレート）が供給される品質パラメータ出力１０５を有する。音声復号化器１０２及び品質パラメータ出力１０５により、第１決定手段が備えられ、その第１決定手段は、復号化音声データが再生されるようになっている再生条件及び／又は復号化音声データの特性を決定するように適合されている。
【００６１】
残響ユニット１０６に供給される品質パラメータに基づいて、残響ユニット１０６は、圧縮解除音声データに加算されるべき残響量を決定する。それ故、残響ユニット１０６は、第２決定手段を有し、出力データを聴いているユーザにとって十分に高品質の印象を達成するように、どれ位の残響量が圧縮解除音声データに加算されるべきかを評価する。残響を加算することにより、不十分な客観的品質を有する圧縮解除音声データの主観的品質は改善されることが可能である。残響ユニット１０６は、残響入力１０７において供給される圧縮解除音声データに基づいて及び品質パラメータに基づいて、音声データに加算されるべき残響量を決定する。加算ユニット１０９の第１加算入力１１０は、音声復号化器１０２の圧縮解除音声データ出力１０４において供給される圧縮解除音声データと共に供給される。圧縮解除音声データに加算されるべき残響量を有する加算信号が残響出力１０８において供給され、その残響出力１０８は、加算ユニット１０９の第２加算入力ユニット１１１と接続されている。換言すれば、第１加算ユニット入力１１０及び第２加算ユニット入力１１１において供給される信号は、加算された残響及び圧縮解除された音響データの成分を有する操作された音声データ出力１１２を生成するように加算される。
【００６２】
図１から理解ができるように、音声復号化器１０２により復号化された圧縮解除音声データは残響付与され、残響器１０６の振幅及び／又は遅延時間は、品質パラメータ、即ち、ビットレートにより制御される。それ故、図１は、残響器１０６の振幅及び遅延レートがＭＰ３のビットレートに依存する実施形態を示している。
【００６３】
品質パラメータがビットレートから直接、導き出される図１に示す実施形態に代替して、例えば、ミッド−サイド符号化（Ｙ／Ｎ）のようなＭＰ３における他の固定パラメータが、ビットレートに付加的に又は代替として用いられることが可能である。
【００６４】
本発明の他の実施形態にしたがって、品質パラメータは、時間的に変化するビットストリームパラメータ及び／又は復号化信号をまた、分析することにより評価されることが可能である。実施例としては、ビットストリームにおけるコードブックパラメータで表されるスペクトルホールの数が多過ぎるとき、このことは、低い知覚品質を示すものであるとみなされ、残響器はオンに切り換えられる。
【００６５】
下記において、図２を参照するに、本発明の第２実施形態における音声データ処理装置２００について示されている。
【００６６】
図２から理解できるように、符号化データ２０１は、復号化音声データ２０３を供給するように、符号化データ２０１を復号化するＭＰ３復号化器２０２の入力において供給される。復号化音声データ２０３は、音声データ特性パラメータ２０８、即ち、音声データのビットレートを評価するために音声データ分析ユニット２０４に供給される。この音声データ特性パラメータ２０８は、音声データのビットレートに基づいて第１残響の寄与を決定するために第１決定サブユニット２０６に供給される。それ故、加算ユニット２１２に供給される第１残響寄与信号２１０が生成される。
【００６７】
同時に、環境状態分析ユニット２０５は、環境状態、即ち、音声データが発せられる環境の物理的特性を分析する。例えば、音声テスト信号を発することにより、及び環境の自然残響特性を評価するようにテスト信号に応答する応答信号を検出することにより、環境が十分な自然残響を与えないことが検出されることが可能である。前記環境残響特性を反映する環境状態パラメータ２０９が第２決定サブユニット２０７に対して供給され、その第２決定サブユニット２０７は第２残響寄与信号２１１を決定する。換言すれば、前記残響状態信号２１１は、復号化音声データ２０３が再生されるようになっている決定された再生状態を表す。この信号２１１はまた、加算ユニット２１２に対して供給される。それ故、加算ユニット２１２は、環境状態分析ユニット２０５により与えられる環境状態に基づいて及び音声データ分析ユニット２０４により与えられる音声データ情報に基づいて、残響の量を復号化音声データ２０３（ＭＰ３復号化器２０２により加算ユニット２１２に供給される）に加算される。加算ユニット２１２の出力において、環境に対して音声データを発するために音声再生手段（例えば、ヘッドホン）２１４に供給される復号化音声データ２１３を有する残響が供給される。
【００６８】
下記においては、本発明が基づくＭＰ３音声品質評価における部屋の音響の効果について説明する。
【００６９】
圧縮音声の主観的品質に関してヘッドホン再生に対してスピーカを用いる影響は大きい。下記で、スピーカの再生において自然に導入されることが可能である残響及びクロストークの両方は、符号化アーティファクトを有効に隠すことが可能である。ダブルブラインドリスニングテストにおいて、対象者がレーティングされたＭＰ３は複数のビットレートで抜粋を符号化した。それらの抜粋はヘッドホンにおいて再生された、残響及びクロストークは、スピーカによる再生をシミュレートするように、人為的に導入されることが可能であり、それ故、それらの影響は別個に評価されることが可能である。実験結果は、残響付与された抜粋の品質スコアは、６４ｋｂｐｓのビットレートについて対応する‘ドライな’抜粋より、かなり高いことを示している。それらの差は、低ビットレートにおいて特に著しい。このことは、残響リスニング条件において、符号化アーティファクトは可聴性が小さくなることを示している。
【００７０】
音声符号化器及び復号化器（コーデック）両方は、スピーカ及び／又はヘッドホン再生によるリスニングテストに基づいて評価されることが可能である。しばしば、符号化アーティファクトの聴覚は再生条件に強く依存する。ここで、それらの違いの原因について、ヘッドホン再生システムに段階的に部屋の音響の特徴を導入することにより説明する。クロストーク及び残響の両方は、別々に又は一緒に導入されることが可能である。
【００７１】
ヘッドホンによるリスニングは、スピーカによるリスニングに比べてよりクリティカルである。このことは、種々の抜粋、ビットレート及び対象者に亘って一貫性がある。ヘッドホンによる音声再生と異なり、スピーカによる音声再生はクロストークをもたらし、即ち、左側のスピーカからの音声は右側の耳に達し、その逆もまた、然りである。更に、初期に、反射及び残響がもたらされる。クロストークは、一のチャネルについて、他のチャネルの重要な寄与を加算することにより強い符号化エラーをマスキングする可能性を有する。残響は、低周波数を除くチャネルにおいてのみ、非常に弱い相関関係がある。残響は音声の空間的寄与に強く影響する。更に、残響は、時間について音声信号のエネルギーを分配する傾向を有する。残響及びクロストークの影響についてはまた、個別に及び一緒に、以下で説明する。
【００７２】
スピーカによる再生について、シミュレートすることができる。ヘッドホンにおける残響の導入は、例えば、符号化アーティファクトの可聴性への影響を調べるように、クロストークを導入することなく人為的に行われることが可能である。このことは、対象者の両方の耳が１つのスピーカを各々有する別個の部屋に存在することが必要であるために、何れの標準的なリスニングルームに対応しない。クロストークはまた、残響又は初期の反射を導入することなく、ヘッドホンに導入されることが可能である。このことは、無響室内のリスニングに対応し、その無響室はまた、標準的なリスニングルームとは全く異なっている。残響及びクロストークの両方が、別個に及び一緒に容易に導入されるというヘッドホンによる再生の有利点は、後者は、図３に示すように、別個のシステムのカスケードであるように構成されることである。
【００７３】
下記において、図３を参照して、残響及びクロストークを導入するためのスキームを示している模式図３００について説明する。
【００７４】
第１音声信号ｘＬ（“左”）が第１入力３０１において供給され、そして第２音声信号ｘＲ（“右”）が第２入力３０２において供給される。クロストーク導入段階３０５は、第１入力３０１及び第２入力３０２において供給される信号にクロストークを導入する。残響導入段階３０６は、第１入力３０１及び第２入力３０２において供給される信号に残響を導入する。それ故、第１出力３０３において供給される信号ｙＬ（“左”）及び第２出力３０４において供給される信号ｙＬ（“右”）はクロストーク及び残響の寄与を加算する。それ故、図３は、復号化ＭＰ３コンテンツｘＬ、ｘＲに適用される後処理を示している。クロストークシステム３０５及び残響システム３０６も同様に、別個に実施されることが可能である。図３のカスケード化システムにおいては、全てのクロストークフィルタＣＬＬ、ＣＬＲ、ＣＲＬ、ＣＲＲについて一ではなく、２つの残響フィルタＲＬ、ＲＲのみが用いられる。これはよい近似であり、それについては、国際公開第２００２／０９８１７２号パンフレットを参照されたい。２つのシステムのカスケード化の他の結果は、それらを並列に用いるのではなく、残響フィルタはクロストークフィルタにより巻き付けられていることである。これは、残響付与される音声のスペクトルに僅かに影響する。クロストークフィルタは時間的に強くフォーカシングされるため、時間的特徴は大きく変わることを前提としていない。他方、２つのシステム３０５、３０６は、変更を伴わずに結合され、別個のシステム及び一緒のシステムのよい比較を可能にしている。
【００７５】
クロストークの後に残響を導入することはまた、左及び右の耳に対する残響が、次に説明するように、統計的に独立している好ましい特性を維持する。ＭＰ３符号化／復号化は、残響及びクロストークの付加に先立って、行われる。オリジナルのものを有する全てのオーディオトラックは、クリッピングを回避するように好適にスケーリングされる。
【００７６】
クロストークは、スピーカによる再生をシミュレートするように導入されることが可能である。信号ｘＬについては、２つの基本的な聴覚合図、即ち、両耳間の時間遅延（ＩＴＤ）及び両耳間の強度差（ＩＩＤ）が、左のスピーカにおける再生と関連して導入される。ＩＩＤ及びＩＴＤは、リスナーの右及び左の耳に達する信号間の差を表す。それらは、Ｗｏｏｄｗｏｒｔｈｓモデル（参考文献、Ｃ．Ｐ．Ｂｒｏｗｎ  ａｎｄ  Ｒ．Ｏ．Ｄｕｄａ，“Ａ  Ｓｔｒｕｃｔｕａｌ  Ｍｏｄｅｌ  ｆｏｒ  Ｂｉｎａｕｒａｌ  Ｓｏｕｎｄ  Ｓｙｎｔｈｅｓｉｓ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．６，Ｎｏ．５，Ｓｅｐｔｅｍｂｅｒ  １９９８を参照されたい）を用いる球状頭部モデルから導き出されることが可能であり、Ｍａｔｌａｂ（ＭａｔｈＷｏｒｋｓ  Ｉｎｃ．Ｃｏｍｐａｎｙ  Ｉｎｆｏ，ｈｔｔｐ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏｍ／ｃｏｍｐａｎｙ／を参照されたい）において実施されることが可能である。球状頭部モデルは、一般に、既知であり、それ故、容易に再生されることが可能である。人間の頭部から測定される頭部伝達関数（ＨＲＴＦ）は、ＩＴＤ及びＩＩＤより多い聴覚合図を有し、臨界局在化タスクにおいて優れた精度を与えるとして既知である。正確な局在化ではなく、符号化アーティファクトを隠すことを扱うために、その選択の実施は、大きい範囲に対してそれらの結果に影響するようには予測されない。秒で表されるＩＴＤは、次式（１）により演算され、
ＩＴＤ＝（ａ／ｃ）（πα／１８０＋ｓｉｎ（πα／１８０））    （１）
ここで、ａは人間の頭部の半径０．０８７５ｍを表し、ｃは空気中の音速３４３ｍ／ｓｅｃであり、αはスピーカ角度３０°である。これは、開角６０°を有する標準的なステレオのスピーカの設定に相当する。ＩＬＤは、単一のポールとして実施され、単一のゼロフィルタは、１ｋＨｚ以上の周波数について、同じ側の耳に僅かなブーストを、反対側の耳に減衰を与える。
【００７７】
右のスピーカは、左のスピーカと同じ方法でシミュレートされることが可能であり、−３０°の角度αを選択されている。それらの信号全ての加算により、図３に示すように、ステレオのスピーカによる再生について与えられるのと近似的に同じ信号が、ヘッドホンを通して与えられる。
【００７８】
残響は、パラメータに対して十分な制御を有するように、人為的に生成されることが可能である。残響は、左及び右の耳に、ＲＬ及びＲＲを有する音声信号をもたらすことにより抜粋に適用されることができ、それらの音声信号は、指数関数的に減衰するエンベロープを有する独立したホワイトノイズシーケンスを有する（参照文献、Ｍａｒｔｉｎ，Ｄ．Ｖａｎ  Ｍａｅｒｃｋｅ，ａｎｄ  Ｊ−Ｐ．Ｖｉａｎ，“Ｂｉｎａｕｒａｌ  ｓｉｍｕｌａｔｉｏｎ  ｏｆ  ｃｏｎｃｅｒｔ  ｈａｌｌｓ：Ａ  ｎｅｗ  ａｐｐｒｏａｃｈ  ｆｏｒ  ｔｈｅ  ｂｉｎａｕｒａｌ  ｒｅｖｅｒｂｅｒａｔｉｏｎ  ｐｒｏｃｅｓｓ”，Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ａｍ．，ｖｏｌ．９４，ｎｏ．６，ｐｐ．３２５５−３２６４，Ｄｅｃｅｍｂｅｒ  １９９３を参照されたい）。この方法は再生のために有利である。統計的に独立したノイズシーケンスは、波長が人間の頭部の半径より大きい低周波数を除いて、残響について非常に適切なモデルである。この方法は、本発明の目的について、十分に適切であり、局在化及び自然さのような特徴に主に焦点を当てるものではない。遅延ノイズテールは、初期の反射及び後の残響の両方をモデル化する。３．４ｍｓｅｃの遅延Δは、直接経路と初期の反射との間の到達時間差に適切に対応するように、遅延ノイズテールを有するカスケードに挿入されることが可能である。直接経路対残響比は、家庭の環境においては希ではない、リスナーが残響半径のすぐ内側にいる状況をシミュレートする場合、２．１ｄＢである。０．２２秒の残響時間は、全体に亘って用いられ、そのことはリビングルームにおいては全く一般的である（参照文献、Ｍ．Ａ．Ｂｕｒｇｒｅｓｓ  ａｎｄ  Ｗ．Ａ．Ｕｔｌｅｙ，“Ｒｅｖｅｒｂｅｒａｔｉｏｎ  ｔｉｍｅｓ  ｉｎ  Ｂｒｉｔｉｓｈ  ｌｉｖｉｎｇ  ｒｏｏｍｓ”，Ａｐｐｌｉｅｄ  Ａｃｏｕｓｔｉｃｓ，ｖｏｌ．１８，ｐｐを参照されたい）。
【００７９】
下記においては、ＭＰ３音声の知覚される品質において、残響及びクロストークが有する効果を調べるために用いられることが可能であるリスニングテストのデザインについて説明している。対象者は、ＭＰＥＧ１レイヤー３符号化器により符号化された７つのステレオ抜粋に対する品質レーティングを与えるように要求される。それらの抜粋は表１に列挙されている。ＭＵＳＨＲＡリスニングテスト（文献、ＩＴＵ−Ｒ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  ＢＳ．１５３４，“Ｍｅｔｈｏｄ  ｆｏｒ  ｔｈｅ  ｓｕｂｊｅｃｔｉｖｅ  ａｓｓｅｓｓｍｅｎｔ  ｏｆ  ｉｎｔｅｒｍｅｄｉａｔｅ  ｑｕａｌｉｔｙ  ｌｅｖｅｌ  ｏｆ  ｃｏｄｉｎｇ  ｓｙｓｔｅｍｓ”，Ｊｕｎｅ  ２００１を参照されたい）において、対象者は、６４、８０及び１２８ｋｂｐｓのビットレートにおいて符号化された抜粋について音声品質をレーティングする必要があった。ＭＰ３符号化については、Ｆｒａｕｎｈｏｆｅｒ符号化器が用いられた（文献、ＭＰＥＧ  Ｌａｙｅｒ−３  ａｕｄｉｏ  ｃｏｍｐｒｅｓｓｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  ｂｙ  Ｆｒａｕｎｈｏｆｅｒ  ＩＩＳ  ａｎｄ  Ｔｈｏｍｓｏｎ  ｍｕｌｔｉｍｅｄｉａ，ｐｌｕｇ−ｉｎ  ｆｏｒ  ｃｏｏｌ−ｅｄｉｔ，１９９９  Ｓｙｎｔｒｉｌｌｉｕｍ  Ｓｏｆｔｗａｒｅ  Ｃｏｒｐｏｒａｔｉｏｎを参照されたい）。帯域幅は２２０５０Ｈｚに設定され、サンプルレートは４４１００Ｈｚであった。コーデックは一定のビットレートに設定され、設定“高速コーデック（高品質）が選択された。
【００８０】
残響の効果を調べるとき、ＭＰ３ファイルとそのＭＰ３ファイルの残響付与されたバージョンとの直接的比較は複数の聴覚的効果をもたらすことが可能である。一方で、アーティファクトは、残響のために殆ど目立たないようにされることが可能である。他方で、残響自体又は残響がもたらす空間的感覚は、レーティングに影響する可能性がある。このような後者の影響を回避するように、ＭＵＳＨＲＡテストにおける各々のレーティング条件において、対象者は、オリジナルのものと同じ方法で、即ち、残響及び／又はクロストークにより全てフィルタリングされたＭＰ３符号化抜粋とを比較する必要がある。
【００８１】
【表１】
2008513845.tif 000003
リスニングテストは、図４に示すように、６つのセッションＳ１乃至Ｓ６に分けられている。各々のセッションは７つの副実験を有し、各々は１つの抜粋０１乃至０７をカバーしている。フィルタリングされる（残響‘Ｒ’、クロストーク‘Ｃ’、組み合わせ‘Ｃ＋Ｒ’）及びフィルタリングされていない（‘−’）各々のセッションにおいて、アイテムは、複数のセッションに亘って略バランスした状態で与えられる。フィルタリングされていない内アイテム全てがセッションＳ１において与えられ、そして残響付与されたアイテム全てがセッションＳ２において与えられる場合、例えば、リスナーは、アイテムの平均品質に依存する全体的レーティングスケールを用いる傾向にあるため、応答バイアスが生じる可能性がある。図４に示すようなアイテムが与えられるとき、フィルタリングされた及びフィルタリングされていないアイテムは、応答バイアスの影響を回避するように、２つのセッションにまたがって分配される。例えば、残響付与され且つフィルタリングされていないアイテムは、セッションＳ１及びＳ２にまたがって分配されている。
【００８２】
図４における各々のエントリは、ＭＵＳＨＲＡテストにおける１つのレーティング条件を表している。各々のそのような条件について、６つの異なる抜粋のバージョンであって、３つのバージョンは上記のビットレートで符号化され、２つはローパスフィルタリングされたアンカーバージョン（３．５ｋＨｚｏｙｏｂｉ  ７ｋＨｚカットオフ周波数）であり、そして、非圧縮の抜粋と同じである１つの隠された参照である、６つの異なる抜粋のバージョンが与えられる。
【００８３】
‘Ｒ’で表されるエントリについては、非圧縮の抜粋を有する６つのバージョンが残響アルゴリズムにより処理される。
【００８４】
対象者は、対象者が要求に応じて非圧縮抜粋を聴くことができることを除いて、どのバージョンがいつでも再生されるかについての情報を与えられない。対象者が自由に切り換えることが可能である抜粋の６つの異なるバージョンについて、品質レーティングが、１００ポイントのスケールに関して与えられる必要がある。この処理は、図４におけるエントリ全てについて、繰り返される。それ故、図４は、非フィルタリングされた（‘−’）抜粋が、残響（‘Ｒ’）、クロストーク（‘Ｃ’）及び残響とクロストークの両方（‘Ｃ＋Ｒ’）を有するバージョンと共に与えられるリスニングテストセッションＳ１乃至Ｓ６を示している。
【００８５】
全てのセッションにおいて、２０乃至２９歳の１５人の対象者が参加した。対象者の誰もが既知の聴覚障害を有してはいない。Ｐｈｉｌｉｐｓ  ＳＢＣ  ＨＰ  １０００ヘッドホンが対象者にそれらの抜粋を与えるために用いられ、それらのヘッドホンは、適度にフラットな周波数応答を有する耳覆い型ヘッドホンである。等化は適用されていない。
【００８６】
下記で、リスニングテストの結果について説明している。リスニングテストの応答は分析され、悪い（０）から良い（１００）までの１００ポイントのスケールレーティングに関して図５Ａ乃至図７Ｃにおける平均オピニオンスコア（ＭＯＳ）として与えられる。
【００８７】
図５Ａ乃至図５Ｃは、異なる抜粋Ｏ１乃至Ｏ７を用いた実験についてプロットされた横軸５０１、５１１、５２１を有する図５００、５１０、５２０が、ビットレート１２８ｋｂｐｓ（図５Ａ）、８０ｋｂｐｓ（図５Ｂ）及び６４ｋｂｐｓ（図５Ｃ）について、残響を伴って（Ｏｉｒ）及び伴わないで（Ｏｉ）、ｉ＝１，２，．．．，７に対して、示している。縦軸５０２、５１２、５２２に沿って、平均オピニオンスコア（ＭＯＳ）が異なる実験のそれぞれについて、プロットされている。
【００８８】
図６Ａ乃至図６Ｃは、異なる抜粋Ｏ１乃至Ｏ７を用いた実験についてプロットされた横軸６０１、６１１、６２１を有する図６００、６１０、６２０が、ビットレート１２８ｋｂｐｓ（図６Ａ）、８０ｋｂｐｓ（図６Ｂ）及び６４ｋｂｐｓ（図６Ｃ）について、クロストークを伴って（Ｏｉｃｒｔ）及び伴わないで（Ｏｉ）、ｉ＝１，２，．．．，７に対して、示している。縦軸６０２、６１２、６２２に沿って、平均オピニオンスコア（ＭＯＳ）が異なる実験のそれぞれについて、プロットされている。
【００８９】
図７Ａ乃至図７Ｃは、異なる抜粋Ｏ１乃至Ｏ７を用いた実験についてプロットされた横軸７０１、７１１、７２１を有する図７００、７１０、６２０が、ビットレート１２８ｋｂｐｓ（図７Ａ）、８０ｋｂｐｓ（図７Ｂ）及び６４ｋｂｐｓ（図７Ｃ）について、残響及びクロストークを伴って（Ｏｉｃｒｔ）及び伴わないで（Ｏｉ）、ｉ＝１，２，．．．，７に対して、示している。縦軸７０２、７１２、７２２に沿って、平均オピニオンスコア（ＭＯＳ）が異なる実験のそれぞれについて、プロットされている。
【００９０】
また、図５Ａ乃至図７Ｃを参照するに、平均オピニオンスコア（ＭＯＳ）が、７つの抜粋及びビットレート６４ｋｂｐｓ、８０ｋｂｐｓ及び１２８ｋｂｐｓについて示されている。“＊”で示されているポイントは、ヘッドホンにより再生された所定のビットレートにおける、まさにＭＰ３ファイルである。“Ｏ”で示されているポイントは同様であるが、残響（図５Ａ乃至図７Ｃ）、クロストーク（図６Ａ乃至図６Ｃ）及び残響とクロストーク（図７Ａ乃至図７Ｃ）をそれぞれ、更に含んでいる。“Ｍｅａｎ”及び“Ｍｅａｎｐｒｏｃ”は、残響及び／又はクロストークを有する及び有しない抜粋全てに対して平均された改善を示している。
【００９１】
隠された参照（図示せず）は、一貫して高スコアを受ける。これは、対象者が彼らのタスクを実行できることを示している。図５Ａ乃至５Ｃには、リスニングテストセッションＳ１及びＳ２から得られた残響実験についての結果を示している。ＭＯＳスコアは、全ての抜粋Ｏ１乃至Ｏ７（星印）及び対応する平均‘Ｍｅａｎ’について示されている。また、加算された残響を有する抜粋Ｏ１ｒ乃至Ｏ７ｒ（円印）及び対応する平均ＭＯＳ‘Ｍｅａｎｐｒｏｃ’が示されている。例えば、図４に示すように、‘Ｏ１’のＭＯＳはセッション‘Ｓ１’から得られ、‘Ｏ１ｒ’のＭＯＳはセッション‘Ｓ２’から得られる。
【００９２】
それ故、図５Ａ乃至５Ｃには、抜粋Ｏ１乃至Ｏ７についてのＭＯＳスコア、対応する平均ＭＯＳ‘Ｍｅａｎ’、加算された残響を有する抜粋Ｏ１ｒ乃至Ｏ７ｒ及び対応する平均ＭＯＳ‘Ｍｅａｎｐｒｏｃ’が示されている。
【００９３】
残響付与された抜粋の品質スコアは、６４ｋｂｐｓのビットレートについて、対応する‘ドライな’（フィルタリングされていない）抜粋に対してより約１０乃至２０ポイント大きいことを示す一方、それらの差は、ビットレートが大きくなるにつれて、小さくなっていることを示している。大きいアーティファクトは小さいビットレートの符号化に存在し、そのことは、残響の改善効果がそれらの場合に大きいことを表している。アンカーバージョン（図示せず）は、残響の存在により影響されない。それらの結果は、符号化アーティファクトは、残響リスニング条件下で可聴性が小さくなることを示している。
【００９４】
図６Ａ乃至図６Ｃは、図５Ａ乃至５Ｃにおけるものと同じ方式で、リスニングテストセッションＳ３及びＳ４から得られるクロストークの実験についての結果を示している。スコアの平均（‘Ｍｅａｎ’、‘Ｍｅａｎｐｒｏｃ’）から、符号化アーティファクトは、クロストークがヘッドホンによるリスニングに先行して適用されるとき、あまり目立たない傾向にあることを理解することができる。クロストークを加算することによる改善は、低いビットレートにおいてさえ、残響を加算することにより得られる改善に比べて目立たない。しかしながら、抜粋４は、クロストークを加算することによりかなり改善されている。このソロが歌っている抜粋は殆どモノラルのレコーディングであり、一部のステレオ残響を含んでいる。符号化アーティファクトは、主に、この残響からもたらされ、それはクロストークシステムにより平均化されることが予想される。
【００９５】
図７Ａ乃至図７Ｃには、抜粋Ｏ１乃至Ｏ７についてのＭＯＳスコア、対応する平均ＭＯＳ‘Ｍｅａｎ’、加算されたクロストークを有する抜粋Ｏ１ｃｒｔ乃至Ｏ７ｃｒｔ及び対応する平均ＭＯＳ‘Ｍｅａｎｐｒｏｃ’が示されている。
【００９６】
図７Ａ乃至７Ｃにおいては、リスニングテストセッションＳ５及びＳ６から得られる組み合わされたクロストーク及び残響の実験について、図５Ａ乃至図５Ｃにおけるものと同じ方式で、結果が示されている。それらの改善は顕著であるが、それらの改善は残響のみを用いることから得られる改善により支配されているようにみえる。
【００９７】
‘ドライな’抜粋（星印）についてのＭＯＳは、対象者はそれらの条件において同じ信号を与えられるために、対応するビットレート及び抜粋番号について、全ての図において類似するように予想される。しかしながら、それらの結果は、図によって異なっていて、対象者は彼らのレーティングストラテジを変えたことを示している。このことは、処理されたアイテムと未処理のアイテムとの間の平均差がこの因子により影響されることを回避するようなバランスをとった実験デザインの重要性を強調している。
【００９８】
図７Ａ乃至図７Ｃには、抜粋Ｏ１乃至Ｏ７についてのＭＯＳスコア、対応する平均ＭＯＳ‘Ｍｅａｎ’、加算された残響及びクロストークを有する抜粋Ｏ１ｃｃｒ乃至Ｏ７ｃｃ及び対応する平均ＭＯＳ‘Ｍｅａｎｐｒｏｃ’が示されている。
【００９９】
まとめると、残響及びクロストークは、圧縮音声の主観的品質において重要な影響を有する。残響が復号化ＭＰ３ファイル及び対応するオリジナルの信号に適用されるとき、ＭＯＳは、符号化アーティファクトが目立たなくなることを益々示すようになる。それらの実験は、球状頭部のクロストークが加算された抜粋を用いて繰り返された。同様に、クロストーク及び残響の両方を用いて、実験が行われた。クロストークを導入することは、残響を導入することに比べて効果は小さい。それらの結果は、ヘッドホンによるリスニングがスピーカによるリスニングに比べてよりクリティカルであることを示す音声符号かアルゴリズムの主観的評価についての意味合いを有するものである。
【０１００】
換言すれば、音声データを処理するシステムは、復号化ユニットと、第１決定手段及び第２決定手段を有する決定ユニットとを有する。復号化ユニットは、復号化音声データを生成するように符号化音声データを復号化するように適合される。第１決定手段は、復号化音声データが再生されるようになっている再生条件及び／又は復号化音声データの特性を決定するように適合され、第２決定手段は、復号化音声データが再生されるようになっている決定された再生条件及び／又は復号化音声データの決定された特性に基づいて、復号化音声データに加算されるようになっている残響量及びクロストーク量を決定するように適合される。
【図面の簡単な説明】
【０１０１】
【図１】本発明の第１実施形態にしたがって音声データを処理するシステムの模式図である。
【図２】本発明の第２実施形態にしたがって音声データを処理するシステムの模式図である。
【図３】残響及びクロストークを一緒に加算するための信号の混合について示す模式図である。
【図４】残響、クロストーク及び残響とクロストークの両方と共に、フィルタリングされていない抜粋が与えられているリスニングテストセッションを表すマトリクスを示す図である。
【図５Ａ】音声データの主観的品質に対する残響の影響を示す図である。
【図５Ｂ】音声データの主観的品質に対する残響の影響を示す図である。
【図５Ｃ】音声データの主観的品質に対する残響の影響を示す図である。
【図６Ａ】音声データの主観的品質に対するクロストークの影響を示す図である。
【図６Ｂ】音声データの主観的品質に対するクロストークの影響を示す図である。
【図６Ｃ】音声データの主観的品質に対するクロストークの影響を示す図である。
【図７Ａ】音声データの主観的品質に対する残響及びクロストークの影響を示す図である。
【図７Ｂ】音声データの主観的品質に対する残響及びクロストークの影響を示す図である。
【図７Ｃ】音声データの主観的品質に対する残響及びクロストークの影響を示す図である。
【図１】
2008513845.tif 000004
【図２】
2008513845.tif 000005
【図３】
2008513845.tif 000006
【図４】
2008513845.tif 000007
【図５Ａ】
2008513845.tif 000008
【図５Ｂ】
2008513845.tif 000009
【図５Ｃ】
2008513845.tif 000010
【図６Ａ】
2008513845.tif 000011
【図６Ｂ】
2008513845.tif 000012
【図６Ｃ】
2008513845.tif 000013
【図７Ａ】
2008513845.tif 000014
【図７Ｂ】
2008513845.tif 000015
【図７Ｃ】
2008513845.tif 000016
【国際調査報告】
2008513845.tif 000017
2008513845.tif 000018
2008513845.tif 000019