(57)【要約】【課題】ＭＰＥＧ−１レイヤ３オーディオデータにて左側チャンネルと右側チャンネル信号間の類似性を示すモード情報を利用して後処理を行う方法及び装置を提供する。【解決手段】２チャンネル間の信号差が小さい場合は一方のチャンネルの高周波数成分だけを復元し、この復元された高周波数成分を他方のチャンネルの高周波数成分復元に利用する第１モードと、両チャンネル間の信号差が大きい場合は左側チャンネルと右側チャンネル別に１フレームずつ飛び越しつつ高周波数成分を復元し、飛び越したフレームの高周波数成分は前後フレームの高周波数成分を補間して復元する第２モードを選択して少計算量で高周波数成分を復元するオーディオデコーディング法及び装置。【選択図】　図４
2004046179.tif 000002
【特許請求の範囲】
【請求項１】
エンコーディングされたオーディオデータデコーディング時に高周波数成分を復元する方法において、
第１チャンネル信号及び第２チャンネル信号間の連関性についての情報を含んでいるモード情報を利用して高周波数成分を復元する高周波数成分の復元法。
【請求項２】
前記モード情報が両チャンネル間の差が大きいことを示す値である場合には、
（ａ）第１チャンネルと第２チャンネル別に１フレームずつ飛び越しつつ高周波数成分を復元する段階と、
（ｂ）飛び越したフレームの高周波数成分は第１チャンネルと第２チャンネル別に前後フレームの高周波数成分を補間して復元することを特徴とする請求項１に記載の高周波数成分の復元法。
【請求項３】
前記モード情報が両チャンネル間の差が少ないことを示す値である場合には、
（ａ）第１チャンネルの高周波数成分を復元する段階と、
（ｂ）第２チャンネルの高周波数成分は前記第１チャンネルの高周波数成分をそのまま利用するか、所定の補正をして復元することを特徴とする請求項１に記載の高周波数成分の復元法。
【請求項４】
前記エンコーディングされたオーディオデータは、
ＭＰＥＧ−１レイヤ３オーディオデータであることを特徴とする請求項１に記載の高周波数成分の復元法。
【請求項５】
（ａ）エンコーディングされたオーディオデータを入力されてデコーディングし、第１チャンネル及び第２チャンネルのオーディオ信号にして出力する段階と、
（ｂ）前記オーディオデータにて第１チャンネル信号及び第２チャンネル信号間の連関性についての情報を貯蔵しているモード情報を求める段階と、
（ｃ）前記求めたモード情報が前記第１チャンネル信号及び第２チャンネル信号間に連関性が大きいことを示すジョイントステレオモード値ならば、前記第１チャンネルまたは前記第２チャンネルのうち一つだけを選択して高周波数成分を復元し、選択していないチャンネルの高周波数成分は前記選択して生成した高周波数成分に所定の補正をして復元する段階と、
（ｄ）前記選択して生成された一方のチャンネルの高周波数成分と選択したチャンネルの前記デコーディングされたオーディオ信号とを合わせて一方のチャンネルに出力し、他方のチャンネルには補正された前記高周波数成分と選択されていないデコーディングされたオーディオ信号とを合わせて出力する段階とを含む高周波数成分を復元したオーディオデコーディング法。
【請求項６】
前記エンコーディングされたオーディオデータは、
ＭＰＥＧ−１レイヤ３オーディオデータであることを特徴とする請求項５？４に記載の高周波数成分を復元したオーディオデコーディング法。
【請求項７】
前記（ｃ）段階の他方のチャンネルの高周波数成分は、
前記生成した他方のチャンネルの高周波数成分を同一に使用することを特徴とする請求項５に記載の高周波数成分を復元したオーディオデコーディング法。
【請求項８】
エンコーディングされたオーディオデータを入力されてデコーディングしてオーディオ信号にして出力するオーディオデコーダと、
前記入力されたエンコーディングオーディオデータを分析してモード情報値を捜し出すモード情報分析部と、
前記モード情報値により各チャンネルについての高周波数成分を復元する高周波数成分生成部と、
前記デコーディングされたオーディオ信号に前記生成された高周波数成分を合わせて出力するオーディオ合成部とを含む高周波数成分を復元したオーディオデコーディング装置。
【請求項９】
前記エンコーディングされたオーディオデータは、
ＭＰＥＧ−１レイヤ３オーディオデータであることを特徴とする請求項８に記載の高周波数成分を復元したオーディオデコーディング装置。
【請求項１０】
前記高周波数成分生成部は、
前記捜し出したモード情報値が前記第１チャンネル信号と前記第２チャンネル信号間に連関性のないことを示すステレオモード値ならば、左側チャンネルと右側チャンネル別にそれぞれ１フレームずつ飛び越しつつ高周波数成分を復元し、飛び越したフレームの高周波数成分は左側チャンネルと右側チャンネル別に前後フレームの高周波数成分を補間して復元することにより前記第１チャンネル信号と前記第２チャンネル信号の高周波数成分をどちらも生成し、前記捜し出したモード情報値がジョイントステレオモード値ならば、一方のチャンネルの高周波数成分だけを生成して他方のチャンネルの高周波数成分は前記生成した高周波数成分に所定の補正をして生成することを特徴とする請求項８に記載の高周波数成分を復元したオーディオデコーディング装置。
【請求項１１】
請求項５に記載された方法をコンピュータで実行するためのプログラムを記録したコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、オーディオ後処理において計算量を減らす方法及び装置に係り、具体的にはＭＰＥＧ−１レイヤ３オーディオにおいてデコーダで検出されたステレオモード情報を利用し、２チャンネル間の信号差が小さい場合は一方のチャンネルの高周波数成分だけを復元してこの復元された高周波数成分を他方のチャンネルの高周波数成分復元に利用する第１モードと、２チャンネル間の信号差が大きい場合は左側チャンネルと右側チャンネル別に１フレームずつ飛び越しつつ高周波数成分を復元し、飛び越したフレームの高周波数成分は前後フレームの高周波数成分を補間して復元する第２モードとに分け、場合により前記モードを選択して高周波数成分を復元する方法及び装置に関する。
【０００２】
【従来の技術】
ＭＰＥＧ−１レイヤ３のオーディオコーディング法において、さらに効率的にデータを圧縮するために心理音響モデルを利用して人の耳に聞こえない高周波数成分には少ないビットを割り当てる。それにより圧縮率は良くなるものの高周波数領域の成分は損失され、かような高周波数領域の損失により音色が変わって明瞭度が低下し、押さえ付けられるか鈍い音が出るようになる。従って、原音の音色を忠実に再生して明瞭度を高めるために、損失された高周波数成分を復元する後処理音質改善法が要求される。
【０００３】
しかし、既存のさまざまな後処理音質改善法は音質改善効果にもかかわらず、後処理法を行う時に計算量が過度になる問題点がある。最もよく知らされた後処理音質改善法であるＳＢＲ（ＳｕｂＢａｎｄ　Ｒｅｐｌｉｃａｔｉｏｎ）法はＭＰＥＧ−１レイヤ３デコーダにて行われる計算量の２倍ほどの計算量が要求される。
【０００４】
特許文献１では、非高周波と雑音結合を有した周波数スペクトルとから高周波分解能を得るためにタイムドメインにてデコーディングされた音声信号を提供する後処理法を開示している。
【０００５】
このために、ＦＦＴ（Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）によりデコーディングされたタイムドメイン信号を周波数ドメイン信号に変換する段階、前記周波数ドメイン信号から撹乱周波数成分を検出してエネルギー分布を分析する段階、前記撹乱周波数成分についての抑圧量を検出する段階、ポストフィルタリングを制御する段階及びポストフィルタリングにより変換されたデータを逆変換する段階を備える。
【０００６】
しかし、先行技術は音声及びオーディオデコーディング時にデコーディングされた音声の知覚品質を向上させるための音声デコーダ用の後処理法に関するものであり、高周波成分の分解能を高めるためという目的は似ているが、周波数スペクトルを分析し、高周波解像度フィルタリングを使用して前記目的を実現するものであって本発明とは差がある。そして、前記後処理法を行う時に計算量が減る効果も得られない。
【０００７】
【特許文献１】
韓国特許公開２０００−７５９３６号公報
【０００８】
【発明が解決しようとする課題】
前記の問題を解決するために本発明では、従来の後処理法で要求される過度な計算量を減らすために、ＭＰＥＧ−１レイヤ３オーディオデータにて左側チャンネルと右側チャンネル信号間の類似性を示すモード情報を利用し、両チャンネル間の信号差が小さい場合は一方のチャンネルの高周波数成分だけを復元し、この復元された高周波数成分を他方のチャンネルの高周波数成分復元に利用する第１モードと、両チャンネル間の信号差が大きい場合は左側チャンネルと右側チャンネル別に１フレームずつ飛び越しつつ高周波数成分を復元し、飛び越したフレームの高周波数成分は前後フレームの高周波数成分を補間して復元する第２モードとに分け、場合により前記モードを選択して高周波数成分を復元する新しいオーディオデコーディング法及び装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
前記目的をなすために本発明では、エンコーディングされたオーディオデータデコーディング時に高周波数成分を生成する方法において、第１チャンネル信号及び第２チャンネル信号間の連関性についての情報を含んでいるモード情報を利用して高周波数成分を生成する高周波数成分生成法を提供する。
【００１０】
前記目的をなすために本発明では、エンコーディングされたオーディオデータを入力されてデコーディングし、第１チャンネル及び第２チャンネルのオーディオ信号にして出力する段階と、前記オーディオデータにて第１チャンネル信号及び第２チャンネル信号間の連関性についての情報を含んでいるモード情報を求める段階と、前記求めたモード情報が前記第１チャンネル信号及び第２チャンネル信号間に連関性が大きいことを示すジョイントステレオモード値ならば、前記第１チャンネルまたは前記第２チャンネルのうち一つだけを選択して高周波数成分を生成し、選択していないチャンネルの高周波数成分は前記選択して生成した高周波数成分に所定の補正をして生成する段階と、前記選択して生成された一方のチャンネルの高周波数成分と選択したチャンネルの前記デコーディングされたオーディオ信号とを合わせて一方のチャンネルに出力し、他方のチャンネルには補正された前記高周波数成分と選択されていないデコーディングされたオーディオ信号とを合わせて出力する段階とを含む高周波数成分を復元したオーディオデコーディング法を提供する。
【００１１】
前記目的をなすために本発明では、エンコーディングされたオーディオデータを入力されデコーディングしてオーディオ信号にして出力するオーディオデコーダと、前記入力されたエンコーディングオーディオデータを分析してモード情報値を捜し出すモード情報分析部と、前記モード情報値により各チャンネルについての高周波数成分を生成する高周波数成分生成部と、前記デコーディングされたオーディオ信号に前記生成された高周波数成分を合わせて出力するオーディオ合成部とを含む高周波数成分を復元したオーディオデコーディング装置を提供する。
【００１２】
前記目的をなすために本発明では、前記方法をコンピュータにて実行するためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供する。
【００１３】
【発明の実施の形態】
以下、添付された図面を参照して本発明による望ましい一実施例を詳細に説明する。
図１は、ＭＰＥＧ−１レイヤ３デコーダにてデコーディングされたＰＣＭ信号を後処理する装置を示した図面である。
ＭＰＥＧ−１レイヤ３のフォーマットによりエンコーディングされたオーディオデータが入力されれば（ｔｅｓｔ．ｍｐ３）、ＭＰＥＧ−１レイヤ３デコーダ１１０にて左側チャンネル成分と右側チャンネル成分とに分離してそれぞれＰＣＭ（Ｐｕｌｓｅ　Ｃｏｄｅ　Ｍｏｄｕｌａｔｉｏｎ）データ（ｔｅｓｔ．ｐｃｍ）にする。かように作り出されたＰＣＭデータを高周波成分復元部１２０に入力すれば、左側及び右側チャンネルについての高周波数成分をそれぞれ復元し、復元されたＰＣＭオーディオデータ（ｔｅｓｔ＿ａｐｐ．ｐｃｍ）を出力する。
【００１４】
前述の如く既存の後処理法では、ＭＰＥＧ−１レイヤ３デコーダを介して出力された左側チャンネル信号と右側チャンネル信号とについてそれぞれ後処理をして高周波数領域を復元する。
【００１５】
しかし、ほとんどのオーディオの場合に左側チャンネル信号と右側チャンネル信号とは重複性が多くてＭＰＥＧ−１レイヤ３エンコーディングアルゴリズムでもジョイントステレオモードである場合には、左側チャンネル信号と右側チャンネル信号とを独立的にそれぞれエンコーディングを行わない。
【００１６】
従って、左側チャンネル信号と右側チャンネル信号の復元された高周波数成分は互いに似ていて重複性があるので、左側チャンネル信号と右側チャンネル信号とについてそれぞれ後処理をするのは不要な計算量を増やす短所がある。
【００１７】
図２は、本発明の後処理装置の図面である。
ＭＰ３デコーダ２１０は、ＭＰＥＧ−１レイヤ３オーディオ信号を入力されてデコーディングしてＰＣＭ信号にして出力する。ＭＰ３オーディオ信号はモード情報を含んでいる。従って、モード情報分析部２２０は、入力されるＭＰ３オーディオにてモード情報を分析してその値を高周波数成分生成部２３０に伝達する。
【００１８】
高周波数成分生成部２３０は、前記モード情報値により各チャンネルについての高周波数成分を生成する。モード情報が左側チャンネル信号と右側チャンネル信号間の類似性の濃厚なジョイントステレオモード値であるのか、両チャンネル間の類似性がなくて差の大きいステレオモード値であるのかによりそれぞれ異なる方法を使用して高周波数成分を作り出す。高周波数成分の生成過程は従来の高周波数成分の生成過程による。
【００１９】
もしモード値がジョイントステレオモード（以下、ＭＯＤＥ１）ならば、左側チャンネル信号と右側チャンネル信号とが類似の場合であるので、一方のチャンネルの高周波数成分だけ生成し、他方のチャンネルの高周波数成分は前記生成された一方のチャンネルの高周波数成分を利用して作り出す。例えば、左側チャンネルにて復元した高周波数成分に両チャンネル間の類似度による補正値をかけて右側チャンネルの高周波数成分として適用する。類似性が互いに濃厚なのでかようにしても音質の低下がほとんどない。
【００２０】
そして、もしモード値がステレオモード（以下、ＭＯＤＥ２）ならば、左側チャンネル信号と右側チャンネル信号との差が大きいためにチャンネル間の連関性がないので、それぞれのチャンネルの高周波数成分を別々に生成して復元する。この場合、左側チャンネルと右側チャンネル別に１フレームずつ飛び越しつつ高周波数成分を復元し、飛び越したフレームの高周波数成分は左側チャンネルと右側チャンネル別に前後フレームの高周波数成分を補間して復元する。前記ＭＯＤＥ２については図５を参照して後述する。
【００２１】
オーディオ合成部２４０は、デコーディングされたＰＣＭ信号に復元された高周波数成分を合わせて出力する。
図３は、ＭＰＥＧ−１レイヤ３オーディオストリームのフォーマットである。ＭＰＥＧ−１レイヤ３オーディオストリームは、オーディオ復号単位（ＡＡＵ：Ａｕｄｉｏ　Ａｃｃｅｓｓ　Ｕｎｉｔ）３００より構成されているが、ＡＡＵ３００は、一つ一つ単独に復号化できる最小単位であって常に一定のサンプル数のデータを圧縮して載せている。ＡＡＵ３００は、ヘッダ３１０とエラーチェック（ＣＲＣ：Ｃｙｃｌｉｃ　Ｒｅｄｕｎｄａｎｃｙ　Ｃｈｅｃｋ）３２０、オーディオデータ３３０及び補助データ３４０より構成される。
【００２２】
ヘッダ３１０には同期ワードＳＹＮＣＷＯＲＤ、ＩＤ情報、階層情報、保護ビットの有無情報、ビット率インデックス情報、サンプリング周波数情報、パッディングビットの有無情報、個別用途ビット、モード情報、モード拡張情報、著作権情報、原本であるのか複写本であるのかの情報及びエンファシス情報が入っている。
【００２３】
ＣＲＣ３２０は選択事項であり、この有無はヘッダ３１０にて定義されて長さは１６ビットである。
オーディオデータ３３０は、圧縮されたオーディオデータが入っていく部分である。
補助データ３４０は、オーディオデータ３３０の終わりが一つのＡＡＵの端に達しない場合に残った部分をいい、ＭＰＥＧオーディオ以外の任意データが挿入されうる。
【００２４】
本発明の後処理法はそれらのうちからモード情報と左側チャンネル信号と右側チャンネル信号との差情報とを利用して各チャンネル間の連関性いかんを判断し、それにより高周波数成分を復元する。
【００２５】
図４は、本発明の後処理法の図面である。
新しい後処理法はまず、ＭＰＥＧ−１レイヤ３オーディオをデコーディングしてＰＣＭ信号にして出力する（４１０）。そして、これと共にモード情報を得る（４２０）。前記モード情報が左側チャンネル信号と右側チャンネル信号間の類似性の濃厚なジョイントステレオモード値であるのか、両チャンネル間の類似性がなくて差の大きいステレオモード値であるのか判断する（４３０）。
【００２６】
もし前記判断結果、ＭＯＤＥ１ならば左側チャンネル信号と右側チャンネル信号とが類似の場合であるので、一方のチャンネルの高周波数成分だけ生成して（４６０）、他方のチャンネルの高周波数成分はこれを利用して作り出す（４７０）。例えば、左側チャンネルにて復元した高周波数成分を右側チャンネルの高周波数成分としてそのまま適用するか、左側チャンネル信号と右側チャンネル信号との差情報を利用して若干の修正値をかけて得る（４７０）。修正値は、例えば一定の定数でもありうる。類似性が互いに濃厚なので、かようにしても音質の低下がほとんどない。最後にデコーディングされたＰＣＭ信号に復元された高周波数成分を合わせて出力する（４８０）。
【００２７】
前記判断の結果、ＭＯＤＥ２ならば左側チャンネル信号と右側チャンネル信号との差が大きいためにチャンネル間の連関性がないので、それぞれのチャンネルの高周波数成分を別々に生成して復元する（４４０）。その場合、左側チャンネルと右側チャンネル別に１フレームずつ飛び越しつつ高周波数成分を復元し、飛び越したフレームの高周波数成分は左側チャンネルと右側チャンネル別に前後フレームの高周波数成分を補間して復元する。最後にデコーディングされたＰＣＭ信号に復元された高周波数成分を合わせて出力する（４５０）。
【００２８】
一般的にほとんどのオーディオの場合、ＭＯＤＥ１が適用される。すなわち、左側チャンネル信号と右側チャンネル信号とが似ているので、かような方式が適用される場合が多く、計算量が半分に減りうる。そして、１２８ｋｂｐｓ以上の高い伝送率を有したオーディオ信号にて左側チャンネル信号と右側チャンネル信号との差が大きくてそれぞれコーディングしなければならない場合、すなわちＭＯＤＥ２の場合にはオーディオ後処理がチャンネル別にそれぞれ適用されねばならないが、かような場合にもＭＯＤＥ２を利用して計算量を減らせる。
【００２９】
新しい後処理法は、ＭＰＥＧ−１レイヤ３デコーダにて検出されたモード情報を利用し、両チャンネル間の類似性の濃厚なＭＯＤＥ１の場合であるのか、両チャンネル間の差の大きいＭＯＤＥ２であるのかについて判断する。
かようにして復元された高周波数成分が左側チャンネル信号と右側チャンネル信号とに加えられて出力される。
【００３０】
図５は、右側チャンネルの高周波数成分復元をする方法を示した図面である。まず、左側チャンネルの高周波数成分を作り出し、もしモード情報がＭＯＤＥ１値ならば、生成した左側チャンネルの高周波数成分を右側チャンネルの高周波数成分生成に使用し、それとも右側チャンネルの高周波数成分は左側チャンネルの高周波数成分と関係なく別個に生成する。
【００３１】
図６は、両チャンネル間の差が大きい場合（ＭＯＤＥ２）の高周波数を復元する方法を示した図面である。
すなわち、図４にて左側及び右側チャンネルの高周波数成分をそれぞれ生成する段階（４４０）を説明した図面である。この場合、左側チャンネルと右側チャンネル別に１フレームずつ飛び越しつつ高周波数成分を復元する。すなわち、時間ｔ１である時のフレームにて左側チャンネルの高周波数成分を復元し、時間ｔ２である時のフレームにて右側チャンネルの高周波数成分を復元する。ｔ３、ｔ４、ｔ５…である時もチャンネル別に前記方法を反復的に行う。
【００３２】
この時、時間ｔ１である時のフレームにて左側チャンネルの高周波数成分及び右側チャンネルの高周波数成分をそれぞれＬｔ１、Ｒｔ１と言い、同じ方法で時間ｔ２である時のフレームにて左側チャンネルの高周波数成分及び右側チャンネルの高周波数成分をそれぞれＬｔ２、Ｒｔ２という。
【００３３】
それにより、飛び越したフレームの高周波数成分、すなわち時間ｔ２での左側チャンネルの高周波数成分Ｌｔ２は前後フレーム、すなわちｔ１とｔ３とでの左側チャンネルの高周波数成分を補間して復元する。すなわち、Ｌｔ２＝（Ｌｔ１＋Ｌｔ３）／２である。また、ｔ３での右側チャンネルの高周波数成分Ｒｔ３はｔ２とｔ４での右側チャンネルの高周波数成分を補間して作る。すなわち、Ｒｔ３＝（Ｒｔ２＋Ｒｔ４）／２である。最後に、デコーディングされたＰＣＭ信号に前記復元された高周波数成分を合わせて出力する。
【００３４】
一方、前述の本発明の実施例はコンピュータにて実行できるプログラムで作成可能であり、コンピュータ読取り可能な記録媒体を利用して前記プログラムを動作させる汎用ディジタルコンピュータにより具現されうる。
前記コンピュータ読取り可能な記録媒体は、マグネチック貯蔵媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤＲＯＭ、ＤＶＤなど）及びキャリアウエーブ（例えば、インターネットを通した伝送）のような貯蔵媒体を含む。
【００３５】
これまで本発明についてその望ましい実施例を中心に説明した。本発明が属する技術分野にて当業者は本発明が本発明の本質的な特性から外れない範囲にて変形された形態に具現できることが理解できるであろう。従って、開示された実施例は限定的な観点でなくして説明的な観点で考慮さるべきである。本発明の範囲は前述した説明でなくして特許請求の範囲上に示され、それと同等な範囲内にある全ての差異点は本発明に含まれたものと解釈さるべきである。
【００３６】
【発明の効果】
前述のように本発明は、既存の後処理法が音質改善効果にもかかわらず計算量の過剰により実際に製品に適用され難い問題点があったが、本発明により高周波数成分を復元するにおいて計算量が半分以下に減る効果がある。
【図面の簡単な説明】
【図１】ＭＰＥＧ−１レイヤ３デコーダにてデコーディングされたＰＣＭ信号を後処理する装置を示した図面である。
【図２】本発明の後処理装置の図面である。
【図３】ＭＰＥＧ−１レイヤ３オーディオストリームのフォーマットである。
【図４】本発明の後処理法の図面である。
【図５】右側チャンネルの高周波数成分復元をする方法を示した図面である。
【図６】２チャンネル間の差が大きい場合（ＭＯＤＥ２）の高周波数を復元する方法を示した図面である。
【符号の説明】
２１０　　ＭＰ３デコーダ
２２０　　モード情報分析部
２３０　　高周波数成分生成部
２４０　　オーディオ発生部
【図１】
2004046179.tif 000003
【図２】
2004046179.tif 000004
【図３】
2004046179.tif 000005
【図４】
2004046179.tif 000006
【図５】
2004046179.tif 000007
【図６】
2004046179.tif 000008