(57)【要約】【課題】  オーディオロスレス符号化データを復号し、完全に可逆なオーディオデータを復号することができるオーディオ復号装置及びその方法を提供する。【解決手段】  符号化データを入力する入力工程と、符号化可聴領域の符号化データを復号する第１復号工程と、残渣符号化データを復号して、該第１復号工程の出力に重畳させる第２復号工程と、非可聴領域の符号化データを復号して該第２復号工程の出力に重畳させる第３復号工程と、前記復号されたオーディオデータを出力する出力工程を有することを特徴とする。【選択図】      図１
2005173201.tif 000002
【特許請求の範囲】
【請求項１】
符号化データを入力する入力手段と、
符号化可聴領域の符号化データを復号する第１復号手段と、
残渣符号化データを復号して、該第１復号手段の出力に重畳させる第２復号手段と、
非可聴領域の符号化データを復号して該第２復号手段の出力に重畳させる第３復号手段と、
前記復号されたオーディオデータを出力する出力手段を有することを特徴とするオーディオ復号装置。
【請求項２】
前記第３復号手段が周波数非可聴オーディオ符号化データを復号する周波数非可聴オーディオ符号化データ復号手段と、該第２復号手段の出力に重畳させる周波数非可聴オーディオデータ重畳手段を有することを特徴とする請求項１に記載のオーディオ復号装置。
【請求項３】
前記第３復号手段が時間非可聴オーディオ符号化データを復号する時間非可聴オーディオ符号化データ復号手段と、該第２復号手段の出力に重畳させる時間非可聴オーディオデータ重畳手段を有することを特徴とする請求項１に記載のオーディオ復号装置。
【請求項４】
前記時間非可聴オーディオ符号化データからマスカーの位置を検出するマスカー検出手段と、マスカーが復号対象か否かを判断するマスカー判断手段と、マスカー判断手段に従って時間非可聴オーディオ符号化データ復号することを特徴とする請求項３に記載のオーディオ復号装置。
【請求項５】
符号化データを入力する入力工程と、
符号化可聴領域の符号化データを復号する第１復号工程と、
残渣符号化データを復号して、該第１復号工程の出力に重畳させる第２復号工程と、
非可聴領域の符号化データを復号して該第２復号工程の出力に重畳させる第３復号工程と、
前記復号されたオーディオデータを出力する出力工程を有することを特徴とするオーディオ復号方法。
【請求項６】
前記第３復号工程が周波数非可聴オーディオ符号化データを復号する周波数非可聴オーディオ符号化データ復号工程と、該第２復号工程の出力に重畳させる周波数非可聴オーディオデータ重畳工程を有することを特徴とする請求項５に記載のオーディオ復号方法。
【請求項７】
前記第３復号工程が時間非可聴オーディオ符号化データを復号する時間非可聴オーディオ符号化データ復号工程と、該第２復号工程の出力に重畳させる時間非可聴オーディオデータ重畳工程を有することを特徴とする請求項５に記載のオーディオ復号方法。
【請求項８】
前記時間非可聴オーディオ符号化データからマスカーの位置を検出するマスカー検出工程と、マスカーが復号対象か否かを判断するマスカー判断工程と、マスカー判断工程に従って時間非可聴オーディオ符号化データ復号することを特徴とする請求項７に記載のオーディオ復号方法。
【請求項９】
符号化データを入力する入力ステップと、
符号化可聴領域の符号化データを復号する第１復号ステップと、
残渣符号化データを復号して、該第１復号ステップの出力に重畳させる第２復号ステップと、
非可聴領域の符号化データを復号して該第２復号ステップの出力に重畳させる第３復号ステップと、
前記復号されたオーディオデータを出力する出力ステップを有することを特徴とするオーディオ復号プログラム。
【請求項１０】
前記第３復号ステップが周波数非可聴オーディオ符号化データを復号する周波数非可聴オーディオ符号化データ復号ステップと、該第２復号ステップの出力に重畳させる周波数非可聴オーディオデータ重畳ステップを有することを特徴とする請求項９に記載のオーディオ復号プログラム。
【請求項１１】
前記第３復号ステップが時間非可聴オーディオ符号化データを復号する時間非可聴オーディオ符号化データ復号ステップと、該第２復号ステップの出力に重畳させる時間非可聴オーディオデータ重畳ステップを有することを特徴とする請求項９に記載のオーディオ復号プログラム。
【請求項１２】
前記時間非可聴オーディオ符号化データからマスカーの位置を検出するマスカー検出ステップと、マスカーが復号対象か否かを判断するマスカー判断ステップと、マスカー判断ステップに従って時間非可聴オーディオ符号化データ復号することを特徴とする請求項１１に記載のオーディオ復号プログラム。
【請求項１３】
符号化データを入力する入力工程のコードと、
符号化可聴領域の符号化データを復号する第１復号工程のコードと、
残渣符号化データを復号して、該第１復号工程のコードの出力に重畳させる第２復号工程のコードと、
非可聴領域の符号化データを復号して該第２復号工程のコードの出力に重畳させる第３復号工程のコードと、
前記復号されたオーディオデータを出力する出力工程のコードを有することを特徴とするオーディオ復号プログラムを記録したコンピュータ可読媒体。
【請求項１４】
前記第３復号工程のコードが周波数非可聴オーディオ符号化データを復号する周波数非可聴オーディオ符号化データ復号工程のコードと、該第２復号工程のコードの出力に重畳させる周波数非可聴オーディオデータ重畳工程のコードを有することを特徴とする請求項１３に記載のオーディオ復号プログラムを記録したコンピュータ可読媒体。
【請求項１５】
前記第３復号工程のコードが時間非可聴オーディオ符号化データを復号する時間非可聴オーディオ符号化データ復号工程のコードと、該第２復号工程のコードの出力に重畳させる時間非可聴オーディオデータ重畳工程のコードを有することを特徴とする請求項１３に記載のオーディオ復号プログラムを記録したコンピュータ可読媒体。
【請求項１６】
前記時間非可聴オーディオ符号化データからマスカーの位置を検出するマスカー検出工程のコードと、マスカーが復号対象か否かを判断するマスカー判断工程のコードと、マスカー判断工程のコードに従って時間非可聴オーディオ符号化データ復号することを特徴とする請求項１５に記載のオーディオ復号プログラムを記録したコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラムを記録したコンピュータ可読記録媒体及びオーディオ復号プログラムに関し、特に可逆なオーディオ復号に関するものである。
【背景技術】
【０００２】
従来からオーディオの符号化としてＡＤＰＣＭ（Ａｄａｐｔｉｖｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）などの符号化が知られている。これは構成が非常に簡便であり、広く利用されている。また、近年、オーディオ符号化に関しても新しい国際標準化が進められている。特に、ＩＳＯではＭＰＥＧオーディオ符号化の標準化が進められている。ここではＭＰＥＧ−１の符号化方式であるＭＰ−３符号化方式や高音質のＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）符号化方式等が標準化され、各社で製品化が行なわれている。ＭＰＥＧオーディオ符号化の基本的な機能については非特許文献１や非特許文献２等に記載されている。また、最近では、ＭＰＥＧ−４オーディオとして、ＡＡＣ符号化の階層符号化の標準化が行なわれた。
【０００３】
このＡＡＣ符号化方式は、非可逆な符号化方式であり、心理聴覚分析、サブバンド分割、スケールファクタ抽出などによって符号化されている。
【０００４】
その一方で、ロスレスオーディオ符号化に対する関心が高まり、ＩＳＯではＭＰＥＧの枠組みの中で、ロスレスオーディオ符号化の標準化に関する準備を開始した。さらに、近年では犯罪捜査や種々の分析のために人間の耳に本来は聞こえない音に関しても保存する必要が生じてきている。
【非特許文献１】「ポイント図解式  最新ＭＰＥＧ教科書」（株式会社アスキー発行、１９９４年）
【非特許文献２】「画像＆音声圧縮技術のすべて」（ＣＱ出版社発行、２０００年）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来のＭＰＥＧ−２などのオーディオ符号化では非可逆な符号化であり、劣化のない符号化は行なえないという問題点が生じる。また、編集や途中からの再生において、マスカーが存在しないのにテンポラリマスキングされた音が再現されないという問題があった。
【０００６】
従って、本発明は前記課題を考慮して、オーディオ符号化に際して、聴覚心理を用いた従来の符号化データを、非可逆符号化データ、残渣符号化データ、非可聴領域符号化データとして復号して、可逆な復号を行なうオーディオ復号装置、オーディオ復号方法、オーディオ復号プログラムを記録したコンピュータ可読記録媒体及びオーディオ復号プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明のオーディオ復号装置は、符号化データを入力する入力手段と、符号化可聴領域の符号化データを復号する第１復号手段と、残渣符号化データを復号して、該第１復号手段の出力に重畳させる第２復号手段と、非可聴領域の符号化データを復号して該第２復号手段の出力に重畳させる第３復号手段と、前記復号されたオーディオデータを出力する出力手段を有することを特徴とする。
【０００８】
上記課題を解決するために本発明のオーディオ復号装置は、前記第３復号手段が周波数非可聴オーディオ符号化データを復号する周波数非可聴オーディオ符号化データ復号手段と、該第２復号手段の出力に重畳させる周波数非可聴オーディオデータ重畳手段を有することを特徴とする。
【０００９】
上記課題を解決するために本発明のオーディオ復号装置は、前記第３復号手段が時間非可聴オーディオ符号化データを復号する時間非可聴オーディオ符号化データ復号手段と、該第２復号手段の出力に重畳させる時間非可聴オーディオデータ重畳手段を有することを特徴とする。
【００１０】
上記課題を解決するために本発明のオーディオ復号装置は、前記時間非可聴オーディオ符号化データからマスカーの位置を検出するマスカー検出手段と、マスカーが復号対象か否かを判断するマスカー判断手段と、マスカー判断手段に従って時間非可聴オーディオ符号化データ復号することを特徴とする。
【００１１】
上記課題を解決するために本発明のオーディオ復号方法は、符号化データを入力する入力工程と、符号化可聴領域の符号化データを復号する第１復号工程と、残渣符号化データを復号して、該第１復号工程の出力に重畳させる第２復号工程と、非可聴領域の符号化データを復号して該第２復号工程の出力に重畳させる第３復号工程と、前記復号されたオーディオデータを出力する出力工程を有することを特徴とする。
【００１２】
上記課題を解決するために本発明のオーディオ復号方法は、前記第３復号工程が周波数非可聴オーディオ符号化データを復号する周波数非可聴オーディオ符号化データ復号工程と、該第２復号工程の出力に重畳させる周波数非可聴オーディオデータ重畳工程を有することを特徴とする。
【００１３】
上記課題を解決するために本発明のオーディオ復号方法は、前記第３復号工程が時間非可聴オーディオ符号化データを復号する時間非可聴オーディオ符号化データ復号工程と、該第２復号工程の出力に重畳させる時間非可聴オーディオデータ重畳工程を有することを特徴とする。
【００１４】
上記課題を解決するために本発明のオーディオ復号方法は、前記時間非可聴オーディオ符号化データからマスカーの位置を検出するマスカー検出工程と、マスカーが復号対象か否かを判断するマスカー判断工程と、マスカー判断工程に従って時間非可聴オーディオ符号化データ復号することを特徴とする。
【００１５】
上記課題を解決するために本発明のオーディオ復号プログラムは、符号化データを入力する入力ステップと、符号化可聴領域の符号化データを復号する第１復号ステップと、残渣符号化データを復号して、該第１復号ステップの出力に重畳させる第２復号ステップと、非可聴領域の符号化データを復号して該第２復号ステップの出力に重畳させる第３復号ステップと、前記復号されたオーディオデータを出力する出力ステップを有することを特徴とする。
【００１６】
上記課題を解決するために本発明のオーディオ復号プログラムは、前記第３復号ステップが周波数非可聴オーディオ符号化データを復号する周波数非可聴オーディオ符号化データ復号ステップと、該第２復号ステップの出力に重畳させる周波数非可聴オーディオデータ重畳ステップを有することを特徴とする。
【００１７】
上記課題を解決するために本発明のオーディオ復号プログラムは、前記第３復号ステップが時間非可聴オーディオ符号化データを復号する時間非可聴オーディオ符号化データ復号ステップと、該第２復号ステップの出力に重畳させる時間非可聴オーディオデータ重畳ステップを有することを特徴とする。
【００１８】
上記課題を解決するために本発明のオーディオ復号プログラムは、前記時間非可聴オーディオ符号化データからマスカーの位置を検出するマスカー検出ステップと、マスカーが復号対象か否かを判断するマスカー判断ステップと、マスカー判断ステップに従って時間非可聴オーディオ符号化データ復号することを特徴とする。
【００１９】
上記課題を解決するために本発明のオーディオ復号プログラムを記録したコンピュータ可読媒体は、符号化データを入力する入力工程のコードと、符号化可聴領域の符号化データを復号する第１復号工程のコードと、残渣符号化データを復号して、該第１復号工程のコードの出力に重畳させる第２復号工程のコードと、非可聴領域の符号化データを復号して該第２復号工程のコードの出力に重畳させる第３復号工程のコードと、前記復号されたオーディオデータを出力する出力工程のコードを有することを特徴とする。
【００２０】
上記課題を解決するために本発明のオーディオ復号プログラムを記録したコンピュータ可読媒体は、前記第３復号工程のコードが周波数非可聴オーディオ符号化データを復号する周波数非可聴オーディオ符号化データ復号工程のコードと、該第２復号工程のコードの出力に重畳させる周波数非可聴オーディオデータ重畳工程のコードを有することを特徴とする。
【００２１】
上記課題を解決するために本発明のオーディオ復号プログラムを記録したコンピュータ可読媒体は、前記第３復号工程のコードが時間非可聴オーディオ符号化データを復号する時間非可聴オーディオ符号化データ復号工程のコードと、該第２復号工程のコードの出力に重畳させる時間非可聴オーディオデータ重畳工程のコードを有することを特徴とする。
【００２２】
上記課題を解決するために本発明のオーディオ復号プログラムを記録したコンピュータ可読媒体は、前記時間非可聴オーディオ符号化データからマスカーの位置を検出するマスカー検出工程のコードと、マスカーが復号対象か否かを判断するマスカー判断工程のコードと、マスカー判断工程のコードに従って時間非可聴オーディオ符号化データ復号することを特徴とする。
【発明の効果】
【００２３】
以上の説明から明らかなように、本発明では、オーディオ符号化に際して、聴覚心理に基づいて知覚できない音を削減して非可逆に符号化されたオーディオデータを復号し、非可逆符号化で生じた劣化を補う残渣を符号化したオーディオデータを復号してこれを重畳し、さらに時間的なマスキングで抑圧されたオーディオデータを復号してこれを重畳し、最後にマスキングで抑圧されたオーディオデータを復号してこれを重畳することで完全に可逆なオーディオデータの再生が可能なる。
【００２４】
さらにこれらを階層的に扱うことで、ユーザに最適なオーディオデータの再生を同一の構成で好適に提供できる効果もある。また、途中からの再生などで、テンポラルマスキングによる影響を考慮することで正しいオーディオデータの再生が可能になった。
【発明を実施するための最良の形態】
【００２５】
以下本発明を実施するための最良の形態を、実施例により詳しく説明する。
【実施例】
【００２６】
＜第１実施例＞
以下、本発明の第１の実施例を、図面を用いて詳細に説明する。
【００２７】
図１は本発明を適用するオーディオ復号装置の構成を示すブロック図である。
【００２８】
図１において、１は入力された符号化データを分離する分離器である。２は非可逆な符号化方式で符号化された符号化データを復号する復号器である。ここではＭＰＥＧ−１オーディオ符号化方式を例にとって説明するが、これに限定されない。ＭＰＥＧ−１オーディオ符号化に関してはＩＳＯ  １１１７２−３に詳細に記載されている。３は後述する残渣符号化データを復号する残渣復号器である。４は非可逆な符号化データを復号したデータに差分を重畳する残渣重畳器である。５は後述する時間非可聴符号化データを復号する時間非可聴領域復号器である。６は時間非可聴領域復号器５の出力と残渣重畳器４の出力を重畳するテンポラルマスキング重畳器である。７は後述する非可聴符号化データを復号する非可聴領域復号器である。８は非可聴領域復号器７の出力とテンポラルマスキング重畳器６の出力を重畳するマスキング重畳器である。９は４入力を外部からの制御信号で選択して出力するセレクタである。１０はセレクタ９、残渣復号器３、時間非可聴領域復号器５、非可聴領域復号器７を制御する制御器である。
【００２９】
上記のように構成されたオーディオ復号装置における画像の符号化データのオーディオ復号動作を以下で説明する。
【００３０】
処理に先立ち、各部を初期化する。分離器１に入力されるビットストリームの例を図６（Ａ）に示す。先頭にヘッダがある。ヘッダは符号化に関する情報を含んでおり，以下の符号化データの構成に関して記述されている。ここでは、後続する符号化データの種類とそれぞれの長さが記述されていることとするが、これに限定されない。続いて非可逆符号化データが続く。以後、可聴域で可逆な符号化を構成するために非可逆な符号化データの復号されたデータとの差分を符号化した残渣符号化データがある。残渣符号化データは差分値を可逆符号化している。ここでは説明のためにハフマン符号化されているものとする。さらに、テンポラルマスキングで抑圧されたオーディオデータを符号化した時間非可聴符号化データ、最小可聴限界や周波数上のマスキングによって抑圧されたオーディオデータを符号化した非可聴符号化データが続いている。時間非可聴符号化データは値を可逆符号化している。ここでは説明のためにハフマン符号化されているものとする。非可聴符号化データも同様である。
【００３１】
分離器１はこのビットストリームを入力し、最初にヘッダを解析し、続く符号化データの種類とその符号長を解析する。分離器１は続く符号を入力し、最初の符号を入力し、復号器２に、出力する。同様にして続く残渣符号化データを残渣復号器３に、時間非可聴領域符号化データを時間非可聴領域復号器５に、非可聴領域符号化データを非可聴領域復号器７に出力する。
【００３２】
その後、各復号器が作動する。復号器２はＭＰＥＧ−１オーディオ符号化方式にしたがって復号し、波形を再生する。再生された波形は残渣符号化器５とセレクタ９に入力される。ＭＰＥＧ−１オーディオ符号化方式ではマスキングによる情報量の低減と、テンポラルマスキングによる情報量の低減の両方が行なわれている。
【００３３】
残渣復号器３は残渣符号化データを復号する。図２に残渣復号器３の詳細なブロック図を示す。図２において、１１は符号化データを格納するメモリであり、１２はハフマン符号を復号するハフマン復号器である。１３は非可逆符号化を復号して得られた波形からダイナミックレンジを判定するダイナミックレンジ判定器である。１４はハフマン復号器１２で使用するハフマンテーブルを複数格納してあり，ダイナミックレンジ判定器１３の出力で選択される。
【００３４】
ダイナミックレンジ判定器１３は入力された波形と非可逆符号化を復号したものと元のオーディオデータとは相関がある。このため、ダイナミックレンジ判定器１３は復号器３から波形を入力し、それに最適なハフマンテーブルをハフマンテーブル１４から選択するように制御信号をハフマンテーブル１４に入力する。ハフマンテーブル１４はこの制御信号にしたがってハフマンテーブルを選択してハフマン復号器１２に入力する。ハフマン復号器１２はメモリ１１に格納された符号化データをハフマンテーブルによって復号して出力される。
【００３５】
図１に戻り、残渣復号器３の出力は残渣重畳器４に入力され、可聴領域での完全なオーディオデータを得る。再生されたオーディオデータはセレクタ９に入力される。
【００３６】
また、時間非可聴領域復号器５は時間非可聴領域符号化データを復号する。図３に時間非可聴領域復号器５の詳細なブロック図を示す。図３において、２０は対象とするサンプルに対するマスキング効果を算出するマスキング算出器である。２１はこれらのハフマン復号器で使用するハフマンテーブルを複数保持しているハフマンテーブルである。２２は符号化データを格納するメモリであり、２３は各バンドの符号化データを分離する分離器である。２４、２５、２６はハフマン復号を行なうハフマン復号器であり、２７は波形に対してバンド合成を行なうバンド合成器である。
【００３７】
マスキング算出器２０は残渣重畳器４から入力されたオーディオデータからテンポラルマスキングを求める。テンポラルマスキングの大きさにテンポラルマスキングで抑制されるオーディオデータとは相関が高い。マスキング算出器２０はハフマンテーブル２１から最適なハフマンテーブルを選択する。
【００３８】
メモリ２２から読み出された符号化データは分離器２３に入力される。分離器２３はマスキングの幅にしたがって分割されて符号化されたデータにそれぞれ分離する。ハフマン復号器２４にはマスカーより時間的に前の時間帯のバンドの符号化データを、ハフマン復号器２５にはマスカーに近い時間帯のバンドの符号化データを、ハフマン復号器２５にはマスカーに遠い時間帯のバンドの符号化データを入力する。各ハフマン復号器で復号されたオーディオデータはバンド合成器２７に入力される。バンド合成器２７で合成されたオーディオデータが出力される。
【００３９】
その様子を図５を用いて説明する。図５（Ｆ）は時間と音圧の関係を表す図であり、残渣重畳器４の出力である。一点鎖線１００２はテンポラルマスキングを表している。テンポラルマスキングを超えるデータが復号されている。テンポラルマスキングのマスカーを基準に時間的に前のバンドをａ、マスカー直後のバンドをｂ、それより時間が経過したバンドをｃとする。図６（ｂ）に入力される符号列を示す。符号は符号の特性を表すヘッダに続き、バンドａ、バンドｂ、バンドｃの符号が繰り返し入っている。ハフマン復号器２４はバンドａの符号を、ハフマン復号器２５はバンドｂの符号を、ハフマン復号器２６はバンドｃの符号を復号する。その結果、テンポラルマスキングによって抑圧されたデータが再生される。図５（Ｅ）の一点鎖線１００２以下のデータがこれにあたる。
【００４０】
図１に戻り、時間非可聴領域復号器５の出力はテンポラルマスキング重畳器６に入力され、時間非可聴領域までの波形を得る。再生された波形はセレクタ９に入力される。
【００４１】
最後に、非可聴領域復号器７は非可聴領域符号化データを復号する。図４に非可聴領域復号器７の詳細なブロック図を示す。図４において、３０は対象とするサンプルに対するマスキング効果を算出するマスキング算出器である。３１はこれらのハフマン復号器で使用するハフマンテーブルを複数保持しているハフマンテーブルである。３２は符号化データを格納するメモリであり、３３は各周波数バンドの符号化データを分離する分離器である。３４、３５、３６はハフマン復号を行なうハフマン復号器であり、３７は波形に対してバンド合成を行なうバンド合成器である。
【００４２】
図５（Ｄ）は周波数と音圧の関係を表す図であり、テンポラルマスキング重畳器６の出力である時間非可聴領域まで再生した波形を表している。一点鎖線１０００は最小可聴限界を、点線１００１はマスキングを表している。時間非可聴領域まで再生した波形は最小可聴限界及びマスキングを超えるデータが復号されている。周波数の低いほうからバンドＸ、バンドＹ、バンドＺとする。図６（Ｃ）に入力される符号列を示す。符号は符号の特性を表すヘッダに続き、バンドＸ、バンドＹ、バンドＺの符号が繰り返し入っている。ハフマン復号器３４はバンドＸの符号を、ハフマン復号器３５はバンドＹの符号を、ハフマン復号器３６はバンドＺの符号を復号する。その結果、最小可聴限界及びマスキングによって抑圧されたデータが再生される。図５（Ｃ）の波形がこれにあたる。
【００４３】
マスキング算出器３０はテンポラリマスキング重畳器６から入力されたオーディオデータからマスキングを求める。最小可聴限界の大きさとこれによって抑制されるオーディオデータとは相関が高い。マスキング算出器３０はハフマンテーブル３１から最適なハフマンテーブルを選択する。
【００４４】
メモリ３２から読み出された入力された符号化データは分離器３３に入力される。分離器３３は最小可聴限界の幅にしたがって分割されて符号化されたデータにそれぞれ分離する。ハフマン復号器３４、３５、３６はバンドＸ、Ｙ、Ｚの符号化データを入力する。各ハフマン復号器で復号された波形はバンド合成器３７に入力される。バンド合成器３７で合成された波形が出力される。このようにして合成された波形は図（Ｂ）のようになり、原音である図６（Ａ）と同じ波形となる。
【００４５】
このように再生される各機能に対して、不図示のユーザは制御器１０によって、必要とするオーディオデータのレベルを設定する。再生のレベルは「非可逆レベル」、「可聴可逆レベル」、「時間非可聴レベル」、「完全可逆レベル」である。
制御器１０で「非可逆レベル」が設定された場合、セレクタ９は復号器２で再生されたオーディオデータを選択して出力する。この時、残渣復号器３、時間非可聴領域復号器５、非可聴領域復号器７は動作させない。
【００４６】
制御器１０で「可聴可逆レベル」が設定された場合、セレクタ９は残渣重畳器４で再生されたオーディオデータを選択して出力する。この時、時間非可聴領域復号器５、非可聴領域復号器７は動作させない。
【００４７】
制御器１０で「時間非可聴レベル」が設定された場合、セレクタ９はテンポラルマスキング重畳器６で再生されたオーディオデータを選択して出力する。この時、非可聴領域復号器７は動作させない。
【００４８】
制御器１０で「完全可逆レベル」が設定された場合、セレクタ９はマスキング重畳器８で再生されたオーディオデータを選択して出力する。
【００４９】
以後、この順で最後までオーディオ復号を行ない、全ての処理が終われば全体の処理を終了する。
【００５０】
以上、ビットストリームの生成までの処理を簡単な流れを、図７を用いて説明する。
【００５１】
まずステップＳ１にて、ビットストリームのヘッダを復号する。ステップＳ２にて、終了判断を行なう。ステップＳ３にて、入力から非可逆符号化データを分離し、復号する。ステップＳ４にて、再生レベルが「可聴可逆レベル」、「時間非可聴レベル」、「完全可逆レベル」であればステップＳ５に進み、「可聴可逆レベル」の処理を行い、そうでなければステップＳ２に戻る。
【００５２】
ステップＳ５にて、入力から残渣符号化データを分離し、復号し、ステップＳ３で再生された波形に重畳する。ステップＳ６にて、再生レベルが「時間非可聴レベル」、「完全可逆レベル」であればステップＳ５に進み、「時間非可聴レベル」の処理を行い、そうでなければステップＳ２に戻る。
【００５３】
ステップＳ７にて、入力から時間非可聴領域符号化データを分離し、復号し、ステップＳ５で再生された波形に重畳する。ステップＳ８にて、再生レベルが「完全可逆レベル」であればステップＳ９に進み、「完全可逆レベル」の処理を行い、そうでなければステップＳ２に戻る。
【００５４】
ステップＳ２で、符号化処理が終了すれば、全体の処理を終了する。
【００５５】
このような一連の選択動作により、オーディオデータに対して、可聴領域での非可逆オーディオデータの再生、可聴領域での完全可逆オーディオデータの再生、時間的なマスキングに対応した非可聴領域での可逆オーディオデータの再生、全てのデータに対する可逆オーディオデータの再生を行なうことができるようになる。これによって、必要な符号化データまでを出力することによってユーザが復号したい品質のオーディオデータの再生することができ、完全に可逆な符号化データを生成することができる。
【００５６】
なお、本実施例においては非可逆の符号化データをＭＰＥＧ−１オーディオ符号化方式で符号化したデータとしたがこれに限定されず、他の符号化方式、たとえば、ＡＡＣ符号化などでももちろんかまわない。また、出力のビットストリームのフォーマットもこれに限定されない。例えば、非可逆符号化データ、残渣符号化データ、時間非可聴領域符号化データ、非可聴領域符号化データを適宜インターリーブして出力してあってももちろん構わない。
【００５７】
また、本実施例の各部または全部の機能をソフトウェアで記述し、ＣＰＵ等の演算装置によって処理をさせてももちろんかまわない。
【００５８】
また、可逆な符号化符号化データとしてハフマン符号化データを例に取ったがこれに限定されず、算術符号化データや、予測信号を生成して予測を行なった符号化データでももちろん構わない。
【００５９】
＜第２実施例＞
図８は、本発明の第２の実施例に係るオーディオ符号化装置の構成を示すブロック図である。同図において第１の実施例の図１に記載した内容と同じ機能を果たすものについては同番号を付し、説明を省略する。１１０は再生を開始する時刻や停止する時刻を設定する時刻設定器である。１１１、１１２、１１３、１１４は時刻設定器１１０の指示に従って、出力を制御する制御器である。１１５はテンポラルマスキング重畳器である。１１６は時間非可聴符号化データを復号する時間非可聴領域復号器である。１１７は制御器１０と時間非可聴領域復号器１１６の出力によって入力先を選択するセレクタである。
【００６０】
上記のように構成されたオーディオ復号装置における画像の符号化データのオーディオ復号動作を以下で説明する。第１実施例と同様に各部を初期化し、符号を入力する。分離器１は非可逆符号データを復号器２に、残渣符号化データを残渣復号器３に、時間非可聴領域符号化データを時間非可聴領域復号器５に、非可聴領域符号化データを非可聴領域復号器７に出力する。
【００６１】
不図示のユーザは時刻設定器１１０から開始時刻と終了時刻を入力する。また、第１実施例と同様に必要とするオーディオデータのレベルを制御器１０で設定する。
【００６２】
その後、各復号器が作動する。
【００６３】
最初に再生レベルが「非可逆レベル」である場合について述べる。復号器２では、図２に記載のメモリ１０に格納された符号から時刻設定器１１０で設定された開始時刻にかかる符号の先頭を検索し、第１実施例と同様にハフマンテーブルを選択して、ハフマン復号器１１に入力して復号し、そのデータを制御器１１１に入力する。
【００６４】
同時に残渣復号器３でも図３に記載のメモリ２２に格納された符号とから時刻設定器１１０で設定された開始時刻にかかる符号の先頭を検索し、第１実施例と同様に復号器２の出力に従ってハフマンテーブルを選択して、ハフマン復号器２４、２５、２６に入力して復号し、そのデータを制御器１１２に入力する。
【００６５】
さらに、時間非可聴領域復号器１１６が復号を行なう。図９にその詳細なブロック図を示す。同図において、第１実施例の図４と同じ機能を果たすものについては同番号を付し、説明を省略する。２００は入力された波形からマスカーを検出するマスカー検出器であり、２０１は、検出されたマスカーと時刻設定器１１０が設定する時刻とを比較し、マスキングで削除されたデータを再生するか否かを決定するマスカー判定器である。２０２は波形に対してバンド合成を行なうバンド合成器であり、マスカー判定器２０１によって制御される。
【００６６】
このような構成で、メモリ３２に格納された符号から時刻設定器１１０で設定された開始時刻にかかる符号の先頭を検索する。検索した後、開始時刻以前のマスキーによるテンポラルマスキングが影響する時間の符号化データを読み出す。
【００６７】
第１実施例と同様に残渣重畳器４の出力によって、マスキング算出器３０はマスキングを算出し、ハフマンテーブル３１のハフマンテーブルを選択する。同時に、マスカー検出器２００は波形からマスカーとなる音を抽出する。図５（Ｅ）の１００６がそれにあたる。続いて、このマスカーの発生した時刻と再生開始時刻を比較し、そのマスカーの音が再生されるか否かを判定する。
【００６８】
マスカーが再生されるのであれば、マスカー判定器２０１はその音に関するマスキングが効果を発揮するので、非可逆符号化の音でも再生しても聞こえないので、バンド合成器２０２に対して、出力をしないように設定する。また、マスカー判定器２０１の出力はテンポラルマスキング重畳器１１５とセレクタ１１７に入力され、テンポラルマスキング重畳器１１５は動作せず、制御器１１１からの出力に何も重畳せず、出力する。セレクタ１１７はこの時、制御器１１１からの出力を選択して出力する。
【００６９】
マスカーが再生されないのであれば、マスカー判定器２０１はその音に関するマスキングが効果を発揮しないので、非可逆符号化の音を再生すると聞こえることになる。バンド合成器２０２に対して、開始時刻がバンドｂにあれば、ハフマン復号器３５、３６の出力を合成し、バンドｃにあれば、ハフマン復号器３６の出力をそのまま出力するように設定する。また、マスカー判定器２０１の出力はテンポラルマスキング重畳器１１５とセレクタ１１７に入力され、テンポラルマスキング重畳器１１５を動作させ、制御器１１１からの出力にマスキングの影響を受けなくなった音を重畳し、出力する。セレクタ１１７はこの時、テンポラルマスキング重畳器１１５からの出力を選択して出力する。
【００７０】
その後、制御器１１１、１１２、１１３は同期を取って、開始時刻のオーディオデータをセレクタ９に出力する。時刻設定器１１０の開始時刻がビットストリームの先頭であれば、制御器１１１からの出力を選択して出力する。そうでなければ、テンポラルマスキング重畳器１１５は制御器１１１からの入力に制御器１１３の出力を重畳する。セレクタ９はこの出力を選択して出力する。これによって、開始時刻以前のマスキーによって抑圧されたデータを出力することで、その時刻に発生した正しい音を再生することができる。すなわち、図５（Ｅ）においてマスカーがなくなった場合、一点鎖線１００２で表されるマスキングが無くなり、１００４、１００５の音が聞こえるようになる。
【００７１】
終了時刻が近づいた時、時間非可聴領域復号器１１６は、メモリ３２に格納された符号から時刻設定器１１０で設定された終了時刻にかかる符号の先頭を検索する。検索した後、終了時刻以前のマスキーによるテンポラルマスキングが影響する時間の符号化データを読み出す。
【００７２】
第１実施例と同様に残渣重畳器４の出力によって、マスキング算出器３０はマスキングを算出し、ハフマンテーブル３１のハフマンテーブルを選択する。同時に、マスカー検出器２００は波形からマスカーとなる音を抽出する。続いて、このマスカーの発生した時刻と再生終了時刻を比較し、そのマスカーの音が再生されるか否かを判定する。
【００７３】
マスカーが再生されるのであれば、マスカー判定器２０１はその音に関するマスキングが効果を発揮するので、非可逆符号化の音でも再生しても聞こえないので、バンド合成器２０２に対して、出力をしないように設定する。また、マスカー判定器２０１の出力はテンポラルマスキング重畳器１１５とセレクタ１１７に入力され、テンポラルマスキング重畳器１１５は動作せず、制御器１１１からの出力に何も重畳せず、出力する。セレクタ１１７はこの時、制御器１１１からの出力を選択して出力する。
【００７４】
マスカーが再生されないのであれば、マスカー判定器２０１はその音に関するマスキングが効果を発揮しないので、非可逆符号化の音を再生すると聞こえることになる。バンド合成器２０２に対して、ハフマン復号器３４の出力をそのまま出力するように設定する。また、マスカー判定器２０１の出力はテンポラルマスキング重畳器１１５とセレクタ１１７に入力され、テンポラルマスキング重畳器１１５を動作させ、制御器１１１からの出力にマスキングの影響を受けなくなった音を重畳し、出力する。セレクタ１１７はこの時、テンポラルマスキング重畳器１１５からの出力を選択して出力する。
【００７５】
その後、制御器１１１、１１２、１１３は同期を取って、開始時刻のオーディオデータをセレクタ９に出力する。時刻設定器１１０の終了時刻がビットストリームの終端であれば、制御器１１１からの出力を選択して出力する。そうでなければ、テンポラルマスキング重畳器１１５は制御器１１１からの入力に制御器１１３の出力を重畳する。セレクタ９はこの出力を選択して出力する。これによって、終了時刻以後のマスキーによって抑圧されたデータを出力することで、その時刻に発生した正しい音を再生することができる。すなわち、図５（Ｅ）においてマスカーがなくなった場合、一点鎖線１００２で表されるマスキングが無くなり、１００３の音が聞こえるようになる。
【００７６】
続いて、再生レベルが「可聴可逆レベル」である場合について述べる。復号に関しては「非可逆レベル」と同様であるが、制御器１１２の出力が制御器１１１の出力に代ってテンポラルマスキング重畳器１１５に入力される。セレクタ９は制御器１１２またはテンポラルマスキング重畳器１１５の出力のいずれかを出力する。
【００７７】
さらに再生レベルが「時間非可聴レベル」及び「完全可逆レベル」である場合については第１実施例と同様に復号し、時刻に従って出力を行なえばよい。
【００７８】
このような一連の選択動作により、オーディオデータに対して、可聴領域での非可逆オーディオデータの再生、可聴領域での完全可逆オーディオデータの再生、時間的なマスキングに対応した非可聴領域での可逆オーディオデータの再生、全てのデータに対する可逆オーディオデータの再生を行なうことができるようになる。これによって、必要な符号化データまでを出力することによってユーザが復号したい品質のオーディオデータの再生することができ、完全に可逆な符号化データを生成することができる。途中からの再生でもテンポラリマスキングによって抑圧された音も正しく再生することができるようになった。
【００７９】
＜他の実施形態＞
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、カメラ、ディスプレイ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、カムコーダ、ビデオテープレコーダ、等）に適用してもよい。
【００８０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８１】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８２】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００８３】
【図１】第１の実施例としての本発明にかかるオーディオ復号装置の構成を示すブロック図である。
【図２】残渣復号器の詳細な構成を示すブロック図である。
【図３】時間非可聴領域復号器の詳細な構成を示すブロック図である。
【図４】非可聴領域復号器の詳細な構成を示すブロック図である。
【図５】復号する波形の様子を表す図である。
【図６】復号するビットストリームの構成の１例を表す図である。
【図７】本発明の第１の実施例におけるオーディオ復号動作を示すフローチャート図である。
【図８】第２の実施例としての本発明にかかるオーディオ復号装置の構成を示すブロック図である。
【図９】時間非可聴領域復号器が復号を行なう詳細なブロック図である。
【符号の説明】
【００８４】
１  分離器
２  復号器
３  残渣復号器
４  残渣重畳器
５  時間非可聴領域復号器
６、１１５  テンポラルマスキング重畳器
７  非可聴領域復号器
８  マスキング重畳器
９  セレクタ
１１、２２、３２  メモリ
１２、２４、２５、２６、３４、３５、３６  ハフマン復号器
１３  ダイナミックレンジ判定器
１４、２１、３１  ハフマンテーブル
２０、３０  マスキング算出器
２３、３３  分離器
２７、３７  バンド合成器
１１０  時刻設定器
１１１、１１２、１１３、１１４  制御器
【図１】
2005173201.tif 000003
【図２】
2005173201.tif 000004
【図３】
2005173201.tif 000005
【図４】
2005173201.tif 000006
【図５】
2005173201.tif 000007
【図６】
2005173201.tif 000008
【図７】
2005173201.tif 000009
【図８】
2005173201.tif 000010
【図９】
2005173201.tif 000011