(57)【要約】【課題】  完全に可逆なオーディオ符号化を実現するオーディオ符号化装置及びその方法を提供する。【解決手段】  オーディオデータを入力し、前記オーディオデータからマスキングで削減される非可聴オーディオデータを分離し、前記非可聴オーディオデータを分離したオーディオデータを非可逆符号化し、その非可逆符号化したオーディオデータを復号し、前記非可聴オーディオデータを分離したオーディオデータとの差分を符号化し、前記非可聴オーディオデータを符号化し、前記符号化されたデータを出力することを特徴とする。【選択図】        図１
2005181671.tif 000002
【特許請求の範囲】
【請求項１】
オーディオデータを入力する入力手段と、
オーディオデータからマスキングで削減される非可聴オーディオデータを分離する非可聴オーディオデータ分離手段と、
該非可聴オーディオデータを分離したオーディオデータを非可逆符号化する第１符号化手段と、
該第１符号化手段の出力を復号し該非可聴オーディオデータを分離したオーディオデータとの差分を符号化する第２符号化手段と、
該非可聴オーディオデータを符号化する第３符号化手段と、
前記符号化されたデータを出力する出力手段を有することを特徴とするオーディオ符号化装置。
【請求項２】
前記非可聴オーディオデータ分離手段が該周波数非可聴オーディオデータとテンポラルマスキングで削減される時間非可聴オーディオデータとに分離するテンポラルマスキング分離手段も有することを特徴とする請求項１に記載のオーディオ符号化装置。
【請求項３】
前記第３符号化手段が時間非可聴オーディオデータを符号化することを特徴とする請求項２に記載のオーディオ符号化装置。
【請求項４】
第２符号化手段が可逆符号化することを特徴とする請求項１に記載のオーディオ符号化装置。
【請求項５】
第３符号化手段が可逆符号化することを特徴とする請求項１に記載のオーディオ符号化装置。
【請求項６】
オーディオデータを入力する入力工程と、
オーディオデータからマスキングで削減される非可聴オーディオデータを分離する非可聴オーディオデータ分離工程と、
該非可聴オーディオデータを分離したオーディオデータを非可逆符号化する第１符号化工程と、
該第１符号化工程の出力を復号し該非可聴オーディオデータを分離したオーディオデータとの差分を符号化する第２符号化工程と、
該非可聴オーディオデータを符号化する第３符号化工程と、
前記符号化されたデータを出力する出力工程を有することを特徴とするオーディオ符号化方法。
【請求項７】
前記非可聴オーディオデータ分離工程が該周波数非可聴オーディオデータとテンポラルマスキングで削減される時間非可聴オーディオデータとに分離するテンポラルマスキング分離工程も有することを特徴とする請求項６に記載のオーディオ符号化方法。
【請求項８】
前記第３符号化工程が時間非可聴オーディオデータを符号化することを特徴とする請求項７に記載のオーディオ符号化方法。
【請求項９】
第２符号化工程が可逆符号化することを特徴とする請求項６に記載のオーディオ符号化方法。
【請求項１０】
第３符号化工程が可逆符号化することを特徴とする請求項６に記載のオーディオ符号化方法。
【請求項１１】
オーディオデータを入力する入力ステップと、
オーディオデータからマスキングで削減される非可聴オーディオデータを分離する非可聴オーディオデータ分離ステップと、
該非可聴オーディオデータを分離したオーディオデータを非可逆符号化する第１符号化ステップと、
該第１符号化ステップの出力を復号し該非可聴オーディオデータを分離したオーディオデータとの差分を符号化する第２符号化ステップと、
該非可聴オーディオデータを符号化する第３符号化ステップと、
前記符号化されたデータを出力する出力ステップを有することを特徴とするオーディオ符号化プログラム。
【請求項１２】
前記非可聴オーディオデータ分離ステップが該周波数非可聴オーディオデータとテンポラルマスキングで削減される時間非可聴オーディオデータとに分離するテンポラルマスキング分離ステップも有することを特徴とする請求項１１に記載のオーディオ符号化プログラム。
【請求項１３】
前記第３符号化ステップが時間非可聴オーディオデータを符号化することを特徴とする請求項１２に記載のオーディオ符号化プログラム。
【請求項１４】
第２符号化ステップが可逆符号化することを特徴とする請求項１１に記載のオーディオ符号化プログラム。
【請求項１５】
第３符号化ステップが可逆符号化することを特徴とする請求項１１に記載のオーディオ符号化プログラム。
【請求項１６】
オーディオデータを入力する入力工程のコードと、
オーディオデータからマスキングで削減される非可聴オーディオデータを分離する非可聴オーディオデータ分離工程のコードと、
該非可聴オーディオデータを分離したオーディオデータを非可逆符号化する第１符号化工程のコードと、
該第１符号化工程のコードの出力を復号し該非可聴オーディオデータを分離したオーディオデータとの差分を符号化する第２符号化工程のコードと、
該非可聴オーディオデータを符号化する第３符号化工程のコードと、
前記符号化されたデータを出力する出力工程のコードを有することを特徴とするオーディオ符号化プログラムを記録したコンピュータ可読の記録媒体。
【請求項１７】
前記非可聴オーディオデータ分離工程のコードが該周波数非可聴オーディオデータとテンポラルマスキングで削減される時間非可聴オーディオデータとに分離するテンポラルマスキング分離工程のコードも有することを特徴とする請求項１６に記載のオーディオ符号化プログラムを記録したコンピュータ可読の記録媒体。
【請求項１８】
前記第３符号化工程のコードが時間非可聴オーディオデータを符号化することを特徴とする請求項１７に記載のオーディオ符号化プログラムを記録したコンピュータ可読の記録媒体。
【請求項１９】
第２符号化工程のコードが可逆符号化することを特徴とする請求項１６に記載のオーディオ符号化プログラムを記録したコンピュータ可読の記録媒体。
【請求項２０】
第３符号化工程のコードが可逆符号化することを特徴とする請求項１６に記載のオーディオ符号化プログラムを記録したコンピュータ可読の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム及びオーディオ符号化プログラムを記録したコンピュータ可読の記録媒体に関し、特に可逆なオーディオ符号化に関するものである。
【背景技術】
【０００２】
従来からオーディオの符号化としてＡＤＰＣＭ（Ａｄａｐｔｉｖｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）などの符号化が知られている。これは構成が非常に簡便であり、広く利用されている。また、近年、オーディオ符号化に関しても新しい国際標準化が進められている。特に、ＩＳＯではＭＰＥＧオーディオ符号化の標準化が進められている。ここではＭＰＥＧ−１の符号化方式であるＭＰ−３符号化方式や高音質のＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）符号化方式等が標準化され、各社で製品化が行なわれている。ＭＰＥＧオーディオ符号化の基本的な機能については下記、非特許文献１及び２等に記載されている。また、最近では、ＭＰＥＧ−４オーディオとして、ＡＡＣ符号化の階層符号化の標準化が行なわれた。
【０００３】
このＡＡＣ符号化方式は、非可逆な符号化方式であり、心理聴覚分析、サブバンド分割、スケールファクタ抽出などによって符号化されている。
【０００４】
一方で、に示されるように完全に可逆な符号化方式の必要とされつつある。この提案では聴覚のマスキング特性を用いずに完全に可逆な圧縮アルゴリズムを提案している。
【特許文献１】特開２００２−２７８６００号公報
【非特許文献１】「ポイント図解式  最新ＭＰＥＧ教科書」（株式会社アスキー発行、１９９４年）
【非特許文献２】「画像＆音声圧縮技術のすべて」（ＣＱ出版社発行、２０００年）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来のＭＰＥＧ−２などのオーディオ符号化では非可逆な符号化であり、劣化のない符号化は行なえないという問題点が生じる。この非可逆な符号化方式で発生する残渣成分をＺＩＰなどの符号化方式で符号化してこれに加えることで可逆符号化を達成することが可能である。
【０００６】
しかしながら、この方式ではＺＩＰ方式はファイルのための符号化であり、オーディオ符号化に向いておらず、残渣成分の符号化には適さない。さらにはこれらのデータの削減に利用された聴覚心理とは全く無関係な符号化であり、効率が悪い。
【０００７】
従って、本発明は前記課題を考慮して、オーディオ符号化に際して、ＡＡＣ符号化方式等の聴覚心理を用いた従来の符号化に対して聴覚心理を用いて残渣成分を符号化し可逆な符号化を行なうオーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム、及びオーディオ符号化プログラムを記録したコンピュータ可読の記録媒体を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明のオーディオ符号化装置は以下（１）〜（５）の、オーディオ符号化方法は（６）〜（１０）の、オーディオ符号化プログラムは（１１）〜（１５）の、オーディオ符号化プログラムを記録したコンピュータ可読の記録媒体は（１６）〜（２０）の構成をそれぞれ備えるものである。
【０００９】
（１）オーディオデータを入力する入力手段と、
オーディオデータからマスキングで削減される非可聴オーディオデータを分離する非可聴オーディオデータ分離手段と、
該非可聴オーディオデータを分離したオーディオデータを非可逆符号化する第１符号化手段と、
該第１符号化手段の出力を復号し該非可聴オーディオデータを分離したオーディオデータとの差分を符号化する第２符号化手段と、
該非可聴オーディオデータを符号化する第３符号化手段と、
前記符号化されたデータを出力する出力手段を有するオーディオ符号化装置。
【００１０】
（２）前記非可聴オーディオデータ分離手段が該周波数非可聴オーディオデータとテンポラルマスキングで削減される時間非可聴オーディオデータとに分離するテンポラルマスキング分離手段も有する上記（１）に記載のオーディオ符号化装置。
【００１１】
（３）前記第３符号化手段が時間非可聴オーディオデータを符号化する上記（２）に記載のオーディオ符号化装置。
【００１２】
（４）第２符号化手段が可逆符号化する上記（１）に記載のオーディオ符号化装置。
【００１３】
（５）第３符号化手段が可逆符号化する上記（１）に記載のオーディオ符号化装置。
【００１４】
（６）オーディオデータを入力する入力工程と、
オーディオデータからマスキングで削減される非可聴オーディオデータを分離する非可聴オーディオデータ分離工程と、
該非可聴オーディオデータを分離したオーディオデータを非可逆符号化する第１符号化工程と、
該第１符号化工程の出力を復号し該非可聴オーディオデータを分離したオーディオデータとの差分を符号化する第２符号化工程と、
該非可聴オーディオデータを符号化する第３符号化工程と、
前記符号化されたデータを出力する出力工程を有するオーディオ符号化方法。
【００１５】
（７）前記非可聴オーディオデータ分離工程が該周波数非可聴オーディオデータとテンポラルマスキングで削減される時間非可聴オーディオデータとに分離するテンポラルマスキング分離工程も有する上記（６）に記載のオーディオ符号化方法。
【００１６】
（８）前記第３符号化工程が時間非可聴オーディオデータを符号化する上記（７）に記載のオーディオ符号化方法。
【００１７】
（９）第２符号化工程が可逆符号化する上記（６）に記載のオーディオ符号化方法。
【００１８】
（１０）第３符号化工程が可逆符号化する上記（６）に記載のオーディオ符号化方法。
【００１９】
（１１）オーディオデータを入力する入力ステップと、
オーディオデータからマスキングで削減される非可聴オーディオデータを分離する非可聴オーディオデータ分離ステップと、
該非可聴オーディオデータを分離したオーディオデータを非可逆符号化する第１符号化ステップと、
該第１符号化ステップの出力を復号し該非可聴オーディオデータを分離したオーディオデータとの差分を符号化する第２符号化ステップと、
該非可聴オーディオデータを符号化する第３符号化ステップと、
前記符号化されたデータを出力する出力ステップを有するオーディオ符号化プログラム。
【００２０】
（１２）前記非可聴オーディオデータ分離ステップが該周波数非可聴オーディオデータとテンポラルマスキングで削減される時間非可聴オーディオデータとに分離するテンポラルマスキング分離ステップも有する上記（１１）に記載のオーディオ符号化プログラム。
【００２１】
（１３）前記第３符号化ステップが時間非可聴オーディオデータを符号化することを特徴とする上記（１２）に記載のオーディオ符号化プログラム。
【００２２】
（１４）第２符号化ステップが可逆符号化する上記（１１）に記載のオーディオ符号化プログラム。
【００２３】
（１５）第３符号化ステップが可逆符号化する上記（１１）に記載のオーディオ符号化プログラム。
【００２４】
（１６）オーディオデータを入力する入力工程のコードと、
オーディオデータからマスキングで削減される非可聴オーディオデータを分離する非可聴オーディオデータ分離工程のコードと、
該非可聴オーディオデータを分離したオーディオデータを非可逆符号化する第１符号化工程のコードと、
該第１符号化工程のコードの出力を復号し該非可聴オーディオデータを分離したオーディオデータとの差分を符号化する第２符号化工程のコードと、
該非可聴オーディオデータを符号化する第３符号化工程のコードと、
前記符号化されたデータを出力する出力工程のコードを有するオーディオ符号化プログラムを記録したコンピュータ可読の記録媒体。
【００２５】
（１７）前記非可聴オーディオデータ分離工程のコードが該周波数非可聴オーディオデータとテンポラルマスキングで削減される時間非可聴オーディオデータとに分離するテンポラルマスキング分離工程のコードも有する上記（１６）に記載のオーディオ符号化プログラムを記録したコンピュータ可読の記録媒体。
【００２６】
（１８）前記第３符号化工程のコードが時間非可聴オーディオデータを符号化する上記（１７）に記載のオーディオ符号化プログラムを記録したコンピュータ可読の記録媒体。
【００２７】
（１９）第２符号化工程のコードが可逆符号化する請求項１６に記載のオーディオ符号化プログラムを記録したコンピュータ可読の記録媒体。
【００２８】
（２０）第３符号化工程のコードが可逆符号化する上記（１６）に記載のオーディオ符号化プログラムを記録したコンピュータ可読の記録媒体。
【発明の効果】
【００２９】
本発明では、オーディオ符号化に際して、聴覚心理に基づいて抑圧されるオーディオデータと抑圧されないオーディオデータを分離し、抑圧されないオーディオデータについては非可逆な符号化を行なうことで効率の良い符号化が行なえる。残渣を符号化することで可聴の範囲で準可逆な符号化が行なえる。さらに抑圧されたオーディオデータについて、非可聴の範囲でマスキング等の特性に対して適応的に符号化することにより、完全に可逆な符号化を効率よく行なうことができる。
【００３０】
さらにこれらを階層的に扱うことで、ユーザに最適な符号を同一の構成で好適に提供できる効果もある。
【発明を実施するための最良の形態】
【００３１】
以下に本発明を実施するための最良の形態を、実施例に基づいて説明する。
【実施例】
【００３２】
〈第１実施例〉
以下、本発明の第１の実施例を、図面を用いて詳細に説明する。
【００３３】
図１は本発明を適用するオーディオ符号化装置の構成を示すブロック図である。
【００３４】
図１において、１はマスキング分離器であり、最小可聴限界、マスキングによって抑圧される音と抑圧されない音を分離する。２はテンポラルマスキング分離器であり、時間方向のマスキングによって抑圧される音と抑圧されない音を分離する。３は符号化器であり、非可逆な符号化を行なう。ここではＭＰＥＧ−１オーディオ符号化方式を例にとって説明するが、これに限定されない。ＭＰＥＧ−１オーディオ符号化に関してはＩＳＯ１１１７２−３に詳細に記載されている。４は符号化器３で符号化されたデータを復号する復号器である。５は復号器４とテンポラルマスキング分離器２の出力から残渣成分を抽出し、符号化する残渣符号化器である。６はテンポラルマスキング分離器２で分離された時間方向のマスキングによって抑圧される音を符号化する時間非可聴領域符号化器である。７はマスキング分離器１で分離されたマスキングによって抑圧される音を符号化する非可聴領域符号化器である。８は生成された符号化データを１つのビットストリームに整形する整形器である。
【００３５】
上記のように構成されたオーディオ符号化装置における画像の符号化データのオーディオ符号化動作を以下で説明する。
【００３６】
処理に先立ち、各部を初期化する。マスキング分離器１には、時刻Ｔの音の周波数データを入力する。例えば、図５（Ａ）のようなデータであったとする。マスキング分離器１は図５（Ｂ）の一点鎖線１０００で示される最小可聴限界と点線１００１で示した各周波数のマスキング閾値と比較して、これらより、上にあるものをテンポラルマスキング分離器２にそれ以外を非可聴領域符号化器７に入力する。すなわち、テンポラルマスキング分離器２に入力されるのは図５（Ｃ）のような波形になり、非可聴領域符号化器７に入力されるのは図５（Ｄ）のような波形になる。
【００３７】
テンポラルマスキング分離器２では、入力された波形を時間方向に並べ、テンポラルマスキングのマスキング効果で抑圧される音とそれ以外を分離する。図５（Ｅ）はテンポラルマスキング分離器２に入力されたサンプリングデータを表す図であり、図５（Ｆ）はマスキング効果で抑圧された音を表している。一点鎖線１００２はテンポラルマスキングの効果を表す線であり、この線より上にあるものを符号化器３に入力し、それ以外を時間非可聴領域符号化器６に入力する。
【００３８】
符号化器３はマスキング分離器１、テンポラルマスキング分離器２で用いた各マスキング特性を持ち合わせた聴覚心理を用いたＭＰＥＧ−１オーディオ符号化を行なう。符号化器３で符号化されて得られた非可逆符号化データは整形器８に入力され、後述するビットストリームに整形される。また、非可逆符号化データは復号器４と残渣符号化器５に入力される。復号器４では非可逆符号化データを復号し、波形を再生する。再生された波形は残渣符号化器５に入力される。残渣符号化器５はテンポラルマスキング分離器２からＭＰＥＧ−１オーディオ符号化前の波形と復号器４から再生された波形を入力し、残渣を求め、符号化する。
【００３９】
残渣符号化器５の詳細なブロック図を図２に示す。図２において、１１は波形の差分を生成する差分器、１２はハフマン符号化を行なうハフマン符号化器、１３はハフマン符号化器１２で使用するハフマン符号のテーブルを外部信号で切り替えて出力するハフマンテーブルである。１４は各サンプリング単位でビット割り当て等から各サンプリングのダイナミックレンジを算定するダイナミックレンジ判定器である。
【００４０】
差分器１１はテンポラルマスキング分離器２からＭＰＥＧ−１オーディオ符号化前の波形と復号器４から再生された波形を入力し、波形の差分を求める。これは符号化誤差である。ダイナミックレンジ判定器１４は符号化器３から各サンプリング単位でビット割り当て等を入力し、各サンプリングのダイナミックレンジを算出する。さらに算出したダイナミックレンジからハフマン符号化器１２で使用するテーブルを選択する。ハフマンテーブル１３は符号化に用いるテーブルをハフマン符号化器１２に提供し、符号化誤差を符号化し、残渣符号化データを生成する。残渣符号化データは整形器８に入力され、後述するビットストリームに整形される。
【００４１】
図１に戻り、符号化器３の符号化と同時に、テンポラルマスキング分離器２で分離された波形データは時間非可聴領域符号化器６で符号化される。時間非可聴領域符号化器６の詳細なブロック図を図３に示す。図３において、２０は対象とするサンプルに対するマスキング効果を算出するマスキング算出器である。２１は対象とするサンプルに対して、前向性マスキングの部分と、後方性マスキングの部分を分離する前後テンポラルマスキング分離器である。２３は前向性マスキングに関する波形に対してバンド分割を行なうバンド分割器である。２４、２５、２６はハフマン符号化を行なうハフマン符号化器であり、２２はこれらのハフマン符号化器で使用するハフマンテーブルを複数保持しているハフマンテーブルである。２７はハフマン符号化器２４，２５，２６で生成された符号を整形する整形器である。
【００４２】
テンポラルマスキング分離器２で分離されたマスキング効果で抑圧される波形データ（図５（Ｆ））は前後テンポラルマスキング分離器２１に入力される。前後テンポラルマスキング分離器２１では、マスカーより前に発生したマスキーデータとマスカーよりも後に発生したマスキーデータを分離し、マスカーより前に発生したマスキーデータはハフマン符号化器２４に、後に発生したマスキーデータはバンド分割器２３に入力される。バンド分割器２３ではクリティカルバンドの幅に基づいて、前向性マスキングの幅を２分するようにバンドを分割し、マスカーに近いほうをハフマン符号化器２５に遠いほうをハフマン符号化器２６に入力する。図５（Ｆ）で点線で表した位置より左にあるデータがハフマン符号化器２５に右にあるデータがハフマン符号化器２６に入力される。
【００４３】
同時に、マスキング算出器２０にはテンポラルマスキング分離器２で抑圧されなかった波形データが入力される。マスキング算出器２０ではマスカーのデータからクリティカルバンドの幅やマスキング効果の大きさを求める。ハフマンテーブル２２はこれらの情報から最適なハフマンテーブルを選択し、ハフマン符号化器２４、２５、２６に提供する。
【００４４】
ハフマン符号化器２４、２５、２６で生成された符号は整形器２７に入力され、時間非可聴領域符号化データとして出力される。ここでは、最初にハフマン符号化器２４からの出力、続いて、ハフマン符号化器２５からの出力、最後にハフマン符号化器２６からの出力の順に並べ、時間非可聴符号化データを得る。時間非可聴符号化データは整形器８に入力され、後述するビットストリームに整形される。
【００４５】
図１に戻り、符号化器３の符号化と同時に、マスキング分離器１で分離された波形データは非可聴領域符号化器７で符号化される。非可聴領域符号化器７の詳細なブロック図を図４に示す。図４において、３０は対象とするサンプルに対するマスキング効果を算出するマスキング算出器であり、３１は波形に対してバンド分割を行なうバンド分割器である。３３、３４、３５はハフマン符号化を行なうハフマン符号化器であり、３２はこれらのハフマン符号化器で使用するハフマンテーブルを複数保持しているハフマンテーブルである。３６はハフマン符号化器３３、３４、３５で生成された符号を整形する整形器である。
【００４６】
マスキング算出器３０はマスキング分離器１で分離されたマスキング効果で抑圧される波形データ（図５（Ｄ））はバンド分割器３１に入力される。バンド分割器３１では全体を複数のバンドを分割し、最も低周波のバンドをハフマン符号化器３３に、次に高い周波数のバンドをハフマン符号化器３４に入力する。図５（Ｄ）に点線でバンド分割の様子を示す。
【００４７】
同時に、マスキング算出器３０にはマスキング分離器１で抑圧されなかった波形データが入力される。マスキング算出器３０ではこの波形データから抑圧された波形データを予測する。高周波にもデータが残っていることから、ハフマン符号化器３４でもデータが多いことが予想されるので、ダイナミックレンジが広いものに最適なハフマン符号が選択される用にハフマンテーブル３２に制御信号を送る。同様に低周波のバンドでも同じである。ハフマンテーブル３２はこれらの情報から最適なハフマンテーブルを選択し、ハフマン符号化器３３、３４、３５に提供する。
【００４８】
ハフマン符号化器３３、３４、３５で生成された符号は整形器３６に入力され、非可聴領域符号化データとして出力される。ここでは、最初にハフマン符号化器３３からの出力、続いて、ハフマン符号化器３４からの出力、最後にハフマン符号化器３５からの出力の順に並べ、非可聴符号化データを生成する。非可聴符号化データは整形器８に入力され、後述するビットストリームに整形される。
【００４９】
図１に戻り、整形器８には符号化器３から非可逆符号化データが、残渣符号化器５から残渣符号化データが、時間非可聴領域符号化器６から時間非可聴符号化データが、非可聴領域符号化器７から非可聴符号化データが入力される。最初に整形器８はビットストリームの特性を表すヘッダを生成して出力する。続いて、非可逆符号化データ、残渣符号化データ、時間非可聴符号化データ、非可聴符号化データと続けて出力して、ビットストリームを生成する。図６にそのビットストリームの構成を示す。図６（Ａ）はビットストリーム全体の構成を表している。上記の出力順でビットストリームが構成されている。図６（Ｂ）はその中の時間非可聴符号化データの構成を表しており、時間的に早いものから順に並べて構成されている。図６（Ｃ）はその中の非可聴符号化データの構成を表しており、低周波のバンドから順に並べて構成されている。
【００５０】
以後、この順で最後までオーディオ符号化を行ない、全ての処理が終われば全体の処理を終了する。
【００５１】
以上、ビットストリームの生成までの処理を簡単な流れを、図７を用いて説明する。
【００５２】
まずステップＳ１にて、ビットストリームのヘッダを生成する。ステップＳ２にて、終了判断を行なう。ステップＳ３にて、入力からマスキングの閾値と比較して、マスキングで抑圧されないデータと抑圧されるデータを分離する。ステップＳ４にて、ステップＳ２で抑圧されなかったデータをテンポラルマスキングの閾値と比較して、テンポラルマスキングで抑圧されないデータと抑圧されるデータを分離する。ステップＳ５にて、ステップＳ４で抑圧されなかったデータを非可逆符号化を行なう、ステップＳ６にて、非可逆データを復号し、ステップＳ４で抑圧されなかったデータとの差分を求め、符号化し、残渣符号化データを得る。ステップＳ７にて、ステップＳ４でテンポラルマスキングで抑圧されたデータを符号化し、時間非可聴符号化データを得る。ステップＳ８にて、ステップＳ３でマスキングで抑圧されたデータを符号化し、非可聴符号化データを得る。ステップＳ２で、符号化処理が終了すれば、全体の処理を終了する。
【００５３】
このような一連の選択動作により、オーディオデータに対して、可聴領域での非可逆符号化、可聴領域での可逆符号化、時間的なマスキングに対応した非可聴領域での可逆符号化、全てのデータに対する可逆符号化を行なうことができるようになる。これによって、必要な符号化データまでを出力することによってユーザが復号したい品質の符号化データを生成することができ、完全に可逆な符号化データを生成することができる。
【００５４】
なお、本実施例においては非可逆の符号化方式をＭＰＥＧ−１オーディオ符号化方式としたがこれに限定されず、他の符号化方式、たとえば、ＡＡＣ符号化などでももちろんかまわない。また、出力のビットストリームのフォーマットもこれに限定されない。例えば、非可逆符号化データ、残渣符号化データ、時間非可聴領域符号化データ、非可聴領域符号化データを適宜インターリーブして出力してももちろん構わない。
【００５５】
また、本実施例の各部または全部の機能をソフトウェアで記述し、ＣＰＵ等の演算装置によって処理をさせてももちろんかまわない。
【００５６】
また、ダイナミックレンジの判定にビット割り当てを用いたがこれに限定されず、スケールファクタ等のほかの情報も利用しても構わない。
【００５７】
また、可逆な符号化としてハフマン符号化を例に取ったがこれに限定されず、算術符号や、予測信号を生成して、予測を行なった符号化でももちろん構わない。
【００５８】
また、時間非可聴領域符号化器６の構成でバンド分割器２３を用いたが、クリティカルバンドの幅が十分に狭かった場合、この処理は省略してももちろん構わない。また、バンド数等もこれに限定されない。
【００５９】
〈第２実施例〉
伝送するレベルを選択するようにする。分岐でユーザからの入力で打ち切るか否かを追加。時系列で並べる。
【００６０】
図８は、本発明の第２の実施に係るオーディオ符号化装置の構成を示すブロック図である。図８において、３００は装置全体の制御、及び種々の処理を行なう中央演算装置（ＣＰＵ）、３０１は本装置の制御に必要なオペレーティング装置（ＯＳ）、ソフトウェア、演算に必要な記憶領域を提供するメモリである。
【００６１】
３０２は種々の装置をつなぎ、データ、制御信号をやり取りするバスである。３０３は装置の起動、各種条件の設定、再生の指示を行なうための端末である。３０４はソフトウェアを蓄積する記憶装置である。３０５はオーディオデータを蓄積する記憶装置、３０６は音声等を入力するマイクである。記憶装置３０４および３０５は装置から切り離して移動できるメディアで構成することも出来る。３０７は音を再生するスピーカであり、３０８は通信回路であり、ＬＡＮ、公衆回線、無線回線、放送電波等で構成されている。３０９は通信回路３０８を介して画像データを送受信する通信インターフェースである。
【００６２】
このような構成において、オーディオデータのオーディオ符号化処理について説明する。ここでは、マイク３０６で撮像されたオーディオデータを符号化し、通信インターフェース３０９から送信する例をもって説明する。
【００６３】
ここでは非可逆符号化方式として、ＡＡＣ符号化方式を例にとって説明するが、これに限定されない。ＡＡＣ符号化に関してはＩＳＯ１４４９６−３に詳細に記載されている。
【００６４】
処理に先立ち、端末３０３から装置全体に対して起動が指示され、各部が初期化される。すると記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【００６５】
メモリ３０１のメモリの使用、格納状況を図９に示す。
【００６６】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、オーディオ符号化を行なうソフトウェア、データを送受信する通信ソフトウェアが格納されている。
【００６７】
また、符号化の際にオーディオデータを格納するオーディオエリア、生成したり読み出しりするための符号化データを格納する符号エリア、各種演算や符号化特性を表すパラメータ等を格納しておくワーキングエリアが存在する。
【００６８】
このような構成において、ＣＰＵ３００によるオーディオデータの符号化動作を図９に示すフローチャートに従って説明する。
【００６９】
まず、ステップＳ１０１にて、マイク３０６からの入力に先立ち、端末３０３から出力する階層を選択する。選択できる階層は非可逆符号化まで、可聴域で可逆な符号化まで、時間的な非可聴域での可逆符号化まで、完全な可逆符号化までの４通りである。
【００７０】
ステップＳ１０２にて、メモリ３０１上の符号化ソフトウェアによって、符号化ヘッダを生成し、符号エリアに出力する。その符号化データをメモリ３０１上の通信ソフトウェアが読み出し、通信インターフェース３０９を介して通信回線３０８に出力される。
【００７１】
続いて、ステップＳ１０３にて、終了判定を行なう。符号化すべきデータが無くなれば処理が終了したと判断し、全体の処理を終了する。
【００７２】
ステップＳ１０４にて、フレームに関する処理が終了したか否かを判定する。処理が終了していなければステップＳ１０５に進み、終了していればステップＳ１１４に進む。
【００７３】
ステップＳ１０５にて、マイク３０６から入力されたオーディオデータに対して、周波数上での最小可聴限界、マスキングによって抑圧される音と抑圧されない音を分離する。分離したデータは抑圧される音はオーディオエリア１に、そうでない音はオーディオエリア２に夫々格納される。
【００７４】
ステップＳ１０６にて、符号エリア２に格納された波形を時間方向に並べ、テンポラルマスキングのマスキング効果で抑圧される音とそれ以外を分離する。分離したデータは抑圧される音はオーディオエリア３に、そうでない音はオーディオエリア４に夫々格納される。
【００７５】
ステップＳ１０７にて、オーディオエリア４に格納されているオーディオデータをＡＡＣ符号化方式で符号化し、生成した符号化データをメモリ３０１上の符号エリアに格納する。
【００７６】
ステップＳ１０８にて、ステップＳ１０１で入力された階層が非可逆符号化のみか可聴域で可逆な符号化を行なうかを判断する。非可逆符号化のみであれば、ステップＳ１０４に戻り、次のオーディオデータの処理を行なう。そうでなければステップＳ１０９に進む。
【００７７】
ステップＳ１０９にて、残渣符号化を行なうメモリ３０１上の符号エリアに格納されている符号化データを復号し、オーディオエリア４に格納されているオーディオデータとの差分を求め、ハフマン符号化で可逆符号化し、符号化データをメモリ３０１上の符号エリアに格納する。
【００７８】
ステップＳ１１０にて、ステップＳ１０１で入力された階層が可聴域で可逆な符号化までか、時間的な非可聴域での可逆符号化までを行なうかを判断する。可聴域で可逆な符号化までであれば、ステップＳ１０４に戻り、次のオーディオデータの処理を行なう。そうでなければステップＳ１１１に進む。
【００７９】
ステップＳ１１１にて、オーディオエリア３に格納されているオーディオデータを時間非可聴領域符号化する。オーディオエリア４に格納されているオーディオデータからマスカーを検出し、マスカーに対するマスキング効果の幅、高さを算出し、最適なハフマンテーブルを選択して可逆符号化を行なう。この時、オーディオエリア４に格納されているオーディオデータで０でない部分は残渣符号化で符号化されているので、符号化されない。
【００８０】
ステップＳ１１２にて、ステップＳ１０１で入力された階層が時間的な非可聴域で可逆な符号化までか、完全な可逆符号化までを行なうかを判断する。時間的な非可聴域で可逆な符号化までであれば、ステップＳ１０４に戻り、次のオーディオデータの処理を行なう。そうでなければステップＳ１１３に進む。
【００８１】
ステップＳ１１３にて、オーディオエリア１に格納されているオーディオデータを非可聴領域符号化する。オーディオエリア２に格納されているオーディオデータからマスキング効果と最小可聴限界を算出し、各サンプリングごとに最適なハフマンテーブルを選択して可逆符号化を行なう。その後、ステップＳ１０４に進む。
【００８２】
ステップＳ１０４にて、１フレーム分の符号化データの生成が終了したと判断されたら、ステップＳ１１４にて、メモリ３０１上の符号エリアの符号化データをメモリ３０１上の通信ソフトウェアが読み出し、通信インターフェース３０９を介して通信回線３０８に出力される。その後、各オーディオエリアから符号化済みのオーディオデータを削除し、ステップＳ１０３に戻る。
【００８３】
ステップＳ１０３ではマイク３０６からの入力が終了し、全てのフレームについて符号化処理が終了したら、全ての動作を停止して、終了する。
【００８４】
図１１にこのようにして生成され、出力されたビットストリームを表す。図１１（Ａ）はビットストリーム全体の構成を表している。ヘッダと各フレームの符号化データでビットストリームが構成されている。図１１（Ｂ）は非可逆符号化を行なったフレームの内容を表している。ヘッダと非可逆符号化データのみで構成されている。図１１（Ｃ）は可聴域での可逆符号化を行なったフレームの内容を表している。ヘッダと非可逆符号化データと残渣符号化データで構成されている。図１１（Ｄ）は時間的な非可聴域での可逆符号化を行なったフレームの内容を表している。ヘッダと非可逆符号化データと残渣符号化データと時間的非可聴領域符号化データで構成されている。図１１（Ｅ）は完全な可逆符号化を行なったフレームの内容を表している。ヘッダと非可逆符号化データと残渣符号化データと時間的非可聴領域符号化データ、非可聴領域符号化データで構成されている。
【００８５】
このような一連の選択動作により、オーディオデータに対して、可聴領域での非可逆符号化、可聴領域での可逆符号化、時間的なマスキングに対応した非可聴領域での可逆符号化、全てのデータに対する可逆符号化を階層的な符号化として行なうことができるようになる。これによって、必要な符号化データまでを出力することによってユーザが復号したい品質の符号化データを生成することができ、完全に可逆な符号化データを生成することができる。
【００８６】
なお、本実施例においては非可逆の符号化方式をＡＡＣ符号化方式としたがこれに限定されず、他の符号化方式、たとえば、ＭＰＥＧ−１オーディオ符号化などでももちろんかまわない。また、出力のビットストリームのフォーマットもこれに限定されない。例えば、非可逆符号化データ、残渣符号化データ、時間非可聴領域符号化データ、非可聴領域符号化データをそれぞれまとめて出力してももちろん構わない。
【００８７】
また、本実施例の各部または全部の機能をハードウェアによって処理をさせてももちろんかまわない。
【００８８】
また、可逆な符号化としてハフマン符号化を例に取ったがこれに限定されず、算術符号や、予測信号を生成して、予測を行なった符号化でももちろん構わない。
【００８９】
また、オーディオ符号化されたビットストリームを記憶装置３０５に蓄積してももちろんかまわない。
【００９０】
また、図１２に同じ構成で異なる符号化動作を行なう場合のフローチャートを示す。図１２において、図１０と同様の機能を果たすものには同じ番号を付し、説明を省略する。
【００９１】
ステップＳ２０１にて、出力する階層を選択する。前述とは異なり、出力する階層は、非可逆符号化まで、可聴域で可逆な符号化まで、完全な可逆符号化までの３通りである。ステップＳ１０２ではヘッダを生成し、出力する。
【００９２】
ステップＳ２０２にて、マイク３０６から入力されたオーディオデータを行って時間分だけ蓄積し、周波数方向に最小可聴限界、マスキング閾値、テンポラルマスキングの閾値を算出し、それ以上の大きさを持つサンプルに関してはオーディオエリア２に、それ以下の大きさのサンプルについてはオーディオエリア１に格納される。ステップＳ１０７にてＡＡＣ符号化が行なわれ、ステップＳ１０９ではその残渣符号化が行なわれる。
【００９３】
ステップＳ２０３にて、ステップＳ２０１で入力された階層が可聴域で可逆な符号化までか、完全な可逆符号化までを行なうかを判断する。可聴域で可逆な符号化までであれば、ステップＳ１０４に戻り、次のオーディオデータの処理を行なう。そうでなければステップＳ２０４に進む。
【００９４】
ステップＳ２０４にて、オーディオエリア１に格納されているオーディオデータを非可聴領域符号化する。オーディオエリア２に格納されているオーディオデータからテンポラルマスキング効果、マスキング効果、最小可聴限界とを算出し、各サンプリングごとに最適なハフマンテーブルを選択して可逆符号化を行なう。例えば、図５（Ｄ）のように周波数のバンドでハフマンテーブルを切り替えて符号化する。その後、ステップＳ１０４に進む。
【００９５】
このように動作させることにより、３段階の階層符号化を実現することができる。
【図面の簡単な説明】
【００９６】
【図１】第１の実施例としての本発明にかかるオーディオ符号化装置の構成を示すブロック図である。
【図２】残渣符号化器の詳細な構成を示すブロック図である。
【図３】時間非可聴領域符号化器の詳細な構成を示すブロック図である。
【図４】非可聴領域符号化器の詳細な構成を示すブロック図である。
【図５】符号化する波形の様子を表す図である。
【図６】生成されたビットストリームの構成の１例を表す図である。
【図７】本発明の第１の実施例におけるオーディオ符号化動作を示すフローチャート図である。
【図８】第２の実施例としての本発明にかかるオーディオ符号化装置の構成を示すブロック図である。
【図９】メモリ３０１のメモリの使用、格納状況を表す図である。
【図１０】本発明の２の実施例におけるオーディオ符号化動作を示すフローチャート図である。
【図１１】生成されたビットストリームの構成の１例を表す図である。
【図１２】本発明の２の実施例における別なオーディオ符号化動作を示すフローチャート図である。
【符号の説明】
【００９７】
１  マスキング分離器
２  テンポラルマスキング分離器
３  符号化器
４  復号器
５  残渣符号化器
６  時間非可聴領域符号化器
７  非可聴領域符号化器
８、２７、３６  整形器
１１  差分器
１２、２４、２５、２６、３３、３４、３５  ハフマン符号化器
１３、２２、３２  ハフマンテーブル
１４  ダイナミックレンジ判定器
２０、３０  マスキング算出器
２１  前後テンポラルマスキング分離器
２３、３１  バンド分割器
３００  ＣＰＵ
３０１  メモリ
３０２  バス
３０３  端末
３０４、３０５  記憶装置
３０６  マイク
３０７  スピーカ
３０８  通信回線
３０９  通信インターフェース
【図１】
2005181671.tif 000003
【図２】
2005181671.tif 000004
【図３】
2005181671.tif 000005
【図４】
2005181671.tif 000006
【図５】
2005181671.tif 000007
【図６】
2005181671.tif 000008
【図７】
2005181671.tif 000009
【図８】
2005181671.tif 000010
【図９】
2005181671.tif 000011
【図１０】
2005181671.tif 000012
【図１１】
2005181671.tif 000013
【図１２】
2005181671.tif 000014