(57)【要約】【課題】  音声信号又は画像信号を符号化する場合に、符号化に要する演算量を削減しつつ最終的な音質／画質の劣化を小さく抑える。【解決手段】  高能率音声符号化装置１において、時間−周波数変換部１０は、入力音声信号を一定時間毎に周波数係数に変換し、聴覚心理解析部１１は、その周波数係数を幾つかの周波数領域に分割し、各領域毎にエネルギ量と許容ノイズ量とを計算する。量子化部１２は、許容ノイズ量を超えない最大の係数（量子化係数）で各領域の周波数係数を除算し、最も近い整数値に丸めた量子化周波数係数を可逆圧縮部１３に供給する。可逆圧縮部１３は、エネルギ量と許容ノイズ量との比率に応じて決定された数のコードブックを用いて符号化を行い、最も圧縮効率がよいコードブックを選択する。【選択図】  図１
2005196029.tif 000002
【特許請求の範囲】
【請求項１】
時間領域の入力信号を知覚モデルに基づいて高能率に圧縮符号化する符号化装置において、
上記入力信号を周波数領域のスペクトル信号に変換する変換手段と、
上記スペクトル信号を解析し、分割した各領域における知覚上の重要度を計算する知覚心理解析手段と、
上記各領域について、上記重要度に応じて複数の符号化方式から検索対象となる１以上の符号化方式を決定し、該検索対象となる各符号化方式で該領域におけるスペクトル信号を符号化して符号列を生成し、最も圧縮効率がよい符号化方式により生成された符号列を出力する符号化手段とを備え、
上記符号化手段は、上記重要度が高い領域ほど検索対象となる符号化方式の数を多くする
ことを特徴とする符号化装置。
【請求項２】
上記知覚心理解析手段は、各領域のエネルギ量と知覚モデルに基づく許容ノイズ量との比率を各領域における重要度として計算することを特徴とする請求項１記載の符号化装置。
【請求項３】
上記符号化手段は、上記各領域について、上記重要度に応じて複数のコードブックから検索対象となる１以上のコードブックを決定し、該検索対象となる各コードブックを用いて該領域におけるスペクトル信号を符号化して符号列を生成し、最も圧縮効率がよいコードブックにより生成された符号列を出力することを特徴とする請求項１記載の符号化装置。
【請求項４】
時間領域の入力信号を知覚モデルに基づいて高能率に圧縮符号化する符号化装置において、
上記入力信号を周波数領域のスペクトル信号に変換する変換手段と、
上記スペクトル信号を解析し、分割した各領域における知覚上の重要度を計算する知覚心理解析手段と、
上記各領域について、上記重要度に応じて決定された精度で量子化係数を求め、該量子化係数を用いて各領域におけるスペクトル信号を量子化する量子化手段と、
量子化後の各領域におけるスペクトル信号を符号化する符号化手段とを備え、
上記量子化手段は、上記重要度が高い領域ほど量子化係数を求める際の精度を高くする
ことを特徴とする符号化装置。
【請求項５】
上記知覚心理解析手段は、各領域のエネルギ量と知覚モデルに基づく許容ノイズ量との比率を各領域における重要度として計算することを特徴とする請求項４記載の符号化装置。
【請求項６】
上記量子化手段は、各領域における量子化ノイズ量が該領域における許容ノイズ量に上記精度で近付くように上記量子化係数を求めることを特徴とする請求項５記載の符号化装置。
【請求項７】
時間領域の入力信号を知覚モデルに基づいて高能率に圧縮符号化する符号化方法において、
上記入力信号を周波数領域のスペクトル信号に変換する変換工程と、
上記スペクトル信号を解析し、分割した各領域における知覚上の重要度を計算する知覚心理解析工程と、
上記各領域について、上記重要度に応じて複数の符号化方式から検索対象となる１以上の符号化方式を決定し、該検索対象となる各符号化方式で該領域におけるスペクトル信号を符号化して符号列を生成し、最も圧縮効率がよい符号化方式により生成された符号列を出力する符号化工程とを有し、
上記符号化工程では、上記重要度が高い領域ほど検索対象となる符号化方式の数を多くする
ことを特徴とする符号化方法。
【請求項８】
上記知覚心理解析工程では、各領域のエネルギ量と知覚モデルに基づく許容ノイズ量との比率を各領域における重要度として計算することを特徴とする請求項７記載の符号化方法。
【請求項９】
上記符号化工程では、上記各領域について、上記重要度に応じて複数のコードブックから検索対象となる１以上のコードブックを決定し、該検索対象となる各コードブックを用いて該領域におけるスペクトル信号を符号化して符号列を生成し、最も圧縮効率がよいコードブックにより生成された符号列を出力することを特徴とする請求項７記載の符号化方法。
【請求項１０】
時間領域の入力信号を知覚モデルに基づいて高能率に圧縮符号化する符号化方法において、
上記入力信号を周波数領域のスペクトル信号に変換する変換工程と、
上記スペクトル信号を解析し、分割した各領域における知覚上の重要度を計算する知覚心理解析工程と、
上記各領域について、上記重要度に応じて決定された精度で量子化係数を求め、該量子化係数を用いて各領域におけるスペクトル信号を量子化する量子化工程と、
量子化後の各領域におけるスペクトル信号を符号化する符号化工程とを有し、
上記量子化工程では、上記重要度が高い領域ほど量子化係数を求める際の精度を高くする
ことを特徴とする符号化方法。
【請求項１１】
上記知覚心理解析工程では、各領域のエネルギ量と知覚モデルに基づく許容ノイズ量との比率を各領域における重要度として計算することを特徴とする請求項１０記載の符号化方法。
【請求項１２】
上記量子化工程では、各領域における量子化ノイズ量が該領域における許容ノイズ量に上記精度で近付くように上記量子化係数を求めることを特徴とする請求項１１記載の符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、知覚モデルに基づき音声信号や画像信号を高能率に圧縮符号化する符号化装置及びその方法に関する。
【背景技術】
【０００２】
従来、音声や画像などの知覚モデルに基づいてデータを圧縮する際には、多くの場合、圧縮の最終段においてハフマン符号等のエントロピー符号を用いた歪なし情報圧縮が行われる。また、ハフマン符号化に際しては、所定数のコードブックから１つのコードブックを選択するようになっている。このような圧縮方式の例としてＭＰＥＧ（Moving Picture Experts Group）１  Ｌａｙｅｒ３の高能率音声符号化技術（以下、ｍｐ３という。）がある。なお、ｍｐ３については、ＩＳＯ／ＭＰＥＧ標準文章である下記非特許文献１にて説明されている。
【０００３】
通常、１つのコードブックを選択する際には、所定数のコードブックの中で符号化結果として得られる符号列の符号長が最も短くなるもの、すなわち最も圧縮効率がよいコードブックを選択することで、高い圧縮率を実現するようにしている。なお、この方法については、ｍｐ３規格のInformative部分に記載されている。
【０００４】
【非特許文献１】「約 1.5Mbit/s のデジタル記憶媒体用映画及び音声の符号化 -- CD11172-3（オーディオ第３部）」（ISO/IECJTCI/SC29,1992）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、最も圧縮効率がよいコードブックを選択するためには、符号化に用いることができる全てのコードブックについて得られる符号列の符号長を計算する必要があるため、演算量が多くなってしまうという問題があった。
【０００６】
本発明は、このような従来の実情に鑑みて提案されたものであり、音声信号又は画像信号を圧縮符号化する場合に、符号化に要する演算量を削減しつつ最終的な音質／画質の劣化を小さく抑えることが可能な符号化装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した目的を達成するために、本発明に係る符号化装置は、時間領域の入力信号を知覚モデルに基づいて高能率に圧縮符号化する符号化装置において、上記入力信号を周波数領域のスペクトル信号に変換する変換手段と、上記スペクトル信号を解析し、分割した各領域における知覚上の重要度を計算する知覚心理解析手段と、上記各領域について、上記重要度に応じて複数の符号化方式から検索対象となる１以上の符号化方式を決定し、該検索対象となる各符号化方式で該領域におけるスペクトル信号を符号化して符号列を生成し、最も圧縮効率がよい符号化方式により生成された符号列を出力する符号化手段とを備え、上記符号化手段は、上記重要度が高い領域ほど検索対象となる符号化方式の数を多くするものである。
【０００８】
また、上述した目的を達成するために、本発明に係る符号化方法は、時間領域の入力信号を知覚モデルに基づいて高能率に圧縮符号化する符号化方法において、上記入力信号を周波数領域のスペクトル信号に変換する変換工程と、上記スペクトル信号を解析し、分割した各領域における知覚上の重要度を計算する知覚心理解析工程と、上記各領域について、上記重要度に応じて複数の符号化方式から検索対象となる１以上の符号化方式を決定し、該検索対象となる各符号化方式で該領域におけるスペクトル信号を符号化して符号列を生成し、最も圧縮効率がよい符号化方式により生成された符号列を出力する符号化工程とを有し、上記符号化工程では、上記重要度が高い領域ほど検索対象となる符号化方式の数を多くするものである。
【０００９】
このような符号化装置及びその方法では、各領域におけるスペクトル信号を符号化する際に、各領域の知覚上の重要度に応じて複数の符号化方式から検索対象となる１以上の符号化方式を決定し、その検査対象となる符号化方式のうち、最も圧縮効率がよい符号化方式により生成された符号列を出力する。特に、この符号化装置及びその方法では、重要度が高い領域ほど検索対象となる符号化方式の数を多くする。
【００１０】
また、上述した目的を達成するために、本発明に係る符号化装置は、時間領域の入力信号を知覚モデルに基づいて高能率に圧縮符号化する符号化装置において、上記入力信号を周波数領域のスペクトル信号に変換する変換手段と、上記スペクトル信号を解析し、分割した各領域における知覚上の重要度を計算する知覚心理解析手段と、上記各領域について、上記重要度に応じて決定された精度で量子化係数を求め、該量子化係数を用いて各領域におけるスペクトル信号を量子化する量子化手段と、量子化後の各領域におけるスペクトル信号を符号化する符号化手段とを備え、上記量子化手段は、上記重要度が高い領域ほど量子化係数を求める際の精度を高くするものである。
【００１１】
また、上述した目的を達成するために、本発明に係る符号化方法は、時間領域の入力信号を知覚モデルに基づいて高能率に圧縮符号化する符号化方法において、上記入力信号を周波数領域のスペクトル信号に変換する変換工程と、上記スペクトル信号を解析し、分割した各領域における知覚上の重要度を計算する知覚心理解析工程と、上記各領域について、上記重要度に応じて決定された精度で量子化係数を求め、該量子化係数を用いて各領域におけるスペクトル信号を量子化する量子化工程と、量子化後の各領域におけるスペクトル信号を符号化する符号化工程とを有し、上記量子化工程では、上記重要度が高い領域ほど量子化係数を求める際の精度を高くするものである。
【００１２】
このような符号化装置及びその方法では、各領域におけるスペクトル信号を量子化する際に、各領域の知覚上の重要度に応じて決定された精度で量子化係数を求める。特に、この符号化装置及びその方法では、重要度が高い領域ほど量子化係数を求める際の精度を高くする。
【発明の効果】
【００１３】
本発明に係る符号化装置及びその方法では、各領域におけるスペクトル信号を符号化する際に、各領域の知覚上の重要度に応じて複数の符号化方式から検索対象となる１以上の符号化方式を決定し、特に重要度が高い領域ほど検索対象となる符号化方式の数を多くすることにより、最適な符号化方式を選択する際の演算量を削減しつつ、最終的な音質又は画質の劣化を小さく抑えることが可能となる。
【００１４】
また、本発明に係る符号化装置及びその方法では、各領域におけるスペクトル信号を量子化する際に、各領域の知覚上の重要度に応じて決定された精度で量子化係数を求め、特に重要度が高い領域ほど量子化係数を求める際の精度を高くすることにより、量子化係数を求める際の演算量を削減しつつ、最終的な音質又は画質の劣化を小さく抑えることが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、知覚モデルに基づき音声信号を高能率に圧縮符号化する高能率音声符号化装置に適用したものである。
【００１６】
先ず、本実施の形態における高能率音声符号化装置の構成及び動作を説明する前に、本実施の形態の概念について説明する。
【００１７】
一般的に、知覚モデルに基づく歪あり情報圧縮では、知覚され難い情報を間引くことで通常の歪なし情報圧縮を大きく上回る圧縮効率を実現している。このような歪あり情報圧縮技術では、圧縮を行う際に、入力信号を解析して知覚上重要な情報と重要でない情報とを判別し、その判別結果を用いて知覚上重要でない情報を間引く。通常、知覚モデルが周波数特性を有するため、空間的・時間的な情報を周波数成分に変換し、変換後のスペクトル情報を用いて上述したような解析や間引き、圧縮処理が行われる。また、圧縮効率を向上させるため、知覚上重要でない情報を間引いた後にさらに何らかの歪あり符号化や歪なし符号化を組み合わせて圧縮処理が行われる場合もある。これらの処理を経て、最終的な圧縮結果が得られることになる。
【００１８】
実際の歪あり情報圧縮技術では、知覚上重要でない情報の間引き方法として量子化が用いられ、この間引き方法に組み合わされる歪なし符号化方法としてハフマン符号化等が用いられる。このハフマン符号化に際しては、前述した通り、複数のコードブックから最適なコードブックを選択することが可能になっている場合が多い。すなわち、複数の符号化方式の中から最適な符号化方式を選択できるようになっている。前述したｍｐ３もこのような情報圧縮技術を利用したものである。
【００１９】
ところで、通常、知覚上重要な情報は最終的な圧縮結果においても多くの部分を占めることが予想されるため、このような部分において圧縮率を高めることが全体的な圧縮率の向上には重要となる。したがって、例えばハフマン符号化を行う際には、符号化に用いることができる全てのコードブックに対して符号化結果として得られる符号列の符号長を計算し、符号長が最も短くなるものを選択することが好ましい。その一方で、このように全てのコードブックを検索した場合には演算量が多くなるという問題がある。
【００２０】
そこで、本実施の形態では、音声の知覚モデルに基づき、音質に大きな影響を与える知覚上重要な情報についてのみ、符号化に用いることができるコードブックの全てを検索対象として最適なコードブックを選択し、それ以外の情報については、予め制限された数のコードブックを検索対象とする。これにより、最適なコードブック、すなわち最適な符号化方式を選択する際の演算量を削減しつつ、最終的な音質の劣化を小さく抑えることが可能となる。
【００２１】
本実施の形態における高能率音声符号化装置の概略構成を図１に示す。図１に示すように、高能率音声符号化装置１は、時間−周波数変換部１０と、聴覚心理解析部１１と、量子化部１２と、可逆圧縮部１３とから構成されている。
【００２２】
このうち、時間−周波数変換部１０、聴覚心理解析部１１及び量子化部１２の実装方法としては、例えば前述したｍｐ３規格のInformative部分や、特開平６−５１７９５号公報等に記載されているように様々な方式が知られている。なお、ｍｐ３規格では、固定レートでの符号化を実現するために図１の各ブロックにおける処理以外の処理についても説明されているが、ここでは簡単のため可変レートを用いるものとして説明を行う。但し、可変レートに限定されるものではないことは勿論である。また、非線形量子化処理等を行うブロックを追加することも可能であるが、同様に簡単のため省略する。
【００２３】
この高能率音声符号化装置１において、時間−周波数変換部１０は、入力されたデジタル音声信号（ＰＣＭ信号）をある一定時間毎に区切り、ブロック毎の音声信号を例えば離散コサイン変換を用いて周波数係数（スペクトル信号）に変換する。
【００２４】
聴覚心理解析部１１は、時間−周波数変換部１０で変換された周波数係数を幾つかの周波数領域に分割し、各領域毎にエネルギ量と許容ノイズ量とを計算する。ここで、許容ノイズ量とは、聴覚上認知されない最大のノイズ量のことであり、周波数毎のエネルギ量に対して、同時マスキングやテンポラルマスキング等の聴覚特性をシミュレートすることで計算される。周波数係数を第１乃至第３の領域に分割した場合、聴覚心理解析部１１は、各領域毎にエネルギ量と許容ノイズ量とを計算し、例えば図２に示すようなデータを量子化部１２及び可逆圧縮部１３に供給する。
【００２５】
量子化部１２は、聴覚心理解析部１１によって計算された許容ノイズ量を超えない最大の係数（量子化係数）を領域毎に計算し、その値で各領域の周波数係数を除算し、最も近い整数値に丸めた値（量子化周波数係数）を可逆圧縮部１３に供給する。
【００２６】
可逆圧縮部１３は、量子化部１２から供給された量子化周波数係数に対して、ハフマン符号を用いて可逆圧縮を行う。このとき、供給された量子化周波数係数を幾つかの領域に分割し、各領域に対して最大で４つのコードブックから最適なコードブックを選択可能であるとする。ここでは簡単のため、聴覚心理解析部１１で行う周波数領域での分割方法と可逆圧縮部１３における分割方法とは同等であるとするが、この分割方法は様々な方法を用いることが可能である。例えば、前述したｍｐ３のように、聴覚心理解析部１１において分割した領域を複数まとめたものを可逆圧縮部１３における分割方法としてもよい。或いは、特許第３３３６６１７号公報に記載されているように、特定部分のみを選択して特別なブロックとして扱うようにしてもよい。
【００２７】
可逆圧縮部１３においては、上述の通り量子化周波数係数が第１乃至第３の領域に分割され、各領域に対してハフマン符号化が適用される。この際、分割された各領域に対して最大で４つのコードブックから最適なコードブックを選択する。特に、可逆圧縮部１３は、４つのコードブックのうち検索を行うコードブックの数を聴覚心理解析部１１の出力を用いて決定する。具体的には、エネルギ量と許容ノイズ量との比率を所定の閾値と比較し、その比率が大きいほど重要な部分であると判断し、多くのコードブックに対する検索を行う。すなわち、多種のコードブックを使用して符号化を行い、それらの結果の中で最も圧縮効率がよいものを選択する。エネルギ量と許容ノイズ量との比率と検索するコードブック数とが対応付けられたテーブルの一例を図３に示す。
【００２８】
上述した例の場合、図２及び図３から、第１の領域において検索するコードブック数は２つ、第２の領域において検索するコードブック数は３つ、第３の領域において検索するコードブック数は１つとなる。常に全てのコードブックに対する検索を行った場合、３つの領域に対して４つのコードブックを検索するため、合計で１２回の検索を行う必要があるが、本実施の形態では６回の検索で済ませることができ、符号化処理を高速化することができる。
【００２９】
なお、前述したｍｐ３のように、聴覚心理解析部１１における領域の分割方法と可逆圧縮部１３における領域の分割方法とが異なる場合には、両者の包含関係や重なり合う領域の大きさ等を考慮してエネルギ量や許容ノイズ量の加重平均等を計算し、そこから両者の比率を求めるようにすればよい。
【００３０】
以上説明した可逆圧縮部１３における処理の流れを図４のフローチャートに示す。先ずステップＳ１において、聴覚心理解析部１１の出力に基づき各領域の重要度を計算する。この重要度としては、上述したようにエネルギ量と許容ノイズ量との比率を用いることができる。
【００３１】
続いてステップＳ２において、重要度に基づいて検索するコードブック数を決定し、ステップＳ３において、検索対象の各コードブックを用いて符号化することで得られた符号列の符号長を計算する。そしてステップＳ４において、符号化結果の符号長が最も短くなるコードブックを最適なコードブックとして選択し、そのコードブックを用いて符号化することで得られた符号列を出力する。
【００３２】
以上のステップを経て、各領域における符号列が高能率音声圧縮符号列として出力される。この高能率音声圧縮符号列は、例えば記録媒体に書き込まれ、又は通信路を経由して伝送される。
【００３３】
以上説明したように、本実施の形態における高能率音声符号化装置１によれば、音質に大きな影響を与える知覚上重要な情報についてのみ、符号化に用いることができるコードブックの全てを検索対象として最適なコードブックを選択し、それ以外の情報については、予め制限された数のコードブックを検索対象とすることにより、最適なコードブック、すなわち最適な符号化方式を選択する際の演算量を削減しつつ、最終的な音質の劣化を小さく抑えることが可能となる。
【００３４】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００３５】
例えば、上述した実施の形態では、本発明を複数のコードブックから最適なコードブックを選択する可逆圧縮部１３に適用した例について説明したが、この可逆圧縮部１３に限定されるものではなく、量子化係数の決定部分、すなわち量子化部１２に適用することも可能である。
【００３６】
この量子化部１２は、聴覚心理解析部１１から供給されたデータを用いて量子化係数を決定する。このとき、量子化係数が大きいほど多くのデータが間引かれてノイズが大きくなるものの、圧縮率を高めることが可能になる。したがって、圧縮率を高めるには量子化ノイズ量が聴覚心理解析部１１から供給された許容ノイズ量に限りなく近い値となるような量子化係数を求める必要がある。しかしながら、正確にそのような数値を求めるには演算量が大きくなってしまうという問題がある。
【００３７】
そこで、量子化係数の決定に必要な精度をエネルギ量と許容ノイズ量との比率に応じて例えば図５のように設定し、各領域における量子化ノイズ量がこの精度で許容ノイズ量に近付くように量子化係数を求めることにより、量子化係数を求める際の演算量を削減し、符号化処理を高速化することが可能となる。
【００３８】
また、上述した実施の形態では、本発明を音声信号の符号化に適用した例について説明したが、音声信号に限定されるものではなく、画像信号の符号化に適用することも可能である。
【図面の簡単な説明】
【００３９】
【図１】本実施の形態における高能率音声符号化装置の概略構成を示す図である。
【図２】周波数係数が第１乃至第３の領域に分割された場合に高能率音声符号化装置の聴覚心理解析部から出力されるデータの一例を示す図である。
【図３】エネルギ量と許容ノイズ量との比率と、検索するコードブック数とが対応付けられたテーブルの一例を示す図である。
【図４】高能率音声符号化装置の可逆圧縮部における処理を説明するフローチャートである。
【図５】エネルギ量と許容ノイズ量との比率と、量子化係数の決定に必要な精度とが対応付けられたテーブルの一例を示す図である。
【符号の説明】
【００４０】
１  高能率音声符号化装置、１０  時間−周波数変換部、１１  聴覚心理解析部、１２  量子化部、１３  可逆圧縮部
【図１】
2005196029.tif 000003
【図２】
2005196029.tif 000004
【図３】
2005196029.tif 000005
【図４】
2005196029.tif 000006
【図５】
2005196029.tif 000007