(57)【要約】【課題】符号化されたオーディオ信号の品質を向上させる。【解決手段】入力信号をサブバンド信号に変換し、低域部のサブバンド信号を複製することによって、高域部のサブバンド信号を生成する過程と、入力信号に含まれる、サブバンド信号の複製によって再現できないトーン性信号を再現するために、人工的なトーン信号を付加する過程を含むオーディオ符号化装置において、入力信号の高調波構造を分析する手段を新たに設けることにより、入力信号が高調波構造を持つか否かを判断し、高調波構造を持つ場合には、トーン信号付加を行わないようにすることによって、高調波間隔の乱れを防ぎ、音質を向上させる。【選択図】図１
2008096567.tif 000002
【特許請求の範囲】
【請求項１】
入力信号を、低い周波数帯域の信号である低域部の信号と、高い周波数帯域の信号である高域部の信号とに分割し、前記高域部の信号を、前記低域部の信号からの複製を用いて復元するためのオーディオ符号化装置であって、
入力信号を低域部のサブバンド信号と高域部のサブバンド信号とに変換する手段と、前記低域部のサブバンド信号のトーン性度合を算出する第１のトーン性分析手段と、前記高域部のサブバンド信号のトーン性度合を算出する第２のトーン性分析手段と、前記入力信号の高調波構造を分析する高調波構造分析手段と、前記高域部のサブバンド信号に人工的なトーン信号を付加するか否かを決定するトーン信号付加可否決定手段とを備え、
前記トーン信号付加可否決定手段は、算出された前記低域部のサブバンド信号のトーン性度合と算出された前記高域部のサブバンド信号のトーン性度合とを比較した結果と、前記高調波構造分析手段による高調波構造分析の結果に基づいて、トーン信号を付加するか否かを決定することを特徴とするオーディオ符号化装置。
【請求項２】
前記高調波構造分析手段は、前記高域部の各サブバンド信号のトーン性度合から、高域部全体のトーン性を示す度合を算出し、あらかじめ定められた閾値と比較することによって、入力信号が高調波構造を持つか否かを判定することを特徴とする請求項１に記載のオーディオ符号化装置。
【請求項３】
前記高調波構造分析手段が算出する高域部全体のトーン性を示す度合は、前記高域部の各サブバンド信号のトーン性度合を高域部全体において平均した値であることを特徴とする  請求項２に記載のオーディオ符号化装置。
【請求項４】
前記高調波構造分析手段は、前記高域部の各サブバンド信号のトーン性度合と、前記低域部の一部サブバンドのトーン性度合から、含まれる範囲全体のトーン性を示す度合を算出し、あらかじめ定められた閾値と比較することによって、入力信号が高調波構造を持つか否かを判定することを特徴とする請求項１に記載のオーディオ符号化装置。
【請求項５】
前記トーン信号付加可否決定手段は、入力信号が高調波構造を持つ場合に、トーン信号の付加を行う予定の高域部のサブバンドの周辺サブバンドに対応する、低域部のサブバンドのトーン性度合を調査し、低域部のサブバンドのトーン性度合が高い場合には、トーン信号の付加を行わないように決定することを特徴とする請求項２に記載のオーディオ符号化装置。
【請求項６】
前記高調波構造分析手段は、高調波構造の分析結果を高調波構造の強度の度合いとして出力し、前記トーン信号付加可否決定手段は、前記高調波構造の強度の度合いが大きくなるにしたがってトーン信号の付加が行われにくくなるように決定することを特徴とする請求項１に記載のオーディオ符号化装置。
【請求項７】
入力信号を、低い周波数帯域の信号である低域部の信号と、高い周波数帯域の信号である高域部の信号とに分割し、前記高域部の信号を、前記低域部の信号からの複製を用いて復元するためのオーディオ符号化方法であって、
入力信号を低域部のサブバンド信号と高域部のサブバンド信号とに変換するステップと、前記低域部のサブバンド信号のトーン性度合を算出する第１のトーン性分析ステップと、前記高域部のサブバンド信号のトーン性度合を算出する第２のトーン性分析ステップと、前記入力信号の高調波構造を分析する高調波構造分析ステップと、前記高域部のサブバンド信号に人工的なトーン信号を付加するか否かを決定するトーン信号付加可否決定ステップとにより構成され、
前記トーン信号付加可否決定ステップは、算出された前記低域部のサブバンド信号のトーン性度合と、算出された前記高域部のサブバンド信号のトーン性度合とを比較した結果と、前記高調波構造分析ステップにおける高調波構造分析の結果に基づいて、トーン信号を付加するか否かを決定することを特徴とするオーディオ符号化方法。
【請求項８】
請求項７に記載のオーディオ符号化方法に含まれる各ステップを、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号を少ない情報量で効率的に符号化するオーディオ符号化装置および方法に関する。
【背景技術】
【０００２】
オーディオ信号を高能率に圧縮符号化し、低ビットレートにおいても高い品質を実現出来る方式として、SBR（Spectral Band Replication）方式が知られている。SBRは、オーディオ符号化方式の国際標準規格MPEG-4 Audio (ISO/IEC 14496-3:2001/AMD1:2003)（非特許文献１参照）において規定される符号化方式である。SBRは、従来の符号化方式、例えば、同じくMPEG-4 Audioで規定されるAAC (Advanced Audio Coding)等と組み合わせて使用されることに特徴があり、入力オーディオ信号を低域部と高域部の２つに分割し、低域部をAAC等の符号化方式、高域部をSBRによって符号化する。
【０００３】
このとき、符号化側においては、高域部について入力信号そのものを符号化せずに、そのエネルギエンベロープのみを符号化する。復号化側では、まず低域部の信号を復号したのち、SBR部において、復号された低域信号を高域部に複製し、復号されたエネルギエンベロープにしたがって信号を整形する。このように、SBRにおいては、高域部の信号について、そのエネルギエンベロープのみを符号化するため、入力信号そのものを符号化する従来方式と比較して、非常に少ない情報量で符号化が可能となる。このことにより、例えば48kbpsといった低いビットレートにおいて、0-16kHz帯域の広帯域のオーディオ信号を、高品質に符号化することが出来る。
【０００４】
低域信号を複製して高域信号を復元することは、通常、入力信号の低域部と高域部の類似性、例えば、高調波構造の類似性などにより、人間の聴覚の特性上、大きな劣化としては知覚されない。しかしながら、入力信号の低域部と高域部の特性が大きく異なる場合、例えば、高域部のみに特徴的な信号が存在している場合は、低域部からの複製として生成された高域部の信号は、入力信号と大きく異なることになり、音質の劣化として知覚されることになる。高域部のみに存在する特徴的な信号としては、トーン性信号があり、電子楽器によって演奏される楽曲等においては、一般的に存在する。
【０００５】
このような問題に対処するため、SBRでは、符号化において、入力信号の高域部分に含まれるトーン性の信号を検出して、その時間的および周波数的な存在位置を符号化し、復号化において、人工的に発生させたトーン信号を、低域部から複製した高域部の信号に付加する（トーン付加と呼ぶ）ことができるようになっている。具体的なトーン信号付加の方法としては、例えば、特許文献１に示される方法がある。以下、その処理について図面を参照しながら説明する。
【０００６】
図２は、従来のSBRにおけるトーン信号付加の構成を示す図である。入力信号２０６は、サブバンドフィルタ２０１に入力され、サブバンド信号に変換される。サブバンド信号は、高域部２０７と低域部２０８に分割され、それぞれ高域部トーン性分析手段２０２と低域部トーン性分析手段２０３に入力される。トーン性の度合（トーナリティ度合）としては、例えば、サブバンド信号に対する線形予測ゲインの大きさを用いる。算出された高域信号のトーン性度合２０９と、低域信号のトーン性度合２１０は、トーン信号付加可否決定手段２０４に入力される。トーン信号付加可否決定手段２０４は、高域信号のトーン性度合２０９と低域信号のトーン性度合２１０を比較し、トーン付加フラグ情報２１２を出力する。
【０００７】
ここで、比較すべきトーン性度合は、復号化において、低域部のどのサブバンドの信号を高域部のどのサブバンドに複製するかにより決定される。図３は符号化側と復号化側におけるサブバンド信号の関係を示す図であり、境界３０３により、高域部と低域部に分割される。復号化側のサブバンド信号３０２において、低域部のサブバンドｍの信号３０７は、高域部のサブバンドｎの信号３０６として複製されるので、符号化において比較すべき対象は、符号化側サブバンド信号３０１におけるサブバンドｍの信号３０５と、サブバンドｎの信号３０４となる。符号化側サブバンド信号において、サブバンドｎの信号３０４のトーン性が高く、サブバンドｍの信号３０５のトーン性が低い場合、入力のサブバンドｎの信号３０４はトーン性が高いにも係らず、復号化において生成されるサブバンドｎの信号３０６はトーン性が低いことになり、入力信号と復号信号の特性の違いにより音質が低下する。したがって、このような条件において、復号化で生成されるサブバンドｎの信号３０６に対して、人工的なトーン信号を付加し、生成される信号のトーン性を高める必要があると判断できる。各サブバンドに対するトーン付加の有無は、オンオフのフラグ情報として符号化され、出力される。
【０００８】
なお、MPEG-4で規定されるSBRでは、隣接する複数のサブバンドをまとめた、スケールファクタバンドと呼ばれる単位で符号化が行われる。この場合、トーン付加の有無を表すフラグについても、スケールファクタバンド毎に設定されるため、トーン性の判定についてもスケールファクタバンド毎に行う必要がある。例えば、比較する対象となる高域部のスケールファクタバンドに含まれるサブバンド信号から、トーン性が最も高いサブバンドを選択し、そのトーン性度合を高域部のスケールファクタバンドの代表値とする。同様に、対応する低域部のスケールファクタバンドに含まれるサブバンド信号から、トーン性が最も高いサブバンドを選択し、そのトーン性度合を低域のスケールファクタバンドの代表値として、高域のスケールファクタバンドの代表値と比較することにより実現できる。
【特許文献１】特表２００５−５１０７７２号公報
【非特許文献１】国際標準規格ISO/IEC 14496-3:2001/AMD1:2003
【発明の開示】
【発明が解決しようとする課題】
【０００９】
隣接する複数のサブバンドをまとめたスケールファクタバンドに対して、トーン付加フラグが設定される場合、スケールファクタバンドに含まれる複数のサブバンドの内、一つのサブバンド（通常、周波数位置として中央に存在するサブバンド）についてのみ、トーン信号を付加することになる。また、付加トーン信号の周波数位置はサブバンドの中心周波数となる。したがって、入力信号に含まれるトーン信号の周波数位置が、スケールファクタバンドの端にある場合には、付加トーン信号との周波数的なずれが大きくなる。
【００１０】
SBRが取り扱う比較的高い周波数帯域の信号（例えば10kHz程度以上）においては、人間の聴覚特性の周波数分解能が低下するため、単独のトーン信号における若干の周波数位置のずれは、大きな音質劣化には至らない。しかしながら、高調波構造をなす複数のトーン信号の、周波数位置のずれは、音質に大きな影響を与える可能性がある。一般に、高調波構造もしくは、ハーモニクス構造と呼ばれる周波数スペクトル構造を持つ信号は、基音となる１次信号と、基音の整数倍の周波数を持つ２次からn次までの高調波の集合体である。
【００１１】
図４は、高調波構造を持つ信号における、低域部から複製した信号と、付加トーン信号の関係を示す図である。ここで、トーン付加はスケールファクタバンドkに対して行われるとし、４０１はトーン付加信号、４０２は低域部から複製された信号、４０３は４０１と４０２を合成した信号を表す。また、４０４はサブバンドの幅を、４０５はスケールファクタバンドの幅を表す。付加されたトーン信号４０６は、スケールファクタバンドkの中央のサブバンドの中心周波数の位置に配置される。また、低域部から複製された信号４０２は、高調波構造を持つため、４０７、４０８，４０９、４１０で表されるトーン性信号を含む。このとき、例えば、４０７と４０８の間隔４１５と、４０８と４０９の間隔４１６とは等しくなる。
【００１２】
このような高調波構造を持つ信号に対して、SBRによるトーン付加を行うと、付加されるトーン信号の周波数位置のずれにより、高調波間の間隔が乱れることになる。合成信号４０３は、低域部から複製した信号４０２に対して、トーン付加を行ったスケールファクタバンドkの信号を、トーン付加信号４０１に置き換えたものであり、含まれるトーン性の信号は、４１１、４１２、４１３、および４１４となる。４１１と４１２の間隔４１７は、低域部から複製された信号の高調波間隔４１５と等しいのに対して、４１２と４１３の間隔４１８は、低域部から複製された信号の高調波間隔４１６と異なることになる。
【００１３】
高調波間隔の乱れは、隣接するトーン信号間の干渉の原因となり、結果として、歪感やうねり感など、音質を大きく損なう現象が発生することがある。このような場合には、トーン信号付加を行わずに、低域部からの複製によって高域部を生成する方が、少なくとも高域部の帯域内では高調波間の間隔が維持されるため、音質の低下が少ない。しかしながら、従来の構成では、サブバンドもしくはスケールファクタバンドの単位で、トーン信号付加の判定を行っていたため、入力信号が高調波構造を持っているかどうか把握することができず、高調波間隔を乱すような位置に、トーン信号を付加してしまうことがあった。
【課題を解決するための手段】
【００１４】
本発明は、このような問題を解決することを目的とするもので、入力信号の高調波構造を分析する手段を新たに設けることにより、入力信号が高調波構造を持つか否かを判断し、高調波構造を持つ場合には、トーン付加を行わないようにすることによって、高調波間隔の乱れを防ぎ、音質を向上させるものである。
【発明の効果】
【００１５】
本発明の構成により、入力信号の高調波間隔を乱さないように符号化を行うことができ、符号化されたオーディオ信号の品質を向上させることができる。
【発明を実施するための最良の形態】
【００１６】
（実施の形態１）
図１は、本発明の実施の形態１における構成の一例を示す図である。図２に示される従来の構成に対して、入力信号の高調波構造を分析する手段１０５を設け、高調波構造の分析結果１１１を出力し、トーン信号付加手段に入力する様に構成した点が異なる。以下、その動作について詳しく説明する。
【００１７】
入力信号１０６は、サブバンドフィルタ１０１によって高域部のサブバンド信号１０７と低域部のサブバンド信号１０８に分割され、それぞれ、高域部のトーン性分析手段１０２と低域部のトーン性分析手段１０３に入力される。それぞれのトーン性分析手段は、入力されたサブバンド信号について、サブバンド単位で、トーン性の度合１０９および１１０を算出する。トーン性の度合（トーナリティ度合）としては、例えば、サブバンド信号に対する線形予測ゲインの大きさを用いる。高調波構造分析手段１０５は、特にSBRによって符号化される、高域部のサブバンド信号を分析して、高調波構造が存在するか否かを判断する。
【００１８】
具体的な判断方法としては、例えば、高域部に含まれるサブバンドのトーン性度合１０９の平均値を算出し、あらかじめ定められた閾値と比較することによって、高域部が平均して高いトーン性を示すか否かを調べる。高調波構造を持つ信号は、多くのトーン性信号の集合体であるので、平均して高いトーン性を示すことから、算出されたトーン性度合の平均値が、高いトーン性を示せば、入力信号は高調波構造を持つ信号であると判断できる。
【００１９】
なお、トーン性度合の平均値算出においては、高域の各サブバンドのトーン性度合に加えて、低域の各サブバンドのトーン性度合を一部加える様に構成しても良い。高域部と低域部の境界は、6から10kHz程度に設定することが多いが、この付近の周波数帯域は、多くの楽曲において、高調波構造が強く見られる帯域であり、特に、境界周波数が高く設定されている場合（例えば10kHz）、低域部に分類される、境界よりも若干低い周波数（例えば8kHz）から高い部分の帯域について分析した方が、高調波構造の有無をより精度良く判断することができる。
【００２０】
高調波構造分析の結果１１１は、高調波構造を持つか否かの二値情報として出力される。トーン信号付加可否決定手段１０４は、高調波構造の有無にしたがって、トーン付加を行うか否かを切り替え、トーン付加フラグ情報１１２を出力する。切り替えの望ましい例としては、まず、低域のサブバンド信号のトーン性度合１１０と高域のサブバンド信号のトーン性度合１０９を比較することにより、トーン信号付加が必要なサブバンドを判定する。高調波構造を持たない場合は、この判定がそのまま最終判定となる。高調波構造を持つ場合には、続いて、先にトーン信号を付加すると判定された高域部のサブバンドの周辺サブバンド、例えば両隣のサブバンドにおいて、比較対象となる低域部のサブバンドのトーン性度合を調査する。低域部のサブバンドのトーン性度合が大きければ、低域部から複製されたサブバンド信号に含まれるトーン性信号と、付加トーン信号が干渉する可能性が高いので、トーン付加を行わないと判定する。
【００２１】
また、二値情報に基づく切り替えでは、判定誤りによる音質劣化を発生させる可能性が高まるので、高調波構造分析の結果を、高調波構造の強度の度合として出力し、トーン信号付加手段においてより細かい判定を行うこともできる。高調波構造の強度の度合に基づく判定方法としては、例えば、高調波構造の強度の度合が大きくなるにしたがって、トーン付加判定の基準となる閾値を、トーン付加が行われなくなる方向に制御する様にすれば良い。
【００２２】
なお、上記の説明で用いた構成は、サブバンド単位でトーン付加判定を行うものであるが、スケールファクタバンド単位でトーン付加判定を行う構成についても、比較対象とするトーン性度合を、スケールファクタバンドを代表する値に置き換えることにより、同じ構成で実現できる。スケールファクタバンドを代表する値としては、当該スケールファクタバンドに含まれるサブバンド信号のトーン性度合の最大値や、平均値を用いることができる。
【００２３】
なお、上記の説明で用いた構成は、サブバンドフィルタにより生成されたサブバンド信号を用いて実現されているが、サブバンドフィルタに代えて、フーリエ変換、コサイン変換等のいかなる公知の時間周波数変換を用いても、同様の構成を実現できることは、当該技術の専門家にとって自明である。
【００２４】
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【００２５】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【００２６】
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【００２７】
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【００２８】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【００２９】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【００３０】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【００３１】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【００３２】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【００３３】
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【００３４】
音声もしくは、オーディオ信号を、少ない情報量で圧縮符号化して、記憶媒体に記憶し、記憶媒体から、直接もしくは伝送路を介して取り出し、元の音声もしくは、オーディオ信号を復号する装置、例えば携帯電話機や、音楽プレーヤ等の機器一般に適用することが可能である。具体的には、光学ディスク・磁気ディスク・半導体メモリ等を記憶媒体とする音声・音楽プレーヤ、音声・音楽・ビデオ等の放送、オンデマンド配信等に利用するのに適している。
【図面の簡単な説明】
【００３５】
【図１】本発明の符号化装置の構成を示すブロック線図
【図２】従来の符号化装置の構成を示すブロック線図
【図３】低域部と高域部のサブバンド信号の関係を示す概念図
【図４】低域部からの複製信号とトーン付加信号の関係を示す概念図
【符号の説明】
【００３６】
１０１、２０１  サブバンドフィルタ
１０２、２０２  高域トーン性分析手段
１０３、２０３  低域トーン性分析手段
１０４、２０４  トーン信号付加可否決定手段
１０５  高調波構造分析手段
１０６、２０６  入力信号
１０７、２０７  高域サブバンド信号
１０８、２０８  低域サブバンド信号
１０９、２０９  高域信号のトーン性度合
１１０、２１０  低域信号のトーン性度合
１１１  高調波構造の分析結果
１１２、２１２  トーン付加フラグ情報
３０１  符号化側サブバンド信号
３０２  復号化側サブバンド信号
３０３  低域部と高域部の境界
３０４  符号化側のサブバンドn
３０５  符号化側のサブバンドm
３０６  復号化側のサブバンドn
３０７  復号化側のサブバンドm
４０１  トーン付加信号
４０２  低域からの複製信号
４０３  合成信号
４０４  サブバンド
４０５  スケールファクタバンド
４０６  付加されたトーン信号
４０７、４０８、４０９、４１０  低域からの複製信号に含まれるトーン性信号
４１１、４１２、４１３、４１４  合成信号に含まれるトーン性信号
４１５、４１６  低域からの複製信号の高調波間隔
４１７，４１８  合成信号の高調波間隔
【図１】
2008096567.tif 000003
【図２】
2008096567.tif 000004
【図３】
2008096567.tif 000005
【図４】
2008096567.tif 000006