(57)【特許請求の範囲】
【請求項１】
現在フレームを、音声信号と音楽信号とのうち１つに分類する段階と、
前記現在フレームを含む複数個のフレームから得られる複数の信号特徴に基づいて複数の条件を生成する段階と、
前記複数の条件のうち、いずれか１つの条件と第１しきい値とを比較し、ハングオーバーパラメータと第２しきい値とを比較する段階と、
前記比較結果に対応して、前記現在フレームの分類結果を修正する段階と、を含み、
前記修正する段階は、互いに独立した第１状態マシーン及び第２状態マシーンに基づいて行われ、
前記複数の条件のうち、前記第１状態マシーンで前記第１しきい値と比較される条件と、前記第２状態マシーンで前記第１しきい値と比較される条件は、互いに異なることを特徴とする信号分類方法。
【請求項２】
前記第１状態マシーン及び前記第２状態マシーンは、音楽状態マシーンと音声状態マシーンとを含むことを特徴とする請求項１に記載の信号分類方法。
【請求項３】
前記信号分類方法は、前記現在フレームの分類結果が音楽信号であり、前記現在フレームが音声特徴を有すると判断された場合、前記分類結果にエラーが存在すると判断する段階を含むことを特徴とする請求項１に記載の信号分類方法。
【請求項４】
前記信号分類方法は、前記現在フレームの分類結果が音声信号であり、前記現在フレームが音楽特徴を有すると判断された場合、前記分類結果にエラーが存在すると判断する段階を含むことを特徴とする請求項１に記載の信号分類方法。
【請求項５】
前記修正する段階は、前記現在フレームの分類結果が音楽信号であり、前記現在フレームが音声特徴を有すると判断された場合、前記分類結果を音声信号に修正することを特徴とする請求項１に記載の信号分類方法。
【請求項６】
前記修正する段階は、前記現在フレームの分類結果が音声信号であり、前記現在フレームが音楽特徴を有すると判断された場合、前記分類結果を音楽信号に修正することを特徴とする請求項１に記載の信号分類方法。
【請求項７】
現在フレームを、音声信号と音楽信号とのうち１つに分類する段階と、
前記現在フレームを含む複数個のフレームから得られる複数の信号特徴に基づいて、複数の条件を生成する段階と、
前記複数の条件のうち、いずれか１つの条件と第１しきい値とを比較し、ハングオーバーパラメータと第２しきい値とを比較する段階と、
前記比較結果に対応して、前記現在フレームの分類結果を修正する段階と、を実行するためのプログラムを記録し、
前記修正する段階は、互いに独立した第１状態マシーン及び第２状態マシーンに基づいて行われ、
前記複数の条件のうち、前記第１状態マシーンで前記第１しきい値と比較される条件と、前記第２状態マシーンで前記第１しきい値と比較される条件は、互いに異なることを特徴とするコンピュータで読み取り可能な記録媒体。
【請求項８】
現在フレームを、音声信号と音楽信号とのうち１つに分類する段階と、
前記現在フレームを含む複数個のフレームから得られる複数の信号特徴に基づいて、複数の条件を生成する段階と、
前記複数の条件のうち、いずれか１つの条件と第１しきい値とを比較し、ハングオーバーパラメータと第２しきい値とを比較する段階と、
前記比較結果に対応して、前記現在フレームの分類結果を修正する段階と、
前記現在フレームの分類結果、あるいは修正された分類結果に基づいて、前記現在フレームを符号化する段階と、を含み、
前記修正する段階は、互いに独立した第１状態マシーン及び第２状態マシーンに基づいて行われ、
前記複数の条件のうち、前記第１状態マシーンで前記第１しきい値と比較される条件と、前記第２状態マシーンで前記第１しきい値と比較される条件は、互いに異なることを特徴とするオーディオ符号化方法。
【請求項９】
前記符号化する段階は、ＣＥＬＰ（ｃｏｄｅ  ｅｘｃｉｔｅｄ  ｌｉｎｅａｒ  ｐｒｅｄｉｃｔｉｏｎ）タイプコーダとトランスフォームコーダとのうち１つを利用して遂行されることを特徴とする請求項８に記載のオーディオ符号化方法。
【請求項１０】
前記符号化する段階は、ＣＥＬＰタイプコーダ、トランスフォームコーダ及びＣＥＬＰ／トランスフォームハイブリッドコーダのうち１つを利用して遂行されることを特徴とする請求項９に記載のオーディオ符号化方法。
【請求項１１】
現在フレームを、音声信号と音楽信号とのうち１つに分類し、前記現在フレームを含む複数個のフレームから得られる複数の信号特徴に基づいて、複数の条件を生成し、前記複数の条件のうち、いずれか１つの条件と第１しきい値とを比較し、ハングオーバーパラメータと第２しきい値とを比較し、前記比較結果に対応して、前記現在フレームの分類結果を修正するように構成される少なくとも１つのプロセッサを含み、
前記現在フレームの分類結果の修正は、互いに独立した第１状態マシーン及び第２状態マシーンに基づいて行われ、
前記複数の条件のつい、前記第１状態マシーンで前記第１しきい値と比較される条件と、前記第２状態マシーンで前記第１しきい値と比較される条件は、互いに異なることを特徴とする信号分類装置。
【請求項１２】
現在フレームを、音声信号と音楽信号とのうち１つに分類し、前記現在フレームを含む複数個のフレームから得られる複数の信号特徴に基づいて、複数の条件を生成し、前記複数の条件のうち、いずれか１つの条件と第１しきい値とを比較し、ハングオーバーパラメータと第２しきい値とを比較し、前記比較結果に対応して、前記現在フレームの分類結果を修正し、前記現在フレームの分類結果、あるいは修正された分類結果に基づいて、前記現在フレームを符号化するように構成された少なくとも１つのプロセッサを含み、
前記修正する段階は、互いに独立した第１状態マシーン及び第２状態マシーンに基づいて行われ、
前記複数の条件のち、前記第１状態マシーンで前記第１しきい値と比較される条件と、前記第２状態マシーンで前記第１しきい値と比較される条件は、互いに異なることを特徴とするオーディオ符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ符号化に係り、さらに具体的には、復元音質を向上させる一方、符号化モードスイッチングによるディレイを減らすことができる信号分類方法及びその装置、並びにそれを利用したオーディオ符号化方法及びその装置に関する。
【背景技術】
【０００２】
音楽信号の場合、周波数ドメインでの符号化が効率的であり、音声信号の場合、時間ドメインでの符号化が効率的であるということが周知されている。従って、音楽信号と音声信号とが混合されたオーディオ信号に対して、音楽信号に該当するか、あるいは音声信号に該当するかということを分類し、分類結果に対応し、符号化モードを決定する技術が多様に提案されている。
【０００３】
しかし、頻繁な符号化モードのスイッチングによってディレイが発生するだけではなく、復元音質の劣化をもたらし、初期分類結果を修正する技術が提案されておらず、一次的な信号分類にエラーが存在する場合、復元音質の劣化が発生するという問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の技術的課題は、オーディオ信号の特性に適するように符号化モードを決定し、復元音質を向上させることができる信号分類方法及びその装置、並びにそれを利用したオーディオ符号化方法及びその装置を提供するところにある。
【０００５】
本発明の技術的課題は、オーディオ信号の特性に適するように符号化モードを決定しながら、符号化モードスイッチングによるディレイを減らすことができる信号分類方法及びその装置、並びにそれを利用したオーディオ符号化方法及びその装置を提供するところにある。
【課題を解決するための手段】
【０００６】
一側面によれば、信号分類方法は、現在フレームを音声信号と音楽信号とのうち一つに分類する段階、複数個のフレームから得られる特徴パラメータに基づいて、前記現在フレームの分類結果にエラーが存在するか否かということを判断する段階、及び前記判断結果に対応し、前記現在フレームの分類結果を修正する段階を含んでもよい。
一側面によれば、信号分類装置は、現在フレームを音声信号と音楽信号とのうち一つに分類し、複数個のフレームから得られる特徴パラメータに基づいて、前記現在フレームの分類結果にエラーが存在するか否かということを判断し、前記判断結果に対応し、前記現在フレームの分類結果を修正するように構成された少なくとも１つのプロセッサを含んでもよい。
【０００７】
一側面によれば、オーディオ符号化方法は、現在フレームを音声信号と音楽信号とのうち一つに分類する段階、複数個のフレームから得られる特徴パラメータに基づいて、前記現在フレームの分類結果にエラーが存在するか否かということを判断する段階、前記判断結果に対応し、前記現在フレームの分類結果を修正する段階、及び前記現在フレームの分類結果、あるいは修正された分類結果に基づいて、前記現在フレームを符号化する段階を含んでもよい。
【０００８】
一側面によれば、オーディオ符号化装置は、現在フレームを音声信号と音楽信号とのうち一つに分類し、複数個のフレームから得られる特徴パラメータに基づいて、前記現在フレームの分類結果にエラーが存在するか否かということを判断し、前記判断結果に対応し、前記現在フレームの分類結果を修正し、前記現在フレームの分類結果、あるいは修正された分類結果に基づいて、前記現在フレームを符号化するように構成された少なくとも１つのプロセッサを含んでもよい。
【発明の効果】
【０００９】
オーディオ信号の初期分類結果を、修正パラメータに基づいて修正することにより、オーディオ信号の特性に最適な符号化モードを決定しながらも、フレーム間での頻繁な符号化モードのスイッチングを防止することができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態によるオーディオ信号分類装置の構成を示したブロック図である。
【図２】他の実施形態によるオーディオ信号分類装置の構成を示したブロック図である。
【図３】一実施形態によるオーディオ符号化装置の構成を示したブロック図である。
【図４】一実施形態による、ＣＥＬＰ（code  excited  linear  prediction）コアでの信号分類修正方法について説明するフローチャートである。
【図５】一実施形態による、ＨＱ（high  quality）コアでの信号分類修正方法について説明するフローチャートである。
【図６】一実施形態による、ＣＥＬＰコアでのコンテクスト基盤信号分類修正のための状態マシーンを示す図面である。
【図７】一実施形態による、ＨＱコアでのコンテクスト基盤信号分類修正のための状態マシーンを示す図面である。
【図８】一実施形態による符号化モード決定装置の構成を示したブロック図である。
【図９】一実施形態によるオーディオ信号分類方法について説明するフローチャートである。
【図１０】一実施形態によるマルチメディア機器の構成を示したブロック図である。
【図１１】他の実施形態によるマルチメディア機器の構成を示したブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照し、本発明の実施形態について具体的に説明する。該実施形態についての説明において、関連公知構成または機能についての具体的な説明が要旨を不明確にすると判断される場合には、その詳細な説明は省略する。
【００１２】
ある構成要素が他の構成要素に連結されているか、あるいは接続されていると言及されたときには、当該他の構成要素に直接に連結されていたり接続されていたりするということもあるが、中間にさらに他の構成要素が存在することもあると理解されなければならないであろう。
【００１３】
第１、第２のような用語は、多様な構成要素についての説明にも使用されるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を他の構成要素から区別する目的のみに使用されるのである。
【００１４】
該実施形態に示される構成部は、互いに異なる特徴的な機能を示すために独立して図示されることにより、各構成部が、分離されたハードウェアや１つのソフトウェア構成単位からなるということを意味するものではない。各構成部は、説明の便宜上、それぞれの構成部を並べたものであり、各構成部のうち少なくとも２つの構成部が合わされて１つの構成部からなるか、１つの構成部が、複数個の構成部に分けられて機能を遂行することができる。
【００１５】
図１は、一実施形態によるオーディオ信号分類装置の構成を示したブロック図である。図１に図示されたオーディオ信号分類装置１００は、信号分類部１１０と修正部１３０とを含んでもよい。ここで、各構成要素は、別途のハードウェアによって具現されなければならない必要がある場合を除いては、少なくとも１つのモジュールに一体化され、少なくとも１つのプロセッサ（図示せず）としても具現される。ここで、オーディオ信号は、音楽信号または音声信号、あるいは音楽と音声との混合信号を意味する。
【００１６】
図１を参照すれば、信号分類部１１０は、多様な初期分類パラメータに基づいて、オーディオ信号が、音楽信号に該当するか、あるいは音声信号に該当するかということを分類することができる。オーディオ信号分類過程は、少なくとも１以上の段階を含んでもよい。一実施形態によれば、現在フレーム、と複数個の以前フレームとの信号特性に基づいて、オーディオ信号を、音声信号または音楽信号に分類することができる。該信号特性は、短区間特性と長区間特性とのうち少なくとも一つを含んでもよい。また、該信号特性は、時間ドメイン特性と周波数ドメイン特性とのうち少なくとも一つを含んでもよい。ここで、音声信号に分類されれば、ＣＥＬＰ（code  excited  linear  prediction）タイプコーダを利用して符号化される。一方、音楽信号に分類されれば、トランスフォームコーダを利用して符号化される。ここで、トランスフォームコーダの一例としては、ＭＤＣＴ（modified  discrete  cosine  transform）コーダを挙げることができるが、それに限定されるものではない。
【００１７】
他の実施形態によれば、オーディオ信号分類過程は、オーディオ信号が音声特性を有する否かということにより、オーディオ信号を、音声信号と、一般的なオーディオ信号（generic  audio  signal）、すなわち、音楽信号に分類する第１段階と、一般オーディオ信号が、ＧＳＣ（generic  signal  audio  coder）に適するか否かということを判断するための第２段階と、を含んでもよい。第１段階の分類結果と、第２段階の分類結果とを組み合わせ、オーディオ信号が音声信号に分類されるか、あるいは音楽信号に分類されるかということを決定することができる。音声信号に分類されれば、ＣＥＬＰタイプコーダによって符号化される。ＣＥＬＰタイプコーダは、ビット率あるいは信号特性により、無声音符号化（ＵＣ：unvoiced  codingモード、有声音符号化（ＶＣ：voiced  coding）モード、トランジェント符号化（ＴＣ：transition  coding）モード、一般符号化（ＧＣ：generic  coding）モードのうち複数個を含んでもよい。一方、ＧＳＣ（generic  signal  audio  coding）モードは、別途のコーダによって具現されるか、あるいはＣＥＬＰタイプコーダの１つのモードに含まれてもよい。音楽信号に分類されれば、トランスフォームコーダ、あるいはＣＥＬＰ／トランスフォームハイブリッドコーダのうち一つを利用して符号化される。細部的には、トランスフォームコーダは、音楽信号に適用され、ＣＥＬＰ／トランスフォームハイブリッドコーダは、音声信号ではない非音楽（non-music）信号、あるいは音楽と音声とが混合された信号（mixed  signal）に適用される。一実施形態によれば、帯域幅により、ＣＥＬＰタイプコーダ、ＣＥＬＰ／トランスフォームハイブリッドコーダ及びトランスフォームコーダがいずれも使用されるか、ＣＥＬＰタイプコーダとトランスフォームコーダとが使用される。例えば、狭帯域（ＮＢ）である場合、ＣＥＬＰタイプコーダとトランスフォームコーダとが使用され、広帯域（ＷＢ）、超広帯域（ＳＷＢ）、全帯域（ＦＢ）の場合、ＣＥＬＰタイプコーダ、ＣＥＬＰ／トランスフォームハイブリッドコーダ及びトランスフォームコーダが使用される。ＣＥＬＰ／トランスフォームハイブリッドコーダは、時間ドメインで動作するＬＰ基盤コーダと、トランスフォームドメインコーダとを結合したものであり、ＧＳＣともいう。
【００１８】
第１段階の信号分類は、ＧＭＭ（Gaussian  mixture  model）に基づく。ＧＭＭのために、多様な信号特性が使用される。該信号特性の例としては、オープンループピッチ、正規化された相関度、スペクトルエンベロープ、トーナル安定度、信号のノンステーショナリティ、ＬＰレジデュアルエラー、スペクトル差値、スペクトルステーショナリティのような特性を有することができるが、それらに限定されるものではない。第２段階の信号分類のために使用される信号特性の例としては、スペクトルエネルギー変動特性、ＬＰ分析レジデュアルエネルギーのチルト特性、高域スペクトルピーキネス特性、相関度特性、ボイシング特性、トーナル特性などを挙げることができるが、それらに限定されるものではない。第１段階で使用される特性は、ＣＥＬＰタイプコーダによって符号化することが適するか否かということを判断するために、音声特性であるか、あるいは非音性特性であるかということを判断するためのものであり、第２段階で使用される特性は、ＧＳＣで符号化することが適するか否かということを判断するために、音楽特性であるか、あるいは非音楽特性であるかということを判断するためのものでもある。例えば、第１段階において音楽信号に分類された１セットのフレームは、第２段階において音声信号に転換され、ＣＥＬＰモードのうち一つで符号化される。すなわち、大きいピッチ周期及び高い安定度を有しながら、相関度が大きい信号あるいはアタック信号である場合、第２段階において、音楽信号から音声信号に転換される。かような信号分類結果により、符号化モードが変更される。
【００１９】
修正部１３０は、信号分類部１１０の分類結果を、少なくとも１つの修正パラメータに基づいて修正したり維持したりすることができる。修正部１３０は、コンテクストに基づいて、信号分類部１１０の分類結果を修正したり維持したりすることができる。例えば、現在フレームが音声信号に分類された場合、音楽信号に修正されたり音声信号として維持されたりすることができ、現在フレームが音楽信号に分類された場合、音声信号に修正されたり音楽信号として維持されたりすることができる。現在フレームの分類結果にエラーが存在するか否かということを判断するために、現在フレームを含む複数個フレームの特性が使用される。例えば、８個のフレームが使用されるが、それらに限定されるものではない。
【００２０】
修正パラメータの例としては、トーナリティ、線形予測エラー、ボイシング、相関度のような特性のうち少なくとも一つを組み合わせて使用される。ここで、該トーナリティは、１〜２ｋＨｚ領域のトーナリティ（ｔｏｎ２）と２〜４ｋＨｚ領域のトーナリティ（ｔｏｎ３）とを含んでもよく、それぞれ下記数式（１）及び（２）によって定義される。
【００２１】
【数１】
0006599368.tif 000002
ここで、上添字（superscript）［−ｉ］は、以前フレームを示す。例えば、tonality２［−１］は、１フレーム以前フレームの１〜２ｋＨｚ領域のトーナリティを示す。
【００２２】
一方、低域の長区間トーナリティｔｏｎＬＴは、ｔｏｎＬＴ＝０．２＊ｌｏｇ１０［ｌｔ＿tonality］と一緒に定義される。ここで、ｌｔ＿tonalityは、全帯域の長区間トナリティーを示すことができる。
【００２３】
一方、ｎフレームにおいて、１〜２ｋＨｚ領域のトーナリティ（ｔｏｎ２）と２〜４ｋＨｚ領域のトーナリティ（ｔｏｎ３）との差ｄｆｔは、ｄｆｔ＝０．２＊｛ｌｏｇ１０（tonality２（ｎ））−ｌｏｇ１０（tonality３（ｎ）））のように定義される。
【００２４】
次に、線形予測エラーＬＰｅｒｒは、次の数式（３）によって定義される。
【００２５】
【数２】
0006599368.tif 000003
ここで、ＦＶｓ（９）は、ＦＶｓ（ｉ）＝ｓｆａｉＦＶｉ＋ｓｆｂｉ（ここで、ｉ＝０，…，１１）によって定義され、信号分類部１１０，２１０で使用される特徴パラメータのうち、次の数式（４）によって定義されるＬＰレジデュアルログ・エネルギーの比率特徴パラメータをスケーリングした値に該当するのである。ここで、ｓｆａｉ、ｓｆｂｉは、特徴パラメータの種類及び帯域幅によって異なり、各特徴パラメータを［０；１］範囲に近似化するために使用される。
【００２６】
【数３】
0006599368.tif 000004
ここで、Ｅ（１）は、最初ＬＰ係数のエネルギーを示し、Ｅ（１３）は、１３番目ＬＰ係数のエネルギーを示す。
【００２７】
次に、信号分類部１１０，２１０で使用される特徴パラメータにおいて、下記数式（５）によって定義される正規化された相関度特徴あるいはボイシング特徴ＦＶ１を、ＦＶｓ（ｉ）＝ｓｆａｉＦＶｉ＋ｓｆｂｉ（ここで、ｉ＝０，…，０，…，１１）に基づいてスケーリングした値ＦＶｓ（１）と、下記数式（６）で定義される相関度マップ特徴ＦＶ（７）を、ＦＶｓ（ｉ）＝ｓｆａｉＦＶｉ＋ｓｆｂｉ（ここで、ｉ＝０，…，１１）に基づいてスケーリングした値ＦＶｓ（７）との差ｄｖｃｏｒは、ｄｖｃｏｒ＝ｍａｘ（ＦＶｓ（１）−ＦＶｓ（７），０）と定義される。
【００２８】
【数４】
0006599368.tif 000005
ここで、
【００２９】
【数５】
0006599368.tif 000006
は、最初あるいは２番目のハーフフレームでの正規化された相関度を示す。
【００３０】
【数６】
0006599368.tif 000007
ここで、Ｍｃｏｒは、フレームの相関度マップを示す。
【００３１】
前記複数個の特徴パラメータを組み合わせるか、あるいは単一特徴パラメータを利用して、次の条件１ないし条件４のうち少なくとも１以上を含む修正パラメータを生成することができる。ここで、条件１と条件２は、音声状態（SPEECH＿STATE）を変更することができる条件を意味し、条件３と条件４は、音楽状態（MUSIC＿STATE）を変更することができる条件を意味する。具体的には、条件１は、音声状態（SPEECH＿STATE）を０から１に変更することができ、条件２は、音声状態（SPEECH＿STATE）を１から０に変更することができる。一方、条件３は、音楽状態（MUSIC＿STATE）を０から１に変更することができ、条件４は、音楽状態（MUSIC＿STATE）を１から０に変更することができる。音声状態（SPEECH＿STATE）が１であるならば、音声である確率が高い、すなわち、ＣＥＬＰタイプコーディングが適するということを意味し、０であるならば、音声ではない確率が高いということを意味する。音楽状態（MUSIC＿STATE）が１であるならば、トランスフォームコーディングに適するということを意味し、０であるならば、ＣＥＬＰ／トランスフォームハイブリッドコーディング、すなわち、ＧＳＣに適するということを意味する。他の例として、音楽状態（MUSIC＿STATE）が１であるならば、トランスフォームコーディングに適するということを意味し、０であるならば、ＣＥＬＰタイプコーディングに適するということを意味する。
【００３２】
条件１（ｆＡ）は、例えば、次のように定義される。すなわち、ｄｖｃｏｒ＞０．４  AND  ｄｆｔ＜０．１  AND  ＦＶｓ（１）＞（２＊ＦＶｓ（７）＋０．１２）  AND  ｔｏｎ２＜ｄｖｃｏｒ  AND  ｔｏｎ３＜ｄｖｃｏｒ  AND  ｔｏｎＬＴ＜ｄｖｃｏｒ  AND  ＦＶｓ（７）＜ｄｖｃｏｒ  AND  ＦＶｓ（１）＞ｄｖｃｏｒ  AND  ＦＶｓ（１）＞０．７６であるならば、ｆＡは、１に設定される。
【００３３】
条件２（ｆＢ）は、例えば、次のように定義される。すなわち、ｄｖｃｏｒ＜０．４であるならば、ｆＢは、１に設定される。
【００３４】
条件３（ｆＣ）は、例えば、次のように定義される。すなわち、０．２６＜ｔｏｎ２＜０．５４  AND  ｔｏｎ３＞０．２２  AND  ０．２６＜ｔｏｎＬＴ＜０．５４  AND  ＬＰｅｒｒ＞０．５であるならば、ｆＣは、１に設定される。
【００３５】
条件４（ｆＤ）は、例えば、次のように定義される。すなわち、ｔｏｎ２＜０．３４  AND  ｔｏｎ３＜０．２６  AND  ０．２６＜ｔｏｎＬＴ＜０．４５であるならば、ｆＤは、１に設定される。
【００３６】
各条件を生成するために使用された特徴、あるいは特徴の組み合わせは、それらに限定されるものではない。また、各定数値は、例示的なものに過ぎず、具現方式により、最適値に設定される。
【００３７】
具体的には、修正部１３０は、２つの独立した状態マシーン、例えば、音声状態マシーンと音楽状態マシーンとを利用して、初期分類結果に存在するエラーを訂正することができる。各状態マシーンは、２つの状態を有し、各状態においてハングオーバーが使用され、頻繁なトランジションを防止することができる。該ハングオーバーは、例えば、６個フレームから構成される。音声状態マシーンにおいて、ハングオーバー変数をｈａｎｇｓｐと示し、音楽状態マシーンにおいて、ハングオーバー変数をｈａｎｇｍｕｓと示す場合、与えられた状態において分類結果に変化がある場合、それぞれ６に初期化され、その後、ハングオーバーが、それぞれ次のフレームについて１ずつ減少する。状態変化は、ハングオーバーがゼロに減少される場合にのみ発生する。それぞれの状態マシーンには、オーディオ信号から抽出される少なくとも１以上の特徴が組み合わせされて生成される修正パラメータが使用される。
【００３８】
図２は、他の実施形態によるオーディオ信号分類装置の構成を示したブロック図である。図２に図示されたオーディオ信号分類装置２００は、信号分類部２１０、修正部２３０及び細部分類部（fine  classifier）２５０を含んでもよい。図１のオーディオ信号分類装置１００との差異は、細部分類部２５０をさらに含むというところにあり、信号分類部２１０と修正部２３０との機能は図１と同一であるので、その細部的な説明は省略する。
【００３９】
図２を参照すれば、細部分類部２５０は、修正部２３０で修正されるか維持された分類結果について、細部分類パラメータに基づいて、細部的に分類することができる。一実施形態によれば、細部分類部２５０は、音楽信号に分類されたオーディオ信号が、ＣＥＬＰ／トランスフォームハイブリッドコーダ、すなわち、ＧＳＣで符号化することが適するか否かということを判断して修正するためのものである。このとき、修正方法としては、特定パラメータあるいはフラグを変更し、トランスフォームコーダが選択されないようにする。細部分類部２５０は、修正部２３０から出力される分類結果が、音楽信号である場合、細部分類を行い、再び音楽信号であるか音声信号であるかということを分類することができる。細部分類部２５０の分類結果が音楽信号である場合、第２符号化モードとして、トランスフォームコーダをそのまま利用して符号化することができ、細部分類部２５０の分類結果が音声信号である場合、第３符号化モードとして、ＣＥＬＰ／トランスフォームハイブリッドコーダを利用して符号化することができる。一方、修正部２３０から出力される分類結果が音声信号である場合、第１符号化モードとして、ＣＥＬＰタイプコーダを利用して符号化することができる。細部分類パラメータの一例としては、トーナリティ、ボイシング、相関度、ピッチ利得、ピッチ差のような特徴を含んでもよいが、それらに限定されるものではない。
【００４０】
図３は、一実施形態によるオーディオ符号化装置の構成を示したブロック図である。図３に図示されたオーディオ符号化装置３００は、符号化モード決定部３１０と符号化モジュール３３０とを含んでもよい。符号化モード決定部３１０は、図１のオーディオ信号分類装置１００、あるいは図２のオーディオ信号分類装置２００の構成要素を含んでもよい。符号化モジュール３３０は、第１符号化部３３１、第２符号化部３３３及び第３符号化部３３５を含んでもよい。ここで、第１符号化部３３１は、ＣＥＬＰタイプコーダにも該当し、第２符号化部３３３は、ＣＥＬＰ／トランスフォームハイブリッドコーダにも該当し、第３符号化部３３５は、トランスフォームコーダにも該当する。一方、ＧＳＣがＣＥＬＰタイプコーダの１つのモードで具現されるとき、符号化モジュール３３０は、第１符号化部３３１及び第３符号化部３３５を含んでもよい。符号化モジュール３３０及び第１符号化部３３１は、ビット率あるいは帯域幅によって、多様な構成（configuration）を有することができる。
【００４１】
図３を参照すれば、符号化モード決定部３１０は、信号特性に基づいて、オーディオ信号が音楽信号であるか音声信号であるかということを分類し、分類結果に対応し、符号化モードを決定することができる。該符号化モードは、スーパーフレーム単位、フレーム単位あるいはバンド単位で遂行される。また、符号化モードは、複数のスーパーフレームグループ、複数のフレームグループ、複数のバンドグループ単位で遂行される。ここで、符号化モードの例としては、トランスフォームドメインモードと線形予測ドメインモードとの二つがあるが、それらに限定されるものではない。線形予測ドメインモードは、ＵＣモード、ＶＣモード、ＴＣモード、ＧＣモードを含んでもよい。一方、ＧＳＣモードは、別途の符号化モードに分類されるか、線形予測ドメインモードの細部モードに含まれてもよい。プロセッサの性能及び処理速度などが支援され、符号化モードスイッチングによるディレイが解決される場合、符号化モードをさらに細分化させることができ、符号化モードに対応し、符号化方式も細分化させることができる。具体的には、符号化モード決定部３１０は、初期分類パラメータに基づいて、オーディオ信号を、音楽信号と音声信号とのうち一つに分類することができる。符号化モード決定部３１０は、修正パラメータに基づいて、音楽信号である分類結果を、音声信号に修正するかそのまま維持するか、あるいは音声信号である分類結果を、音楽信号に修正するかそのまま維持することができる。符号化モード決定部３１０は、修正されるか維持された分類結果、例えば、音楽信号である分類結果に対して、細部分類パラメータに基づいて、音楽信号と音声信号とのうち一つに分類することができる。符号化モード決定部３１０は、最終分類結果を利用して、符号化モード決定することができる。一実施形態によれば、符号化モード決定部３１０は、ビット率と帯域幅とのうち少なくとも一つに基づいて、符号化モードを決定することができる。
【００４２】
符号化モジュール３３０において第１符号化部３３１は、修正部１３０，２３０の分類結果が、音声信号に該当する場合に動作される。第２符号化部３３３は、修正部１３０の分類結果が音楽信号に該当するか、あるいは細部分類部３５０の分類結果が音声信号に該当する場合に動作される。第３符号化部３３５は、修正部１３０の分類結果が音楽信号に該当するか、あるいは細部分類部３５０の分類結果が音楽信号に該当する場合に動作される。
【００４３】
図４は、一実施形態による、ＣＥＬＰコアでの信号分類修正方法について説明するフローチャートであり、図１あるいは図２の修正部１３０，２３０で遂行される。
【００４４】
図４を参照すれば、４１０段階においては、修正パラメータ、例えば、条件１及び条件２を受信することができる。また、４１０段階においては、音声状態マシーンのハングオーバー情報を受信することができる。また、４１０段階においては、初期分類結果を受信することができる。初期分類結果は、図１あるいは図２の信号分類部１１０，２１０から提供される。
【００４５】
４２０段階においては、初期分類結果、すなわち、音声状態が０でありながら、条件１（ｆＡ）が１であり、音声状態マシーンのハングオーバーｈａｎｇｓｐが０であるか否かということを判断することができる。４２０段階において、音声状態が０でありながら、条件１が１であり、音声状態マシーンのハングオーバーｈａｎｇｓｐが０であると判断された場合、４３０段階において、音声状態を１に変更し、ハングオーバーｈａｎｇｓｐを６に初期化することができる。初期化されたハングオーバー値は、４６０段階に提供される。一方、４２０段階において、音声状態が０ではないか、条件１が１ではないか、あるいは音声状態マシーンのハングオーバーｈａｎｇｓｐが０ではない場合、４４０段階に進むことができる。
【００４６】
４４０段階においては、初期分類結果、すなわち、音声状態が１でありながら、条件２（ｆＢ）が１であり、音声状態マシーンのハングオーバーｈａｎｇｓｐが０であるか否かということを判断することができる。４４０段階において、音声状態が１でありながら、条件２が１であり、音声状態マシーンのハングオーバーｈａｎｇｓｐが０であると判断された場合、４５０段階において、音声状態を０に変更し、ハングオーバーｈａｎｇｓｐを６に初期化することができる。初期化されたハングオーバー値は、４６０段階に提供される。一方、４４０段階において、音声状態が１ではないか、条件２が１ではないか、あるいは音声状態マシーンのハングオーバーｈａｎｇｓｐが０ではない場合、４６０段階に進み、ハングオーバーを１ほど減少させるハングオーバーアップデートを行うことができる。
【００４７】
図５は、一実施形態による、ＨＱコアでの信号分類修正方法について説明するフローチャートであり、図１あるいは図２の修正部１３０，２３０で遂行される。図５を参照すれば、５１０段階においては、修正パラメータ、例えば、条件３及び条件４を受信することができる。また、５１０段階においては、音楽状態マシーンのハングオーバー情報を受信することができる。また、５１０段階においては、初期分類結果を受信することができる。初期分類結果は、図１あるいは図２の信号分類部１１０，２１０から提供される。
【００４８】
５２０段階においては、初期分類結果、すなわち、音楽状態が１でありながら、条件３（ｆＣ）が１であり、音楽状態マシーンのハングオーバーｈａｎｇｍｕｓが０であるか否かということを判断することができる。５２０段階において、音楽状態が１でありながら、条件３が１であり、音楽状態マシーンのハングオーバーｈａｎｇｎｍｕｓが０であると判断された場合、５３０段階において、音楽状態を０に変更し、ハングオーバーｈａｎｇｍｕｓを６に初期化することができる。初期化されたハングオーバー値は、５６０段階に提供される。一方、５２０段階において、音楽状態が１ではないか、条件３が１ではないか、あるいは音楽状態マシーンのハングオーバーｈａｎｇｍｕｓが０ではない場合、５４０段階に進むことができる。
【００４９】
５４０段階においては、初期分類結果、すなわち、音楽状態が０でありながら、条件４（ｆＤ）が１であり、音楽状態マシーンのハングオーバーｈａｎｇｍｕｓが０であるか否かということを判断することができる。５４０段階において、音楽状態が０でありながら、条件４が１であり、音楽状態マシーンのハングオーバーｈａｎｇｍｕｓが０であると判断された場合、５５０段階において、音楽状態を１に変更し、ハングオーバーｈａｎｇｍｕｓを６に初期化することができる。初期化されたハングオーバー値は、５６０段階に提供される。一方、５４０段階において音楽状態が０ではないか、条件４が１ではないか、あるいは音楽状態マシーンのハングオーバーｈａｎｇｍｕｓが０ではない場合、５６０段階に進み、ハングオーバーを１ほど減少させるハングオーバーアップデートを行うことができる。
【００５０】
図６は、一実施形態によるＣＥＬＰコアに適する状態、すなわち、音声状態において、コンテクスト基盤信号分類修正のための状態マシーンを示すものであり、図４に対応する。
【００５１】
図６によれば、修正部１３０，２３０（図１）においては、音楽状態マシーンで決定される音楽状態と、音声状態マシーンで決定される音声状態とにより、分類結果に対する修正（corection）が適用される。例えば、初期分類結果が音楽信号に設定された場合、修正パラメータに基づいて、音声信号に変更することができる。具体的には、初期分類結果のうち第１段階の分類結果が音楽信号であり、音声状態が１になった場合、第１段階の分類結果と、第２段階の分類結果とのいずれも音声信号に変更することができる。かような場合、初期分類結果にエラーが存在すると判断され、分類結果に対する修正が行われる。
【００５２】
図７は、一実施形態によるＨＱ（high  quality）コアに適する状態、すなわち、音楽状態において、コンテクスト基盤信号分類修正のための状態マシーンを示すものであり、図５に対応する。
【００５３】
図７によれば、修正部１３０，２３０（図１）においては、音楽状態マシーンで決定される音楽状態と、音声状態マシーンで決定される音声状態とにより、分類結果に対する修正が適用される。例えば、初期分類結果が音声信号に設定された場合、修正パラメータに基づいて、音楽信号に変更することができる。具体的には、初期分類結果のうち第１段階の分類結果が音声信号であり、音楽状態が１になった場合、第１段階の分類結果と、第２段階の分類結果とのいずれも音楽信号に変更することができる。一方、初期分類結果が音楽信号に設定された場合、修正パラメータに基づいて、音声信号に変更することができる。かような場合、初期分類結果にエラーが存在すると判断され、分類結果に対する修正が行われる。
【００５４】
図８は、一実施形態による符号化モード決定装置の構成を示したブロック図である。図８に図示された符号化モード決定装置は、初期符号化モード決定部８１０と修正部８３０とを含んでもよい。
【００５５】
図８を参照すれば、初期符号化モード決定部８１０は、オーディオ信号が音声特性を有するか否かということを判断し、音声特性を有する場合、第１符号化モードを初期符号化モードに決定することができる。第１符号化モードである場合、オーディオ信号をＣＥＬＰタイプコーダによって符号化することができる。初期符号化モード決定部８１０は、オーディオ信号が音声特性を有さない場合、第２符号化モードを初期符号化モードに決定することができる。第２符号化モードである場合、オーディオ信号をトランスフォームコーダによって符号化することができる。一方、初期符号化モード決定部８１０は、オーディオ信号が音声特性を有さない場合、ビット率によって、第２符号化モードと第３符号化モードとのうち一つを初期符号化モードに決定することができる。ここで、第３符号化モードである場合、オーディオ信号をＣＥＬＰ／トランスフォームハイブリッドコーダによって符号化することができる。一実施形態によれば、初期符号化モード決定部８１０は、スリーウェイ（３−way）方式を使用することができる。
【００５６】
修正部８３０は、初期符号化モードが第１符号化モードに決定された場合、修正パラメータに基づいて、第２符号化モードに修正することができる。例えば、初期分類結果が音声信号であるが、音楽特性を有する場合、初期分類結果を音楽信号に修正することができる。一方、修正部８３０は、初期符号化モードが第２符号化モードに決定された場合、修正パラメータに基づいて、第１符号化モードあるいは第３符号化モードに修正することができる。例えば、初期分類結果が音楽信号であるが、音声特性を有する場合、初期分類結果を音声信号に修正することができる。
【００５７】
図９は、一実施形態によるオーディオ信号分類方法について説明するフローチャートである。図９を参照すれば、９１０段階においては、オーディオ信号を、音楽信号あるいは音声信号のうち一つに分類することができる。具体的には、９１０段階においては、信号特性に基づいて、現在フレームが音楽信号に該当するか、あるいは音声信号に該当するかということを分類することができる。９１０段階は、図１あるいは図２の信号分類部１１０，２１０で遂行される。
【００５８】
９３０段階においては、修正パラメータに基づいて、９１０段階での分類結果にエラーが存在するか否かということを判断することができる。９５０段階においては、９３０段階において、分類結果にエラーが存在すると判断された場合、分類結果を修正することができる。一方、９７０段階においては、９３０段階において、分類結果にエラーが存在しないと判断された場合、分類結果をそのまま維持することができる。９３０段階ないし９７０段階は、図１あるいは図２の修正部１３０，２３０で遂行される。
【００５９】
図１０は、一実施形態によるマルチメディア機器の構成を示したブロック図である。図１０に図示されたマルチメディア機器１０００は、通信部１０１０と符号化モジュール１０３０とを含んでもよい。また、符号化結果として得られるオーディオビットストリームの用途によって、オーディオビットストリームを保存する保存部１０５０をさらに含んでもよい。また、マルチメディア機器１０００は、マイクロフォン１０７０をさらに含んでもよい。すなわち、保存部１０５０とマイクロフォン１０７０は、オプションとして具備される。一方、図１０に図示されたマルチメディア機器１０００は、任意の復号モジュール（図示せず）、例えば、一般的な復号機能を遂行する復号モジュール、あるいは本発明の一実施形態による復号モジュールをさらに含んでもよい。ここで、符号化モジュール１０３０は、マルチメディア機器１０００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも１以上のプロセッサ（図示せず）としても具現される。
【００６０】
図１０を参照すれば、通信部１０１０は、外部から提供されるオーディオと、符号化されたビットストリームとのうち少なくとも一つを受信するか、復元されたオーディオと、符号化モジュール１０３０の符号化結果として得られるオーディオビットストリームとのうち少なくとも一つを送信することができる。
【００６１】
通信部１０１０は、無線インターネット、無線イントラネット、無線電話網、無線ＬＡＮ（local  area  network）、Ｗｉ−Ｆｉ（wireless  fidelity）、ＷＦＤ（Ｗｉ−Ｆｉ  direct）、３Ｇ（３rd  generation）、４Ｇ（４th  generation）、ブルートゥース（Bluetooth（登録商標））、赤外線通信（ＩｒＤＡ：infrared  data  association）、ＲＦＩＤ（radio  frequency  identification）、ＵＷＢ（ultra  wideband）、ジグビー（Zigbee（登録商標））、ＮＦＣ（near  field  communication）のような無線ネットワーク、または有線電話網、有線インターネットのような有線ネットワークを介して、外部のマルチメディア機器あるいはサーバとデータを送受信することができるように構成されてもよい。
【００６２】
符号化モジュール１０３０は、一実施形態によれば、通信部１０１０あるいはマイクロフォン１０５０を介して提供される時間ドメインのオーディオ信号に対して符号化を行うことができる。符号化処理は、図１ないし図９に図示された装置あるいは方法を利用して具現される。
【００６３】
保存部１０５０は、マルチメディア機器１０００の運用に必要な多様なプログラムを保存することができる。
【００６４】
マイクロフォン１０７０は、ユーザあるいは外部のオーディオ信号を符号化モジュール１０３０に提供することができる。
【００６５】
図１１は、他の実施形態によるマルチメディア機器の構成を示したブロック図である。図１１に図示されたマルチメディア機器１１００は、通信部１１１０、符号化モジュール１１２０及び復号モジュール１１３０を含んでもよい。また、符号化結果として得られるオーディオビットストリーム、あるいは復号結果として得られる復元されたオーディオ信号の用途によって、オーディオビットストリーム、あるいは復元されたオーディオ信号を保存する保存部１１４０をさらに含んでもよい。また、マルチメディア機器１１００は、マイクロフォン１１５０あるいはスピーカ１１６０をさらに含んでもよい。ここで、符号化モジュール１１２０と復号モジュール１１３０は、マルチメディア機器１１００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも１以上のプロセッサ（図示せず）としても具現される。
【００６６】
図１１に図示された各構成要素のうち、図１０に図示されたマルチメディア機器１０００と重複する構成要素については、その詳細な説明は省略する。
【００６７】
復号モジュール１１３０は、一実施形態によれば、通信部１１１０を介して提供されるビットストリームを受信し、ビットストリームに含まれたオーディオスペクトルに対して復号を行うことができる。復号モジュール１１３０は、図３の符号化モジュール３３０に対応して具現される。
【００６８】
スピーカ１１７０は、復号モジュール１１３０で生成される復元されたオーディオ信号を外部に出力することができる。
【００６９】
図１０及び図１１に図示されたマルチメディア機器１０００，１１００には、電話、モバイルフォンなどを含む音声通信専用端末；ＴＶ、ＭＰ３プレーヤなどを含む放送専用装置あるいは音楽専用装置、あるいは音声通信専用端末と、放送専用装置あるいは音楽専用装置との融合端末装置が含まれてもよいが、それらに限定されるものではない。また、マルチメディア機器１０００，１１００は、クライアント、サーバ、あるいはクライアントとサーバとの間に配置される変換器としても使用される。
【００７０】
一方、マルチメディア機器１０００，１１００が、例えば、モバイルフォンである場合、図示されていないが、キーパッドのようなユーザ入力部、ユーザインターフェース、あるいはモバイルフォンで処理される情報をディスプレイするディスプレイ部、モバイルフォンの全般的な機能を制御するプロセッサをさらに含んでもよい。また、該モバイルフォンは、撮像機能を有するカメラ部と、モバイルフォンで必要とする機能を遂行する少なくとも１以上の構成要素とをさらに含んでもよい。
【００７１】
一方、マルチメディア機器１０００，１１００が、例えば、ＴＶ（television）である場合、図示されていないが、キーパッドのようなユーザ入力部、受信された放送情報をディスプレイするディスプレイ部、ＴＶの全般的な機能を制御するプロセッサをさらに含んでもよい。また、ＴＶは、ＴＶで必要とする機能を遂行する少なくとも１以上の構成要素をさらに含んでもよい。
【００７２】
前記実施形態による方法は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータにおいて具現される。また、前述の本発明の実施形態で使用されるデータ構造、プログラム命令あるいはデータファイルは、コンピュータで読み取り可能な記録媒体に、多様な手段を介して記録される。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種類の保存装置を含んでもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（magnetic  media）；ＣＤ（compact  disc）−ＲＯＭ（read  only  memory）、ＤＶＤ（digital  versatile  disc）のような光記録媒体（optical  media）；フロプティカルディスク（floptical  disk）のような磁気・光媒体（magneto-optical  media）、及びＲＯＭ、ＲＡＭ（random  access  memory）、フラッシュメモリのような、プログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれてもよい。また、コンピュータで読み取り可能な記録媒体は、プログラム命令、データ構造などを指定する信号を伝送する伝送媒体でもある。プログラム命令の例としては、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行される高級言語コードを含んでもよい。
【００７３】
以上のように、本発明の一実施形態は、たとえ限定された実施形態と図面とによって説明されたとしても、本発明の一実施形態は、前述の実施形態に限定されるものではなく、本発明が属する分野で当業者であるならば、かような記載から多様な修正及び変形が可能であろう。従って、本発明のスコープは、前述の説明ではなく、特許請求の範囲に示されており、それと均等または等価的変形も、いずれも本発明技術的思想の範疇に属するものであるといえる。
【図１】
0006599368.tif 000008
【図２】
0006599368.tif 000009
【図３】
0006599368.tif 000010
【図４】
0006599368.tif 000011
【図５】
0006599368.tif 000012
【図６】
0006599368.tif 000013
【図７】
0006599368.tif 000014
【図８】
0006599368.tif 000015
【図９】
0006599368.tif 000016
【図１０】
0006599368.tif 000017
【図１１】
0006599368.tif 000018