(57)【要約】  複数の音源が存在する場合でも信号の品質劣化を防ぐことができるステレオ音響信号符号化装置。この装置では、ピーク追跡部（４０１）は、右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割したサブフレームの波形のピークを検出するとともに、検出したピークの位置を比較することにより、右チャンネル信号及び左チャンネル信号の各フレームのフレーム時間遅延Ｄを推定する。時間調整部（４０２）は、フレーム時間遅延Ｄに基づいて右チャンネル信号の時間調整を行う。時間調整後の右チャンネル信号と左チャンネル信号を用いてダウンミックス処理を行い、モノラル信号と副信号を生成する。モノラル符号化部（４０３）は、モノラル信号を符号化する。副信号符号化部（４０４）は、副信号を符号化する。時間遅延符号化部（４０５）は、フレーム時間遅延Ｄを符号化する。
2010084756.tif 000002
【特許請求の範囲】
【請求項１】
右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定するピーク追跡手段と、
前記フレーム時間遅延に基づいて前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行う時間調整手段と、
前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とを符号化する符号化手段と、
を具備するステレオ音響信号符号化装置。
【請求項２】
前記ピーク追跡手段は、前記サブフレームのサブフレーム時間遅延を求めるとともに、各フレームにおいて、前記フレーム時間遅延と前記サブフレーム時間遅延との差が所定の値以上である前記サブフレームの数がしきい値以上の場合に、推定した前記フレーム時間遅延を無効にする請求項１記載のステレオ音響信号符号化装置。
【請求項３】
前記ピーク追跡手段は、前記ピークの値がしきい値より小さい前記サブフレームの前記ピークを除いて前記フレーム時間遅延を推定する請求項１記載のステレオ音響信号符号化装置。
【請求項４】
前記ピーク追跡手段において推定した前記フレーム時間遅延とは異なる手法により前記フレームの時間遅延を推定する時間遅延推定手段をさらに具備し、
前記ピーク追跡手段は、前記サブフレームのサブフレーム時間遅延を求めるとともに、各フレームにおいて、前記時間遅延推定手段において推定した時間遅延と前記サブフレーム時間遅延との差が所定の値以上である前記サブフレームの数がしきい値未満の場合に、前記フレーム時間遅延の代わりに前記時間遅延推定手段において推定した時間遅延を出力する請求項１記載のステレオ音響信号符号化装置。
【請求項５】
前記時間調整手段は、前記フレーム時間遅延に基づいて、前記右チャンネル信号と前記左チャンネル信号の双方の時間調整を行い、
前記符号化手段は、時間調整した前記左チャンネル信号及び前記右チャンネル信号と、前記フレーム時間遅延とを符号化する請求項１記載のステレオ音響信号符号化装置。
【請求項６】
右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定し、前記フレーム時間遅延に基づいて、前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行うとともに、前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とが符号化されて多重化されたビットストリームを前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とに分離する分離手段と、
分離した前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とを復号する復号手段と、
分離した前記フレーム時間遅延に基づいて、前記右チャンネル信号に対して前記時間調整を行う前の時間に復元する時間復元手段と、
を具備するステレオ音響信号復号装置。
【請求項７】
右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定するステップと、
前記フレーム時間遅延に基づいて前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行うステップと、
前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とを符号化するステップと、
を具備するステレオ音響信号符号化方法。
【請求項８】
右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定し、前記フレーム時間遅延に基づいて、前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行うとともに、前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とが符号化されて多重化されたビットストリームを前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とに分離するステップと、
分離した前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とを復号するステップと、
分離した前記フレーム時間遅延に基づいて、前記右チャンネル信号に対して前記時間調整を行う前の時間に復元する時間復元ステップと、
を具備するステレオ音響信号復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ音響信号符号化装置、ステレオ音響信号復号装置およびそれらの方法に関する。
【背景技術】
【０００２】
世界的にブロードバンドの方向に進むにつれて、通信システムに対する利用者の期待が、単なる明瞭性からステレオ感や自然性へと高まっており、傾向としてステレオ音響信号が提供されるようになっている。結果として、ステレオ音響信号を蓄積および送信するための効果的な符号化方式が望まれている。【０００３】
ステレオ符号化方式としては、例えば、ＡＭＲ−ＷＢ＋（Extended adaptive multi-rate - Wideband）のように、「ミッドサイド（和差）」（以下「Ｍ／Ｓ」と記載する）を採用して、ステレオ信号に含まれているステレオの冗長性を利用するステレオ符号化が多数存在している（例えば、非特許文献１）。【０００４】
Ｍ／Ｓステレオ符号化では、多くの場合、２つのチャンネルの相関がかなり高くなることから、２つの信号（左チャンネル信号と右チャンネル信号）の和と差を算出する。この結果、２つの信号の冗長性が取り除かれ、その後に和（モノラルまたはミッド）信号および差（副またはサイド）信号が符号化される。これにより、信号エネルギーの大きいモノラル信号に対して、信号エネルギーの小さい副信号よりも（相対的に）多くのビットを割り当てることができ、高品質なステレオ音響信号を実現することができる。【０００５】
ステレオ音響信号の冗長性を利用するＭ／Ｓ方法における問題は、２つの成分の位相がずれている（一方が他方に対して時間的に遅れている）場合、Ｍ／Ｓ符号化のメリットが消失することである。実際のオーディオ信号においては、時間遅延は頻繁に生じるため、これは根本的な問題である。また、ステレオ信号を聴いたときに知覚される立体感は、（特に低周波数における）左チャンネル信号と右チャンネル信号との間の時間差によるところが大きい。【０００６】
この問題を解決するため、非特許文献２では、位相をそろえた（time-aligned）信号成分に基づく、適応Ｍ／Ｓステレオ符号化方法が提案されている。【０００７】
図１は、ステレオ信号のための適応Ｍ／Ｓステレオ符号化方法の原理に基づく符号化装置の構成を示すブロック図である。【０００８】
図１に示した符号化装置における符号化処理においては、時間遅延推定部１０１は、ステレオ信号の左チャンネルＬ（ｎ）と右チャンネルＲ（ｎ）の間の時間遅延に対応する時間遅延Ｄを、（１）式のように、時間領域相互相関手法（time domain cross correlation technique）を使用して推定する。
【数１】
2010084756.tif 000003
【０００９】
（１）式において、［ａ，ｂ］は所定の範囲であり、Ｎはフレームサイズである。【００１０】
時間遅延符号化部１０５は、時間遅延Ｄを符号化し、多重化部１０６は、符号化パラメータを多重化してビットストリームを形成する。【００１１】
次に、時間調整部１０２は、右チャンネル信号Ｒ（ｎ）を時間遅延Ｄに従って調整する（aligned）。調整された右チャンネル信号をＲａ（ｎ）と表す。【００１２】
調整された信号成分に対して、（２）式のようにダウンミックスを行い、モノラル信号Ｍ（ｎ）と副信号Ｓ（ｎ）を求める。
【数２】
2010084756.tif 000004
【００１３】
（２）式から、時間的に調整された信号を（３）式に従って生成することができる。
【数３】
2010084756.tif 000005
【００１４】
モノラル符号化部１０３は、モノラル信号Ｍ（ｎ）を符号化し、副信号符号化部１０４は、副信号Ｓ（ｎ）を符号化する。多重化部１０６は、モノラル符号化部１０３および副信号符号化部１０４の両方から入力した符号化パラメータを多重化してビットストリームを形成する。【００１５】
図２は、ステレオ信号のための適応Ｍ／Ｓステレオ符号化方法の原理に基づく復号装置の構成を示すブロック図である。【００１６】
図２に示した復号処理においては、分離部２０１は、すべての符号化パラメータおよび量子化パラメータをビットストリームから分離する。具体的には、モノラル復号部２０２は、モノラル信号の符号化パラメータを復号して復号モノラル信号を得る。また、副信号復号部２０３は、副信号の符号化パラメータを復号して復号副信号を得る。また、時間遅延復号部２０４は、符号化された時間遅延を復号して復号時間遅延Ｄを得る。【００１７】
次に、復号されたモノラル信号および副信号を使用し、（４）式に従ってステレオ信号を生成する。
【数４】
2010084756.tif 000006
【００１８】
時間復元部２０５は、復号された時間遅延Ｄを用いて、時間復元部２０５の入力信号の位相を逆方向に調整する（de-aligning）ことにより、時間復元部２０５の出力信号を得る。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】Extended AMR Wideband Speech Codec (AMR-WB+): Transcoding functions, 3GPP TS 26.290.
【非特許文献２】Jonas Lindblom, Jan H.Plasberg and Renat Vafin “Flexible Sum-difference Stereo Coding Based on Time-aligned Signal Components,” IEEE Workshop on Application of Signal Processing to Audio and Acoustics. 2005.
【非特許文献３】C. Faller and F. Baumgarte, “Binaural cue coding-part II: Schemes and applications,” IEEE Trans. Speech Audio Processing, vol. 11, no.6, pp.520-531, 2003
【発明の概要】
【発明が解決しようとする課題】
【００２０】
非特許文献２における方法では、入力信号に単一音源を想定すれば良好に機能するが、複数の音源が存在する場合（例えば、複数の話し手による音声、複数の異なる楽器による音楽、または背景雑音のある音声や音楽など）には良好に機能しない。【００２１】
複数の音源が存在する場合、相互相関方法によって算出される時間遅延が正しく求められなくなることにより、信号の品質劣化を生じ得る。最悪の場合、ステレオ感が不安定になる。非特許文献２によると、いくつかのテストにおいてステレオ感が不安定であったことも報告されている。【００２２】
ここで、単一音源の場合において、この音源の信号がｓ１（ｎ）であるとする。このとき、ステレオ信号は（５）式のように表すことができる。
【数５】
2010084756.tif 000007
【００２３】
（５）式から、左チャンネル録音装置および右チャンネル録音装置の両方において背景雑音を無視できるとすると、ステレオ信号は（６）式のように表すことができる。
【数６】
2010084756.tif 000008
【００２４】
この場合、Ｒ（ｎ）は、Ｌ（ｎ）を用いて（７）式のように表すことができる。
【数７】
2010084756.tif 000009
【００２５】
（７）式から、単一音源の場合、背景雑音を無視できるならば、ステレオ信号の一方のチャンネル（例えばＲ（ｎ））は、他方のチャンネル（Ｌ（ｎ））を遅延および減衰させたものと考えることができ、したがって、適応Ｍ／Ｓ符号化方法が効果的に機能すると言える。【００２６】
一方、複数の音源が存在する場合、Ｍ個の音源が存在し、各音源の信号をｓ１（ｎ）〜ｓＭ（ｎ）と表すものとする。この場合、ステレオ信号は（８）式のように表すことができる。
【数８】
2010084756.tif 000010
【００２７】
（８）式から、左チャンネル録音装置および右チャンネル録音装置の両方において背景雑音を無視できるとすると、ステレオ信号は（９）式のように表すことができる。
【数９】
2010084756.tif 000011
【００２８】
（９）式から、複数の音源が存在する場合には単一音源の場合とは異なり、たとえ背景雑音を無視できる場合でも、ステレオ信号の一方のチャンネル（例えば右チャンネルＲ（ｎ））を、他方のチャンネル（左チャンネルＬ（ｎ））を遅延および減衰させたものと考えることはできない。したがって、適応Ｍ／Ｓ符号化方法は、複数の音源が存在する場合に対しては有効ではないと言える。【００２９】
本発明の目的は、ピーク情報のみを利用するので、相互相関を利用する従来の時間推定方法、または時間から周波数への変換を利用する従来の時間推定方法と比較して、処理演算量を極めて少なくすることができるステレオ音響信号符号化装置、ステレオ音響信号復号装置およびそれらの方法を提供することである。
【課題を解決するための手段】
【００３０】
本発明のステレオ音響信号符号化装置は、右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定するピーク追跡手段と、前記フレーム時間遅延に基づいて前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行う時間調整手段と、前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とを符号化する符号化手段と、を具備する構成を採る。【００３１】
本発明のステレオ音響信号復号装置は、右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定し、前記フレーム時間遅延に基づいて、前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行うとともに、前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とが符号化されて多重化されたビットストリームを前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とに分離する分離手段と、分離した前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とを復号する復号手段と、分離した前記フレーム時間遅延に基づいて、前記右チャンネル信号に対して前記時間調整を行う前の時間に復元する時間復元手段と、を具備する構成を採る。【００３２】
本発明のステレオ音響信号符号化方法は、右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定するステップと、前記フレーム時間遅延に基づいて前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行うステップと、前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とを符号化するステップと、を具備するようにした。【００３３】
本発明のステレオ音響信号復号方法は、右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定し、前記フレーム時間遅延に基づいて、前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行うとともに、前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とが符号化されて多重化されたビットストリームを前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とに分離するステップと、分離した前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とを復号するステップと、分離した前記フレーム時間遅延に基づいて、前記右チャンネル信号に対して前記時間調整を行う前の時間に復元する時間復元ステップと、を具備するようにした。
【発明の効果】
【００３４】
本発明によれば、ピーク情報のみを利用するので、相互相関を利用する従来の時間推定方法、または時間から周波数への変換を利用する従来の時間推定方法と比較して、処理演算量を極めて少なくすることができる。
【図面の簡単な説明】
【００３５】
【図１】従来の符号化装置の構成を示すブロック図
【図２】従来の復号装置の構成を示すブロック図
【図３】ｅｘｃＬ（ｎ）のパターンがｅｘｃＲ（ｎ）のパターンとは異なる一例を説明する図
【図４】本発明の実施の形態１に係る符号化装置の構成を示すブロック図
【図５】本発明の実施の形態１に係る復号装置の構成を示すブロック図
【図６】本発明の実施の形態１に係るピーク追跡部の構成を示すブロック図
【図７】本発明の実施の形態１に係るピーク追跡部の構成を示すブロック図
【図８】本発明の実施の形態１に係るピーク追跡部の処理の詳細を説明する図
【図９】本発明の実施の形態１に係る無効ピーク破棄部の構成を示すブロック図
【図１０】本発明の実施の形態１に係る無効ピーク破棄部の動作を説明するための図
【図１１】本発明の実施の形態１に係る符号化装置の変形例を示すブロック図
【図１２】本発明の実施の形態１に係る復号装置の構成の変形例を示すブロック図
【図１３】本発明の実施の形態１に係る符号化装置の構成の変形例を示すブロック図
【図１４】本発明の実施の形態１に係る符号化装置の構成の変形例を示すブロック図
【図１５】本発明の実施の形態１に係るピーク追跡部の構成の変形例を示すブロック図
【図１６】本発明の実施の形態１に係るピーク追跡部の構成の変形例を示すブロック図
【図１７】本発明の実施の形態２に係る符号化装置の構成を示すブロック図
【図１８】本発明の実施の形態２に係るピーク追跡部の構成を示すブロック図
【図１９】本発明の実施の形態２に係るピーク追跡部の構成の変形例を示すブロック図
【図２０】本発明の実施の形態３に係る符号化装置の構成を示すブロック図
【図２１】本発明の実施の形態３に係るスイッチの構成を示すブロック図
【図２２】本発明の実施の形態４に係る符号化装置の構成を示すブロック図
【図２３】本発明の実施の形態４に係るスイッチの構成を示すブロック図
【図２４】本発明の実施の形態４に係るスイッチの構成の他の例を示すブロック図
【図２５】本発明の実施の形態５に係る符号化装置の構成を示すブロック図
【図２６】本発明の実施の形態５に係るスイッチの構成を示すブロック図
【図２７】本発明の実施の形態５に係る時間遅延選択部の構成を示すブロック図
【発明を実施するための形態】
【００３６】
本発明は、ピーク追跡（Peak Tracking）方法に関するものである。ピーク追跡は、ステレオ入力信号の波形特性を利用して左チャンネル信号と右チャンネル信号との間の時間遅延を推定する方法である。さらに、ピーク追跡は、相互相関方法またはその他の時間遅延推定方法から導かれる時間遅延の有効性を確認する目的に使用することもできる。
【００３７】
発話音声は、時変励起信号によって時変性の発声機構（time-varying vocal tract system）が励起された結果出力される信号としてモデル化できる。一般に、発声機構を励起する重要な形態は、声帯の振動（声門振動（glottal vibration）と称する）である。声門振動によって生成される励起信号はインパルス列で近似することができる。
【００３８】
単一音源の場合、「発明が解決しようとする課題」において示したように、背景雑音を無視できれば、ステレオ信号の一方のチャンネル（例えば右チャンネル信号Ｒ（ｎ））は、他方のチャンネル（左チャンネル信号Ｌ（ｎ））を遅延および減衰させた信号とみなすことができる。
【００３９】
したがって、右チャンネル信号Ｒ（ｎ）の時変励起信号（第一のインパルス列とする）は、左チャンネル信号Ｌ（ｎ）の時変励起信号（第二のインパルス列とする）が遅延および減衰した信号と考えることができる。
【００４０】
上記の原理に基づき、ピーク追跡方法では、第一のインパルス列と第二のインパルス列における対応するパルスの位置を比較することによって時間遅延を推定する。
【００４１】
しかしながら、複数音源のほとんどの場合、「発明が解決しようとする課題」において示したように、ステレオ信号の一方のチャンネル（例えばＲ（ｎ））を、他方のチャンネル（Ｌ（ｎ））を遅延および減衰させた信号とみなすことはできない。このことを図３を用いて詳細に説明する。
【００４２】
ここで、同時に話す２人の話し手が存在する場合を考える。２つの信号をｓ１（ｎ）およびｓ２（ｎ）と表し、それらの励起信号をｅｘｃ１（ｎ）およびｅｘｃ２（ｎ）と表す。この場合、ステレオ信号は（１０）式のように表すことができる。
【数１０】
2010084756.tif 000012
【００４３】
左チャンネル励起信号ｅｘｃＬ（ｎ）および右チャンネル励起信号ｅｘｃＲ（ｎ）は、第１話者の励起信号ｅｘｃ１（ｎ）および第２話者の励起信号ｅｘｃ２（ｎ）を用いて（１１）式のように表すことができる。
【数１１】
2010084756.tif 000013
【００４４】
一般的に、（１１）式において、ｅｘｃＬ（ｎ）のパターンはｅｘｃＲ（ｎ）のパターンと異なるものになる。励起信号をインパルス列とみなし、インパルスの大きさを無視すると、図３を用いて次のように説明できる。
【００４５】
図３は、ｅｘｃＬ（ｎ）のパターンがｅｘｃＲ（ｎ）のパターンとは異なる一例を示している。各図の内容は次のとおりである。
【００４６】
図３（ａ）は、ｅｘｃ１（ｎ）のパターンを示している。
【００４７】
図３（ｂ）は、ｅｘｃ２（ｎ）のパターンを示している。
【００４８】
図３（ｃ）は、ｅｘｃ１（ｎ−ＤＬ１）とｅｘｃ２（ｎ−ＤＬ２）を混合した信号の様子を示している（説明を分かりやすくするため、ここでは、ｅｘｃ１（ｎ−ＤＬ１）のパルスが立つパルス位置とｅｘｃ２（ｎ−ＤＬ２）のパルスが立つパルス位置は同一であるとする）。
【００４９】
図３（ｄ）は、ｅｘｃ１（ｎ−ＤＲ１）とｅｘｃ２（ｎ−ＤＲ２）を混合した信号の様子を示している。
【００５０】
図３（ｅ）は、最終的に得られる左チャンネル励振信号ｅｘｃＬ（ｎ）の様子を示している（ｅｘｃ１（ｎ−ＤＬ１）のパルスが立つパルス位置とｅｘｃ２（ｎ−ＤＬ２）のパルスが立つパルス位置は同一であるため、ここではｅｘｃ２（ｎ−ＤＬ２）のパルスのみ表記している）。
【００５１】
図３（ｆ）は、最終的に得られる右チャンネル励振信号ｅｘｃＲ（ｎ）の様子を示している。
【００５２】
これらの図から、複数音源の場合においては、ｅｘｃＬ（ｎ）のパターン（図３（ｅ））がｅｘｃＲ（ｎ）のパターン（図３（ｆ））と全く異なったものになり得ることが分かる。このような複数音源環境で入力された２つのチャネルの信号に対して非特許文献２に示されるような従来技術を適用しても、求められる時間遅延は無効であり、復号信号の音質劣化の原因となる。このような場合、本発明で開示するピーク追跡方法は、時間遅延をゼロまたは前のフレームから導かれた時間遅延に設定することにより、無効な時間遅延を破棄する。ピーク追跡方法を用いて無効な時間遅延を破棄することにより、音質劣化を回避することができる。ここで、無効な時間遅延に対してゼロを設定するか前のフレームから導かれる時間遅延を設定するかは、入力信号の特性によって決定することができる。例えば、入力信号のステレオ感が大きく変化していない場合、時間遅延を前のフレームから導かれた時間遅延に設定する。一方、入力信号のステレオ感が大きく変化している場合、時間遅延をゼロに設定する。
【００５３】
複数音源であっても、単一音源とみなしてよい場合もある。例えば、異なる信号源であるにも関わらず左チャンネル信号と右チャンネル信号との間の時間遅延が同じである場合や、複数音源のうち１つの音源のみが優勢である場合などを挙げることができる。このような場合、ピーク追跡は、単一音源シナリオの場合と同じ原理を用いて、時間遅延を推定する。
【００５４】
以下に、本発明における各実施の形態について説明する。当業者は、本発明の範囲から逸脱することなく、本発明を修正および適合化することができる。
【００５５】
（実施の形態１）
図４は、ピーク追跡方式を適用して時間遅延を推定する符号化装置の構成を示すブロック図である。また、図５は、ピーク追跡方式を適用して時間遅延を推定する復号装置の構成を示すブロック図である。
【００５６】
図４に示した符号化処理においては、ピーク追跡部４０１は、ステレオ信号の左チャンネル信号Ｌ（ｎ）と右チャンネル信号Ｒ（ｎ）の間の時間遅延に対応する時間遅延Ｄを、ピーク追跡方式を使用して推定する。
【００５７】
時間遅延符号化部４０５は、時間遅延Ｄを符号化し、多重化部４０６は、符号化パラメータを多重化してビットストリームを形成する。
【００５８】
時間調整部４０２は、右チャンネル信号Ｒ（ｎ）を時間遅延Ｄに従って調整する。時間的に調整された右チャンネル信号をＲａ（ｎ）と表す。
【００５９】
時間的に調整された信号に対して、（１２）式に従ってダウンミックスを行う。
【数１２】
2010084756.tif 000014
【００６０】
（１２）式から、時間的に調整された信号を、次の（１３）式に従って生成することができる。
【数１３】
2010084756.tif 000015
【００６１】
時間的に調整された信号を、（１４）式に従ってダウンミックスすることも可能である。
【数１４】
2010084756.tif 000016
【００６２】
（１４）式から、時間的に調整された信号を、（１５）式に従って生成することができる。
【数１５】
2010084756.tif 000017
【００６３】
モノラル符号化部４０３は、モノラル信号Ｍ（ｎ）を符号化し、副信号符号化部４０４は、副信号Ｓ（ｎ）を符号化する。多重化部４０６は、モノラル符号化部４０３および副信号符号化部４０４の両方から入力した符号化パラメータを多重化してビットストリームを形成する。
【００６４】
図５に示した復号処理においては、分離部５０１は、ビットストリームから、すべての符号化パラメータおよび量子化パラメータを分離する。モノラル復号部５０２は、モノラル信号の符号化パラメータを復号して復号モノラル信号を得る。副信号復号部５０３は、副信号の符号化パラメータを復号して復号副信号を得る。時間遅延復号部５０４は、符号化された時間遅延を復号してＤを得る。
【００６５】
復号されたモノラル信号および副信号を使用し、（１６）式に従って、ステレオ信号を生成する。
【数１６】
2010084756.tif 000018
【００６６】
また、次の（１７）式に従ってダウンミックスを行う場合には（１８）式にしたがってアップミックスを行う。
【数１７】
2010084756.tif 000019
【数１８】
2010084756.tif 000020
時間復元部５０５は、復号された時間遅延Ｄによって時間復元部５０５の入力信号の位相を逆方向に調整することによって、時間復元部５０５の出力信号を生成する。
【００６７】
図６は、ピーク追跡部４０１の構成を示すブロック図であり、ピーク追跡方法の原理を示している。フレーム分割部６０１は、フレーム毎に入力される左チャンネル信号Ｌ（ｎ）および右チャンネル信号Ｒ（ｎ）の入力フレームを複数のサブフレームに分割する。ここでサブフレームの数をＮとする。
【００６８】
ピーク追跡部６０２、６０３、６０４は、各サブフレームに対してピーク追跡を適用し、サブフレーム時間遅延（Ｄ０〜ＤＮ−１）を得る。フレーム遅延推定部６０５は、これらのサブフレーム時間遅延（Ｄ０〜ＤＮ−１）を使用して、フレーム時間遅延Ｄを推定する。
【００６９】
フレーム時間遅延を推定する方法の１つは、次のようにサブフレームにおける時間遅延の平均を計算することである。
【数１９】
2010084756.tif 000021
【００７０】
別の方法としては、フレーム時間遅延を、出現回数が最大のサブフレーム時間遅延に等しいものとする方法が挙げられる。例えば、サブフレーム時間遅延（Ｄ０〜ＤＮ−１）のうち、１つの時間遅延のみが２であり、残りの時間遅延すべてが０である場合には、フレーム時間遅延として０を選択する（Ｄ＝０）。なお、次式で示すように、ＤをＤｉの中央値としても良い。
【数２０】
2010084756.tif 000022
【００７１】
なお、フレーム時間遅延推定方法は、上記の２つの例に限定されない。
【００７２】
次いで、時間遅延有効性確認部６０６は、フレーム時間遅延Ｄの有効性を確認する。
【００７３】
時間遅延有効性確認部６０６は、時間遅延Ｄと各サブフレーム時間遅延とを比較し、その差が所定の範囲を超えるサブフレーム数をカウントする。時間遅延有効性確認部６０６は、所定の範囲を超えるサブフレーム数が、しきい値Ｍを超える場合、時間遅延Ｄを無効とみなす。ここで、しきい値Ｍは所定の値、または信号特性に従って適応的に算出される値として定義される。時間遅延有効性確認部６０６は、時間遅延が有効である場合、現在のフレームで算出された時間遅延を出力する。一方、時間遅延有効性確認部６０６は、時間遅延が有効ではない場合（無効の場合）、前のフレームの時間遅延を出力する。なお、時間遅延が無効の場合、現在のフレームで算出された時間遅延の代わりに、ゼロ値（この場合、左チャンネル信号Ｌ（ｎ）と右チャンネル信号Ｒ（ｎ）の位相差は無いとみなされる）、または過去数フレームの時間遅延の平均値などを用いても良い。また、これらの値をフレーム毎に切替えて出力しても良い。
【００７４】
図７は、ピーク追跡部６０２、６０３、６０４の構成を示すブロック図であり、各サブフレームに適用されるピーク追跡の詳しいステップを示している。例としてサブフレームｉの場合を説明する。
【００７５】
サブフレームｉの入力信号Ｌｉ（ｎ）は、Ｌ（ｎ）のｉ番目のサブフレームの入力信号であり、サブフレームｉの入力信号Ｒｉ（ｎ）は、Ｒ（ｎ）のｉ番目のサブフレームの入力信号である。また、出力信号Ｄｉは、ｉ番目のサブフレームのサブフレーム時間遅延である。
【００７６】
ピーク分析部７０１は、サブフレームの入力Ｌｉ（ｎ）およびＲｉ（ｎ）のピークの位置を求める。無効ピーク破棄部７０２は、そのピークが有効であるかを示すインジケータＦｉを出力する。ピークが有効である場合、ピーク位置比較部７０３は、２つのチャンネルのピークの位置を比較し、サブフレーム時間遅延Ｄｉを出力する。
【００７７】
図８は、ピーク分析部７０１の処理の詳細を説明する図である。
【００７８】
まず、ピーク追跡部６０２、６０３、６０４は、処理の前に、Ｌ（ｎ）およびＲ（ｎ）の絶対値を算出する。
【００７９】
また、ピーク追跡部６０２、６０３、６０４は、絶対値｜Ｌ（ｎ）｜および｜Ｒ（ｎ）｜を、Ｎ個のサブフレームに分割する。図８には、例として３個のサブフレームを示してある。ピーク追跡部６０２、６０３、６０４は、各サブフレームにおいて、最大値の位置を見つける（ＰＬ（０）〜ＰＬ（Ｎ−１）、ＰＲ（０）〜ＰＲ（Ｎ−１））。次いで、ピーク追跡部６０２、６０３、６０４は、ピーク値の位置の差によって、サブフレーム時間遅延（Ｄ０〜ＤＮ−１）を推定する。サブフレームｉを例にとると、次のように時間遅延Ｄｉを推定する。
【数２１】
2010084756.tif 000023
【００８０】
図９は、無効ピーク破棄部７０２の構成を示すブロック図である。
【００８１】
いくつかのサブフレームにおいて励起インパルスが存在しないことがあり、その場合、そのサブフレームで特定されるピークは励起インパルスに対応していない。この場合においては、サブフレームから導かれる時間遅延は適切な時間遅延ではない。
【００８２】
無効ピーク破棄部７０２は、このような時間遅延がフレーム時間遅延推定において使用されないようにする。
【００８３】
サブフレームにおけるピークが励起インパルスに対応しているか否かを確認する方法の１つは、ピークの値を所定のしきい値と比較することである。このしきい値は、前のフレームからのピーク値、または同じフレーム内の別のサブフレームにおけるピーク値から決定することができる。
【００８４】
図９において、ピーク値抽出部９０１は、サブフレームの入力Ｌｉ（ｎ）およびＲｉ（ｎ）と、ピーク位置ＰＬ（ｉ）およびＰＲ（ｉ）とを使用して、ピーク値｜Ｌ（ＰＬ（ｉ））｜および｜Ｒ（ＰＲ（ｉ））｜を得る。次に、しきい値比較部９０２は、これらの２つのピーク値を所定のしきい値と比較する。ピーク値がしきい値より大きい場合、しきい値比較部９０２から出力される出力フラグＦｉはＦｉ＝１（ピークが有効であることを示す）となる。ピーク値がしきい値より小さい場合、しきい値比較部９０２から出力される出力フラグＦｉはＦｉ＝０（ピークが無効であることを示す）となり、この場合、サブフレーム時間遅延Ｄｉをフレーム時間遅延推定において使用しない。
【００８５】
図１０は、無効ピーク破棄部７０２の動作を説明するための図である。
【００８６】
この図においては、２番目のサブフレームに励起インパルスが存在しないため、２番目のサブフレーム（サブフレームインデックスは１）におけるピーク値は、他のサブフレームにおけるピーク値と比較して非常に小さい。したがって、無効ピーク破棄部７０２により、２番目のサブフレームのサブフレーム時間遅延を破棄する。
【００８７】
本実施の形態によれば、ステレオ入力信号フレームを複数のサブフレームに分割し、各サブフレームにおいてピークの位置を求める。また、ピークの位置を比較して、推定されるサブフレーム時間遅延を求める。さらに、複数のサブフレーム時間遅延を使用して、最終的な推定時間遅延を求める。このようなピーク追跡は、入力信号の波形特性を利用する信号依存の方法であり、有効かつ正確な時間遅延推定方法である。従って、本実施の形態によれば、ピーク追跡はピーク情報のみを利用するので、相互相関を利用する従来の時間推定方法、または時間から周波数への変換を利用する従来の時間推定方法に比べて、処理演算量を極めて少なくすることができる。
【００８８】
また、本実施の形態によれば、無効なピークを破棄する処理を追加する。無効なピークの破棄とは、サブフレームにおいて求められるピークが必ず励起インパルスに対応するように、ピークの値を所定のしきい値と比較することにより行われる。所定のしきい値と比べてピークの値が小さいときに、そのピークは破棄される。従って、無効なピークを破棄することにより、励起インパルスに対応するピークのみがフレーム時間遅延推定において使用される。これにより、より正確な時間遅延を求めることができる。
【００８９】
なお、本実施の形態において、右チャンネル信号を時間調整したが、本実施の形態はこれに限らず、左チャンネル信号を時間調整しても良い。また、本実施の形態における変形例として、以下のバリエーション１〜バリエーション６が考えられる。
【００９０】
（バリエーション１）
時間遅延は、時間遅延の符号に応じて、左チャンネル信号または右チャンネル信号のどちらに対しても調整することができる。
【００９１】
図１１は、本実施の形態の符号化装置の構成の変形例１を示すブロック図であり、図１２は、本実施の形態の復号装置の構成の変形例１を示すブロック図である。このコーデックは、本実施の形態において提案する符号化装置（図４）および復号装置（図５）とは別の構成を有している。
【００９２】
図１１に示した符号化装置においては、時間調整部１１０３は、ピーク追跡部１１０１により算出される時間遅延が正、すなわち、右チャンネル信号Ｒ（ｎ）が左チャンネル信号Ｌ（ｎ）より遅れている場合、右チャンネル信号Ｒ（ｎ）の位相を調整する。時間調整部１１０２は、ピーク追跡部１１０１により算出される時間遅延が負、すなわち左チャンネル信号Ｌ（ｎ）が右チャンネル信号Ｒ（ｎ）より遅れている場合、Ｌ（ｎ）の位相を調整する。なお、時間調整部１１０３は、時間調整部４０２と同様の処理を行うので、その説明を省略する。また、モノラル符号化部１１０４は、モノラル符号化部４０３と同様の処理を行うので、その説明を省略する。また、副信号符号化部１１０５は、副信号符号化部４０４と同様の処理を行うので、その説明を省略する。また、時間遅延符号化部１１０６は、時間遅延符号化部４０５と同様の処理を行うので、その説明を省略する。また、多重化部１１０７は、多重化部４０６と同様の処理を行うので、その説明を省略する。
【００９３】
図１２に示した復号装置においては、時間復元部１２０６は、復号された時間遅延が正である場合、右チャンネル信号Ｒ（ｎ）の位相を逆方向に調整する。時間復元部１２０５は、復号された時間遅延が負である場合、左チャンネル信号Ｌ（ｎ）の位相を逆方向に調整する。なお、分離部１２０１は、分離部５０１と同様の処理を行うので、その説明を省略する。また、モノラル復号部１２０２は、モノラル復号部５０２と同様の処理を行うので、その説明を省略する。また、副信号復号部１２０３は、副信号復号部５０３と同様の処理を行うので、その説明を省略する。また、時間遅延復号部１２０４は、時間遅延復号部５０４と同様の処理を行うので、その説明を省略する。
【００９４】
本バリエーションによる効果は以下の通りである。まず、ステレオ信号は次のように表すことができる。
【数２２】
2010084756.tif 000024
【００９５】
ここで、ＤＬとＤＲの関係には、「ＤＬ＞ＤＲ」と「ＤＬ＝ＤＲ」と「ＤＬ＜ＤＲ」の３つの場合がある。
【００９６】
ＤＬ＝ＤＲである場合、２つのチャンネル信号の間の時間遅延は０である。
【００９７】
ＤＬ＞ＤＲである場合、左チャンネル信号Ｌ（ｎ）が右チャンネル信号Ｒ（ｎ）より遅れているため、左チャンネル信号Ｌ（ｎ）を調整する。
【００９８】
ＤＬ＜ＤＲである場合、右チャンネル信号Ｒ（ｎ）が左チャンネル信号Ｌ（ｎ）より遅れているため、右チャンネル信号Ｒ（ｎ）を調整する。
【００９９】
したがって、本バリエーションを適用することによって、入力信号の時間遅延に従って柔軟に右チャンネル信号および左チャンネル信号の時間遅延を調整することができる。
【０１００】
（バリエーション２）
ピーク追跡部にて時間遅延Ｄを算出する前に、左チャンネル信号Ｌ（ｎ）および右チャンネル信号Ｒ（ｎ）に対して線形予測処理を行う。
【０１０１】
図１３は、本実施の形態の符号化装置の構成の変形例２を示すブロック図である。
【０１０２】
図１３に示した符号化装置においては、線形予測（ＬＰ）分析部１３０１、１３０４は、左チャンネル信号Ｌ（ｎ）および右チャンネル信号Ｒ（ｎ）の各々に対して線形予測処理を行う。ピーク追跡部１３０５は、線形予測（ＬＰ）逆フィルタ部１３０２、１３０３より求められる残差信号ｒｅｓＬ（ｎ）およびｒｅｓＲ（ｎ）を使用して時間遅延を推定する。
【０１０３】
なお、ピーク追跡部１３０５は、ピーク追跡部４０１と同様の処理を行うので、その説明を省略する。また、時間調整部１３０６は、時間調整部４０２と同様の処理を行うので、その説明を省略する。また、モノラル符号化部１３０７は、モノラル符号化部４０３と同様の処理を行うので、その説明を省略する。また、副信号符号化部１３０８は、副信号符号化部４０４と同様の処理を行うので、その説明を省略する。また、時間遅延符号化部１３０９は、時間遅延符号化部４０５と同様の処理を行うので、その説明を省略する。また、多重化部１３１０は、多重化部４０６と同様の処理を行うので、その説明を省略する。また、復号装置については、図５に記載の復号装置と同じであるので、その説明を省略する。
【０１０４】
この構成により、線形予測係数（ＬＰ係数）を使用して、入力信号から線形予測残差を導き、線形予測によって、信号のサンプル間の相関が除去され、大きな励起の瞬間付近における大きな振幅変動を得られる。したがって、線形予測残差によってピークの位置を良好に検出することができる。
【０１０５】
（バリエーション３）
ピーク追跡部から時間遅延を推定する前に、左チャンネル信号Ｌ（ｎ）および右チャンネル信号Ｒ（ｎ）を低域通過フィルタによって処理する。
【０１０６】
図１４は、本実施の形態の符号化装置の構成の変形例３を示すブロック図である。
【０１０７】
図１４に示した符号化装置においては、左チャンネル信号Ｌ（ｎ）および右チャンネル信号Ｒ（ｎ）を低域通過フィルタ１４０１、１４０２に通して処理する。ピーク追跡部１４０３は、左チャンネル信号の低域通過フィルタ１４０１の出力信号ＬＬＦ（ｎ）および右チャンネル信号の低域通過フィルタ１４０２の出力信号ＲＬＦ（ｎ）を使用して時間遅延を推定する。
【０１０８】
なお、ピーク追跡部１４０３は、ピーク追跡部４０１と同様の処理を行うので、その説明を省略する。また、時間調整部１４０４は、時間調整部４０２と同様の処理を行うので、その説明を省略する。また、モノラル符号化部１４０５は、モノラル符号化部４０３と同様の処理を行うので、その説明を省略する。また、副信号符号化部１４０６は、副信号符号化部４０４と同様の処理を行うので、その説明を省略する。また、時間遅延符号化部１４０７は、時間遅延符号化部４０５と同様の処理を行うので、その説明を省略する。また、多重化部１４０８は、多重化部４０６と同様の処理を行うので、その説明を省略する。また、復号装置については、図５に記載の復号装置と同じであるので、その説明を省略する。
【０１０９】
この構成により、低周波信号においてはピークの位置を良好に検出することができる。
【０１１０】
（バリエーション４）
サブフレームの数をフレームごとに可変にする。サブフレームの数は、モノラル符号化部から得られるピッチ周期に応じて決定する。
【０１１１】
図１５は、本実施の形態のピーク追跡部の構成の変形例１を示すブロック図である。
【０１１２】
図１５に示した符号化装置においては、適応フレーム分割部１５０１は、左チャンネル信号Ｌ（ｎ） および右チャンネル信号Ｒ（ｎ）を、可変数のサブフレームに分割する。サブフレームの数は、モノラル符号化部からの前フレームのピッチ周期によって決定する。なお、ピーク追跡部１５０２、１５０３は、ピーク追跡部６０２、６０３、６０４と同様の処理を行うので、その説明を省略する。また、フレーム遅延推定部１５０４は、フレーム遅延推定部６０５と同様の処理を行うので、その説明を省略する。また、時間遅延有効性確認部１５０５は、時間遅延有効性確認部６０６と同様の処理を行うので、その説明を省略する。
【０１１３】
従って、モノラル符号器から得られるピッチ周期を利用することによって、ピッチ周期に同期したサブフレームからピッチの位置をより正確に検出することができるため、時間遅延を良好に推定することができる。
【０１１４】
（バリエーション５）
サブフレームの境界をフレームごとに可変にする。サブフレームの境界は、モノラル符号化装置から得られるピッチ周期に応じて定義する。
【０１１５】
図１６は、本実施の形態のピーク追跡部の構成の変形例２を示すブロック図である。
【０１１６】
図１６に示したピーク追跡部においては、適応フレーム分割部１６０１は、左チャンネル信号Ｌ（ｎ）および右チャンネル信号Ｒ（ｎ）を、複数のサブフレームに分割する。サブフレームの数は、モノラル符号化部からの前フレームのピッチ周期によって決定する。なお、ピーク追跡部１６０２、１６０３、１６０４は、ピーク追跡部６０２、６０３、６０４と同様の処理を行うので、その説明を省略する。また、フレーム遅延推定部１６０５は、フレーム遅延推定部６０５と同様の処理を行うので、その説明を省略する。また、時間遅延有効性確認部１６０６は、時間遅延有効性確認部６０６と同様の処理を行うので、その説明を省略する。
【０１１７】
これより、モノラル符号化器から得られるピッチ周期を利用することによって、ピッチ周期に同期したサブフレームからピッチの位置をより正確に検出することができるため、時間遅延を良好に推定することができる。
【０１１８】
（バリエーション６）
複数のサブフレーム長を定義し、サブフレーム長の設定それぞれにおいてピーク追跡を並列に実行する。各サブフレーム長においてピーク追跡から得られるすべての時間遅延Ｄによって、時間遅延Ｄを決定する。
【０１１９】
これより、複数のサブフレーム長を利用することによって、時間遅延をより良好に推定することができる。
【０１２０】
（実施の形態２）
ピーク追跡方法は、別の時間遅延推定方法（例えば、相互相関方法）から導かれる時間遅延の有効性を確認する目的にも使用することができる。
【０１２１】
図１７は、本発明の実施の形態２に係る符号化装置の構成を示すブロック図であり、この符号化装置は、図４に示した実施の形態１の符号化装置と大部分が同じである。図１７において、時間遅延推定部１７０１は、ピーク追跡方式を適用して時間遅延を推定する符号化方式以外の符号化方式により時間遅延を推定する。また、ピーク追跡部１７０２は、時間遅延推定部１７０１において算出された時間遅延の有効性を確認する。
【０１２２】
図１８は、時間遅延推定部１７０１で算出された時間遅延の有効性の確認にピーク追跡部１７０２を適用した際のピーク追跡部１７０２の構成を示すブロック図である。
【０１２３】
はじめに、フレーム分割部１８０１は、左チャンネル信号Ｌ（ｎ）および右チャンネル信号Ｒ（ｎ）の入力フレームを複数のサブフレームに分割する。サブフレームの数をＮと表す。
【０１２４】
次に、ピーク追跡部１８０２、１８０３、１８０４は、Ｎ個のサブフレームのサブフレーム時間遅延（Ｄ０〜ＤＮ−１）を得る。時間遅延有効性確認部１８０５は、これらのサブフレーム時間遅延（Ｄ０〜ＤＮ−１）を使用して、時間遅延推定部１７０１で算出されたフレーム時間遅延Ｄの有効性を確認する。なお、時間調整部１７０３は、時間調整部４０２と同様の処理を行うので、その説明を省略する。また、モノラル符号化部１７０４は、モノラル符号化部４０３と同様の処理を行うので、その説明を省略する。また、副信号符号化部１７０５は、副信号符号化部４０４と同様の処理を行うので、その説明を省略する。また、時間遅延符号化部１７０６は、時間遅延符号化部４０５と同様の処理を行うので、その説明を省略する。また、多重化部１７０７は、多重化部４０６と同様の処理を行うので、その説明を省略する。
【０１２５】
時間遅延有効性確認部１８０５は、時間遅延推定部１７０１で算出された時間遅延Ｄと各サブフレーム時間遅延（Ｄ０〜ＤＮ−１）とを比較し、その差が所定の範囲を超えるサブフレーム数をカウントする。所定の範囲を超えるサブフレーム数が、しきい値Ｍを超える場合、時間遅延有効性確認部１８０５は、時間遅延推定部１７０１で算出された時間遅延Ｄを無効とみなす。ここで、しきい値Ｍは所定の値、または信号特性に従って適応的に算出される値として定義される。
【０１２６】
時間遅延Ｄが無効と判断された場合、時間遅延有効性確認部１８０５は、前のフレームの時間遅延を出力する。一方、時間遅延有効性確認部１８０５は、時間遅延Ｄが有効と判断された場合、時間遅延推定部１７０１で算出された時間遅延Ｄを出力する。なお、時間遅延が無効と判断された場合、現在のフレームで算出された時間遅延の代わりに、ゼロ値（この場合、左チャンネル信号Ｌ（ｎ）と右チャンネル信号Ｒ（ｎ）の位相差は無いとみなされる）、または過去数フレームの時間遅延の平均値などを用いても良い。また、これらの値をフレーム毎に切替えて出力しても良い。
【０１２７】
＜実施の形態２の変形例＞
本実施の形態の変形例では、Ｌ（ｎ）およびＲ（ｎ）を、複数のサブフレームに分割する前に、導かれた時間遅延Ｄに従って調整する。
【０１２８】
図１９は、本実施の形態のピーク追跡部の構成の変形例を示すブロック図である。
【０１２９】
図１９において、調整部１９０１は、入力信号Ｌ（ｎ）およびＲ（ｎ）を、導かれた時間遅延Ｄに従って調整する（図１９において、一例としてＲ（ｎ）を調整する）。フレーム分割部１９０２は、調整された信号Ｌ（ｎ）およびＲａ（ｎ）を複数のサブフレームに分割する。ここで、サブフレームの数をＮと表す。
【０１３０】
ピーク追跡部１９０３、１９０４、１９０５は、ピーク追跡を適用し、サブフレーム時間遅延（Ｄ０〜ＤＮ−１）を得る。時間遅延有効性確認部１９０６は、これらのサブフレーム時間遅延（Ｄ０〜ＤＮ−１）を使用して、フレーム時間遅延Ｄの有効性を確認する。時間遅延有効性確認部１９０６は、所定の値を超えるサブフレーム時間遅延の数がＭ（Ｍは、所定の値、または信号特性に従って適応的に導くことができる）より大きい場合、Ｄは無効であると判定し、この場合には前のフレームの時間遅延を出力する。また、時間遅延有効性確認部１９０６は、所定の値を超えるサブフレーム時間遅延の数がＭ以下の場合、Ｄを有効とみなし、現在のフレームからのＤを出力する。
【０１３１】
本実施の形態によれば、ステレオ入力信号フレームを複数のサブフレームに分割し、各サブフレームにおいてピークの位置を求める。ピークの位置を比較して、推定されるサブフレーム時間遅延を求める。複数のサブフレーム時間遅延を使用して別の時間遅延推定方法にて算出された時間遅延の有効性を確認する。有効であると確認されればそのまま使用し、有効で無いと判断された場合にはその時間遅延を破棄する。従って、本実施の形態によれば、上記の実施の形態１の効果に加えて、複数音源環境において、入力信号のステレオ感を歪ませることなく、単一音源環境用の別の時間遅延推定方法の有効性を維持することができる。また、本実施の形態によれば、ピーク追跡方法を別の時間遅延推定方法と組み合わせることによって、ステレオ入力間の時間遅延をより正確に導くことができる。また、この時、ピーク追跡によって元の方法の処理演算量が大幅に増加することはない。また、入力信号Ｌ（ｎ）およびＲ（ｎ）を、導かれた時間遅延Ｄに従って調整する場合には、対応するピーク（例えば、Ｌ（ｎ）におけるＰＬ（１）、Ｒ（ｎ）におけるＰＲ（１））が２つの異なるサブフレームに分割されることを回避することができる。また、入力信号Ｌ（ｎ）およびＲ（ｎ）を、導かれた時間遅延Ｄに従って調整する場合には、時間遅延を考慮する必要がないため、フレーム分割部の実装が極めて容易である。
【０１３２】
（実施の形態３）
本実施の形態では、２つの異なる時間遅延を導く。一方の時間遅延は、時間遅延を瞬時的に追跡するピーク追跡方法によって導く。他方の時間遅延は、より安定的に時間遅延を追跡する別の時間遅延推定方法（例えば、非特許文献３に紹介されている低域通過相互相関方法（low-passed cross correlation method））によって導く。ピーク追跡方法とそれ以外の方法との間で、最終的な時間遅延を選択する。
【０１３３】
図２０は、本実施の形態の符号化装置の構成を示すブロック図である。図２０に示した符号化装置は、図４に示した実施の形態１の符号化装置と大部分が同じである。なお、図２０において、図４と同一構成の部分については同一符号を付して、その説明を省略する。ピーク追跡部２００２は、ピーク追跡方法によって時間遅延Ｄ’を推定し、別の時間遅延推定部２００１は、別の時間遅延推定方法によって時間遅延Ｄ’’を導く。スイッチ２００３は、Ｄ’とＤ’’のうちの良好な方の時間遅延を選択して出力する。
【０１３４】
図２１は、スイッチ２００３の構成を示すブロック図である。遅延有効性確認部２１０１は、図６の時間遅延有効性確認部６０６において適用した時間遅延有効性確認方法と同様の方法によって時間遅延Ｄ’を確認する。そして、遅延有効性確認部２１０１は、時間遅延Ｄ’が有効である場合、最終時間遅延Ｄとして時間遅延Ｄ’を出力する。また、遅延有効性確認部２１０１は、時間遅延Ｄ’が無効である場合、最終時間遅延ＤとしてＤ’’を出力する。
【０１３５】
本実施の形態によれば、入力時間遅延を瞬時的に追跡するピーク追跡方法と、入力時間遅延を安定的に追跡する別の時間遅延推定方法との間で時間遅延を選択することによって、高速かつ安定的な時間遅延推定を達成することができる。
【０１３６】
（実施の形態４）
本実施の形態では、ピーク追跡方法ではない２つの時間遅延推定方法を使用して、２つの異なる時間遅延を導く。一方の方法は入力時間遅延を瞬時的に追跡できるのに対し、他方の方法は入力時間遅延を安定的に追跡する。また、スイッチモジュールにおける有効性確認方法としてピーク追跡を使用する。
【０１３７】
図２２は、本実施の形態の符号化装置を示すブロック図である。本実施の形態の符号化装置は、図２０の符号化装置と大部分が同じである。なお、図２２において、図４及び図２０と同一構成である部分については同一番号を付して、その説明を省略する。時間遅延推定部２２０２は、ピーク追跡方法ではなく別の時間遅延推定方法によって時間遅延Ｄ’を推定する。
【０１３８】
この符号化装置においては、時間遅延推定部２２０２は、時間遅延を瞬時的に追跡できる方法である。１つの例は、単一フレーム相互相関方法である。相互相関係数は、現在のフレームのみにおいて導く。最大の相互相関係数を見つけて、対応する時間遅延を得る。
【０１３９】
時間遅延推定部２２０１は、時間遅延をゆっくりではあるが安定的に更新する方法である。１つの例は、非特許文献３に紹介されている低域通過相互相関方法であり、相互相関係数を現在のフレームおよび過去のフレームに基づいて計算する。低域通過相互相関方法では、最大の相互相関係数を見つけて、対応する時間遅延を得る。したがって、導かれる時間遅延は、入力時間遅延を極めて安定的に追跡する。スイッチ２２０３は、Ｄ’とＤ’’のうちの良好な方の時間遅延を選択して出力する。
【０１４０】
図２３は、スイッチ２２０３の構成を示すブロック図である。ピーク追跡部２３０１は、ピーク追跡方法（実施の形態２における図１８または図１９の場合と同じである）によって時間遅延Ｄ’を確認する。ピーク追跡部２３０１は、時間遅延Ｄ’が有効である場合、最終時間遅延ＤとしてＤ’を出力する。また、ピーク追跡部２３０１は、時間遅延Ｄ’が無効である場合、最終時間遅延ＤとしてＤ’’を出力する。
【０１４１】
図２４は、本実施の形態のスイッチの構成の他の例を示すブロック図である。ピーク追跡部２４０１は、時間遅延Ｄ’および時間遅延Ｄ’’の両方をピーク追跡方法（実施の形態２における図１８または図１９の場合と同じである）によって確認する。ピーク追跡部２４０１は、２つの時間遅延の一方が有効である場合、その有効な時間遅延を最終時間遅延Ｄとして出力する。また、ピーク追跡部２４０１は、２つの時間遅延の両方が有効である場合、ピーク追跡方法により適合する方の時間遅延を最終時間遅延として出力する。また、ピーク追跡部２４０１は、２つの時間遅延のいずれも有効ではない場合、前のフレームの時間遅延を最終時間遅延として出力する。
【０１４２】
本実施の形態によれば、入力時間遅延を瞬時的に追跡する１つの時間遅延推定方法と、入力時間遅延を安定的に追跡する別の時間遅延推定方法との間で時間遅延を選択することによって、高速かつ安定的な時間遅延推定を達成することができる。
【０１４３】
（実施の形態５）
本実施の形態では、複数の異なる方法によって複数の時間遅延を導く。また、本実施の形態では、スイッチモジュールにおける有効性確認方法としてピーク追跡を使用し、時間遅延候補のうち最良の時間遅延を選択する。
【０１４４】
図２５は、本実施の形態の符号化装置の構成を示すブロック図である。この符号化装置は、図２２に示した実施の形態４の符号化装置と大部分が同じである。なお、図２５において、図４、図２０及び図２２と同一構成である部分には同一番号を付して、その説明を省略する。各時間遅延推定部２５０１、２５０２、２５０３は、複数の各々異なる方法からＫ（Ｋ＞＝２）個の時間遅延を導く。導いた時間遅延は、その符号に応じて左信号または右信号の調整に用いることができる。
【０１４５】
この符号化装置においては、時間遅延推定部２５０１、２５０２、２５０３は、推定特性が異なるものであることが推奨される。
【０１４６】
時間遅延推定部２５０１は、時間遅延を最も瞬時的に追跡できる方法により時間遅延を得る。時間遅延を最も瞬時的に追跡できる方法の１つの例は、単一フレーム相互相関方法である。単一フレーム相互相関方法は、相互相関係数を現在のフレームのみにおいて導く。そして、単一フレーム相互相関方法は、最大の相互相関係数を見つけて、対応する時間遅延を得る。
【０１４７】
時間遅延推定部２５０３は、時間遅延をゆっくりではあるが安定的に更新する方法により時間遅延を得る。時間遅延をゆっくりではあるが安定的に更新する方法の１つの例は、非特許文献３に紹介されている低域通過相互相関方法である。低域通過相互相関方法は、相互相関係数を現在のフレームおよび過去のフレームに基づいて計算する。そして、低域通過相互相関方法は、最大の相互相関係数を見つけて、対応する時間遅延を得る。したがって、導かれる時間遅延は、入力時間遅延を極めて安定的に追跡する。スイッチ２５０４は、時間遅延候補Ｄ１〜ＤＫのうちの最良の時間遅延を選択して出力する。調整部２５０５は、スイッチ２５０４により選択した時間遅延を用いて、その符号に応じて左信号または右信号の調整を行う。例えば、調整部２５０５は、時間遅延が正である場合は左信号を調整し、時間遅延が負である場合は右信号を調整する。
【０１４８】
図２６は、スイッチ２５０４の構成を示すブロック図である。例として時間遅延Ｄｋを用いる。調整部２６０１は、入力信号Ｌ（ｎ）およびＲ（ｎ）を、導かれた時間遅延Ｄｋに従って調整する。フレーム分割部２６０２は、調整された信号Ｌｋａ（ｎ）およびＲｋａ（ｎ）を複数のサブフレームに分割する。サブフレームの数をＮと表す。
【０１４９】
各サブフレームに、ピーク追跡（ピーク分析部２６０３、２６０６、２６０９、無効ピーク破棄部２６０４、２６０８、２６１１、およびピーク位置比較部２６０５、２６０７、２６１０を用いる）を適用し、サブフレームピーク差｜ＰＬｋ（０）−ＰＲｋ（０）｜〜｜ＰＬｋ（Ｎ−１）−ＰＲｋ（Ｎ−１）｜を得る。加算部２６１２は、これらのサブフレームピーク差を合計する。
【０１５０】
図２７は、時間遅延選択部２７０１の構成を示すブロック図である。
【０１５１】
時間遅延選択部２７０１は、時間遅延Ｄ１〜時間遅延ＤＫのサブフレームピーク差の合計を入力し、（２３）式に従って時間遅延を選択することができる。
【数２３】
2010084756.tif 000025
【０１５２】
なお、基準は上記のみに限定されず、別の基準も可能である。
【０１５３】
本実施の形態によれば、複数の時間遅延推定方法の間で最良の時間遅延候補を選択することによって、時間遅延を良好に推定することができる。
【０１５４】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本発明は、ステレオ音響信号符号化装置またはステレオ音響信号復号装置を有するシステムであればどのような場合にも適用することができる。
【０１５５】
また、本発明に係るステレオ音響信号符号化装置およびステレオ音響信号復号装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能である。これにより、上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
【０１５６】
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶し、情報処理手段によってプログラムを実行させることにより、本発明に係るステレオ音響信号符号化装置等と同様の機能を実現することができる。
【０１５７】
また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。
【０１５８】
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
【０１５９】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１６０】
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
【０１６１】
２００９年１月２２日出願の特願２００９−１２４０７の日本出願、及び２００９年２月２０日出願の特願２００９−３８６４６の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【０１６２】
本発明にかかるステレオ音響信号符号化装置、ステレオ音響信号復号装置およびそれらの方法は、特にステレオ音響信号を蓄積および送信するのに好適である。
【図１】
2010084756.tif 000026
【図２】
2010084756.tif 000027
【図３】
2010084756.tif 000028
【図４】
2010084756.tif 000029
【図５】
2010084756.tif 000030
【図６】
2010084756.tif 000031
【図７】
2010084756.tif 000032
【図８】
2010084756.tif 000033
【図９】
2010084756.tif 000034
【図１０】
2010084756.tif 000035
【図１１】
2010084756.tif 000036
【図１２】
2010084756.tif 000037
【図１３】
2010084756.tif 000038
【図１４】
2010084756.tif 000039
【図１５】
2010084756.tif 000040
【図１６】
2010084756.tif 000041
【図１７】
2010084756.tif 000042
【図１８】
2010084756.tif 000043
【図１９】
2010084756.tif 000044
【図２０】
2010084756.tif 000045
【図２１】
2010084756.tif 000046
【図２２】
2010084756.tif 000047
【図２３】
2010084756.tif 000048
【図２４】
2010084756.tif 000049
【図２５】
2010084756.tif 000050
【図２６】
2010084756.tif 000051
【図２７】
2010084756.tif 000052
【手続補正書】
【提出日】平成23年5月23日(2011.5.23)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ音響信号符号化装置、ステレオ音響信号復号装置およびそれらの方法に関する。
【背景技術】
【０００２】
世界的にブロードバンドの方向に進むにつれて、通信システムに対する利用者の期待が、単なる明瞭性からステレオ感や自然性へと高まっており、傾向としてステレオ音響信号が提供されるようになっている。結果として、ステレオ音響信号を蓄積および送信するための効果的な符号化方式が望まれている。
【０００３】
ステレオ符号化方式としては、例えば、ＡＭＲ−ＷＢ＋（Extended adaptive multi-rate - Wideband）のように、「ミッドサイド（和差）」（以下「Ｍ／Ｓ」と記載する）を採用して、ステレオ信号に含まれているステレオの冗長性を利用するステレオ符号化が多数存在している（例えば、非特許文献１）。
【０００４】
Ｍ／Ｓステレオ符号化では、多くの場合、２つのチャンネルの相関がかなり高くなることから、２つの信号（左チャンネル信号と右チャンネル信号）の和と差を算出する。この結果、２つの信号の冗長性が取り除かれ、その後に和（モノラルまたはミッド）信号および差（副またはサイド）信号が符号化される。これにより、信号エネルギーの大きいモノラル信号に対して、信号エネルギーの小さい副信号よりも（相対的に）多くのビットを割り当てることができ、高品質なステレオ音響信号を実現することができる。
【０００５】
ステレオ音響信号の冗長性を利用するＭ／Ｓ方法における問題は、２つの成分の位相がずれている（一方が他方に対して時間的に遅れている）場合、Ｍ／Ｓ符号化のメリットが消失することである。実際のオーディオ信号においては、時間遅延は頻繁に生じるため、これは根本的な問題である。また、ステレオ信号を聴いたときに知覚される立体感は、（特に低周波数における）左チャンネル信号と右チャンネル信号との間の時間差によるところが大きい。
【０００６】
この問題を解決するため、非特許文献２では、位相をそろえた（time-aligned）信号成分に基づく、適応Ｍ／Ｓステレオ符号化方法が提案されている。
【０００７】
図１は、ステレオ信号のための適応Ｍ／Ｓステレオ符号化方法の原理に基づく符号化装置の構成を示すブロック図である。
【０００８】
図１に示した符号化装置における符号化処理においては、時間遅延推定部１０１は、ステレオ信号の左チャンネルＬ（ｎ）と右チャンネルＲ（ｎ）の間の時間遅延に対応する時間遅延Ｄを、（１）式のように、時間領域相互相関手法（time domain cross correlation technique）を使用して推定する。
【数１】
2010084756.tif 000053
【０００９】
（１）式において、［ａ，ｂ］は所定の範囲であり、Ｎはフレームサイズである。
【００１０】
時間遅延符号化部１０５は、時間遅延Ｄを符号化し、多重化部１０６は、符号化パラメータを多重化してビットストリームを形成する。
【００１１】
次に、時間調整部１０２は、右チャンネル信号Ｒ（ｎ）を時間遅延Ｄに従って調整する（aligned）。調整された右チャンネル信号をＲａ（ｎ）と表す。
【００１２】
調整された信号成分に対して、（２）式のようにダウンミックスを行い、モノラル信号Ｍ（ｎ）と副信号Ｓ（ｎ）を求める。
【数２】
2010084756.tif 000054
【００１３】
（２）式から、時間的に調整された信号を（３）式に従って生成することができる。
【数３】
2010084756.tif 000055
【００１４】
モノラル符号化部１０３は、モノラル信号Ｍ（ｎ）を符号化し、副信号符号化部１０４は、副信号Ｓ（ｎ）を符号化する。多重化部１０６は、モノラル符号化部１０３および副信号符号化部１０４の両方から入力した符号化パラメータを多重化してビットストリームを形成する。
【００１５】
図２は、ステレオ信号のための適応Ｍ／Ｓステレオ符号化方法の原理に基づく復号装置の構成を示すブロック図である。
【００１６】
図２に示した復号処理においては、分離部２０１は、すべての符号化パラメータおよび量子化パラメータをビットストリームから分離する。具体的には、モノラル復号部２０２は、モノラル信号の符号化パラメータを復号して復号モノラル信号を得る。また、副信号復号部２０３は、副信号の符号化パラメータを復号して復号副信号を得る。また、時間遅延復号部２０４は、符号化された時間遅延を復号して復号時間遅延Ｄを得る。
【００１７】
次に、復号されたモノラル信号および副信号を使用し、（４）式に従ってステレオ信号を生成する。
【数４】
2010084756.tif 000056
【００１８】
時間復元部２０５は、復号された時間遅延Ｄを用いて、時間復元部２０５の入力信号の位相を逆方向に調整する（de-aligning）ことにより、時間復元部２０５の出力信号を得る。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】Extended AMR Wideband Speech Codec (AMR-WB+): Transcoding functions, 3GPP TS 26.290.
【非特許文献２】Jonas Lindblom, Jan H.Plasberg and Renat Vafin “Flexible Sum-difference Stereo Coding Based on Time-aligned Signal Components,” IEEE Workshop on Application of Signal Processing to Audio and Acoustics. 2005.
【非特許文献３】C. Faller and F. Baumgarte, “Binaural cue coding-part II: Schemes and applications,” IEEE Trans. Speech Audio Processing, vol. 11, no.6, pp.520-531, 2003
【発明の概要】
【発明が解決しようとする課題】
【００２０】
非特許文献２における方法では、入力信号に単一音源を想定すれば良好に機能するが、複数の音源が存在する場合（例えば、複数の話し手による音声、複数の異なる楽器による音楽、または背景雑音のある音声や音楽など）には良好に機能しない。
【００２１】
複数の音源が存在する場合、相互相関方法によって算出される時間遅延が正しく求められなくなることにより、信号の品質劣化を生じ得る。最悪の場合、ステレオ感が不安定になる。非特許文献２によると、いくつかのテストにおいてステレオ感が不安定であったことも報告されている。
【００２２】
ここで、単一音源の場合において、この音源の信号がｓ１（ｎ）であるとする。このとき、ステレオ信号は（５）式のように表すことができる。
【数５】
2010084756.tif 000057
【００２３】
（５）式から、左チャンネル録音装置および右チャンネル録音装置の両方において背景雑音を無視できるとすると、ステレオ信号は（６）式のように表すことができる。
【数６】
2010084756.tif 000058
【００２４】
この場合、Ｒ（ｎ）は、Ｌ（ｎ）を用いて（７）式のように表すことができる。
【数７】
2010084756.tif 000059
【００２５】
（７）式から、単一音源の場合、背景雑音を無視できるならば、ステレオ信号の一方のチャンネル（例えばＲ（ｎ））は、他方のチャンネル（Ｌ（ｎ））を遅延および減衰させたものと考えることができ、したがって、適応Ｍ／Ｓ符号化方法が効果的に機能すると言える。
【００２６】
一方、複数の音源が存在する場合、Ｍ個の音源が存在し、各音源の信号をｓ１（ｎ）〜ｓＭ（ｎ）と表すものとする。この場合、ステレオ信号は（８）式のように表すことができる。
【数８】
2010084756.tif 000060
【００２７】
（８）式から、左チャンネル録音装置および右チャンネル録音装置の両方において背景雑音を無視できるとすると、ステレオ信号は（９）式のように表すことができる。
【数９】
2010084756.tif 000061
【００２８】
（９）式から、複数の音源が存在する場合には単一音源の場合とは異なり、たとえ背景雑音を無視できる場合でも、ステレオ信号の一方のチャンネル（例えば右チャンネルＲ（ｎ））を、他方のチャンネル（左チャンネルＬ（ｎ））を遅延および減衰させたものと考えることはできない。したがって、適応Ｍ／Ｓ符号化方法は、複数の音源が存在する場合に対しては有効ではないと言える。
【００２９】
本発明の目的は、ピーク情報のみを利用するので、相互相関を利用する従来の時間推定方法、または時間から周波数への変換を利用する従来の時間推定方法と比較して、処理演算量を極めて少なくすることができるステレオ音響信号符号化装置、ステレオ音響信号復号装置およびそれらの方法を提供することである。
【課題を解決するための手段】
【００３０】
本発明のステレオ音響信号符号化装置は、右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定するピーク追跡手段と、前記フレーム時間遅延に基づいて前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行う時間調整手段と、前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とを符号化する符号化手段と、を具備する構成を採る。
【００３１】
本発明のステレオ音響信号復号装置は、右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び
前記左チャンネル信号の各フレームのフレーム時間遅延を推定し、前記フレーム時間遅延に基づいて、前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行うとともに、前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とが符号化されて多重化されたビットストリームを前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とに分離する分離手段と、分離した前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とを復号する復号手段と、分離した前記フレーム時間遅延に基づいて、前記右チャンネル信号に対して前記時間調整を行う前の時間に復元する時間復元手段と、を具備する構成を採る。
【００３２】
本発明のステレオ音響信号符号化方法は、右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定するステップと、前記フレーム時間遅延に基づいて前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行うステップと、前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とを符号化するステップと、を具備するようにした。
【００３３】
本発明のステレオ音響信号復号方法は、右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定し、前記フレーム時間遅延に基づいて、前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行うとともに、前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とが符号化されて多重化されたビットストリームを前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とに分離するステップと、分離した前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とを復号するステップと、分離した前記フレーム時間遅延に基づいて、前記右チャンネル信号に対して前記時間調整を行う前の時間に復元する時間復元ステップと、を具備するようにした。
【発明の効果】
【００３４】
本発明によれば、ピーク情報のみを利用するので、相互相関を利用する従来の時間推定方法、または時間から周波数への変換を利用する従来の時間推定方法と比較して、処理演算量を極めて少なくすることができる。
【図面の簡単な説明】
【００３５】
【図１】従来の符号化装置の構成を示すブロック図
【図２】従来の復号装置の構成を示すブロック図
【図３】ｅｘｃＬ（ｎ）のパターンがｅｘｃＲ（ｎ）のパターンとは異なる一例を説明する図
【図４】本発明の実施の形態１に係る符号化装置の構成を示すブロック図
【図５】本発明の実施の形態１に係る復号装置の構成を示すブロック図
【図６】本発明の実施の形態１に係るピーク追跡部の構成を示すブロック図
【図７】本発明の実施の形態１に係るピーク追跡部の構成を示すブロック図
【図８】本発明の実施の形態１に係るピーク追跡部の処理の詳細を説明する図
【図９】本発明の実施の形態１に係る無効ピーク破棄部の構成を示すブロック図
【図１０】本発明の実施の形態１に係る無効ピーク破棄部の動作を説明するための図
【図１１】本発明の実施の形態１に係る符号化装置の変形例を示すブロック図
【図１２】本発明の実施の形態１に係る復号装置の構成の変形例を示すブロック図
【図１３】本発明の実施の形態１に係る符号化装置の構成の変形例を示すブロック図
【図１４】本発明の実施の形態１に係る符号化装置の構成の変形例を示すブロック図
【図１５】本発明の実施の形態１に係るピーク追跡部の構成の変形例を示すブロック図
【図１６】本発明の実施の形態１に係るピーク追跡部の構成の変形例を示すブロック図
【図１７】本発明の実施の形態２に係る符号化装置の構成を示すブロック図
【図１８】本発明の実施の形態２に係るピーク追跡部の構成を示すブロック図
【図１９】本発明の実施の形態２に係るピーク追跡部の構成の変形例を示すブロック図
【図２０】本発明の実施の形態３に係る符号化装置の構成を示すブロック図
【図２１】本発明の実施の形態３に係るスイッチの構成を示すブロック図
【図２２】本発明の実施の形態４に係る符号化装置の構成を示すブロック図
【図２３】本発明の実施の形態４に係るスイッチの構成を示すブロック図
【図２４】本発明の実施の形態４に係るスイッチの構成の他の例を示すブロック図
【図２５】本発明の実施の形態５に係る符号化装置の構成を示すブロック図
【図２６】本発明の実施の形態５に係るスイッチの構成を示すブロック図
【図２７】本発明の実施の形態５に係る時間遅延選択部の構成を示すブロック図
【発明を実施するための形態】
【００３６】
本発明は、ピーク追跡（Peak Tracking）方法に関するものである。ピーク追跡は、ステレオ入力信号の波形特性を利用して左チャンネル信号と右チャンネル信号との間の時間遅延を推定する方法である。さらに、ピーク追跡は、相互相関方法またはその他の時間遅延推定方法から導かれる時間遅延の有効性を確認する目的に使用することもできる。
【００３７】
発話音声は、時変励起信号によって時変性の発声機構（time-varying vocal tract system）が励起された結果出力される信号としてモデル化できる。一般に、発声機構を励起する重要な形態は、声帯の振動（声門振動（glottal vibration）と称する）である。声門振動によって生成される励起信号はインパルス列で近似することができる。
【００３８】
単一音源の場合、「発明が解決しようとする課題」において示したように、背景雑音を無視できれば、ステレオ信号の一方のチャンネル（例えば右チャンネル信号Ｒ（ｎ））は、他方のチャンネル（左チャンネル信号Ｌ（ｎ））を遅延および減衰させた信号とみなすことができる。
【００３９】
したがって、右チャンネル信号Ｒ（ｎ）の時変励起信号（第一のインパルス列とする）は、左チャンネル信号Ｌ（ｎ）の時変励起信号（第二のインパルス列とする）が遅延および減衰した信号と考えることができる。
【００４０】
上記の原理に基づき、ピーク追跡方法では、第一のインパルス列と第二のインパルス列における対応するパルスの位置を比較することによって時間遅延を推定する。
【００４１】
しかしながら、複数音源のほとんどの場合、「発明が解決しようとする課題」において示したように、ステレオ信号の一方のチャンネル（例えばＲ（ｎ））を、他方のチャンネル（Ｌ（ｎ））を遅延および減衰させた信号とみなすことはできない。このことを図３を用いて詳細に説明する。
【００４２】
ここで、同時に話す２人の話し手が存在する場合を考える。２つの信号をｓ１（ｎ）およびｓ２（ｎ）と表し、それらの励起信号をｅｘｃ１（ｎ）およびｅｘｃ２（ｎ）と表す。この場合、ステレオ信号は（１０）式のように表すことができる。
【数１０】
2010084756.tif 000062
【００４３】
左チャンネル励起信号ｅｘｃＬ（ｎ）および右チャンネル励起信号ｅｘｃＲ（ｎ）は、第１話者の励起信号ｅｘｃ１（ｎ）および第２話者の励起信号ｅｘｃ２（ｎ）を用いて（１１）式のように表すことができる。
【数１１】
2010084756.tif 000063
【００４４】
一般的に、（１１）式において、ｅｘｃＬ（ｎ）のパターンはｅｘｃＲ（ｎ）のパターンと異なるものになる。励起信号をインパルス列とみなし、インパルスの大きさを無視すると、図３を用いて次のように説明できる。
【００４５】
図３は、ｅｘｃＬ（ｎ）のパターンがｅｘｃＲ（ｎ）のパターンとは異なる一例を示している。各図の内容は次のとおりである。
【００４６】
図３（ａ）は、ｅｘｃ１（ｎ）のパターンを示している。
【００４７】
図３（ｂ）は、ｅｘｃ２（ｎ）のパターンを示している。
【００４８】
図３（ｃ）は、ｅｘｃ１（ｎ−ＤＬ１）とｅｘｃ２（ｎ−ＤＬ２）を混合した信号の様子を示している（説明を分かりやすくするため、ここでは、ｅｘｃ１（ｎ−ＤＬ１）のパルスが立つパルス位置とｅｘｃ２（ｎ−ＤＬ２）のパルスが立つパルス位置は同一であるとする）。
【００４９】
図３（ｄ）は、ｅｘｃ１（ｎ−ＤＲ１）とｅｘｃ２（ｎ−ＤＲ２）を混合した信号の様子を示している。
【００５０】
図３（ｅ）は、最終的に得られる左チャンネル励振信号ｅｘｃＬ（ｎ）の様子を示している（ｅｘｃ１（ｎ−ＤＬ１）のパルスが立つパルス位置とｅｘｃ２（ｎ−ＤＬ２）のパルスが立つパルス位置は同一であるため、ここではｅｘｃ２（ｎ−ＤＬ２）のパルスのみ表記している）。
【００５１】
図３（ｆ）は、最終的に得られる右チャンネル励振信号ｅｘｃＲ（ｎ）の様子を示して
いる。
【００５２】
これらの図から、複数音源の場合においては、ｅｘｃＬ（ｎ）のパターン（図３（ｅ））がｅｘｃＲ（ｎ）のパターン（図３（ｆ））と全く異なったものになり得ることが分かる。このような複数音源環境で入力された２つのチャネルの信号に対して非特許文献２に示されるような従来技術を適用しても、求められる時間遅延は無効であり、復号信号の音質劣化の原因となる。このような場合、本発明で開示するピーク追跡方法は、時間遅延をゼロまたは前のフレームから導かれた時間遅延に設定することにより、無効な時間遅延を破棄する。ピーク追跡方法を用いて無効な時間遅延を破棄することにより、音質劣化を回避することができる。ここで、無効な時間遅延に対してゼロを設定するか前のフレームから導かれる時間遅延を設定するかは、入力信号の特性によって決定することができる。例えば、入力信号のステレオ感が大きく変化していない場合、時間遅延を前のフレームから導かれた時間遅延に設定する。一方、入力信号のステレオ感が大きく変化している場合、時間遅延をゼロに設定する。
【００５３】
複数音源であっても、単一音源とみなしてよい場合もある。例えば、異なる信号源であるにも関わらず左チャンネル信号と右チャンネル信号との間の時間遅延が同じである場合や、複数音源のうち１つの音源のみが優勢である場合などを挙げることができる。このような場合、ピーク追跡は、単一音源シナリオの場合と同じ原理を用いて、時間遅延を推定する。
【００５４】
以下に、本発明における各実施の形態について説明する。当業者は、本発明の範囲から逸脱することなく、本発明を修正および適合化することができる。
【００５５】
（実施の形態１）
図４は、ピーク追跡方式を適用して時間遅延を推定する符号化装置の構成を示すブロック図である。また、図５は、ピーク追跡方式を適用して時間遅延を推定する復号装置の構成を示すブロック図である。
【００５６】
図４に示した符号化処理においては、ピーク追跡部４０１は、ステレオ信号の左チャンネル信号Ｌ（ｎ）と右チャンネル信号Ｒ（ｎ）の間の時間遅延に対応する時間遅延Ｄを、ピーク追跡方式を使用して推定する。
【００５７】
時間遅延符号化部４０５は、時間遅延Ｄを符号化し、多重化部４０６は、符号化パラメータを多重化してビットストリームを形成する。
【００５８】
時間調整部４０２は、右チャンネル信号Ｒ（ｎ）を時間遅延Ｄに従って調整する。時間的に調整された右チャンネル信号をＲａ（ｎ）と表す。
【００５９】
時間的に調整された信号に対して、（１２）式に従ってダウンミックスを行う。
【数１２】
2010084756.tif 000064
【００６０】
（１２）式から、時間的に調整された信号を、次の（１３）式に従って生成することができる。
【数１３】
2010084756.tif 000065
【００６１】
時間的に調整された信号を、（１４）式に従ってダウンミックスすることも可能である。
【数１４】
2010084756.tif 000066
【００６２】
（１４）式から、時間的に調整された信号を、（１５）式に従って生成することができる。
【数１５】
2010084756.tif 000067
【００６３】
モノラル符号化部４０３は、モノラル信号Ｍ（ｎ）を符号化し、副信号符号化部４０４は、副信号Ｓ（ｎ）を符号化する。多重化部４０６は、モノラル符号化部４０３および副信号符号化部４０４の両方から入力した符号化パラメータを多重化してビットストリームを形成する。
【００６４】
図５に示した復号処理においては、分離部５０１は、ビットストリームから、すべての符号化パラメータおよび量子化パラメータを分離する。モノラル復号部５０２は、モノラル信号の符号化パラメータを復号して復号モノラル信号を得る。副信号復号部５０３は、副信号の符号化パラメータを復号して復号副信号を得る。時間遅延復号部５０４は、符号化された時間遅延を復号してＤを得る。
【００６５】
復号されたモノラル信号および副信号を使用し、（１６）式に従って、ステレオ信号を生成する。
【数１６】
2010084756.tif 000068
【００６６】
また、次の（１７）式に従ってダウンミックスを行う場合には（１８）式にしたがってアップミックスを行う。
【数１７】
2010084756.tif 000069
【数１８】
2010084756.tif 000070
時間復元部５０５は、復号された時間遅延Ｄによって時間復元部５０５の入力信号の位相を逆方向に調整することによって、時間復元部５０５の出力信号を生成する。
【００６７】
図６は、ピーク追跡部４０１の構成を示すブロック図であり、ピーク追跡方法の原理を示している。フレーム分割部６０１は、フレーム毎に入力される左チャンネル信号Ｌ（ｎ）および右チャンネル信号Ｒ（ｎ）の入力フレームを複数のサブフレームに分割する。ここでサブフレームの数をＮとする。
【００６８】
ピーク追跡部６０２、６０３、６０４は、各サブフレームに対してピーク追跡を適用し、サブフレーム時間遅延（Ｄ０〜ＤＮ−１）を得る。フレーム遅延推定部６０５は、これらのサブフレーム時間遅延（Ｄ０〜ＤＮ−１）を使用して、フレーム時間遅延Ｄを推定する。
【００６９】
フレーム時間遅延を推定する方法の１つは、次のようにサブフレームにおける時間遅延の平均を計算することである。
【数１９】
2010084756.tif 000071
【００７０】
別の方法としては、フレーム時間遅延を、出現回数が最大のサブフレーム時間遅延に等しいものとする方法が挙げられる。例えば、サブフレーム時間遅延（Ｄ０〜ＤＮ−１）のうち、１つの時間遅延のみが２であり、残りの時間遅延すべてが０である場合には、フレーム時間遅延として０を選択する（Ｄ＝０）。なお、次式で示すように、ＤをＤｉの中央値としても良い。
【数２０】
2010084756.tif 000072
【００７１】
なお、フレーム時間遅延推定方法は、上記の２つの例に限定されない。
【００７２】
次いで、時間遅延有効性確認部６０６は、フレーム時間遅延Ｄの有効性を確認する。
【００７３】
時間遅延有効性確認部６０６は、時間遅延Ｄと各サブフレーム時間遅延とを比較し、その差が所定の範囲を超えるサブフレーム数をカウントする。時間遅延有効性確認部６０６は、所定の範囲を超えるサブフレーム数が、しきい値Ｍを超える場合、時間遅延Ｄを無効とみなす。ここで、しきい値Ｍは所定の値、または信号特性に従って適応的に算出される値として定義される。時間遅延有効性確認部６０６は、時間遅延が有効である場合、現在のフレームで算出された時間遅延を出力する。一方、時間遅延有効性確認部６０６は、時間遅延が有効ではない場合（無効の場合）、前のフレームの時間遅延を出力する。なお、
時間遅延が無効の場合、現在のフレームで算出された時間遅延の代わりに、ゼロ値（この場合、左チャンネル信号Ｌ（ｎ）と右チャンネル信号Ｒ（ｎ）の位相差は無いとみなされる）、または過去数フレームの時間遅延の平均値などを用いても良い。また、これらの値をフレーム毎に切替えて出力しても良い。
【００７４】
図７は、ピーク追跡部６０２、６０３、６０４の構成を示すブロック図であり、各サブフレームに適用されるピーク追跡の詳しいステップを示している。例としてサブフレームｉの場合を説明する。
【００７５】
サブフレームｉの入力信号Ｌｉ（ｎ）は、Ｌ（ｎ）のｉ番目のサブフレームの入力信号であり、サブフレームｉの入力信号Ｒｉ（ｎ）は、Ｒ（ｎ）のｉ番目のサブフレームの入力信号である。また、出力信号Ｄｉは、ｉ番目のサブフレームのサブフレーム時間遅延である。
【００７６】
ピーク分析部７０１は、サブフレームの入力Ｌｉ（ｎ）およびＲｉ（ｎ）のピークの位置を求める。無効ピーク破棄部７０２は、そのピークが有効であるかを示すインジケータＦｉを出力する。ピークが有効である場合、ピーク位置比較部７０３は、２つのチャンネルのピークの位置を比較し、サブフレーム時間遅延Ｄｉを出力する。
【００７７】
図８は、ピーク分析部７０１の処理の詳細を説明する図である。
【００７８】
まず、ピーク追跡部６０２、６０３、６０４は、処理の前に、Ｌ（ｎ）およびＲ（ｎ）の絶対値を算出する。
【００７９】
また、ピーク追跡部６０２、６０３、６０４は、絶対値｜Ｌ（ｎ）｜および｜Ｒ（ｎ）｜を、Ｎ個のサブフレームに分割する。図８には、例として３個のサブフレームを示してある。ピーク追跡部６０２、６０３、６０４は、各サブフレームにおいて、最大値の位置を見つける（ＰＬ（０）〜ＰＬ（Ｎ−１）、ＰＲ（０）〜ＰＲ（Ｎ−１））。次いで、ピーク追跡部６０２、６０３、６０４は、ピーク値の位置の差によって、サブフレーム時間遅延（Ｄ０〜ＤＮ−１）を推定する。サブフレームｉを例にとると、次のように時間遅延Ｄｉを推定する。
【数２１】
2010084756.tif 000073
【００８０】
図９は、無効ピーク破棄部７０２の構成を示すブロック図である。
【００８１】
いくつかのサブフレームにおいて励起インパルスが存在しないことがあり、その場合、そのサブフレームで特定されるピークは励起インパルスに対応していない。この場合においては、サブフレームから導かれる時間遅延は適切な時間遅延ではない。
【００８２】
無効ピーク破棄部７０２は、このような時間遅延がフレーム時間遅延推定において使用されないようにする。
【００８３】
サブフレームにおけるピークが励起インパルスに対応しているか否かを確認する方法の１つは、ピークの値を所定のしきい値と比較することである。このしきい値は、前のフレームからのピーク値、または同じフレーム内の別のサブフレームにおけるピーク値から決定することができる。
【００８４】
図９において、ピーク値抽出部９０１は、サブフレームの入力Ｌｉ（ｎ）およびＲｉ（
ｎ）と、ピーク位置ＰＬ（ｉ）およびＰＲ（ｉ）とを使用して、ピーク値｜Ｌ（ＰＬ（ｉ））｜および｜Ｒ（ＰＲ（ｉ））｜を得る。次に、しきい値比較部９０２は、これらの２つのピーク値を所定のしきい値と比較する。ピーク値がしきい値より大きい場合、しきい値比較部９０２から出力される出力フラグＦｉはＦｉ＝１（ピークが有効であることを示す）となる。ピーク値がしきい値より小さい場合、しきい値比較部９０２から出力される出力フラグＦｉはＦｉ＝０（ピークが無効であることを示す）となり、この場合、サブフレーム時間遅延Ｄｉをフレーム時間遅延推定において使用しない。
【００８５】
図１０は、無効ピーク破棄部７０２の動作を説明するための図である。
【００８６】
この図においては、２番目のサブフレームに励起インパルスが存在しないため、２番目のサブフレーム（サブフレームインデックスは１）におけるピーク値は、他のサブフレームにおけるピーク値と比較して非常に小さい。したがって、無効ピーク破棄部７０２により、２番目のサブフレームのサブフレーム時間遅延を破棄する。
【００８７】
本実施の形態によれば、ステレオ入力信号フレームを複数のサブフレームに分割し、各サブフレームにおいてピークの位置を求める。また、ピークの位置を比較して、推定されるサブフレーム時間遅延を求める。さらに、複数のサブフレーム時間遅延を使用して、最終的な推定時間遅延を求める。このようなピーク追跡は、入力信号の波形特性を利用する信号依存の方法であり、有効かつ正確な時間遅延推定方法である。従って、本実施の形態によれば、ピーク追跡はピーク情報のみを利用するので、相互相関を利用する従来の時間推定方法、または時間から周波数への変換を利用する従来の時間推定方法に比べて、処理演算量を極めて少なくすることができる。
【００８８】
また、本実施の形態によれば、無効なピークを破棄する処理を追加する。無効なピークの破棄とは、サブフレームにおいて求められるピークが必ず励起インパルスに対応するように、ピークの値を所定のしきい値と比較することにより行われる。所定のしきい値と比べてピークの値が小さいときに、そのピークは破棄される。従って、無効なピークを破棄することにより、励起インパルスに対応するピークのみがフレーム時間遅延推定において使用される。これにより、より正確な時間遅延を求めることができる。
【００８９】
なお、本実施の形態において、右チャンネル信号を時間調整したが、本実施の形態はこれに限らず、左チャンネル信号を時間調整しても良い。また、本実施の形態における変形例として、以下のバリエーション１〜バリエーション６が考えられる。
【００９０】
（バリエーション１）
時間遅延は、時間遅延の符号に応じて、左チャンネル信号または右チャンネル信号のどちらに対しても調整することができる。
【００９１】
図１１は、本実施の形態の符号化装置の構成の変形例１を示すブロック図であり、図１２は、本実施の形態の復号装置の構成の変形例１を示すブロック図である。このコーデックは、本実施の形態において提案する符号化装置（図４）および復号装置（図５）とは別の構成を有している。
【００９２】
図１１に示した符号化装置においては、時間調整部１１０３は、ピーク追跡部１１０１により算出される時間遅延が正、すなわち、右チャンネル信号Ｒ（ｎ）が左チャンネル信号Ｌ（ｎ）より遅れている場合、右チャンネル信号Ｒ（ｎ）の位相を調整する。時間調整部１１０２は、ピーク追跡部１１０１により算出される時間遅延が負、すなわち左チャンネル信号Ｌ（ｎ）が右チャンネル信号Ｒ（ｎ）より遅れている場合、Ｌ（ｎ）の位相を調整する。なお、時間調整部１１０３は、時間調整部４０２と同様の処理を行うので、その
説明を省略する。また、モノラル符号化部１１０４は、モノラル符号化部４０３と同様の処理を行うので、その説明を省略する。また、副信号符号化部１１０５は、副信号符号化部４０４と同様の処理を行うので、その説明を省略する。また、時間遅延符号化部１１０６は、時間遅延符号化部４０５と同様の処理を行うので、その説明を省略する。また、多重化部１１０７は、多重化部４０６と同様の処理を行うので、その説明を省略する。
【００９３】
図１２に示した復号装置においては、時間復元部１２０６は、復号された時間遅延が正である場合、右チャンネル信号Ｒ（ｎ）の位相を逆方向に調整する。時間復元部１２０５は、復号された時間遅延が負である場合、左チャンネル信号Ｌ（ｎ）の位相を逆方向に調整する。なお、分離部１２０１は、分離部５０１と同様の処理を行うので、その説明を省略する。また、モノラル復号部１２０２は、モノラル復号部５０２と同様の処理を行うので、その説明を省略する。また、副信号復号部１２０３は、副信号復号部５０３と同様の処理を行うので、その説明を省略する。また、時間遅延復号部１２０４は、時間遅延復号部５０４と同様の処理を行うので、その説明を省略する。
【００９４】
本バリエーションによる効果は以下の通りである。まず、ステレオ信号は次のように表すことができる。
【数２２】
2010084756.tif 000074
【００９５】
ここで、ＤＬとＤＲの関係には、「ＤＬ＞ＤＲ」と「ＤＬ＝ＤＲ」と「ＤＬ＜ＤＲ」の３つの場合がある。
【００９６】
ＤＬ＝ＤＲである場合、２つのチャンネル信号の間の時間遅延は０である。
【００９７】
ＤＬ＞ＤＲである場合、左チャンネル信号Ｌ（ｎ）が右チャンネル信号Ｒ（ｎ）より遅れているため、左チャンネル信号Ｌ（ｎ）を調整する。
【００９８】
ＤＬ＜ＤＲである場合、右チャンネル信号Ｒ（ｎ）が左チャンネル信号Ｌ（ｎ）より遅れているため、右チャンネル信号Ｒ（ｎ）を調整する。
【００９９】
したがって、本バリエーションを適用することによって、入力信号の時間遅延に従って柔軟に右チャンネル信号および左チャンネル信号の時間遅延を調整することができる。
【０１００】
（バリエーション２）
ピーク追跡部にて時間遅延Ｄを算出する前に、左チャンネル信号Ｌ（ｎ）および右チャンネル信号Ｒ（ｎ）に対して線形予測処理を行う。
【０１０１】
図１３は、本実施の形態の符号化装置の構成の変形例２を示すブロック図である。
【０１０２】
図１３に示した符号化装置においては、線形予測（ＬＰ）分析部１３０１、１３０４は、左チャンネル信号Ｌ（ｎ）および右チャンネル信号Ｒ（ｎ）の各々に対して線形予測処理を行う。ピーク追跡部１３０５は、線形予測（ＬＰ）逆フィルタ部１３０２、１３０３より求められる残差信号ｒｅｓＬ（ｎ）およびｒｅｓＲ（ｎ）を使用して時間遅延を推定する。
【０１０３】
なお、ピーク追跡部１３０５は、ピーク追跡部４０１と同様の処理を行うので、その説明を省略する。また、時間調整部１３０６は、時間調整部４０２と同様の処理を行うので、その説明を省略する。また、モノラル符号化部１３０７は、モノラル符号化部４０３と同様の処理を行うので、その説明を省略する。また、副信号符号化部１３０８は、副信号符号化部４０４と同様の処理を行うので、その説明を省略する。また、時間遅延符号化部１３０９は、時間遅延符号化部４０５と同様の処理を行うので、その説明を省略する。また、多重化部１３１０は、多重化部４０６と同様の処理を行うので、その説明を省略する。また、復号装置については、図５に記載の復号装置と同じであるので、その説明を省略する。
【０１０４】
この構成により、線形予測係数（ＬＰ係数）を使用して、入力信号から線形予測残差を導き、線形予測によって、信号のサンプル間の相関が除去され、大きな励起の瞬間付近における大きな振幅変動を得られる。したがって、線形予測残差によってピークの位置を良好に検出することができる。
【０１０５】
（バリエーション３）
ピーク追跡部から時間遅延を推定する前に、左チャンネル信号Ｌ（ｎ）および右チャンネル信号Ｒ（ｎ）を低域通過フィルタによって処理する。
【０１０６】
図１４は、本実施の形態の符号化装置の構成の変形例３を示すブロック図である。
【０１０７】
図１４に示した符号化装置においては、左チャンネル信号Ｌ（ｎ）および右チャンネル信号Ｒ（ｎ）を低域通過フィルタ１４０１、１４０２に通して処理する。ピーク追跡部１４０３は、左チャンネル信号の低域通過フィルタ１４０１の出力信号ＬＬＦ（ｎ）および右チャンネル信号の低域通過フィルタ１４０２の出力信号ＲＬＦ（ｎ）を使用して時間遅延を推定する。
【０１０８】
なお、ピーク追跡部１４０３は、ピーク追跡部４０１と同様の処理を行うので、その説明を省略する。また、時間調整部１４０４は、時間調整部４０２と同様の処理を行うので、その説明を省略する。また、モノラル符号化部１４０５は、モノラル符号化部４０３と同様の処理を行うので、その説明を省略する。また、副信号符号化部１４０６は、副信号符号化部４０４と同様の処理を行うので、その説明を省略する。また、時間遅延符号化部１４０７は、時間遅延符号化部４０５と同様の処理を行うので、その説明を省略する。また、多重化部１４０８は、多重化部４０６と同様の処理を行うので、その説明を省略する。また、復号装置については、図５に記載の復号装置と同じであるので、その説明を省略する。
【０１０９】
この構成により、低周波信号においてはピークの位置を良好に検出することができる。
【０１１０】
（バリエーション４）
サブフレームの数をフレームごとに可変にする。サブフレームの数は、モノラル符号化
部から得られるピッチ周期に応じて決定する。
【０１１１】
図１５は、本実施の形態のピーク追跡部の構成の変形例１を示すブロック図である。
【０１１２】
図１５に示した符号化装置においては、適応フレーム分割部１５０１は、左チャンネル信号Ｌ（ｎ） および右チャンネル信号Ｒ（ｎ）を、可変数のサブフレームに分割する。サブフレームの数は、モノラル符号化部からの前フレームのピッチ周期によって決定する。なお、ピーク追跡部１５０２、１５０３は、ピーク追跡部６０２、６０３、６０４と同様の処理を行うので、その説明を省略する。また、フレーム遅延推定部１５０４は、フレーム遅延推定部６０５と同様の処理を行うので、その説明を省略する。また、時間遅延有効性確認部１５０５は、時間遅延有効性確認部６０６と同様の処理を行うので、その説明を省略する。
【０１１３】
従って、モノラル符号器から得られるピッチ周期を利用することによって、ピッチ周期に同期したサブフレームからピッチの位置をより正確に検出することができるため、時間遅延を良好に推定することができる。
【０１１４】
（バリエーション５）
サブフレームの境界をフレームごとに可変にする。サブフレームの境界は、モノラル符号化装置から得られるピッチ周期に応じて定義する。
【０１１５】
図１６は、本実施の形態のピーク追跡部の構成の変形例２を示すブロック図である。
【０１１６】
図１６に示したピーク追跡部においては、適応フレーム分割部１６０１は、左チャンネル信号Ｌ（ｎ）および右チャンネル信号Ｒ（ｎ）を、複数のサブフレームに分割する。サブフレームの数は、モノラル符号化部からの前フレームのピッチ周期によって決定する。なお、ピーク追跡部１６０２、１６０３、１６０４は、ピーク追跡部６０２、６０３、６０４と同様の処理を行うので、その説明を省略する。また、フレーム遅延推定部１６０５は、フレーム遅延推定部６０５と同様の処理を行うので、その説明を省略する。また、時間遅延有効性確認部１６０６は、時間遅延有効性確認部６０６と同様の処理を行うので、その説明を省略する。
【０１１７】
これより、モノラル符号化器から得られるピッチ周期を利用することによって、ピッチ周期に同期したサブフレームからピッチの位置をより正確に検出することができるため、時間遅延を良好に推定することができる。
【０１１８】
（バリエーション６）
複数のサブフレーム長を定義し、サブフレーム長の設定それぞれにおいてピーク追跡を並列に実行する。各サブフレーム長においてピーク追跡から得られるすべての時間遅延Ｄによって、時間遅延Ｄを決定する。
【０１１９】
これより、複数のサブフレーム長を利用することによって、時間遅延をより良好に推定することができる。
【０１２０】
（実施の形態２）
ピーク追跡方法は、別の時間遅延推定方法（例えば、相互相関方法）から導かれる時間遅延の有効性を確認する目的にも使用することができる。
【０１２１】
図１７は、本発明の実施の形態２に係る符号化装置の構成を示すブロック図であり、この符号化装置は、図４に示した実施の形態１の符号化装置と大部分が同じである。図１７
において、時間遅延推定部１７０１は、ピーク追跡方式を適用して時間遅延を推定する符号化方式以外の符号化方式により時間遅延を推定する。また、ピーク追跡部１７０２は、時間遅延推定部１７０１において算出された時間遅延の有効性を確認する。
【０１２２】
図１８は、時間遅延推定部１７０１で算出された時間遅延の有効性の確認にピーク追跡部１７０２を適用した際のピーク追跡部１７０２の構成を示すブロック図である。
【０１２３】
はじめに、フレーム分割部１８０１は、左チャンネル信号Ｌ（ｎ）および右チャンネル信号Ｒ（ｎ）の入力フレームを複数のサブフレームに分割する。サブフレームの数をＮと表す。
【０１２４】
次に、ピーク追跡部１８０２、１８０３、１８０４は、Ｎ個のサブフレームのサブフレーム時間遅延（Ｄ０〜ＤＮ−１）を得る。時間遅延有効性確認部１８０５は、これらのサブフレーム時間遅延（Ｄ０〜ＤＮ−１）を使用して、時間遅延推定部１７０１で算出されたフレーム時間遅延Ｄの有効性を確認する。なお、時間調整部１７０３は、時間調整部４０２と同様の処理を行うので、その説明を省略する。また、モノラル符号化部１７０４は、モノラル符号化部４０３と同様の処理を行うので、その説明を省略する。また、副信号符号化部１７０５は、副信号符号化部４０４と同様の処理を行うので、その説明を省略する。また、時間遅延符号化部１７０６は、時間遅延符号化部４０５と同様の処理を行うので、その説明を省略する。また、多重化部１７０７は、多重化部４０６と同様の処理を行うので、その説明を省略する。
【０１２５】
時間遅延有効性確認部１８０５は、時間遅延推定部１７０１で算出された時間遅延Ｄと各サブフレーム時間遅延（Ｄ０〜ＤＮ−１）とを比較し、その差が所定の範囲を超えるサブフレーム数をカウントする。所定の範囲を超えるサブフレーム数が、しきい値Ｍを超える場合、時間遅延有効性確認部１８０５は、時間遅延推定部１７０１で算出された時間遅延Ｄを無効とみなす。ここで、しきい値Ｍは所定の値、または信号特性に従って適応的に算出される値として定義される。
【０１２６】
時間遅延Ｄが無効と判断された場合、時間遅延有効性確認部１８０５は、前のフレームの時間遅延を出力する。一方、時間遅延有効性確認部１８０５は、時間遅延Ｄが有効と判断された場合、時間遅延推定部１７０１で算出された時間遅延Ｄを出力する。なお、時間遅延が無効と判断された場合、現在のフレームで算出された時間遅延の代わりに、ゼロ値（この場合、左チャンネル信号Ｌ（ｎ）と右チャンネル信号Ｒ（ｎ）の位相差は無いとみなされる）、または過去数フレームの時間遅延の平均値などを用いても良い。また、これらの値をフレーム毎に切替えて出力しても良い。
【０１２７】
＜実施の形態２の変形例＞
本実施の形態の変形例では、Ｌ（ｎ）およびＲ（ｎ）を、複数のサブフレームに分割する前に、導かれた時間遅延Ｄに従って調整する。
【０１２８】
図１９は、本実施の形態のピーク追跡部の構成の変形例を示すブロック図である。
【０１２９】
図１９において、調整部１９０１は、入力信号Ｌ（ｎ）およびＲ（ｎ）を、導かれた時間遅延Ｄに従って調整する（図１９において、一例としてＲ（ｎ）を調整する）。フレーム分割部１９０２は、調整された信号Ｌ（ｎ）およびＲａ（ｎ）を複数のサブフレームに分割する。ここで、サブフレームの数をＮと表す。
【０１３０】
ピーク追跡部１９０３、１９０４、１９０５は、ピーク追跡を適用し、サブフレーム時間遅延（Ｄ０〜ＤＮ−１）を得る。時間遅延有効性確認部１９０６は、これらのサブフレ
ーム時間遅延（Ｄ０〜ＤＮ−１）を使用して、フレーム時間遅延Ｄの有効性を確認する。時間遅延有効性確認部１９０６は、所定の値を超えるサブフレーム時間遅延の数がＭ（Ｍは、所定の値、または信号特性に従って適応的に導くことができる）より大きい場合、Ｄは無効であると判定し、この場合には前のフレームの時間遅延を出力する。また、時間遅延有効性確認部１９０６は、所定の値を超えるサブフレーム時間遅延の数がＭ以下の場合、Ｄを有効とみなし、現在のフレームからのＤを出力する。
【０１３１】
本実施の形態によれば、ステレオ入力信号フレームを複数のサブフレームに分割し、各サブフレームにおいてピークの位置を求める。ピークの位置を比較して、推定されるサブフレーム時間遅延を求める。複数のサブフレーム時間遅延を使用して別の時間遅延推定方法にて算出された時間遅延の有効性を確認する。有効であると確認されればそのまま使用し、有効で無いと判断された場合にはその時間遅延を破棄する。従って、本実施の形態によれば、上記の実施の形態１の効果に加えて、複数音源環境において、入力信号のステレオ感を歪ませることなく、単一音源環境用の別の時間遅延推定方法の有効性を維持することができる。また、本実施の形態によれば、ピーク追跡方法を別の時間遅延推定方法と組み合わせることによって、ステレオ入力間の時間遅延をより正確に導くことができる。また、この時、ピーク追跡によって元の方法の処理演算量が大幅に増加することはない。また、入力信号Ｌ（ｎ）およびＲ（ｎ）を、導かれた時間遅延Ｄに従って調整する場合には、対応するピーク（例えば、Ｌ（ｎ）におけるＰＬ（１）、Ｒ（ｎ）におけるＰＲ（１））が２つの異なるサブフレームに分割されることを回避することができる。また、入力信号Ｌ（ｎ）およびＲ（ｎ）を、導かれた時間遅延Ｄに従って調整する場合には、時間遅延を考慮する必要がないため、フレーム分割部の実装が極めて容易である。
【０１３２】
（実施の形態３）
本実施の形態では、２つの異なる時間遅延を導く。一方の時間遅延は、時間遅延を瞬時的に追跡するピーク追跡方法によって導く。他方の時間遅延は、より安定的に時間遅延を追跡する別の時間遅延推定方法（例えば、非特許文献３に紹介されている低域通過相互相関方法（low-passed cross correlation method））によって導く。ピーク追跡方法とそれ以外の方法との間で、最終的な時間遅延を選択する。
【０１３３】
図２０は、本実施の形態の符号化装置の構成を示すブロック図である。図２０に示した符号化装置は、図４に示した実施の形態１の符号化装置と大部分が同じである。なお、図２０において、図４と同一構成の部分については同一符号を付して、その説明を省略する。ピーク追跡部２００２は、ピーク追跡方法によって時間遅延Ｄ’を推定し、別の時間遅延推定部２００１は、別の時間遅延推定方法によって時間遅延Ｄ’’を導く。スイッチ２００３は、Ｄ’とＤ’’のうちの良好な方の時間遅延を選択して出力する。
【０１３４】
図２１は、スイッチ２００３の構成を示すブロック図である。遅延有効性確認部２１０１は、図６の時間遅延有効性確認部６０６において適用した時間遅延有効性確認方法と同様の方法によって時間遅延Ｄ’を確認する。そして、遅延有効性確認部２１０１は、時間遅延Ｄ’が有効である場合、最終時間遅延Ｄとして時間遅延Ｄ’を出力する。また、遅延有効性確認部２１０１は、時間遅延Ｄ’が無効である場合、最終時間遅延ＤとしてＤ’’を出力する。
【０１３５】
本実施の形態によれば、入力時間遅延を瞬時的に追跡するピーク追跡方法と、入力時間遅延を安定的に追跡する別の時間遅延推定方法との間で時間遅延を選択することによって、高速かつ安定的な時間遅延推定を達成することができる。
【０１３６】
（実施の形態４）
本実施の形態では、ピーク追跡方法ではない２つの時間遅延推定方法を使用して、２つ
の異なる時間遅延を導く。一方の方法は入力時間遅延を瞬時的に追跡できるのに対し、他方の方法は入力時間遅延を安定的に追跡する。また、スイッチモジュールにおける有効性確認方法としてピーク追跡を使用する。
【０１３７】
図２２は、本実施の形態の符号化装置を示すブロック図である。本実施の形態の符号化装置は、図２０の符号化装置と大部分が同じである。なお、図２２において、図４及び図２０と同一構成である部分については同一番号を付して、その説明を省略する。時間遅延推定部２２０２は、ピーク追跡方法ではなく別の時間遅延推定方法によって時間遅延Ｄ’を推定する。
【０１３８】
この符号化装置においては、時間遅延推定部２２０２は、時間遅延を瞬時的に追跡できる方法である。１つの例は、単一フレーム相互相関方法である。相互相関係数は、現在のフレームのみにおいて導く。最大の相互相関係数を見つけて、対応する時間遅延を得る。
【０１３９】
時間遅延推定部２２０１は、時間遅延をゆっくりではあるが安定的に更新する方法である。１つの例は、非特許文献３に紹介されている低域通過相互相関方法であり、相互相関係数を現在のフレームおよび過去のフレームに基づいて計算する。低域通過相互相関方法では、最大の相互相関係数を見つけて、対応する時間遅延を得る。したがって、導かれる時間遅延は、入力時間遅延を極めて安定的に追跡する。スイッチ２２０３は、Ｄ’とＤ’’のうちの良好な方の時間遅延を選択して出力する。
【０１４０】
図２３は、スイッチ２２０３の構成を示すブロック図である。ピーク追跡部２３０１は、ピーク追跡方法（実施の形態２における図１８または図１９の場合と同じである）によって時間遅延Ｄ’を確認する。ピーク追跡部２３０１は、時間遅延Ｄ’が有効である場合、最終時間遅延ＤとしてＤ’を出力する。また、ピーク追跡部２３０１は、時間遅延Ｄ’が無効である場合、最終時間遅延ＤとしてＤ’’を出力する。
【０１４１】
図２４は、本実施の形態のスイッチの構成の他の例を示すブロック図である。ピーク追跡部２４０１は、時間遅延Ｄ’および時間遅延Ｄ’’の両方をピーク追跡方法（実施の形態２における図１８または図１９の場合と同じである）によって確認する。ピーク追跡部２４０１は、２つの時間遅延の一方が有効である場合、その有効な時間遅延を最終時間遅延Ｄとして出力する。また、ピーク追跡部２４０１は、２つの時間遅延の両方が有効である場合、ピーク追跡方法により適合する方の時間遅延を最終時間遅延として出力する。また、ピーク追跡部２４０１は、２つの時間遅延のいずれも有効ではない場合、前のフレームの時間遅延を最終時間遅延として出力する。
【０１４２】
本実施の形態によれば、入力時間遅延を瞬時的に追跡する１つの時間遅延推定方法と、入力時間遅延を安定的に追跡する別の時間遅延推定方法との間で時間遅延を選択することによって、高速かつ安定的な時間遅延推定を達成することができる。
【０１４３】
（実施の形態５）
本実施の形態では、複数の異なる方法によって複数の時間遅延を導く。また、本実施の形態では、スイッチモジュールにおける有効性確認方法としてピーク追跡を使用し、時間遅延候補のうち最良の時間遅延を選択する。
【０１４４】
図２５は、本実施の形態の符号化装置の構成を示すブロック図である。この符号化装置は、図２２に示した実施の形態４の符号化装置と大部分が同じである。なお、図２５において、図４、図２０及び図２２と同一構成である部分には同一番号を付して、その説明を省略する。各時間遅延推定部２５０１、２５０２、２５０３は、複数の各々異なる方法からＫ（Ｋ＞＝２）個の時間遅延を導く。導いた時間遅延は、その符号に応じて左信号また
は右信号の調整に用いることができる。
【０１４５】
この符号化装置においては、時間遅延推定部２５０１、２５０２、２５０３は、推定特性が異なるものであることが推奨される。
【０１４６】
時間遅延推定部２５０１は、時間遅延を最も瞬時的に追跡できる方法により時間遅延を得る。時間遅延を最も瞬時的に追跡できる方法の１つの例は、単一フレーム相互相関方法である。単一フレーム相互相関方法は、相互相関係数を現在のフレームのみにおいて導く。そして、単一フレーム相互相関方法は、最大の相互相関係数を見つけて、対応する時間遅延を得る。
【０１４７】
時間遅延推定部２５０３は、時間遅延をゆっくりではあるが安定的に更新する方法により時間遅延を得る。時間遅延をゆっくりではあるが安定的に更新する方法の１つの例は、非特許文献３に紹介されている低域通過相互相関方法である。低域通過相互相関方法は、相互相関係数を現在のフレームおよび過去のフレームに基づいて計算する。そして、低域通過相互相関方法は、最大の相互相関係数を見つけて、対応する時間遅延を得る。したがって、導かれる時間遅延は、入力時間遅延を極めて安定的に追跡する。スイッチ２５０４は、時間遅延候補Ｄ１〜ＤＫのうちの最良の時間遅延を選択して出力する。調整部２５０５は、スイッチ２５０４により選択した時間遅延を用いて、その符号に応じて左信号または右信号の調整を行う。例えば、調整部２５０５は、時間遅延が正である場合は左信号を調整し、時間遅延が負である場合は右信号を調整する。
【０１４８】
図２６は、スイッチ２５０４の構成を示すブロック図である。例として時間遅延Ｄｋを用いる。調整部２６０１は、入力信号Ｌ（ｎ）およびＲ（ｎ）を、導かれた時間遅延Ｄｋに従って調整する。フレーム分割部２６０２は、調整された信号Ｌｋａ（ｎ）およびＲｋａ（ｎ）を複数のサブフレームに分割する。サブフレームの数をＮと表す。
【０１４９】
各サブフレームに、ピーク追跡（ピーク分析部２６０３、２６０６、２６０９、無効ピーク破棄部２６０４、２６０８、２６１１、およびピーク位置比較部２６０５、２６０７、２６１０を用いる）を適用し、サブフレームピーク差｜ＰＬｋ（０）−ＰＲｋ（０）｜〜｜ＰＬｋ（Ｎ−１）−ＰＲｋ（Ｎ−１）｜を得る。加算部２６１２は、これらのサブフレームピーク差を合計する。
【０１５０】
図２７は、時間遅延選択部２７０１の構成を示すブロック図である。
【０１５１】
時間遅延選択部２７０１は、時間遅延Ｄ１〜時間遅延ＤＫのサブフレームピーク差の合計を入力し、（２３）式に従って時間遅延を選択することができる。
【数２３】
2010084756.tif 000075
【０１５２】
なお、基準は上記のみに限定されず、別の基準も可能である。
【０１５３】
本実施の形態によれば、複数の時間遅延推定方法の間で最良の時間遅延候補を選択することによって、時間遅延を良好に推定することができる。
【０１５４】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本発明は、ステレオ音響信号符号化装置またはステレオ音響信号復号装置を有するシステムであればどのような場合にも適用することができる。
【０１５５】
また、本発明に係るステレオ音響信号符号化装置およびステレオ音響信号復号装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能である。これにより、上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
【０１５６】
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶し、情報処理手段によってプログラムを実行させることにより、本発明に係るステレオ音響信号符号化装置等と同様の機能を実現することができる。
【０１５７】
また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。
【０１５８】
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
【０１５９】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１６０】
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
【０１６１】
２００９年１月２２日出願の特願２００９−１２４０７の日本出願、及び２００９年２月２０日出願の特願２００９−３８６４６の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【０１６２】
本発明にかかるステレオ音響信号符号化装置、ステレオ音響信号復号装置およびそれらの方法は、特にステレオ音響信号を蓄積および送信するのに好適である。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定するピーク追跡手段と、
前記フレーム時間遅延に基づいて前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行う時間調整手段と、
前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とを符号化する符号化手段と、
を具備するステレオ音響信号符号化装置。
【請求項２】
前記ピーク追跡手段は、前記サブフレームのサブフレーム時間遅延を求めるとともに、各フレームにおいて、前記フレーム時間遅延と前記サブフレーム時間遅延との差が所定の値以上である前記サブフレームの数がしきい値以上の場合に、推定した前記フレーム時間遅延を無効にする請求項１記載のステレオ音響信号符号化装置。
【請求項３】
前記ピーク追跡手段は、前記ピークの値がしきい値より小さい前記サブフレームの前記ピークを除いて前記フレーム時間遅延を推定する請求項１記載のステレオ音響信号符号化装置。
【請求項４】
前記ピーク追跡手段において推定した前記フレーム時間遅延とは異なる手法により前記フレームの時間遅延を推定する時間遅延推定手段をさらに具備し、
前記ピーク追跡手段は、前記サブフレームのサブフレーム時間遅延を求めるとともに、各フレームにおいて、前記時間遅延推定手段において推定した時間遅延と前記サブフレーム時間遅延との差が所定の値以上である前記サブフレームの数がしきい値未満の場合に、前記フレーム時間遅延の代わりに前記時間遅延推定手段において推定した時間遅延を出力する請求項１記載のステレオ音響信号符号化装置。
【請求項５】
前記時間調整手段は、前記フレーム時間遅延に基づいて、前記右チャンネル信号と前記左チャンネル信号の双方の時間調整を行い、
前記符号化手段は、時間調整した前記左チャンネル信号及び前記右チャンネル信号と、前記フレーム時間遅延とを符号化する請求項１記載のステレオ音響信号符号化装置。
【請求項６】
右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定し、前記フレーム時間遅延に基づいて、前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行うとともに、前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とが符号化されて多重化されたビットストリームを前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とに分離する分離手段と、
分離した前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とを復号する復号手段と、
分離した前記フレーム時間遅延に基づいて、前記右チャンネル信号に対して前記時間調整を行う前の時間に復元する時間復元手段と、
を具備するステレオ音響信号復号装置。
【請求項７】
右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定するステップと、
前記フレーム時間遅延に基づいて前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行うステップと、
前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とを符号化するステップと、
を具備するステレオ音響信号符号化方法。
【請求項８】
右チャンネル信号及び左チャンネル信号のフレームを複数のサブフレームに分割し、分割した前記サブフレームの波形のピークを検出するとともに、検出した前記ピークの位置を比較することにより前記右チャンネル信号及び前記左チャンネル信号の各フレームのフレーム時間遅延を推定し、前記フレーム時間遅延に基づいて、前記右チャンネル信号と前記左チャンネル信号の何れか一方の時間調整を行うとともに、前記右チャンネル信号と前記左チャンネル信号の何れか他方と、時間調整した前記右チャンネル信号と前記左チャンネル信号の何れか一方と、前記フレーム時間遅延とが符号化されて多重化されたビットストリームを前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とに分離するステップと、
分離した前記右チャンネル信号と前記左チャンネル信号と前記フレーム時間遅延とを復号するステップと、
分離した前記フレーム時間遅延に基づいて、前記右チャンネル信号に対して前記時間調整を行う前の時間に復元する時間復元ステップと、
を具備するステレオ音響信号復号方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010084756.tif 000076
【図２】
2010084756.tif 000077
【図３】
2010084756.tif 000078
【図４】
2010084756.tif 000079
【図５】
2010084756.tif 000080
【図６】
2010084756.tif 000081
【図７】
2010084756.tif 000082
【図８】
2010084756.tif 000083
【図９】
2010084756.tif 000084
【図１０】
2010084756.tif 000085
【図１１】
2010084756.tif 000086
【図１２】
2010084756.tif 000087
【図１３】
2010084756.tif 000088
【図１４】
2010084756.tif 000089
【図１５】
2010084756.tif 000090
【図１６】
2010084756.tif 000091
【図１７】
2010084756.tif 000092
【図１８】
2010084756.tif 000093
【図１９】
2010084756.tif 000094
【図２０】
2010084756.tif 000095
【図２１】
2010084756.tif 000096
【図２２】
2010084756.tif 000097
【図２３】
2010084756.tif 000098
【図２４】
2010084756.tif 000099
【図２５】
2010084756.tif 000100
【図２６】
2010084756.tif 000101
【図２７】
2010084756.tif 000102
【国際調査報告】
2010084756.tif 000103
2010084756.tif 000104
2010084756.tif 000105