(57)【要約】【課題】  低遅延・低演算量で音像位置の変更または修正を行なうこと。【解決手段】  少数チャネル信号復号部１０１において少数チャネル信号に復号される。チャネル間の関係を表すパラメータを符号化して得られたチャネル間パラメータ符号化系列は、チャネル間パラメータ復号部１０２において復号される。復号されたチャネル間パラメータは、チャネル間パラメータ変更部１０３において、元信号音像位置と所望の音像位置とに基づいて、最終的に復号される複数チャネル信号の音像位置が所望の音像位置になるように、チャネル間パラメータが変更される。変更されたチャネル間パラメータと、復号された少数チャネル信号とが複数チャネル信号合成部１０４に入力され、変更チャネル間パラメータを用いて少数チャネル信号が複数チャネル信号に合成されて出力される。【選択図】  図１
2006270649.tif 000002
【特許請求の範囲】
【請求項１】
複数のチャネル信号を該複数のチャネルよりも少数のチャネル信号と、前記複数のチャネル間の関係を示すパラメータとに変換された信号を処理する音声・音響信号処理装置であって、
前記複数のチャネル間の関係を示すパラメータを変更する演算を行なって、前記複数チャネルにより形成される音像位置を所定の角度だけ変更するパラメータ処理手段と、
前記複数のチャネルよりも少数のチャネル信号と、前記演算処理が行われた複数のチャネル間の関係を示すパラメータとによって、前記音像位置を所定の角度だけ変更された前記複数のチャネル信号を生成する複数チャネル信号生成手段と
を備えたことを特徴とする音声・音響信号処理装置。
【請求項２】
元信号の音像位置を示す元信号音像位置情報と、所望する音像位置を示す所望音像位置情報とを受信する音像位置受信手段をさらに備え、
前記パラメータ処理手段は、前記元信号音像位置情報と前記所望音像位置情報とに基づいて、前記複数のチャネル間の関係を示すパラメータを変更する演算を行なうことを特徴とする請求項１に記載の音声・音響信号処理装置。
【請求項３】
前記パラメータ処理手段は、所定の符号化を行われた信号を復号する先行復号手段と、前記先行復号手段により復号された前記複数のチャネル間の関係を示すパラメータを演算する復号後演算処理手段とを含むことを特徴とする請求項１に記載の音声・音響信号処理装置。
【請求項４】
前記先行復号手段により復号された前記複数のチャネル間の関係を示すパラメータに基づいて元信号の音像位置を示す元信号音像位置情報を推定する音像位置推定手段と、所望する音像位置を示す所望音像位置情報を受信する音像位置受信手段とをさらに備え、
前記パラメータ処理手段は、前記元信号音像位置情報と前記所望音像位置情報とに基づいて、前記複数のチャネル間の関係を示すパラメータを変更する演算を行なうことを特徴とする請求項３に記載の音声・音響信号処理装置。
【請求項５】
前記パラメータ処理手段は、所定の符号化を行われた前記複数のチャネル間の関係を示すパラメータを演算する復号前演算処理手段と、前記演算処理が行われた前記符号化を行われた複数のチャネル間の関係を示すパラメータを復号する後行復号手段とを含むことを特徴とする請求項１または２に記載の音声・音響信号処理装置。
【請求項６】
前記パラメータ処理手段は、前記複数チャネルにより形成される音像位置と、前記所定の角度だけ変更した音像位置とに基づいて、予め設定された複数のパラメータ変更因子のうちいずれのパラメータ変更因子を用いるかを決定し、当該決定されたパラメータ変更因子を適用することにより演算することを特徴とする請求項１ないし５のいずれかに記載の音声・音響信号処理装置。
【請求項７】
前記パラメータ処理手段は、前記複数チャネルにより形成される音像位置と、前記所定の角度だけ変更した音像位置とに基づいて、予め設定された複数のパラメータ変更因子のうちいずれのパラメータ変更因子を用いるかを決定し、当該決定されたパラメータ変更因子にさらに、前記複数チャネルにより形成される音像位置と、前記所定の角度だけ変更した音像位置とに基づいて、修正を加え修正パラメータ変更因子を生成し、該生成された修正パラメータ変更因子を適用することにより演算することを特徴とする請求項１ないし５のいずれかに記載の音声・音響信号処理装置。
【請求項８】
前記複数のチャネル信号は、バイノーラル信号であることを特徴とする請求項１ないし７のいずれかに記載の音声・音響信号処理装置。
【請求項９】
前記複数チャネル信号生成手段により生成された複数のチャネル信号を音声として聴取する聴取者の聴取方向を検出する聴取方向検出手段をさらに備え、
前記パラメータ処理手段は、前記聴取方向検出手段に基づいて前記所定の角度を決定することを特徴とする請求項１ないし８のいずれかに記載の音声・音響信号処理装置。
【請求項１０】
複数のチャネル信号を該複数のチャネルよりも少数のチャネル信号と、前記複数のチャネル間の関係を示すパラメータとに変換された信号を処理する音声・音響信号処理方法であって、
前記複数のチャネル間の関係を示すパラメータを変更する演算を行なって、前記複数チャネルにより形成される音像位置を所定の角度だけ変更するパラメータ処理ステップと、
前記複数のチャネルよりも少数のチャネル信号と、前記演算処理が行われた複数のチャネル間の関係を示すパラメータとによって、前記音像位置を所定の角度だけ変更された前記複数のチャネル信号を生成する複数チャネル信号生成ステップと
を備えたことを特徴とする音声・音響信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声・音響信号処理装置およびその方法に関し、より詳細には、パラメータを用いた符号化方式による音声・音響信号処理装置およびその方法に関する。
【背景技術】
【０００２】
現在、音声・音響信号を高効率に圧縮して符号化し復号する方法および装置は数多く存在する。また、複数チャネルの音声・音響信号の符号化方式も多数存在する。例えば、２チャネルの信号（ステレオ信号）に対しては、M/S（Middle/Side）ステレオ符号化方式、インテンシティステレオ（IS）符号化方式などがある（例えば、非特許文献1参照）。
【０００３】
M/S符号化方式では、元のチャネル間の相関の強いと想定される２チャネルの信号を、その和信号と差信号に変換し、チャネル間の相関を弱くして符号化する。これにより、元の２チャネルの信号に含まれていた冗長な情報を削減して符号化することができる。IS符号化方式では、２チャネルの信号の和信号をスケーリングし、そのスペクトル情報と２チャネルの信号の強度差を符号化する。また、２チャネルの信号間の相関を利用し、２チャネルの信号を1チャネルの信号とチャネル間の関係を表すパラメータとによって表現し、１チャネルの信号(例えば元の２チャネルの信号の和信号)とパラメータとを符号化するパラメトリックステレオ（PS）符号化方式というものもある（例えば、非特許文献２参照）。
【０００４】
この方式は２チャネルの信号に限らず、複数チャネルの信号に対しても適用可能である。非特許文献２においては、チャネル間の関係を表すパラメータとして、２チャネル間の強度差を表すInter-channel Intensity Difference（IID）、２チャネル間の位相差を表すInter-channel Phase Difference（IPD）、符号化される１チャネルの信号と２チャネルの信号のうちの片方のチャネルの信号との位相差Overall Phase Difference（OPD）、２チャネル間の相似性を表すInter-Channel Coherence（ICC）が用いられている。PS符号化方式は、１チャネル信号とパラメータとにより符号化を行なうため、２チャネルの信号として符号化するM/S符号化方式よりも、一般的に少ない情報量で符号化可能である。一方、IS符号化方式はPS符号化方式と非常に似ているが、チャネル間の位相情報など、符号化しない部分が異なる。
【０００５】
一方、複数チャネルの信号を用いて、音声・音響信号をあたかもある方向から聞こえてきているかのように、音声・音響信号を立体的に再生させる立体音響技術が古くより知られている。例えば、ある場所において聞こえる音を再現するために、左右前方、中央、左右後方にスピーカを設置し、さらに低音再生用のスピーカを設置する5.1チャネル再生方式がある。また別の例として、ある方向からある音が聞こえてきたときに、人間が実際に両耳で聞く音を模擬して、２チャネルの信号としてヘッドホンで再生するバイノーラル再生方式がある。人間が音を聞いて、どの方向からその音が聞こえてきているかを判断する際には、両耳間の信号の差が利用されている。
【０００６】
この両耳間の信号の差は、強度差、時間差(周波数領域では位相差)、周波数スペクトルの相違といったものである。そのためバイノーラル再生方式で用いられるバイノーラル信号は、上記PS符号化方式により符号化可能である。
【０００７】
以上のようなバイノーラル信号を含め複数チャネルを用いて立体音像を再生する際に、音が聞こえてくる方向(音像位置)を変更または修正する場合がある。このような場合としては、例えば、信号が作成されたときに想定される聴取者の頭の向きに対して、再生側で頭の向きが異なっている場合や、音像位置を再生側で好きな方向に変更して再生する場合などがある。このように音の音像位置を変更または修正するためには、従来、信号再生側から信号作成側へ音像位置の変更量や修正量などを通知し、信号作成側にて音像位置を変更または修正した新しい信号を作成して送信してもらい、その新しい信号を再生するという方法が主に用いられていた。
【０００８】
【非特許文献１】ISO/IEC International Standard 14496-3 Information Technology  Coding of audio-visual objects  Part 3: Audio, 2001.
【非特許文献２】ISO/IEC International Standard 14496-3 Information Technology  Coding of audio-visual objects  Part 3: Audio, AMENDMENT ２: Parametric Codimg for high quality audio, 2004.
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の方法で音像位置の変更をすると、一度信号作成側に戻って音像位置を変更してから符号化等を行なうことから、信号の再生に遅延が生じてしまい、頭の動きと音の動きの差を不自然に感じてしまうという問題があり、特にバイノーラル信号の場合、その作成に一般的に数百以上の遅延素子数のFIRフィルタによる処理を要するため、特に問題である。
【００１０】
本発明は、このような問題に鑑みてなされたもので、本発明では複数チャネルの立体音響信号をチャネル間の関係を表すパラメータを用いた符号化による符号化系列に対して、音の音像位置を所望の方向に変更または修正するようにチャネル間パラメータを再生側において修正することで、低遅延・低演算量で音像位置の変更または修正を実現することを目的とする。
【課題を解決するための手段】
【００１１】
このような目的を達成するために、請求項１に記載の発明は、複数のチャネル信号を該複数のチャネルよりも少数のチャネル信号と、複数のチャネル間の関係を示すパラメータとに変換された信号を処理する音声・音響信号処理装置であって、複数のチャネル間の関係を示すパラメータを変更する演算を行なって、複数チャネルにより形成される音像位置を所定の角度だけ変更するパラメータ処理手段と、複数のチャネルよりも少数のチャネル信号と、演算処理が行われた複数のチャネル間の関係を示すパラメータとによって、音像位置を所定の角度だけ変更された複数のチャネル信号を生成する複数チャネル信号生成手段とを備えたことを特徴とする。
【００１２】
請求項２に記載の発明は、請求項１に記載の音声・音響信号処理装置において、元信号の音像位置を示す元信号音像位置情報と、所望する音像位置を示す所望音像位置情報とを受信する音像位置受信手段をさらに備え、パラメータ処理手段は、元信号音像位置情報と所望音像位置情報とに基づいて、複数のチャネル間の関係を示すパラメータを変更する演算を行なうことを特徴とする。
【００１３】
請求項３に記載の発明は、請求項１に記載の音声・音響信号処理装置において、処理される信号に所定の符号化を行う符号化手段をさらに備え、パラメータ処理手段は、所定の符号化を行われた信号を復号する先行復号手段と、先行復号手段により復号された複数のチャネル間の関係を示すパラメータを演算する復号後演算処理手段とを含むことを特徴とする。
【００１４】
請求項４に記載の発明は、請求項３に記載の音声・音響信号処理装置において、先行復号手段により復号された複数のチャネル間の関係を示すパラメータに基づいて元信号の音像位置を示す元信号音像位置情報を推定する音像位置推定手段と、所望する音像位置を示す所望音像位置情報を受信する音像位置受信手段とをさらに備え、パラメータ処理手段は、元信号音像位置情報と所望音像位置情報とに基づいて、複数のチャネル間の関係を示すパラメータを変更する演算を行なうことを特徴とする。
【００１５】
請求項５に記載の発明は、請求項１または２に記載の音声・音響信号処理装置において、処理される信号に所定の符号化を行う符号化手段をさらに備え、パラメータ処理手段は、所定の符号化を行われた複数のチャネル間の関係を示すパラメータを演算する復号前演算処理手段と、演算処理が行われた符号化を行われた複数のチャネル間の関係を示すパラメータを復号する後行復号手段とを含むことを特徴とする。
【００１６】
請求項６に記載の発明は、請求項１ないし５のいずれかに記載の音声・音響信号処理装置において、パラメータ処理手段は、複数チャネルにより形成される音像位置と、所定の角度だけ変更した音像位置とに基づいて、予め設定された複数のパラメータ変更因子のうちいずれのパラメータ変更因子を用いるかを決定し、決定されたパラメータ変更因子を適用することにより演算することを特徴とする。
【００１７】
請求項７に記載の発明は、請求項１ないし５のいずれかに記載の音声・音響信号処理装置において、パラメータ処理手段は、複数チャネルにより形成される音像位置と、所定の角度だけ変更した音像位置とに基づいて、予め設定された複数のパラメータ変更因子のうちいずれのパラメータ変更因子を用いるかを決定し、決定されたパラメータ変更因子にさらに、複数チャネルにより形成される音像位置と、所定の角度だけ変更した音像位置とに基づいて、修正を加え修正パラメータ変更因子を生成し、生成された修正パラメータ変更因子を適用することにより演算することを特徴とする。
【００１８】
請求項８に記載の発明は、請求項１ないし７のいずれかに記載の音声・音響信号処理装置において、複数のチャネル信号は、バイノーラル信号であることを特徴とする。
【００１９】
請求項９に記載の発明は、請求項１ないし８のいずれかに記載の音声・音響信号処理装置において、複数チャネル信号生成手段により生成された複数のチャネル信号を音声として聴取する聴取者の聴取方向を検出する聴取方向検出手段をさらに備え、パラメータ処理手段は、聴取方向検出手段に基づいて所定の角度を決定することを特徴とする。
【００２０】
請求項１０に記載の発明は、音声・音響信号処理方法であって、複数のチャネル信号を複数のチャネルよりも少数のチャネル信号と、複数のチャネル間の関係を示すパラメータとに変換された信号を処理する音声・音響信号処理方法であって、複数のチャネル間の関係を示すパラメータを変更する演算を行なって、複数チャネルにより形成される音像位置を所定の角度だけ変更するパラメータ処理ステップと、複数のチャネルよりも少数のチャネル信号と、演算処理が行われた複数のチャネル間の関係を示すパラメータとによって、音像位置を所定の角度だけ変更された複数のチャネル信号を生成する複数チャネル信号生成ステップとを備えたことを特徴とする。
【発明の効果】
【００２１】
以上説明したように、本発明によれば、複数のチャネル間の関係を示すパラメータを変更する演算を行なって、複数チャネルにより形成される音像位置を所定の角度だけ変更するパラメータ処理手段と、複数のチャネルよりも少数のチャネル信号と、演算処理が行われた複数のチャネル間の関係を示すパラメータとによって、音像位置が所定の角度だけ変更された複数のチャネル信号を生成する複数チャネル信号生成手段とを備えることによって、低遅延・低演算量で音像位置の変更または修正を実現する音声・音響信号処理装置およびその方法を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の一実施形態について図面を参照して説明する。なお、以下の説明では、信号はアナログ−デジタル変換後のデジタル信号とする。以下の実施形態では、いずれも信号を符号化して信号系列を生成して復号する処理を含め説明するが、本発明は符号および復号とは特に関係がなく、このような構成を含めなくても本発明の作用を発揮し、効果を奏することができるのは言うまでもない。
【００２３】
（第１実施形態）
図１は、本発明の一実施形態として、複数チャネルの音声・音響信号を符号化した符号化系列を復号する復号装置を示す図である。複数チャネルの信号は、元の複数チャネル数より少数のチャネル信号と、元の複数チャネル信号のチャネル間の関係を表すパラメータとに変換され、符号化されている。このような符号化方式の例としてはPS符号化方式があり、チャネル間の関係を表すパラメータとしては、例えばIID、IPD、OPD、ICC、２チャネル間の時間差を表すInter-channel Time Difference（ITD）がある。
【００２４】
少数チャネル信号を符号化して得られた少数チャネル信号符号化系列は、少数チャネル信号復号部１０１において少数チャネル信号に復号される。チャネル間の関係を表すパラメータを符号化して得られたチャネル間パラメータ符号化系列は、チャネル間パラメータ復号部１０２においてチャネル間の関係を表すパラメータに復号される。復号されたチャネル間パラメータは、パラメータ手段の一部および復号後演算処理手段を構成するチャネル間パラメータ変更部１０３に入力される。
【００２５】
符号化される前の元信号の音像位置および所望の音像位置も、チャネル間パラメータ変更部１０３に入力される。チャネル間パラメータ変更部１０３において、元信号音像位置入力と所望の音像位置入力とに基づいて、最終的に復号される複数チャネル信号の音像位置が所望の音像位置になるように、復号部１０２からのチャネル間パラメータが変更される。変更されたチャネル間パラメータと、復号部１０１で復号された少数チャネル信号とが複数チャネル信号生成手段としての複数チャネル信号合成部１０４に入力され、変更チャネル間パラメータを用いて少数チャネル信号から複数チャネル信号が合成されて出力される。
【００２６】
ここで、符号器側の構成の第１の例を図１４に、第２の例を図１５に示す。図１４は、音声・音響信号より複数チャネルの立体音響信号を生成し符号化する構成を示している。複数チャネル信号生成部１１２において、入力された音声・音響信号から別途入力される音像位置情報に応じて複数チャネルの立体音響信号を生成し、生成された複数チャネルの立体音響信号は複数チャネル信号符号化部１１７において符号化される。複数チャネル信号符号化部１１７では、少数チャネル信号変換部１１３において入力された複数チャネル信号を、より少数のチャネルの信号に変換し、その変換により得られた少数チャネル信号は少数チャネル信号符号化部１１４において符号化され、少数チャネル符号化系列が出力される。チャネル間パラメータ算出部１１５では、複数チャネルの立体音響信号よりチャネル間パラメータが算出される。算出されたチャネル間パラメータは、チャネル間パラメータ符号化部１１６において符号化され、チャネル間パラメータ符号化系列が出力される。
【００２７】
音像位置情報は、音像位置情報符号化部１１８において符号化され、音像位置符号化系列が出力される。復号器側では、音像位置符号化系列を復号し、得られた音像位置情報を元信号の音像位置情報として利用する。ここでは音像位置情報を符号化する例を示したが、音像位置情報は必ずしも符号化する必要はなく、その通知方法はこれに限定されない。音像位置情報としては、例えば受聴者の正面に対する音源の水平面上での相対的な角度の情報などがある。例として、頭の動きに追従するように、複数チャネル信号に含まれる音源の音像位置を変更する場合を考える。図１６に示すように、時刻tにおける受聴者の頭の向きα(t)を符号器側に通知し、符号器側において、時刻t＋m (m>0)における音源の絶対的到来方向β(t+m)と時刻tにおける頭の向きα(t)に基づいて複数チャネルの立体音響信号が生成及び符号化されるものとする。復号器側においては、時刻t＋n (n>m)における頭の向きα(t+n)と音源の絶対的到来方向β(t+m)に基づいた複数チャネルの立体音響信号に変更するものとする。このとき、元信号到来方向はβ(t+m)−α(t)と記述でき、所望の音像位置はβ(t+m)−α(t+n)と記述できる。
【００２８】
図１５は、複数個のマイクロホンにより集音した複数チャネルの立体音響信号を符号化する構成を示す図である。Ｎ個のマイクロホンで集音した信号を複数チャネル信号集音部１１９で複数チャネルの信号とし、複数チャネル信号は複数チャネル信号符号化部１１７において符号化される。複数チャネル信号符号化部１１７の動作は、上記符号器側の構成の第１の例と同様である。到来方向推定部１２０では複数チャネル信号より到来方向を推定し、推定結果を音像位置情報符号化部１１８で符号化し音像位置情報符号化系列を出力する。到来方向の推定は、チャネル間パラメータ算出部１１５で算出されたチャネル間パラメータを用いてもよい。復号器側における音像位置情報符号化系列の扱いは、上記符号器側の構成の第１の例と同様である。
【００２９】
本実施形態では、符号器側で到来方向の推定を行なったが、これに替えて、復号器側で推定を行なうこともできる。すなわち、例えば図１において復号部１０１、１０２の後段に元信号の音像位置を推定する回路(図示せず)を配置して、所望の音像位置の入力をチャネル間パラメータ変更部１０３に入力することにより音像位置を変更するような構成とすることもできる。
【００３０】
符号器側の構成の第１および第２の例において、音像位置情報、すなわち元信号の音像位置に関する情報は、必ずしも復号器側に補助情報として通知される必要はなく、復号器側において、上記符号器側の構成の第２の例のように、復号された複数チャネル信号またはチャネル間パラメータ等から推定してもよい。本発明において、復号器側における元信号音像位置の取得方法は限定されない。
【００３１】
図２は、図１示したチャネル間パラメータ変更部１０３の第１の例を示す図である。符号化される前の元信号の音像位置と所望の音像位置とが、チャネル間パラメータ変更因子選択部１０６に入力される。チャネル間パラメータ変更因子選択部１０６では、あらかじめ保持されている複数のチャネル間パラメータ変更因子より、符号化される前の元信号の音像位置と所望の音像位置とに基づいて、適切なチャネル間パラメータ変更因子を選択する。選択されたチャネル間パラメータ変更因子と、チャネル間パラメータ復号部１０２で復号されたチャネル間パラメータとは、チャネル間パラメータ変更因子適用部１０５に入力される。チャネル間パラメータ変更因子適用部１０５からチャネル間パラメータ変更部１０３の出力として、チャネル間パラメータにチャネル間パラメータ変更因子を適用した変更チャネル間パラメータが出力される。以下にチャネル間パラメータ変更因子の選択・適用の一例を示すが選択方法及び適用方法はこれに限定されない。たとえば、以下の例ではパラメータ変更因子を加算しているが、チャネル間パラメータ変更因子とチャネル間パラメータとの積により変更されたチャネル間パラメータを求める方法を用いることもできる。
【００３２】
例えば、チャネル間パラメータとしてIPDを用い、チャネル間パラメータをサブバンドごとに符号化して生成された信号が復号されたとする。k番目のサブバンドの元信号の到来方向がakのとき、復号されたk番目のサブバンドのIPDはipd (ak,k)である。所望の到来方向がbkのとき、あらかじめ保持していたチャネル間パラメータ変更因子よりδ(ak,bk,k)が選択される。δ(ak,bk,k)を保持していない場合は、例えばck,及びdkがak及びbkに最も近い値であるチャネル間パラメータ変更因子δ(ck,dk,k)が選択される。選択されたδ(ak,bk,k)が，チャネル間パラメータ変更因子適用部１０５において適用され、以下のような式から、音像位置変更後のチャネル間パラメータ
【００３３】
2006270649.tif 000003
【００３４】
(k=0, 1, …, K-1) 
が得られる。
【００３５】
【数１】
2006270649.tif 000004
【００３６】
これがK個のすべてのサブバンドに対して行われ、チャネル間パラメータが以下のように出力される。
【００３７】
図３は、上記チャネル間パラメータ変更部１０３の第２の例を示す図である。符号化される前の元信号の音像位置と、所望の音像位置とがチャネル間パラメータ変更因子選択部１０６に入力される。チャネル間パラメータ変更因子選択部１０６では、あらかじめ保持されている複数のチャネル間パラメータ変更因子より、符号化される前の元信号の音像位置と所望の音像位置とに基づいて、適切なチャネル間パラメータ変更因子が選択される。選択されたチャネル間パラメータ変更因子は、チャネル間パラメータ変更因子修正部１０７に送られ、元信号の音像位置と所望の音像位置とに基づいて、パラメータ変更因子に修正が必要な場合には修正される。
【００３８】
以下にチャネル間パラメータ変更因子の修正の一例を示すが、修正方法はこれに限定されない。上記チャネル間パラメータ変更部の第１の例に記載した例と同様に、k番目のサブバンドの元信号の音像位置をak，所望の音像位置をxkとし、チャネル間パラメータ変更因子選択部１０６で音像位置をakからbkに変更するチャネル間パラメータ変更因子δ(ak, bk, k)  (ak < xk < bk)が選択されたとする。このときδ(ak, bk, k)は次式のようにδ(ak, xk, k)に修正される。
【００３９】
【数２】
2006270649.tif 000005
【００４０】
これがK個のすべてのサブバンドに対して行われる。修正されたチャネル間パラメータは、チャネル間パラメータ変更因子適用部１０５に入力される。チャネル間パラメータ変更因子適用部１０５からチャネル間パラメータ変更部１０３の出力として、チャネル間パラメータに変更チャネル間パラメータ変更因子を適用した変更チャネル間パラメータが出力される。
【００４１】
図４は、上述の一実施形態のチャネル間パラメータ変更部１０３の第３の例を示す図である。符号化される前の元信号の音像位置と、所望の音像位置とがチャネル間パラメータ変更因子算出部１０８に入力される。チャネル間パラメータ変更因子算出部１０８では、元信号の音像位置と、所望の音像位置とによりチャネル間パラメータ変更因子を算出する。
【００４２】
以下に算出の一例を示すが算出方法はこれに限定されない。複数チャネル信号はバイノーラル信号であり、チャネル間パラメータとしてIPD（ipd）を用い、受聴者の頭が図５に示すような球形であると仮定すると、ipdは図５におけるチャネル間到来距離差dに相当する位相差となり、到来方向が角度xのときのipdは、
【００４３】
【数３】
2006270649.tif 000006
【００４４】
により求められる。ただし、ｆは周波数、rは球形頭の半径、cは音速である。上記チャネル間パラメータ変更部の第１の例と同様に、k番目のサブバンドの元信号の到来方向をak、所望の到来方向をxkとすると、k番目のサブバンドのIPDの変更因子δｉｐｄ（ak，xk ，k）は式(2)を用いて、
【００４５】
【数４】
2006270649.tif 000007
【００４６】
と算出される。ただしｆｋはk番目のサブバンドの中心周波数とする。算出されたチャネル間パラメータ変更因子は、チャネル間パラメータ変更因子適用部１０５に入力される。チャネル間パラメータ変更因子適用部１０５からチャネル間パラメータ変更部１０３の出力として、チャネル間パラメータにチャネル間パラメータ変更因子を適用した変更チャネル間パラメータが出力される。
【００４７】
図１７は、本実施形態の符号装置を用いた再生装置の一例を示す図である。再生装置１７０１は、プロセッサ１７０２、復号装置１７０３、元信号音像位置信号復号器１７０４、および所望の音像位置情報入力部１７０５を備える。プロセッサ１７０２は、元信号音像位置信号復号器１７０４および所望の音像位置情報入力部１７０５から取得した元信号音像位置情報および所望の音像位置情報により、チャネル間パラメータの変更が必要か否かを判定し、必要な場合復号装置１７０３に指令を出して変更を施した上、複数チャネル信号を出力するようにした後、所定のデジタルアナログ信号変換を経てスピーカ１７０６にて立体音響を再生させる。所望の音像位置情報は、後述するように聴取者の向きなどにより自動的に算出することもでき、また聴取者に所望の角度を入力させるようにすることもできる。図１７は本実施形態を用いた応用例を示しただけであり、本実施形態の応用例としてはこのような再生装置のみに限定されず、種々の装置、形態を考えることができる。
【００４８】
図６は、本発明の第１実施形態の処理を示すフローチャートである。まず、少数チャネル信号符号化系列を少数チャネル信号に復号し(Ｓ６０１)、チャネル間パラメータ符号化系列をチャネル間パラメータに復号する（Ｓ６０２）。符号化前の元信号の音像位置と所望の音像位置とに基づいて、復号されたチャネル間パラメータを変更する必要があるか否かを判断する（Ｓ６０３）。チャネル間パラメータを変更する必要がある場合は、チャネル間パラメータを、元信号の音像位置と所望の音像位置とに基づいて変更する（Ｓ６０４）。変更されたチャネル間パラメータと、復号された少数チャネル信号を用いて複数チャネル信号を合成し出力する（Ｓ６０５）。ただし、チャネル間パラメータを変更する必要がない場合は、復号されたチャネル間パラメータをそのまま用いて複数チャネル信号を合成する。なお、ステップＳ６０１およびステップＳ６０２の処理順序は逆でもよく、また並列に処理してもよい。
【００４９】
図７は、上記ステップＳ６０４の第１の処理例を示すフローチャートである。符号化前の元信号の音像位置と所望の音像位置とに基づいて、予め保持されているチャネル間パラメータ変更因子から適切なチャネル間パラメータ変更因子を選択する（Ｓ７０１）。選択されたチャネル間パラメータ変更因子を、復号されたチャネル間パラメータに適用してチャネル間パラメータを修正し（Ｓ７０２）、修正されたチャネル間パラメータを出力する（Ｓ７０３）。
【００５０】
図８は、上記ステップＳ６０４の第２の処理例を示すフローチャートである。まず、上記ステップＳ７０１の処理を行う。符号化前の元信号の音像位置と所望の音像位置とに基づいて、選択されたチャネル間パラメータ変更因子を修正する必要があるかを判断する（Ｓ８０１。修正する必要がる場合は、元信号の音像位置と所望の音像位置とに基づいて、チャネル間パラメータ変更因子を修正する（Ｓ８０２）。修正方法の一例としては、チャネル間パラメータ変更部１０３の第２の例の方法を用いることができる。修正されたチャネル間パラメータ変更因子を用いて、ステップＳ７０２〜Ｓ７０３の処理が行われる。ステップＳ８０１において修正する必要がないと判断された場合は、ステップＳ７０１において選択されたパラメータ変更因子を用いて、ステップＳ７０２〜Ｓ７０３の処理が行われる。
【００５１】
図９は、上記ステップＳ６０４の第３の処理例を示すフローチャートである。符号化前の元信号の音像位置と所望の音像位置とに基づいて、チャネル間パラメータ変更因子を算出する（Ｓ９０１）。算出方法の一例としては、チャネル間パラメータ変更部１０３の第３の例の方法などがある。算出されたチャネル間パラメータ変更因子を用いて、ステップＳ７０２〜Ｓ７０３の処理が行われる。
【００５２】
以上、符号化されたチャネル間パラメータを復号した後に変更を行なう方法について説明をしたが、これにより上述の本発明の効果に加え、受聴者の頭の動きを検出する聴取方向検出部(図示せず)を設けて、受聴者の聴取方向にあわせて音像位置を変更することもできる。
【００５３】
さらに、２者間の無線通信において本実施形態の装置または方法を用いる場合、両聴取者の位置情報を検出する検出手段（図示せず）を設けた携帯端末(図示せず)を使用することによって、相手方の存在する方向に話者の音像位置を設定することもできる。このような手法を用いることにより、近い位置にいるにもかかわらず人ごみで相互に発見できないときなど、相手の方向が分かるので容易に近づいて発見することが可能となる。
【００５４】
(第２実施形態)
図１０は、本発明の第２実施形態の複数チャネルの音声・音響信号を符号化した符号化系列を復号する装置を示す図である。チャネル間の関係を表すパラメータを符号化して得られたチャネル間パラメータ符号化系列は、パラメータ処理手段の一部および復号後演算処理手段を構成するチャネル間パラメータ符号化系列変更部１０９に入力される。チャネル間パラメータ符号化系列変更部１０９には、符号化前の元信号の音像位置入力と所望の音像位置入力とも供給され、これらの入力に基づいて、チャネル間パラメータ符号化系列は他のチャネル間パラメータ符号化系列に変更され、チャネル間パラメータ復号部１０２に入力される。ただし、元信号の音像位置入力と所望の音像位置入力とにより、チャネル間パラメータ符号化系列を変更する必要がないと判断される、例えば元信号の音像位置と所望の音像位置とが一致していると判断されるなどの場合、チャネル間パラメータ符号化系列は変更されずに、チャネル間パラメータ復号部１０２に入力される。図１０において、図１に示した第１実施形態と同様に動作する要素には同符号を付す。本実施形態は、第１実施形態ではまず復号が行なわれてから音像位置の変更処理が行われたのに対し、本実施形態では音像位置の変更を行ってから復号を行なう点で基本的に相違する。本発明の第２実施形態に係る符号器側の構成の例としては、図１３および図１４に示した上述の第１実施形態に係る符号器側の構成の第１および第２の例がある。
【００５５】
図１１は、上記チャネル間パラメータ符号化系列変更部１０９の第１の例を示す図である。符号化される前の元信号の音像位置入力と、所望の音像位置入力とが変更規則選択部１１１に入力される。変更規則選択部１１１では、あらかじめ保持されているチャネル間パラメータ符号化系列の変更規則により、符号化される前の元信号の音像位置入力と所望の音像位置入力とに基づいて、適切な変更規則を選択し変更規則適用部１１０に通知する。また、元信号の音像位置と所望の音像位置とにより、チャネル間パラメータ符号化系列の変更が必要ないと判断された場合、チャネル間パラメータ符号化系列を変更しないことを変更規則適用部１１０に通知する。変更規則適用部１１０において、通知された変更規則に従ってチャネル間パラメータ符号化系列を他のチャネル間パラメータ符号化系列に変更し出力する。ただし、チャネル間パラメータ符号化系列を変更しないことが通知された場合は、チャネル間パラメータ符号化系列を変更せずに出力する。
【００５６】
図１２は、本発明の第２実施形態の処理を示すフローチャートである。ステップＳ６０１の処理は上記第１実施形態のフローチャートと同様である。符号化前の元信号の音像位置と所望の音像位置とに基づいて、チャネル間パラメータ符号化系列を変更する必要があるか否かを判断する（Ｓ１２０１）。次いで、チャネル間パラメータ符号化系列は、チャネル間パラメータ復号部１０２によりチャネル間パラメータに復号される（Ｓ６０２）。チャネル間パラメータ符号化系列を変更する必要がある場合は、チャネル間パラメータ符号化系列を、元信号の音像位置と所望の音像位置とに基づいて、チャネル間パラメータ符号化系列変更部１０９により変更して（Ｓ１２０２）から、ステップＳ６０２に進む。チャネル間パラメータ符号化系列を変更する必要がない場合は、チャネル間パラメータ符号化系列を変更しないで、ステップＳ６０２に進む。以降、ステップＳ６０２およびステップＳ６０５の処理は上記第１実施形態のフローチャートと同様である。なお、ステップＳ６０１およびステップＳ１２０１〜Ｓ６０２の処理順序は逆でもよく、また並列に処理してもよい。
【００５７】
図１３は、上記ステップＳ６０４の第１の処理例を示すフローチャートである。符号化前の元信号の音像位置と所望の音像位置とに基づいて、あらかじめ保持されているチャネル間パラメータ符号化系列の変更規則から適切な変更規則を選択する（Ｓ１３０１）。選択された変更規則をチャネル間パラメータ符号化系列に適用し、チャネル間パラメータ符号化系列を変更する（Ｓ１３０２）。変更されたチャネル間パラメータ符号化系列を出力する（Ｓ１３０３）。
【００５８】
以上説明したように、本発明により複数チャネルの立体音響信号をチャネル間の関係を表すパラメータを用いた符号化による符号化系列に対して、音の音像位置を所望の方向に変更または修正するようにチャネル間パラメータを再生側において変更することにより、低遅延・低演算量で音像位置の変更または修正を行なうことができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の一実施形態の複数チャネルの音声・音響信号を符号化した符号化系列を復号する装置を示す図である。
【図２】本発明の一実施形態のチャネル間パラメータ変更部の第１の例を示す図である。
【図３】本発明の一実施形態にかかるチャネル間パラメータ変更部の第２の例を示す図である。
【図４】本発明の一実施形態にかかるチャネル間パラメータ変更部の第３の例を示す図である。
【図５】本実施形態の受聴者の頭の例を示すである。
【図６】本発明の第１実施形態の処理を示すフローチャートである。
【図７】本実施形態のステップＳ６０４の第１の処理例を示すフローチャートである。
【図８】本実施形態のステップＳ６０４の第２の処理例を示すフローチャートである。
【図９】本実施形態のステップＳ６０４の第３の処理例を示すフローチャートである。
【図１０】本発明の第２実施形態の複数チャネルの音声・音響信号を符号化した符号化系列を復号する装置を示す図である。
【図１１】本発明の第２実施形態のチャネル間パラメータ符号化系列変更部の第１の例を示す図である。
【図１２】本発明の第２実施形態の処理を示すフローチャートである。
【図１３】本実施形態のステップＳ６０４の第１の処理例を示すフローチャートである。
【図１４】本発明の一実施形態の音声・音響信号より複数チャネルの立体音響信号を生成し符号化する構成を示している。
【図１５】本発明の一実施形態の複数個のマイクロホンにより集音した複数チャネルの立体音響信号を符号化する構成を示す図である。
【図１６】本発明の一実施形態の受聴者の頭の例を示すである。
【図１７】本実施形態の符号装置を用いた再生装置の一例を示す図である。
【符号の説明】
【００６０】
１０１  少数チャネル信号復号部
１０２  チャネル間パラメータ復号部
１０３  チャネル間パラメータ変更部
１０４  複数チャネル信号合成部
１０５  チャネル間パラメータ変更因子適用部
１０６  チャネル間パラメータ変更因子選択部
１０７  チャネル間パラメータ変更因子修正部
１０８  チャネル間パラメータ変更因子算出部
１０９  チャネル間パラメータ符号化系列変更部
１１０  変更規則適用部
１１１  変更規則選択部
１１２  複数チャネル信号生成部
１１３  少数チャネル信号変換部
１１４  少数チャネル信号符号化部
１１５  チャネル間パラメータ算出部
１１６  チャネル間パラメータ符号化部
１１７  複数チャネル信号符号化部
１１８  音像位置情報符号化部
１１９  複数チャネル信号集音部
１２０  到来方向推定部
１７０１  再生装置
１７０２  プロセッサ
１７０３  復号装置
１７０４  元信号音像位置信号復号器
１７０５  所望の音像位置情報入力部
１７０６  スピーカ
【図１】
2006270649.tif 000008
【図２】
2006270649.tif 000009
【図３】
2006270649.tif 000010
【図４】
2006270649.tif 000011
【図５】
2006270649.tif 000012
【図６】
2006270649.tif 000013
【図７】
2006270649.tif 000014
【図８】
2006270649.tif 000015
【図９】
2006270649.tif 000016
【図１０】
2006270649.tif 000017
【図１１】
2006270649.tif 000018
【図１２】
2006270649.tif 000019
【図１３】
2006270649.tif 000020
【図１４】
2006270649.tif 000021
【図１５】
2006270649.tif 000022
【図１６】
2006270649.tif 000023
【図１７】
2006270649.tif 000024