(57)【要約】【課題】マルチチャネル信号を効率良く符号化する。【解決手段】符号化時には、入力された複数チャネルの時系列信号に対応する周波数領域のマルチチャネル信号の系列に周波数毎の主成分分析を含む第一処理を行い、次元縮約された信号の系列である固有信号の系列と、基底の系列であるテンソルの系列とを得、当該固有信号の系列を符号化して固有信号符号を得、当該テンソルの系列を符号化してテンソル符号を得る。復号時には、入力されたテンソル符号を復号して復号テンソルの系列を得、入力された固有信号符号を復号して復号固有信号の系列を得、当該復号テンソルの系列を基底の系列として、当該復号固有信号の系列を適用し、次元復元された復号マルチチャネル信号の系列を得る。【選択図】図１
2015129785.tif 000002
【特許請求の範囲】
【請求項１】
入力された複数チャネルの時系列信号に対応する周波数領域のマルチチャネル信号の系列に周波数毎の主成分分析を含む第一処理を行い、次元縮約された信号の系列である固有信号の系列と、基底の系列であるテンソルの系列とを得る固有空間算出部と、
前記固有信号の系列を符号化して固有信号符号を得る固有信号符号化部と、
前記テンソルの系列を符号化してテンソル符号を得るテンソル符号化部と、
を有する符号化装置。
【請求項２】
請求項１の符号化装置であって、
前記テンソル符号化部は、
前記テンソルに対応する系列に主成分分析を含む第二処理を適用し、次元縮約されたテンソルの系列であるコアテンソルの系列と、少なくとも一つの基底から構成される基底群とを得る第２固有空間算出部と、
前記コアテンソルの系列を符号化してコアテンソル符号を得るコアテンソル符号化部と、
前記基底群を符号化して基底群符号を得る基底群符号化部と、
を含む、符号化装置。
【請求項３】
請求項２の符号化装置であって、
前記テンソル符号化部は、前記テンソルの系列から前記テンソルの系列の標本平均を減じた中心化後のテンソルの系列を、前記テンソルに対応する系列として得る中心化部をさらに含む、符号化装置。
【請求項４】
請求項２または３の符号化装置であって、
前記基底群が複数個の基底から構成される、符号化装置。
【請求項５】
請求項２から４の何れかの符号化装置であって、
前記マルチチャネル信号および前記固有信号は、所定の時間区間であるフレーム毎に得られ、
前記テンソルおよび前記コアテンソルは、複数個のフレームから構成されるサブブロック毎に得られ、
前記基底群は、複数個のサブブロックから構成されるブロック毎に得られる、符号化装置。
【請求項６】
請求項１から５の何れかの符号化装置であって、
前記固有信号符号化部は、時間方向と周波数方向との少なくとも一方への予測を含む符号化方式に則って、前記固有信号の系列を符号化する、符号化装置。
【請求項７】
請求項１から６の何れかの符号化装置であって、
前記テンソル符号化部は、時間方向への予測も周波数方向への予測も含まない符号化方式に則って、前記テンソルの系列を符号化する、符号化装置。
【請求項８】
入力されたテンソル符号を復号して復号テンソルの系列を得るテンソル復号部と、
入力された固有信号符号を復号して復号固有信号の系列を得る固有信号復号部と、
前記テンソル復号部で得られた前記復号テンソルの系列を基底の系列として、前記固有信号復号部で得られた前記復号固有信号の系列を適用して、次元復元された復号マルチチャネル信号の系列を得る信号再構成部と
を有する復号装置。
【請求項９】
請求項８の復号装置であって、
前記テンソル符号は、コアテンソル符号と基底群符号とを含み、
前記テンソル復号部は、
前記コアテンソル符号を復号して復号コアテンソルの系列を得るコアテンソル復号部と、
前記基底群符号を復号して復号基底群を得る基底群復号部と、
前記コアテンソル復号部で得られた前記復号基底群を基底として、前記コアテンソル復号部で得られた前記復号コアテンソルの系列を適用して、前記復号テンソルの系列に対応する系列を得るテンソル再構成部と、
を含む、復号装置。
【請求項１０】
請求項９の復号装置であって、
前記コアテンソル復号部は、前記基底群符号を復号してさらに復号標本平均を得、
前記テンソル復号部は、前記テンソル再構成部で得られた前記復号テンソルの系列に対応する系列と、前記コアテンソル復号部で得られた前記復号標本平均と、を加算して前記復号テンソルの系列を得る加算部を、さらに含む、復号装置。
【請求項１１】
請求項９または１０の復号装置であって、
前記復号基底群が複数個の基底から構成される、復号装置。
【請求項１２】
請求項９から１１の何れかの復号装置であって、
前記復号マルチチャネル信号および前記復号固有信号は、所定の時間区間であるフレーム毎に得られ、
前記復号テンソルおよび前記復号コアテンソルは、複数個のフレームから構成されるサブブロック毎に得られ、
前記復号基底群は、複数個のサブブロックから構成されるブロック毎に得られる、復号装置。
【請求項１３】
請求項８から１２の何れかの復号装置であって、
前記固有信号復号部は、時間方向と周波数方向との少なくとも一方への予測を含む復号方式に則って、前記固有信号符号を復号する、復号装置。
【請求項１４】
請求項８から１３の何れかの復号装置であって、
前記テンソル復号部は、時間方向への予測も周波数方向への予測も含まない復号方式に則って、前記テンソル符号を復号する、復号装置。
【請求項１５】
入力された複数チャネルの時系列信号に対応する周波数領域のマルチチャネル信号の系列に周波数毎の主成分分析を含む第一処理を行い、次元縮約された信号の系列である固有信号の系列と、基底の系列であるテンソルの系列とを得る固有空間算出ステップと、
前記固有信号の系列を符号化して固有信号符号を得る固有信号符号化ステップと、
前記テンソルの系列を符号化してテンソル符号を得るテンソル符号化ステップと、
を有する符号化方法。
【請求項１６】
入力されたテンソル符号を復号して復号テンソルの系列を得るテンソル復号ステップと、
入力された固有信号符号を復号して復号固有信号の系列を得る固有信号復号ステップと、
前記テンソル復号ステップで得られた前記復号テンソルの系列を基底の系列として、前記固有信号復号ステップで得られた前記復号固有信号の系列を適用して、次元復元された復号マルチチャネル信号の系列を得る信号再構成ステップと
を有する復号方法。
【請求項１７】
請求項１から７の何れかの符号化装置、または、請求項８から１４の何れかの復号装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ある環境で得られたマルチチャネル信号の符号化および復号に関する。
【背景技術】
【０００２】
マルチチャネルオーディオ信号の符号化とは、多数のマイクロホンで取得した音響信号を、時間方向と空間方向の冗長性を取り除くモデルを用いて、効率的に表現する技術である（例えば、非特許文献１参照）。音響信号による音場の再現を想定する場合、音響伝達特性の変動を考慮した符号化方式が必要となる。従来技術では、時間領域もしくは周波数領域の信号に対してＫＬ（Karhunen-Loeve）展開を適用してチャネル間相関を低減し、マルチチャネルオーディオ信号を効率良く符号化する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Yang, Dai, et al. "High-fidelity multichannel audio coding with Karhunen-Loeve transform." Speech and Audio Processing, IEEE Transactions on 11.4 (2003): 365-380.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、音源信号と音響伝達特性に内在するパラメータとの時間変化量の相違を考慮していないという問題点があった。このような問題は、マルチチャネルオーディオ信号を符号化する場合のみならず、多数のセンサで得られたマルチチャネル信号を符号化する際に共通するものである。
【０００５】
本発明は、源信号と伝達特性に内在するパラメータとの時間変化量の相違を考慮し、マルチチャネル信号を効率良く符号化することを課題とする。
【課題を解決するための手段】
【０００６】
入力された複数チャネルの時系列信号に対応する周波数領域のマルチチャネル信号の系列に周波数毎の主成分分析を含む第一処理を行い、次元縮約された信号の系列である固有信号の系列と、基底の系列であるテンソルの系列とを得、当該固有信号の系列を符号化して固有信号符号を得、当該テンソルの系列を符号化してテンソル符号を得る。
【発明の効果】
【０００７】
本発明では、固有信号の系列とテンソルの系列とをそれぞれ符号化するため、マルチチャネル信号を効率良く符号化できる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態の符号化装置の構成を例示するためのブロック図である。
【図２】図２は、実施形態の復号装置の構成を例示するためのブロック図である。
【図３】図３は、音源信号と音響伝達特性との時間変化量の違いを例示するための概念図である。
【図４】図４Ａは、１段目の固有空間算出部での処理を例示するための概念図であり、図４Ｂは、固有空間算出部で得られたテンソルの系列を例示するための概念図であり、図４Ｃは、ブロックあたりのテンソルの系列を例示するための概念図である。
【図５】図５は、２段目の固有空間算出部での処理を例示するための概念図である。
【図６】図６Ａおよび６Ｂは、２段目の固有空間算出部での処理の変形例を例示する ための概念図である。
【図７】図７は、実施形態の符号化装置の構成を例示するためのブロック図である。
【図８】図８は、実施形態の復号装置の構成を例示するためのブロック図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。
［概要］
観測信号とは、信号源から発せられた時系列信号である源信号が何らかの伝達特性を有する空間を得て複数個のセンサで観測して得られる信号である。観測信号（マルチチャネル信号）の系列は、時間領域の信号であっても周波数領域の信号であっても、源信号の系列や伝達特性の系列等の互いに時間変化量が異なる要素の合成として表すことができる。例えば、伝達特性が定常である範囲内において、周波数領域では、マルチチャネル信号の系列を表す行列を、伝達特性等を表す行列と、源信号等の系列を表す行列との積で表すことができる。
【００１０】
源信号の例は、音声や楽曲等の音響信号や超音波信号や体内の生体信号などの時系列信号であり、センサの例はマイクロホンや超音波センサや医療センサなどであり、伝達特性の例は空間伝達特性や体内の伝達特性などであるが、いずれの場合も、源信号は伝達特性や信号源数に比べて時間変化量が大きい場合が多い。また、伝達特性等には複数のパラメータが内在するが、それらのパラメータの種別に応じて時間変化量が異なる場合も多い。図３は、源信号が音響信号（音源信号）である場合における、音源信号、音源数、および伝達特性（音響伝達特性）の時間変化量の違いを例示する。この例のように、音源信号の時間変化量は、音響伝達特性に内在する音源位置、指向特性、音源の移動、音速（温度に依存）、周囲の壁等の反射係数、および部屋の形状・寸法等のパラメータの時間変化量や音源数の時間変化量よりも大きいことが多い。また、音源位置、指向特性、音源の移動、音速（温度に依存）、周囲の壁等の反射係数、および部屋の形状・寸法等のパラメータや音源数にも、種別に応じた時間変化量の相違がみられる。
【００１１】
各実施形態では、このような時間変化量の相違に着目し、周波数ごとの主成分分析（ＫＬ展開）を含む第一処理によって、周波数領域のマルチチャネル信号の系列を、源信号成分や信号源数成分を表す系列と伝達特性や信号源数成分を表す系列とに緩く分離し、それらを別々に符号化する。すなわち、本実施形態では、入力された複数チャネルの時系列信号に対応する周波数領域のマルチチャネル信号の系列に周波数毎の主成分分析を含む第一処理を行い、次元縮約された信号の系列である固有信号の系列と、基底の系列であるテンソルの系列とを得、当該固有信号の系列を符号化して固有信号符号を得、当該テンソルの系列を符号化してテンソル符号を得る。なお、当該テンソルの系列と当該固有信号の系列とは別々に符号化される。ここで、固有信号の系列は源信号成分や信号源数成分に緩く対応し、テンソルの系列は伝達特性や信号源数成分の系列に緩く対応する。このように分離された系列を別々に符号化することで、それぞれの系列に応じて効率的な符号化を採用することができ、全体としてマルチチャネル信号を効率良く符号化できる。
【００１２】
さらに好ましくは、主成分分析を含む第二処理によって、伝達関数成分の系列に緩く対応するテンソルの系列を、さらに、時間変化量が大きな成分の系列と時間変化量が小さな成分の系列とに緩く分離し、それらを別々に符号化する。すなわち、好ましくは、このテンソルに対応する系列に主成分分析を含む第二処理を適用し、次元縮約されたテンソルの系列であるコアテンソルの系列と、少なくとも一つの基底から構成される基底群とを得、当該コアテンソルの系列を符号化してコアテンソル符号を得、当該基底群を符号化して基底群符号を得る。なお、当該コアテンソルの系列と当該基底群とは別々に符号化される。なお、「テンソルに対応する系列」は、例えば、テンソルの系列からテンソルの系列の標本平均を減じた中心化後のテンソルの系列である。また、基底群は、例えば複数個の基底から構成される。ここで、コアテンソルの系列は時間変化量が大きな成分の系列（例えば、音源位置，指向特性、音源や物の移動等に対応）に緩く対応し、基底群は時間変化量が小さな成分の系列（例えば、音速、反射係数、部屋の形状・寸法等に対応）に緩く対応する。このようにテンソルに対応する系列をさらに分離し、分離された系列を別々に符号化することで、それぞれの系列の特徴に応じてより効率的な符号化を採用することができ、全体としてマルチチャネル信号をより効率良く符号化できる。
【００１３】
また、好ましくは、マルチチャネル信号および固有信号は、所定の時間区間であるフレーム毎に得られ、テンソルおよびコアテンソルは、複数個のフレームから構成されるサブブロック毎に得られ、基底群は、複数個のサブブロックから構成されるブロック毎に得られる。これにより、時間変化量の大きさに応じ、段階的に異なる粒度の情報が符号化される。すなわち、時間変化量が大きな固有信号はフレームごとの粒度で復号が可能なように符号化され、時間変化量が小さなテンソルはサブブロックごとの粒度で復号が可能なように符号化される。さらに、テンソルから分離された時間変化量が比較的大きなコアテンソルはサブブロックごとの粒度で復号が可能なように符号化され、それよりも時間変化量が小さな基底群はブロックごろの粒度で復号が可能なように符号化される。これにより、源信号や源信号数や伝達特性に内在するパラメータの時間的、空間的な冗長性を削減することができ、マルチチャネル信号を効率的に符号化することができる。
【００１４】
また、波形信号である音響信号等の源信号成分は伝達特性に比べて時間方向や周波数方向の相関が強い場合が多く、線形予測等の予測を含む符号化方式を用いることが好ましい。そのため、固有信号の系列の符号化は、時間方向と周波数方向との少なくとも一方への予測を含む符号化方式に則って行われることが望ましい。一方、テンソルの系列の符号化は、時間方向への予測も周波数方向への予測も含まない符号化方式に則って行われることが望ましい。
【００１５】
固有信号の系列を符号化して得られる固有信号符号、およびテンソルの系列を符号化して得られるテンソル符号（例えば、コアテンソルを符号化して得られるコアテンソル符号と、基底群を符号化して得られる基底群符号とを含む）は、上記の符号化に対応する復号処理によって復号される。
【００１６】
以下に各実施形態を詳細に説明する。以降では、源信号が音響信号（オーディオ信号）であり、信号源が音源であり、センサがマイクロホンである場合について説明する。
【００１７】
［第１実施形態］
＜符号化装置＞
図１に例示するように、第１実施形態の符号化装置１１は、周波数変換部１１１、固有空間算出部１１２、固有信号符号化部１１３、およびテンソル符号化部１１４を有する。固有信号符号化部１１３は、周波数逆変換部１１３１、線形予測部１１３２、および符号化部１１３３を含む。テンソル符号化部１１４は、中心化部１１４１、固有空間算出部１１４２（第２固有空間算出部）、および符号化部１１４３，１１４４（コアテンソル符号化部，基底群符号化部）を含む。符号化装置１１は、例えば、ＣＰＵ（central processing unit）、ＲＡＭ（random-access memory）等から構成される汎用または専用のコンピュータに所定のプログラムが読み込まれることによって構成される装置である。
【００１８】
＜復号装置＞
図２に例示するように、第１実施形態の復号装置１２は、周波数逆変換部１２１、信号再構成部１２２、固有信号復号部１２３、およびテンソル復号部１２４を有する。固有信号復号部１２３は、周波数変換部１２３１、フィルタ処理部１２３２、および復号部１２３３を含む。テンソル復号部１２４は、加算部１２４１、テンソル再構成部１２４２、および復号部１２４３，１２４４（コアテンソル復号部，基底群復号部）を含む。復号装置１２は、例えば、ＣＰＵ、ＲＡＭ等から構成される汎用または専用のコンピュータに所定のプログラムが読み込まれることによって構成される装置である。
【００１９】
＜符号化処理＞
或る空間内に、既知または未知の単数個または複数個の音源と、Ｄ個のマイクロホン（例えば、マイクロホンアレー）とが存在し、当該音源から発せられた時系列信号である音源信号が、室内音響伝達特性を有する空間を経て当該Ｄ個のマイクロホンで観測されるとする。各マイクロホンでそれぞれ観測された観測信号から得られるデジタル観測信号を要素とするＤ次元の時間領域信号を「時間領域のマルチチャネル信号ｘｍｕｔ∈ＲＤ」と表現する。ここで、Ｄは２以上の整数（例えば、Ｄ＝６４）の定数であり、ｔは離散時間を表すインデックスであり、ｕは所定の時間区間であるフレームを表すインデックスであり、ｍは複数個のフレームから構成されるサブブロックを表すインデックスである。インデックスｔに対応する離散時間を「離散時間ｔ」と表記し、インデックスｕに対応するフレームを「フレームｕ」と表記し、インデックスｍに対応するサブブロックを「サブブロックｍ」と表記する。また、Ｒは実数集合を表し、ＲＤはＤ次元の実数集合を表し、α∈βはαがβに属することを表す。なお、各マイクロホンに対応する処理系統を「チャネル」と呼ぶことにする。
【００２０】
≪周波数変換部１１１≫
符号化装置１１（図１）の周波数変換部１１１は、時間領域のマルチチャネル信号ｘｍｕｔ∈ＲＤを入力とし、所定の時間区間であるフレームｎごとの時間領域のマルチチャネル信号ｘｍｕｔに対応するＤ次元の周波数領域の信号である「周波数領域のマルチチャネル信号Ｘｋｍｎ∈ＣＤ」を得て出力する。なお、ｎはフレームに対応するインデックスであり、インデックスｎに対応するフレームを「フレームｎ」と表記する。フレームｎの長さは、例えば、後述する初期反射音が含まれる時間（例えば、数百ミリ秒）とする。フレームｎはサブブロックｍに属するものとする。ｋは離散周波数（周波数ビン）に対応するインデックスであり、インデックスｋに対応する離散周波数を「離散周波数ｋ」と表記する。Ｃは複素数集合を表し、ＣＤはＤ次元の複素数集合を表す。なお、時間領域の信号の周波数領域の信号への変換方式に特に限定はなく、例えば、短時間フーリエ変換（STFT: short-time Fourier transform）や修正離散コサイン変換(MDCT: modified discrete cosine transform)等の周知の変換方式を用いることができる。
【００２１】
≪固有空間算出部１１２≫
固有空間算出部１１２は、周波数領域のマルチチャネル信号Ｘｋｍｎ∈ＣＤを入力とし、当該周波数領域のマルチチャネル信号Ｘｋｍｎに周波数毎の主成分分析（ＫＬ展開）を含む第一処理を行うことで、次元縮約された信号の系列である固有信号Ｓｋｍｎ∈Ｃｄの系列と、基底の系列であるテンソルＡｍ∈Ｃｉ１×ｉ２×ｉ３の系列とを得て出力する。この処理はサブブロックｍ単位で行われる。以下に、図４Ａから図４Ｃを用いてこの処理の具体例を示す。
【００２２】
サブブロックｍにＮ個のフレームｎ＝１，…，Ｎ（ただしＮ≧１、例えばＮ≧２）が含まれるとする。固有空間算出部１１２は、サブブロックｍ単位で離散周波数ｋごとに、主成分分析を含む第一処理によって、「行列ＤＮＸｋｍ」から「行列ＤｄＡｋｍ」と「行列ｄＮＳｋｍ」を求める。第一処理は、ＤＮＸｋｍ＝ＤｄＡｋｍ ｄＮＳｋｍの関係を満たすことを目標として行われる処理である（図４Ａ）。なお、「行列ＤＮＸｋｍ」は、Ｎ個のマルチチャネル信号Ｘｋｍ１，…，ＸｋｍＮ∈ＣＤを列ベクトルとするＤ行Ｎ列の行列であり、「行列ＤｄＡｋｍ」は、ｄ個のＤ次元直交基底Ａｋｍ１，…，Ａｋｍｄ∈ＣＤを列ベクトルとするＤ行ｄ列の行列であり、「行列ｄＮＳｋｍ」は、ｄ次元に次元縮約されたＮ個の固有信号Ｓｋｍ１，…，ＳｋｍＮ∈Ｃｄを列ベクトルとするｄ行Ｎ列の行列である。また、サブブロックの長さは、主成分分析を含む第一処理で十分な統計量が得られる長さを下限とし、符号へのビット割当ての都合上、全体的な符号化効率を鑑みて決定する（例えば、数秒）。
【００２３】
〔第一処理の例１〕
例えば、第一処理が主成分分析のみである場合、固有空間算出部１１２は、行列ＤＮＸｋｍに対応する共分散行列のＤ個の固有値から大きい順にｄ個の固有値を選択し、選択したｄ個の固有値に対応するｄ個の固有ベクトルを行ベクトルとするｄ行Ｄ列（ｄ×Ｄ）の行列ｄＤＭを求め、その共役転置行列｛ｄＤＭ｝Ｈを行列ＤｄＡｋｍとする。ただし、ｄは仮想音源数（直接音の個数＋初期反射音の個数）に相当するＤ以下の正整数（例えば、ｄ＝２）である。ｄは、（１）所定の閾値を越えた上記の固有値の個数（仮想音源数の推定値）であってもよいし、（２）予め人為的に定められた値であってもよい。（１）の場合では、離散周波数ごとに仮想音源数の推定値が相違するため、例えば、全離散周波数帯域で最大の推定値をｄとする。ｄが予め定められた値でない場合には、ｄを表す符号が復号装置１２に送られる。また、行列ｄＤＭと行列ＤＮＸｋｍとからｄＤＭ ＤＮＸｋｍを求めて行列ｄＮＳｋｍとする。
【００２４】
〔第一処理の例２〕
主成分分析と白色化処理とを第一処理としてもよい。この場合、固有空間算出部１１２は、〔第一処理の例１〕で説明した行列ｄＤＭを白色化した行列ｄＤＷ＝ｄｄΛｄＤＭに対する｛ｄＤＷ｝−１＝｛ｄｄΛｄＤＭ｝−１＝｛ｄＤＭ｝Ｈ｛ｄｄΛ｝−１を行列ＤｄＡｋｍとする。ただし、ｄｄΛは、上述のように選択されたｄ個の固有値λ１，…，λｄに対応する（λ１）−１／２，…，（λｄ）−１／２を対角成分とするｄ行ｄ列の対角行列である。また、行列ｄＤＭ と行列ＤＮＸｋｍとからｄＤＭ ＤＮＸｋｍを求めて行列ｄＮＳｋｍとする。 
【００２５】
〔第一処理の例３〕
主成分分析と白色化処理と独立成分分析（ICA: Independent Component Analysis）とを第一処理としてもよい。この場合、固有空間算出部１１２は、〔第一処理の例１〕で説明した行列ｄＤＭを白色化した行列ｄＤＭに分離フィルタＦを適用したｄＤＩ＝ＦｄｄΛｄＤＭに対する｛ｄＤＩ｝−１＝｛ＦｄｄΛｄＤＭ｝−１を行列ＤｄＡｋｍとする。また、行列ｄＤＭ と行列ＤＮＸｋｍとからｄＤＭ ＤＮＸｋｍを求めて行列ｄＮＳｋｍとする（第一処理の例の説明終わり）。
【００２６】
固有空間算出部１１２は、すべての離散周波数ｋ＝１，…，Ｋ（ただし、Ｋは離散周波数の総数、すなわち周波数ビン数を表す整数である。Ｋ≧１、例えばＫ≧２である。）に対応する行列ＤｄＡｋｍの集合（「マイクロホン数Ｄ」×「仮想音源数ｄ」のサイズを持つ行列ＤｄＡｋｍの集合、言い換えると、行列ＤｄＡ１ｍ，…，ＤｄＡＫｍを統合して得られるもの。〔第一処理の例１〕の場合には、各サブブロックｍにおける全離散周波数ｋ＝１，…，Ｋでの固有ベクトルの集合となる。）を、サブブロックｍに対応するテンソルＡｍ∈Ｃｉ１×ｉ２×ｉ３とみなす（図４Ｂ）。なお、集合｛ｉ１，ｉ２，ｉ３｝＝集合｛Ｄ，ｄ，Ｋ｝であり、例えば、ｉ１＝Ｄ，ｉ２＝ｄ，ｉ３＝Ｋであることが望ましい。固有空間算出部１１２は、各ブロックを構成するすべてのサブブロックｍ＝１，…，Ｍに対応するテンソルＡｍの系列Ａ１，…，ＡＭをテンソル符号化部１１４（図１）に送る（図４Ｃ）。各ブロックの長さは、後述する固有空間算出部１１４２での主成分分析を含む第二処理で十分な統計量が得られる長さを下限とし、符号へのビット割当ての都合上、全体的な符号化効率を鑑みて決定する（例えば、数十秒）。また、固有空間算出部１１２は、各ブロックを構成するすべてのサブブロックｍ＝１，…，Ｍ、およびすべての離散周波数ｋ＝１，…，Ｋに対応する固有信号Ｓｋｍ１，…，ＳｋｍＮの系列を固有信号符号化部１１３に送る。
【００２７】
≪固有信号符号化部１１３≫
固有信号符号化部１１３は、入力された固有信号Ｓｋｍ１，…，ＳｋｍＮの系列を符号化して固有信号符号Ｃｓを得て出力する。ここでは一例として、固有信号を時間領域信号に変換した後、線形予測符号化を行う例を示す。
【００２８】
≪周波数逆変換部１１３１≫
まず周波数逆変換部１１３１は、入力された全離散周波数ｋ＝１，…，Ｋの固有信号Ｓｋｍ１，…，ＳｋｍＮの系列を時間領域に変換し、各サブブロックｍで時間領域の固有信号ｓｍｎｔ∈Ｒｄの系列（ｎ＝１，…，Ｎ）を得て出力する。なお、時間領域への変換方式には限定はなく、周波数変換部１１１の処理の逆変換等、周波数領域の系列を時間領域の系列に変換できる方法であれば、どのような方法が用いられてもよい。時間領域への変換方式の例は、逆離散フーリエ変換（IDFT: inverse discrete Fourier transform）、短時間逆フーリエ変換（ISTFT: inverse short-time Fourier transform）、逆修正離散コサイン変換(IMDCT: inverse modified discrete cosine transform)等である。
【００２９】
≪線形予測部１１３２≫
線形予測部１１３２は、入力された時間領域の固有信号ｓｍｎｔ∈Ｒｄの系列を、サブブロック内で複数区間（区間長はビット割当ての都合上、全体的な符号化効率を鑑みて決定する）に分割し、それぞれの区間内の固有信号ｓｍｎｔに対して線形予測分析を適用し、各区間での合成フィルタを特定するための線形予測情報infoを得て出力する。合成フィルタを特定するための線形予測情報infoに特に限定はないが、例えば、線形予測部１１３２は、各区間の固有信号ｓｍｎｔに対応する線形予測係数を算出し、線形予測係数を線スペクトル対係数に変換し、当該線スペクトル対係数を量子化して得られる量子化済み線スペクトル対係数を線形予測情報infoとして出力する。また、それぞれの区間内の固有信号ｓｍｎｔを線形予測情報infoに対応する線形予測係数である量子化済み線形予測係数で予測して残差信号ｒを得て出力する。 
【００３０】
≪符号化部１１３３≫
符号化部１１３３は、入力された線形予測情報infoと残差信号ｒとを公知の符号化方式に則って符号化し、固有信号符号（ビット列）Ｃｓを得て出力する。
【００３１】
なお、上述した固有信号符号化部１１３での符号化方式は本発明を限定するものではなく、ロッシー符号化方式であってもロスレス符号化方式（エントロピー符号化）であってもよいし、何れかの符号化方式のうちのどのような符号化方式を用いるかは用途に応じて決定すればよい。例えば、線形予測部１１３２を省略し、「時間領域の固有信号ｓｍｎｔの系列」、もしくは、「時間領域の固有信号ｓｍｎｔの系列」の修正離散コサイン変換（ＭＤＣＴ）で得られたＭＤＣＴ係数を、符号化部１１３３の入力としても良い。ただし、固有信号符号化部１１３での符号化方式は、時間方向と周波数方向の少なくとも一方への予測を含む符号化方式であることが望ましく、例えば、時間方向への予測を含む符号化方式の他の例としてG.729符号化方式（例えば「ITU-T  G.729(03/96)：Coding of speech at 8 kbit/s using conjugate-structure algebraic-code-excited linear prediction (CS-ACELP)」等参照）を用いてもよいし、周波数方向への予測を含む符号化の例としてMPEG-4 TwinVQ符号化方式（例えば、「TwinVQ：International Standard: ISO/IEC 14496-3，Information technology-Coding of audio-visual objects-, Part 3: Audio」等参照）を用いてもよい。固有信号符号化部１１３での符号化方式が時間方向と周波数方向の少なくとも一方への予測を含む符号化方式であることが望ましい理由は、時間領域の固有信号が、時間領域の波形信号である源信号との相関が強いからである。なお、G.729符号化方式やMPEG-4 TwinVQ符号化方式はロッシー符号化方式の例である。エントロピー符号化方式としては、例えば、ライス符号化方式やハフマン符号化方式等を用いることができる。後述するその他のエントロピー符号化方式についても同様である。
【００３２】
≪テンソル符号化部１１４≫
テンソル符号化部１１４は、入力されたテンソルＡｍ∈Ｃｉ１×ｉ２×ｉ３の系列を符号化してテンソル符号（ＣＢ，ＣＵ）を得て出力する。ここでは一例として、テンソルＡｍに対応する系列に主成分分析を含む第二処理を適用し、次元縮約されたテンソルの系列であるコアテンソルの系列と、少なくとも一つの基底から構成される基底群とを得、当該コアテンソルの系列を符号化してコアテンソル符号を得、当該基底群を符号化して基底群符号を得る例を示す。コアテンソルの系列と基底群とは、別々に符号化される。また、本形態のテンソルの系列Ａｍの符号化は、時間方向への予測も周波数方向への予測も含まない符号化方式に則って行われる。
【００３３】
≪中心化部１１４１≫
中心化部１１４１は、入力されたテンソルＡｍの系列の標本平均Ｅ［Ａｍ］∈Ｃｉ１×ｉ２×ｉ３を計算し、入力されたテンソルＡｍの系列から当該標本平均Ｅ［Ａｍ］を減じた中心化後のテンソルｃＡｍ＝Ａｍ−Ｅ［Ａｍ］の系列（「テンソルＡｍに対応する系列」に相当）を計算し、中心化後のテンソルｃＡｍと標本平均Ｅ［Ａｍ］とを出力する。なお、標本平均Ｅ［Ａｍ］は、複数個のサブブロックごと（例えば、ブロックごと）のテンソルＡｍの平均である。例えば、ブロックごとのテンソルＡｍの平均が標本平均Ｅ［Ａｍ］である場合、Ｅ［Ａｍ］＝（Ａ１＋…＋ＡＭ）／Ｍである。
【００３４】
≪固有空間算出部１１４２≫
固有空間算出部１１４２は、入力された中心化後のテンソルｃＡｍ∈Ｃｉ１×ｉ２×ｉ３の系列に主成分分析を含む第二処理を適用し、次元縮約されたテンソルの系列であるコアテンソルＢｍの系列と、少なくとも一つの基底から構成される基底群Ｕとを得て出力する。「主成分分析を含む第二処理」の例は、主成分分析、一般化Ｘ次元主成分分析（Ｘは２以上の整数）、多重線形主成分分析などであるが、本形態では、「主成分分析を含む第二処理」として「一般化３次元主成分分析（Ｇ３Ｄ−ＰＣＡ）」を用い、「中心化後のテンソルｃＡｍ∈Ｃｉ１×ｉ２×ｉ３の系列」から、「コアテンソルＢｍ∈Ｃｊ１×ｊ２×ｊ３の系列」と「モード１の基底行列Ｕ（１）∈Ｃｉ１×ｊ１」と「モード２の基底行列Ｕ（２）∈Ｃｉ２×ｊ２」と「モード３の基底行列Ｕ（３）∈Ｃｉ３×ｊ３」とを得て出力する。すなわち、本形態の基底群Ｕは基底行列Ｕ（１），Ｕ（２），Ｕ（３）の３個の基底（すなわち、複数個の基底）からなる。基底行列は直交行列であり、ｊ１，ｊ２，ｊ３は、ｊ１≦ｉ１，ｊ２≦ｉ２，ｊ３≦ｉ３を満たす予め定められた正整数である（ｊ１＝ｉ１かつｊ２＝ｉ２かつｊ３＝ｉ３である場合を除く）。固有空間算出部１１４２は、この処理により、サブブロックｍごとにコアテンソルＢｍを得、ブロックごとに基底行列Ｕ（１），Ｕ（２），Ｕ（３）を得る。なお、一般化３次元主成分分析は、以下のコスト関数を最小化するように３個の基底行列Ｕ（１），Ｕ（２），Ｕ（３）を求め、さらにこれらの基底行列Ｕ（１），Ｕ（２），Ｕ（３）に対してこのコスト関数を最小化するコアテンソルＢｍ∈Ｃｊ１×ｊ２×ｊ３を求める手法である（図５参照）。ただし、||・||は・のノルムを表す。ただし、コスト関数における「×ｑ」はコアテンソルとモードｑの基底行列のｑ-モード積を表す。なお、ｑ-モード積の定義およびその演算方法は周知であり、その詳細は、例えば、「L. De Lathauwer, B. De Moor, and J. Vandewalle, “A multilinear singular value decomposition,” SIAM J. Matrix Anal. Appl., 21(2):1253{1278, 2000.」等に開示されている。
【数１】
2015129785.tif 000003
【００３５】
≪符号化部１１４３≫
符号化部１１４３は、入力されたコアテンソルＢｍの系列を公知の符号化方式に則って符号化し、コアテンソル符号（ビット列）ＣＢを得て出力する。  
【００３６】
≪符号化部１１４４≫
符号化部１１４４ｂは、入力された基底行列Ｕ（１），Ｕ（２），Ｕ（３）および標本平均Ｅ［Ａｍ］の系列を公知の符号化方式に則って符号化し、基底群符号（ビット列）ＣＵを得て出力する。
【００３７】
なお、上述したテンソル符号化部１１４での符号化方式は本発明を限定するものではなく、ロッシー符号化方式であってもロスレス符号化方式（エントロピー符号化）であってもよいし、何れかの符号化方式のうちのどのような符号化方式が用いられてもよい。ただし、テンソル符号化部１１４での符号化方式は、時間方向への予測も周波数方向への予測も含まない符号化方式であることが望ましい。その理由は、テンソルの系列Ａｍ、コアテンソルＢｍの系列、基底行列Ｕ（１），Ｕ（２），Ｕ（３）、標本平均Ｅ［Ａｍ］の系列、は何れも時間領域の波形信号である源信号との相関が低いからである。なお、符号化部１１４３での符号化方式は用途に応じて決定すればよく、符号化部１１４４の符号化方式としてはロッシー符号化方式よりはロスレス符号化方式を採用したほうが良い。
【００３８】
＜復号処理＞
復号装置１２（図２）には、固有信号符号Ｃｓ、ならびに、コアテンソル符号ＣＢおよび基底群符号ＣＵを含むテンソル符号（ＣＢ，ＣＵ）が入力される。復号装置１２は、テンソル符号（ＣＢ，ＣＵ）を復号して復号テンソルＡｍ’∈Ｃｉ１×ｉ２×ｉ３の系列を得、固有信号符号Ｃｓを復号して復号固有信号Ｓｋｍｎ’∈Ｃｄの系列を得、得られた復号テンソルの系列を基底の系列として、得られた復号固有信号の系列を適用して次元復元された復号マルチチャネル信号Ｘｋｍｎ’∈ＣＤの系列（複数チャネルの時系列信号に対応する周波数領域の復号マルチチャネル信号の系列）を得、その時間領域信号である復号マルチチャネル信号ｘｍｎｔ’∈ＲＤを出力する。例えば、復号装置１２は、符号化装置１１における固有空間算出部１１２でのテンソルＡｍの推定、固有空間算出部１１４２での「モード１の基底行列Ｕ（１）」と「モード２の基底行列Ｕ（２）」と「モード３の基底行列Ｕ（３）」の推定、「線形予測情報」の推定箇所を除く、すべての処理の逆演算を行うことで、復号マルチチャネル信号Ｘｋｍｎ’の系列を得て出力する。
【００３９】
≪固有信号復号部１２３≫
固有信号復号部１２３は、固有信号符号化部１１３での符号化処理に対応する復号処理によって、入力された固有信号符号Ｃｓを復号し、復号固有信号Ｓｋｍｎ’∈Ｃｄの系列を得て出力する。本形態の固有信号符号Ｃｓの復号は、時間方向または周波数方向への予測を含む復号方式に則って行われる。ここでは一例として、固有信号符号化部１１３で固有信号を時間領域信号に変換した後、線形予測符号化が行われた場合に対応する復号処理を例示する。
【００４０】
≪復号部１２３３≫
まず、復号部１２３３は、符号化部１１３３での符号化方式に対応する方式に則って、入力された固有信号符号Ｃｓを復号し、復号線形予測情報info’と復号残差信号ｒ’とを得て出力する。なお、復号線形予測情報info’と復号残差信号ｒ’は、符号化部１１３３に入力された線形予測情報infoと残差信号ｒのそれぞれと同じものである。
【００４１】
≪フィルタ処理部１２３２≫
フィルタ処理部１２３２は、入力された復号残差信号ｒ’に対して、復号線形予測情報info’によって定まる合成フィルタを適用することで、時間領域の復号固有信号ｓｍｎｔ’∈Ｒｄの系列を得て出力する。
【００４２】
≪周波数変換部１２３１≫
周波数変換部１２３１は、入力された時間領域の復号固有信号ｓｍｎｔ’をフレームｎごとに周波数領域に変換し、周波数領域の復号固有信号Ｓｋｍｎ’∈Ｃｄの系列を得て出力する。なお、周波数領域への変換方式に特に限定はなく、例えば、前述した周波数変換部１１１と同じ変換方式を用いることができる。
【００４３】
≪テンソル復号部１２４≫
テンソル復号部１２４は、テンソル符号化部１１４での符号化処理に対応する復号処理によって、入力されたテンソル符号（ＣＢ，ＣＵ）を復号し、復号テンソルＡｍ’∈Ｃｉ１×ｉ２×ｉ３の系列を得て出力する。本形態のテンソル符号（ＣＢ，ＣＵ）の復号は、時間方向への予測も周波数方向への予測も含まない復号方式に則って行われる。ここでは一例として、テンソル符号化部１１４でコアテンソルの系列と基底群とが別々に符号化された場合の復号処理を説明する。
【００４４】
≪復号部１２４３≫
復号部１２４３は、符号化部１１４３での符号化方式に対応する方式に則って、入力されたコアテンソル符号ＣＢを復号し、
サブブロックｍ毎に復号コアテンソルＢｍ’∈Ｃｊ１×ｊ２×ｊ３の系列を得て出力する。
【００４５】
≪復号部１２４４≫
復号部１２４４は、符号化部１１４４での符号化方式に対応する方式に則って、入力された基底群符号ＣＵを復号し、
少なくとも一つの基底から構成される復号基底群Ｕ’、および復号標本平均Ｅ［Ａｍ］’∈Ｃｉ１×ｉ２×ｉ３の系列を得て出力する。復号基底群Ｕ’はブロック毎に得られ、復号標本平均Ｅ［Ａｍ］’はサブブロックｍ毎に得られる。本形態では、復号基底群Ｕ’として「モード１の復号基底行列Ｕ（１）’∈Ｃｉ１×ｊ１」と「モード２の復号基底行列Ｕ（２）’∈Ｃｊ２×ｉ２」と「モード３の復号基底行列Ｕ（３）’∈Ｃｊ３×ｉ３」（複数個の基底から構成される復号基底群）が得られる。
【００４６】
≪テンソル再構成部１２４２≫
テンソル再構成部１２４２は、入力された「モード１の復号基底行列Ｕ（１）’」と「モード２の復号基底行列Ｕ（２）’」と「モード３の復号基底行列Ｕ（３）’」（復号基底群Ｕ’）に、入力された復号コアテンソルＢｍ’∈Ｃｊ１×ｊ２×ｊ３の系列を適用することで得られる中心化後の復号テンソルｃＡｍ’∈Ｃｉ１×ｉ２×ｉ３の系列を得て出力する。例えば、テンソル再構成部１２４２は、中心化後の復号テンソルｃＡｍ’＝Ｂｍ’ ×１ Ｕ（１）’ ×２ Ｕ（２）’ ×３Ｕ（３）’の系列を得て出力する。
【００４７】
≪加算部１２４１≫
加算部１２４１は、入力された中心化後の復号テンソルｃＡｍ’の系列と復号標本平均Ｅ［Ａｍ］’とを加算し、サブブロックｍ毎に復号テンソルＡｍ’∈Ｃｉ１×ｉ２×ｉ３の系列（中心化後の復号テンソルｃＡｍ’の系列に対応する系列）を得て出力する。すなわち、加算部１２４１は、Ａｍ’＝ｃＡｍ’＋Ｅ［Ａｍ］’の系列を出力する。
【００４８】
≪信号再構成部１２２≫
信号再構成部１２２は、入力された復号テンソルＡｍ’∈Ｃｉ１×ｉ２×ｉ３の系列に、入力された復号固有信号Ｓｋｍｎ’∈Ｃｄの系列を適用し、次元復元された復号マルチチャネル信号Ｘｋｍｎ’∈ＣＤの系列を得て出力する。すなわち、まず信号再構成部１２２は、復号テンソルＡｍ’を全離散周波数ｋ＝１，…，Ｋに対応するＤ×ｄのサイズ（＝マイクロホン数Ｄ×仮想音源数ｄのサイズ）を持つ行列ＤｄＡｋｍ’の集合｛ＤｄＡ１ｍ’，…，ＤｄＡＫｍ’｝に分解する（図４Ｂ参照）。次に、信号再構成部１２２は、入力された行列ＤｄＡｋｍ（前述の〔第一処理の例１〕の場合には、各サブブロックｍにおける固有ベクトルからなる行列）の系列に、復号固有信号Ｓｋｍｎ’をｎ列目（ｎ＝１，…，Ｎ）の列ベクトルとするｄ行Ｎ列の行列ｄＮＳｋｍ’の系列を掛け合わせ、Ｄ行Ｎ列の行列ＤＮＸｋｍ’＝ＤｄＡｋｍ’ ｄＮＳｋｍ’の系列を得る。信号再構成部１２２は、得られた行列ＤＮＸｋｍ’を構成する各ｎ列目（ｎ＝１，…，Ｎ）のＤ次元の列ベクトルＸｋｍｎ’の系列を、各フレームｎの復号マルチチャネル信号Ｘｋｍｎ’の系列として出力する（図４Ａ参照）。
【００４９】
≪周波数逆変換部１２１≫
周波数逆変換部１２１は、入力された復号マルチチャネル信号Ｘｋｍ１’，…，ＸｋｍＮ’の系列を時間領域に変換し、各サブブロックｍのフレームｎ＝１，…，Ｎでの時間領域の復号マルチチャネル信号ｘｍ１ｔ’，…，ｘｍＮｔ’∈ＲＤの系列を得て出力する。なお、時間領域への変換方式には限定はなく、例えば、周波数逆変換部１１３１と同じ変換方式を用いることができる。
【００５０】
なお、上述した固有信号復号部１２３での復号方式やテンソル復号部１２４での復号方式は本発明を限定するものではなく、符号化装置１１の固有信号符号化部１１３やテンソル符号化部１１４の符号化方式に対応する復号方式であれば、どのような復号方式が用いられてもよい。ただし、固有信号復号部１２３での復号方式の復号方式は、時間方向と周波数方向の少なくとも一方への予測を含む復号方式であることが望ましく、テンソル復号部１２４での復号方式は、時間方向への予測も周波数方向への予測も含まない復号方式であることが望ましい。
【００５１】
［第２実施形態］
本形態は第１実施形態の変形例であり、「主成分分析を含む第二処理」として「一般化３次元主成分分析（Ｇ３Ｄ−ＰＣＡ）」を用いることに代えて「１次元の主成分分析（ＰＣＡ）」を用いる形態である。以下では、これまで説明した事項との相違点を中心に説明し、既に説明した事項については既述した参照符号を用いて説明を省略する。
【００５２】
＜符号化装置＞
図１に例示するように、第２実施形態の符号化装置２１は、周波数変換部１１１、固有空間算出部１１２、固有信号符号化部１１３、およびテンソル符号化部２１４を有する。テンソル符号化部２１４は、中心化部１１４１、固有空間算出部２１４２（第２固有空間算出部）、および符号化部２１４３，２１４４（コアテンソル符号化部，基底群符号化部）を含む。
【００５３】
＜復号装置＞
図２に例示するように、第２実施形態の復号装置２２は、周波数逆変換部１２１、信号再構成部１２２、固有信号復号部１２３、およびテンソル復号部２２４を有する。テンソル復号部２２４は、加算部１２４１、テンソル再構成部２２４２、および復号部２２４３，２２４４（コアテンソル復号部，基底群復号部）を含む。
【００５４】
＜符号化処理＞
第１実施形態との相違点であるテンソル符号化部２１４の固有空間算出部２１４２、および符号化部２１４３，２１４４の処理のみを説明する。
≪固有空間算出部２１４２≫
固有空間算出部２１４２は、入力された中心化後のテンソルｃＡｍ∈Ｃｉ１×ｉ２×ｉ３を構成する「ｉ１次元ベクトルの系列」に１次元の主成分分析（ＰＣＡ）を適用し、それぞれに対応する「コアベクトル（コアテンソル）１Ｂｍ∈Ｃｊ１の系列」と「モード１の基底行列（基底群）１Ｕ（１）∈Ｃｉ１×ｊ１」とを得て出力する（図６Ａ）。ｉ１は、Ｄであってもよいし、ｄであってもよいし、Ｋであってもよい。例えば、ｉ１＝Ｄである場合、「中心化後のテンソルｃＡｍ∈Ｃｉ１×ｉ２×ｉ３を構成するｉ１次元ベクトルの系列」は、各（ｋ，ｑ）の組についての中心化後のベクトル（Ｄ次元直交基底）ｃＡｋｍｑ∈ＣＤ（ただし、ｑ＝１，…，ｄ）の系列である。以下ではｉ１＝Ｄである場合を例にとって説明する。この場合、固有空間算出部２１４２は、以下のコスト関数を最小化するように基底行列１Ｕ（１）を求め、さらにこの基底行列１Ｕ（１）に対してこのコスト関数を最小化するコアベクトル１Ｂｍ∈Ｃｊ１を求める（図６Ａ参照）。なお、基底行列１Ｕ（１）は、ブロックごとに各（ｋ，ｑ）の組についてそれぞれ得られ、コアベクトル１Ｂｍは、サブブロックｍごとに各（ｋ，ｑ）の組についてそれぞれ得られる。
【数２】
2015129785.tif 000004
【００５５】
≪符号化部２１４３≫
符号化部２１４３は、入力されたコアベクトル１Ｂｍの系列を公知の符号化方式に則って符号化し、コアテンソル符号（ビット列）ＣＢを得て出力する。
【００５６】
≪符号化部２１４４≫
符号化部２１４４は、入力された基底行列１Ｕ（１）および標本平均Ｅ［Ａｍ］の系列を公知の符号化方式に則って符号化し、基底群符号（ビット列）ＣＵを得て出力する。
【００５７】
なお、上述したテンソル符号化部２１４での符号化方式は本発明を限定するものではなく、ロッシー符号化方式であってもロスレス符号化方式（エントロピー符号化）であってもよいし、何れかの符号化方式のうちのどのような符号化方式が用いられてもよい。ただし、テンソル符号化部２１４での符号化方式は、時間方向への予測も周波数方向への予測も含まない符号化方式であることが望ましい。その理由は、テンソルの系列Ａｍ、コアベクトル１Ｂｍの系列、基底行列１Ｕ（１）、標本平均Ｅ［Ａｍ］の系列、は何れも時間領域の波形信号である源信号との相関が低いからである。なお、符号化部２１４３での符号化方式は用途に応じて決定すればよく、符号化部２１４４の符号化方式としてはロッシー符号化方式よりはロスレス符号化方式を採用したほうが良い。
【００５８】
＜復号処理＞
第１実施形態との相違点であるテンソル復号部２２４のテンソル再構成部２２４２、および復号化部２２４３，２２４４の処理のみを説明する。
【００５９】
≪復号部２２４３≫
復号部２２４３は、符号化部２１４３での符号化方式に対応する方式に則って、入力されたコアテンソル符号ＣＢを復号し、サブブロックｍ毎に各（ｋ，ｑ）の組について復号コアベクトル（復号コアテンソル）１Ｂｍ’∈Ｃｊ１の系列を得て出力する。
【００６０】
≪復号部２２４４≫
復号部２２４４は、符号化部２１４４での符号化方式に対応する方式に則って、入力された基底群符号ＣＵを復号し、各（ｋ，ｑ）の組についての復号基底行列（復号基底群）１Ｕ（１）’∈Ｃｉ１×ｊ１、および復号標本平均Ｅ［Ａｍ］’∈Ｃｉ１×ｉ２×ｉ３の系列を得て出力する。
【００６１】
≪テンソル再構成部２２４２≫
テンソル再構成部２２４２は、入力された「復号基底行列１Ｕ（１）’∈Ｃｉ１×ｊ１」に、入力された復号コアベクトル１Ｂｍ’∈Ｃｊ１の系列を適用することで得られる中心化後の復号テンソルｃＡｍ’∈Ｃｉ１×ｉ２×ｉ３の系列を得て出力する。例えば、テンソル再構成部２２４２は、サブブロックｍごとに、すべての（ｋ，ｑ）についての中心化後の復号ベクトルｃＡｋｍｑ＝１Ｂｍ’ ×１ １Ｕ（１）’を統合し、サブブロックｍごとの中心化後の復号テンソルｃＡｍ’の系列を得て出力する。
【００６２】
なお、上述したテンソル復号部２２４での復号方式は本発明を限定するものではなく、符号化装置２１のテンソル符号化部２１４の符号化方式に対応する復号方式であれば、どのような復号方式が用いられてもよい。
【００６３】
［第３実施形態］
本形態は第１実施形態の変形例であり、「主成分分析を含む第二処理」として「一般化３次元主成分分析（Ｇ３Ｄ−ＰＣＡ）」を用いることに代えて「一般化２次元主成分分析（Ｇ２Ｄ−ＰＣＡ）」を用いる形態である。以下では、これまで説明した事項との相違点を中心に説明し、既に説明した事項については既述した参照符号を用いて説明を省略する。
【００６４】
＜符号化装置＞
図１に例示するように、第３実施形態の符号化装置３１は、周波数変換部１１１、固有空間算出部１１２、固有信号符号化部１１３、およびテンソル符号化部３１４を有する。テンソル符号化部３１４は、中心化部１１４１、固有空間算出部３１４２（第２固有空間算出部）、および符号化部３１４３，３１４４（コアテンソル符号化部，基底群符号化部）を含む。
【００６５】
＜復号装置＞
図２に例示するように、第３実施形態の復号装置３２は、周波数逆変換部１２１、信号再構成部１２２、固有信号復号部１２３、およびテンソル復号部３２４を有する。テンソル復号部３２４は、加算部１２４１、テンソル再構成部３２４２、および復号部３２４３，３２４４（コアテンソル復号部，基底群復号部）を含む。
【００６６】
＜符号化処理＞
第１実施形態との相違点であるテンソル符号化部３１４の固有空間算出部３１４２、および符号化部３１４３，３１４４の処理のみを説明する。
≪固有空間算出部３１４２≫
固有空間算出部３１４２は、入力された中心化後のテンソルｃＡｍ∈Ｃｉ１×ｉ２×ｉ３を構成する「ｉ１×ｉ２行列の系列」に一般化２次元主成分分析（Ｇ２Ｄ−ＰＣＡ）を適用し、それぞれに対応する「コア行列（コアテンソル）２Ｂｍ∈Ｃｊ１×ｊ２の系列」、ならびに「モード１の基底行列２Ｕ（１）∈Ｃｉ１×ｊ１」および「モード２の基底行列２Ｕ（２）∈Ｃｉ２×ｊ２」（基底群）を得て出力する（図６Ｂ）。ｉ１は、Ｄであってもよいし、ｄであってもよいし、Ｋであってもよい。また、ｉ２は、ｉ１＝Ｄであれば、ｄであってもよいし、Ｋであってもよい。例えば、ｉ１＝Ｄかつｉ２＝Ｋである場合、「中心化後のテンソルｃＡｍ∈Ｃｉ１×ｉ２×ｉ３を構成するｉ１×ｉ２行列の系列」は、各ｑについての中心化後のＤ次元直交基底ｃＡｋｍｑ∈ＣＤをｋ列目の列ベクトルとする、中心化後のＤ×Ｋ行列ｃＡｍｑ∈ＣＤ×Ｋ（ただし、ｑ＝１，…，ｄ）の系列である。以下ではｉ１＝Ｄかつｉ２＝Ｋである場合を例にとって説明する。この場合、固有空間算出部３１４２は、以下のコスト関数を最小化するように基底行列２Ｕ（１），２Ｕ（２）を求め、さらにこれらの基底行列２Ｕ（１），２Ｕ（２）に対してこのコスト関数を最小化するコア行列２Ｂｍ∈Ｃｊ１×ｊ２を求める（図６Ｂ参照）。なお、基底行列２Ｕ（１），２Ｕ（２）は、ブロックごとに各ｑについてそれぞれ得られ、コア行列２Ｂｍは、サブブロックｍごとに各ｑについてそれぞれ得られる。
【数３】
2015129785.tif 000005
【００６７】
≪符号化部３１４３≫
符号化部３１４３は、入力されたコア行列２Ｂｍの系列を公知の符号化方式に則って符号化し、コアテンソル符号（ビット列）ＣＢを得て出力する。
【００６８】
≪符号化部３１４４≫
符号化部３１４４は、入力された基底行列２Ｕ（１），２Ｕ（２）および標本平均Ｅ［Ａｍ］の系列を公知の符号化方式に則って符号化し、基底群符号（ビット列）ＣＵを得て出力する。
【００６９】
なお、上述したテンソル符号化部３１４での符号化方式は本発明を限定するものではなく、ロッシー符号化方式であってもロスレス符号化方式（エントロピー符号化）であってもよいし、何れかの符号化方式のうちのどのような符号化方式が用いられてもよい。ただし、テンソル符号化部３１４での符号化方式は、時間方向への予測も周波数方向への予測も含まない符号化方式であることが望ましい。その理由は、テンソルの系列Ａｍ、コアベクトル２Ｂｍの系列、基底行列２Ｕ（１），２Ｕ（２）、標本平均Ｅ［Ａｍ］の系列、は何れも時間領域の波形信号である源信号との相関が低いからである。なお、符号化部３１４３での符号化方式は用途に応じて決定すればよく、符号化部３１４４の符号化方式としてはロッシー符号化方式よりはロスレス符号化方式を採用したほうが良い。
【００７０】
＜復号処理＞
第１実施形態との相違点であるテンソル復号部３２４のテンソル再構成部３２４２、および復号部３２４３，３２４４の処理のみを説明する。
【００７１】
≪復号部３２４３≫
復号部３２４３は、符号化部３１４３での符号化方式に対応する方式に則って、入力されたコアテンソル符号ＣＢを復号し、サブブロックｍ毎に各ｑについて復号コア行列（復号コアテンソル）２Ｂｍ’∈Ｃｊ１×ｊ２の系列を得て出力する。
【００７２】
≪復号部３２４４≫
復号部３２４４は、符号化部３１４４での符号化方式に対応する方式に則って、入力された基底群符号ＣＵを復号し、各ｑについての復号基底行列２Ｕ（１）’∈Ｃｉ１×ｊ１，２Ｕ（２）’∈Ｃｊ２×ｉ２（復号基底群）、および復号標本平均Ｅ［Ａｍ］’∈Ｃｉ１×ｉ２×ｉ３の系列を得て出力する。
【００７３】
≪テンソル再構成部３２４２≫
テンソル再構成部３２４２は、入力された「復号基底行列２Ｕ（１）’，２Ｕ（２）’」に、入力された復号コア行列２Ｂｍ’∈Ｃｊ１×ｊ２の系列を適用することで得られる中心化後の復号テンソルｃＡｍ’∈Ｃｉ１×ｉ２×ｉ３の系列を得て出力する。例えば、テンソル再構成部３２４２は、すべてのｑについての中心化後の復号行列ｃＡｋｍ＝２Ｂｍ’ ×１  ２Ｕ（１）’ ×２２Ｕ（２）’を統合し、サブブロックｍごとの中心化後の復号テンソルｃＡｍ’の系列を得て出力する。
【００７４】
なお、上述したテンソル復号部３２４での復号方式は本発明を限定するものではなく、符号化装置３１のテンソル符号化部３１４の符号化方式に対応する復号方式であれば、どのような復号方式が用いられてもよい。
【００７５】
［第４実施形態］
本形態は第１実施形態の変形例であり、固有空間算出部の処理で生じる誤差も符号化し、符号化装置全体としてロスレス符号化を実現するものである。以下では、これまで説明した事項との相違点を中心に説明し、既に説明した事項については既述した参照符号を用いて説明を省略する。
【００７６】
＜符号化装置＞
図７に例示するように、第４実施形態の符号化装置４１は、周波数変換部１１１、固有空間算出部４１２、固有信号符号化部１１３、テンソル符号化部４１４、および誤差符号化部４１５を有する。固有信号符号化部１１３は、周波数逆変換部１１３１、線形予測部１１３２、および符号化部１１３３を含む。テンソル符号化部４１４は、中心化部１１４１、固有空間算出部４１４２、符号化部１１４３，１１４４および誤差符号化部４１４５を含む。
【００７７】
＜復号装置＞
図８に例示するように、第４実施形態の復号装置４２は、周波数逆変換部１２１、信号再構成部４２２、固有信号復号部１２３、テンソル復号部４２４、および誤差復号部４２５を有する。固有信号復号部１２３は、周波数変換部１２３１、フィルタ処理部１２３２、および復号部１２３３を含む。テンソル復号部４２４は、加算部１２４１、テンソル再構成部１２４２、復号部１２４３，１２４４、および誤差復号部４２４５を含む。
【００７８】
＜符号化処理＞
第１実施形態との実質的な相違点である固有空間算出部４１２、誤差符号化部４１５、固有空間算出部４１４２、誤差符号化部４１４５を中心に説明する。
【００７９】
≪固有空間算出部４１２≫
固有空間算出部４１２は、まず、固有空間算出部１１２と同様に、周波数領域のマルチチャネル信号Ｘｋｍｎ∈ＣＤを入力とし、当該周波数領域のマルチチャネル信号Ｘｋｍｎに周波数毎の主成分分析（ＫＬ展開）を含む第一処理を行うことで、次元縮約された信号の系列である固有信号Ｓｋｍｎ∈Ｃｄの系列と、基底の系列であるテンソルＡｍ∈Ｃｉ１×ｉ２×ｉ３の系列とを得て出力する。固有空間算出部４１２は、さらに、ＤＮＸｋｍとＤｄＡｋｍ ｄＮＳｋｍとの差分である誤差ＤＮｅ１ｋｍの系列も得て出力する。
【００８０】
≪誤差符号化部４１５≫
誤差符号化部４１５は、入力された誤差ＤＮｅ１ｋｍの系列を公知のエントロピー符号化方式に則って符号化し、誤差信号符号Ｃｅ１を得て出力する。
【００８１】
≪固有空間算出部４１４２≫
固有空間算出部４１４２は、まず、固有空間算出部１１４２と同様に、コアテンソルＢｍの系列と、少なくとも一つの基底から構成される基底群Ｕとを得て出力する。固有空間算出部４１４２は、さらに、ｃＡｍとＢｍ ×１Ｕ（１） ×２ Ｕ（２） ×３ Ｕ（３）との差分である誤差ｅ２の系列も得て出力する。
【００８２】
≪誤差符号化部４１４５≫
誤差符号化部４１４５は、入力された誤差ｅ２の系列を公知のエントロピー符号化方式に則って符号化し、誤差信号符号Ｃｅ２を得て出力する。
【００８３】
なお、第４実施形態の符号化装置４１の符号化部１１３３、１１４３，１１４４で用いる符号化方式はロスレス符号化方式（エントロピー符号化方式）とする。
【００８４】
＜復号処理＞
第１実施形態との実質的な相違点である誤差復号部４２５，４２４５、テンソル再構成部４２４２、信号再構成部４２２を中心に説明する。
≪誤差復号部４２４５≫
誤差復号部４２４５は、誤差符号化部４１４５でのエントロピー符号化方式に対応する復号方式に則って、入力された誤差信号符号Ｃｅ２を復号し、復号誤差ｅ２’の系列を得て出力する。
【００８５】
≪テンソル再構成部４２４２≫
テンソル再構成部４２４２は、テンソル再構成部１２４２と同様に、入力された「モード１の復号基底行列Ｕ（１）’」と「モード２の復号基底行列Ｕ（２）’」と「モード３の復号基底行列Ｕ（３）’」（復号基底群Ｕ’）に、入力された復号コアテンソルＢｍ’∈Ｃｊ１×ｊ２×ｊ３の系列を適用する。本形態では、これによって得られる系列を「第２復号テンソルｃＡｍ’’∈Ｃｉ１×ｉ２×ｉ３の系列」とする。テンソル再構成部４２４２は、さらに、当該第２復号テンソルｃＡｍ’’の系列と入力された復号誤差ｅ２’の系列との和を、中心化後の復号テンソルｃＡｍ’∈Ｃｉ１×ｉ２×ｉ３の系列として得て出力する。例えば、テンソル再構成部４２４２は、Ｂｍ’ ×１ Ｕ（１）’ ×２Ｕ（２）’ ×３ Ｕ（３）’の系列と復号誤差ｅ２’の系列との和の系列を、中心化後の復号テンソルｃＡｍ’の系列として得て出力する。
【００８６】
≪誤差復号部４２５≫
誤差復号部４２５は、誤差符号化部４１５でのエントロピー符号化方式に対応する復号方式に則って、入力された誤差信号符号Ｃｅ１を復号し、復号誤差ｅ１’の系列を得て出力する。
【００８７】
≪信号再構成部４２２≫
信号再構成部４２２は、まず、信号再構成部１２２と同様に、入力された復号テンソルＡｍ’∈Ｃｉ１×ｉ２×ｉ３の系列に、入力された復号固有信号Ｓｋｍｎ’∈Ｃｄの系列を適用する。本形態では、これによって得られる系列を「次元復元された第２復号マルチチャネル信号Ｘｋｍｎ’’∈ＣＤの系列」とする。信号再構成部４２２は、さらに、当該第２復号マルチチャネル信号Ｘｋｍｎ’’の系列と入力された復号誤差ｅ１’の系列との和の系列を、次元復元された復号マルチチャネル信号Ｘｋｍｎ’∈ＣＤの系列として得て出力する。
【００８８】
［その他の変形例等］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述した一般化２次元主成分分析や一般化３次元主成分分析に代えて、多重線形主成分分析を用いてもよい。また、固有信号符号化部１１３およびテンソル符号化部１１４，２１４，３１４の符号化方式、ならびに固有信号復号部１２３およびテンソル復号部１２４，２２４，３２４の復号方式は、上述の実施形態の方式に限定されない。また、各実施形態では、テンソルの系列からテンソルの系列の標本平均を減じた中心化後のテンソルの系列を符号化する方法を例示した。しかしながら、テンソルの系列を中心化することなく符号化してもよいし、テンソルの系列に対し、中心化に加えてその他の処理を行って得られた系列を符号化してもよい。また、各実施形態では、各サブブロックにＮ個のフレームが含まれることとした。しかしながら、サブブロックに属するフレームの個数は固定であっても固定でなくてもよく、また、サブフレームごとに異なる個数のフレームが含まれてもよい。上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００８９】
上述の構成をコンピュータによって実現する場合、各部が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータ（ハードウェアプロセッサ）で実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【００９０】
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００９１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【００９２】
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
【符号の説明】
【００９３】
１１，２１，３１  符号化装置
１２，２２，３２  復号装置
【図１】
2015129785.tif 000006
【図２】
2015129785.tif 000007
【図３】
2015129785.tif 000008
【図４】
2015129785.tif 000009
【図５】
2015129785.tif 000010
【図６】
2015129785.tif 000011
【図７】
2015129785.tif 000012
【図８】
2015129785.tif 000013