(57)【要約】マルチチャネル信号をもとに、ステレオ信号を生成するオーディオエンコーダであって、ダウンミックス部１００は、２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスする。第１符号化部１０１は、ダウンミックスされたステレオ信号を符号化し、第１符号化信号を生成する。第２符号化部１０２は、ダウンミックスされたステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成する。符号量算出部１０３は、第２符号化信号の符号量を算出する。第１多重化部１０４は、第１符号化信号または第２符号化信号とのいずれかと、算出された符号量とを多重化する。これにより、デコーダは、上記符号量に基づいてマルチチャネル信号の符号化信号を簡単に抜き取れるので、ダウンミックス信号のみを再生するデコーダを安価に構成することができる。【特許請求の範囲】
【請求項１】
２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスするダウンミックス手段と、
前記ダウンミックスされたステレオ信号を符号化し、第１符号化信号を生成する第１符号化手段と、
前記ダウンミックスされたステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成する第２符号化手段と、
前記第２符号化信号の符号量を算出する符号量算出手段と、
前記第１符号化信号、前記第２符号化信号および算出された前記符号量を表す信号を多重化する多重化手段と
を備えることを特徴とするオーディオエンコーダ。
【請求項２】
前記多重化手段は、
前記符号量算出手段で算出された符号量と、前記第２符号化信号とを多重化する第１多重化部と、
前記第１符号化信号と、前記符号量が多重化された前記第２符号化信号とを多重化する第２多重化部と
を備えることを特徴とする請求項１記載のオーディオエンコーダ。
【請求項３】
前記第１多重化部は、前記符号量算出手段で算出された前記符号量を、前記第２符号化信号の先頭に配置して多重化する
ことを特徴とする請求項２記載のオーディオエンコーダ。
【請求項４】
前記第１多重化部は、前記符号量算出手段で算出された前記符号量を、前記第２符号化信号の開始を識別する記号の直後に配置するように多重化する
ことを特徴とする請求項２記載のオーディオエンコーダ。
【請求項５】
前記第１多重化部は、前記符号量算出手段で算出された前記符号量を可変長で記述し、前記第２符号化信号に多重化する
ことを特徴とする請求項２記載のオーディオエンコーダ。
【請求項６】
前記ダウンミックス手段は、前記マルチチャネル信号に頭部伝達関数を用いた演算を行い、ダウンミックス処理を行う
ことを特徴とする請求項１記載のオーディオエンコーダ。
【請求項７】
前記ダウンミックス手段は、周波数軸上で、前記マルチチャネル信号に頭部伝達関数を用いた演算を行う
ことを特徴とする請求項６に記載のオーディオエンコーダ。
【請求項８】
前記第２符号化信号は無効なデータを含み、
前記符号量算出手段は、前記無効なデータを含む前記第２符号化信号の符号量を算出する
ことを特徴とする請求項１記載のオーディオエンコーダ。
【請求項９】
符号化信号を復号化するオーディオデコーダであって、
２チャネルを超えるマルチチャネル信号からダウンミックスされた２チャネルのステレオ信号が符号化されて得られる第１符号化信号と、前記ステレオ信号からマルチチャネル信号を生成するための情報が符号化されて得られたものである第２符号化信号と、前記第２符号化信号の符号量を表す信号とを含む符号化信号を取得する取得手段と、
取得された前記符号化信号を復号化してステレオ信号を出力する復号化手段と
を備えることを特徴とするオーディオデコーダ。
【請求項１０】
前記復号化手段は、
取得された前記符号化信号から、前記第１符号化信号を読み出す第１符号化信号読み出し部と、
前記第２符号化信号の符号量を表す信号を、前記符号化信号から読み出す符号量読み出し部と、
前記第１符号化信号読み出し部によって読み出された前記第１符号化信号を復号化して、前記ステレオ信号を出力する第１復号化部とを備え、
前記第１符号化信号読み出し部は、前記符号量読み出し部によって読み出された前記符号量に基づいて、第２符号化信号を読み飛ばす
ことを特徴とする請求項９記載のオーディオデコーダ。
【請求項１１】
前記第１符号化信号は、頭部伝達関数を用いた演算によりあらかじめ仮想サラウンド効果が付与されたステレオ信号が符号化されたものであり、
前記第１復号化部は、仮想サラウンド効果の付与されたステレオ信号を出力する  ことを特徴とする請求項１０記載のオーディオデコーダ。
【請求項１２】
取得された前記符号化信号から読み出される前記第２符号化信号の符号量を表す信号は、無効なデータを含む前記第２符号化信号の符号量を表す信号である
ことを特徴とする請求項９記載のオーディオデコーダ。
【請求項１３】
前記復号化手段は、さらに、
取得された前記符号化信号から、前記第１符号化信号を読み出す第１符号化信号読み出し部と、
前記第１符号化信号読み出し部によって読み出された前記第１符号化信号を復号化して、前記ステレオ信号を出力する第１復号化部と、
前記第２符号化信号を前記符号化信号から読み出す第２符号化信号読み出し部と、
読み出された前記第１符号化信号と前記第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部と、
前記復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施し、仮想サラウンド効果が付与されたステレオ信号を出力するフィルタ部と、
前記第１復号化部から出力される前記ステレオ信号と、前記フィルタ部から出力される前記仮想サラウンド効果が付与された前記ステレオ信号とのいずれかを選択する選択部とを備える
ことを特徴とする請求項９記載のオーディオデコーダ。
【請求項１４】
前記第１復号化部は、前記ステレオ信号の周波数軸信号を生成し、
前記フィルタ部は、前記ステレオ信号の周波数軸信号から復元されたマルチチャネル信号の周波数軸信号に対し、頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、前記周波数軸信号を時間軸信号に変換する
ことを特徴とする請求項１３記載のオーディオデコーダ。
【請求項１５】
前記オーディオデコーダは、さらに、
少なくとも前記第２復号化部を駆動する為の電力を供給する電力供給部を備え、
前記選択部は、前記電力供給部からの電力供給量が所定の値を下回った場合、前記第１復号化部からのステレオ信号を選択する
ことを特徴とする請求項１４記載のオーディオデコーダ。
【請求項１６】
２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスし、
ダウンミックスされた前記ステレオ信号を符号化し、第１符号化信号を生成し、
ダウンミックスされた前記ステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成し、
前記第２符号化信号の符号量を算出し、
前記第１符号化信号、前記第２符号化信号および算出された符号量を表す信号を多重化する
ことを特徴とするオーディオ符号化方法。
【請求項１７】
符号化信号を復号化するオーディオ復号化方法であって、
２チャネルを超えるマルチチャネル信号からダウンミックスされた２チャネルのステレオ信号が符号化されて得られる第１符号化信号と、前記ステレオ信号からマルチチャネル信号を生成するための情報が符号化されて得られたものである第２符号化信号と、前記第２符号化信号の符号量を表す信号とを含む符号化信号を取得し、
取得された前記符号化信号を復号化してステレオ信号を出力する
ことを特徴とするオーディオ復号化方法。
【請求項１８】
オーディオエンコーダのためのプログラムであって、コンピュータを
２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスするダウンミックス手段と、前記ダウンミックスされたステレオ信号を符号化し、第１符号化信号を生成する第１符号化手段と、前記ダウンミックスされたステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成する第２符号化手段と、前記第２符号化信号の符号量を算出する符号量算出手段と、前記第１符号化信号、前記第２符号化信号および算出された前記符号量を表す信号を多重化する多重化手段との各手段として機能させるプログラム。
【請求項１９】
符号化信号を復号化するオーディオデコーダのためのプログラムであって、コンピュータを
２チャネルを超えるマルチチャネル信号からダウンミックスされた２チャネルのステレオ信号が符号化されて得られる第１符号化信号と、前記ステレオ信号からマルチチャネル信号を生成するための情報が符号化されて得られたものである第２符号化信号と、前記第２符号化信号の符号量を表す信号とを含む符号化信号を取得する取得手段と、取得された前記符号化信号を復号化してステレオ信号を出力する復号化手段との各手段として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、マルチチャネル信号を符号化するオーディオエンコーダに関する。特に、エンコードされたマルチチャネル信号を安価なデコーダで再生できるような符号化信号を生成するオーディオエンコーダに関する。【０００２】  また、本発明は、そのようなオーディオエンコーダでエンコードされた符号化信号をデコードするオーディオデコーダに関する。特にマルチチャネル信号を２チャネルで再生するようなオーディオデコーダに関する。
【背景技術】
【０００３】  従来から、マルチチャネル信号を安価な再生装置、とりわけ２チャネルの再生装置で再生することができるような符号化信号を生成するオーディオエンコーダの研究開発が行われている。例えば、ＭＰＥＧ２オーディオ規格（ＩＳＯ１３８１８−３）では、マルチチャネル信号を２チャネルにダウンミックスした信号と、当該ダウンミックスされた信号をマルチチャネル信号に戻すための信号とを分けて、それぞれ第１符号化信号、第２符号化信号として符号化し、安価なデコーダでは上記第１符号化信号のみを復号化することができる技術が開示されている（非特許文献１参照）。
【非特許文献１】ＭＰＥＧ２オーディオ規格（ＩＳＯ１３８１８−３）
【発明の開示】
【発明が解決しようとする課題】
【０００４】  しかしながら、ＭＰＥＧ２オーディオ規格では、上記第１符号化信号と、上記第２符号化信号とを分離することが容易ではないという課題があった。【０００５】  図１は、ＭＰＥＧ２オーディオ規格における符号化信号（ビットストリーム）の構造を示したものである。図１において、フレームヘッダ情報９００は、１１５２サンプルごとに符号化された１フレームの符号化情報の開始位置を示している。第１符号化信号９０１は、マルチチャネル信号を２チャネルにダウンミックスしたステレオ信号を符号化した符号化信号である。第２符号化信号９０２は、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化して得られる符号化信号である。【０００６】  さてここで、第１符号化信号９０１のみをデコードしたいと欲する、例えば、２チャネル再生のみを前提として設計された携帯電話機などのデコーダは、第１符号化信号９０１を取得し復号化した後、第２符号化信号９０２を読み飛ばしたいと欲するが、以下の理由によって容易には第２符号化信号９０２の量を取得することができず、従って、容易には第２符号化信号９０２を読み飛ばすことができない。なぜならば、各フレームのフレームサイズは各フレームのフレームヘッダ情報９００を解析することで容易に取得することができるが、第１符号化信号９０１の符号量は図に例示したようにフレームごとに可変であるので、必然的に第２符号化信号９０２の符号量も可変となる。従って、第２符号化信号９０２の符号量は、当該フレームのフレームサイズから当該フレームの第１符号化信号９０１の符号量を引くことによってしか知ることができない。従って第１符号化信号９０１をデコードする際、第１符号化信号９０１の符号量をいちいち算出しなければならないこととなり、このことに多大の演算資源を費やさなければならないという課題がある。【０００７】  また、従来の技術では、以下のような課題もある。
ＭＰＥＧ２オーディオ規格では、復号化されたダウンミックス信号は、サンプル時刻ごとに所定のマトリックス演算によってダウンミックスされているので、もともとのマルチチャネル信号の空間情報が失われているという。従って、元の空間情報を再現した上で、２チャネルダウンミックスした信号を再生せんと欲した場合、つまり、仮想サラウンド処理を施した２チャネル信号を再生せんと欲した場合、一旦、第１符号化信号９０１と第２符号化信号９０２とを用いてマルチチャネル信号を復号した後、頭部伝達関数に基づいて空間情報をフィルタ処理する必要があり、そのことに多大の演算資源を費やさなければならないという課題がある。【０００８】  本発明は、このような従来の問題点に鑑みてなされたものであって、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した符号化信号の符号量を簡単に知りえるような符号化信号を生成するオーディオエンコーダを提供することを目的とする。【０００９】  さらに、本発明は、ダウンミックス信号を再生するだけで元のマルチチャネルの空間情報が再生できるような符号化情報を生成するオーディオエンコーダを提供することを第２の目的とする。【００１０】  また、そのようなオーディオエンコーダで符号化された符号化信号を少ない演算量で復号化するオーディオデコーダを提供することを目的とする。
【課題を解決するための手段】
【００１１】  上記の課題を解決するため、本発明のオーディオエンコーダは、２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスするダウンミックス手段と、前記ダウンミックスされたステレオ信号を符号化し、第１符号化信号を生成する第１符号化手段と、前記ダウンミックスされたステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成する第２符号化手段と、前記第２符号化信号の符号量を算出する符号量算出手段と、前記第１符号化信号、前記第２符号化信号および算出された前記符号量を表す信号を多重化する多重化手段とを備えることを特徴とする。【００１２】  また、前記多重化手段は、前記符号量算出手段で算出された符号量と、前記第２符号化信号とを多重化する第１多重化部と、前記第１符号化信号と、前記符号量が多重化された前記第２符号化信号とを多重化する第２多重化部とを備えるとしてもよい。【００１３】  さらに、前記第１多重化部は、前記符号量算出手段で算出された前記符号量を、前記第２符号化信号の先頭に配置して多重化するとしてもよい。【００１４】  また、前記第１多重化部は、前記符号量算出手段で算出された前記符号量を、前記第２符号化信号の開始を識別する記号の直後に配置するように多重化するとしてもよい。【００１５】  さらに、前記第１多重化部は、前記符号量算出手段で算出された前記符号量を表す信号を可変長で記述し、前記第２符号化信号に多重化するとしてもよい。【００１６】  また、前記ダウンミックス手段は、前記マルチチャネル信号に頭部伝達関数を用いた演算を行い、ダウンミックス処理を行うとしてもよい。【００１７】  また、前記ダウンミックス手段は、周波数軸上で、前記マルチチャネル信号に頭部伝達関数を用いた演算を行うとしてもよい。【００１８】  さらに、前記第２符号化信号は無効なデータを含み、前記符号量算出手段は、前記無効なデータを含む前記第２符号化信号の符号量を算出するとしてもよい。【００１９】  上記の課題を解決するため、本発明のオーディオデコーダは、２チャネルを超えるマルチチャネル信号からダウンミックスされた２チャネルのステレオ信号が符号化されて得られる第１符号化信号と、前記ステレオ信号からマルチチャネル信号を生成するための情報が符号化されて得られたものである第２符号化信号と、前記第２符号化信号の符号量を表す信号とを含む符号化信号を取得する取得手段と、取得された前記符号化信号を復号化してステレオ信号を出力する復号化手段とを備える。【００２０】  また、前記復号化手段は、取得された前記符号化信号から、前記第１符号化信号を読み出す第１符号化信号読み出し部と、前記第２符号化信号の符号量を表す信号を、前記符号化信号から読み出す符号量読み出し部と、前記第１符号化信号読み出し部によって読み出された前記第１符号化信号を復号化して、前記ステレオ信号を出力する第１復号化部とを備え、前記第１符号化信号読み出し部は、前記符号量読み出し部によって読み出された前記符号量を表す信号に基づいて、第２符号化信号を読み飛ばすとしてもよい。【００２１】  また、前記第１符号化信号は、頭部伝達関数を用いた演算によりあらかじめ仮想サラウン��効果が付与されたステレオ信号が符号化されたものであり、前記第１復号化部は、仮想サラウンド効果の付与されたステレオ信号を出力するとしてもよい。【００２２】  また、前記オーディオデコーダは、さらに、前記第２符号化信号を前記符号化信号から読み出す第２符号化信号読み出し部と、読み出された前記第１符号化信号と前記第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部と、前記復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施し、仮想サラウンド効果が付与されたステレオ信号を出力するフィルタ部と、前記第１復号化部から出力される前記ステレオ信号と、前記フィルタ部から出力される前記仮想サラウンド効果が付与されたステレオ信号とのいずれかを選択する選択部とを備えるとしてもよい。【００２３】  さらに、前記第１復号化部は、前記ステレオ信号の周波数軸信号を生成し、前記フィルタ部は、前記ステレオ信号の周波数軸信号から復元されたマルチチャネル信号の周波数軸信号に対し、頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、前記周波数軸信号を時間軸信号に変換するとしてもよい。【００２４】  また、前記オーディオデコーダは、さらに、少なくとも前記第２復号化部を駆動する為の電力を供給する電力供給部を備え、前記選択部は、前記電力供給部からの電力供給量が所定の値を下回った場合、前記第１復号化部からのステレオ信号を選択するとしてもよい。【００２５】  さらに、前記符号量読み出し部によって読み出される前記第２符号化信号の符号量を表す信号は、無効なデータを含む前記第２符号化信号の符号量を表す信号であるとしてもよい。
【発明の効果】
【００２６】  本発明によれば、ダウンミックス信号をマルチチャネル信号に戻すために必要な情報を符号化して得られる第２符号化信号の符号量を、オーディオデコーダで簡単に知りえるような符号化信号を生成することができることとなる。従って、ダウンミックス信号のみを再生する再生装置においても、容易にダウンミックス信号のみを復号化して再生することができる。【００２７】  本発明によれば、前記第２符号化信号の符号量を表す信号を、前記第２符号化信号の開始位置の直後から入手することができることとなる。【００２８】  本発明によれば、前記第２符号化信号の符号量を表す信号を、その値の大きさに応じて可変符号長で多重化できるので、符号量を表す信号多重化のためのビット数を節約することができることとなる。【００２９】  さらに、本発明によれば、ダウンミックス処理を周波数軸上で行うことができるので、前記第２符号化手段が周波数軸上の信号に対し符号化処理を行う場合、前記ダウンミックス処理と前記第２符号化の処理とが効率的に実施できることとなる。【００３０】  本発明によれば、第１符号化手段が、１／２以下の帯域の信号を扱うことになるので、圧縮率が向上できることとなる。また、第１符号化手段で符号化された符号化信号のみを再生する場合、１／２以下の帯域の信号を扱うことになるので復号化の演算量が少なくて済むこととなる。また、近年広く研究開発が行われている帯域拡大技術（ＩＳＯ／ＩＥＣ１４４９６−３）が１／２帯域の以下の帯域の信号を拡大する技術であるので、その技術とのインターフェースがとり易くなることとなる。【００３１】  また、本発明によれば、ダウンミックス信号が、頭部伝達関数のフィルタ処理された信号となり、第１符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなる。【００３２】  さらに、本発明によれば、ダウンミックス信号が、頭部伝達関数のフィルタ処理された信号となり、第１符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなる。しかも頭部伝達関数の処理を周波数軸上で実施するので、近年主流のオーディオ圧縮方式、例えば、ＡＡＣ方式（ＩＳＯ／ＩＥＣ１３８１８−７）やＡＡＣ−ＳＢＲ方式（ＩＳＯ／ＩＥＣ１４４９６−３）と組み合わせたとき、少ない演算量で処理が実行できることとなる。なぜならば、それらの方式が、周波数軸上の信号を圧縮符号化している方式であるからである。【００３３】  また、本発明によれば、ダウンミックス信号のみを復号化したいと欲する場合、簡単な処理でマルチチャネル化のために情報を取り去ることができることとなる。【００３４】  さらに、本発明によれば、ダウンミックス信号の再生音と、マルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施した再生音とを選択できることとなる。【００３５】  また、本発明によれば、周波数軸上で頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、当該周波数軸信号を時間軸信号に変換することができるので、近年主流のオーディオ圧縮方式、例えば、ＡＡＣ方式（ＩＳＯ／ＩＥＣ１３８１８−７）やＡＡＣ−ＳＢＲ方式（ＩＳＯ／ＩＥＣ１４４９６−３）���組み合わせたとき、少ない演算量で処理が実行できることとなる。なぜならば、それらの方式が、周波数軸上の信号を圧縮符号化している方式であるからである。【００３６】  さらに、本発明によれば、オーディオデコーダを駆動する為の電力が低下した場合、例えば電池寿命がつきかけている場合、自動的にダウンミックス信号の復号化のモードに入るので、電池寿命が延長することとなる。また、聴取者は音質の変化によって電池寿命がつきかけていることを検知することができることとなる。
【図面の簡単な説明】
【００３７】［図１］図１は、ＭＰＥＧ２オーディオ規格における符号化信号（ビットストリーム）の構造を示したものである。
［図２］図２は、本実施の形態１におけるオーディオエンコーダの構成を示すブロック図である。
［図３］図３（ａ）は、ダウンミックスの変換マトリックスを示す図である。図３（ｂ）は、ダウンミックス信号を元のマルチチャネル信号に戻すための信号を生成するマトリックスを示す図である。図３（ｃ）は、ダウンミックス信号を元のマルチチャネル信号に戻すためのマトリックスを示す図である。
［図４］図４（ａ）は、図３（ｂ）に示したマトリックスを頭部伝達関数に基づいて算出した場合のマトリックスの一例を示す図である。図４（ｂ）は、図４（ａ）の逆行列であり、ダウンミックス信号を元のマルチチャネル信号に戻すためのマトリックスの一例を示す図である。
［図５］図５は、図２の符号量算出部１０３で算出された符号量を符号化信号に記述するための記述方法の一例を示す図である。
［図６］図６は、図５に示した記述方法で符号量を符号化信号に記述する際のフローチャートである。
［図７］図７は、本実施の形態１、２で生成される符号化信号のデータ構成を示す図である。
［図８］図８は、本実施の形態２におけるオーディオエンコーダの構成を示す図である。
［図９］図９は、本実施の形態３におけるオーディオデコーダの構成を示す図である。
［図１０］図１０は、図５に示した符号量記述方法で記述されている符号量を表す信号をオーディオデコーダで読み取る場合の手順を示すフローチャートである。
［図１１］図１１は、本実施の形態４におけるオーディオデコーダの構成を示す図である。
［図１２］図１２は、本実施の形態４におけるオーディオデコーダのもう１つの構成を示す図である。
［図１３］図１３（ａ）は、本発明のオーディオデコーダを内蔵するモバイルテレビの外観の一例を示す図である。図１３（ｂ）は、本発明のオーディオデコーダを内蔵する携帯電話機の外観の一例を示す図である。
【符号の説明】
【００３８】  １００，５００  ダウンミックス部
１０１，５０１  第１符号化部
１０２，５０２  第２符号化部
１０３，５０３  符号量算出部
１０４，５０４  第１多重化部
１０５，５０５  第２多重化部
６００，７００，８００  第１符号化信号取り出し部
６０１，７０１，８０１  第２符号化信号取り出し部
６０２，７０２，８０２  第１復号化部
６０３，７０３，８０３  符号量取り出し部
６０４，７０４，８０４  実体信号取り出し部
７０５，８０５  第２復号化部
７０６，８０６  フィルタ部
７０７，８０７  選択部
９００  フレームヘッダ情報
９０１  第１符号化信号
９０２  第２符号化信号
【発明を実施するための最良の形態】
【００３９】  （実施の形態１）
以下、本発明の実施の形態１におけるオーディオエンコーダについて図面を参照しながら説明する。図２は本実施の形態１におけるオーディオエンコーダの構成を示す図である。図２に示す実施の形態１のオーディオエンコーダは、１フレームがそれぞれ可変長の第１符号化信号と第２符号化信号とからなるフレームごとに、第２符号化信号の先頭部に当該第２符号化信号の符号量を表す信号を記述しておくオーディオエンコーダであって、ダウンミックス部１００、第１符号化部１０１、第２符号化部１０２、符号量算出部１０３、第１多重化部１０４および第２多重化部１０５を備える。第１符号化信号は、マルチチャネル信号をダウンミックスして得られる２チャネルのステレオ信号を符号化して得られる。第２符号化信号は、第１符号化信号から元のマルチチャネル信号を復元するための情報を符号化して得られる。ダウンミックス部１００は、Ｍチャネル（ＭはＭ＞２を満たす自然数）のマルチチャネル信号をステレオ信号にダウンミックスする。なお、以下では、マルチチャネル信号をダウンミックスして得られたステレオ信号のことを「ダウンミックス信号」という。第１符号化部１０１は、ダウンミックス信号を符号化し、第１符号化信号を生成する。第２符号化部１０２は、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する。符号量算出部１０３は、第２符号化部１０２で符号化された信号の符号量を算出する。第１多重化部１０４は、符号量算出部１０３で算出された符号量と第２符号化部１０２で生成された信号とを多重化し、第２符号化信号を生成する。第２多重化部１０５は、第１符号化信号と第２符号化信号とを多重化する。【００４０】  以上のように構成されたオーディオエンコーダの動作について以下説明する。まず、ダウンミックス部１００は、本実施の形態では４チャネル（前左ｃｈ、前右ｃｈ、後左ｃｈ、後右ｃｈ）のマルチチャネル信号を入力とし、ステレオ信号にダウンミックスする。その方法は例えば、図３（ａ）に示したマトリックス演算を実行し、（前左ｃｈ＋後左ｃｈ）を新たに左ｃｈとし、（前右ｃｈ＋後右ｃｈ）を新たに右ｃｈとする、というような変換マトリックスを用いる方法が一般的である。または、ＭＰＥＧ２オーディオ規格で定められているように、入力の各チャネルの信号をフィルタバンクを用いて周波数軸信号に変換し、それぞれの周波数帯域ごとに定められた変換マトリックスに従ってダウンミックスしてもよい。または、入力の各チャネルの信号をＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）など直交変換方式を用いて周波数係数に変換し周波数係数ごとに定められた変換マトリックスに従ってダウンミックスしてもよい。この場合、各周波数係数は、フーリエ係数のように、複素数であってもよい。【００４１】  次に第１符号化部１０１は、周波数軸上または時間軸上でダウンミックスされたダウンミックス信号を符号化し、第１符号化信号を生成する。ここで第１符号化部１０１による符号化は、例えばＭＰＥＧ規格などで規定された符号化方式でよい。【００４２】  次に第２符号化部１０２は、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する。例えば、ダウンミックスに用いた��換マトリックス演算に対する逆変換マトリックス演算を成立させる為の補助マトリックス演算によって生成された信号を符号化する。最も単純な例を図３（ｂ）に示した。すなわち、図３（ｂ）の網掛け部分のマトリックス演算によって算出された左’ｃｈ、右’ｃｈの信号を符号化する。このような信号が符号化され、ダウンミックス信号を符号化した信号とともに伝送、または蓄積されていれば、図３（ｃ）に示した逆マトリックス演算によって、もとの４チャネル（前左ｃｈ、前右ｃｈ、後左ｃｈ、後右ｃｈ）のマルチチャネル信号にもどすことができるからである。図４（ａ）は、図３（ｂ）に示したマトリックスを頭部伝達関数ＨＲＴＦに基づいて算出された係数からなるマトリックスの一例を示す図である。図４（ｂ）は、図４（ａ）の逆行列であり、ダウンミックス信号を元のマルチチャネル信号に戻すためのマトリックスの一例を示す図である。図４（ａ）および（ｂ）のａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｎ，ｏ，ｐは、頭部伝達関数ＨＲＴＦに基づいて算出された係数である。このような頭部伝達関数に基づくマトリックスを用いることによって、左ｃｈおよび右ｃｈによって表される２チャネルのステレオ信号に、もともとのマルチチャネルの空間情報が反映されることとなる。このような処理は入力の時間軸信号に対して行われても良いが、入力の時間軸信号をフィルタバンクなどを用いて周波数軸信号に変換し、それぞれの周波数帯域ごとに定められた変換マトリックスに従って行われてもよい。または、入力の時間軸信号をＦＦＴなど直交変換方式を用いて周波数係数に変換し周波数係数ごとに定められた変換マトリックスに従って行われてもよい。この場合、各周波数係数は、フーリエ係数のように、複素数であってもよい。【００４３】  次に符号量算出部１０３は、第２符号化部１０２で符号化された信号の符号量を算出する。ただし、符号量算出部１０３は、第２符号化部１０２で符号化された信号を記述すべき領域が、第２符号化部１０２で符号化された信号以外の無効なデータ、例えば、ｎｕｌｌなどを含む場合には、その無効なデータを含んだ符号量を算出する。すなわち、請求項およびここでいう符号量とは、第２符号化部１０２で符号化された信号を記述すべき領域が、無効なデータを含む場合には、その無効なデータを含んだ符号量をいう。【００４４】  次に第１多重化部１０４は、符号量算出部１０３で算出された符号量と、第２符号化部１０２で生成された信号とを多重化し、第２符号化信号を生成する。図５は、図２の符号量算出部１０３で算出された符号量を符号化信号に記述するための記述方法の一例を示す図である。図６は、図５に示した記述方法で符号量を符号化信号に記述する際のフローチャートである。ここで、符号量算出部１０３で算出された符号量は、例えば図５に示すようにＡビット、または（Ａ＋Ｂ）ビットの可変長のビットフィールドで表現される。具体的には、算出された符号量がＡビットで表されるのであれば、ｓｉｚｅ＿ｏｆ＿ｅｘｔだけで記述され、符号量がＡビットを超える場合には、ｓｉｚｅ＿ｏｆ＿ｅｘｔとｓｉｚｅ＿ｏｆ＿ｅｓｃとの２つのフィールドで表される。例えば、Ａが４、Ｂが８、符号量ｓｕｍが���４バイトの場合、１４は２進数１１１０の４ビットで表すことができるので（Ｓ４０１）、ｓｉｚｅ＿ｏｆ＿ｅｘｔという４ビットのフィールドに、ｓｕｍ＝１４を表す２進数１１１０が書かれる（Ｓ４０２）。この条件を表すｉｆ文では、ｓｉｚｅ＿ｏｆ＿ｅｘｔの値１４が、（１＜＜４）−１すなわち、１を４ビット左へシフトした値１６から１を減算して得られる１５より小さいので、ｓｉｚｅ＿ｏｆ＿ｅｓｃという８ビットのフィールドは存在しない。すなわちこの場合４ビットのビットフィールドで符号量を表す信号を多重化する。【００４５】  また、例えば、Ａが４、Ｂが８、符号量ｓｕｍが１００バイトの場合には（Ｓ４０１）、ｓｉｚｅ＿ｏｆ＿ｅｘｔという４ビットのフィールドに、２進数１１１１が書かれる（Ｓ４０３）。この条件を表すｉｆ文では、ｓｉｚｅ＿ｏｆ＿ｅｘｔの値が、（１＜＜４）−１すなわち１５と等しいので、ｓｉｚｅ＿ｏｆ＿ｅｓｃという８ビットのフィールドに、ｓｕｍ−ｓｉｚｅ＿ｏｆ＿ｅｘｔ＋１＝１００−（１５−１）の値が書かれる（Ｓ４０４）。すなわちこの場合１２ビットのビットフィールドで符号量を表す信号が多重化される。【００４６】  最後に第２多重化部１０５で、第１符号化信号９０１と第２符号化信号９０２とを多重化する。この処理を、逐次オーディオフレームごとに行うことによって、図７に示すような、第１符号化信号９０１と第２符号化信号９０２とが交互に多重化され、且つ、第２符号化信号９０２の先頭部に符号量を表す信号が多重化されたような符号化信号が生成される。【００４７】  上記のように、本実施の形態によれば、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をステレオ信号にダウンミックスするダウンミックス部と、ダウンミックス信号を符号化し第１符号化信号を生成する第１符号化部１０１と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する第２符号化部１０２と、第２符号化部１０２で符号化された信号の符号量を算出する符号量算出部１０３と、符号量算出部１０３で算出された符号量と第２符号化部１０２で生成された信号とを多重化し第２符号化信号を生成する第１多重化部１０４と、第１符号化信号と第２符号化信号とを多重化する第２多重化部１０５とを備え、第１多重化部１０４は、符号量を表す信号が第２符号化信号の先頭に配置されるように、符号量を表す信号を多重化することによって、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、第２符号化信号の符号量を示す情報が第２符号化信号に含まれているので、容易に第２符号化信号を全体の符号化信号から取り除くことができることとなる。【００４８】  勿論ここで、符号量を表す信号は、第２符号化信号の開始を識別する記号の直後に配置するように、符号量を表す信号を多重化することが望ましい。なぜならば、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、第２符号化信号の符号量を示す情報が、第２符号化信号の先頭に配置されていれば、容易に第２符号化信号を全体の符号化信号から取り除くことができるからである。なお、この第２符号化信号の符号量は、ＭＰＥＧ２の符号化信号のＦｉｌｌ  Ｅｌｅｍｅｎｔに記述されてもよい。この場合、第２符号化信号の開始を識別する記号とは、Ｆｉｌｌ  Ｅｌｅｍｅｎｔの開始を示す記号である。【００４９】  また、算出された符号量を、当該符号量を表すためのビット量に応じた可変長のビットフィールドに多重化することによって、当該符号量を表す信号を多重化するためのビット数を削減できることとなる。【００５０】  また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。【００５１】  なお、算出された符号量を表す信号は、第２符号化信号の先頭に記述されることが好ましいが、本発明はこれに限定されない。例えば、フレームヘッダ情報の中に記述されてもよい。また、フレームヘッダ情報の中に第１符号化信号の符号量を表す信号が記述されるとしてもよい。なぜなら、フレームヘッダ情報の中にはフレーム全体の符号量が記述されているので、第２符号化信号の符号量は簡単に算出することができるからである。【００５２】  （実施の形態２）
以下本発明の実施の形態２におけるオーディオエンコーダについて図面を参照しながら説明する。図８は本実施の形態２におけるオーディオエンコーダの構成を示す図である。図８のオーディオエンコーダは、入力された時間軸上の４チャネル信号を周波数軸上の信号に変換した後、ダウンミックスするオーディオエンコーダであって、ダウンミックス部５００、第１符号化部５０１、第２符号化部５０２、符号量算出部５０３、第１多重化部５０４および第２多重化部５０５を備える。これにおいて、第２符号化部５０２、符号量算出部５０３、第１多重化部５０４および第２多重化部５０５は、実施の形態１で示したものと同様のものである。実施の形態１で示したものと異なるものは、ダウンミックス部５００が、第２符号化部５０２の処理過程で生成される各入力チャネルの周波数軸信号を入力とし、該各入力チャネルの周波数軸信号の一部、または帯域の周波数軸信号をダウンミックスするように構成されている点と、第１符号化部５０１が、ダウンミックス部５００でダウンミックスされた信号を入力として当該信号を符号化するように構成されている点である。【００５３】  以上のように構成されたオーディオエンコーダの動作について以下に説明する。まず、第２符号化部５０２は、入力された４チャネル信号を時間軸上の信号のサンプル数と同数のサンプル数からなる周波数軸信号に変換する。これはフィルタバンクを用いても良いし、ＦＦＴのような直交変換方式を用いて周波数係数に変換してもよい。この場合、各周波数係数は、フーリエ係数のように、複素数であってもよい。この各チャネルの周波数軸信号をダウンミックス部５００に対し送出し、ダウンミックス部５００で所定の方法でダウンミックス処理が行われる。ここで、各チャネルの対応する周波数軸信号同士に対して実施されるダウンミックス処理は、実施の形態１で述べたようなマトリックス演算によって実施すればよい。一方第２符号化部５０２では、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する。この方法も、実施の形態１で示した方法と同様でよい。【００５４】  ここで本実施の形態では、ダウンミックス部５００は、受け取った各チャネルの周波数軸信号の一部の帯域のみに対しダウンミックス処理を実施するようにしてもよい。例えば、全周波数帯域の高域側の一部を取り除いた信号をダウンミックスする。このことによって、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、符号化信号の周波数帯域が狭いので復号化に際しての演算量が少なくてすむことになる。また、全周波数帯域の１／２以下の周波数帯域の信号をダウンミックスすることとすれば、以下に示す理由によって、更に利便性を享受できる。すなわち、第１符号化部５０１は、例えばＭＰＥＧ規格などで規定された符号化方式でよいが、特に、ここで、周波数帯域が全周波数帯域の１／２以下の周波数帯域であれば近年ＭＰＥＧ４規格で検討されている帯域拡大技術（ＩＳＯ／ＩＥＣ１４４９６−３）が前提としている周波数帯域と合致するので、当該技術とのインターフェースがとり易くなるからである。【００５５】  以降、符号量算出部５０３の処理、第１多重化部５０４の処理、第２多重化部５０５の処理は、実施の形態１で述べたのと同様でよい。【００５６】  また、ダウンミックス部５００では、周波数成分に分解された信号に対し頭部伝達関数に基づいたフィルタ処理を実施しながらダウンミックスしてもよい。周波数成分に分解された信号に対する頭部伝達関数に基づいたフィルタ処理は、特開平１１−０３２４００号公報で述べられているような方法でよい。そうすることによって、第１符号化部５０１で符号化された符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなるからである。勿論このことは、本実施の形態２での処理過程のみに適応されるわけではなく、先の実施の形態１での処理過程で実施しても良いことは言うまでもない。【００５７】  上記のように、本実施の形態によれば、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をステレオ信号にダウンミックスするダウンミックス部５００と、ダウンミックス信号を符号化し第１符号化信号を生成する第１符号化部５０１と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する第２符号化部５０２と、第２符号化部５０２で符号化された信号の符号量を算出する符号量算出部５０３と、符号量算出部５０３で算出された符号量を表す信号と第２符号化部５０２で生成された信号とを多重化し第２符号化信号を生成する第１多重化部５０４と、第１符号化信号と第２符号化信号とを多重化する第２多重化部５０５と、を有し、ダウンミックス部５００は、マルチチャネル信号をそれぞれ周波数軸信号に変換し該周波数軸信号の一部または全部の周波数帯域の信号をステレオ信号にダウンミックスすることによって、ダウンミックス処理を周波数軸上で行うことができるので、第２符号化部５０２が周波数軸上の信号に対し符号化処理を行う場合、ダウンミックス処理と第２符号化の処理とが効率的に実施できることとなる。また、一部または全部の周波数帯域の信号をステレオ信号にダウンミックスすれば、ダウンミックス処理を少ない演算量で行えることとなると同時に、第１符号化部５０１が、狭い帯域の信号を扱うことになるので、圧縮率が向上できることとなる。また、第１符号化部５０１で符号化された符号化信号のみを再生する場合、狭い帯域の信号を扱うことになるので復号化の演算量が少なくて済むこととなる。また、ダウンミックス処理を、もともとの周波数帯域の１／２の帯域で処理すれば、第１符号化部５０１が、１／２以下の帯域の信号を扱うことになるので、圧縮率がさらに向上できることとなると同時に、第１符号化部５０１で符号化された符号化信号のみを再生する場合、１／２以下の帯域の信号を扱うことになるので復号化の演算量が少なくて済むこととなる。また、近年広く研究開発が行われている帯域拡大技術（ＩＳＯ／ＩＥＣ１４４９６−３）が１／２帯域の以下の帯域の信号を拡大する技術であるので、その技術とのインターフェースがとり易くなることとなる。【００５８】  また、上記ダウンミックス処理時に、頭部伝達関数のフィルタ処理も実施しておけば、第１符号化部５０１で符号化された符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなる。【００５９】  勿���、上記頭部伝達関数のフィルタ処理は周波数軸上で行わず、時間軸上で行ってもよいことは言うまでもない。【００６０】  また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。【００６１】  （実施の形態３）
以下本発明の実施の形態３におけるオーディオデコーダについて図面を参照しながら説明する。本オーディオデコーダは、実施の形態１または実施の形態２で符号化された符号化信号を復号化するオーディオデコーダである。すなわち、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号を復号化するオーディオデコーダである。ここで、第２符号化信号には、当該第２符号化信号の符号量を示す値が多重化されているものとする。【００６２】  図９は本実施の形態３におけるオーディオデコーダの構成を示す図である。図９において、オーディオデコーダは、第１符号化信号取り出し部６００、第２符号化信号取り出し部６０１、第１復号化部６０２、符号量取り出し部６０３、および実体信号取り出し部６０４を備える。第１符号化信号取り出し部６００は、第１符号化信号を取り出す。第２符号化信号取り出し部６０１は、第２符号化信号を取り出す。第１復号化部６０２は、第１符号化信号に基づいて、ダウンミックス信号を復号化する。符号量取り出し部６０３は、第２符号化信号に含まれている当該第２符号化信号の符号量を表す信号を取り出す。実体信号取り出し部６０４は、符号量取り出し部６０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す。【００６３】  以上のように構成されたオーディオデコーダの動作について、以下に説明する。まず、第１符号化信号取り出し部６００は、４チャネルのマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号から、第１符号化信号を取り出す。ここで、第１符号化信号は、実施の形態１、または実施の形態２の第１符号化部で生成された符号化信号であるので、当該第１符号化信号取り出し部６００では、第１符号化信号の符号化フォーマットに則って第１符号化信号を取り出せばよい。例えば、第１符号化部が、ＭＰＥＧ規格ＡＡＣ方式に則った符号化部なのであれば、当該第１符号化信号取り出し部６００では、ＡＡＣ符号化フォーマットに則って第１符号化信号を取り出せばよい。【００６４】  次に、第１復号化部６０２で第１符号化信号に基づいて、ダウンミックス信号を復号化する。ここでの復号化の方法も、第１符号化信号の符号化規格に則って復号化すればよい。【００６５】  図１０は、図５に示した符号量記述方法で記述されている符号量を表す信号をオーディオデコーダで読み取る場合の手順を示すフローチャートである。次に、第２符号化信号取り出し部６０１に内蔵されている符号量取り出し部６０３で、第２符号化信号に含まれている当該第２符号化信号の符号量を表す信号を取り出す（Ｓ５０１）。ここで当該符号量ｓｕｍは、図５に示したＡビットまたは（Ａ＋Ｂ）ビットで表現されているものとする。例えば、図５に示したｓｉｚｅ＿ｏｆ＿ｅｘｔが４ビット、ｓｉｚｅ＿ｏｆ＿ｅｓｃが８ビット、ｓｉｚｅ＿ｏｆ＿ｅｘｔの値が２進数で１０１０で���るとする。この場合、ｓｉｚｅ＿ｏｆ＿ｅｘｔの値が１０であり、（１＜＜４）−１＝１５に等しくないので（Ｓ５０２）、ｓｉｚｅ＿ｏｆ＿ｅｓｃの８ビットは存在せず、符号量ｓｕｍは１０バイトということになる（Ｓ５０５）。また例えば、ｓｉｚｅ＿ｏｆ＿ｅｘｔが４ビット、ｓｉｚｅ＿ｏｆ＿ｅｓｃが８ビット、ｓｉｚｅ＿ｏｆ＿ｅｘｔの値が２進数で１１１１の場合、ｓｉｚｅ＿ｏｆ＿ｅｘｔの値が（１＜＜４）−１＝１５なので（Ｓ５０２）、ｓｉｚｅ＿ｏｆ＿ｅｓｃの８ビットが存在することになる。符号量取り出し部６０３は、さらに８ビットのｓｉｚｅ＿ｏｆ＿ｅｓｃを取り出す（Ｓ５０３）。ここで、ｓｉｚｅ＿ｏｆ＿ｅｓｃの値が２進数で００００１０００の場合、符号量ｓｕｍは、ｓｕｍ＝ｓｉｚｅ＿ｏｆ＿ｅｘｔ＋ｓｉｚｅ＿ｏｆ＿ｅｓｃ−１＝１５＋８−１となり、２２バイトとなる（Ｓ５０４）。【００６６】  最後に、実体信号取り出し部６０４で、符号量取り出し部６０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す。例えば、符号量が、２０バイトなのであれば、以降の２０バイトの信号が、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号の符号量と分かり、当該第２符号化信号は、ダウンミックス信号のみを再生するデコーダにとっては不要なものであるので、そのサイズ分だけ、符号化信号を読み飛ばせばよいことになる。【００６７】  ここで、当該第２符号化信号に多重化されている当該符号量に応じた値は、必ずしも、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した信号の符号量と丁度一致している必要はなく、それと同じかそれより大きな値であればよい。例えば、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した信号の正味の符号量が１８バイトの場合でも、例えば２バイトの付加的な情報を追加した場合は（これは実質的に無意味な情報でもよいが）、当該第２符号化信号に多重化されている当該符号量に相当する値は２０となっているべきである。すなわち、第２符号化信号が付加的な情報または無意味な情報である２バイトを含んでいるとした場合と同じである。そうすることによって、実体信号取り出し部は、符号化信号の内容については一切関知する必要がなくなるからである。【００６８】  以上の様に、本実施の形態のオーディオデコーダは、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号に対し、第１符号化信号を取り出す第１符号化信号取り出し部６００と、第２符号化信号を取り出す第２符号化信号取り出し部６０１と、第１符号化信号に基づいて、ダウンミックス信号を復号化する第１復号化部６０２とを有し、第２符号化信号取り出し部６０１は、第２符号化信号に含まれる符号量を表す信号を取り出す符号量取り出し部６０３と、符号量取り出し部６０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す実体信号取り出し部６０４をさらに備える。これによって、ダウンミ���クス信号のみを復号化したいと欲するオーディオデコーダの場合、簡単な処理でマルチチャネル化のための情報を取り去るまたは読み飛ばすことができることとなる。【００６９】  勿論ここで、符号量を表す信号は、第２符号化信号の先頭に配置されることが望ましい。なぜならば、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、第２符号化信号の符号量を示す情報が、第２符号化信号の先頭に配置されていれば、容易に第２符号化信号を全体の符号化信号から取り除くことができるからである。【００７０】  またここで、第１符号化信号が、先に述べた実施の形態２のように、予め頭部伝達関数に基づくフィルタ処理によって本来のマルチチャネル信号が２チャネル信号にダウンミックスされていれば、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、単に第１符号化信号を復号化するだけで、もともとのマルチチャネルの空間情報が反映されたオーディオを再生できることとなる。【００７１】  また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。【００７２】  （実施の形態４）
以下、本発明の実施の形態４におけるオーディオデコーダについて図面を参照しながら説明する。【００７３】  本オーディオデコーダは、実施の形態１または実施の形態２で符号化された符号化信号を復号化するオーディオデコーダである。すなわち、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号を復号化するオーディオデコーダである。ここで、第２符号化信号には、当該第２符号化信号の符号量を示す値が多重化されているものである。【００７４】  図１１は、本実施の形態４におけるオーディオデコーダの構成を示す図である。図１１に示すように、実施の形態４のオーディオデコーダは、第１符号化信号取り出し部７００、第２符号化信号取り出し部７０１、第１復号化部７０２、符号量取り出し部７０３、実体信号取り出し部７０４、第２復号化部７０５、フィルタ部７０６および選択部７０７を備える。このうち、実施の形態３と異なるのは、第１符号化信号と第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部７０５と、復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施すフィルタ部７０６と、第１復号化部７０２で生成された信号か、フィルタ部７０６で生成された信号かを選択する選択部７０７とを備えたところである。それ以外の第１符号化信号取り出し部７００、第２符号化信号取り出し部７０１、第１復号化部７０２、符号量取り出し部７０３および実体信号取り出し部７０４は、実施の形態３で述べたものと同様である。【００７５】  以上のように構成されたオーディオデコーダの動作について、以下に説明する。まず、第１符号化信号取り出し部７００は、４チャネルのマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号から、第１符号化信号を取り出す。この動作は、実施の形態３と同様である。【００７６】  次に、第１復号化部７０２で第１符号化信号に基づいて、ダウンミックス信号を復号化する。この動作も、実施の形態３と同様である。【００７７】  次に、第２符号化信号取り出し部７０１に内蔵されている符号量取り出し部７０３で、第２符号化信号に含まれている当該第２符号化信号の符号量を表す信号を取り出す。この動作は、実施の形態３と同様である。【００７８】  次に符号量取り出し部７０３によって取り出された符号量を表す信号に基づいて、実体信号取り出し部７０４が、符号化信号から第２符号化信号を取り出す。この動作は、実施の形態３と同様である。【００７９】  次に、第２復号化部７０５で、第１符号化信号と第２符号化信号とに基づいて、マルチチャネル信号を復号化する。【００８０】  ここで、第１符号化信号と第２符号化信号は、実施の形態１、または実施の形態２のオーディオエンコーダで生成された符号化信号であるので、当該第２復号化部７０５では、その符号化フォーマットに則って第１符号化信号と第２符号化信号とを復号しマル��チャネル信号を生成すればよい。【００８１】  次にフィルタ部７０６で、復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施す。【００８２】  最後に、選択部７０７で、第１復号化部で生成された信号か、フィルタ部で生成された信号かを選択する。【００８３】  以上の様に、本実施の形態では、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号に対し、第１符号化信号を取り出す第１符号化信号取り出し部７００と、第２符号化信号を取り出す第２符号化信号取り出し部７０１と、第１符号化信号に基づいて、ダウンミックス信号を復号化する第１復号化部７０２と、第２符号化信号に含まれる符号量を表す信号を取り出す符号量取り出し部７０３と、符号量取り出し部７０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す実体信号取り出し部７０４と、第１符号化信号と第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部７０５と、復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施すフィルタ部７０６と、第１復号化部で生成された信号か、フィルタ部７０６で生成された信号かを選択する選択部７０７とを備えることによって、ダウンミックス信号の再生音と、マルチチャネル信号に対し頭部伝達関数に基づくフィルタ処理を施した再生音とを利用者が選択できることとなる。【００８４】  上記の処理において、第２復号化部７０５では各マルチチャネル信号の周波数軸信号を生成するようにし、当該各マルチチャネル信号の周波数軸信号に対し周波数軸上で頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、当該周波数軸信号を時間軸信号に変換するようにしてもよい。例えば、特開平１１−０３２４００号公報で述べられているような方法でもよい。そうすることによって、例えば、ＡＡＣ方式（ＩＳＯ／ＩＥＣ１３８１８−７）やＡＡＣ−ＳＢＲ方式（ＩＳＯ／ＩＥＣ１４４９６−３）と組み合わせたとき、演算量が大幅に削減できることになる。なぜならば、それらの方式が、周波数軸上の信号を圧縮符号化している方式であるので、周波数軸信号を時間軸信号に変換する処理が内蔵されているが、周波数軸上でダウンミックスすることによって、周波数軸信号を時間軸信号に変換する処理が２チャネル分のみで済むことになるからである。【００８５】  また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。【００８６】  また、本実施の形態では、第２復号化部は、第１符号化信号と第２符号化信号とを入力とし、それらを用いてマルチチャネル信号を復号化したが、第１復号化部で復号化した信号を用いて、マルチチャネル信号を復号化するようにしてもよい。図１２は、本実施の形態４におけるオーディオデコーダの他の構成を示す図である。その場合、図１２に示すような構成になる。【００８７】  また、当該オーディオデコーダを駆動する為の電力が低下した場合、例えば電池寿命がつきかけている場合、そのことを検出し、自動的に上記選択部を、第１復号化部で生成された信号で出力するように制御すれば、バッテリーがつきかけているときに、自動的にダウンミックス信号の復号化のモードに入るので、電池寿命が延長することとなる。また、聴取者は音質の変化によって電池寿命がつきかけていることを検知することができることとなる。【００８８】  図１３は、本発明のオーディオデコーダを備えるモバイルオーディオ機器の外観の一例を示す図である。（ａ）は、本発明のオーディオデコーダを内蔵するモバイルテレビの一例を示す図である。（ｂ）は、本発明のオーディオデコーダを内蔵する携帯電話機の一例を示す図である。同図に示すような携帯型の機器では、単位時間あたりの演算量が大きいと、演算処理の並列化などのために回路規模が大きくなってしまう。そして、モバイルオーディオ機器では、いまだに２チャネル再生が主流である。従って、同図に示すようなモバイルオーディオ機器では、本発明のオーディオエンコーダによって符号化された符号化信号を復号化し、再生することによって、符号化信号の不要な部分を読み飛ばし、頭部伝達関数を用いてフィルタリングされた仮想サラウンドオーディオを、低い負荷で再生することができる。
【産業上の利用可能性】
【００８９】  本発明にかかるオーディオエンコーダは、マルチチャネル信号を符号化するオーディオエンコーダであるが、エンコードされたマルチチャネル信号を安価なデコーダで再生できるような符号化信号を生成するので、特に機器の小型化が必要な携帯機器に応用できる。【００９０】  本発明にかかるオーディオデコーダは、マルチチャネル信号を符号化した符号化信号を２チャネルの再生部、例えば、ヘッドホンで再生するのに適しているので、特に機器の小型化が必要な携帯機器、例えば、モバイルテレビ、ＭＤ、ＳＤおよび携帯電話機などに応用できる。
【図１】
2005081229.tif 000002
【図２】
2005081229.tif 000003
【図３】
2005081229.tif 000004
【図４】
2005081229.tif 000005
【図５】
2005081229.tif 000006
【図６】
2005081229.tif 000007
【図７】
2005081229.tif 000008
【図８】
2005081229.tif 000009
【図９】
2005081229.tif 000010
【図１０】
2005081229.tif 000011
【図１１】
2005081229.tif 000012
【図１２】
2005081229.tif 000013
【図１３】
2005081229.tif 000014
【手続補正書】
【提出日】平成17年6月28日(2005.6.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスするダウンミックス手段と、
前記ダウンミックスされたステレオ信号を符号化し、第１符号化信号を生成する第１符号化手段と、
前記ダウンミックスされたステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成する第２符号化手段と、
前記第２符号化信号の符号量を算出する符号量算出手段と、
前記第１符号化信号、前記第２符号化信号および算出された前記符号量を表す信号を多重化する多重化手段と
を備えることを特徴とするオーディオエンコーダ。
【請求項２】
前記多重化手段は、
前記符号量算出手段で算出された符号量と、前記第２符号化信号とを多重化する第１多重化部と、
前記第１符号化信号と、前記符号量が多重化された前記第２符号化信号とを多重化する第２多重化部と
を備えることを特徴とする請求項１記載のオーディオエンコーダ。
【請求項３】
前記第１多重化部は、前記符号量算出手段で算出された前記符号量を、前記第２符号化信号の先頭に配置して多重化する
ことを特徴とする請求項２記載のオーディオエンコーダ。
【請求項４】
前記第１多重化部は、前記符号量算出手段で算出された前記符号量を、前記第２符号化信号の開始を識別する記号の直後に配置するように多重化する
ことを特徴とする請求項２記載のオーディオエンコーダ。
【請求項５】
前記第１多重化部は、前記符号量算出手段で算出された前記符号量を可変長で記述し、前記第２符号化信号に多重化する
ことを特徴とする請求項２記載のオーディオエンコーダ。
【請求項６】
前記ダウンミックス手段は、前記マルチチャネル信号に頭部伝達関数を用いた演算を行い、ダウンミックス処理を行う
ことを特徴とする請求項１記載のオーディオエンコーダ。
【請求項７】
前記ダウンミックス手段は、周波数軸上で、前記マルチチャネル信号に頭部伝達関数を用いた演算を行う
ことを特徴とする請求項６に記載のオーディオエンコーダ。
【請求項８】
前記第２符号化信号は無効なデータを含み、
前記符号量算出手段は、前記無効なデータを含む前記第２符号化信号の符号量を算出する
ことを特徴とする請求項１記載のオーディオエンコーダ。
【請求項９】
符号化信号を復号化するオーディオデコーダであって、
２チャネルを超えるマルチチャネル信号からダウンミックスされた２チャネルのステレオ信号が符号化されて得られる第１符号化信号と、前記ステレオ信号からマルチチャネル信号を生成するための情報が符号化されて得られたものである第２符号化信号と、前記第２符号化信号の符号量を表す信号とを含む符号化信号を取得する取得手段と、
取得された前記符号化信号を復号化してステレオ信号を出力する復号化手段と
を備えることを特徴とするオーディオデコーダ。
【請求項１０】
前記復号化手段は、
取得された前記符号化信号から、前記第１符号化信号を読み出す第１符号化信号読み出し部と、
前記第２符号化信号の符号量を表す信号を、前記符号化信号から読み出す符号量読み出し部と、
前記第１符号化信号読み出し部によって読み出された前記第１符号化信号を復号化して、前記ステレオ信号を出力する第１復号化部とを備え、
前記第１符号化信号読み出し部は、前記符号量読み出し部によって読み出された前記符号量に基づいて、第２符号化信号を読み飛ばす
ことを特徴とする請求項９記載のオーディオデコーダ。
【請求項１１】
前記第１符号化信号は、頭部伝達関数を用いた演算によりあらかじめ仮想サラウンド効果が付与されたステレオ信号が符号化されたものであり、
前記第１復号化部は、仮想サラウンド効果の付与されたステレオ信号を出力する
ことを特徴とする請求項１０記載のオーディオデコーダ。
【請求項１２】
取得された前記符号化信号から読み出される前記第２符号化信号の符号量を表す信号は、無効なデータを含む前記第２符号化信号の符号量を表す信号である
ことを特徴とする請求項９記載のオーディオデコーダ。
【請求項１３】
前記復号化手段は、さらに、
取得された前記符号化信号から、前記第１符号化信号を読み出す第１符号化信号読み出し部と、
前記第１符号化信号読み出し部によって読み出された前記第１符号化信号を復号化して、前記ステレオ信号を出力する第１復号化部と、
前記第２符号化信号を前記符号化信号から読み出す第２符号化信号読み出し部と、
読み出された前記第１符号化信号と前記第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部と、
前記復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施し、仮想サラウンド効果が付与されたステレオ信号を出力するフィルタ部と、
前記第１復号化部から出力される前記ステレオ信号と、前記フィルタ部から出力される前記仮想サラウンド効果が付与された前記ステレオ信号とのいずれかを選択する選択部とを備える
ことを特徴とする請求項９記載のオーディオデコーダ。
【請求項１４】
前記第１復号化部は、前記ステレオ信号の周波数軸信号を生成し、
前記フィルタ部は、前記ステレオ信号の周波数軸信号から復元されたマルチチャネル信号の周波数軸信号に対し、頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、前記周波数軸信号を時間軸信号に変換する
ことを特徴とする請求項１３記載のオーディオデコーダ。
【請求項１５】
前記オーディオデコーダは、さらに、
少なくとも前記第２復号化部を駆動する為の電力を供給する電力供給部を備え、
前記選択部は、前記電力供給部からの電力供給量が所定の値を下回った場合、前記第１復号化部からのステレオ信号を選択する
ことを特徴とする請求項１４記載のオーディオデコーダ。
【請求項１６】
２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスし、
ダウンミックスされた前記ステレオ信号を符号化し、第１符号化信号を生成し、
ダウンミックスされた前記ステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成し、
前記第２符号化信号の符号量を算出し、
前記第１符号化信号、前記第２符号化信号および算出された符号量を表す信号を多重化する
ことを特徴とするオーディオ符号化方法。
【請求項１７】
符号化信号を復号化するオーディオ復号化方法であって、
２チャネルを超えるマルチチャネル信号からダウンミックスされた２チャネルのステレオ信号が符号化されて得られる第１符号化信号と、前記ステレオ信号からマルチチャネル信号を生成するための情報が符号化されて得られたものである第２符号化信号と、前記第２符号化信号の符号量を表す信号とを含む符号化信号を取得し、
取得された前記符号化信号を復号化してステレオ信号を出力する
ことを特徴とするオーディオ復号化方法。
【請求項１８】
オーディオエンコーダのためのプログラムであって、コンピュータを
２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスするダウンミックス手段と、前記ダウンミックスされたステレオ信号を符号化し、第１符号化信号を生成する第１符号化手段と、前記ダウンミックスされたステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成する第２符号化手段と、前記第２符号化信号の符号量を算出する符号量算出手段と、前記第１符号化信号、前記第２符号化信号および算出された前記符号量を表す信号を多重化する多重化手段との各手段として機能させるプログラム。
【請求項１９】
符号化信号を復号化するオーディオデコーダのためのプログラムであって、コンピュータを
２チャネルを超えるマルチチャネル信号からダウンミックスされた２チャネルのステレオ信号が符号化されて得られる第１符号化信号と、前記ステレオ信号からマルチチャネル信号を生成するための情報が符号化されて得られたものである第２符号化信号と、前記第２符号化信号の符号量を表す信号とを含む符号化信号を取得する取得手段と、取得された前記符号化信号を復号化してステレオ信号を出力する復号化手段との各手段として機能させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャネル信号を符号化するオーディオエンコーダに関する。特に、エンコードされたマルチチャネル信号を安価なデコーダで再生できるような符号化信号を生成するオーディオエンコーダに関する。
【０００２】
また、本発明は、そのようなオーディオエンコーダでエンコードされた符号化信号をデコードするオーディオデコーダに関する。特にマルチチャネル信号を２チャネルで再生するようなオーディオデコーダに関する。
【背景技術】
【０００３】
従来から、マルチチャネル信号を安価な再生装置、とりわけ２チャネルの再生装置で再生することができるような符号化信号を生成するオーディオエンコーダの研究開発が行われている。例えば、ＭＰＥＧ２オーディオ規格（ＩＳＯ１３８１８−３）では、マルチチャネル信号を２チャネルにダウンミックスした信号と、当該ダウンミックスされた信号をマルチチャネル信号に戻すための信号とを分けて、それぞれ第１符号化信号、第２符号化信号として符号化し、安価なデコーダでは上記第１符号化信号のみを復号化することができる技術が開示されている（非特許文献１参照）。
【非特許文献１】ＭＰＥＧ２オーディオ規格（ＩＳＯ１３８１８−３）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、ＭＰＥＧ２オーディオ規格では、上記第１符号化信号と、上記第２符号化信号とを分離することが容易ではないという課題があった。
【０００５】
図１は、ＭＰＥＧ２オーディオ規格における符号化信号（ビットストリーム）の構造を示したものである。図１において、フレームヘッダ情報９００は、１１５２サンプルごとに符号化された１フレームの符号化情報の開始位置を示している。第１符号化信号９０１は、マルチチャネル信号を２チャネルにダウンミックスしたステレオ信号を符号化した符号化信号である。第２符号化信号９０２は、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化して得られる符号化信号である。
【０００６】
さてここで、第１符号化信号９０１のみをデコードしたいと欲する、例えば、２チャネル再生のみを前提として設計された携帯電話機などのデコーダは、第１符号化信号９０１を取得し復号化した後、第２符号化信号９０２を読み飛ばしたいと欲するが、以下の理由によって容易には第２符号化信号９０２の量を取得することができず、従って、容易には第２符号化信号９０２を読み飛ばすことができない。なぜならば、各フレームのフレームサイズは各フレームのフレームヘッダ情報９００を解析することで容易に取得することができるが、第１符号化信号９０１の符号量は図に例示したようにフレームごとに可変であるので、必然的に第２符号化信号９０２の符号量も可変となる。従って、第２符号化信号９０２の符号量は、当該フレームのフレームサイズから当該フレームの第１符号化信号９０１の符号量を引くことによってしか知ることができない。従って第１符号化信号９０１をデコードする際、第１符号化信号９０１の符号量をいちいち算出しなければならないこととなり、このことに多大の演算資源を費やさなければならないという課題がある。
【０００７】
また、従来の技術では、以下のような課題もある。
ＭＰＥＧ２オーディオ規格では、復号化されたダウンミックス信号は、サンプル時刻ごとに所定のマトリックス演算によってダウンミックスされているので、もともとのマルチチャネル信号の空間情報が失われているという。従って、元の空間情報を再現した上で、２チャネルダウンミックスした信号を再生せんと欲した場合、つまり、仮想サラウンド処理を施した２チャネル信号を再生せんと欲した場合、一旦、第１符号化信号９０１と第２符号化信号９０２とを用いてマルチチャネル信号を復号した後、頭部伝達関数に基づいて空間情報をフィルタ処理する必要があり、そのことに多大の演算資源を費やさなければならないという課題がある。
【０００８】
本発明は、このような従来の問題点に鑑みてなされたものであって、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した符号化信号の符号量を簡単に知りえるような符号化信号を生成するオーディオエンコーダを提供することを目的とする。
【０００９】
さらに、本発明は、ダウンミックス信号を再生するだけで元のマルチチャネルの空間情報が再生できるような符号化情報を生成するオーディオエンコーダを提供することを第２の目的とする。
【００１０】
また、そのようなオーディオエンコーダで符号化された符号化信号を少ない演算量で復号化するオーディオデコーダを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するため、本発明のオーディオエンコーダは、２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスするダウンミックス手段と、前記ダウンミックスされたステレオ信号を符号化し、第１符号化信号を生成する第１符号化手段と、前記ダウンミックスされたステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成する第２符号化手段と、前記第２符号化信号の符号量を算出する符号量算出手段と、前記第１符号化信号、前記第２符号化信号および算出された前記符号量を表す信号を多重化する多重化手段とを備えることを特徴とする。
【００１２】
また、前記多重化手段は、前記符号量算出手段で算出された符号量と、前記第２符号化信号とを多重化する第１多重化部と、前記第１符号化信号と、前記符号量が多重化された前記第２符号化信号とを多重化する第２多重化部とを備えるとしてもよい。
【００１３】
さらに、前記第１多重化部は、前記符号量算出手段で算出された前記符号量を、前記第２符号化信号の先頭に配置して多重化するとしてもよい。
【００１４】
また、前記第１多重化部は、前記符号量算出手段で算出された前記符号量を、前記第２符号化信号の開始を識別する記号の直後に配置するように多重化するとしてもよい。
【００１５】
さらに、前記第１多重化部は、前記符号量算出手段で算出された前記符号量を表す信号を可変長で記述し、前記第２符号化信号に多重化するとしてもよい。
【００１６】
また、前記ダウンミックス手段は、前記マルチチャネル信号に頭部伝達関数を用いた演算を行い、ダウンミックス処理を行うとしてもよい。
【００１７】
また、前記ダウンミックス手段は、周波数軸上で、前記マルチチャネル信号に頭部伝達関数を用いた演算を行うとしてもよい。
【００１８】
さらに、前記第２符号化信号は無効なデータを含み、前記符号量算出手段は、前記無効なデータを含む前記第２符号化信号の符号量を算出するとしてもよい。
【００１９】
上記の課題を解決するため、本発明のオーディオデコーダは、２チャネルを超えるマルチチャネル信号からダウンミックスされた２チャネルのステレオ信号が符号化されて得られる第１符号化信号と、前記ステレオ信号からマルチチャネル信号を生成するための情報が符号化されて得られたものである第２符号化信号と、前記第２符号化信号の符号量を表す信号とを含む符号化信号を取得する取得手段と、取得された前記符号化信号を復号化してステレオ信号を出力する復号化手段とを備える。
【００２０】
また、前記復号化手段は、取得された前記符号化信号から、前記第１符号化信号を読み出す第１符号化信号読み出し部と、前記第２符号化信号の符号量を表す信号を、前記符号化信号から読み出す符号量読み出し部と、前記第１符号化信号読み出し部によって読み出された前記第１符号化信号を復号化して、前記ステレオ信号を出力する第１復号化部とを備え、前記第１符号化信号読み出し部は、前記符号量読み出し部によって読み出された前記符号量を表す信号に基づいて、第２符号化信号を読み飛ばすとしてもよい。
【００２１】
また、前記第１符号化信号は、頭部伝達関数を用いた演算によりあらかじめ仮想サラウンド効果が付与されたステレオ信号が符号化されたものであり、前記第１復号化部は、仮想サラウンド効果の付与されたステレオ信号を出力するとしてもよい。
【００２２】
また、前記オーディオデコーダは、さらに、前記第２符号化信号を前記符号化信号から読み出す第２符号化信号読み出し部と、読み出された前記第１符号化信号と前記第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部と、前記復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施し、仮想サラウンド効果が付与されたステレオ信号を出力するフィルタ部と、前記第１復号化部から出力される前記ステレオ信号と、前記フィルタ部から出力される前記仮想サラウンド効果が付与されたステレオ信号とのいずれかを選択する選択部とを備えるとしてもよい。
【００２３】
さらに、前記第１復号化部は、前記ステレオ信号の周波数軸信号を生成し、前記フィルタ部は、前記ステレオ信号の周波数軸信号から復元されたマルチチャネル信号の周波数軸信号に対し、頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、前記周波数軸信号を時間軸信号に変換するとしてもよい。
【００２４】
また、前記オーディオデコーダは、さらに、少なくとも前記第２復号化部を駆動する為の電力を供給する電力供給部を備え、前記選択部は、前記電力供給部からの電力供給量が所定の値を下回った場合、前記第１復号化部からのステレオ信号を選択するとしてもよい。
【００２５】
さらに、前記符号量読み出し部によって読み出される前記第２符号化信号の符号量を表す信号は、無効なデータを含む前記第２符号化信号の符号量を表す信号であるとしてもよい。
【発明の効果】
【００２６】
本発明によれば、ダウンミックス信号をマルチチャネル信号に戻すために必要な情報を符号化して得られる第２符号化信号の符号量を、オーディオデコーダで簡単に知りえるような符号化信号を生成することができることとなる。従って、ダウンミックス信号のみを再生する再生装置においても、容易にダウンミックス信号のみを復号化して再生することができる。
【００２７】
本発明によれば、前記第２符号化信号の符号量を表す信号を、前記第２符号化信号の開始位置の直後から入手することができることとなる。
【００２８】
本発明によれば、前記第２符号化信号の符号量を表す信号を、その値の大きさに応じて可変符号長で多重化できるので、符号量を表す信号多重化のためのビット数を節約することができることとなる。
【００２９】
さらに、本発明によれば、ダウンミックス処理を周波数軸上で行うことができるので、前記第２符号化手段が周波数軸上の信号に対し符号化処理を行う場合、前記ダウンミックス処理と前記第２符号化の処理とが効率的に実施できることとなる。
【００３０】
本発明によれば、第１符号化手段が、１／２以下の帯域の信号を扱うことになるので、圧縮率が向上できることとなる。また、第１符号化手段で符号化された符号化信号のみを再生する場合、１／２以下の帯域の信号を扱うことになるので復号化の演算量が少なくて済むこととなる。また、近年広く研究開発が行われている帯域拡大技術（ＩＳＯ／ＩＥＣ１４４９６−３）が１／２帯域の以下の帯域の信号を拡大する技術であるので、その技術とのインターフェースがとり易くなることとなる。
【００３１】
また、本発明によれば、ダウンミックス信号が、頭部伝達関数のフィルタ処理された信号となり、第１符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなる。
【００３２】
さらに、本発明によれば、ダウンミックス信号が、頭部伝達関数のフィルタ処理された信号となり、第１符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなる。しかも頭部伝達関数の処理を周波数軸上で実施するので、近年主流のオーディオ圧縮方式、例えば、ＡＡＣ方式（ＩＳＯ／ＩＥＣ１３８１８−７）やＡＡＣ−ＳＢＲ方式（ＩＳＯ／ＩＥＣ１４４９６−３）と組み合わせたとき、少ない演算量で処理が実行できることとなる。なぜならば、それらの方式が、周波数軸上の信号を圧縮符号化している方式であるからである。
【００３３】
また、本発明によれば、ダウンミックス信号のみを復号化したいと欲する場合、簡単な処理でマルチチャネル化のために情報を取り去ることができることとなる。
【００３４】
さらに、本発明によれば、ダウンミックス信号の再生音と、マルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施した再生音とを選択できることとなる。
【００３５】
また、本発明によれば、周波数軸上で頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、当該周波数軸信号を時間軸信号に変換することができるので、近年主流のオーディオ圧縮方式、例えば、ＡＡＣ方式（ＩＳＯ／ＩＥＣ１３８１８−７）やＡＡＣ−ＳＢＲ方式（ＩＳＯ／ＩＥＣ１４４９６−３）と組み合わせたとき、少ない演算量で処理が実行できることとなる。なぜならば、それらの方式が、周波数軸上の信号を圧縮符号化している方式であるからである。
【００３６】
さらに、本発明によれば、オーディオデコーダを駆動する為の電力が低下した場合、例えば電池寿命がつきかけている場合、自動的にダウンミックス信号の復号化のモードに入るので、電池寿命が延長することとなる。また、聴取者は音質の変化によって電池寿命がつきかけていることを検知することができることとなる。
【発明を実施するための最良の形態】
【００３７】
（実施の形態１）
以下、本発明の実施の形態１におけるオーディオエンコーダについて図面を参照しながら説明する。図２は本実施の形態１におけるオーディオエンコーダの構成を示す図である。図２に示す実施の形態１のオーディオエンコーダは、１フレームがそれぞれ可変長の第１符号化信号と第２符号化信号とからなるフレームごとに、第２符号化信号の先頭部に当該第２符号化信号の符号量を表す信号を記述しておくオーディオエンコーダであって、ダウンミックス部１００、第１符号化部１０１、第２符号化部１０２、符号量算出部１０３、第１多重化部１０４および第２多重化部１０５を備える。第１符号化信号は、マルチチャネル信号をダウンミックスして得られる２チャネルのステレオ信号を符号化して得られる。第２符号化信号は、第１符号化信号から元のマルチチャネル信号を復元するための情報を符号化して得られる。ダウンミックス部１００は、Ｍチャネル（ＭはＭ＞２を満たす自然数）のマルチチャネル信号をステレオ信号にダウンミックスする。なお、以下では、マルチチャネル信号をダウンミックスして得られたステレオ信号のことを「ダウンミックス信号」という。第１符号化部１０１は、ダウンミックス信号を符号化し、第１符号化信号を生成する。第２符号化部１０２は、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する。符号量算出部１０３は、第２符号化部１０２で符号化された信号の符号量を算出する。第１多重化部１０４は、符号量算出部１０３で算出された符号量と第２符号化部１０２で生成された信号とを多重化し、第２符号化信号を生成する。第２多重化部１０５は、第１符号化信号と第２符号化信号とを多重化する。
【００３８】
以上のように構成されたオーディオエンコーダの動作について以下説明する。まず、ダウンミックス部１００は、本実施の形態では４チャネル（前左ｃｈ、前右ｃｈ、後左ｃｈ、後右ｃｈ）のマルチチャネル信号を入力とし、ステレオ信号にダウンミックスする。その方法は例えば、図３（ａ）に示したマトリックス演算を実行し、（前左ｃｈ＋後左ｃｈ）を新たに左ｃｈとし、（前右ｃｈ＋後右ｃｈ）を新たに右ｃｈとする、というような変換マトリックスを用いる方法が一般的である。または、ＭＰＥＧ２オーディオ規格で定められているように、入力の各チャネルの信号をフィルタバンクを用いて周波数軸信号に変換し、それぞれの周波数帯域ごとに定められた変換マトリックスに従ってダウンミックスしてもよい。または、入力の各チャネルの信号をＦＦＴ（Fast Fourier Transform）など直交変換方式を用いて周波数係数に変換し周波数係数ごとに定められた変換マトリックスに従ってダウンミックスしてもよい。この場合、各周波数係数は、フーリエ係数のように、複素数であってもよい。
【００３９】
次に第１符号化部１０１は、周波数軸上または時間軸上でダウンミックスされたダウンミックス信号を符号化し、第１符号化信号を生成する。ここで第１符号化部１０１による符号化は、例えばＭＰＥＧ規格などで規定された符号化方式でよい。
【００４０】
次に第２符号化部１０２は、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する。例えば、ダウンミックスに用いた変換マトリックス演算に対する逆変換マトリックス演算を成立させる為の補助マトリックス演算によって生成された信号を符号化する。最も単純な例を図３（ｂ）に示した。すなわち、図３（ｂ）の網掛け部分のマトリックス演算によって算出された左’ｃｈ、右’ｃｈの信号を符号化する。このような信号が符号化され、ダウンミックス信号を符号化した信号とともに伝送、または蓄積されていれば、図３（ｃ）に示した逆マトリックス演算によって、もとの４チャネル（前左ｃｈ、前右ｃｈ、後左ｃｈ、後右ｃｈ）のマルチチャネル信号にもどすことができるからである。図４（ａ）は、図３（ｂ）に示したマトリックスを頭部伝達関数ＨＲＴＦに基づいて算出された係数からなるマトリックスの一例を示す図である。図４（ｂ）は、図４（ａ）の逆行列であり、ダウンミックス信号を元のマルチチャネル信号に戻すためのマトリックスの一例を示す図である。図４（ａ）および（ｂ）のa, b, c, d, e, f, g, h, i, j, k, l, m, n, o, pは、頭部伝達関数ＨＲＴＦに基づいて算出された係数である。このような頭部伝達関数に基づくマトリックスを用いることによって、左ｃｈおよび右ｃｈによって表される２チャネルのステレオ信号に、もともとのマルチチャネルの空間情報が反映されることとなる。このような処理は入力の時間軸信号に対して行われても良いが、入力の時間軸信号をフィルタバンクなどを用いて周波数軸信号に変換し、それぞれの周波数帯域ごとに定められた変換マトリックスに従って行われてもよい。または、入力の時間軸信号をＦＦＴなど直交変換方式を用いて周波数係数に変換し周波数係数ごとに定められた変換マトリックスに従って行われてもよい。この場合、各周波数係数は、フーリエ係数のように、複素数であってもよい。
【００４１】
次に符号量算出部１０３は、第２符号化部１０２で符号化された信号の符号量を算出する。ただし、符号量算出部１０３は、第２符号化部１０２で符号化された信号を記述すべき領域が、第２符号化部１０２で符号化された信号以外の無効なデータ、例えば、nullなどを含む場合には、その無効なデータを含んだ符号量を算出する。すなわち、請求項およびここでいう符号量とは、第２符号化部１０２で符号化された信号を記述すべき領域が、無効なデータを含む場合には、その無効なデータを含んだ符号量をいう。
【００４２】
次に第１多重化部１０４は、符号量算出部１０３で算出された符号量と、第２符号化部１０２で生成された信号とを多重化し、第２符号化信号を生成する。図５は、図２の符号量算出部１０３で算出された符号量を符号化信号に記述するための記述方法の一例を示す図である。図６は、図５に示した記述方法で符号量を符号化信号に記述する際のフローチャートである。ここで、符号量算出部１０３で算出された符号量は、例えば図５に示すようにＡビット、または（Ａ＋Ｂ）ビットの可変長のビットフィールドで表現される。具体的には、算出された符号量がＡビットで表されるのであれば、size_of_extだけで記述され、符号量がＡビットを超える場合には、size_of_extとsize_of_escとの２つのフィールドで表される。例えば、Ａが４、Ｂが８、符号量sumが１４バイトの場合、１４は２進数１１１０の４ビットで表すことができるので（Ｓ４０１）、size_of_extという４ビットのフィールドに、sum=１４を表す２進数１１１０が書かれる（Ｓ４０２）。この条件を表すif文では、size_of_extの値１４が、（１＜＜４）−１すなわち、１を４ビット左へシフトした値１６から１を減算して得られる１５より小さいので、size_of_escという８ビットのフィールドは存在しない。すなわちこの場合４ビットのビットフィールドで符号量を表す信号を多重化する。
【００４３】
また、例えば、Ａが４、Ｂが８、符号量sumが１００バイトの場合には（Ｓ４０１）、size_of_extという４ビットのフィールドに、２進数１１１１が書かれる（Ｓ４０３）。この条件を表すif文では、size_of_extの値が、（１＜＜４）−１すなわち１５と等しいので、size_of_escという８ビットのフィールドに、sum − size_of_ext ＋１＝１００−（１５−１）の値が書かれる（Ｓ４０４）。すなわちこの場合１２ビットのビットフィールドで符号量を表す信号が多重化される。
【００４４】
最後に第２多重化部１０５で、第１符号化信号９０１と第２符号化信号９０２とを多重化する。この処理を、逐次オーディオフレームごとに行うことによって、図７に示すような、第１符号化信号９０１と第２符号化信号９０２とが交互に多重化され、且つ、第２符号化信号９０２の先頭部に符号量を表す信号が多重化されたような符号化信号が生成される。
【００４５】
上記のように、本実施の形態によれば、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をステレオ信号にダウンミックスするダウンミックス部と、ダウンミックス信号を符号化し第１符号化信号を生成する第１符号化部１０１と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する第２符号化部１０２と、第２符号化部１０２で符号化された信号の符号量を算出する符号量算出部１０３と、符号量算出部１０３で算出された符号量と第２符号化部１０２で生成された信号とを多重化し第２符号化信号を生成する第１多重化部１０４と、第１符号化信号と第２符号化信号とを多重化する第２多重化部１０５とを備え、第１多重化部１０４は、符号量を表す信号が第２符号化信号の先頭に配置されるように、符号量を表す信号を多重化することによって、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、第２符号化信号の符号量を示す情報が第２符号化信号に含まれているので、容易に第２符号化信号を全体の符号化信号から取り除くことができることとなる。
【００４６】
勿論ここで、符号量を表す信号は、第２符号化信号の開始を識別する記号の直後に配置するように、符号量を表す信号を多重化することが望ましい。なぜならば、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、第２符号化信号の符号量を示す情報が、第２符号化信号の先頭に配置されていれば、容易に第２符号化信号を全体の符号化信号から取り除くことができるからである。なお、この第２符号化信号の符号量は、ＭＰＥＧ２の符号化信号のFill Elementに記述されてもよい。この場合、第２符号化信号の開始を識別する記号とは、Fill Elementの開始を示す記号である。
【００４７】
また、算出された符号量を、当該符号量を表すためのビット量に応じた可変長のビットフィールドに多重化することによって、当該符号量を表す信号を多重化するためのビット数を削減できることとなる。
【００４８】
また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。
【００４９】
なお、算出された符号量を表す信号は、第２符号化信号の先頭に記述されることが好ましいが、本発明はこれに限定されない。例えば、フレームヘッダ情報の中に記述されてもよい。また、フレームヘッダ情報の中に第１符号化信号の符号量を表す信号が記述されるとしてもよい。なぜなら、フレームヘッダ情報の中にはフレーム全体の符号量が記述されているので、第２符号化信号の符号量は簡単に算出することができるからである。
【００５０】
（実施の形態２）
以下本発明の実施の形態２におけるオーディオエンコーダについて図面を参照しながら説明する。図８は本実施の形態２におけるオーディオエンコーダの構成を示す図である。図８のオーディオエンコーダは、入力された時間軸上の４チャネル信号を周波数軸上の信号に変換した後、ダウンミックスするオーディオエンコーダであって、ダウンミックス部５００、第１符号化部５０１、第２符号化部５０２、符号量算出部５０３、第１多重化部５０４および第２多重化部５０５を備える。これにおいて、第２符号化部５０２、符号量算出部５０３、第１多重化部５０４および第２多重化部５０５は、実施の形態１で示したものと同様のものである。実施の形態１で示したものと異なるものは、ダウンミックス部５００が、第２符号化部５０２の処理過程で生成される各入力チャネルの周波数軸信号を入力とし、該各入力チャネルの周波数軸信号の一部、または帯域の周波数軸信号をダウンミックスするように構成されている点と、第１符号化部５０１が、ダウンミックス部５００でダウンミックスされた信号を入力として当該信号を符号化するように構成されている点である。
【００５１】
以上のように構成されたオーディオエンコーダの動作について以下に説明する。まず、第２符号化部５０２は、入力された４チャネル信号を時間軸上の信号のサンプル数と同数のサンプル数からなる周波数軸信号に変換する。これはフィルタバンクを用いても良いし、ＦＦＴのような直交変換方式を用いて周波数係数に変換してもよい。この場合、各周波数係数は、フーリエ係数のように、複素数であってもよい。この各チャネルの周波数軸信号をダウンミックス部５００に対し送出し、ダウンミックス部５００で所定の方法でダウンミックス処理が行われる。ここで、各チャネルの対応する周波数軸信号同士に対して実施されるダウンミックス処理は、実施の形態１で述べたようなマトリックス演算によって実施すればよい。一方第２符号化部５０２では、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する。この方法も、実施の形態１で示した方法と同様でよい。
【００５２】
ここで本実施の形態では、ダウンミックス部５００は、受け取った各チャネルの周波数軸信号の一部の帯域のみに対しダウンミックス処理を実施するようにしてもよい。例えば、全周波数帯域の高域側の一部を取り除いた信号をダウンミックスする。このことによって、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、符号化信号の周波数帯域が狭いので復号化に際しての演算量が少なくてすむことになる。また、全周波数帯域の１／２以下の周波数帯域の信号をダウンミックスすることとすれば、以下に示す理由によって、更に利便性を享受できる。すなわち、第１符号化部５０１は、例えばＭＰＥＧ規格などで規定された符号化方式でよいが、特に、ここで、周波数帯域が全周波数帯域の１／２以下の周波数帯域であれば近年ＭＰＥＧ４規格で検討されている帯域拡大技術（ＩＳＯ／ＩＥＣ１４４９６−３）が前提としている周波数帯域と合致するので、当該技術とのインターフェースがとり易くなるからである。
【００５３】
以降、符号量算出部５０３の処理、第１多重化部５０４の処理、第２多重化部５０５の処理は、実施の形態１で述べたのと同様でよい。
【００５４】
また、ダウンミックス部５００では、周波数成分に分解された信号に対し頭部伝達関数に基づいたフィルタ処理を実施しながらダウンミックスしてもよい。周波数成分に分解された信号に対する頭部伝達関数に基づいたフィルタ処理は、特開平１１−０３２４００号公報で述べられているような方法でよい。そうすることによって、第１符号化部５０１で符号化された符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなるからである。勿論このことは、本実施の形態２での処理過程のみに適応されるわけではなく、先の実施の形態１での処理過程で実施しても良いことは言うまでもない。
【００５５】
上記のように、本実施の形態によれば、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をステレオ信号にダウンミックスするダウンミックス部５００と、ダウンミックス信号を符号化し第１符号化信号を生成する第１符号化部５０１と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する第２符号化部５０２と、第２符号化部５０２で符号化された信号の符号量を算出する符号量算出部５０３と、符号量算出部５０３で算出された符号量を表す信号と第２符号化部５０２で生成された信号とを多重化し第２符号化信号を生成する第１多重化部５０４と、第１符号化信号と第２符号化信号とを多重化する第２多重化部５０５と、を有し、ダウンミックス部５００は、マルチチャネル信号をそれぞれ周波数軸信号に変換し該周波数軸信号の一部または全部の周波数帯域の信号をステレオ信号にダウンミックスすることによって、ダウンミックス処理を周波数軸上で行うことができるので、第２符号化部５０２が周波数軸上の信号に対し符号化処理を行う場合、ダウンミックス処理と第２符号化の処理とが効率的に実施できることとなる。また、一部または全部の周波数帯域の信号をステレオ信号にダウンミックスすれば、ダウンミックス処理を少ない演算量で行えることとなると同時に、第１符号化部５０１が、狭い帯域の信号を扱うことになるので、圧縮率が向上できることとなる。また、第１符号化部５０１で符号化された符号化信号のみを再生する場合、狭い帯域の信号を扱うことになるので復号化の演算量が少なくて済むこととなる。また、ダウンミックス処理を、もともとの周波数帯域の１／２の帯域で処理すれば、第１符号化部５０１が、１／２以下の帯域の信号を扱うことになるので、圧縮率がさらに向上できることとなると同時に、第１符号化部５０１で符号化された符号化信号のみを再生する場合、１／２以下の帯域の信号を扱うことになるので復号化の演算量が少なくて済むこととなる。また、近年広く研究開発が行われている帯域拡大技術（ＩＳＯ／ＩＥＣ１４４９６−３）が１／２帯域の以下の帯域の信号を拡大する技術であるので、その技術とのインターフェースがとり易くなることとなる。
【００５６】
また、上記ダウンミックス処理時に、頭部伝達関数のフィルタ処理も実施しておけば、第１符号化部５０１で符号化された符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなる。
【００５７】
勿論、上記頭部伝達関数のフィルタ処理は周波数軸上で行わず、時間軸上で行ってもよいことは言うまでもない。
【００５８】
また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。
【００５９】
（実施の形態３）
以下本発明の実施の形態３におけるオーディオデコーダについて図面を参照しながら説明する。本オーディオデコーダは、実施の形態１または実施の形態２で符号化された符号化信号を復号化するオーディオデコーダである。すなわち、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号を復号化するオーディオデコーダである。ここで、第２符号化信号には、当該第２符号化信号の符号量を示す値が多重化されているものとする。
【００６０】
図９は本実施の形態３におけるオーディオデコーダの構成を示す図である。図９において、オーディオデコーダは、第１符号化信号取り出し部６００、第２符号化信号取り出し部６０１、第１復号化部６０２、符号量取り出し部６０３、および実体信号取り出し部６０４を備える。第１符号化信号取り出し部６００は、第１符号化信号を取り出す。第２符号化信号取り出し部６０１は、第２符号化信号を取り出す。第１復号化部６０２は、第１符号化信号に基づいて、ダウンミックス信号を復号化する。符号量取り出し部６０３は、第２符号化信号に含まれている当該第２符号化信号の符号量を表す信号を取り出す。実体信号取り出し部６０４は、符号量取り出し部６０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す。
【００６１】
以上のように構成されたオーディオデコーダの動作について、以下に説明する。まず、第１符号化信号取り出し部６００は、４チャネルのマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号から、第１符号化信号を取り出す。ここで、第１符号化信号は、実施の形態１、または実施の形態２の第１符号化部で生成された符号化信号であるので、当該第１符号化信号取り出し部６００では、第１符号化信号の符号化フォーマットに則って第１符号化信号を取り出せばよい。例えば、第１符号化部が、ＭＰＥＧ規格ＡＡＣ方式に則った符号化部なのであれば、当該第１符号化信号取り出し部６００では、ＡＡＣ符号化フォーマットに則って第１符号化信号を取り出せばよい。
【００６２】
次に、第１復号化部６０２で第１符号化信号に基づいて、ダウンミックス信号を復号化する。ここでの復号化の方法も、第１符号化信号の符号化規格に則って復号化すればよい。
【００６３】
図１０は、図５に示した符号量記述方法で記述されている符号量を表す信号をオーディオデコーダで読み取る場合の手順を示すフローチャートである。次に、第２符号化信号取り出し部６０１に内蔵されている符号量取り出し部６０３で、第２符号化信号に含まれている当該第２符号化信号の符号量を表す信号を取り出す（Ｓ５０１）。ここで当該符号量sumは、図５に示したＡビットまたは（Ａ＋Ｂ）ビットで表現されているものとする。例えば、図５に示したsize_of_extが４ビット、size_of_escが８ビット、size_of_extの値が２進数で１０１０であるとする。この場合、size_of_extの値が１０であり、（１＜＜４）−１＝１５に等しくないので（Ｓ５０２）、size_of_escの８ビットは存在せず、符号量sumは１０バイトということになる（Ｓ５０５）。また例えば、size_of_extが４ビット、size_of_escが８ビット、size_of_extの値が２進数で１１１１の場合、size_of_extの値が（１＜＜４）−１＝１５なので（Ｓ５０２）、size_of_escの８ビットが存在することになる。符号量取り出し部６０３は、さらに８ビットのsize_of_escを取り出す（Ｓ５０３）。ここで、size_of_escの値が２進数で００００１０００の場合、符号量sumは、sum ＝ size_of_ext ＋ size_of_esc−１＝１５＋８−１となり、２２バイトとなる（Ｓ５０４）。
【００６４】
最後に、実体信号取り出し部６０４で、符号量取り出し部６０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す。例えば、符号量が、２０バイトなのであれば、以降の２０バイトの信号が、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号の符号量と分かり、当該第２符号化信号は、ダウンミックス信号のみを再生するデコーダにとっては不要なものであるので、そのサイズ分だけ、符号化信号を読み飛ばせばよいことになる。
【００６５】
ここで、当該第２符号化信号に多重化されている当該符号量に応じた値は、必ずしも、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した信号の符号量と丁度一致している必要はなく、それと同じかそれより大きな値であればよい。例えば、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した信号の正味の符号量が１８バイトの場合でも、例えば２バイトの付加的な情報を追加した場合は（これは実質的に無意味な情報でもよいが）、当該第２符号化信号に多重化されている当該符号量に相当する値は２０となっているべきである。すなわち、第２符号化信号が付加的な情報または無意味な情報である２バイトを含んでいるとした場合と同じである。そうすることによって、実体信号取り出し部は、符号化信号の内容については一切関知する必要がなくなるからである。
【００６６】
以上の様に、本実施の形態のオーディオデコーダは、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号に対し、第１符号化信号を取り出す第１符号化信号取り出し部６００と、第２符号化信号を取り出す第２符号化信号取り出し部６０１と、第１符号化信号に基づいて、ダウンミックス信号を復号化する第１復号化部６０２とを有し、第２符号化信号取り出し部６０１は、第２符号化信号に含まれる符号量を表す信号を取り出す符号量取り出し部６０３と、符号量取り出し部６０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す実体信号取り出し部６０４をさらに備える。これによって、ダウンミックス信号のみを復号化したいと欲するオーディオデコーダの場合、簡単な処理でマルチチャネル化のための情報を取り去るまたは読み飛ばすことができることとなる。
【００６７】
勿論ここで、符号量を表す信号は、第２符号化信号の先頭に配置されることが望ましい。なぜならば、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、第２符号化信号の符号量を示す情報が、第２符号化信号の先頭に配置されていれば、容易に第２符号化信号を全体の符号化信号から取り除くことができるからである。
【００６８】
またここで、第１符号化信号が、先に述べた実施の形態２のように、予め頭部伝達関数に基づくフィルタ処理によって本来のマルチチャネル信号が２チャネル信号にダウンミックスされていれば、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、単に第１符号化信号を復号化するだけで、もともとのマルチチャネルの空間情報が反映されたオーディオを再生できることとなる。
【００６９】
また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。
【００７０】
（実施の形態４）
以下、本発明の実施の形態４におけるオーディオデコーダについて図面を参照しながら説明する。
【００７１】
本オーディオデコーダは、実施の形態１または実施の形態２で符号化された符号化信号を復号化するオーディオデコーダである。すなわち、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号を復号化するオーディオデコーダである。ここで、第２符号化信号には、当該第２符号化信号の符号量を示す値が多重化されているものである。
【００７２】
図１１は、本実施の形態４におけるオーディオデコーダの構成を示す図である。図１１に示すように、実施の形態４のオーディオデコーダは、第１符号化信号取り出し部７００、第２符号化信号取り出し部７０１、第１復号化部７０２、符号量取り出し部７０３、実体信号取り出し部７０４、第２復号化部７０５、フィルタ部７０６および選択部７０７を備える。このうち、実施の形態３と異なるのは、第１符号化信号と第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部７０５と、復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施すフィルタ部７０６と、第１復号化部７０２で生成された信号か、フィルタ部７０６で生成された信号かを選択する選択部７０７とを備えたところである。それ以外の第１符号化信号取り出し部７００、第２符号化信号取り出し部７０１、第１復号化部７０２、符号量取り出し部７０３および実体信号取り出し部７０４は、実施の形態３で述べたものと同様である。
【００７３】
以上のように構成されたオーディオデコーダの動作について、以下に説明する。まず、第１符号化信号取り出し部７００は、４チャネルのマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号から、第１符号化信号を取り出す。この動作は、実施の形態３と同様である。
【００７４】
次に、第１復号化部７０２で第１符号化信号に基づいて、ダウンミックス信号を復号化する。この動作も、実施の形態３と同様である。
【００７５】
次に、第２符号化信号取り出し部７０１に内蔵されている符号量取り出し部７０３で、第２符号化信号に含まれている当該第２符号化信号の符号量を表す信号を取り出す。この動作は、実施の形態３と同様である。
【００７６】
次に符号量取り出し部７０３によって取り出された符号量を表す信号に基づいて、実体信号取り出し部７０４が、符号化信号から第２符号化信号を取り出す。この動作は、実施の形態３と同様である。
【００７７】
次に、第２復号化部７０５で、第１符号化信号と第２符号化信号とに基づいて、マルチチャネル信号を復号化する。
【００７８】
ここで、第１符号化信号と第２符号化信号は、実施の形態１、または実施の形態２のオーディオエンコーダで生成された符号化信号であるので、当該第２復号化部７０５では、その符号化フォーマットに則って第１符号化信号と第２符号化信号とを復号しマルチチャネル信号を生成すればよい。
【００７９】
次にフィルタ部７０６で、復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施す。
【００８０】
最後に、選択部７０７で、第１復号化部で生成された信号か、フィルタ部で生成された信号かを選択する。
【００８１】
以上の様に、本実施の形態では、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号に対し、第１符号化信号を取り出す第１符号化信号取り出し部７００と、第２符号化信号を取り出す第２符号化信号取り出し部７０１と、第１符号化信号に基づいて、ダウンミックス信号を復号化する第１復号化部７０２と、第２符号化信号に含まれる符号量を表す信号を取り出す符号量取り出し部７０３と、符号量取り出し部７０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す実体信号取り出し部７０４と、第１符号化信号と第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部７０５と、復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施すフィルタ部７０６と、第１復号化部で生成された信号か、フィルタ部７０６で生成された信号かを選択する選択部７０７とを備えることによって、ダウンミックス信号の再生音と、マルチチャネル信号に対し頭部伝達関数に基づくフィルタ処理を施した再生音とを利用者が選択できることとなる。
【００８２】
上記の処理において、第２復号化部７０５では各マルチチャネル信号の周波数軸信号を生成するようにし、当該各マルチチャネル信号の周波数軸信号に対し周波数軸上で頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、当該周波数軸信号を時間軸信号に変換するようにしてもよい。例えば、特開平１１−０３２４００号公報で述べられているような方法でもよい。そうすることによって、例えば、ＡＡＣ方式（ＩＳＯ／ＩＥＣ１３８１８−７）やＡＡＣ−ＳＢＲ方式（ＩＳＯ／ＩＥＣ１４４９６−３）と組み合わせたとき、演算量が大幅に削減できることになる。なぜならば、それらの方式が、周波数軸上の信号を圧縮符号化している方式であるので、周波数軸信号を時間軸信号に変換する処理が内蔵されているが、周波数軸上でダウンミックスすることによって、周波数軸信号を時間軸信号に変換する処理が２チャネル分のみで済むことになるからである。
【００８３】
また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。
【００８４】
また、本実施の形態では、第２復号化部は、第１符号化信号と第２符号化信号とを入力とし、それらを用いてマルチチャネル信号を復号化したが、第１復号化部で復号化した信号を用いて、マルチチャネル信号を復号化するようにしてもよい。図１２は、本実施の形態４におけるオーディオデコーダの他の構成を示す図である。その場合、図１２に示すような構成になる。
【００８５】
また、当該オーディオデコーダを駆動する為の電力が低下した場合、例えば電池寿命がつきかけている場合、そのことを検出し、自動的に上記選択部を、第１復号化部で生成された信号で出力するように制御すれば、バッテリーがつきかけているときに、自動的にダウンミックス信号の復号化のモードに入るので、電池寿命が延長することとなる。また、聴取者は音質の変化によって電池寿命がつきかけていることを検知することができることとなる。
【００８６】
図１３は、本発明のオーディオデコーダを備えるモバイルオーディオ機器の外観の一例を示す図である。（ａ）は、本発明のオーディオデコーダを内蔵するモバイルテレビの一例を示す図である。（ｂ）は、本発明のオーディオデコーダを内蔵する携帯電話機の一例を示す図である。同図に示すような携帯型の機器では、単位時間あたりの演算量が大きいと、演算処理の並列化などのために回路規模が大きくなってしまう。そして、モバイルオーディオ機器では、いまだに２チャネル再生が主流である。従って、同図に示すようなモバイルオーディオ機器では、本発明のオーディオエンコーダによって符号化された符号化信号を復号化し、再生することによって、符号化信号の不要な部分を読み飛ばし、頭部伝達関数を用いてフィルタリングされた仮想サラウンドオーディオを、低い負荷で再生することができる。
【産業上の利用可能性】
【００８７】
本発明にかかるオーディオエンコーダは、マルチチャネル信号を符号化するオーディオエンコーダであるが、エンコードされたマルチチャネル信号を安価なデコーダで再生できるような符号化信号を生成するので、特に機器の小型化が必要な携帯機器に応用できる。
【００８８】
本発明にかかるオーディオデコーダは、マルチチャネル信号を符号化した符号化信号を２チャネルの再生部、例えば、ヘッドホンで再生するのに適しているので、特に機器の小型化が必要な携帯機器、例えば、モバイルテレビ、ＭＤ、ＳＤおよび携帯電話機などに応用できる。
【図面の簡単な説明】
【００８９】
【図１】図１は、ＭＰＥＧ２オーディオ規格における符号化信号（ビットストリーム）の構造を示したものである。
【図２】図２は、本実施の形態１におけるオーディオエンコーダの構成を示すブロック図である。
【図３】図３（ａ）は、ダウンミックスの変換マトリックスを示す図である。図３（ｂ）は、ダウンミックス信号を元のマルチチャネル信号に戻すための信号を生成するマトリックスを示す図である。図３（ｃ）は、ダウンミックス信号を元のマルチチャネル信号に戻すためのマトリックスを示す図である。
【図４】図４（ａ）は、図３（ｂ）に示したマトリックスを頭部伝達関数に基づいて算出した場合のマトリックスの一例を示す図である。図４（ｂ）は、図４（ａ）の逆行列であり、ダウンミックス信号を元のマルチチャネル信号に戻すためのマトリックスの一例を示す図である。
【図５】図５は、図２の符号量算出部１０３で算出された符号量を符号化信号に記述するための記述方法の一例を示す図である。
【図６】図６は、図５に示した記述方法で符号量を符号化信号に記述する際のフローチャートである。
【図７】図７は、本実施の形態１、２で生成される符号化信号のデータ構成を示す図である。
【図８】図８は、本実施の形態２におけるオーディオエンコーダの構成を示す図である。
【図９】図９は、本実施の形態３におけるオーディオデコーダの構成を示す図である。
【図１０】図１０は、図５に示した符号量記述方法で記述されている符号量を表す信号をオーディオデコーダで読み取る場合の手順を示すフローチャートである。
【図１１】図１１は、本実施の形態４におけるオーディオデコーダの構成を示す図である。
【図１２】図１２は、本実施の形態４におけるオーディオデコーダのもう１つの構成を示す図である。
【図１３】図１３（ａ）は、本発明のオーディオデコーダを内蔵するモバイルテレビの外観の一例を示す図である。図１３（ｂ）は、本発明のオーディオデコーダを内蔵する携帯電話機の外観の一例を示す図である。
【符号の説明】
【００９０】
１００，５００    ダウンミックス部
１０１，５０１    第１符号化部
１０２，５０２    第２符号化部
１０３，５０３    符号量算出部
１０４，５０４    第１多重化部
１０５，５０５    第２多重化部
６００，７００，８００    第１符号化信号取り出し部
６０１，７０１，８０１    第２符号化信号取り出し部
６０２，７０２，８０２    第１復号化部
６０３，７０３，８０３    符号量取り出し部
６０４，７０４，８０４    実体信号取り出し部
７０５，８０５    第２復号化部
７０６，８０６    フィルタ部
７０７，８０７    選択部
９００    フレームヘッダ情報
９０１    第１符号化信号
９０２    第２符号化信号
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2005081229.tif 000015
【図２】
2005081229.tif 000016
【図３】
2005081229.tif 000017
【図４】
2005081229.tif 000018
【図５】
2005081229.tif 000019
【図６】
2005081229.tif 000020
【図７】
2005081229.tif 000021
【図８】
2005081229.tif 000022
【図９】
2005081229.tif 000023
【図１０】
2005081229.tif 000024
【図１１】
2005081229.tif 000025
【図１２】
2005081229.tif 000026
【図１３】
2005081229.tif 000027
【国際調査報告】
2005081229.tif 000028
2005081229.tif 000029
2005081229.tif 000030
2005081229.tif 000031