(57)【要約】【課題】マルチチャネル音響方式の音響信号に含まれる各チャネル間の相関に基づき、単一チャネル符号化又はチャネルペア符号化を選択する。【解決手段】本発明に係る音響信号符号化装置は、マルチチャネル音響方式の音響信号を符号化する音響信号符号化装置１であって、前記音響信号に含まれる各チャネル間の相関に基づき、前記各チャネルを単一チャネルで符号化するチャネルと、２チャネルペアで符号化するチャネルとに振り分けるチャネル振分部１０と、振り分け結果に応じて、前記各チャネルを単一チャネルで符号化又は２チャネルペアで符号化する符号化部２０、３０と、前記各チャネルの符号化データと、２チャネルペアで符号化するチャネルを示すチャネルペア情報とを多重化する多重化部４０と、を備える。【選択図】図１
2015011076.tif 000002
【特許請求の範囲】
【請求項１】
マルチチャネル音響方式の音響信号を符号化する音響信号符号化装置であって、
前記音響信号に含まれる各チャネル間の相関に基づき、前記各チャネルを単一チャネルで符号化するチャネルと、２チャネルペアで符号化するチャネルとに振り分けるチャネル振分部と、
振り分け結果に応じて、前記各チャネルを単一チャネルで符号化又は２チャネルペアで符号化する符号化部と、
前記各チャネルの符号化データと、２チャネルペアで符号化するチャネルを示すチャネルペア情報とを多重化する多重化部と、を備える音響信号符号化装置。
【請求項２】
前記チャネル振分部は、所定時間毎、又は前記音響信号が切り替わるタイミングの少なくとも一方を契機として、前記各チャネルの振り分けを行う、請求項１に記載の音響信号符号化装置。
【請求項３】
マルチチャネル音響方式の音響信号を符号化する音響信号符号化装置による音響信号符号化方法であって、
前記音響信号符号化装置による処理手順が、
前記音響信号に含まれる各チャネル間の相関に基づき、前記各チャネルを単一チャネルで符号化するチャネルと、２チャネルペアで符号化するチャネルとに振り分けるステップと、
振り分け結果に応じて、前記各チャネルを単一チャネルで符号化又は２チャネルペアで符号化するステップと、
前記各チャネルの符号化データと、２チャネルペアで符号化するチャネルを示すチャネルペア情報とを多重化するステップと、を含む音響信号符号化方法。
【請求項４】
マルチチャネル音響方式の音響信号を復号化する音響信号復号化装置であって、
入力信号から、前記音響信号に含まれる各チャネルの符号化データと、２チャネルペアで符号化されたチャネルを示すチャネルペア情報とを分離する分離部と、
前記チャネルペア情報に基づき、２チャネルペアで符号化されたチャネルの符号化データは２チャネルペアの符号化に対応する復号化を行い、他のチャネルの符号化データは、単一チャネルの符号化に対応する復号化を行う復号化部と、を備える音響信号復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、マルチチャネル音響方式に対応した音響信号符号化装置、音響信号符号化方法、および音響信号復号化装置に関する。
【背景技術】
【０００２】
将来、スーパーハイビジョンを放送する場合には、スーパーハイビジョン音響である、２２．２マルチチャネル音響をどのような方式で符号化するかが課題となる。現在ある技術の中で高音質な圧縮符号化の代表的な方式は、MPEG-4 AAC（Advanced Audio Coding）である。ＡＡＣは単一チャネルの符号化と、２チャネルペアの符号化とを組み合わせる方式であるが、２２．２マルチチャネル音響信号に対してどのようなチャネルのペアを用いるのが好適かは必ずしも明らかになっていなかった（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Marina Bosi, Richard E. Goldberg, "Introduction to Digital Audio Coding and Standards" Springer, 2002-12-31
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、MPEG-2 AAC Annexには、２２．２ｃｈの符号化方式が定められている。これは、正中面に対応するチャネルは単一チャネル符号化、それ以外のチャネルは左右対称位置のチャネルをチャネルペアとして符号化する方式である。但し、これは、従来の５．１ｃｈの符号化法を踏襲しただけであって、このようなチャネルペアが高い符号化効率や音質の維持につながる保証はなかった。
【０００５】
MPEG-2 AAC、あるいはMPEG-4 AACで符号化する場合には、３次元音響信号のチャネル数がいくつであっても、単一チャネル符号化（single channel element）とチャネルペア符号化（channel pair element）の組み合わせで符号化する以外に方法はない。チャネルペアで符号化する際のメリットは、２チャネル間の相関を利用して効率的な符号化を行うことができることであり、デメリットは２チャネル間でクロストークが生じることである。チャネルペア符号化は、信号間で相関が高いチャネルのペアを構成した上で適用するのが望ましく、相関が低い場合には、単一チャネルで符号化する方が望ましい。
【０００６】
したがって、かかる点に鑑みてなされた本発明の目的は、マルチチャネル音響方式の音響信号に含まれる各チャネル間の相関に基づき、単一チャネル符号化又はチャネルペア符号化を選択することが可能な音響信号符号化装置及び音響信号符号化方法と、当該符号化された音響信号を復号化可能な音響信号復号化装置とを提供することにある。
【課題を解決するための手段】
【０００７】
上述した諸課題を解決すべく、本発明に係る音響信号符号化装置は、マルチチャネル音響方式の音響信号を符号化する音響信号符号化装置であって、前記音響信号に含まれる各チャネル間の相関に基づき、前記各チャネルを単一チャネルで符号化するチャネルと、２チャネルペアで符号化するチャネルとに振り分けるチャネル振分部と、振り分け結果に応じて、前記各チャネルを単一チャネルで符号化又は２チャネルペアで符号化する符号化部と、前記各チャネルの符号化データと、２チャネルペアで符号化するチャネルを示すチャネルペア情報とを多重化する多重化部と、を備える。
【０００８】
また、前記チャネル振分部は、所定時間毎、又は前記音響信号が切り替わるタイミングの少なくとも一方を契機として、前記各チャネルの振り分けを行う、ことが好ましい。
【０００９】
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
【００１０】
例えば、本発明に係る音響信号符号化方法は、マルチチャネル音響方式の音響信号を符号化する音響信号符号化装置による音響信号符号化方法であって、前記音響信号符号化装置による処理手順が、前記音響信号に含まれる各チャネル間の相関に基づき、前記各チャネルを単一チャネルで符号化するチャネルと、２チャネルペアで符号化するチャネルとに振り分けるステップと、振り分け結果に応じて、前記各チャネルを単一チャネルで符号化又は２チャネルペアで符号化するステップと、前記各チャネルの符号化データと、２チャネルペアで符号化するチャネルを示すチャネルペア情報とを多重化するステップと、を含む。
【００１１】
さらに、本発明に係る音響信号復号化装置は、マルチチャネル音響方式の音響信号を復号化する音響信号復号化装置であって、入力信号から、前記音響信号に含まれる各チャネルの符号化データと、２チャネルペアで符号化されたチャネルを示すチャネルペア情報とを分離する分離部と、前記チャネルペア情報に基づき、２チャネルペアで符号化されたチャネルの符号化データは２チャネルペアの符号化に対応する復号化を行い、他のチャネルの符号化データは、単一チャネルの符号化に対応する復号化を行う復号化部と、を備える。
【発明の効果】
【００１２】
本発明に係る音響信号符号化装置及び音響信号符号化方法によれば、マルチチャネル音響方式の音響信号に含まれる各チャネル間の相関に基づき、単一チャネル符号化又はチャネルペア符号化を選択することが可能となり、本発明に係る音響信号復号化装置によれば、当該符号化された音響信号を復号化することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る音響信号符号化装置の機能ブロックを示す図である。
【図２】チャネル振分部の詳細な機能ブロックを示す図である。
【図３】チャネル振分部の振り分け処理のフローチャートである。
【図４】本発明の一実施形態に係る音響信号復号化装置の機能ブロックを示す図である。
【発明を実施するための形態】
【００１４】
以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、本実施形態におけるマルチチャネル音響信号は、例えばスーパーハイビジョン用の音響方式である２２．２マルチチャネル音響の音響信号であり、さらに、本発明は５．１ｃｈ、７．１ｃｈなどの他のマルチチャネル音響の音響信号にも適用できるものである。
【００１５】
図１は、本発明の一実施形態に係る音響信号符号化装置１の機能ブロック図である。音響信号符号化装置１は、チャネル振分部１０と、符号化部である単一チャネル符号化部２０及びチャネルペア符号化部３０と、多重化部４０とを備える。
【００１６】
チャネル振分部１０は、入力されるマルチチャネル音響信号の各チャネルを、単一チャネル符号化すべきチャネルと、チャネルペア符号化すべきチャネルとに振り分ける。なお、単一チャネル符号化とは１つのチャネルを独立して符号化することをいい、チャネルペア符号化とは２つのチャネルをペアとして符号化することをいうものである。チャネル振分部１０は、単一チャネル符号化すべきチャネルを単一チャネル符号化部２０に出力し、チャネルペア符号化すべきチャネルをチャネルペア符号化部３０に出力する。なお、チャネル振り分けの結果、全てのチャネルが単一チャネル符号化すべきチャネルに振り分けられたり、又は、全てのチャネルがチャネルペア符号化すべきチャネルに振り分けられたりする場合がある点に留意されたい。
【００１７】
図２は、チャネル振分部１０の詳細な機能ブロックを示す図であり、図３は、チャネル振分部１０の振り分け処理のフローチャートである。チャネル振分部１０は、信号記憶部１１と、チャネルペア選択部１２と、チャネル情報記憶部１３と、信号分配部１４とを備え、チャネル情報記憶部１３は、チャネル名記憶部１３１と、単一チャネル名記憶部１３２と、チャネル名ペア記憶部１３３とを備える。以下、図３のフローチャートに沿ってチャネル振分部１０の各機能ブロックの動作を説明する。
【００１８】
信号記憶部１１は、チャネル振分部１０に入力されたマルチチャネル音響信号をチャネルごとに一定時間分記憶する（ステップＳ１）。チャネルペア選択部１２は、信号記憶部１１に記憶されたマルチチャネル音響信号に含まれるチャネル名の集合（チャネル名の一覧、以下適宜「チャネル名集合」と称する）をチャネル名記憶部１３１に記憶する（ステップＳ２）。
【００１９】
単一チャネル名記憶部１３２は、制作者等により予め単一チャネル符号化が指定されているチャネルのチャネル名を記憶しており、チャネルペア選択部１２は、当該チャネルのチャネル名をチャネル名記憶部１３１のチャネル名集合から消去する（ステップＳ３）。ここで、予め単一チャネル符号化が指定されているチャネルとは、例えば２２．２ｃｈのFront Center Channelなど、他のチャネルとのクロストークを避けるべきチャネルが含まれる。
【００２０】
チャネルペア選択部１２は、チャネル名記憶部１３１に記憶された各チャネル間の相関を計算する（ステップＳ４）。例えば、チャネルペア選択部１２は、各チャネルの一定の時間区間における信号変化から、各チャネル間の相関を計算する。即ち、一定の時間区間における信号変化の仕方が近いチャネル間の相関は高く、変化の仕方が異なるチャネル間の相関は低く計算される。また、チャネルペア選択部１２は、周波数帯域をサブバンドに分割し、サブバンド毎に各チャネル間の相関を計算することもできる。
【００２１】
チャネルペア選択部１２は、所定の閾値より高い相関値を持つチャネルペアの有無を確認する（ステップＳ５）。ここで、所定の閾値とは、相関の低いチャネル同士をペアとして符号化する際に生じるクロストーク等の問題を防ぐための閾値であって、当業者が適宜設定することができるものである。例えば、所定の閾値を高く設定すると、チャネルペア符号化されるチャネル数が少なくなるため、符号化効率は低下するがクロストークによる音質劣化は低減される。一方、所定の閾値を低く設定すると、チャネルペア符号化されるチャネル数が多くなるため、符号化効率は向上するがクロストークによる音質劣化が生じやすくなる。チャネルペア選択部１２は、所定の閾値より高い相関値を持つチャネルペアが存在する場合（ステップＳ５のＹｅｓ）、相関値が最大となるチャネルペアのチャネル名をチャネル名ペア記憶部１３３に記憶し、当該チャネルペアのチャネル名をチャネル名記憶部１３１のチャネル名集合から消去する（ステップＳ６）。
【００２２】
チャネルペア選択部１２は、チャネル名記憶部１３１のチャネル名集合に記憶されたチャネル数が１又は０になるまで、ステップＳ５及びステップＳ６の処理を継続する（ステップＳ７）。
【００２３】
ステップＳ５において所定の閾値より高い相関値を持つチャネルペアが存在しなくなるか（ステップＳ５のＮｏ）、又は、チャネル名記憶部１３１のチャネル名集合に記憶されたチャネル数が１又は０になった場合（ステップＳ７のＮｏ）、チャネルペア選択部１２は、その時点でチャネル名記憶部１３１のチャネル名集合に記憶されているチャネルを単一チャネル符号化すべきチャネルとして単一チャネル名記憶部１３２に記憶する（ステップＳ８）。
【００２４】
信号分配部１４は、チャネルペア選択部１２による処理が終了すると、単一チャネル名記憶部１３２に記憶されたチャネルを単一チャネル符号化部２０に出力し、チャネル名ペア記憶部１３３に記憶されたチャネルをチャネルペア符号化部３０に出力する（ステップＳ９）。
【００２５】
単一チャネル符号化部２０は、チャネル振分部１０から入力されたチャネルを１チャネルずつ独立に符号化して多重化部４０に出力する。
【００２６】
チャネルペア符号化部３０は、チャネル振分部１０から入力されるチャネルペアをまとめて符号化して多重化部４０に出力する。また、チャネルペア符号化部３０は、チャネルペアとなるチャネルを示すチャネルペア情報を多重化部４０に出力する。
【００２７】
多重化部４０は、単一チャネル符号化部２０及びチャネルペア符号化部３０からの符号化された音響信号データ（符号化データ）と、チャネルペア符号化部３０からのチャネルペア情報とを多重化し、他装置に伝送するための１つのストリーム（ＥＳ：Elementary Stream）を生成する。多重化部４０は、例えばチャネルペア情報をフレーム毎のメタデータとして符号化データに付加し、伝送用ストリームを生成することができる。
【００２８】
このように、本実施形態によれば、チャネル振分部１０は、マルチチャネル音響信号に含まれる各チャネル間の相関に基づき、各チャネルを単一チャネルで符号化するチャネルと、２チャネルペアで符号化するチャネルとに振り分け、符号化部（単一チャネル符号化部２０及びチャネルペア符号化部３０）は、振り分け結果に応じた符号化を行い、多重化部４０は、各チャネルの符号化データと、２チャネルペアで符号化するチャネルを示すチャネルペア情報とを多重化して１つのストリームを生成する。これにより、マルチチャネル音響方式の音響信号に含まれる各チャネル間の相関に基づき、単一チャネル符号化又はチャネルペア符号化を選択することが可能となる。すなわち、相関の高いチャネルをチャネルペア符号化し、他のチャネルを単一チャネル符号化することができるため、マルチチャネル音響信号の元の音質を保ちながら、かつ所用ビットレートも抑制することが可能となる。また、マルチチャネル音響信号の特性に応じて、各チャネルを単一チャネル符号化するかチャネルペア符号化するかが変化するため、例えば、従来のMPEG-2 AAC Annexのように符号化方式がチャネルごとに予め定められている方式に比べ、より効率的に符号化を行うことが可能となる。
【００２９】
図４は、本発明の一実施形態に係る音響信号復号化装置２の機能ブロック図である。音響信号復号化装置２は、分離部５０と、復号化部６０とを備える。
【００３０】
分離部５０は、入力されたストリームから符号化データ及びチャネルペア情報を分離し、それぞれを復号化部６０に出力する。なお、符号化データとは、単一チャネル符号化されたチャネルの符号化データと、チャネルペア符号化されたチャネルの符号化データとの集合であり、分離部５０は、各符号化データを分離して復号化部６０に出力する。また、上述の通り、チャネルペア情報とは、チャネルペア符号化されたチャネル示すものである。
【００３１】
復号化部６０は、チャネルペア情報に従い符号化データを復号化し、マルチチャネル音響信号を生成する。より詳細には、復号化部６０は、チャネルペア情報に基づき、チャネルペア符号化されたチャネルの符号化データは、当該チャネルペア符号化に対応する復号化を行い、他のチャネルの符号化データは、単一チャネル符号化に対応する復号化を行う。復号化部６０による各チャネルの復号化により、マルチチャネル音響信号が生成される。
【００３２】
このように、本実施形態によれば、分離部５０は、入力信号から、各チャネルの符号化データと、チャネルペア情報とを分離し、復号化部６０は、チャネルペア情報に基づき、チャネルペア符号化されたチャネルの符号化データはチャネルペア符号化に対応する復号化を行い、他のチャネルの符号化データは、単一チャネル符号化に対応する復号化を行う。これにより、本発明に係る音響信号符号化装置１により符号化された音響信号を復号化することが可能となる。
【００３３】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の機能部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
【００３４】
例えば、チャネル振分部１０は、所定時間毎、又はマルチチャネル音響信号が切り替わるタイミングの少なくとも一方を契機として、各チャネルの振り分けを行うことができる。即ち、一度振り分けた結果をそのまま用いることなく、チャネルの振り分けを動的におこなうことによって、符号化効率が高く音質の良い符号化を行うことが可能となる。ここで、所定時間とは、チャネル振り分けの変更に係る処理負荷（演算処理の負荷、演算による遅延など）や、チャネル振り分けの変更による符号化効率及び音質の改善度合いなどの指標により、当業者が適宜設定できるものである。また、マルチチャネル音響信号が切り替わるタイミングとは、例えば前後の音響信号の特性（波形）が大きく変化するタイミングであって、好ましくは、マルチチャネル音響信号の全てのチャネルが無音となるタイミングである。マルチチャネル音響信号の全てのチャネルが無音となる場合、チャネル振り分けの変更により生じるノイズ（視聴時の違和感）が発生しないためである。
【００３５】
また、音響信号符号化装置１として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、音響信号符号化装置１の各機能（ステップ）を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部（図示せず）に記憶しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して各ステップを実行させることで実現することができる。
【符号の説明】
【００３６】
１  音響信号符号化装置
１０  チャネル振分部
１１  信号記憶部
１２  チャネルペア選択部
１３  チャネル情報記憶部
１３１  チャネル名記憶部
１３２  単一チャネル名記憶部
１３３  チャネル名ペア記憶部
１４  信号分配部
２０  単一チャネル符号化部
３０  チャネルペア符号化部
４０  多重化部
２  音響信号復号化部
５０  分離部
６０  復号化部
【図１】
2015011076.tif 000003
【図２】
2015011076.tif 000004
【図３】
2015011076.tif 000005
【図４】
2015011076.tif 000006