(57)【要約】【課題】システムにかかる負荷に応じたエラーコンシールメント処理を実行する。【解決手段】マルチチャンネルオーディオ復号装置を含むシステムの性能を監視するシステム監視部(214)と、前記システム監視部(214)により監視されるシステムの状態に応じてエラーコンシールメント処理を適応的に制御する補間制御部(215)と、前記補間制御部(215)の制御により前記入力オーディオ信号または復号段階のオーディオ信号または前記出力オーディオ信号を蓄積する蓄積部(216)と、前記補間制御部(215)の制御により前記蓄積部(216)に蓄積されたオーディオ信号を基にしてエラーコンシールメント処理を行う補間部(217)とを備える。【選択図】図２
2010107821.tif 000002
【特許請求の範囲】
【請求項１】
出力オーディオ信号のチャネル数(Ｎ)が２以上であり、入力オーディオ信号のチャネル数がＮ未満であるマルチチャンネルオーディオ復号装置であって、
前記マルチチャンネルオーディオ復号装置を含むシステムの性能を監視するシステム監視部と、
前記システム監視部により監視されるシステムの状態に応じてエラーコンシールメント処理を適応的に制御する補間制御部と、
前記補間制御部の制御により前記入力オーディオ信号または復号段階のオーディオ信号または前記出力オーディオ信号を蓄積する蓄積部と、
前記補間制御部の制御により前記蓄積部に蓄積されたオーディオ信号を基にしてエラーコンシールメント処理を行う補間部と、
を備える、
ことを特徴とするマルチチャンネルオーディオ復号装置。
【請求項２】
請求項１において、
前記補間制御部は、前記システム監視部により監視されるシステムの処理量に応じてエラーコンシールメント処理を切り替える、
ことを特徴とするマルチチャンネルオーディオ復号装置。
【請求項３】
請求項１において、
前記補間制御部は、前記システム監視部により監視されるシステムのメモリ使用量に応じてエラーコンシールメント処理を切り替える、
ことを特徴とするマルチチャンネルオーディオ復号装置。
【請求項４】
請求項１において、
前記補間制御部は、前記システム監視部により監視されるシステムの処理量およびメモリ使用量に応じてエラーコンシールメント処理を切り替える、
ことを特徴とするマルチチャンネルオーディオ復号装置。
【請求項５】
請求項１において、
前記補間制御部は、前記システム監視部により監視されるシステムにおいて動作しているオーディオエンコーダの数に応じてエラーコンシールメント処理を切り替える、
ことを特徴とするマルチチャンネルオーディオ復号装置。
【請求項６】
請求項１において、
前記補間制御部は、前記システム監視部により監視されるシステムにおいて動作しているオーディオデコーダの数に応じてエラーコンシールメント処理を切り替える、
ことを特徴とするマルチチャンネルオーディオ復号装置。
【請求項７】
請求項１において、
前記補間制御部は、前記システム監視部により監視されるシステムにおいて動作しているオーディオエンコーダおよびオーディオデコーダの数に応じてエラーコンシールメント処理を切り替える、
ことを特徴とするマルチチャンネルオーディオ復号装置。
【請求項８】
出力オーディオ信号のチャネル数(Ｎ)が２以上であり、入力オーディオ信号のチャネル数がＮ未満であるマルチチャンネル復号装置におけるマルチチャンネルオーディオ復号方法であって、
前記マルチチャンネルオーディオ復号装置を含むシステムの性能を監視するシステム監視ステップと、
前記システム監視ステップにより監視されるシステムの状態に応じてエラーコンシールメント処理を適応的に制御する補間制御ステップと、
前記補間制御ステップの制御により前記入力オーディオ信号または復号段階のオーディオ信号または前記出力オーディオ信号を蓄積する蓄積ステップと、
前記補間制御ステップの制御により前記蓄積ステップに蓄積されたオーディオ信号を基にしてエラーコンシールメント処理を行う補間ステップと、
を備える、
ことを特徴とするマルチチャンネルオーディオ復号方法。
【請求項９】
出力オーディオ信号のチャネル数(Ｎ)が２以上であり、入力オーディオ信号のチャネル数がＮ未満であるマルチチャンネルオーディオ復号装置におけるマルチチャンネルオーディオ復号方法をコンピュータに実行させるためのプログラムであって、
前記マルチチャンネルオーディオ復号装置を含むシステムの性能を監視するシステム監視ステップと、
前記システム監視ステップにより監視されるシステムの状態に応じてエラーコンシールメント処理を適応的に制御する補間制御ステップと、
前記補間制御ステップの制御により前記入力オーディオ信号または復号段階のオーディオ信号または前記出力オーディオ信号を蓄積する蓄積ステップと、
前記補間制御ステップの制御により前記蓄積ステップに蓄積されたオーディオ信号を基にしてエラーコンシールメント処理を行う補間ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
出力オーディオ信号のチャネル数(Ｎ)が２以上であり、入力オーディオ信号のチャネル数がＮ未満である集積回路であって、
前記マルチチャンネルオーディオ復号装置を含むシステムの性能を監視するシステム監視部と、
前記システム監視部により監視されるシステムの状態に応じてエラーコンシールメント処理を適応的に制御する補間制御部と、
前記補間制御部の制御により前記入力オーディオ信号または復号段階のオーディオ信号または前記出力オーディオ信号を蓄積する蓄積部と、
前記補間制御部の制御により前記蓄積部に蓄積されたオーディオ信号を基にしてエラーコンシールメント処理を行う補間部と、
を備える、
ことを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャンネルオーディオ復号装置、マルチチャンネルオーディオ復号方法、プログラム及び集積回路に関し、特に、マルチチャンネルを含むオーディオストリームを復号する際のデコードエラーの訂正方法に関するものである。
【背景技術】
【０００２】
近年、マルチチャンネルオーディオの再生装置が整備されつつあり、マルチチャンネルに対するニーズが高まっている。そのため、MPEG(Moving Picture Experts Group)オーディオ規格において、MPEG Surroundと呼ばれるマルチチャンネル信号の符号化技術が規格化された。MPEG Surroundでは、マルチチャンネル信号の臨場感を維持したまま、マルチチャンネル信号をモノラルまたはステレオの信号に符号化する。当該モノラルまたはステレオの信号は、従来の放送または配信により、オーディオ復号装置を備える再生装置に放送または配信される。オーディオ復号装置は、当該モノラルまたはステレオの信号をマルチチャンネル信号に復号する(例えば、非特許文献１参照)。
【０００３】
このMPEG Surroundは、従来のマルチチャンネル符号化技術であるAC3(Dolby Digital,Audio Code number 3)およびDTS(Digital Theater Systems)よりもビットレートが低く、かつ、従来のAAC(Advanced Audio Coding)およびAAC+SBR(Spectral Band Replication)といったオーディオ符号化技術と互換性を保っているため、デジタルラジオまたはワンセグ放送などの移動体放送に用いられることが予想される。
【０００４】
ここで、MPEG-Surroundの一般的な構成を図１を用いて説明する。以後、MPEG-SurroundをMPSと呼ぶ。
【０００５】
図１に示す従来のマルチチャンネルオーディオ復号装置10は、ストリーム100を復号することで出力のマルチチャンネル信号113を生成する。ストリーム100は、オーディオ符号化部(図示せず)によってマルチチャンネルのオーディオ信号が符号化されたビットストリームであり、一般に複数のアクセス単位によって構成される。このストリームのアクセス単位を以後フレームと呼ぶ。
【０００６】
オーディオ復号装置10は、分離部101と、AACデコード部105と、SBRデコード部107と、MPSデコード部109とを備える。
【０００７】
分離部101は、ストリーム100の文法解析を行い、フレーム単位でAAC情報104と、SBR拡張情報102と、MPS拡張情報103に分離する。
【０００８】
AAC情報104は、一般にモノラルまたはステレオ信号の情報を含んでおり、AACデコード部105によって復号され、モノラルまたはステレオのPCMデータ106が得られる。
【０００９】
PCMデータ106は、SBR拡張情報102を基にしてSBRデコード部107により帯域拡張が施され、QMF係数108が得られる。
【００１０】
QMF係数108は、MPS拡張情報103を基にしてMPSデコード部109によりチャネル拡張が施され、最終的にマルチチャンネルのオーディオ信号113が得られる。
【００１１】
MPSデコード部109は、チャネル拡張部110と、QMF合成部112で構成される。
【００１２】
チャネル拡張部110は、モノラルまたはステレオのQMF係数108にチャネル拡張を施し、チャネル拡張QMF係数111が得られる。このチャネル拡張QMF係数111は、６チャネルまたは８チャネルなどのマルチチャンネルの信号であり、QMF係数108よりもチャネル数が増加する。
【００１３】
従来のオーディオ復号装置10では、AACデコード部105やSBRデコード部107、MPSデコード部109でデコードエラーが発生すると、出力信号を振幅０(ゼロ)の信号とするミュート処理や、１つ前のフレームの出力信号で代用するリピート処理が行われる。
【００１４】
エラーコンシールメント(Error Concealment)手法にはさまざまなものが提案されており、エラーが発生したフレームの前後の時間信号を基にしてエラーフレームの時間信号を補間することで、連続性を維持した補間を行う手法がある(例えば、特許文献１参照)。
【００１５】
また、放送用途では、エラーコンシールメントを受信品質によって適応的に変更する手法も提案されている(例えば、特許文献２参照)。
【特許文献１】特開2002-41088号公報
【特許文献２】特表2004-504744号公報
【非特許文献１】118th AES convertion,Barcelona,Spaint,2005,Convention Paper 6447
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら最近のオーディオコーデックには、マルチチャンネルをサポートするために従来のモノラルやステレオに比べて処理がかかるものや圧縮効率を上げたために処理がかかるものがあり、LSIで高性能なエラーコンシールメントを行うことは困難である。
【００１７】
特許文献１に記載のオーディオ復号装置のように前後のフレームからエラーが発生したフレームを合成する場合には、MPSのようなマルチチャンネルの信号に対して適用するには処理に必要なメモリ量が増加するためにLSIには適用できない場合がある。
【００１８】
また、特許文献２のエラーコンシールメント方法においても同様に、受信品質によってエラーコンシールメントを適応的に実行してもLSIの処理量が足りない場合がある。
【課題を解決するための手段】
【００１９】
上記の課題を解決するため、本発明に係るマルチチャンネルオーディオ復号装置は、出力オーディオ信号のチャネル数(Ｎ)が２以上であり、入力オーディオ信号のチャネル数がＮ未満であるマルチチャンネルオーディオ復号装置であって、前記マルチチャンネルオーディオ復号装置を含むシステムの性能を監視するシステム監視部と、前記システム監視部により監視されるシステムの状態に応じてエラーコンシールメント処理を適応的に制御する補間制御部と、前記補間制御部の制御により前記入力オーディオ信号または復号段階のオーディオ信号または前記出力オーディオ信号を蓄積する蓄積部と、前記補間制御部の制御により前記蓄積部に蓄積されたオーディオ信号を基にしてエラーコンシールメント処理を行う補間部と、を備えることを特徴とする。
【００２０】
この構成によれば、マルチチャンネルオーディオ復号装置を含むシステムの性能を監視して、システムに負荷がかかってエラーコンシールメント処理を行うのに十分な性能が得られるかどうかを判断することで、エラーコンシールメントを実施する確率が高くなる。その結果、ユーザーがエラーによる音切れを知覚する可能性も低くなり、全体として音質の維持が可能である。
【００２１】
また、前記補間制御部は、前記システム監視部により監視されるシステムの処理量に応じてエラーコンシールメント処理を切り替えても良い。
【００２２】
また、前記補間制御部は、前記システム監視部により監視されるシステムのメモリ使用量に応じてエラーコンシールメント処理を切り替えてもよい。
【００２３】
また、前記補間制御部は、前記システム監視部により監視されるシステムの処理量およびメモリ使用量に応じてエラーコンシールメント処理を切り替えてもよい。
【００２４】
また、前記補間制御部は、前記システム監視部により監視されるシステムにおいて動作しているオーディオエンコーダの数に応じてエラーコンシールメント処理を切り替えてもよい。
【００２５】
また、前記補間制御部は、前記システム監視部により監視されるシステムにおいて動作しているオーディオデコーダの数に応じてエラーコンシールメント処理を切り替えてもよい。
【００２６】
また、前記補間制御部は、前記システム監視部により監視されるシステムにおいて動作しているオーディオエンコーダおよびオーディオデコーダの数に応じてエラーコンシールメント処理を切り替えてもよい。
【００２７】
なお、本発明は、上記のようなマルチチャンネルオーディオ復号装置として実現できるだけでなく、マルチチャンネルオーディオ復号装置に含まれる特長的な手段をステップとするマルチチャンネルオーディオ復号方法として実現したり、このような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることができる。そして、このようなプログラムは、ＣＤ-ＲＯＭ等の記録媒体およびインターネット等の伝送媒体を介して流通させることもできるのは言うまでもない。
【００２８】
また、本発明は、上記のようなマルチチャンネルオーディオ復号装置の機能の一部またはすべてを実現する集積回路としても実現できる。
【発明の効果】
【００２９】
以上により、本発明は、マルチチャンネルオーディオ復号装置を含むシステムを監視し、システムの負荷に応じてエラーコンシールメント処理を適応的に変更することで、システムに負荷がかかっている状態においても軽量なエラーコンシールメント処理を実行することが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施形態を、図面を参照しながら説明する。なお、図面において実質的に同一の構成要素には同じ参照符号を付けている。
【００３１】
本発明の実施形態に係るマルチチャンネルオーディオ復号装置は、システムの性能を監視し、復号の際のシステムの負荷に応じてエラーコンシールメント処理を適応的に変更する。これにより、システムに負荷がかかっているときにはエラーコンシールメント処理を軽量なものに変更することが可能となり、音切れが起こる可能性を低減できる。
【００３２】
まず、本発明の実施形態に係るマルチチャネルオーディオ復号装置の構成を説明する。図２は、本実施形態に係るマルチチャンネルオーディオ復号装置20の構成を示す図である。ストリーム100からオーディオ信号113までは図１に示した従来のマルチチャンネルオーディオ復号装置と同じ構成であるため、説明を省略する。
【００３３】
オーディオ復号装置20は、図１に示した従来のマルチチャンネルオーディオ復号装置10の構成要素に加えて、システム監視部214，補間制御部215，蓄積部216，補間部217をさらに備えている。
【００３４】
システム監視部214は、マルチチャンネルオーディオ復号装置20を含有するシステムの状態を監視する。例えば、マルチチャンネルオーディオストリームのデコードに用いられるLSIの処理量すなわち処理負荷を監視する。
【００３５】
補間制御部215は、システム監視部214で監視されている情報を基にしてエラーコンシールメント処理を適応的に制御する。例えば、マルチチャンネルオーディオストリームのデコードに用いられるLSIの処理負荷が重い場合、エラーコンシールメント処理を軽量なモードに切り替える。
【００３６】
蓄積部216は、エラーコンシールメント処理に必要な信号を一時的に蓄積する。例えば、補間制御部215が軽量なエラーコンシールメント処理を行うことを判断すると、蓄積部216はそれに応じた信号を蓄積する。
【００３７】
補間部217は、補間制御部215の制御に応じて蓄積部216からエラーコンシールメントに使用する波形を取り出し、信号の補間を行う。
【００３８】
ここで、図１に示した従来のマルチチャンネルオーディオ復号装置10における従来のMPSデコード部109の構成を図３に示す。図３は、図１のチャネル拡張部110とQMF合成部112の周辺の信号の流れを示すものである。L0(301)とR0(302)は、SBRデコード部107により得られたQMF係数108である。MPSではモノラルまたはステレオの信号に対して多チャンネルに拡張を行うが、この例ではステレオ信号を拡張するものとして説明する。
【００３９】
チャネル拡張部110は、２チャンネルから３チャンネルに拡張を行うサブモジュールや、１チャンネルから２チャンネルに拡張を行うサブモジュールで構成されている。サブモジュール303は２チャンネルから３チャネルへの拡張を行い、サブモジュール307,308,309は１チャンネルから２チャンネルへの拡張を行う。この他にも２チャンネルから８チャンネルへ拡張を行う場合にはサブモジュールの構成が異なるが、この構成を例にして説明する。
【００４０】
サブモジュール303は、L0(301)とR0(302)の２チャンネル信号を入力とし、L1(304),R1(305),C1(306)の３チャンネルを出力する。サブモジュール307は、L1(304)を入力とし、L(310)とLs(311)の２チャンネルを出力する。サブモジュール308は、R1(305)を入力とし、R(312)とRs(313)の２チャンネルを出力する。サブモジュール309は、C1(306)を入力とし、C(314)とLFE(315)の２チャンネルを出力する。
【００４１】
QMF合成部112は、L(310),Ls(311),R(312),Rs(313),C(314),LFE(315)を時間信号に変換する。
【００４２】
次に、図２に示した本実施形態によるマルチチャンネルオーディオ復号装置20におけるMPSデコード部109の構成を図４に示す。図４は、図２のチャネル拡張部110とQMF合成部112の周辺の信号の流れを示すものである。図４の構成要素のうち、L0(301)からLFE(315)までは従来の構成と同じため説明を省略する。
【００４３】
システム監視部214は、デコードに用いるLSIの処理負荷やメモリの使用量などのデコーダ装置を取り巻くシステムの状況を監視する。補間制御部215は、システム監視部214で収集されたシステムの状況に応じてエラーコンシールメントをどのように行うかの判断および制御を行う。蓄積部216は、チャネル拡張部110の入力信号，出力信号などを一時的に蓄積する機能を備え、補間制御部215によって蓄積する信号を切り替える。すなわち、処理量およびメモリ量ともに余裕がある場合には、マルチチャンネル拡張後の信号310,311,312,313,314,315を格納し、処理量およびメモリ量のいずれかに余裕がない場合は、２チャンネルの段階の信号301,302または３チャンネルの段階の信号304,305,306を格納する。補間部217は、補間制御部215の制御に基づき、蓄積部216に蓄積された信号を使って実際にエラーコンシールメントを実施する。
【００４４】
以下、補間制御部215の制御の流れを図５を用いて説明する。図５は、補間制御部215による蓄積部216および補間部217の制御を示した図である。なお、ここでは、あらかじめシステムの処理量に応じて蓄積部216に前のフレームの信号が蓄積されているものとする。
【００４５】
デコードエラーが発生すると(S500)、補間制御部215は、システムの処理量から個々の６チャンネル信号310,311,312,313,314,315を補間できる処理量であるかを判別する(S501)。この処理が可能であると判断された場合は(S501でYES)、補間制御部215は、過去の６チャンネル信号310,311,312,313,314,315を基にして、エラーが発生した現フレームの６チャンネル信号310,311,312,313,314,315を補間するように補間部217を制御する(S502)。
【００４６】
システムの処理負荷が重い場合(S501でNO)、補間制御部215は、システムの処理量から個々の３チャンネル信号304,305,306を補間できる処理量であるかを判別する(S503)。この処理が可能であると判断された場合は(S503でYES)、補間制御部215は、過去の３チャンネル信号304,305,306を基にして、エラーが発生した現フレームの６チャンネル信号310,311,312,313,314,315を補間するように補間部217を制御する(S504)。
【００４７】
また、３チャンネルの補間もできないと判断されると(S503でNO)、補間制御部215は、チャネル拡張前の２チャンネル信号301,302を補間できる処理量であるかを判別する(S505)。この処理が可能であると判断された場合は(S505でYES)、補間制御部215は、過去の２チャンネル信号301,302を基にして、エラーが発生した現フレームの６チャンネル信号310,311,312,313,314,315を補間するように補間部217を制御する(S506)。
【００４８】
最終的にシステムに負荷がかかっていて補間処理が全く行えない場合には(S505でNO)、補間処理を行わずに、従来の手法であるミュート処理や前のフレームの信号をリピートする(S507)。
【００４９】
なお、上述の実施形態において、補間制御部215が参照する情報は処理量に限るものではない。例として、図６に、処理量の代わりにメモリ量を基にして補間制御を行う例を示す。図６では、処理量の代わりにメモリ量を基にして、実施が可能なエラーコンシールメントを制御する。処理量やメモリ量以外にも、同時にデコードを行うストリームの数，同時にエンコードを行うストリームの数，などの情報を組み合わせても良い。
【００５０】
なお、上述の実施形態において、マルチチャンネルオーディオ復号装置20を構成する各ブロックは、典型的にはCPUおよびメモリを要した情報機器がプログラムを実行することで実現されるが、その機能の一部または全部をLSIとして実現しても良い。これらのLSIは、個別に１チップ化されても良いし、一部またはすべてを含むように１チップ化されても良い。ここではLSIとしたが、集積度の違いにより、IC，システムLSI，スーパーLSI，ウルトラLSIと呼称されることもある。
【００５１】
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現しても良い。また、LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)またはLSI内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【産業上の利用可能性】
【００５２】
本発明は、マルチチャンネルオーディオ復号装置に適用でき、特に、電波状態が変化しやすくエラーが発生しやすい移動体放送向けのマルチチャンネルオーディオ復号装置および車載オーディオ機器に適用できる。特に、多くの機能を搭載した車載オーディオ機器においては、エラーコンシールメントを実行するためのリソースが限られるため、有用である。
【図面の簡単な説明】
【００５３】
【図１】従来のマルチチャンネル復号装置の構成を示す図である。
【図２】本発明の実施形態に係るマルチチャンネルオーディオ復号装置の構成を示す図である。
【図３】従来のマルチチャンネル復号装置のチャネル拡張部の構成を示す図である。
【図４】本発明の実施形態に係るマルチチャンネル復号装置のチャネル拡張部の構成を示す図である。
【図５】本発明の実施形態に係る補間制御部の制御の流れを示すフローチャートである。
【図６】本発明の実施形態に係る補間制御部の制御の流れを示すフローチャートである。
【符号の説明】
【００５４】
10,20…マルチチャンネルオーディオ復号装置
100…ストリーム
101…分離部
102…SBR拡張情報
103…MPS拡張情報
104…AAC情報
105…AACデコード部
106…PCMデータ
107…SBRデコード部
108…QMF係数
109…MPSデコード部
110…チャネル拡張部
111…チャネル拡張QMF係数
112…QMF合成部
113…オーディオ信号
214…システム監視部
215…補間制御部
216…蓄積部
217…補間部
301,302…チャネル拡張部入力信号
303,307,308,309…チャネル拡張部サブモジュール
304,305,306…チャネル拡張部中間信号
310,311,312,313,314,315…チャネル拡張部出力信号
【図１】
2010107821.tif 000003
【図２】
2010107821.tif 000004
【図３】
2010107821.tif 000005
【図４】
2010107821.tif 000006
【図５】
2010107821.tif 000007
【図６】
2010107821.tif 000008