(57)【要約】  音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部(1200)と、外部から得られる再生指示情報およびデコード部(1200)より得られるデコード情報から再生条件を特定し再生指示を行う制御部(1100)と、外部から入力される付加音声データを加工して復号PCM信号と加算しPCM出力信号として出力する付加音声加算部(1500)とを備える。付加音声加算部(1500)は、復号PCM信号と加算できるように付加音声データを加工し付加音声PCM信号として出力する付加音声生成部(1510)と、付加音声PCM信号と前記復号PCM信号とをミックスする加算器(1520)とを備える。付加音声生成部(1510)は、加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段(1511,1512)を備える。制御部(1100)は、再生指示情報およびデコード情報に基づいて、複数の加工手段(1511,1512)のうちのいずれか１つを特定する。付加音声生成部(1510)は、制御部(1100)によって特定された加工手段により付加音声データを加工する。
2009093421.tif 000002
【特許請求の範囲】
【請求項１】
外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
外部から入力される付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
を備え、
前記付加音声加算部は、
前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、
前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
前記付加音声生成部は、
加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、
前記制御部は、
前記再生指示情報および前記デコード情報に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、
前記付加音声生成部は、
前記制御部によって特定された加工手段により前記付加音声データを加工する、
ことを特徴とする音響再生装置。
【請求項２】
請求項１において、
前記制御部から伝送される再生指示に応じて前記復号PCM信号に対してサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備える、
ことを特徴とする音響再生装置。
【請求項３】
請求項１または２において、
前記制御部から伝送される再生指示に応じて前記復号PCM信号に対して音響処理を実施する音響処理部をさらに備える、
ことを特徴とする音響再生装置。
【請求項４】
請求項１〜３のいずれか１つにおいて、
前記制御部は、
前記デコード情報と前記再生指示情報との組み合わせと前記複数の加工手段のいずれかとが対応付けられた外部音声生成条件判定テーブルを備える、
ことを特徴とする音響再生装置。
【請求項５】
請求項１〜３のいずれか１つにおいて、
前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、
前記制御部は、
外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、前記複数の加工手段のうちのいずれか１つを特定する、
ことを特徴とする音響再生装置。
【請求項６】
外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
前記デコード部で生成した復号PCM信号に対して音響処理を施す音響処理部と、
外部から入力される付加音声データを加工し、前記音響処理部により音響処理が施された復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
を備え、
前記付加音声加算部は、
外部から入力される付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、
前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
前記制御部は、
前記再生指示情報および前記デコード情報に基づいて、処理負荷を特定し、その処理負荷に応じて前記音響処理部における音響処理条件を特定し、
前記音響処理部は、
前記制御部によって特定された音響処理条件により前記復号PCM信号に対する音響処理を実施する、
ことを特徴とする音響再生装置。
【請求項７】
請求項６において、
前記制御部は、
前記デコード情報と前記再生指示情報との組み合わせと音響処理条件とが対応付けられた音響処理条件判定テーブルを備える、
ことを特徴とする音響再生装置。
【請求項８】
請求項６または７において、
前記デコード部で生成した復号PCM信号に対して、前記制御部から伝送される再生指示に応じてサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備える、
ことを特徴とする音響再生装置。
【請求項９】
請求項６において、
前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、
前記制御部は、
外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、処理負荷を特定し、その処理負荷に応じて前記音響処理部における音響処理条件を特定する、
ことを特徴とする音響再生装置。
【請求項１０】
外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
前記デコード部で生成した復号PCM信号に対して、前記制御部から伝送される再生指示に応じてサンプリング周波数変換処理を実施するサンプリング周波数変換部と、
前記デコード部もしくは前記サンプリング周波数変換部より出力される復号PCM信号に対して、前記制御部から伝送される再生指示に応じて音響処理を実施する音響処理部と、
外部から入力される付加音声データを加工し、前記デコード部もしくは前記音響処理部より出力される復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
を備え、
前記付加音声加算部は、
外部から入力される付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、
前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
前記制御部は、
前記再生指示情報および前記デコード情報に基づいて、処理負荷を特定し、その処理負荷に応じて、前記サンプリング周波数変換部によるサンプリング周波数変換処理と、前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序を決定する、
ことを特徴とする音響再生装置。
【請求項１１】
請求項１０において、
前記制御部は、
前記デコード情報と前記再生指示情報との組み合わせと,前記サンプリング周波数変換部によるサンプリング周波数変換処理と前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序と,が対応付けられた処理フロー判定テーブルを備える、
ことを特徴とする音響再生装置。
【請求項１２】
請求項１０において、
前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、
前記制御部は、
外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、処理負荷を特定し、その処理負荷に応じて、前記サンプリング周波数変換部によるサンプリング周波数変換処理と、前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序を決定する、
ことを特徴とする音響再生装置。
【請求項１３】
音響再生装置であって、
外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
前記音響再生装置内部に実装される付加音声データ(内部実装付加音声データ)を格納する内部実装付加音声データバッファと、
外部から入力される付加音声データ(外部入力付加音声データ),もしくは,前記内部実装付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
を備え、
前記制御部は、
前記再生指示情報および前記デコード情報に基づいて、前記外部入力付加音声データ,もしくは,前記内部実装付加音声データを特定し、
前記付加音声加算部は、
前記外部入力付加音声データおよび前記内部実装付加音声データのうち前記制御部により特定されたほうの付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、
前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備える、
ことを特徴とする音響再生装置。
【請求項１４】
請求項１３において、
前記制御部から伝送される再生指示に応じて前記復号PCM信号に対してサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備える、
ことを特徴とする音響再生装置。
【請求項１５】
請求項１３または１４において、
前記制御部から伝送される再生指示に応じて前記復号PCM信号に対して音響処理を実施する音響処理部をさらに備える、
ことを特徴とする音響再生装置。
【請求項１６】
請求項１３〜１５のいずれか１つにおいて、
前記制御部は、
前記デコード情報と前記再生指示情報との組み合わせと,前記外部入力付加音声データまたは前記内部実装付加音声データを示す情報と,が対応付けられた外部音声生成条件判定テーブルを備える、
ことを特徴とする音響再生装置。
【請求項１７】
請求項１３〜１５のいずれか１つにおいて、
前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、
前記制御部は、
外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、前記外部入力付加音声データ,もしくは,前記内部実装付加音声データを特定する、
ことを特徴とする音響再生装置。
【請求項１８】
外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
外部から入力される付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
前記付加音声加算部より出力されるPCM出力信号を蓄積するPCM出力バッファと、
を備え、
前記付加音声加算部は、
前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、
前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
前記付加音声生成部は、
加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、
前記制御部は、
前記PCM出力バッファの出力PCM信号の残量を監視するPCM出力バッファ残量モニタ手段を備え、
前記PCM出力バッファの出力PCM信号の残量状態に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、
前記付加音声生成部は、
前記制御部によって特定された加工手段により前記付加音声データを加工する、
ことを特徴とする音響再生装置。
【請求項１９】
外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
外部より入力される付加音声データを蓄積する付加音声データ入力バッファと、
前記付加音声データ入力バッファに蓄積された付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
を備え、
前記付加音声加算部は、
前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、
前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
前記付加音声生成部は、
加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、
前記制御部は、
前記付加音声データ入力バッファの付加音声データの残量を監視する付加音声データ入力バッファ残量モニタ手段を備え、
前記付加音声データ入力バッファの付加音声データの残量状態に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、
前記付加音声生成部は、
前記制御部によって特定された加工手段により前記付加音声データを加工する、
ことを特徴とする音響再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタル信号処理技術に関し、特に、外部より入力される音声信号ビットストリームをデコードして復号PCM信号を生成し、更に外部から入力される付加音声データを加工して上記復号PCM信号と加算し外部へ出力する音響再生装置に関する。
【背景技術】
【０００２】
近年、ディジタルテレビや光ディスク装置など各種ディジタルメディア再生機器の普及と技術進歩により、ディジタル処理を伴うメディア再生機器にさまざまな機能が搭載されてきている。そうした背景の中のひとつの機能として、たとえばディジタルテレビ本放送音声やディスク再生音声にガイド音声や警告音などの外部音声をミックスして出力する機能が搭載されるようになってきている。更にこうした外部音声のミックス処理を同一機器の上で、とりわけシステムLSIなど半導体デバイスで機能を実現する場合、機能拡張に伴うコストアップ要因を最低限に抑えるため、ビットストリームの復号再生処理、再生音の音響処理、さらに外部音声とのミキシング処理までを同時に実現することが要求されてきている。【０００３】
こうした要求にこたえるための音響再生装置は例えば図41に示されるような構成により実現される。【０００４】
図41に示される音響再生装置7000は、制御部1100，デコード部1200，サンプリング周波数変換部1300，音響処理部1400，付加音声加算部1500を備えている。付加音声加算部1500は内部に付加音声生成部1510と加算器1520とを備えている。【０００５】
音響処理部1400内部に搭載される機能としては、例えばオーバーサンプリング処理を伴う高音質化処理，スピーカセッティングのための音質調整機能，チャンネル拡張処理，音量処理などが含まれ、それらの処理の実施については外部から制御部1100を通じて指示される。【０００６】
音響再生装置7000による再生処理は図42〜図43に示されるフローチャートに従って行われる。【０００７】
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST701,ST702)、さらに、オーディオビットストリームを復号する際に取得されるデコーダタイプ情報，サンプリング周波数情報，チャンネル構成情報などを含むデコード情報を制御部1100へ出力する(ST703)。【０００８】
制御部1100は、外部から再生指示情報，デコード部1200からデコード情報を受信し(ST705)、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定する(ST706,ST707)。たとえば、外部から入手する再生指示情報の中には、音響処理部1400内部に搭載されるオーバーサンプリング処理を伴う高音質化処理をはじめとする音響処理の指示が含まれる。ここではオーバーサンプリング処理を伴う高音質化処理が指示された場合を例に説明する。この場合、音響再生装置7000から出力されるPCM出力信号のサンプリング周波数は、外部から入手する再生指示情報の中にオーバーサンプリング処理を伴う高音質化処理の指示が含まれているため、復号PCM信号のサンプリング周波数とは異なり、オーバーサンプリング処理後のサンプリング周波数となる。たとえば、復号PCM信号が48kHz、高音質化処理のためのサンプリング周波数が96kHzである場合、PCM出力信号のサンプリング周波数は96kHzとなる。【０００９】
その場合、制御部1100はサンプリング周波数の変換を実施すると判断するため(ST707でNo)、サンプリング周波数変換部1300に対して、復号PCM信号のオーバーサンプリング処理を指示し(ST708)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST709)。【００１０】
次に音響処理部1400では制御部1100より再生指示情報を受信し(ST710)、指示に従い復号PCM信号に対して音響処理を実施する(ST711)。ここでの再生指示情報では高音質化処理が含まれているので音響処理の中には高音質化処理が含まれている。【００１１】
次に制御部1100は、付加音声加算部1500に対して、出力PCM信号のサンプリング周波数情報の送信，付加音声PCM信号の生成，付加音声PCM信号と音響処理後の復号PCM信号との加算処理，を指示する(ST712)。【００１２】
付加音声加算部1500ではまず、外部から付加音声データを入力し(ST713)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST714)。その際の付加音声PCM信号のサンプリング周波数は音響処理後の復号PCM信号と同一である必要があるため、付加音声PCM信号生成の際にサンプリング周波数を96kHzにするオーバーサンプリング処理が含まれることとなる。更に、付加音声生成部1510にて生成された付加音声PCM信号と音響処理部1400で音響処理が施された復号PCM信号とが加算器1520により加算され(ST715)、出力PCM信号として外部に出力される(ST716)。【００１３】
以上のような一連の処理を施すことで、オーディオビットストリームから得られる復号PCM信号と外部から入力される付加音声データとのミックス処理は実現される。【００１４】
尚、本従来例の類似技術として[特許文献1]が挙げられる。[特許文献1]はサンプリング周波数が異なる複数のデジタル音声データをミックスする処理に関するもので、デジタル信号のままミックス処理を実現することを目的としている。
【特許文献１】特開平11-213558号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
上記のような音響再生装置を実現する場合、オーディオビットストリームのデコード処理，必要に応じてオーバーサンプリング処理を伴う高音質化処理，スピーカセッティングのための音質調整機能，チャンネル拡張処理，音量処理などさまざまな音響処理，更には外部から入力される付加音声データの変換処理や加算処理などが含まれることとなる。【００１６】
しかしながらこうした処理を実施する場合、デコードするストリームの属性や要求される音響処理機能、更には付加音声データの加工処理などが含まれるため、同一のデバイスで上記処理を実現する場合、ストリームの属性や再生条件によって必要となる処理能力が異なってくる。とりわけ、たとえばビットストリームの属性や高音質化処理の再生の要求によって再生PCMのサンプリング周波数が高くなる場合、それに伴い外部音声の加工処理にかかる処理量が増大し音響再生装置全体の処理量が破綻をきたす可能性がある。【００１７】
また、それを回避するために再生PCMのサンプリング周波数を下げる必要があるが、その場合、デコードされたPCMの音質劣化や外部から要求される高音質化処理の実現ができなくなる可能性がある。【００１８】
本発明の目的は、さまざまなビットストリームのデコード条件、音響処理の再生条件ごとに発生する処理能力の制限・音質劣化を抑え、できるだけ容易に最適な状態で付加音声とのミキシング処理を実現することである。
【課題を解決するための手段】
【００１９】
本発明による第1の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、外部から入力される付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記付加音声加算部は、前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記付加音声生成部は、加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、前記制御部は、前記再生指示情報および前記デコード情報に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、前記付加音声生成部は、前記制御部によって特定された加工手段により前記付加音声データを加工する、
ことを特徴とする。【００２０】
本発明による第2の音響再生装置は、第1の音響再生装置において、前記制御部から伝送される再生指示に応じて前記復号PCM信号に対してサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備えることを特徴とする。【００２１】
本発明による第3の音響再生装置は、第1または第2の音響再生装置において、前記制御部から伝送される再生指示に応じて前記復号PCM信号に対して音響処理を実施する音響処理部をさらに備えることを特徴とする。【００２２】
本発明による第4の音響再生装置は、第1〜3の音響再生装置のいずれか1つにおいて、前記制御部は、前記デコード情報と前記再生指示情報との組み合わせと前記複数の加工手段のいずれかとが対応付けられた外部音声生成条件判定テーブルを備えることを特徴とする。【００２３】
第1〜4の音響再生装置によれば、再生ビットストリームの属性や高音質化処理の再生要求,あるいは,再生PCMのサンプリング周波数が高くなる場合でも、再生条件にともなう外部音声の加工処理にかかる処理負荷を最小限に抑えることが可能となるので、音響再生装置全体の処理量の破綻を防ぐことがその分容易となる。更に付加音声生成における音声加工手段の負荷を調整するだけなので出力PCM信号のサンプリング周波数を下げる必要もないのでデコード部によりデコードされたPCMの音質劣化の抑制や外部から要求される高音質化処理の実現は可能である。【００２４】
本発明による第5の音響再生装置は、第1〜3の音響再生装置のいずれか1つにおいて、前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、前記制御部は、外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、前記複数の加工手段のうちのいずれか１つを特定することを特徴とする。【００２５】
本発明による第6の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、前記デコード部で生成した復号PCM信号に対して音響処理を施す音響処理部と、外部から入力される付加音声データを加工し、前記音響処理部により音響処理が施された復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記付加音声加算部は、外部から入力される付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記制御部は、前記再生指示情報および前記デコード情報に基づいて、処理負荷を特定し、その処理負荷に応じて前記音響処理部における音響処理条件を特定し、前記音響処理部は、前記制御部によって特定された音響処理条件により前記復号PCM信号に対する音響処理を実施することを特徴とする。【００２６】
本発明による第7の音響再生装置は、第6の音響再生装置において、前記制御部は、前記デコード情報と前記再生指示情報との組み合わせと音響処理条件とが対応付けられた音響処理条件判定テーブルを備えることを特徴とする。【００２７】
本発明による第8の音響再生装置は、第6または第7の音響再生装置において、前記デコード部で生成した復号PCM信号に対して、前記制御部から伝送される再生指示に応じてサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備えることを特徴とする。【００２８】
第6〜8の音響再生装置によれば、再生ビットストリームの属性や高音質化処理の再生要求、あるいは再生PCMのサンプリング周波数が高くなる場合でも、音響処理部に対して処理の一部を省く、もしくは簡易再生に切り替えることで、その分音響再生装置全体の処理量の破綻を防ぐことが容易となる。この場合、音響処理部に対して処理の一部を省く、もしくは簡易再生に切り替えられるために、再生条件によっては要求される音響処理が十分満たされない場合もあるが、限定された処理量に対して優先度の高い処理を有効に実施することが可能である。【００２９】
本発明による第9の音響再生装置は、第6の音響再生装置において、前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、前記制御部は、外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、処理負荷を特定し、その処理負荷に応じて前記音響処理部における音響処理条件を特定することを特徴とする。【００３０】
本発明による第10の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、前記デコード部で生成した復号PCM信号に対して、前記制御部から伝送される再生指示に応じてサンプリング周波数変換処理を実施するサンプリング周波数変換部と、前記デコード部もしくは前記サンプリング周波数変換部より出力される復号PCM信号に対して、前記制御部から伝送される再生指示に応じて音響処理を実施する音響処理部と、外部から入力される付加音声データを加工し、前記デコード部もしくは前記音響処理部より出力される復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記付加音声加算部は、外部から入力される付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記制御部は、前記再生指示情報および前記デコード情報に基づいて、処理負荷を特定し、その処理負荷に応じて、前記サンプリング周波数変換部によるサンプリング周波数変換処理と、前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序を決定することを特徴とする。【００３１】
本発明による第11の音響再生装置は、第10の音響再生装置において、前記制御部は、前記デコード情報と前記再生指示情報との組み合わせと,前記サンプリング周波数変換部によるサンプリング周波数変換処理と前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序と,が対応付けられた処理フロー判定テーブルを備えることを特徴とする。【００３２】
第10〜11の音響再生装置によれば、サンプリング周波数変換処理,付加音声データの加工処理,加算処理の処理順序を処理負荷に応じて決定するので、たとえば、処理負荷が大きい場合に付加音声データの加工処理,加算処理をサンプリング周波数変換処理より前段で実施するように設定することで、付加音声データの加工処理で発生するサンプリング周波数変換の処理負荷を削減することが可能となるのでその分、音響再生装置全体の処理量の破綻を防ぐことが容易となる。この場合、音響処理が付加音声ミックス処理後に実施されるため、付加音声に対しても音響処理が施されることになってしまうが、出力PCM信号のサンプリング周波数を下げる必要もないのでデコード部によりデコードされたPCMの音質劣化の抑制や外部から要求される高音質化処理の実現は可能となる。【００３３】
本発明による第12の音響再生装置は、第10の音響再生装置において、前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、前記制御部は、外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、処理負荷を特定し、その処理負荷に応じて、前記サンプリング周波数変換部によるサンプリング周波数変換処理と、前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序を決定することを特徴とする。【００３４】
本発明による第13の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、前記音響再生装置内部に実装される付加音声データ(内部実装付加音声データ)を格納する内部実装付加音声データバッファと、外部から入力される付加音声データ(外部入力付加音声データ),もしくは,前記内部実装付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記制御部は、前記再生指示情報および前記デコード情報に基づいて、前記外部入力付加音声データ,もしくは,前記内部実装付加音声データを特定し、前記付加音声加算部は、前記外部入力付加音声データおよび前記内部実装付加音声データのうち前記制御部により特定されたほうの付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備えることを特徴とする。【００３５】
本発明による第14の音響再生装置は、第13の音響再生装置において、前記制御部から伝送される再生指示に応じて前記復号PCM信号に対してサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備えることを特徴とする。【００３６】
本発明による第15の音響再生装置は、第13または第14の音響再生装置において、前記制御部から伝送される再生指示に応じて前記復号PCM信号に対して音響処理を実施する音響処理部をさらに備えることを特徴とする。【００３７】
本発明による第16の音響再生装置は、第13〜15の音響再生装置のいずれか1つにおいて、前記制御部は、前記デコード情報と前記再生指示情報との組み合わせと,前記外部入力付加音声データまたは前記内部実装付加音声データを示す情報と,が対応付けられた外部音声生成条件判定テーブルを備えることを特徴とする。【００３８】
第13〜16の音響再生装置によれば、再生ビットストリームの属性や高音質化処理の再生要求、あるいは再生PCMのサンプリング周波数が高くなる場合でも、たとえば内部実装付加音声データバッファに再生に必要な全サンプリング周波数に対応した付加音声データを備えることで、処理負荷が大きい場合に内部実装の付加音声データを用い、付加音声データから付加音声PCM信号生成の際のサンプリング周波数変換処理を省略することが可能となるのでその分、再生条件にともなう外部音声の加工処理にかかる処理負荷を最小限に抑えることが可能となるため、音響再生装置全体の処理量の破綻を防ぐことがその分容易となる。この場合、内部実装付加音声データを用いるために、付加音声データの音源の種類は限定されるが、出力PCM信号のサンプリング周波数を下げる必要もないのでデコード部によりデコードされたPCMの音質劣化の抑制や外部から要求される高音質化処理の実現は可能となる。【００３９】
本発明による第17の音響再生装置は、第13〜15の音響再生装置のいずれか1つにおいて、前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、前記制御部は、外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、前記外部入力付加音声データ,もしくは,前記内部実装付加音声データを特定することを特徴とする。【００４０】
本発明による第18の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、外部から入力される付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、前記付加音声加算部より出力されるPCM出力信号を蓄積するPCM出力バッファとを備え、前記付加音声加算部は、前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記付加音声生成部は、加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、前記制御部は、前記PCM出力バッファの出力PCM信号の残量を監視するPCM出力バッファ残量モニタ手段を備え、前記PCM出力バッファの出力PCM信号の残量状態に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、前記付加音声生成部は、前記制御部によって特定された加工手段により前記付加音声データを加工することを特徴とする。【００４１】
第18の音響再生装置によれば、PCM出力バッファ残量を監視し残量状態に応じて、たとえばPCM出力バッファがアンダーフロー気味の場合に処理量負荷が大きいと判断し、付加音声生成方法を切り替えることが可能となるため、その分音響再生装置全体の処理負荷を容易に調整することが可能となる。【００４２】
本発明による第19の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、外部より入力される付加音声データを蓄積する付加音声データ入力バッファと、前記付加音声データ入力バッファに蓄積された付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記付加音声加算部は、前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記付加音声生成部は、加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、前記制御部は、前記付加音声データ入力バッファの付加音声データの残量を監視する付加音声データ入力バッファ残量モニタ手段を備え、前記付加音声データ入力バッファの付加音声データの残量状態に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、前記付加音声生成部は、前記制御部によって特定された加工手段により前記付加音声データを加工することを特徴とする。【００４３】
第19の音響再生装置によれば、付加音声データ入力バッファ残量を監視し残量状態に応じて、たとえば付加音声データ入力バッファがオーバーフロー気味の場合に処理量負荷が大きいと判断し、付加音声生成方法を切り替えることが可能となるため、その分音響再生装置全体の処理負荷を容易に調整することが可能となる。
【発明の効果】
【００４４】
本発明の音響再生装置によれば、デコード処理や再生条件によって処理負荷が増大する場合でも、内部で自動的に処理負荷軽減が図れるため、さまざまなビットストリームのデコード条件、音響処理の再生条件ごとに発生する処理能力の制限・音質劣化を抑え、できるだけ容易に最適な状態で付加音声とのミキシング処理を実現することが可能となる。
【図面の簡単な説明】
【００４５】
【図１】第1の実施形態による音響再生装置の構成を示すブロック図
【図２】第1の実施形態による音響再生装置の処理手順を示すフローチャート
【図３】第1の実施形態による音響再生装置の処理手順を示すフローチャート
【図４】外部音声生成条件判定テーブルの例
【図５】第2の実施形態による音響再生装置の構成を示すブロック図
【図６】第2の実施形態による音響再生装置の処理手順を示すフローチャート
【図７】第2の実施形態による音響再生装置の処理手順を示すフローチャート
【図８】第2の実施形態による音響再生装置の処理手順を示すフローチャート
【図９】外部音声生成条件判定テーブルの例
【図１０】第3の実施形態による音響再生装置の構成を示すブロック図
【図１１】第3の実施形態による音響再生装置の処理手順を示すフローチャート
【図１２】第3の実施形態による音響再生装置の処理手順を示すフローチャート
【図１３】第3の実施形態による音響再生装置の処理手順を示すフローチャート
【図１４】外部音声生成条件判定テーブルの例
【図１５】第4の実施形態による音響再生装置の構成を示すブロック図
【図１６】第4の実施形態による音響再生装置の処理手順を示すフローチャート
【図１７】第4の実施形態による音響再生装置の処理手順を示すフローチャート
【図１８】外部音声生成条件判定テーブルの例
【図１９】第5の実施形態による音響再生装置の構成を示すブロック図
【図２０】第5の実施形態による音響再生装置の処理手順を示すフローチャート
【図２１】第5の実施形態による音響再生装置の処理手順を示すフローチャート
【図２２】音響処理条件判定テーブルの例
【図２３】第6の実施形態による音響再生装置の構成を示すブロック図
【図２４】第6の実施形態による音響再生装置の処理手順を示すフローチャート
【図２５】第6の実施形態による音響再生装置の処理手順を示すフローチャート
【図２６】第6の実施形態による音響再生装置の処理手順を示すフローチャート
【図２７】外部音声生成条件判定テーブルの例
【図２８】第7の実施形態による音響再生装置の構成を示すブロック図
【図２９】音響処理負荷条件判定テーブルの例
【図３０】加工手段選定テーブルの例
【図３１】第7の実施形態による音響再生装置の処理手順を示すフローチャート
【図３２】第7の実施形態による音響再生装置の処理手順を示すフローチャート
【図３３】第8の実施形態による音響処理負荷条件判定テーブル,ユースケース情報変換テーブル,ポインタ情報変換テーブルの例
【図３４】第8の実施形態による音響再生装置の処理手順を示すフローチャート
【図３５】第9の実施形態による音響処理負荷条件判定テーブル,ユースケース情報変換テーブル,ポインタ情報変換テーブルの例
【図３６】第9の実施形態による音響再生装置の処理手順を示すフローチャート
【図３７】第10の実施形態によるデコード処理負荷条件変換テーブル,ユースケース情報変換テーブル,音響処理負荷条件判定テーブルの例
【図３８】第10の実施形態による音響再生装置の処理手順を示すフローチャート
【図３９】第11の実施形態によるデコード処理負荷条件変換テーブル,ユースケース情報変換テーブル,処理フロー判定テーブルの例
【図４０】第11の実施形態による音響再生装置の処理手順を示すフローチャート
【図４１】従来の音響再生装置の構成例を示すブロック図
【図４２】従来の音響再生装置の処理手順を示すフローチャート
【図４３】従来の音響再生装置の処理手順を示すフローチャート
【符号の説明】
【００４６】
1000,2000,3000,4000,5000,6000,7000…音響再生装置
1100…制御部
1110…外部音声生成条件判定テーブル
1110a,1110c…音響処理負荷条件判定テーブル
1110b…加工手段選定テーブル
1110d…ユースケース情報変換テーブル
1110e…ポインタ情報変換テーブル
1120…PCM出力バッファ残量モニタ手段
1130…付加音声データ入力バッファ残量モニタ手段
1140…音響処理条件判定テーブル
1140a…デコード処理負荷条件変換テーブル
1140b…ユースケース情報変換テーブル
1140c…音響処理負荷条件判定テーブル
1150…処理フロー判定テーブル
1150a…デコード処理負荷条件変換テーブル
1150b…ユースケース情報変換テーブル
1150c…処理フロー判定テーブル
1200…デコード部
1300…サンプリング周波数変換部
1400…音響処理部
1500…付加音声加算部
1510…付加音声生成部
1511…加工手段1
1512…加工手段2
1513…加工手段3
1520…加算器
1530…付加音声切替スイッチ
1600…内部実装付加音声データバッファ
1700…PCM出力バッファ
1800…付加音声データ入力バッファ
【発明を実施するための最良の形態】
【００４７】
以下、好ましい実施形態について図面を参照しながら説明する。なお、実質的に同一の機能を有する構成要素については、図面において同じ参照符号を付け、その説明を省略する場合がある。【００４８】
(第1の実施形態)
第1の実施形態による音響再生装置の構成を図1に示す。この音響再生装置1000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500を備えている。【００４９】
デコード部1200は、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し出力する。デコード部1200は、オーディオビットストリームを復号する際に、デコード情報としてデコーダタイプ情報，サンプリング周波数情報，チャンネル構成情報を制御部1100へ出力する。【００５０】
制御部1100は、外部から再生指示情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。制御部1100は、内部に外部音声生成条件判定テーブル1110を有しており、デコード情報と再生指示情報から、外部音声生成条件判定テーブル1110を参照し、付加音声生成部1510における付加音声PCM信号の加工手段を決定する。【００５１】
サンプリング周波数変換部1300は、制御部1100の指示に従い必要に応じて、デコード部1200から出力される復号PCM信号に対してサンプリング周波数の変換処理を実施する。【００５２】
音響処理部1400は、制御部1100より再生指示情報を受信し、この指示に従い復号PCM信号に対して音響処理を実施する。音響処理部1400内部に搭載される機能としては、例えばオーバーサンプリング処理を伴う高音質化処理や、スピーカセッティングのための音質調整機能、チャンネル拡張処理、音量処理などが含まれ、それらの処理の実施については制御部1100により指示される。【００５３】
付加音声加算部1500は、付加音声生成部1510と加算器1520とを備えている。付加音声生成部1510は、外部から入力される付加音声データを受信し、受信した付加音声データを復号PCM信号と加算ができるよう加工して付加音声PCM信号を生成する。付加音声生成部1510は、付加音声PCM信号を生成するための2種類の加工手段1511,1512を備える。加工手段1(1511)は、演算処理負荷が大きいが加工結果の音響特性に優れることを特徴とする。加工手段2(1512)は、加工結果の音響特性は加工手段1より劣るが演算処理負荷が加工手段1より小さいことを特徴とする。この2種類の加工手段1511,1512は制御部1100からの指示により使い分けられる。加算器1520は、付加音声生成部1510で生成された付加音声PCM信号と復号PCM信号とを加算する。なお、ここでは説明を簡単にするため、付加音声生成部1510が備える加工手段を2種類としているが、加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じて3種類以上の加工手段を付加音声生成部1510に設けてもよい。これは他の実施形態においても同様である。【００５４】
図4は、外部音声生成条件判定テーブル1110の内容を示したものである。外部音声生成条件判定テーブル1110は、付加音声生成部1510における付加音声PCM信号の加工手段を特定するための指示をデコード情報と再生指示情報とから判定するためのテーブルである。外部音声生成条件判定テーブル1110には、デコード情報と再生指示情報との組み合わせと加工手段とが対応付けられている。図4の外部音声生成条件判定テーブル1110では、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3，AAC，リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3，AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネルもしくはマルチチャンネルの2種類が設定されている。また、図4の外部音声生成条件判定テーブル1110では、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。そして、図4の外部音声生成条件判定テーブル1110では、これらの各デコード情報と各再生指示情報との組み合わせに対して加工手段1または加工手段2が対応付けられている。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。【００５５】
次に、以上のように構成された音響再生装置1000の動作について図2〜図3のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)
・デコード情報…デコーダタイプ:AC3,サンプリング周波数:48kHz,チャンネル構成:2チャンネル(AC3,FS＝48kHz,2チャンネル)
・再生指示情報…機能Aと機能Bのうち機能Aのみの実施(機能A)
(ケース2)
・デコード情報…デコーダタイプ:AAC,サンプリング周波数:48kHz,チャンネル構成:マルチチャンネル(AAC,FS＝48kHz,マルチチャンネル)
・再生指示情報…機能Aと機能Bの両方を実施(機能A＋機能B)
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し(ST101,ST102)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST103)。【００５６】
制御部1100は、外部から再生指示情報として機能A実施の指示を受信し、デコード部1200からデコード情報を受信する(ST105)。ここでは、デコード情報として、デコーダタイプ(AC3)，サンプリング周波数(48kHz)，チャンネル構成(2チャンネル)の情報を取得する。ここでは機能Bの実施が指示されていないため復号PCM信号に対してのサンプリング周波数変換処理は不要と判断される(ST107でYes)。【００５７】
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST107でYes)、サンプリング周波数変換部1300では復号PCM信号のサンプリング周波数変換処理(ST108,ST109)を実施する必要がない。【００５８】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST110)、この指示に従い復号PCM信号に対して機能Aに対応する音響処理を実施する(ST111)。ここでの再生指示情報では機能Bに対応する高音質化処理が含まれていない。【００５９】
制御部1100は、外部音声生成条件判定テーブル1110(図4)を参照して外部音声生成条件を特定する(ST112)。ここでは、デコード情報(AC3,FS＝48kHz,2チャンネル)および再生指示情報(機能A)から、演算処理負荷が大きいが加工結果の音響特性に優れる加工手段1(1511)が特定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST113)。【００６０】
付加音声加算部1500では、外部から付加音声データを入力し(ST114)、付加音声生成部1510にて付加音声PCM信号を生成する(ST115)。その際、制御部1100からは付加音声PCM信号生成の際に用いる加工手段として加工手段1(1511)が指定される。加工手段1(1511)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST116)、PCM出力信号として外部に出力される(ST117)。【００６１】
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し(ST101,ST102)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST103)。【００６２】
制御部1100は、外部から再生指示情報として機能Aおよび機能B実施の指示を受信し、デコード部1200からデコード情報を受信する(ST105)。ここでは、デコード情報として、デコーダタイプ(AAC)，サンプリング周波数(48kHz)，チャンネル構成(マルチチャンネル)の情報を取得する。ここではサンプリング周波数が48kHzであること，機能Bの実施が指示されていることから、復号PCM信号に対してサンプリング周波数変換処理が必要と判断される(ST107でNo)。【００６３】
制御部1100では、サンプリング周波数の変換が必要と判断されるので(ST107でNo)、サンプリング周波数変換部1300に対して、復号PCM信号のオーバーサンプリング処理を指示し(ST108)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST109)。【００６４】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST110)、この指示に従い復号PCM信号に対して機能Aおよび機能Bに対応する音響処理を実施する(ST111)。【００６５】
制御部1100は、外部音声生成条件判定テーブル1110(図4)を参照して外部音声生成条件を特定する(ST112)。ここでは、デコード情報(AAC,FS＝48kHz,マルチチャンネル)および再生指示情報(機能A＋機能B)から、加工結果の音響特性は加工手段1(1511)より劣るが演算処理負荷が加工手段1(1511)より小さい加工手段2(1512)が特定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST113)。【００６６】
付加音声加算部1500では、外部から付加音声データを入力し(ST114)、付加音声生成部1510にて付加音声PCM信号を生成する(ST115)。その際、制御部1100からは付加音声PCM信号生成の際に用いる加工手段として加工手段2(1512)が指定される。ここでは、デコード情報のサンプリング周波数は48kHzであるが、機能Bの処理が実施されているため、復号PCM信号のサンプリング周波数は96kHzである。このため、付加音声PCM信号のサンプリング周波数も96kHzにする必要があり、その分処理負荷が大きくなるが、加工手段2(1512)を用いることで処理負荷がおさえられる。付加音声生成部1510にて加工手段2(1512)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST116)、PCM出力信号として外部に出力される(ST117)。【００６７】
以上のように第1の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら付加音声加算部1500で使用する加工手段として加工手段2(1512)が指定されるため、付加音声PCM信号の生成に対する処理負荷が抑えられ、その分、音響再生装置1000全体にかかる処理負荷が軽減される。【００６８】
(第2の実施形態)
第2の実施形態による音響再生装置の構成を図5に示す。この音響再生装置2000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500,内部実装付加音声データバッファ1600を備えている。【００６９】
内部実装負荷音声データバッファ1600は、音響再生装置2000内部に実装される付加音声データを格納するバッファであり、再生に必要な各サンプリング周波数に対応した付加音声データを格納している。【００７０】
制御部1100は、デコード情報と再生指示情報に基づいて外部音声生成条件判定テーブル1110を参照して、付加音声加算部1500において付加音声生成部1510から加算器1520に与えられる付加音声PCM信号の音源として外部入力付加音声データ，もしくは，内部実装付加音声データのいずれを使用するかを決定する。【００７１】
付加音声加算部1500は、付加音声切替スイッチ1530と付加音声生成部1510と加算器1520とを備えている。付加音声切替スイッチ1530は、制御部1100からの指示に従い、外部から入力される外部入力付加音声データ,もしくは,内部実装負荷音声データバッファ1600に格納されている付加音声データのいずれかを選択する。付加音声生成部1510は、付加音声切替スイッチ1530で選択された付加音声データを復号PCM信号と加算できるように加工して付加音声PCM信号を生成する。加算器1520は、付加音声生成部1510で生成された付加音声PCM信号と復号PCM信号とを加算する。【００７２】
図9は、外部音声生成条件判定テーブル1110の内容を示したものである。外部音声生成条件判定テーブル1110は、外部から入力される付加音声データ，内部実装負荷音声データバッファ1600に格納されている付加音声データのいずれを付加音声切替スイッチ1530において選択すべきかの指示をデコード情報と再生指示情報とから判定するためのテーブルである。外部音声生成条件判定テーブル1110には、デコード情報と再生指示情報との組み合わせと選択すべき付加音声データを示す情報とが対応付けられている。図9の外部音声生成条件判定テーブル1110では、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3,AAC,リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3,AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネル，マルチチャンネルの2種類が設定されている。また、図9の外部音声生成条件判定テーブル1110では、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。そして、図9の外部音声生成条件判定テーブル1110では、これらの各デコード情報と各再生指示情報との組み合わせに対して(外部入力)または(内部実装)が対応付けられている。(外部入力)は、外部から入力される付加音声データを示す情報である。(内部実装)は、内部実装負荷音声データバッファ1600に格納されている付加音声データを示す情報である。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。【００７３】
次に、以上のように構成された音響再生装置2000の動作について図6〜図8のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)
・デコード情報…デコーダタイプ:AC3,サンプリング周波数:48kHz,チャンネル構成:2チャンネル(AC3,FS＝48kHz,2チャンネル)
・再生指示情報…機能Aと機能Bのうち機能Aのみの実施(機能A)
(ケース2)
・デコード情報…デコーダタイプ:AAC,サンプリング周波数:48kHz,チャンネル構成:マルチチャンネル(AAC,FS＝48kHz,マルチチャンネル)
・再生指示情報…機能Aと機能Bの両方を実施(機能A＋機能B)
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し(ST201,ST202)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST203)。【００７４】
制御部1100は、外部から再生指示情報として機能A実施の指示を受信し、デコード部1200からデコード情報を受信する(ST205)。ここでは、デコード情報として、デコーダタイプ(AC3)，サンプリング周波数(48kHz)，チャンネル構成(2チャンネル)の情報を取得する。ここでは機能Bの実施が指示されていないため復号PCM信号に対してのサンプリング周波数変換処理は不要と判断される(ST207でYes)。【００７５】
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST207でYes)、サンプリング周波数変換部1300では復号PCM信号のサンプリング周波数変換処理(ST208,ST209)を実施する必要がない。【００７６】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST210)、この指示に従い復号PCM信号に対して機能Aに対応する音響処理を実施する(ST211)。ここでの再生指示情報では機能Bに対応する高音質化処理が含まれていない。【００７７】
制御部1100は、外部音声生成条件判定テーブル1110(図9)を参照して付加音声データ(付加音声PCM信号の音源)を特定する(ST212)。ここでは、デコード情報(AC3,FS＝48kHz,2チャンネル)および再生指示情報(機能A)から、外部から入力される付加音声データ(外部入力)が特定される。【００７８】
さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST213)。【００７９】
付加音声加算部1500では、外部から入力される付加音声データを選択するように制御部1100から指示されるため、付加音声切替スイッチ1530は、外部入力付加音声データを選択し付加音声生成部1510へ送信する(ST214,ST215,ST216でYes)。【００８０】
付加音声生成部1510は、付加音声切替スイッチ1530から送信された付加音声データから付加音声PCM信号を生成する(ST217,ST218)。付加音声生成部1510にて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST221)、PCM出力信号として外部に出力される(ST222)。【００８１】
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し(ST201,ST202)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST203)。【００８２】
制御部1100は、外部から再生指示情報として機能Aおよび機能B実施の指示を受信し、デコード部1200からデコード情報を受信する(ST205)。ここでは、デコード情報として、デコーダタイプ(AAC)，サンプリング周波数(48kHz)，チャンネル構成(マルチチャンネル)の情報を取得する。ここではサンプリング周波数が48kHzであること、機能Bの実施が指示されていることから、復号PCM信号に対してサンプリング周波数変換処理が必要と判断される(ST207でNo)。【００８３】
制御部1100では、サンプリング周波数の変換が必要と判断されるので(ST207でNo)、サンプリング周波数変換部1300に対して復号PCM信号のオーバーサンプリング処理を指示し(ST208)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST209)。【００８４】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST210)、この指示に従い復号PCM信号に対して機能Aおよび機能Bに対応する音響処理を実施する(ST211)。【００８５】
制御部1100は、外部音声生成条件判定テーブル1110(図9)を参照して付加音声データ(付加音声PCM信号の音源)を特定する(ST212)。ここでは、デコード情報(AAC,FS＝48kHz,マルチチャンネル)および再生指示情報(機能A＋機能B)から、音声データバッファ1600に格納されている付加音声データ(内部実装)が特定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST213)。【００８６】
付加音声加算部1500では、内部実装付加音声データバッファ1600に蓄積されている付加音声データを選択するように制御部1100から指示されるため、付加音声切替スイッチ1530は、出力PCM信号のサンプリング周波数情報を参照し内部実装付加音声データバッファ1600から必要な付加音声データを選択して付加音声生成部1510へ送信する(ST215,ST216でNo,ST219)。【００８７】
付加音声生成部1510は、付加音声切替スイッチ1530から送信された付加音声データから付加音声PCM信号を生成する(ST220)。ここでは、デコード情報のサンプリング周波数は48kHzであるが、機能Bの処理が実施されているため、復号PCM信号のサンプリング周波数は96kHzである。このため、付加音声PCM信号のサンプリング周波数も96kHzにする必要があるが、すでに付加音声切替スイッチ1530にて出力PCM信号のサンプリング周波数情報を参照し必要な付加音声データを選択しているため、改めてオーバーサンプリング処理を施す必要はない(ST220)。【００８８】
付加音声生成部1510にて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST221)、PCM出力信号として外部に出力される(ST222)。【００８９】
以上のように第2の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら付加音声加算部1500で処理される付加音声データとして、内部実装付加音声データバッファ1600に格納されている付加音声データが選択され、付加音声PCM信号の生成の際のオーバーサンプリング処理が省かれるため、付加音声PCM信号の生成に対する処理負荷が抑えられ、その分、音響再生装置2000全体にかかる処理負荷が軽減される。【００９０】
(第3の実施形態)
第3の実施形態による音響再生装置の構成を図10に示す。この音響再生装置3000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500,PCM出力バッファ1700を備えている。【００９１】
制御部1100は、外部から再生指示情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。本実施形態では、外部から入手する再生指示情報として、各音響処理機能の処理指示のほか、PCM出力バッファ残量のアンダーフロー条件の指定を含むものとする。たとえば、アンダーフロー判定の開始タイミング(デコード初期タイミングではPCM出力バッファ残量は必ずアンダーフローから開始するため、判定開始タイミングを遅延させる必要がある)，アンダーフロー判定のためのバッファ残量閾値などが条件として考えられる。制御部1100は、内部にPCM出力バッファ残量モニタ手段1120および外部音声生成条件テーブル1110を有している。PCM出力バッファ残量モニタ手段1120は、PCM出力バッファ1700の出力PCM信号の残量を監視する。PCM出力バッファ残量モニタ手段1120は、外部から指定される開始タイミング以降にPCM出力バッファ1700の出力PCM信号の残量状態を監視し、アンダーフロー(バッファ残量が閾値未満)かどうか監視する。制御部1110は、PCM出力バッファ1700の出力PCM信号の残量状態に基づいて外部音声生成条件テーブル1110を参照し、付加音声生成部1510における付加音声PCM信号の加工手段を決定する。【００９２】
図14は、外部音声生成条件判定テーブル1110の内容を示したものである。外部音声生成条件判定テーブル1110は、付加音声生成部1510における付加音声PCM信号の加工手段を特定するための指示をPCM出力バッファ1700の出力PCM信号の残量状態に基づいて判定するためのテーブルである。【００９３】
外部音声生成条件判定テーブル1110には、PCM出力バッファ1700の出力PCM信号の残量状態(PCM出力バッファ残量)と選択する加工手段とが対応付けられている。図14の外部音声生成条件判定テーブル1110では、PCM出力バッファ残量があらかじめ設定した閾値以上に対して加工手段1が対応付けられ、PCM出力バッファ残量があらかじめ設定した閾値未満に対して加工手段2が対応付けられている。【００９４】
次に、以上のように構成された音響再生装置3000の動作について図11〜図13のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)…処理負荷が比較的軽くPCM出力バッファ1700の出力PCM信号の残量状態としてアンダーフローが検出されない場合
(ケース2)…処理負荷が大きくPCM出力バッファ1700の出力PCM信号の残量状態としてアンダーフローが検出される場合
(ケース1における動作)
説明を容易とするためここでは、デコード開始から既に外部から指定されるアンダーフロー判定の開始タイミング以降の時間が経過しているものとする。【００９５】
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST301,ST302)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST303)。【００９６】
制御部1100は、外部から再生指示情報を受信し、デコード部1200からデコード情報を受信する(ST305)。尚、本実施形態では特にデコード情報の内容についての説明は省略するが、説明を容易とするため、復号PCM信号に対してのサンプリング周波数変換処理は不要と判断されたものとする(ST308でYes)。【００９７】
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST307でYes)、サンプリング周波数変換部1300では復号PCM信号のサンプリング周波数変換処理(ST308,ST309)を実施する必要がない。【００９８】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST310)、この指示に従い復号PCM信号に対して音響処理を実施する(ST311)。【００９９】
制御部1100は、PCM出力バッファ残量モニタ手段1120により、PCM出力バッファ1700の出力PCM信号の残量状態をモニタする(ST312)。さらに制御部1100は、外部音声生成条件判定テーブル1110(図14)を参照し、PCM出力バッファ1700の出力PCM信号の残量状態から外部音声生成条件(付加音声生成に使用する加工手段)を決定する(ST313)。ここでは、処理負荷が比較的軽くPCM出力バッファ1700の出力PCM信号の残量状態としてアンダーフローが検出されない(PCM出力バッファ残量が予め設定した閾値以上である)場合であるため、演算処理負荷が大きいが加工結果の音響特性に優れる加工手段1(1511)を用いると判定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST314)。【０１００】
付加音声加算部1500では、外部から付加音声データを入力し(ST315)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST316)。その際、制御部1100からは付加音声PCM信号生成の際の加工手段として加工手段1(1511)の処理が指定される。加工手段1(1511)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST317)、PCM出力信号として外部に出力される(ST318)。【０１０１】
(ケース2における動作)
尚、ここでも説明を容易とするためここでは、デコード開始から既に外部から指定されるアンダーフロー判定の開始タイミング以降の時間が経過しているものとする。【０１０２】
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST301,ST302)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST303)。【０１０３】
制御部1100は、外部から再生指示情報を受信し、デコード部1200からデコード情報を受信する(ST305)。尚、本実施の形態では特にデコード情報の内容についての説明は省略するが、説明を容易とするためデコード情報のサンプリング周波数FSが48kHz、さらに再生指示情報において高音質化処理が指示され、復号PCM信号に対して96kHzへのオーバーサンプリング処理が必要と判断されたものとする(ST307でNo)。【０１０４】
制御部1100ではサンプリング周波数の変換が必要と判断されるので(ST307でNo)、サンプリング周波数変換部1300に対して復号PCM信号のオーバーサンプリング処理を指示し(ST308)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST309)。【０１０５】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST310)、この指示に従い復号PCM信号に対して音響処理を実施する(ST311)。【０１０６】
制御部1100は、PCM出力バッファ残量モニタ手段1120により、PCM出力バッファ1700の出力PCM信号の残量状態をモニタする(ST312)。さらに制御部1100は、外部音声生成条件判定テーブル1110(図14)を参照し、PCM出力バッファ1700の出力PCM信号の残量状態から外部音声生成条件(付加音声生成における加工手段)を決定する(ST313)。ここでは、処理負荷が比較的軽くPCM出力バッファ1700の出力PCM信号の残量状態としてアンダーフローが検出される(PCM出力バッファ残量が予め設定した閾値未満である)場合であるため、加工結果の音響特性は加工手段1(1511)より劣るが演算処理負荷が加工手段1(1511)より小さい加工手段2(1512)を用いると判定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST314)。【０１０７】
付加音声加算部1500では、外部から付加音声データを入力し(ST315)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST316)。その際、制御部1100からは付加音声PCM信号生成の際の加工手段として加工手段2(1512)の処理が指定される。ここでは、デコード情報のサンプリング周波数は48kHzであるが、サンプリング周波数変換処理が実施され、復号PCM信号のサンプリング周波数は96kHzであるため、付加音声PCM信号のサンプリング周波数も96kHzにする必要があり、その分処理負荷が大きくなるが、加工手段2(1512)を用いることで処理負荷がおさえられる。付加音声生成部1510にて加工手段2(1512)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST317)、PCM出力信号として外部に出力される(ST318)。【０１０８】
以上のように第3の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら制御部1100内部にPCM出力バッファ残量モニタ手段1120、付加音声生成部1510内部に処理負荷に応じて切り替え可能な複数の加工手段1511,1512を具備しているので、PCM出力バッファ残量を監視し、残量状態に応じて、付加音声生成方法を切り替えることが可能であるため、付加音声加算部1500での加工手段として加工手段2(1512)の処理を指定することで、付加音声PCM信号の生成に対する処理負荷が抑えられる分、音響再生装置全体にかかる処理負荷が軽減される。【０１０９】
(第4の実施形態)
第4の実施形態による音響再生装置の構成を図15に示す。この音響再生装置4000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部11500,付加音声データ入力バッファ1800を備えている。【０１１０】
制御部1100は、外部から再生指示情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。ここで本実施形態では、外部から入手する再生指示情報として、各音響処理機能の処理指示のほか、付加音声データ入力バッファ残量のオーバーフロー条件の指定を含むものとする。たとえば、オーバーフロー判定のバッファ残量閾値などが条件として考えられる。更に制御部1100は、内部に付加音声データ入力バッファ1800の付加音声データの残量を監視する付加音声データ入力バッファ残量モニタ手段1130および外部音声生成条件テーブル1110を有している。付加音声データ入力バッファ残量モニタ手段1130は、付加音声データ入力バッファ1800の付加音声データの残量状態を監視し、オーバーフロー(バッファ残量が閾値以上)かどうか監視する。更に制御部1110では、付加音声データ入力バッファ1800の付加音声データの残量状態から外部音声生成条件テーブル1110を参照し、付加音声データ入力バッファ1800の付加音声データの残量状態に応じて付加音声生成部1510における付加音声PCM信号の加工手段を決定する。【０１１１】
図18は、外部音声生成条件判定テーブル1110の内容を示したものである。外部音声生成条件判定テーブル1110は、付加音声生成部1510における付加音声PCM信号の加工手段を特定するための指示を付加音声データ入力バッファ1800の付加音声データの残量状態に基づいて判定するためのテーブルである。【０１１２】
外部音声生成条件判定テーブル1110には、付加音声データ入力バッファ1800の付加音声データの残量状態(付加音声データ入力バッファ残量)と選択する加工手段とが対応付けられている。図18の外部音声生成条件判定テーブル1110では、付加音声データ入力バッファ残量があらかじめ設定した閾値未満に対して加工手段1が対応付けられ、付加音声データ入力バッファ残量があらかじめ設定した閾値以上に対して加工手段2が対応付けられている。【０１１３】
次に、以上のように構成された音響再生装置4000の動作について図16〜図17のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)…処理負荷が比較的軽く付加音声データ入力バッファ1800の付加音声データの残量状態としてオーバーフローが検出されない場合
(ケース2)…処理負荷が大きく付加音声データ入力バッファ1800の付加音声データの残量状態としてオーバーフローが検出される場合
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST401,ST402)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST403)。【０１１４】
制御部1100は、外部から再生指示情報を受信し、デコード部1200からデコード情報を受信する(ST405)。尚、本実施形態では特にデコード情報の内容についての説明は省略するが、説明を容易とするため、復号PCM信号に対してのサンプリング周波数変換処理は不要と判断されたものとする(ST407でYes)。【０１１５】
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST407でYes)、サンプリング周波数変換部1300では特に復号PCM信号のサンプリング周波数変換処理(ST408,ST409)を実施する必要がない。【０１１６】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST410)、指示に従い復号PCM信号に対して音響処理を実施する(ST411)。【０１１７】
制御部1100は、付加音声データ入力バッファ残量モニタ手段1130により、付加音声データ入力バッファ1800の付加音声データの残量状態をモニタする(ST412)。さらに制御部1100は、外部音声生成条件判定テーブル1110(図18)を参照し、付加音声データ入力バッファ1800の付加音声データの残量状態から外部音声生成条件(付加音声生成に使用する加工手段)を決定する(ST413)。ここでは、処理負荷が比較的軽く付加音声データ入力バッファ1800の付加音声データの残量状態としてオーバーフローが検出されない(付加音声データ入力バッファ残量が予め設定した閾値未満である)場合であるため、演算処理負荷が大きいが加工結果の音響特性に優れる加工手段1(1511)を用いると判定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST414)。【０１１８】
付加音声加算部1500では、外部から付加音声データを入力し(ST415)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST416)。その際、制御部1100からは付加音声PCM信号生成の際の加工手段として加工手段1(1511)の処理が指定される。加工手段1(1511)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST417)、PCM出力信号として外部に出力される(ST418)。【０１１９】
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST401,ST402)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST403)。【０１２０】
制御部1100は、外部から再生指示情報を受信し、デコード部1200からデコード情報を受信する(ST405)。尚、本実施形態では特にデコード情報の内容についての説明は省略するが、説明を容易とするためデコード情報のサンプリング周波数FSが48kHz、さらに再生指示情報において高音質化処理が指示され、復号PCM信号に対して96kHzへのオーバーサンプリング処理が必要と判断されたものとする(ST407でNo)。【０１２１】
制御部1100ではサンプリング周波数の変換が必要と判断されるので(ST407でNo)、サンプリング周波数変換部1300に対して、復号PCM信号のオーバーサンプリング処理を指示し(ST408)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST409)。【０１２２】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST410)、指示に従い復号PCM信号に対して音響処理を実施する(ST411)。【０１２３】
制御部1100は、付加音声データ入力バッファ残量モニタ手段1130により、付加音声データ入力バッファ1800の付加音声データの残量状態をモニタする(ST412)。さらに制御部1100は、外部音声生成条件判定テーブル1110(図18)を参照し、付加音声データ入力バッファ1800の付加音声データの残量状態から外部音声生成条件(付加音声生成に使用する加工手段)を決定する(ST413)。ここでは、処理負荷が比較的軽く付加音声データ入力バッファ1800の付加音声データの残量状態としてオーバーフローが検出される(付加音声データ入力バッファ残量が予め設定した閾値以上である)場合であるため、加工結果の音響特性は加工手段1(1511)より劣るが演算処理負荷が加工手段1(1511)より小さい加工手段2(1512)を用いると判定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST414)。【０１２４】
付加音声加算部1500では、外部から付加音声データを入力し(ST415)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST416)。その際、制御部1100からは付加音声PCM信号生成の際の加工手段として加工手段2(1512)の処理が指定される。ここでは、デコード情報のサンプリング周波数は48kHzであるが、サンプリング周波数変換処理が実施され、復号PCM信号のサンプリング周波数は96kHzであるため、付加音声PCM信号のサンプリング周波数も96kHzにする必要があり、その分処理負荷が大きくなるが、加工手段2(1512)を用いることで処理負荷がおさえられる。付加音声生成部1510にて加工手段2(1512)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST417)、PCM出力信号として外部に出力される(ST418)。【０１２５】
以上のように第4の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら制御部1100内部に付加音声データ入力バッファ残量モニタ手段1130、付加音声生成部1510内部に処理負荷に応じて切り替え可能な複数の加工手段1511,1512を具備しているので、付加音声データ入力バッファ残量を監視し、残量状態に応じて、付加音声生成方法を切り替えることが可能であるため、付加音声加算部1500での加工手段として加工手段2(1512)の処理を指定することで、付加音声PCM信号の生成に対する処理負荷が抑えられる分、音響再生装置全体にかかる処理負荷が軽減される。【０１２６】
(第5の実施形態)
第5の実施形態による音響再生装置の構成を図19に示す。この音響再生装置5000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500を備えている。【０１２７】
制御部1100は、内部に音響処理条件判定テーブル1140を有している。制御部1100は、デコード情報と再生指示情報に基づいて音響処理条件判定テーブル1140を参照し、音響処理部1400に対する音響処理条件の指示(通常の処理，処理の一部を省く，簡易再生)を決定する。【０１２８】
図22は、音響処理条件判定テーブル1140の内容を示したものである。音響処理条件判定テーブル1140は、音響処理部1400における音響処理条件を特定するための指示をデコード情報と再生指示情報とから判定するためのテーブルである。音響処理条件判定テーブル1140には、デコード情報と再生指示情報との組み合わせと音響処理条件とが対応付けられている。図22の音響処理条件判定テーブル1140では、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3，AAC，リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3，AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネルもしくはマルチチャンネルの2種類が設定されている。また、図22の音響処理条件判定テーブル1140では、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。図22の音響処理条件判定テーブル1140では、これらの各デコード情報と各再生指示情報との組み合わせに対して音響処理条件,ここでは,音響処理を行わない(なし)，通常の音響処理(通常版)，通常の音響処理の一部を省く(間引き)，簡易音響処理(簡易版)が対応付けられている。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。【０１２９】
次に、以上のように構成された音響再生装置5000の動作について図20〜図21のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)
・デコード情報…デコーダタイプ:AC3,サンプリング周波数:48kHz,チャンネル構成:2チャンネル(AC3,FS＝48kHz,2チャンネル)
・再生指示情報…機能Aと機能Bのうち機能Aのみの実施(機能A)
(ケース2)
・デコード情報…デコーダタイプ:AAC,サンプリング周波数:48kHz,チャンネル構成:マルチチャンネル(AAC,FS＝48kHz,マルチチャンネル)
・再生指示情報…機能Aと機能Bの両方を実施(機能A＋機能B)
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST501,ST502)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST503)。【０１３０】
制御部1100は、外部から再生指示情報として機能A実施の指示を受信し，デコード部1200からデコード情報を受信する(ST506)。ここでは、デコード情報として、デコーダタイプ(AC3)，サンプリング周波数(48kHz)，チャンネル構成(2チャンネル)の情報を取得する。ここでは機能Bの実施が指示されていないため復号PCM信号に対してのサンプリング周波数変換処理は不要と判断される(ST507でYes)。【０１３１】
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST507でYes)、サンプリング周波数変換部1300では特に復号PCM信号のサンプリング周波数変換処理(ST508,ST509)を実施する必要がない。【０１３２】
制御部1100は、音響処理条件判定のために音響処理条件判定テーブル1140(図22)を参照し、デコード情報(デコーダタイプ:AC3,サンプリング周波数FS:48kHz,チャンネル構成:2チャンネル)および再生指示情報(機能Aのみ実施)から、音響処理部1400へ指示する音響処理として機能Aを通常版で実施すると判定し(ST506)、音響処理部1400に対して当該音響処理の実施を指示する(ST510)。【０１３３】
次に音響処理部1400では、制御部1100より音響処理の指示を受信し(ST510)、この指示に従い復号PCM信号に対して機能Aに対する音響処理を実施する(ST511)。ここでの再生指示情報では機能Bに対応する高音質化処理が含まれていない。【０１３４】
制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し，付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST512)。【０１３５】
付加音声加算部1500では、外部から付加音声データを入力し(ST513)、付加音声生成部1510にて付加音声PCM信号を生成し(ST514)、更に加算器1520により復号PCM信号と付加音声PCM信号とが加算され(ST515)、PCM出力信号として外部に出力される(ST516)。【０１３６】
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST501,ST502)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST503)。【０１３７】
制御部1100は、外部から再生指示情報として機能Aおよび機能B実施の指示を受信し，デコード部1200からデコード情報を受信する(ST505)。ここでは、デコード情報として、デコーダタイプ(AAC)，サンプリング周波数(48kHz)，チャンネル構成(マルチチャンネル)の情報を取得する。ここではサンプリング周波数が48kHzであること，機能Bの実施が指示されていることから、復号PCM信号に対してオーバーサンプリング周波数変換処理が必要と判断される(ST507でNo)。【０１３８】
制御部1100ではサンプリング周波数の変換が必要と判断されるので(ST507でNo)、サンプリング周波数変換部1300に対して、復号PCM信号のオーバーサンプリング処理を指示し(ST508)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST509)。【０１３９】
制御部1100は、音響処理条件判定のために音響処理条件判定テーブル1140(図22)を参照し、デコード情報(デコーダタイプ:AAC,サンプリング周波数FS:48kHz,チャンネル構成:マルチチャンネル)および再生指示情報(機能Aおよび機能Bを実施)から、音響処理部1400へ指示する音響処理として機能Aを通常版，機能Bを簡易版で実施すると判定し(ST506)、音響処理部1400に対して当該音響処理の実施を指示する(ST510)。【０１４０】
次に音響処理部1400では、制御部1100より音響処理の指示を受信し(ST510)、この指示に従い復号PCM信号に対して機能Aおよび機能Bに対する音響処理を実施する(ST511)。【０１４１】
制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST512)。【０１４２】
付加音声加算部1500では、外部から付加音声データを入力し(ST513)、付加音声生成部1510にて付加音声PCM信号を生成し(ST514)、更に加算器1520により復号PCM信号と付加音声PCM信号とが加算され(ST515)、PCM出力信号として外部に出力される(ST516)。【０１４３】
以上のように第5の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら制御部1100内部に音響処理条件判定テーブル1140を具備し、処理負荷が大きくなる場合でも、音響処理部1400に対して処理の一部を省く,もしくは,簡易再生に切り替える指示を与えることで、その分音響再生装置全体にかかる処理負荷が軽減されるため処理量の破綻を防ぐことが容易となる。【０１４４】
(第6の実施形態)
第6の実施形態による音響再生装置の構成を図23に示す。この音響再生装置6000は、第5の実施形態(図19)と同様、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500を備えている。【０１４５】
第5の実施形態(図19)との違いは、制御部1100内部に具備されるテーブルが処理フロー判定テーブル1150であり、処理フロー判定テーブル1150で示される判定条件の内容および制御部1100からサンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500へ指示される処理順序が異なる点である。【０１４６】
図27は、処理フロー判定テーブル1150の内容を示したものである。処理フロー判定テーブル1150は、サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500の処理順序を特定するための指示をデコード情報と再生指示情報とから判定するためのテーブルである。処理フロー判定テーブル1150には、デコード情報と再生指示情報との組み合わせと処理順序とが対応付けられている。図27の処理フロー判定テーブル1150では、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3，AAC，リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3，AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネルもしくはマルチチャンネルの2種類が設定されている。また、図27の処理フロー判定テーブル1150では、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。図27の処理フロー判定テーブル1150では、これらの各デコード情報と各再生指示情報との組み合わせに対して処理順序,ここでは,通常の処理順序(通常フロー)，付加音声加算部1500の処理を先行して行う(付加音声加算処理先行)が対応付けられている。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。【０１４７】
次に、以上のように構成された音響再生装置6000の動作について図24〜図26のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)
・デコード情報…デコーダタイプ:AC3,サンプリング周波数:48kHz,チャンネル構成:2チャンネル
・再生指示情報…機能Aと機能Bのうち機能Aのみの実施
(ケース2)
・デコード情報…デコーダタイプ:AAC,サンプリング周波数:48kHz,チャンネル構成:マルチチャンネル
・再生指示情報…機能Aと機能Bの両方を実施
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST601,ST602)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST603)。【０１４８】
制御部1100は、外部から再生指示情報として機能A実施の指示を受信し，デコード部1200からデコード情報を受信する(ST605)。さらにデコード部1200のデコード処理以降の処理フロー判定のために処理フロー判定テーブル1150(図27)を参照し、デコード情報(デコーダタイプ:AC3,サンプリング周波数FS:48kHz,チャンネル構成:2チャンネル)および再生指示情報(機能Aのみ実施)から処理順序を判定する(ST606)。ここでは、サンプリング周波数変換部1300の処理は不要、音響処理部1400における処理の後に付加音声加算処理を実施する(通常フロー)と判定する(ST607でYes)。処理フロー判定テーブル1150の参照結果に従い、まず音響処理部1400に対して音響処理の実施を指示する(ST611)。【０１４９】
音響処理部1400では、制御部1100より音響処理の指示を受信し、この指示に従い復号PCM信号に対して機能Aに対する音響処理を実施する(ST612)。ここでの音響処理指示情報では機能Bに対応する高音質化処理が含まれていない。【０１５０】
付加音声加算部1500では、外部から付加音声データを入力し(ST614)、付加音声生成部1510にて付加音声PCM信号を生成し(ST615)、更に加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST616)、PCM出力信号として外部に出力される(ST617)。【０１５１】
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST601,ST602)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST603)。【０１５２】
制御部1100は、外部から再生指示情報として機能Aおよび機能B実施の指示を受信，デコード部1200からデコード情報を受信する(ST605)。さらにデコード部1200のデコード処理以降の処理フロー判定のために処理フロー判定テーブル1150(図27)を参照し、デコード情報(デコーダタイプ:AAC,サンプリング周波数FS:48kHz,チャンネル構成:マルチチャンネル)および再生指示情報(機能Aおよび機能Bを実施)から処理順序を判定する(ST606)。ここでは、まず、付加音声加算部1500での付加音声加算処理を実施し，次にサンプリング周波数変換部1300での処理，次に音響処理部1400での音響処理を実施する(付加音声加算処理先行)と判定する(ST607でNo)。処理フロー判定テーブル1150の参照結果に従い、まず付加音声加算部1500に対して付加音声加算処理の実施を指示する(ST618)。【０１５３】
付加音声加算部1500では、外部から付加音声データを入力し(ST619)、付加音声生成部1510にて付加音声PCM信号を生成し(ST620)、更に加算器1520により復号PCM信号と付加音声PCM信号とが加算される(ST621)。ここで、付加音声生成部1510にて付加音声PCM信号に対するオーバーサンプリング処理は実施されない。【０１５４】
次に制御部1100では、サンプリング周波数の変換が必要と判断されるので(ST623でNo)、付加音声加算部1500から出力されるPCM出力信号に対するオーバーサンプリング処理をサンプリング周波数変換部1300に指示し(ST624)、サンプリング周波数変換部1300は制御部1100の指示に従いオーバーサンプリング処理を実施する(ST625)。【０１５５】
更に制御部1100は、音響処理部1400に音響処理の実施を指示する(ST626)。音響処理部1400は、制御部1100より音響処理の指示を受信し、この指示に従い復号PCM信号に対して機能Aおよび機能Bに対する音響処理を実施し(ST627)、PCM出力信号として外部に出力する(ST628)。【０１５６】
以上のように第6の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら制御部1100内部に処理フロー判定テーブル1150を具備し、処理負荷が大きくなる場合には、付加音声加算部1500での付加音声データの加工処理，加算処理をサンプリング周波数変換部1300でのサンプリング周波数変換処理よりも前段で実施するように設定することで、付加音声データの加工処理で発生するサンプリング周波数変換の処理負荷を削減することが可能となり、その分、音響再生装置全体の処理量の破綻を防ぐことが容易となる。この場合、音響処理部1400での音響処理が付加音声ミックス処理後に実施されるため、付加音声に対しても音響処理が施されることになってしまうが、出力PCM信号のサンプリング周波数を下げる必要もないので、デコード部1200によりデコードされたPCMの音質劣化の抑制や外部から要求される高音質化処理の実現は可能となる。【０１５７】
(第7の実施形態)
第1〜6の実施形態では、音響再生装置1000〜6000が独立した1つのプロセッサで実現される形態を想定しているため、音響再生装置1000〜6000全体の処理負荷は固定される。これに対し、これ以降の第7〜11の実施形態では、音響再生装置が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定する。この場合、音響再生装置全体の処理負荷はシステムの負荷(たとえばユースケース等)に応じて変化するため、音響再生装置全体の処理負荷の管理が必要になる。【０１５８】
第7の実施形態による音響再生装置の構成を図28に示す。この音響再生装置は、第1の実施形態の音響再生装置1000(図1)が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定している。【０１５９】
本実施形態において、制御部1100は、外部から再生指示情報およびユースケース情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。ユースケース情報は、音響再生装置1000が組み込まれているシステムの負荷を示す情報の一例である。制御部1100は、内部に音響処理負荷条件判定テーブル1110aと加工手段選定テーブル1110bとを有しており、デコード情報と再生指示情報とユースケース情報から、音響処理負荷条件判定テーブル1110aと加工手段選定テーブル1110bを参照し、付加音声生成部1510における付加音声PCM信号の加工手段を決定する。【０１６０】
付加音声生成部1510は、付加音声PCM信号を生成するための3種類の加工手段1511,1512,1513を備える。ここでは演算処理負荷の大きい順番は加工手段1(1511),加工手段2(1512),加工手段3(1513)であり、加工結果の音響特性が優れている順番は加工手段1(1511),加工手段2(1512),加工手段3(1513)であるものとする。これら3種類の加工手段1511,1512,1513は制御部1100からの指示により使い分けられる。【０１６１】
図29は、音響処理負荷条件判定テーブル1110aの内容を示したものである。音響処理負荷条件判定テーブル1110aには、デコード情報と再生指示情報との組み合わせと加工手段ポインタ情報とが対応付けられている。図29の音響処理負荷条件判定テーブル1110aでは、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3，AAC，リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3，AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネル,マルチチャンネルの2種類が設定されている。また、図29の音響処理負荷条件判定テーブル1110aでは、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。そして、図29の音響処理負荷条件判定テーブル1110aでは、これらの各デコード情報と各再生指示情報との組み合わせに対してポインタ1またはポインタ2が対応付けられている。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。【０１６２】
図30は、加工手段選定テーブル1110bの内容を示したものである。加工手段選定テーブル1110bには、ユースケース情報と加工手段ポインタ情報との組み合わせと加工手段とが対応付けられている。図30の加工手段選定テーブル1110bでは、ユースケース情報として、ユースケース1,2,3が設定されており、加工手段ポインタ情報としてポインタ1,2が設定されている。そして、これらの各ユースケース情報と各加工手段ポインタ情報との組み合わせに対して加工手段1または加工手段2または加工手段3が対応付けられている。なお、ここでは一例として、ユースケース1としてメディア(映像と音声)の単独再生が設定され、ユースケース2としてメディア(音声のみ)の単独再生が設定され、ユースケース3としてメディア再生とインターネット接続の同時処理が設定されているものとする。【０１６３】
本実施形態による音響再生装置1000が実行する処理の流れを図31〜図32に示す。図31〜図32に示すフローチャートは、図2〜図3のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST105(図2)に代えてステップST105a(図31)を実行し、ステップST112(図3)に代えてステップST112a,ST112b(図32)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。【０１６４】
ステップST105aにおいて、制御部1100は、外部から再生指示情報に加えてユースケース情報も受信し、デコード部1200からデコード情報を受信する。【０１６５】
ステップST112aにおいて、制御部1100は、音響処理負荷条件判定テーブル1110a(図29)を参照し、ステップST105aで受信した再生指示情報とデコード情報に対応付けられている加工手段ポインタ情報を特定する。【０１６６】
ステップST112bにおいて、制御部1100は、加工手段選定テーブル1110b(図30)を参照し、ステップST105aで受信したユースケース情報とステップST112aで特定した加工手段ポインタ情報とに対応付けられている加工手段を特定する。【０１６７】
以上のように第7の実施形態では、システム負荷情報(ユースケース情報)と音響処理負荷条件(再生指示情報，デコード情報)から加工手段を特定するため、音響再生装置1000が他の処理装置とあわせて1つのプロセッサ(システム)で実現される場合においても、第1の実施形態で説明したのと同様の効果が得られる。【０１６８】
(第8の実施形態)
第8の実施形態による音響再生装置は、第7の実施形態による音響再生装置の変形例でありその構成は同様である。ただし本実施形態では、制御部1100は、内部に音響処理負荷条件判定テーブル1110cとユースケース情報変換テーブル1110dとポインタ情報変換テーブル1110eとを有しており、デコード情報と再生指示情報とユースケース情報から、これらのテーブル1110c,1110d,1110eを参照し、付加音声生成部1510における付加音声PCM信号の加工手段を決定する。【０１６９】
図33は、音響処理負荷条件判定テーブル1110c，ユースケース情報変換テーブル1110d，ポインタ情報変換テーブル1110eの内容を示したものである。音響処理負荷条件判定テーブル1110cには、デコード情報と再生指示情報との組み合わせと差分ポインタ値とが対応付けられている。また、ユースケース情報変換テーブル1110dには、ユースケース情報と差分ポインタ値とが対応付けられている。ポインタ情報変換テーブル1110eにはトータルポインタ値と加工手段とが対応付けられている。【０１７０】
本実施形態による音響再生装置が実行する処理の流れは図31〜図32のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST112a,ST112b(図32)に代えてステップST112c,ST112d,ST112e,ST112f(図34)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。【０１７１】
ステップST112cにおいて、制御部1100は、音響処理負荷条件判定テーブル1110c(図33)を参照し、ステップST105aで受信した再生指示情報とデコード情報に対応付けられている差分ポインタ値を特定する。【０１７２】
ステップST112dにおいて、制御部1100は、ユースケース情報変換テーブル1110d(図33)を参照し、ステップST105aで受信したユースケース情報に対応付けられている差分ポインタ値を特定する。【０１７３】
ステップST112eにおいて、制御部1100は、ステップST112cで特定した差分ポインタ値とステップST112dで特定した差分ポインタ値とを加算しトータルポインタ値を算出する。【０１７４】
ステップST112fにおいて、制御部1100は、ポインタ情報変換テーブル1110e(図33)を参照し、ステップST112eで算出したトータルポインタ値に対応付けられている加工手段を特定する。【０１７５】
(第9の実施形態)
第9の実施形態による音響再生装置は、第2の実施形態の音響再生装置2000(図5)が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定しておりその構成は同様である。【０１７６】
ただし本実施形態では、制御部1100は、外部から再生指示情報およびユースケース情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。制御部1100は、内部に音響処理負荷条件判定テーブル1110cとユースケース情報変換テーブル1110dとポインタ情報変換テーブル1110eとを有しており、デコード情報と再生指示情報とユースケース情報から、これらのテーブル1110c,1110d,1110eを参照して、付加音声加算部1500において付加音声生成部1510から加算器1520に与えられる付加音声PCM信号の音源として外部入力付加音声データ，もしくは，内部実装付加音声データのいずれを使用するかを決定する。【０１７７】
図35は、音響処理負荷条件判定テーブル1110c，ユースケース情報変換テーブル1110d，ポインタ情報変換テーブル1110eの内容を示したものである。音響処理負荷条件判定テーブル1110cには、デコード情報と再生指示情報との組み合わせと差分ポインタ値とが対応付けられている。また、ユースケース情報変換テーブル1110dには、ユースケース情報と差分ポインタ値とが対応付けられている。ポインタ情報変換テーブル1110eにはトータルポインタ値と外部音声生成条件(外部入力，内部実装)とが対応付けられている。【０１７８】
本実施形態による音響再生装置が実行する処理の流れは図6〜図8のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST205(図6)に代えてステップST105a(図31)を実行し、ステップST212(図7)に代えてステップST212c,ST212d,ST212e,ST212f(図34)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。【０１７９】
ステップST105aにおける処理は上記第7の実施形態と同様である。【０１８０】
ステップST212cにおいて、制御部1100は、音響処理負荷条件判定テーブル1110c(図35)を参照し、ステップST105aで受信した再生指示情報とデコード情報に対応付けられている差分ポインタ値を特定する。【０１８１】
ステップST212dにおいて、制御部1100は、ユースケース情報変換テーブル1110d(図35)を参照し、ステップST105aで受信したユースケース情報に対応付けられている差分ポインタ値を特定する。【０１８２】
ステップST212eにおいて、制御部1100は、ステップST212cで特定した差分ポインタ値とステップST212dで特定した差分ポインタ値とを加算しトータルポインタ値を算出する。【０１８３】
ステップST212fにおいて、制御部1100は、ポインタ情報変換テーブル1110e(図35)を参照し、ステップST212eで算出したトータルポインタ値に対応付けられている外部音声生成条件(外部入力，内部実装)を特定する。【０１８４】
(第10の実施形態)
第10の実施形態による音響再生装置は、第5の実施形態の音響再生装置5000(図19)が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定しておりその構成は同様である。【０１８５】
ただし本実施形態では、制御部1100は、内部にデコード処理負荷条件変換テーブル1140aとユースケース情報変換テーブル1140bと音響処理負荷条件判定テーブル1140cを有している。制御部1100は、デコード情報と再生指示情報とユースケース情報から、これらのテーブル1140a,1140b,1140cを参照し、音響処理部1400に対する音響処理条件の指示(通常の処理，処理の一部を省く，簡易再生)を決定する。【０１８６】
図37は、デコード処理負荷条件変換テーブル1140a，ユースケース情報変換テーブル1140b，音響処理負荷条件判定テーブル1140cの内容を示したものである。デコード処理負荷条件変換テーブル1140aには、デコード情報とポインタ値とが対応付けられている。ユースケース情報変換テーブル1140bには、ユースケース情報と差分ポインタ値とが対応付けられている。音響処理負荷条件判定テーブル1140cには、トータルポインタ値と再生指示情報との組み合わせと音響処理条件(なし，通常版，間引き，簡易版)とが対応付けられている。【０１８７】
本実施形態による音響再生装置が実行する処理の流れは図20〜図21のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST505(図20)に代えてステップST505a(図38)を実行し、ステップST506(図20)に代えてステップST506a,ST506b,ST506c,ST506d(図38)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。【０１８８】
ステップST505aにおいて、制御部1100は、外部から再生指示情報に加えてユースケース情報も受信し、デコード部1200からデコード情報を受信する。【０１８９】
ステップST506aにおいて、制御部1100は、デコード処理負荷条件変換テーブル1140a(図37)を参照し、ステップST505aで受信したデコード情報に対応付けられているポインタ値を特定する。【０１９０】
ステップST506bにおいて、制御部1100は、ユースケース情報変換テーブル1140b(図37)を参照し、ステップST505aで受信したユースケース情報に対応付けられている差分ポインタ値を特定する。【０１９１】
ステップST506cにおいて、制御部1100は、ステップST506aで特定したポインタ値とステップST506bで特定した差分ポインタ値とを加算しトータルポインタ値を算出する。【０１９２】
ステップST506dにおいて、制御部1100は、音響処理負荷条件判定テーブル1140c(図37)を参照し、ステップST506cで算出したトータルポインタ値とステップST505aで受信した再生指示情報とに対応付けられている音響処理条件を特定する。【０１９３】
(第11の実施形態)
第11の実施形態による音響再生装置は、第6の実施形態の音響再生装置6000(図23)が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定しておりその構成は同様である。【０１９４】
ただし本実施形態では、制御部1100は、内部にデコード処理負荷条件変換テーブル1150aとユースケース情報変換テーブル1150bと処理フロー判定テーブル1150cを有している。制御部1100は、デコード情報と再生指示情報とユースケース情報から、これらのテーブル1150a,1150b,1150cを参照し、サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500における処理順序を決定する。【０１９５】
図39は、デコード処理負荷条件変換テーブル1150a，ユースケース情報変換テーブル1150b，処理フロー判定テーブル1150cの内容を示したものである。デコード処理負荷条件変換テーブル1150aには、デコード情報とポインタ値とが対応付けられている。ユースケース情報変換テーブル1150bには、ユースケース情報と差分ポインタ値とが対応付けられている。処理フロー判定テーブル1150cには、トータルポインタ値と再生指示情報との組み合わせと処理順序とが対応付けられている。【０１９６】
本実施形態による音響再生装置が実行する処理の流れは図24〜図26のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST605(図24)に代えてステップST605a(図40)を実行し、ステップST606(図24)に代えてステップST606a,ST606b,ST606c,ST606d(図40)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。【０１９７】
ステップST605aにおいて、制御部1100は、外部から再生指示情報に加えてユースケース情報も受信し、デコード部1200からデコード情報を受信する。【０１９８】
ステップST606aにおいて、制御部1100は、デコード処理負荷条件変換テーブル1150a(図39)を参照し、ステップST605aで受信したデコード情報に対応付けられているポインタ値を特定する。【０１９９】
ステップST606bにおいて、制御部1100は、ユースケース情報変換テーブル1150b(図39)を参照し、ステップST605aで受信したユースケース情報に対応付けられている差分ポインタ値を特定する。【０２００】
ステップST606cにおいて、制御部1100は、ステップST606aで特定したポインタ値とステップST606bで特定した差分ポインタ値とを加算しトータルポインタ値を算出する。【０２０１】
ステップST606dにおいて、制御部1100は、処理フロー判定テーブル1150c(図39)を参照し、ステップST606cで算出したトータルポインタ値とステップST605aで受信した再生指示情報とに対応付けられている処理フローを特定する。
【産業上の利用可能性】
【０２０２】
本発明によれば、デコード処理や再生条件によって処理負荷が増大する場合でも、内部で自動的に処理負荷軽減が図れるため、さまざまなビットストリームのデコード条件、音響処理の再生条件ごとに発生する処理能力の制限・音質劣化を最小限に抑え、できるだけ容易に最適な状態で付加音声とのミキシング処理を実現することが可能となる。
【図１】
2009093421.tif 000003
【図２】
2009093421.tif 000004
【図３】
2009093421.tif 000005
【図４】
2009093421.tif 000006
【図５】
2009093421.tif 000007
【図６】
2009093421.tif 000008
【図７】
2009093421.tif 000009
【図８】
2009093421.tif 000010
【図９】
2009093421.tif 000011
【図１０】
2009093421.tif 000012
【図１１】
2009093421.tif 000013
【図１２】
2009093421.tif 000014
【図１３】
2009093421.tif 000015
【図１４】
2009093421.tif 000016
【図１５】
2009093421.tif 000017
【図１６】
2009093421.tif 000018
【図１７】
2009093421.tif 000019
【図１８】
2009093421.tif 000020
【図１９】
2009093421.tif 000021
【図２０】
2009093421.tif 000022
【図２１】
2009093421.tif 000023
【図２２】
2009093421.tif 000024
【図２３】
2009093421.tif 000025
【図２４】
2009093421.tif 000026
【図２５】
2009093421.tif 000027
【図２６】
2009093421.tif 000028
【図２７】
2009093421.tif 000029
【図２８】
2009093421.tif 000030
【図２９】
2009093421.tif 000031
【図３０】
2009093421.tif 000032
【図３１】
2009093421.tif 000033
【図３２】
2009093421.tif 000034
【図３３】
2009093421.tif 000035
【図３４】
2009093421.tif 000036
【図３５】
2009093421.tif 000037
【図３６】
2009093421.tif 000038
【図３７】
2009093421.tif 000039
【図３８】
2009093421.tif 000040
【図３９】
2009093421.tif 000041
【図４０】
2009093421.tif 000042
【図４１】
2009093421.tif 000043
【図４２】
2009093421.tif 000044
【図４３】
2009093421.tif 000045
【手続補正書】
【提出日】平成22年3月30日(2010.3.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタル信号処理技術に関し、特に、外部より入力される音声信号ビットストリームをデコードして復号PCM信号を生成し、更に外部から入力される付加音声データを加工して上記復号PCM信号と加算し外部へ出力する音響再生装置に関する。
【背景技術】
【０００２】
近年、ディジタルテレビや光ディスク装置など各種ディジタルメディア再生機器の普及と技術進歩により、ディジタル処理を伴うメディア再生機器にさまざまな機能が搭載されてきている。そうした背景の中のひとつの機能として、たとえばディジタルテレビ本放送音声やディスク再生音声にガイド音声や警告音などの外部音声をミックスして出力する機能が搭載されるようになってきている。更にこうした外部音声のミックス処理を同一機器の上で、とりわけシステムLSIなど半導体デバイスで機能を実現する場合、機能拡張に伴うコストアップ要因を最低限に抑えるため、ビットストリームの復号再生処理、再生音の音響処理、さらに外部音声とのミキシング処理までを同時に実現することが要求されてきている。
【０００３】
こうした要求にこたえるための音響再生装置は例えば図41に示されるような構成により実現される。
【０００４】
図41に示される音響再生装置7000は、制御部1100，デコード部1200，サンプリング周波数変換部1300，音響処理部1400，付加音声加算部1500を備えている。付加音声加算部1500は内部に付加音声生成部1510と加算器1520とを備えている。
【０００５】
音響処理部1400内部に搭載される機能としては、例えばオーバーサンプリング処理を伴う高音質化処理，スピーカセッティングのための音質調整機能，チャンネル拡張処理，音量処理などが含まれ、それらの処理の実施については外部から制御部1100を通じて指示される。
【０００６】
音響再生装置7000による再生処理は図42〜図43に示されるフローチャートに従って行われる。
【０００７】
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST701,ST702)、さらに、オーディオビットストリームを復号する際に取得されるデコーダタイプ情報，サンプリング周波数情報，チャンネル構成情報などを含むデコード情報を制御部1100へ出力する(ST703)。
【０００８】
制御部1100は、外部から再生指示情報，デコード部1200からデコード情報を受信し(ST705)、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定する(ST706,ST707)。たとえば、外部から入手する再生指示情報の中には、音響処理部1400内部に搭載されるオーバーサンプリング処理を伴う高音質化処理をはじめとする音響処理の指示が含まれる。ここではオーバーサンプリング処理を伴う高音質化処理が指示された場合を例に説明する。この場合、音響再生装置7000から出力されるPCM出力信号のサンプリング周波数は、外部から入手する再生指示情報の中にオーバーサンプリング処理を伴う高音質化処理の指示が含まれているため、復号PCM信号のサンプリング周波数とは異なり、オーバーサンプリング処理後のサンプリング周波数となる。たとえば、復号PCM信号が48kHz、高音質化処理のためのサンプリング周波数が96kHzである場合、PCM出力信号のサンプリング周波数は96kHzとなる。
【０００９】
その場合、制御部1100はサンプリング周波数の変換を実施すると判断するため(ST707でNo)、サンプリング周波数変換部1300に対して、復号PCM信号のオーバーサンプリング処理を指示し(ST708)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST709)。
【００１０】
次に音響処理部1400では制御部1100より再生指示情報を受信し(ST710)、指示に従い復号PCM信号に対して音響処理を実施する(ST711)。ここでの再生指示情報では高音質化処理が含まれているので音響処理の中には高音質化処理が含まれている。
【００１１】
次に制御部1100は、付加音声加算部1500に対して、出力PCM信号のサンプリング周波数情報の送信，付加音声PCM信号の生成，付加音声PCM信号と音響処理後の復号PCM信号との加算処理，を指示する(ST712)。
【００１２】
付加音声加算部1500ではまず、外部から付加音声データを入力し(ST713)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST714)。その際の付加音声PCM信号のサンプリング周波数は音響処理後の復号PCM信号と同一である必要があるため、付加音声PCM信号生成の際にサンプリング周波数を96kHzにするオーバーサンプリング処理が含まれることとなる。更に、付加音声生成部1510にて生成された付加音声PCM信号と音響処理部1400で音響処理が施された復号PCM信号とが加算器1520により加算され(ST715)、出力PCM信号として外部に出力される(ST716)。
【００１３】
以上のような一連の処理を施すことで、オーディオビットストリームから得られる復号PCM信号と外部から入力される付加音声データとのミックス処理は実現される。
【００１４】
尚、本従来例の類似技術として[特許文献1]が挙げられる。[特許文献1]はサンプリング周波数が異なる複数のデジタル音声データをミックスする処理に関するもので、デジタル信号のままミックス処理を実現することを目的としている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開平11-213558号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
上記のような音響再生装置を実現する場合、オーディオビットストリームのデコード処理，必要に応じてオーバーサンプリング処理を伴う高音質化処理，スピーカセッティングのための音質調整機能，チャンネル拡張処理，音量処理などさまざまな音響処理，更には外部から入力される付加音声データの変換処理や加算処理などが含まれることとなる。
【００１７】
しかしながらこうした処理を実施する場合、デコードするストリームの属性や要求される音響処理機能、更には付加音声データの加工処理などが含まれるため、同一のデバイスで上記処理を実現する場合、ストリームの属性や再生条件によって必要となる処理能力が異なってくる。とりわけ、たとえばビットストリームの属性や高音質化処理の再生の要求によって再生PCMのサンプリング周波数が高くなる場合、それに伴い外部音声の加工処理にかかる処理量が増大し音響再生装置全体の処理量が破綻をきたす可能性がある。
【００１８】
また、それを回避するために再生PCMのサンプリング周波数を下げる必要があるが、その場合、デコードされたPCMの音質劣化や外部から要求される高音質化処理の実現ができなくなる可能性がある。
【００１９】
本発明の目的は、さまざまなビットストリームのデコード条件、音響処理の再生条件ごとに発生する処理能力の制限・音質劣化を抑え、できるだけ容易に最適な状態で付加音声とのミキシング処理を実現することである。
【課題を解決するための手段】
【００２０】
本発明による第1の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、外部から入力される付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記付加音声加算部は、前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記付加音声生成部は、加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、前記制御部は、前記再生指示情報および前記デコード情報に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、前記付加音声生成部は、前記制御部によって特定された加工手段により前記付加音声データを加工する、
ことを特徴とする。
【００２１】
本発明による第2の音響再生装置は、第1の音響再生装置において、前記制御部から伝送される再生指示に応じて前記復号PCM信号に対してサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備えることを特徴とする。
【００２２】
本発明による第3の音響再生装置は、第1または第2の音響再生装置において、前記制御部から伝送される再生指示に応じて前記復号PCM信号に対して音響処理を実施する音響処理部をさらに備えることを特徴とする。
【００２３】
本発明による第4の音響再生装置は、第1〜3の音響再生装置のいずれか1つにおいて、前記制御部は、前記デコード情報と前記再生指示情報との組み合わせと前記複数の加工手段のいずれかとが対応付けられた外部音声生成条件判定テーブルを備えることを特徴とする。
【００２４】
第1〜4の音響再生装置によれば、再生ビットストリームの属性や高音質化処理の再生要求,あるいは,再生PCMのサンプリング周波数が高くなる場合でも、再生条件にともなう外部音声の加工処理にかかる処理負荷を最小限に抑えることが可能となるので、音響再生装置全体の処理量の破綻を防ぐことがその分容易となる。更に付加音声生成における音声加工手段の負荷を調整するだけなので出力PCM信号のサンプリング周波数を下げる必要もないのでデコード部によりデコードされたPCMの音質劣化の抑制や外部から要求される高音質化処理の実現は可能である。
【００２５】
本発明による第5の音響再生装置は、第1〜3の音響再生装置のいずれか1つにおいて、前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、前記制御部は、外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、前記複数の加工手段のうちのいずれか１つを特定することを特徴とする。
【００２６】
本発明による第6の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、前記デコード部で生成した復号PCM信号に対して音響処理を施す音響処理部と、外部から入力される付加音声データを加工し、前記音響処理部により音響処理が施された復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記付加音声加算部は、外部から入力される付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記制御部は、前記再生指示情報および前記デコード情報に基づいて、処理負荷を特定し、その処理負荷に応じて前記音響処理部における音響処理条件を特定し、前記音響処理部は、前記制御部によって特定された音響処理条件により前記復号PCM信号に対する音響処理を実施することを特徴とする。
【００２７】
本発明による第7の音響再生装置は、第6の音響再生装置において、前記制御部は、前記デコード情報と前記再生指示情報との組み合わせと音響処理条件とが対応付けられた音響処理条件判定テーブルを備えることを特徴とする。
【００２８】
本発明による第8の音響再生装置は、第6または第7の音響再生装置において、前記デコード部で生成した復号PCM信号に対して、前記制御部から伝送される再生指示に応じてサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備えることを特徴とする。
【００２９】
第6〜8の音響再生装置によれば、再生ビットストリームの属性や高音質化処理の再生要求、あるいは再生PCMのサンプリング周波数が高くなる場合でも、音響処理部に対して処理の一部を省く、もしくは簡易再生に切り替えることで、その分音響再生装置全体の処理量の破綻を防ぐことが容易となる。この場合、音響処理部に対して処理の一部を省く、もしくは簡易再生に切り替えられるために、再生条件によっては要求される音響処理が十分満たされない場合もあるが、限定された処理量に対して優先度の高い処理を有効に実施することが可能である。
【００３０】
本発明による第9の音響再生装置は、第6の音響再生装置において、前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、前記制御部は、外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、処理負荷を特定し、その処理負荷に応じて前記音響処理部における音響処理条件を特定することを特徴とする。
【００３１】
本発明による第10の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、前記デコード部で生成した復号PCM信号に対して、前記制御部から伝送される再生指示に応じてサンプリング周波数変換処理を実施するサンプリング周波数変換部と、前記デコード部もしくは前記サンプリング周波数変換部より出力される復号PCM信号に対して、前記制御部から伝送される再生指示に応じて音響処理を実施する音響処理部と、外部から入力される付加音声データを加工し、前記デコード部もしくは前記音響処理部より出力される復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記付加音声加算部は、外部から入力される付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記制御部は、前記再生指示情報および前記デコード情報に基づいて、処理負荷を特定し、その処理負荷に応じて、前記サンプリング周波数変換部によるサンプリング周波数変換処理と、前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序を決定することを特徴とする。
【００３２】
本発明による第11の音響再生装置は、第10の音響再生装置において、前記制御部は、前記デコード情報と前記再生指示情報との組み合わせと,前記サンプリング周波数変換部によるサンプリング周波数変換処理と前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序と,が対応付けられた処理フロー判定テーブルを備えることを特徴とする。
【００３３】
第10〜11の音響再生装置によれば、サンプリング周波数変換処理,付加音声データの加工処理,加算処理の処理順序を処理負荷に応じて決定するので、たとえば、処理負荷が大きい場合に付加音声データの加工処理,加算処理をサンプリング周波数変換処理より前段で実施するように設定することで、付加音声データの加工処理で発生するサンプリング周波数変換の処理負荷を削減することが可能となるのでその分、音響再生装置全体の処理量の破綻を防ぐことが容易となる。この場合、音響処理が付加音声ミックス処理後に実施されるため、付加音声に対しても音響処理が施されることになってしまうが、出力PCM信号のサンプリング周波数を下げる必要もないのでデコード部によりデコードされたPCMの音質劣化の抑制や外部から要求される高音質化処理の実現は可能となる。
【００３４】
本発明による第12の音響再生装置は、第10の音響再生装置において、前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、前記制御部は、外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、処理負荷を特定し、その処理負荷に応じて、前記サンプリング周波数変換部によるサンプリング周波数変換処理と、前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序を決定することを特徴とする。
【００３５】
本発明による第13の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、前記音響再生装置内部に実装される付加音声データ(内部実装付加音声データ)を格納する内部実装付加音声データバッファと、外部から入力される付加音声データ(外部入力付加音声データ),もしくは,前記内部実装付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記制御部は、前記再生指示情報および前記デコード情報に基づいて、前記外部入力付加音声データ,もしくは,前記内部実装付加音声データを特定し、前記付加音声加算部は、前記外部入力付加音声データおよび前記内部実装付加音声データのうち前記制御部により特定されたほうの付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備えることを特徴とする。
【００３６】
本発明による第14の音響再生装置は、第13の音響再生装置において、前記制御部から伝送される再生指示に応じて前記復号PCM信号に対してサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備えることを特徴とする。
【００３７】
本発明による第15の音響再生装置は、第13または第14の音響再生装置において、前記制御部から伝送される再生指示に応じて前記復号PCM信号に対して音響処理を実施する音響処理部をさらに備えることを特徴とする。
【００３８】
本発明による第16の音響再生装置は、第13〜15の音響再生装置のいずれか1つにおいて、前記制御部は、前記デコード情報と前記再生指示情報との組み合わせと,前記外部入力付加音声データまたは前記内部実装付加音声データを示す情報と,が対応付けられた外部音声生成条件判定テーブルを備えることを特徴とする。
【００３９】
第13〜16の音響再生装置によれば、再生ビットストリームの属性や高音質化処理の再生要求、あるいは再生PCMのサンプリング周波数が高くなる場合でも、たとえば内部実装付加音声データバッファに再生に必要な全サンプリング周波数に対応した付加音声データを備えることで、処理負荷が大きい場合に内部実装の付加音声データを用い、付加音声データから付加音声PCM信号生成の際のサンプリング周波数変換処理を省略することが可能となるのでその分、再生条件にともなう外部音声の加工処理にかかる処理負荷を最小限に抑えることが可能となるため、音響再生装置全体の処理量の破綻を防ぐことがその分容易となる。この場合、内部実装付加音声データを用いるために、付加音声データの音源の種類は限定されるが、出力PCM信号のサンプリング周波数を下げる必要もないのでデコード部によりデコードされたPCMの音質劣化の抑制や外部から要求される高音質化処理の実現は可能となる。
【００４０】
本発明による第17の音響再生装置は、第13〜15の音響再生装置のいずれか1つにおいて、前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、前記制御部は、外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、前記外部入力付加音声データ,もしくは,前記内部実装付加音声データを特定することを特徴とする。
【００４１】
本発明による第18の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、外部から入力される付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、前記付加音声加算部より出力されるPCM出力信号を蓄積するPCM出力バッファとを備え、前記付加音声加算部は、前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記付加音声生成部は、加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、前記制御部は、前記PCM出力バッファの出力PCM信号の残量を監視するPCM出力バッファ残量モニタ手段を備え、前記PCM出力バッファの出力PCM信号の残量状態に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、前記付加音声生成部は、前記制御部によって特定された加工手段により前記付加音声データを加工することを特徴とする。
【００４２】
第18の音響再生装置によれば、PCM出力バッファ残量を監視し残量状態に応じて、たとえばPCM出力バッファがアンダーフロー気味の場合に処理量負荷が大きいと判断し、付加音声生成方法を切り替えることが可能となるため、その分音響再生装置全体の処理負荷を容易に調整することが可能となる。
【００４３】
本発明による第19の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、外部より入力される付加音声データを蓄積する付加音声データ入力バッファと、前記付加音声データ入力バッファに蓄積された付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記付加音声加算部は、前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記付加音声生成部は、加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、前記制御部は、前記付加音声データ入力バッファの付加音声データの残量を監視する付加音声データ入力バッファ残量モニタ手段を備え、前記付加音声データ入力バッファの付加音声データの残量状態に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、前記付加音声生成部は、前記制御部によって特定された加工手段により前記付加音声データを加工することを特徴とする。
【００４４】
第19の音響再生装置によれば、付加音声データ入力バッファ残量を監視し残量状態に応じて、たとえば付加音声データ入力バッファがオーバーフロー気味の場合に処理量負荷が大きいと判断し、付加音声生成方法を切り替えることが可能となるため、その分音響再生装置全体の処理負荷を容易に調整することが可能となる。
【発明の効果】
【００４５】
本発明の音響再生装置によれば、デコード処理や再生条件によって処理負荷が増大する場合でも、内部で自動的に処理負荷軽減が図れるため、さまざまなビットストリームのデコード条件、音響処理の再生条件ごとに発生する処理能力の制限・音質劣化を抑え、できるだけ容易に最適な状態で付加音声とのミキシング処理を実現することが可能となる。
【図面の簡単な説明】
【００４６】
【図１】第1の実施形態による音響再生装置の構成を示すブロック図である。
【図２】第1の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図３】第1の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図４】外部音声生成条件判定テーブルの例である。
【図５】第2の実施形態による音響再生装置の構成を示すブロック図である。
【図６】第2の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図７】第2の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図８】第2の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図９】外部音声生成条件判定テーブルの例である。
【図１０】第3の実施形態による音響再生装置の構成を示すブロック図である。
【図１１】第3の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図１２】第3の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図１３】第3の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図１４】外部音声生成条件判定テーブルの例である。
【図１５】第4の実施形態による音響再生装置の構成を示すブロック図である。
【図１６】第4の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図１７】第4の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図１８】外部音声生成条件判定テーブルの例である。
【図１９】第5の実施形態による音響再生装置の構成を示すブロック図である。
【図２０】第5の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図２１】第5の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図２２】音響処理条件判定テーブルの例である。
【図２３】第6の実施形態による音響再生装置の構成を示すブロック図である。
【図２４】第6の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図２５】第6の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図２６】第6の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図２７】外部音声生成条件判定テーブルの例である。
【図２８】第7の実施形態による音響再生装置の構成を示すブロック図である。
【図２９】音響処理負荷条件判定テーブルの例である。
【図３０】加工手段選定テーブルの例である。
【図３１】第7の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図３２】第7の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図３３】第8の実施形態による音響処理負荷条件判定テーブル,ユースケース情報変換テーブル,ポインタ情報変換テーブルの例である。
【図３４】第8の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図３５】第9の実施形態による音響処理負荷条件判定テーブル,ユースケース情報変換テーブル,ポインタ情報変換テーブルの例である。
【図３６】第9の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図３７】第10の実施形態によるデコード処理負荷条件変換テーブル,ユースケース情報変換テーブル,音響処理負荷条件判定テーブルの例である。
【図３８】第10の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図３９】第11の実施形態によるデコード処理負荷条件変換テーブル,ユースケース情報変換テーブル,処理フロー判定テーブルの例である。
【図４０】第11の実施形態による音響再生装置の処理手順を示すフローチャートである。
【図４１】従来の音響再生装置の構成例を示すブロック図である。
【図４２】従来の音響再生装置の処理手順を示すフローチャートである。
【図４３】従来の音響再生装置の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００４７】
以下、好ましい実施形態について図面を参照しながら説明する。なお、実質的に同一の機能を有する構成要素については、図面において同じ参照符号を付け、その説明を省略する場合がある。
【００４８】
(第1の実施形態)
第1の実施形態による音響再生装置の構成を図1に示す。この音響再生装置1000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500を備えている。
【００４９】
デコード部1200は、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し出力する。デコード部1200は、オーディオビットストリームを復号する際に、デコード情報としてデコーダタイプ情報，サンプリング周波数情報，チャンネル構成情報を制御部1100へ出力する。
【００５０】
制御部1100は、外部から再生指示情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。制御部1100は、内部に外部音声生成条件判定テーブル1110を有しており、デコード情報と再生指示情報から、外部音声生成条件判定テーブル1110を参照し、付加音声生成部1510における付加音声PCM信号の加工手段を決定する。
【００５１】
サンプリング周波数変換部1300は、制御部1100の指示に従い必要に応じて、デコード部1200から出力される復号PCM信号に対してサンプリング周波数の変換処理を実施する。
【００５２】
音響処理部1400は、制御部1100より再生指示情報を受信し、この指示に従い復号PCM信号に対して音響処理を実施する。音響処理部1400内部に搭載される機能としては、例えばオーバーサンプリング処理を伴う高音質化処理や、スピーカセッティングのための音質調整機能、チャンネル拡張処理、音量処理などが含まれ、それらの処理の実施については制御部1100により指示される。
【００５３】
付加音声加算部1500は、付加音声生成部1510と加算器1520とを備えている。付加音声生成部1510は、外部から入力される付加音声データを受信し、受信した付加音声データを復号PCM信号と加算ができるよう加工して付加音声PCM信号を生成する。付加音声生成部1510は、付加音声PCM信号を生成するための2種類の加工手段1511,1512を備える。加工手段1(1511)は、演算処理負荷が大きいが加工結果の音響特性に優れることを特徴とする。加工手段2(1512)は、加工結果の音響特性は加工手段1より劣るが演算処理負荷が加工手段1より小さいことを特徴とする。この2種類の加工手段1511,1512は制御部1100からの指示により使い分けられる。加算器1520は、付加音声生成部1510で生成された付加音声PCM信号と復号PCM信号とを加算する。なお、ここでは説明を簡単にするため、付加音声生成部1510が備える加工手段を2種類としているが、加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じて3種類以上の加工手段を付加音声生成部1510に設けてもよい。これは他の実施形態においても同様である。
【００５４】
図4は、外部音声生成条件判定テーブル1110の内容を示したものである。外部音声生成条件判定テーブル1110は、付加音声生成部1510における付加音声PCM信号の加工手段を特定するための指示をデコード情報と再生指示情報とから判定するためのテーブルである。外部音声生成条件判定テーブル1110には、デコード情報と再生指示情報との組み合わせと加工手段とが対応付けられている。図4の外部音声生成条件判定テーブル1110では、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3，AAC，リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3，AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネルもしくはマルチチャンネルの2種類が設定されている。また、図4の外部音声生成条件判定テーブル1110では、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。そして、図4の外部音声生成条件判定テーブル1110では、これらの各デコード情報と各再生指示情報との組み合わせに対して加工手段1または加工手段2が対応付けられている。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。
【００５５】
次に、以上のように構成された音響再生装置1000の動作について図2〜図3のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)
・デコード情報…デコーダタイプ:AC3,サンプリング周波数:48kHz,チャンネル構成:2チャンネル(AC3,FS＝48kHz,2チャンネル)
・再生指示情報…機能Aと機能Bのうち機能Aのみの実施(機能A)
(ケース2)
・デコード情報…デコーダタイプ:AAC,サンプリング周波数:48kHz,チャンネル構成:マルチチャンネル(AAC,FS＝48kHz,マルチチャンネル)
・再生指示情報…機能Aと機能Bの両方を実施(機能A＋機能B)
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し(ST101,ST102)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST103)。
【００５６】
制御部1100は、外部から再生指示情報として機能A実施の指示を受信し、デコード部1200からデコード情報を受信する(ST105)。ここでは、デコード情報として、デコーダタイプ(AC3)，サンプリング周波数(48kHz)，チャンネル構成(2チャンネル)の情報を取得する。ここでは機能Bの実施が指示されていないため復号PCM信号に対してのサンプリング周波数変換処理は不要と判断される(ST107でYes)。
【００５７】
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST107でYes)、サンプリング周波数変換部1300では復号PCM信号のサンプリング周波数変換処理(ST108,ST109)を実施する必要がない。
【００５８】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST110)、この指示に従い復号PCM信号に対して機能Aに対応する音響処理を実施する(ST111)。ここでの再生指示情報では機能Bに対応する高音質化処理が含まれていない。
【００５９】
制御部1100は、外部音声生成条件判定テーブル1110(図4)を参照して外部音声生成条件を特定する(ST112)。ここでは、デコード情報(AC3,FS＝48kHz,2チャンネル)および再生指示情報(機能A)から、演算処理負荷が大きいが加工結果の音響特性に優れる加工手段1(1511)が特定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST113)。
【００６０】
付加音声加算部1500では、外部から付加音声データを入力し(ST114)、付加音声生成部1510にて付加音声PCM信号を生成する(ST115)。その際、制御部1100からは付加音声PCM信号生成の際に用いる加工手段として加工手段1(1511)が指定される。加工手段1(1511)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST116)、PCM出力信号として外部に出力される(ST117)。
【００６１】
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し(ST101,ST102)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST103)。
【００６２】
制御部1100は、外部から再生指示情報として機能Aおよび機能B実施の指示を受信し、デコード部1200からデコード情報を受信する(ST105)。ここでは、デコード情報として、デコーダタイプ(AAC)，サンプリング周波数(48kHz)，チャンネル構成(マルチチャンネル)の情報を取得する。ここではサンプリング周波数が48kHzであること，機能Bの実施が指示されていることから、復号PCM信号に対してサンプリング周波数変換処理が必要と判断される(ST107でNo)。
【００６３】
制御部1100では、サンプリング周波数の変換が必要と判断されるので(ST107でNo)、サンプリング周波数変換部1300に対して、復号PCM信号のオーバーサンプリング処理を指示し(ST108)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST109)。
【００６４】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST110)、この指示に従い復号PCM信号に対して機能Aおよび機能Bに対応する音響処理を実施する(ST111)。
【００６５】
制御部1100は、外部音声生成条件判定テーブル1110(図4)を参照して外部音声生成条件を特定する(ST112)。ここでは、デコード情報(AAC,FS＝48kHz,マルチチャンネル)および再生指示情報(機能A＋機能B)から、加工結果の音響特性は加工手段1(1511)より劣るが演算処理負荷が加工手段1(1511)より小さい加工手段2(1512)が特定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST113)。
【００６６】
付加音声加算部1500では、外部から付加音声データを入力し(ST114)、付加音声生成部1510にて付加音声PCM信号を生成する(ST115)。その際、制御部1100からは付加音声PCM信号生成の際に用いる加工手段として加工手段2(1512)が指定される。ここでは、デコード情報のサンプリング周波数は48kHzであるが、機能Bの処理が実施されているため、復号PCM信号のサンプリング周波数は96kHzである。このため、付加音声PCM信号のサンプリング周波数も96kHzにする必要があり、その分処理負荷が大きくなるが、加工手段2(1512)を用いることで処理負荷がおさえられる。付加音声生成部1510にて加工手段2(1512)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST116)、PCM出力信号として外部に出力される(ST117)。
【００６７】
以上のように第1の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら付加音声加算部1500で使用する加工手段として加工手段2(1512)が指定されるため、付加音声PCM信号の生成に対する処理負荷が抑えられ、その分、音響再生装置1000全体にかかる処理負荷が軽減される。
【００６８】
(第2の実施形態)
第2の実施形態による音響再生装置の構成を図5に示す。この音響再生装置2000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500,内部実装付加音声データバッファ1600を備えている。
【００６９】
内部実装負荷音声データバッファ1600は、音響再生装置2000内部に実装される付加音声データを格納するバッファであり、再生に必要な各サンプリング周波数に対応した付加音声データを格納している。
【００７０】
制御部1100は、デコード情報と再生指示情報に基づいて外部音声生成条件判定テーブル1110を参照して、付加音声加算部1500において付加音声生成部1510から加算器1520に与えられる付加音声PCM信号の音源として外部入力付加音声データ，もしくは，内部実装付加音声データのいずれを使用するかを決定する。
【００７１】
付加音声加算部1500は、付加音声切替スイッチ1530と付加音声生成部1510と加算器1520とを備えている。付加音声切替スイッチ1530は、制御部1100からの指示に従い、外部から入力される外部入力付加音声データ,もしくは,内部実装負荷音声データバッファ1600に格納されている付加音声データのいずれかを選択する。付加音声生成部1510は、付加音声切替スイッチ1530で選択された付加音声データを復号PCM信号と加算できるように加工して付加音声PCM信号を生成する。加算器1520は、付加音声生成部1510で生成された付加音声PCM信号と復号PCM信号とを加算する。
【００７２】
図9は、外部音声生成条件判定テーブル1110の内容を示したものである。外部音声生成条件判定テーブル1110は、外部から入力される付加音声データ，内部実装負荷音声データバッファ1600に格納されている付加音声データのいずれを付加音声切替スイッチ1530において選択すべきかの指示をデコード情報と再生指示情報とから判定するためのテーブルである。外部音声生成条件判定テーブル1110には、デコード情報と再生指示情報との組み合わせと選択すべき付加音声データを示す情報とが対応付けられている。図9の外部音声生成条件判定テーブル1110では、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3,AAC,リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3,AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネル，マルチチャンネルの2種類が設定されている。また、図9の外部音声生成条件判定テーブル1110では、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。そして、図9の外部音声生成条件判定テーブル1110では、これらの各デコード情報と各再生指示情報との組み合わせに対して(外部入力)または(内部実装)が対応付けられている。(外部入力)は、外部から入力される付加音声データを示す情報である。(内部実装)は、内部実装負荷音声データバッファ1600に格納されている付加音声データを示す情報である。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。
【００７３】
次に、以上のように構成された音響再生装置2000の動作について図6〜図8のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)
・デコード情報…デコーダタイプ:AC3,サンプリング周波数:48kHz,チャンネル構成:2チャンネル(AC3,FS＝48kHz,2チャンネル)
・再生指示情報…機能Aと機能Bのうち機能Aのみの実施(機能A)
(ケース2)
・デコード情報…デコーダタイプ:AAC,サンプリング周波数:48kHz,チャンネル構成:マルチチャンネル(AAC,FS＝48kHz,マルチチャンネル)
・再生指示情報…機能Aと機能Bの両方を実施(機能A＋機能B)
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し(ST201,ST202)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST203)。
【００７４】
制御部1100は、外部から再生指示情報として機能A実施の指示を受信し、デコード部1200からデコード情報を受信する(ST205)。ここでは、デコード情報として、デコーダタイプ(AC3)，サンプリング周波数(48kHz)，チャンネル構成(2チャンネル)の情報を取得する。ここでは機能Bの実施が指示されていないため復号PCM信号に対してのサンプリング周波数変換処理は不要と判断される(ST207でYes)。
【００７５】
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST207でYes)、サンプリング周波数変換部1300では復号PCM信号のサンプリング周波数変換処理(ST208,ST209)を実施する必要がない。
【００７６】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST210)、この指示に従い復号PCM信号に対して機能Aに対応する音響処理を実施する(ST211)。ここでの再生指示情報では機能Bに対応する高音質化処理が含まれていない。
【００７７】
制御部1100は、外部音声生成条件判定テーブル1110(図9)を参照して付加音声データ(付加音声PCM信号の音源)を特定する(ST212)。ここでは、デコード情報(AC3,FS＝48kHz,2チャンネル)および再生指示情報(機能A)から、外部から入力される付加音声データ(外部入力)が特定される。
【００７８】
さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST213)。
【００７９】
付加音声加算部1500では、外部から入力される付加音声データを選択するように制御部1100から指示されるため、付加音声切替スイッチ1530は、外部入力付加音声データを選択し付加音声生成部1510へ送信する(ST214,ST215,ST216でYes)。
【００８０】
付加音声生成部1510は、付加音声切替スイッチ1530から送信された付加音声データから付加音声PCM信号を生成する(ST217,ST218)。付加音声生成部1510にて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST221)、PCM出力信号として外部に出力される(ST222)。
【００８１】
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し(ST201,ST202)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST203)。
【００８２】
制御部1100は、外部から再生指示情報として機能Aおよび機能B実施の指示を受信し、デコード部1200からデコード情報を受信する(ST205)。ここでは、デコード情報として、デコーダタイプ(AAC)，サンプリング周波数(48kHz)，チャンネル構成(マルチチャンネル)の情報を取得する。ここではサンプリング周波数が48kHzであること、機能Bの実施が指示されていることから、復号PCM信号に対してサンプリング周波数変換処理が必要と判断される(ST207でNo)。
【００８３】
制御部1100では、サンプリング周波数の変換が必要と判断されるので(ST207でNo)、サンプリング周波数変換部1300に対して復号PCM信号のオーバーサンプリング処理を指示し(ST208)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST209)。
【００８４】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST210)、この指示に従い復号PCM信号に対して機能Aおよび機能Bに対応する音響処理を実施する(ST211)。
【００８５】
制御部1100は、外部音声生成条件判定テーブル1110(図9)を参照して付加音声データ(付加音声PCM信号の音源)を特定する(ST212)。ここでは、デコード情報(AAC,FS＝48kHz,マルチチャンネル)および再生指示情報(機能A＋機能B)から、音声データバッファ1600に格納されている付加音声データ(内部実装)が特定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST213)。
【００８６】
付加音声加算部1500では、内部実装付加音声データバッファ1600に蓄積されている付加音声データを選択するように制御部1100から指示されるため、付加音声切替スイッチ1530は、出力PCM信号のサンプリング周波数情報を参照し内部実装付加音声データバッファ1600から必要な付加音声データを選択して付加音声生成部1510へ送信する(ST215,ST216でNo,ST219)。
【００８７】
付加音声生成部1510は、付加音声切替スイッチ1530から送信された付加音声データから付加音声PCM信号を生成する(ST220)。ここでは、デコード情報のサンプリング周波数は48kHzであるが、機能Bの処理が実施されているため、復号PCM信号のサンプリング周波数は96kHzである。このため、付加音声PCM信号のサンプリング周波数も96kHzにする必要があるが、すでに付加音声切替スイッチ1530にて出力PCM信号のサンプリング周波数情報を参照し必要な付加音声データを選択しているため、改めてオーバーサンプリング処理を施す必要はない(ST220)。
【００８８】
付加音声生成部1510にて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST221)、PCM出力信号として外部に出力される(ST222)。
【００８９】
以上のように第2の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら付加音声加算部1500で処理される付加音声データとして、内部実装付加音声データバッファ1600に格納されている付加音声データが選択され、付加音声PCM信号の生成の際のオーバーサンプリング処理が省かれるため、付加音声PCM信号の生成に対する処理負荷が抑えられ、その分、音響再生装置2000全体にかかる処理負荷が軽減される。
【００９０】
(第3の実施形態)
第3の実施形態による音響再生装置の構成を図10に示す。この音響再生装置3000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500,PCM出力バッファ1700を備えている。
【００９１】
制御部1100は、外部から再生指示情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。本実施形態では、外部から入手する再生指示情報として、各音響処理機能の処理指示のほか、PCM出力バッファ残量のアンダーフロー条件の指定を含むものとする。たとえば、アンダーフロー判定の開始タイミング(デコード初期タイミングではPCM出力バッファ残量は必ずアンダーフローから開始するため、判定開始タイミングを遅延させる必要がある)，アンダーフロー判定のためのバッファ残量閾値などが条件として考えられる。制御部1100は、内部にPCM出力バッファ残量モニタ手段1120および外部音声生成条件テーブル1110を有している。PCM出力バッファ残量モニタ手段1120は、PCM出力バッファ1700の出力PCM信号の残量を監視する。PCM出力バッファ残量モニタ手段1120は、外部から指定される開始タイミング以降にPCM出力バッファ1700の出力PCM信号の残量状態を監視し、アンダーフロー(バッファ残量が閾値未満)かどうか監視する。制御部1110は、PCM出力バッファ1700の出力PCM信号の残量状態に基づいて外部音声生成条件テーブル1110を参照し、付加音声生成部1510における付加音声PCM信号の加工手段を決定する。
【００９２】
図14は、外部音声生成条件判定テーブル1110の内容を示したものである。外部音声生成条件判定テーブル1110は、付加音声生成部1510における付加音声PCM信号の加工手段を特定するための指示をPCM出力バッファ1700の出力PCM信号の残量状態に基づいて判定するためのテーブルである。
【００９３】
外部音声生成条件判定テーブル1110には、PCM出力バッファ1700の出力PCM信号の残量状態(PCM出力バッファ残量)と選択する加工手段とが対応付けられている。図14の外部音声生成条件判定テーブル1110では、PCM出力バッファ残量があらかじめ設定した閾値以上に対して加工手段1が対応付けられ、PCM出力バッファ残量があらかじめ設定した閾値未満に対して加工手段2が対応付けられている。
【００９４】
次に、以上のように構成された音響再生装置3000の動作について図11〜図13のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)…処理負荷が比較的軽くPCM出力バッファ1700の出力PCM信号の残量状態としてアンダーフローが検出されない場合
(ケース2)…処理負荷が大きくPCM出力バッファ1700の出力PCM信号の残量状態としてアンダーフローが検出される場合
(ケース1における動作)
説明を容易とするためここでは、デコード開始から既に外部から指定されるアンダーフロー判定の開始タイミング以降の時間が経過しているものとする。
【００９５】
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST301,ST302)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST303)。
【００９６】
制御部1100は、外部から再生指示情報を受信し、デコード部1200からデコード情報を受信する(ST305)。尚、本実施形態では特にデコード情報の内容についての説明は省略するが、説明を容易とするため、復号PCM信号に対してのサンプリング周波数変換処理は不要と判断されたものとする(ST308でYes)。
【００９７】
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST307でYes)、サンプリング周波数変換部1300では復号PCM信号のサンプリング周波数変換処理(ST308,ST309)を実施する必要がない。
【００９８】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST310)、この指示に従い復号PCM信号に対して音響処理を実施する(ST311)。
【００９９】
制御部1100は、PCM出力バッファ残量モニタ手段1120により、PCM出力バッファ1700の出力PCM信号の残量状態をモニタする(ST312)。さらに制御部1100は、外部音声生成条件判定テーブル1110(図14)を参照し、PCM出力バッファ1700の出力PCM信号の残量状態から外部音声生成条件(付加音声生成に使用する加工手段)を決定する(ST313)。ここでは、処理負荷が比較的軽くPCM出力バッファ1700の出力PCM信号の残量状態としてアンダーフローが検出されない(PCM出力バッファ残量が予め設定した閾値以上である)場合であるため、演算処理負荷が大きいが加工結果の音響特性に優れる加工手段1(1511)を用いると判定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST314)。
【０１００】
付加音声加算部1500では、外部から付加音声データを入力し(ST315)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST316)。その際、制御部1100からは付加音声PCM信号生成の際の加工手段として加工手段1(1511)の処理が指定される。加工手段1(1511)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST317)、PCM出力信号として外部に出力される(ST318)。
【０１０１】
(ケース2における動作)
尚、ここでも説明を容易とするためここでは、デコード開始から既に外部から指定されるアンダーフロー判定の開始タイミング以降の時間が経過しているものとする。
【０１０２】
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST301,ST302)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST303)。
【０１０３】
制御部1100は、外部から再生指示情報を受信し、デコード部1200からデコード情報を受信する(ST305)。尚、本実施の形態では特にデコード情報の内容についての説明は省略するが、説明を容易とするためデコード情報のサンプリング周波数FSが48kHz、さらに再生指示情報において高音質化処理が指示され、復号PCM信号に対して96kHzへのオーバーサンプリング処理が必要と判断されたものとする(ST307でNo)。
【０１０４】
制御部1100ではサンプリング周波数の変換が必要と判断されるので(ST307でNo)、サンプリング周波数変換部1300に対して復号PCM信号のオーバーサンプリング処理を指示し(ST308)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST309)。
【０１０５】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST310)、この指示に従い復号PCM信号に対して音響処理を実施する(ST311)。
【０１０６】
制御部1100は、PCM出力バッファ残量モニタ手段1120により、PCM出力バッファ1700の出力PCM信号の残量状態をモニタする(ST312)。さらに制御部1100は、外部音声生成条件判定テーブル1110(図14)を参照し、PCM出力バッファ1700の出力PCM信号の残量状態から外部音声生成条件(付加音声生成における加工手段)を決定する(ST313)。ここでは、処理負荷が比較的軽くPCM出力バッファ1700の出力PCM信号の残量状態としてアンダーフローが検出される(PCM出力バッファ残量が予め設定した閾値未満である)場合であるため、加工結果の音響特性は加工手段1(1511)より劣るが演算処理負荷が加工手段1(1511)より小さい加工手段2(1512)を用いると判定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST314)。
【０１０７】
付加音声加算部1500では、外部から付加音声データを入力し(ST315)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST316)。その際、制御部1100からは付加音声PCM信号生成の際の加工手段として加工手段2(1512)の処理が指定される。ここでは、デコード情報のサンプリング周波数は48kHzであるが、サンプリング周波数変換処理が実施され、復号PCM信号のサンプリング周波数は96kHzであるため、付加音声PCM信号のサンプリング周波数も96kHzにする必要があり、その分処理負荷が大きくなるが、加工手段2(1512)を用いることで処理負荷がおさえられる。付加音声生成部1510にて加工手段2(1512)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST317)、PCM出力信号として外部に出力される(ST318)。
【０１０８】
以上のように第3の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら制御部1100内部にPCM出力バッファ残量モニタ手段1120、付加音声生成部1510内部に処理負荷に応じて切り替え可能な複数の加工手段1511,1512を具備しているので、PCM出力バッファ残量を監視し、残量状態に応じて、付加音声生成方法を切り替えることが可能であるため、付加音声加算部1500での加工手段として加工手段2(1512)の処理を指定することで、付加音声PCM信号の生成に対する処理負荷が抑えられる分、音響再生装置全体にかかる処理負荷が軽減される。
【０１０９】
(第4の実施形態)
第4の実施形態による音響再生装置の構成を図15に示す。この音響再生装置4000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部11500,付加音声データ入力バッファ1800を備えている。
【０１１０】
制御部1100は、外部から再生指示情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。ここで本実施形態では、外部から入手する再生指示情報として、各音響処理機能の処理指示のほか、付加音声データ入力バッファ残量のオーバーフロー条件の指定を含むものとする。たとえば、オーバーフロー判定のバッファ残量閾値などが条件として考えられる。更に制御部1100は、内部に付加音声データ入力バッファ1800の付加音声データの残量を監視する付加音声データ入力バッファ残量モニタ手段1130および外部音声生成条件テーブル1110を有している。付加音声データ入力バッファ残量モニタ手段1130は、付加音声データ入力バッファ1800の付加音声データの残量状態を監視し、オーバーフロー(バッファ残量が閾値以上)かどうか監視する。更に制御部1110では、付加音声データ入力バッファ1800の付加音声データの残量状態から外部音声生成条件テーブル1110を参照し、付加音声データ入力バッファ1800の付加音声データの残量状態に応じて付加音声生成部1510における付加音声PCM信号の加工手段を決定する。
【０１１１】
図18は、外部音声生成条件判定テーブル1110の内容を示したものである。外部音声生成条件判定テーブル1110は、付加音声生成部1510における付加音声PCM信号の加工手段を特定するための指示を付加音声データ入力バッファ1800の付加音声データの残量状態に基づいて判定するためのテーブルである。
【０１１２】
外部音声生成条件判定テーブル1110には、付加音声データ入力バッファ1800の付加音声データの残量状態(付加音声データ入力バッファ残量)と選択する加工手段とが対応付けられている。図18の外部音声生成条件判定テーブル1110では、付加音声データ入力バッファ残量があらかじめ設定した閾値未満に対して加工手段1が対応付けられ、付加音声データ入力バッファ残量があらかじめ設定した閾値以上に対して加工手段2が対応付けられている。
【０１１３】
次に、以上のように構成された音響再生装置4000の動作について図16〜図17のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)…処理負荷が比較的軽く付加音声データ入力バッファ1800の付加音声データの残量状態としてオーバーフローが検出されない場合
(ケース2)…処理負荷が大きく付加音声データ入力バッファ1800の付加音声データの残量状態としてオーバーフローが検出される場合
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST401,ST402)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST403)。
【０１１４】
制御部1100は、外部から再生指示情報を受信し、デコード部1200からデコード情報を受信する(ST405)。尚、本実施形態では特にデコード情報の内容についての説明は省略するが、説明を容易とするため、復号PCM信号に対してのサンプリング周波数変換処理は不要と判断されたものとする(ST407でYes)。
【０１１５】
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST407でYes)、サンプリング周波数変換部1300では特に復号PCM信号のサンプリング周波数変換処理(ST408,ST409)を実施する必要がない。
【０１１６】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST410)、指示に従い復号PCM信号に対して音響処理を実施する(ST411)。
【０１１７】
制御部1100は、付加音声データ入力バッファ残量モニタ手段1130により、付加音声データ入力バッファ1800の付加音声データの残量状態をモニタする(ST412)。さらに制御部1100は、外部音声生成条件判定テーブル1110(図18)を参照し、付加音声データ入力バッファ1800の付加音声データの残量状態から外部音声生成条件(付加音声生成に使用する加工手段)を決定する(ST413)。ここでは、処理負荷が比較的軽く付加音声データ入力バッファ1800の付加音声データの残量状態としてオーバーフローが検出されない(付加音声データ入力バッファ残量が予め設定した閾値未満である)場合であるため、演算処理負荷が大きいが加工結果の音響特性に優れる加工手段1(1511)を用いると判定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST414)。
【０１１８】
付加音声加算部1500では、外部から付加音声データを入力し(ST415)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST416)。その際、制御部1100からは付加音声PCM信号生成の際の加工手段として加工手段1(1511)の処理が指定される。加工手段1(1511)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST417)、PCM出力信号として外部に出力される(ST418)。
【０１１９】
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST401,ST402)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST403)。
【０１２０】
制御部1100は、外部から再生指示情報を受信し、デコード部1200からデコード情報を受信する(ST405)。尚、本実施形態では特にデコード情報の内容についての説明は省略するが、説明を容易とするためデコード情報のサンプリング周波数FSが48kHz、さらに再生指示情報において高音質化処理が指示され、復号PCM信号に対して96kHzへのオーバーサンプリング処理が必要と判断されたものとする(ST407でNo)。
【０１２１】
制御部1100ではサンプリング周波数の変換が必要と判断されるので(ST407でNo)、サンプリング周波数変換部1300に対して、復号PCM信号のオーバーサンプリング処理を指示し(ST408)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST409)。
【０１２２】
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST410)、指示に従い復号PCM信号に対して音響処理を実施する(ST411)。
【０１２３】
制御部1100は、付加音声データ入力バッファ残量モニタ手段1130により、付加音声データ入力バッファ1800の付加音声データの残量状態をモニタする(ST412)。さらに制御部1100は、外部音声生成条件判定テーブル1110(図18)を参照し、付加音声データ入力バッファ1800の付加音声データの残量状態から外部音声生成条件(付加音声生成に使用する加工手段)を決定する(ST413)。ここでは、処理負荷が比較的軽く付加音声データ入力バッファ1800の付加音声データの残量状態としてオーバーフローが検出される(付加音声データ入力バッファ残量が予め設定した閾値以上である)場合であるため、加工結果の音響特性は加工手段1(1511)より劣るが演算処理負荷が加工手段1(1511)より小さい加工手段2(1512)を用いると判定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST414)。
【０１２４】
付加音声加算部1500では、外部から付加音声データを入力し(ST415)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST416)。その際、制御部1100からは付加音声PCM信号生成の際の加工手段として加工手段2(1512)の処理が指定される。ここでは、デコード情報のサンプリング周波数は48kHzであるが、サンプリング周波数変換処理が実施され、復号PCM信号のサンプリング周波数は96kHzであるため、付加音声PCM信号のサンプリング周波数も96kHzにする必要があり、その分処理負荷が大きくなるが、加工手段2(1512)を用いることで処理負荷がおさえられる。付加音声生成部1510にて加工手段2(1512)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST417)、PCM出力信号として外部に出力される(ST418)。
【０１２５】
以上のように第4の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら制御部1100内部に付加音声データ入力バッファ残量モニタ手段1130、付加音声生成部1510内部に処理負荷に応じて切り替え可能な複数の加工手段1511,1512を具備しているので、付加音声データ入力バッファ残量を監視し、残量状態に応じて、付加音声生成方法を切り替えることが可能であるため、付加音声加算部1500での加工手段として加工手段2(1512)の処理を指定することで、付加音声PCM信号の生成に対する処理負荷が抑えられる分、音響再生装置全体にかかる処理負荷が軽減される。
【０１２６】
(第5の実施形態)
第5の実施形態による音響再生装置の構成を図19に示す。この音響再生装置5000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500を備えている。
【０１２７】
制御部1100は、内部に音響処理条件判定テーブル1140を有している。制御部1100は、デコード情報と再生指示情報に基づいて音響処理条件判定テーブル1140を参照し、音響処理部1400に対する音響処理条件の指示(通常の処理，処理の一部を省く，簡易再生)を決定する。
【０１２８】
図22は、音響処理条件判定テーブル1140の内容を示したものである。音響処理条件判定テーブル1140は、音響処理部1400における音響処理条件を特定するための指示をデコード情報と再生指示情報とから判定するためのテーブルである。音響処理条件判定テーブル1140には、デコード情報と再生指示情報との組み合わせと音響処理条件とが対応付けられている。図22の音響処理条件判定テーブル1140では、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3，AAC，リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3，AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネルもしくはマルチチャンネルの2種類が設定されている。また、図22の音響処理条件判定テーブル1140では、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。図22の音響処理条件判定テーブル1140では、これらの各デコード情報と各再生指示情報との組み合わせに対して音響処理条件,ここでは,音響処理を行わない(なし)，通常の音響処理(通常版)，通常の音響処理の一部を省く(間引き)，簡易音響処理(簡易版)が対応付けられている。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。
【０１２９】
次に、以上のように構成された音響再生装置5000の動作について図20〜図21のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)
・デコード情報…デコーダタイプ:AC3,サンプリング周波数:48kHz,チャンネル構成:2チャンネル(AC3,FS＝48kHz,2チャンネル)
・再生指示情報…機能Aと機能Bのうち機能Aのみの実施(機能A)
(ケース2)
・デコード情報…デコーダタイプ:AAC,サンプリング周波数:48kHz,チャンネル構成:マルチチャンネル(AAC,FS＝48kHz,マルチチャンネル)
・再生指示情報…機能Aと機能Bの両方を実施(機能A＋機能B)
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST501,ST502)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST503)。
【０１３０】
制御部1100は、外部から再生指示情報として機能A実施の指示を受信し，デコード部1200からデコード情報を受信する(ST506)。ここでは、デコード情報として、デコーダタイプ(AC3)，サンプリング周波数(48kHz)，チャンネル構成(2チャンネル)の情報を取得する。ここでは機能Bの実施が指示されていないため復号PCM信号に対してのサンプリング周波数変換処理は不要と判断される(ST507でYes)。
【０１３１】
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST507でYes)、サンプリング周波数変換部1300では特に復号PCM信号のサンプリング周波数変換処理(ST508,ST509)を実施する必要がない。
【０１３２】
制御部1100は、音響処理条件判定のために音響処理条件判定テーブル1140(図22)を参照し、デコード情報(デコーダタイプ:AC3,サンプリング周波数FS:48kHz,チャンネル構成:2チャンネル)および再生指示情報(機能Aのみ実施)から、音響処理部1400へ指示する音響処理として機能Aを通常版で実施すると判定し(ST506)、音響処理部1400に対して当該音響処理の実施を指示する(ST510)。
【０１３３】
次に音響処理部1400では、制御部1100より音響処理の指示を受信し(ST510)、この指示に従い復号PCM信号に対して機能Aに対する音響処理を実施する(ST511)。ここでの再生指示情報では機能Bに対応する高音質化処理が含まれていない。
【０１３４】
制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し，付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST512)。
【０１３５】
付加音声加算部1500では、外部から付加音声データを入力し(ST513)、付加音声生成部1510にて付加音声PCM信号を生成し(ST514)、更に加算器1520により復号PCM信号と付加音声PCM信号とが加算され(ST515)、PCM出力信号として外部に出力される(ST516)。
【０１３６】
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST501,ST502)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST503)。
【０１３７】
制御部1100は、外部から再生指示情報として機能Aおよび機能B実施の指示を受信し，デコード部1200からデコード情報を受信する(ST505)。ここでは、デコード情報として、デコーダタイプ(AAC)，サンプリング周波数(48kHz)，チャンネル構成(マルチチャンネル)の情報を取得する。ここではサンプリング周波数が48kHzであること，機能Bの実施が指示されていることから、復号PCM信号に対してオーバーサンプリング周波数変換処理が必要と判断される(ST507でNo)。
【０１３８】
制御部1100ではサンプリング周波数の変換が必要と判断されるので(ST507でNo)、サンプリング周波数変換部1300に対して、復号PCM信号のオーバーサンプリング処理を指示し(ST508)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST509)。
【０１３９】
制御部1100は、音響処理条件判定のために音響処理条件判定テーブル1140(図22)を参照し、デコード情報(デコーダタイプ:AAC,サンプリング周波数FS:48kHz,チャンネル構成:マルチチャンネル)および再生指示情報(機能Aおよび機能Bを実施)から、音響処理部1400へ指示する音響処理として機能Aを通常版，機能Bを簡易版で実施すると判定し(ST506)、音響処理部1400に対して当該音響処理の実施を指示する(ST510)。
【０１４０】
次に音響処理部1400では、制御部1100より音響処理の指示を受信し(ST510)、この指示に従い復号PCM信号に対して機能Aおよび機能Bに対する音響処理を実施する(ST511)。
【０１４１】
制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST512)。
【０１４２】
付加音声加算部1500では、外部から付加音声データを入力し(ST513)、付加音声生成部1510にて付加音声PCM信号を生成し(ST514)、更に加算器1520により復号PCM信号と付加音声PCM信号とが加算され(ST515)、PCM出力信号として外部に出力される(ST516)。
【０１４３】
以上のように第5の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら制御部1100内部に音響処理条件判定テーブル1140を具備し、処理負荷が大きくなる場合でも、音響処理部1400に対して処理の一部を省く,もしくは,簡易再生に切り替える指示を与えることで、その分音響再生装置全体にかかる処理負荷が軽減されるため処理量の破綻を防ぐことが容易となる。
【０１４４】
(第6の実施形態)
第6の実施形態による音響再生装置の構成を図23に示す。この音響再生装置6000は、第5の実施形態(図19)と同様、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500を備えている。
【０１４５】
第5の実施形態(図19)との違いは、制御部1100内部に具備されるテーブルが処理フロー判定テーブル1150であり、処理フロー判定テーブル1150で示される判定条件の内容および制御部1100からサンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500へ指示される処理順序が異なる点である。
【０１４６】
図27は、処理フロー判定テーブル1150の内容を示したものである。処理フロー判定テーブル1150は、サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500の処理順序を特定するための指示をデコード情報と再生指示情報とから判定するためのテーブルである。処理フロー判定テーブル1150には、デコード情報と再生指示情報との組み合わせと処理順序とが対応付けられている。図27の処理フロー判定テーブル1150では、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3，AAC，リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3，AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネルもしくはマルチチャンネルの2種類が設定されている。また、図27の処理フロー判定テーブル1150では、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。図27の処理フロー判定テーブル1150では、これらの各デコード情報と各再生指示情報との組み合わせに対して処理順序,ここでは,通常の処理順序(通常フロー)，付加音声加算部1500の処理を先行して行う(付加音声加算処理先行)が対応付けられている。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。
【０１４７】
次に、以上のように構成された音響再生装置6000の動作について図24〜図26のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)
・デコード情報…デコーダタイプ:AC3,サンプリング周波数:48kHz,チャンネル構成:2チャンネル
・再生指示情報…機能Aと機能Bのうち機能Aのみの実施
(ケース2)
・デコード情報…デコーダタイプ:AAC,サンプリング周波数:48kHz,チャンネル構成:マルチチャンネル
・再生指示情報…機能Aと機能Bの両方を実施
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST601,ST602)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST603)。
【０１４８】
制御部1100は、外部から再生指示情報として機能A実施の指示を受信し，デコード部1200からデコード情報を受信する(ST605)。さらにデコード部1200のデコード処理以降の処理フロー判定のために処理フロー判定テーブル1150(図27)を参照し、デコード情報(デコーダタイプ:AC3,サンプリング周波数FS:48kHz,チャンネル構成:2チャンネル)および再生指示情報(機能Aのみ実施)から処理順序を判定する(ST606)。ここでは、サンプリング周波数変換部1300の処理は不要、音響処理部1400における処理の後に付加音声加算処理を実施する(通常フロー)と判定する(ST607でYes)。処理フロー判定テーブル1150の参照結果に従い、まず音響処理部1400に対して音響処理の実施を指示する(ST611)。
【０１４９】
音響処理部1400では、制御部1100より音響処理の指示を受信し、この指示に従い復号PCM信号に対して機能Aに対する音響処理を実施する(ST612)。ここでの音響処理指示情報では機能Bに対応する高音質化処理が含まれていない。
【０１５０】
付加音声加算部1500では、外部から付加音声データを入力し(ST614)、付加音声生成部1510にて付加音声PCM信号を生成し(ST615)、更に加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST616)、PCM出力信号として外部に出力される(ST617)。
【０１５１】
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST601,ST602)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST603)。
【０１５２】
制御部1100は、外部から再生指示情報として機能Aおよび機能B実施の指示を受信，デコード部1200からデコード情報を受信する(ST605)。さらにデコード部1200のデコード処理以降の処理フロー判定のために処理フロー判定テーブル1150(図27)を参照し、デコード情報(デコーダタイプ:AAC,サンプリング周波数FS:48kHz,チャンネル構成:マルチチャンネル)および再生指示情報(機能Aおよび機能Bを実施)から処理順序を判定する(ST606)。ここでは、まず、付加音声加算部1500での付加音声加算処理を実施し，次にサンプリング周波数変換部1300での処理，次に音響処理部1400での音響処理を実施する(付加音声加算処理先行)と判定する(ST607でNo)。処理フロー判定テーブル1150の参照結果に従い、まず付加音声加算部1500に対して付加音声加算処理の実施を指示する(ST618)。
【０１５３】
付加音声加算部1500では、外部から付加音声データを入力し(ST619)、付加音声生成部1510にて付加音声PCM信号を生成し(ST620)、更に加算器1520により復号PCM信号と付加音声PCM信号とが加算される(ST621)。ここで、付加音声生成部1510にて付加音声PCM信号に対するオーバーサンプリング処理は実施されない。
【０１５４】
次に制御部1100では、サンプリング周波数の変換が必要と判断されるので(ST623でNo)、付加音声加算部1500から出力されるPCM出力信号に対するオーバーサンプリング処理をサンプリング周波数変換部1300に指示し(ST624)、サンプリング周波数変換部1300は制御部1100の指示に従いオーバーサンプリング処理を実施する(ST625)。
【０１５５】
更に制御部1100は、音響処理部1400に音響処理の実施を指示する(ST626)。音響処理部1400は、制御部1100より音響処理の指示を受信し、この指示に従い復号PCM信号に対して機能Aおよび機能Bに対する音響処理を実施し(ST627)、PCM出力信号として外部に出力する(ST628)。
【０１５６】
以上のように第6の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら制御部1100内部に処理フロー判定テーブル1150を具備し、処理負荷が大きくなる場合には、付加音声加算部1500での付加音声データの加工処理，加算処理をサンプリング周波数変換部1300でのサンプリング周波数変換処理よりも前段で実施するように設定することで、付加音声データの加工処理で発生するサンプリング周波数変換の処理負荷を削減することが可能となり、その分、音響再生装置全体の処理量の破綻を防ぐことが容易となる。この場合、音響処理部1400での音響処理が付加音声ミックス処理後に実施されるため、付加音声に対しても音響処理が施されることになってしまうが、出力PCM信号のサンプリング周波数を下げる必要もないので、デコード部1200によりデコードされたPCMの音質劣化の抑制や外部から要求される高音質化処理の実現は可能となる。
【０１５７】
(第7の実施形態)
第1〜6の実施形態では、音響再生装置1000〜6000が独立した1つのプロセッサで実現される形態を想定しているため、音響再生装置1000〜6000全体の処理負荷は固定される。これに対し、これ以降の第7〜11の実施形態では、音響再生装置が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定する。この場合、音響再生装置全体の処理負荷はシステムの負荷(たとえばユースケース等)に応じて変化するため、音響再生装置全体の処理負荷の管理が必要になる。
【０１５８】
第7の実施形態による音響再生装置の構成を図28に示す。この音響再生装置は、第1の実施形態の音響再生装置1000(図1)が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定している。
【０１５９】
本実施形態において、制御部1100は、外部から再生指示情報およびユースケース情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。ユースケース情報は、音響再生装置1000が組み込まれているシステムの負荷を示す情報の一例である。制御部1100は、内部に音響処理負荷条件判定テーブル1110aと加工手段選定テーブル1110bとを有しており、デコード情報と再生指示情報とユースケース情報から、音響処理負荷条件判定テーブル1110aと加工手段選定テーブル1110bを参照し、付加音声生成部1510における付加音声PCM信号の加工手段を決定する。
【０１６０】
付加音声生成部1510は、付加音声PCM信号を生成するための3種類の加工手段1511,1512,1513を備える。ここでは演算処理負荷の大きい順番は加工手段1(1511),加工手段2(1512),加工手段3(1513)であり、加工結果の音響特性が優れている順番は加工手段1(1511),加工手段2(1512),加工手段3(1513)であるものとする。これら3種類の加工手段1511,1512,1513は制御部1100からの指示により使い分けられる。
【０１６１】
図29は、音響処理負荷条件判定テーブル1110aの内容を示したものである。音響処理負荷条件判定テーブル1110aには、デコード情報と再生指示情報との組み合わせと加工手段ポインタ情報とが対応付けられている。図29の音響処理負荷条件判定テーブル1110aでは、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3，AAC，リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3，AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネル,マルチチャンネルの2種類が設定されている。また、図29の音響処理負荷条件判定テーブル1110aでは、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。そして、図29の音響処理負荷条件判定テーブル1110aでは、これらの各デコード情報と各再生指示情報との組み合わせに対してポインタ1またはポインタ2が対応付けられている。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。
【０１６２】
図30は、加工手段選定テーブル1110bの内容を示したものである。加工手段選定テーブル1110bには、ユースケース情報と加工手段ポインタ情報との組み合わせと加工手段とが対応付けられている。図30の加工手段選定テーブル1110bでは、ユースケース情報として、ユースケース1,2,3が設定されており、加工手段ポインタ情報としてポインタ1,2が設定されている。そして、これらの各ユースケース情報と各加工手段ポインタ情報との組み合わせに対して加工手段1または加工手段2または加工手段3が対応付けられている。なお、ここでは一例として、ユースケース1としてメディア(映像と音声)の単独再生が設定され、ユースケース2としてメディア(音声のみ)の単独再生が設定され、ユースケース3としてメディア再生とインターネット接続の同時処理が設定されているものとする。
【０１６３】
本実施形態による音響再生装置1000が実行する処理の流れを図31〜図32に示す。図31〜図32に示すフローチャートは、図2〜図3のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST105(図2)に代えてステップST105a(図31)を実行し、ステップST112(図3)に代えてステップST112a,ST112b(図32)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。
【０１６４】
ステップST105aにおいて、制御部1100は、外部から再生指示情報に加えてユースケース情報も受信し、デコード部1200からデコード情報を受信する。
【０１６５】
ステップST112aにおいて、制御部1100は、音響処理負荷条件判定テーブル1110a(図29)を参照し、ステップST105aで受信した再生指示情報とデコード情報に対応付けられている加工手段ポインタ情報を特定する。
【０１６６】
ステップST112bにおいて、制御部1100は、加工手段選定テーブル1110b(図30)を参照し、ステップST105aで受信したユースケース情報とステップST112aで特定した加工手段ポインタ情報とに対応付けられている加工手段を特定する。
【０１６７】
以上のように第7の実施形態では、システム負荷情報(ユースケース情報)と音響処理負荷条件(再生指示情報，デコード情報)から加工手段を特定するため、音響再生装置1000が他の処理装置とあわせて1つのプロセッサ(システム)で実現される場合においても、第1の実施形態で説明したのと同様の効果が得られる。
【０１６８】
(第8の実施形態)
第8の実施形態による音響再生装置は、第7の実施形態による音響再生装置の変形例でありその構成は同様である。ただし本実施形態では、制御部1100は、内部に音響処理負荷条件判定テーブル1110cとユースケース情報変換テーブル1110dとポインタ情報変換テーブル1110eとを有しており、デコード情報と再生指示情報とユースケース情報から、これらのテーブル1110c,1110d,1110eを参照し、付加音声生成部1510における付加音声PCM信号の加工手段を決定する。
【０１６９】
図33は、音響処理負荷条件判定テーブル1110c，ユースケース情報変換テーブル1110d，ポインタ情報変換テーブル1110eの内容を示したものである。音響処理負荷条件判定テーブル1110cには、デコード情報と再生指示情報との組み合わせと差分ポインタ値とが対応付けられている。また、ユースケース情報変換テーブル1110dには、ユースケース情報と差分ポインタ値とが対応付けられている。ポインタ情報変換テーブル1110eにはトータルポインタ値と加工手段とが対応付けられている。
【０１７０】
本実施形態による音響再生装置が実行する処理の流れは図31〜図32のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST112a,ST112b(図32)に代えてステップST112c,ST112d,ST112e,ST112f(図34)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。
【０１７１】
ステップST112cにおいて、制御部1100は、音響処理負荷条件判定テーブル1110c(図33)を参照し、ステップST105aで受信した再生指示情報とデコード情報に対応付けられている差分ポインタ値を特定する。
【０１７２】
ステップST112dにおいて、制御部1100は、ユースケース情報変換テーブル1110d(図33)を参照し、ステップST105aで受信したユースケース情報に対応付けられている差分ポインタ値を特定する。
【０１７３】
ステップST112eにおいて、制御部1100は、ステップST112cで特定した差分ポインタ値とステップST112dで特定した差分ポインタ値とを加算しトータルポインタ値を算出する。
【０１７４】
ステップST112fにおいて、制御部1100は、ポインタ情報変換テーブル1110e(図33)を参照し、ステップST112eで算出したトータルポインタ値に対応付けられている加工手段を特定する。
【０１７５】
(第9の実施形態)
第9の実施形態による音響再生装置は、第2の実施形態の音響再生装置2000(図5)が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定しておりその構成は同様である。
【０１７６】
ただし本実施形態では、制御部1100は、外部から再生指示情報およびユースケース情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。制御部1100は、内部に音響処理負荷条件判定テーブル1110cとユースケース情報変換テーブル1110dとポインタ情報変換テーブル1110eとを有しており、デコード情報と再生指示情報とユースケース情報から、これらのテーブル1110c,1110d,1110eを参照して、付加音声加算部1500において付加音声生成部1510から加算器1520に与えられる付加音声PCM信号の音源として外部入力付加音声データ，もしくは，内部実装付加音声データのいずれを使用するかを決定する。
【０１７７】
図35は、音響処理負荷条件判定テーブル1110c，ユースケース情報変換テーブル1110d，ポインタ情報変換テーブル1110eの内容を示したものである。音響処理負荷条件判定テーブル1110cには、デコード情報と再生指示情報との組み合わせと差分ポインタ値とが対応付けられている。また、ユースケース情報変換テーブル1110dには、ユースケース情報と差分ポインタ値とが対応付けられている。ポインタ情報変換テーブル1110eにはトータルポインタ値と外部音声生成条件(外部入力，内部実装)とが対応付けられている。
【０１７８】
本実施形態による音響再生装置が実行する処理の流れは図6〜図8のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST205(図6)に代えてステップST105a(図31)を実行し、ステップST212(図7)に代えてステップST212c,ST212d,ST212e,ST212f(図34)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。
【０１７９】
ステップST105aにおける処理は上記第7の実施形態と同様である。
【０１８０】
ステップST212cにおいて、制御部1100は、音響処理負荷条件判定テーブル1110c(図35)を参照し、ステップST105aで受信した再生指示情報とデコード情報に対応付けられている差分ポインタ値を特定する。
【０１８１】
ステップST212dにおいて、制御部1100は、ユースケース情報変換テーブル1110d(図35)を参照し、ステップST105aで受信したユースケース情報に対応付けられている差分ポインタ値を特定する。
【０１８２】
ステップST212eにおいて、制御部1100は、ステップST212cで特定した差分ポインタ値とステップST212dで特定した差分ポインタ値とを加算しトータルポインタ値を算出する。
【０１８３】
ステップST212fにおいて、制御部1100は、ポインタ情報変換テーブル1110e(図35)を参照し、ステップST212eで算出したトータルポインタ値に対応付けられている外部音声生成条件(外部入力，内部実装)を特定する。
【０１８４】
(第10の実施形態)
第10の実施形態による音響再生装置は、第5の実施形態の音響再生装置5000(図19)が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定しておりその構成は同様である。
【０１８５】
ただし本実施形態では、制御部1100は、内部にデコード処理負荷条件変換テーブル1140aとユースケース情報変換テーブル1140bと音響処理負荷条件判定テーブル1140cを有している。制御部1100は、デコード情報と再生指示情報とユースケース情報から、これらのテーブル1140a,1140b,1140cを参照し、音響処理部1400に対する音響処理条件の指示(通常の処理，処理の一部を省く，簡易再生)を決定する。
【０１８６】
図37は、デコード処理負荷条件変換テーブル1140a，ユースケース情報変換テーブル1140b，音響処理負荷条件判定テーブル1140cの内容を示したものである。デコード処理負荷条件変換テーブル1140aには、デコード情報とポインタ値とが対応付けられている。ユースケース情報変換テーブル1140bには、ユースケース情報と差分ポインタ値とが対応付けられている。音響処理負荷条件判定テーブル1140cには、トータルポインタ値と再生指示情報との組み合わせと音響処理条件(なし，通常版，間引き，簡易版)とが対応付けられている。
【０１８７】
本実施形態による音響再生装置が実行する処理の流れは図20〜図21のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST505(図20)に代えてステップST505a(図38)を実行し、ステップST506(図20)に代えてステップST506a,ST506b,ST506c,ST506d(図38)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。
【０１８８】
ステップST505aにおいて、制御部1100は、外部から再生指示情報に加えてユースケース情報も受信し、デコード部1200からデコード情報を受信する。
【０１８９】
ステップST506aにおいて、制御部1100は、デコード処理負荷条件変換テーブル1140a(図37)を参照し、ステップST505aで受信したデコード情報に対応付けられているポインタ値を特定する。
【０１９０】
ステップST506bにおいて、制御部1100は、ユースケース情報変換テーブル1140b(図37)を参照し、ステップST505aで受信したユースケース情報に対応付けられている差分ポインタ値を特定する。
【０１９１】
ステップST506cにおいて、制御部1100は、ステップST506aで特定したポインタ値とステップST506bで特定した差分ポインタ値とを加算しトータルポインタ値を算出する。
【０１９２】
ステップST506dにおいて、制御部1100は、音響処理負荷条件判定テーブル1140c(図37)を参照し、ステップST506cで算出したトータルポインタ値とステップST505aで受信した再生指示情報とに対応付けられている音響処理条件を特定する。
【０１９３】
(第11の実施形態)
第11の実施形態による音響再生装置は、第6の実施形態の音響再生装置6000(図23)が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定しておりその構成は同様である。
【０１９４】
ただし本実施形態では、制御部1100は、内部にデコード処理負荷条件変換テーブル1150aとユースケース情報変換テーブル1150bと処理フロー判定テーブル1150cを有している。制御部1100は、デコード情報と再生指示情報とユースケース情報から、これらのテーブル1150a,1150b,1150cを参照し、サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500における処理順序を決定する。
【０１９５】
図39は、デコード処理負荷条件変換テーブル1150a，ユースケース情報変換テーブル1150b，処理フロー判定テーブル1150cの内容を示したものである。デコード処理負荷条件変換テーブル1150aには、デコード情報とポインタ値とが対応付けられている。ユースケース情報変換テーブル1150bには、ユースケース情報と差分ポインタ値とが対応付けられている。処理フロー判定テーブル1150cには、トータルポインタ値と再生指示情報との組み合わせと処理順序とが対応付けられている。
【０１９６】
本実施形態による音響再生装置が実行する処理の流れは図24〜図26のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST605(図24)に代えてステップST605a(図40)を実行し、ステップST606(図24)に代えてステップST606a,ST606b,ST606c,ST606d(図40)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。
【０１９７】
ステップST605aにおいて、制御部1100は、外部から再生指示情報に加えてユースケース情報も受信し、デコード部1200からデコード情報を受信する。
【０１９８】
ステップST606aにおいて、制御部1100は、デコード処理負荷条件変換テーブル1150a(図39)を参照し、ステップST605aで受信したデコード情報に対応付けられているポインタ値を特定する。
【０１９９】
ステップST606bにおいて、制御部1100は、ユースケース情報変換テーブル1150b(図39)を参照し、ステップST605aで受信したユースケース情報に対応付けられている差分ポインタ値を特定する。
【０２００】
ステップST606cにおいて、制御部1100は、ステップST606aで特定したポインタ値とステップST606bで特定した差分ポインタ値とを加算しトータルポインタ値を算出する。
【０２０１】
ステップST606dにおいて、制御部1100は、処理フロー判定テーブル1150c(図39)を参照し、ステップST606cで算出したトータルポインタ値とステップST605aで受信した再生指示情報とに対応付けられている処理フローを特定する。
【産業上の利用可能性】
【０２０２】
本発明によれば、デコード処理や再生条件によって処理負荷が増大する場合でも、内部で自動的に処理負荷軽減が図れるため、さまざまなビットストリームのデコード条件、音響処理の再生条件ごとに発生する処理能力の制限・音質劣化を最小限に抑え、できるだけ容易に最適な状態で付加音声とのミキシング処理を実現することが可能となる。
【符号の説明】
【０２０３】
1000,2000,3000,4000,5000,6000,7000…音響再生装置
1100…制御部
1110…外部音声生成条件判定テーブル
1110a,1110c…音響処理負荷条件判定テーブル
1110b…加工手段選定テーブル
1110d…ユースケース情報変換テーブル
1110e…ポインタ情報変換テーブル
1120…PCM出力バッファ残量モニタ手段
1130…付加音声データ入力バッファ残量モニタ手段
1140…音響処理条件判定テーブル
1140a…デコード処理負荷条件変換テーブル
1140b…ユースケース情報変換テーブル
1140c…音響処理負荷条件判定テーブル
1150…処理フロー判定テーブル
1150a…デコード処理負荷条件変換テーブル
1150b…ユースケース情報変換テーブル
1150c…処理フロー判定テーブル
1200…デコード部
1300…サンプリング周波数変換部
1400…音響処理部
1500…付加音声加算部
1510…付加音声生成部
1511…加工手段1
1512…加工手段2
1513…加工手段3
1520…加算器
1530…付加音声切替スイッチ
1600…内部実装付加音声データバッファ
1700…PCM出力バッファ
1800…付加音声データ入力バッファ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
外部から入力される付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
を備え、
前記付加音声加算部は、
前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、
前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
前記付加音声生成部は、
加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、
前記制御部は、
前記再生指示情報および前記デコード情報に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、
前記付加音声生成部は、
前記制御部によって特定された加工手段により前記付加音声データを加工する、
ことを特徴とする音響再生装置。
【請求項２】
請求項１において、
前記制御部から伝送される再生指示に応じて前記復号PCM信号に対してサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備える、
ことを特徴とする音響再生装置。
【請求項３】
請求項１または２において、
前記制御部から伝送される再生指示に応じて前記復号PCM信号に対して音響処理を実施する音響処理部をさらに備える、
ことを特徴とする音響再生装置。
【請求項４】
請求項１〜３のいずれか１つにおいて、
前記制御部は、
前記デコード情報と前記再生指示情報との組み合わせと前記複数の加工手段のいずれかとが対応付けられた外部音声生成条件判定テーブルを備える、
ことを特徴とする音響再生装置。
【請求項５】
請求項１〜３のいずれか１つにおいて、
前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、
前記制御部は、
外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、前記複数の加工手段のうちのいずれか１つを特定する、
ことを特徴とする音響再生装置。
【請求項６】
外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
前記デコード部で生成した復号PCM信号に対して音響処理を施す音響処理部と、
外部から入力される付加音声データを加工し、前記音響処理部により音響処理が施された復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
を備え、
前記付加音声加算部は、
外部から入力される付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、
前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
前記制御部は、
前記再生指示情報および前記デコード情報に基づいて、処理負荷を特定し、その処理負荷に応じて前記音響処理部における音響処理条件を特定し、
前記音響処理部は、
前記制御部によって特定された音響処理条件により前記復号PCM信号に対する音響処理を実施する、
ことを特徴とする音響再生装置。
【請求項７】
請求項６において、
前記制御部は、
前記デコード情報と前記再生指示情報との組み合わせと音響処理条件とが対応付けられた音響処理条件判定テーブルを備える、
ことを特徴とする音響再生装置。
【請求項８】
請求項６または７において、
前記デコード部で生成した復号PCM信号に対して、前記制御部から伝送される再生指示に応じてサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備える、
ことを特徴とする音響再生装置。
【請求項９】
請求項６において、
前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、
前記制御部は、
外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、処理負荷を特定し、その処理負荷に応じて前記音響処理部における音響処理条件を特定する、
ことを特徴とする音響再生装置。
【請求項１０】
外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
前記デコード部で生成した復号PCM信号に対して、前記制御部から伝送される再生指示に応じてサンプリング周波数変換処理を実施するサンプリング周波数変換部と、
前記デコード部もしくは前記サンプリング周波数変換部より出力される復号PCM信号に対して、前記制御部から伝送される再生指示に応じて音響処理を実施する音響処理部と、
外部から入力される付加音声データを加工し、前記デコード部もしくは前記音響処理部より出力される復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
を備え、
前記付加音声加算部は、
外部から入力される付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、
前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
前記制御部は、
前記再生指示情報および前記デコード情報に基づいて、処理負荷を特定し、その処理負荷に応じて、前記サンプリング周波数変換部によるサンプリング周波数変換処理と、前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序を決定する、
ことを特徴とする音響再生装置。
【請求項１１】
請求項１０において、
前記制御部は、
前記デコード情報と前記再生指示情報との組み合わせと,前記サンプリング周波数変換部によるサンプリング周波数変換処理と前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序と,が対応付けられた処理フロー判定テーブルを備える、
ことを特徴とする音響再生装置。
【請求項１２】
請求項１０において、
前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、
前記制御部は、
外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、処理負荷を特定し、その処理負荷に応じて、前記サンプリング周波数変換部によるサンプリング周波数変換処理と、前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序を決定する、
ことを特徴とする音響再生装置。
【請求項１３】
音響再生装置であって、
外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
前記音響再生装置内部に実装される付加音声データ(内部実装付加音声データ)を格納する内部実装付加音声データバッファと、
外部から入力される付加音声データ(外部入力付加音声データ),もしくは,前記内部実装付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
を備え、
前記制御部は、
前記再生指示情報および前記デコード情報に基づいて、前記外部入力付加音声データ,もしくは,前記内部実装付加音声データを特定し、
前記付加音声加算部は、
前記外部入力付加音声データおよび前記内部実装付加音声データのうち前記制御部により特定されたほうの付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、
前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備える、
ことを特徴とする音響再生装置。
【請求項１４】
請求項１３において、
前記制御部から伝送される再生指示に応じて前記復号PCM信号に対してサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備える、
ことを特徴とする音響再生装置。
【請求項１５】
請求項１３または１４において、
前記制御部から伝送される再生指示に応じて前記復号PCM信号に対して音響処理を実施する音響処理部をさらに備える、
ことを特徴とする音響再生装置。
【請求項１６】
請求項１３〜１５のいずれか１つにおいて、
前記制御部は、
前記デコード情報と前記再生指示情報との組み合わせと,前記外部入力付加音声データまたは前記内部実装付加音声データを示す情報と,が対応付けられた外部音声生成条件判定テーブルを備える、
ことを特徴とする音響再生装置。
【請求項１７】
請求項１３〜１５のいずれか１つにおいて、
前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、
前記制御部は、
外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、前記外部入力付加音声データ,もしくは,前記内部実装付加音声データを特定する、
ことを特徴とする音響再生装置。
【請求項１８】
外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
外部から入力される付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
前記付加音声加算部より出力されるPCM出力信号を蓄積するPCM出力バッファと、
を備え、
前記付加音声加算部は、
前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、
前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
前記付加音声生成部は、
加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、
前記制御部は、
前記PCM出力バッファの出力PCM信号の残量を監視するPCM出力バッファ残量モニタ手段を備え、
前記PCM出力バッファの出力PCM信号の残量状態に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、
前記付加音声生成部は、
前記制御部によって特定された加工手段により前記付加音声データを加工する、
ことを特徴とする音響再生装置。
【請求項１９】
外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
外部より入力される付加音声データを蓄積する付加音声データ入力バッファと、
前記付加音声データ入力バッファに蓄積された付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
を備え、
前記付加音声加算部は、
前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、
前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
前記付加音声生成部は、
加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、
前記制御部は、
前記付加音声データ入力バッファの付加音声データの残量を監視する付加音声データ入力バッファ残量モニタ手段を備え、
前記付加音声データ入力バッファの付加音声データの残量状態に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、
前記付加音声生成部は、
前記制御部によって特定された加工手段により前記付加音声データを加工する、
ことを特徴とする音響再生装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009093421.tif 000046
【図２】
2009093421.tif 000047
【図３】
2009093421.tif 000048
【図４】
2009093421.tif 000049
【図５】
2009093421.tif 000050
【図６】
2009093421.tif 000051
【図７】
2009093421.tif 000052
【図８】
2009093421.tif 000053
【図９】
2009093421.tif 000054
【図１０】
2009093421.tif 000055
【図１１】
2009093421.tif 000056
【図１２】
2009093421.tif 000057
【図１３】
2009093421.tif 000058
【図１４】
2009093421.tif 000059
【図１５】
2009093421.tif 000060
【図１６】
2009093421.tif 000061
【図１７】
2009093421.tif 000062
【図１８】
2009093421.tif 000063
【図１９】
2009093421.tif 000064
【図２０】
2009093421.tif 000065
【図２１】
2009093421.tif 000066
【図２２】
2009093421.tif 000067
【図２３】
2009093421.tif 000068
【図２４】
2009093421.tif 000069
【図２５】
2009093421.tif 000070
【図２６】
2009093421.tif 000071
【図２７】
2009093421.tif 000072
【図２８】
2009093421.tif 000073
【図２９】
2009093421.tif 000074
【図３０】
2009093421.tif 000075
【図３１】
2009093421.tif 000076
【図３２】
2009093421.tif 000077
【図３３】
2009093421.tif 000078
【図３４】
2009093421.tif 000079
【図３５】
2009093421.tif 000080
【図３６】
2009093421.tif 000081
【図３７】
2009093421.tif 000082
【図３８】
2009093421.tif 000083
【図３９】
2009093421.tif 000084
【図４０】
2009093421.tif 000085
【図４１】
2009093421.tif 000086
【図４２】
2009093421.tif 000087
【図４３】
2009093421.tif 000088
【国際調査報告】
2009093421.tif 000089
2009093421.tif 000090
2009093421.tif 000091
2009093421.tif 000092