(57)【要約】  本技術は、より少ない演算で、違和感の少ない補間信号を得ることができるようにする復号装置および方法、オーディオ信号処理装置および方法、並びにプログラムに関する。フレーム信号復号部はフレームデータを復号して復号信号を生成し、補間状態判定部はエラーフラグに基づいて、出力信号を得るために行なわれる処理パターンを決定する補間ステータスを判定する。類似信号検出部は、過去の出力信号を間引くことで得られた間引き信号の一部を抽出する。アップサンプル部は、抽出された間引き信号をアップサンプルし、スムージング部は、アップサンプルされた間引き信号にスムージング処理を施し、補間信号を生成する。出力切替部は、補間ステータスに応じて、復号信号、補間信号、または復号信号と補間信号を重み付き重複加算して得られる信号の何れかを、出力信号として出力する。本技術は、オーディオ信号処理装置に適用することができる。
2013154027.tif 000002
【特許請求の範囲】
【請求項１】
フレーム単位のオーディオ信号を復号して復号信号を生成する復号部と、
過去に出力された出力信号に間引き処理を施して間引き信号を生成する間引き部と、
前記間引き信号に基づいて補間信号を生成する補間信号生成部と、
フレームのエラー情報に応じて、前記復号信号、または前記補間信号の何れかを前記出力信号として出力する出力切替部と
を備える復号装置。
【請求項２】
前記間引き部は、前記出力信号に対してそのまま前記間引き処理を施すことで、前記出力信号の高域の折り返し成分が混入された前記間引き信号を生成する
請求項１に記載の復号装置。
【請求項３】
前記間引き信号を保持する間引き信号保持部と、
処理対象のフレームの前記オーディオ信号が消失した場合、消失した前記オーディオ信号の直前の時刻の前記間引き信号の区間と類似する類似区間を、前記間引き信号保持部に保持されている前記間引き信号から検出する類似信号検出部と
をさらに備え、
前記補間信号生成部は、前記間引き信号保持部に保持されている前記間引き信号のうち、前記類似区間直後の区間の信号に基づいて前記補間信号を生成する
請求項２に記載の復号装置。
【請求項４】
前記補間信号生成部は、前記間引き信号保持部に保持されている前記間引き信号のうち、前記類似区間直後の区間の信号をアップサンプルし、
前記補間信号生成部によりアップサンプルされた信号に対して、ローパスフィルタを用いたフィルタ処理を施して前記補間信号とするスムージング部をさらに備える
請求項３に記載の復号装置。
【請求項５】
前記スムージング部は、消失した前記処理対象のフレームの前記オーディオ信号の直前の前記オーディオ信号、または消失した前記オーディオ信号の直前の時刻の前記間引き信号をアップサンプルして得られる信号を、前記ローパスフィルタの内部状態の初期値として用いる
請求項４に記載の復号装置。
【請求項６】
前記間引き部は、前記出力信号として前記出力切替部から出力された、前記復号信号または前記補間信号に前記間引き処理を施して前記間引き信号を生成する
請求項５に記載の復号装置。
【請求項７】
フレームの前記エラー情報に基づいて、補間ステータスを判定する補間状態判定部をさらに備え、
前記出力切替部は、前記補間信号と前記復号信号を重み付き重複加算することで加算信号を生成し、前記補間ステータスに応じて、前記復号信号、前記補間信号、または前記加算信号の何れかを前記出力信号として出力する
請求項６に記載の復号装置。
【請求項８】
フレーム単位のオーディオ信号を復号して復号信号を生成し、
過去に出力された出力信号に間引き処理を施して間引き信号を生成し、
前記間引き信号に基づいて補間信号を生成し、
フレームのエラー情報に応じて、前記復号信号、または前記補間信号の何れかを前記出力信号として出力する
ステップを含む復号方法。
【請求項９】
フレーム単位のオーディオ信号を復号して復号信号を生成し、
過去に出力された出力信号に間引き処理を施して間引き信号を生成し、
前記間引き信号に基づいて補間信号を生成し、
フレームのエラー情報に応じて、前記復号信号、または前記補間信号の何れかを前記出力信号として出力する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１０】
所定の長さの２つのバッファからなるダブルバッファが用いられてオーディオ信号に対する処理が行なわれる場合に、前記ダブルバッファをスイッチさせるタイミングで、内部タイミング信号を出力するタイミング信号発生部と、
前記内部タイミング信号と、外部から供給される外部タイミング信号とが同期していない場合、前記内部タイミング信号と前記外部タイミング信号との位相差だけ、前記ダブルバッファをスイッチさせるタイミングを短縮させることで、前記内部タイミング信号と前記外部タイミング信号を同期させる同期制御部と
を備えるオーディオ信号処理装置。
【請求項１１】
前記内部タイミング信号と前記外部タイミング信号が同期している場合、同期完了状態として、前記ダブルバッファを用いた前記オーディオ信号に対する処理を実行させ、前記内部タイミング信号と前記外部タイミング信号が同期していない場合、同期未完了状態として、前記オーディオ信号に対する処理を停止させる状態遷移部をさらに備える
請求項１０に記載のオーディオ信号処理装置。
【請求項１２】
前記状態遷移部は、複数のチャンネルの前記オーディオ信号に対する処理の実行を制御し、処理対象となる前記オーディオ信号のチャンネル数の変更が要求された場合、前記同期未完了状態として、前記オーディオ信号に対する処理を停止させる
請求項１１に記載のオーディオ信号処理装置。
【請求項１３】
前記同期制御部は、前記位相差だけ前記ダブルバッファを構成する１つのバッファの長さを短くすることで、前記ダブルバッファをスイッチさせるタイミングを短縮させて前記内部タイミング信号と前記外部タイミング信号を同期させた後、短くしたバッファの長さをもとの長さに戻すことで、前記ダブルバッファの次のスイッチまでの長さを短縮前のもとの長さに戻す
請求項１２に記載のオーディオ信号処理装置。
【請求項１４】
前記タイミング信号発生部は、受信された前記オーディオ信号を前記ダブルバッファを構成する一方のバッファに格納していき、前記一方のバッファへの前記オーディオ信号の格納が終了したタイミングで前記ダブルバッファをスイッチさせて前記内部タイミング信号を出力し、
前記状態遷移部は、前記同期完了状態であるか、または前記同期未完了状態であるかに応じて、前記オーディオ信号の符号化を制御し、
前記同期完了状態である場合、前記ダブルバッファを構成する他方のバッファに格納されている前記オーディオ信号を符号化する符号化部をさらに備える
請求項１３に記載のオーディオ信号処理装置。
【請求項１５】
前記タイミング信号発生部は、前記ダブルバッファを構成する一方のバッファに格納されている、復号された前記オーディオ信号を送信していき、前記一方のバッファの前記オーディオ信号の送信が終了したタイミングで前記ダブルバッファをスイッチさせて前記内部タイミング信号を出力し、
前記状態遷移部は、前記同期完了状態であるか、または前記同期未完了状態であるかに応じて、前記オーディオ信号の復号を制御し、
前記同期完了状態である場合、前記オーディオ信号を復号して前記ダブルバッファを構成する他方のバッファに格納していく復号部をさらに備える
請求項１３に記載のオーディオ信号処理装置。
【請求項１６】
処理対象となる前記オーディオ信号のチャンネル数の取り得る最大値により定まる大きさの記録領域が、各チャンネルの前記オーディオ信号に対する処理に必要な情報を格納するための静的データ格納領域として確保され、
前記チャンネル数の変更が要求された場合、前記オーディオ信号に対する処理に必要な情報が格納されるチャンネルごとの静的データ領域が前記静的データ格納領域上に確保される
請求項１２に記載のオーディオ信号処理装置。
【請求項１７】
所定の長さの２つのバッファからなるダブルバッファが用いられてオーディオ信号に対する処理が行なわれる場合に、前記ダブルバッファをスイッチさせるタイミングで、内部タイミング信号を出力し、
前記内部タイミング信号と、外部から供給される外部タイミング信号とが同期していない場合、前記内部タイミング信号と前記外部タイミング信号との位相差だけ、前記ダブルバッファをスイッチさせるタイミングを短縮させることで、前記内部タイミング信号と前記外部タイミング信号を同期させる
ステップを含むオーディオ信号処理方法。
【請求項１８】
所定の長さの２つのバッファからなるダブルバッファが用いられてオーディオ信号に対する処理が行なわれる場合に、前記ダブルバッファをスイッチさせるタイミングで、内部タイミング信号を出力し、
前記内部タイミング信号と、外部から供給される外部タイミング信号とが同期していない場合、前記内部タイミング信号と前記外部タイミング信号との位相差だけ、前記ダブルバッファをスイッチさせるタイミングを短縮させることで、前記内部タイミング信号と前記外部タイミング信号を同期させる
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は復号装置および方法、オーディオ信号処理装置および方法、並びにプログラムに関し、特に、オーディオ信号を符号化または復号する場合に用いて好適な復号装置および方法、オーディオ信号処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、オーディオ符号化装置において、MDCT（Modified Discrete Cosine Transform，修正コサイン変換）のような隣接するブロックのオーディオ信号を重複させて直交変換し、符号化する符号化装置がよく用いられている。【０００３】
このような符号化装置で符号化されたデータがパケット化されて伝送され、そのパケットが伝送中に消失した場合、あるいはデータにエラーが発生した場合は、そのデータのフレームだけでなく次のフレームも正しく復号できず、音声が途切れたりして音質が著しく低下する。これを防ぐため、パケットが消失した場合や復号時にエラーが発生した場合には、エラー部分を補足する目的で消失したフレーム信号を補間する補間信号を生成する必要がある。【０００４】
補間信号の生成方法としては、例えば、無音や雑音で置き換える方法、前のフレームデータを用いる方法、過去の類似波形で置換する方法（WS（Waveform Substitution）法）、ピッチ波形を反復する方法（PWS（Pitch Waveform Substitution）法）などがある。【０００５】
波形置換法（WS法）やピッチ波形置換法（PWS法）は、例えば非特許文献１、および非特許文献２に詳しく書かれている。【０００６】
また、高帯域成分についての補間を、その周期的強度に基づいて、ピッチ反復に基づく補間と前のフレームの繰り返しによる補間を切り替える方法も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】D.J.Goodman, et al,「Waveform Substitution Techniques for Recovering Missing Speech Segments in Packet Voice Communications」 ,IEEE Transactions on Acoustics, Speech, and Signal Processing、ASSP−34 No.6 1440-1448（1986）
【非特許文献２】O.J.Wasem et al., 「The effect of waveform substitution on the quality of PCM packet communications」 IEEE Trans. Acoustics, Speech, and Sig. Processing, vol.36, no.3, Mar.1988, pp.342-48
【特許文献】
【０００８】
【特許文献１】特許第４６０３０９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した方法でピッチ周期を求めて補間信号を生成するためには多くのメモリと演算が必要である。特に、サンプリング周波数が高い場合、ピッチ周期の想定範囲に対応するサンプル数の範囲が広いため、ピッチ周期を求めるためのバッファサイズや演算量は大きくなる。そのため、少ない演算量で、違和感の少ない補間信号を得る方法が望まれていた。【００１０】
ところで、放送局等では、多チャンネルのオーディオ信号を符号化，復号し、そのチャンネル構成を迅速に変更する必要がある。ところが、各チャンネルに対応するオーディオ信号符号化，復号装置の静的データ領域を動的に確保した場合、チャンネル設定変更するには一度確保した静的データ領域を解放し、新たに静的メモリ領域を確保する必要があり、最悪の場合、データの断片化を引き起こす恐れがあった。【００１１】
またオーディオ信号と、ビデオ（画像）等の他の信号との同期を取る必要があるため、同期した状態でチャンネル設定を変更すると装置が不安定になる恐れがあった。【００１２】
さらに、オーディオ信号を画像等の他の信号と同期させるため、オーディオ信号符号化，復号装置の所定のサンプル数で構成されるフレーム周期で外部同期信号を信号処理装置に供給する必要がある。そこで、この外部同期信号に従ってオーディオ信号を取り込むには、オーディオ信号の各サンプルの送受信割り込みの際に外部同期信号を受信したか否かを検出する手法も考えられるが過大な負荷を要することになり、リングバッファで音声、音声オーディオ信号の送受信を行い、外部同期信号を受信したタイミングでオーディオ信号を取り込むとすると、オーディオ信号送受信のポインタの管理が煩雑になってしまう。【００１３】
本技術は、このような状況に鑑みてなされたものであり、より少ない演算で、違和感の少ない補間信号を得ることができるようにするものである。また、本技術は、より簡単にオーディオ信号と他の信号を同期させて符号化または復号を行なうことができるようにするものである。
【課題を解決するための手段】
【００１４】
本技術の第１の側面の復号装置は、フレーム単位のオーディオ信号を復号して復号信号を生成する復号部と、過去に出力された出力信号に間引き処理を施して間引き信号を生成する間引き部と、前記間引き信号に基づいて補間信号を生成する補間信号生成部と、フレームのエラー情報に応じて、前記復号信号、または前記補間信号の何れかを前記出力信号として出力する出力切替部とを備える。【００１５】
前記間引き部には、前記出力信号に対してそのまま前記間引き処理を施すことで、前記出力信号の高域の折り返し成分が混入された前記間引き信号を生成させることができる。【００１６】
復号装置には、前記間引き信号を保持する間引き信号保持部と、処理対象のフレームの前記オーディオ信号が消失した場合、消失した前記オーディオ信号の直前の時刻の前記間引き信号の区間と類似する類似区間を、前記間引き信号保持部に保持されている前記間引き信号から検出する類似信号検出部とをさらに設け、前記補間信号生成部には、前記間引き信号保持部に保持されている前記間引き信号のうち、前記類似区間直後の区間の信号に基づいて前記補間信号を生成させることができる。【００１７】
前記補間信号生成部には、前記間引き信号保持部に保持されている前記間引き信号のうち、前記類似区間直後の区間の信号をアップサンプルさせ、復号装置には、前記補間信号生成部によりアップサンプルされた信号に対して、ローパスフィルタを用いたフィルタ処理を施して前記補間信号とするスムージング部をさらに設けることができる。【００１８】
前記スムージング部には、消失した前記処理対象のフレームの前記オーディオ信号の直前の前記オーディオ信号、または消失した前記オーディオ信号の直前の時刻の前記間引き信号をアップサンプルして得られる信号を、前記ローパスフィルタの内部状態の初期値として用いるようにさせることができる。【００１９】
前記間引き部には、前記出力信号として前記出力切替部から出力された、前記復号信号または前記補間信号に前記間引き処理を施して前記間引き信号を生成させることができる。【００２０】
復号装置には、フレームの前記エラー情報に基づいて、補間ステータスを判定する補間状態判定部をさらに設け、前記出力切替部には、前記補間信号と前記復号信号を重み付き重複加算することで加算信号を生成させ、前記補間ステータスに応じて、前記復号信号、前記補間信号、または前記加算信号の何れかを前記出力信号として出力させることができる。【００２１】
本技術の第１の側面の復号方法またはプログラムは、フレーム単位のオーディオ信号を復号して復号信号を生成し、過去に出力された出力信号に間引き処理を施して間引き信号を生成し、前記間引き信号に基づいて補間信号を生成し、フレームのエラー情報に応じて、前記復号信号、または前記補間信号の何れかを前記出力信号として出力するステップを含む。【００２２】
本技術の第１の側面においては、フレーム単位のオーディオ信号が復号されて復号信号が生成され、過去に出力された出力信号に間引き処理が施されて間引き信号が生成され、前記間引き信号に基づいて補間信号が生成され、フレームのエラー情報に応じて、前記復号信号、または前記補間信号の何れかが前記出力信号として出力される。【００２３】
本技術の第２の側面のオーディオ信号処理装置は、所定の長さの２つのバッファからなるダブルバッファが用いられてオーディオ信号に対する処理が行なわれる場合に、前記ダブルバッファをスイッチさせるタイミングで、内部タイミング信号を出力するタイミング信号発生部と、前記内部タイミング信号と、外部から供給される外部タイミング信号とが同期していない場合、前記内部タイミング信号と前記外部タイミング信号との位相差だけ、前記ダブルバッファをスイッチさせるタイミングを短縮させることで、前記内部タイミング信号と前記外部タイミング信号を同期させる同期制御部とを備える。【００２４】
オーディオ信号処理装置には、前記内部タイミング信号と前記外部タイミング信号が同期している場合、同期完了状態として、前記ダブルバッファを用いた前記オーディオ信号に対する処理を実行させ、前記内部タイミング信号と前記外部タイミング信号が同期していない場合、同期未完了状態として、前記オーディオ信号に対する処理を停止させる状態遷移部をさらに設けることができる。【００２５】
前記状態遷移部には、複数のチャンネルの前記オーディオ信号に対する処理の実行を制御させ、処理対象となる前記オーディオ信号のチャンネル数の変更が要求された場合、前記同期未完了状態として、前記オーディオ信号に対する処理を停止させることができる。【００２６】
前記同期制御部には、前記位相差だけ前記ダブルバッファを構成する１つのバッファの長さを短くすることで、前記ダブルバッファをスイッチさせるタイミングを短縮させて前記内部タイミング信号と前記外部タイミング信号を同期させた後、短くしたバッファの長さをもとの長さに戻すことで、前記ダブルバッファの次のスイッチまでの長さを短縮前のもとの長さに戻させることができる。【００２７】
前記タイミング信号発生部には、受信された前記オーディオ信号を前記ダブルバッファを構成する一方のバッファに格納させていき、前記一方のバッファへの前記オーディオ信号の格納が終了したタイミングで前記ダブルバッファをスイッチさせて前記内部タイミング信号を出力させ、前記状態遷移部には、前記同期完了状態であるか、または前記同期未完了状態であるかに応じて、前記オーディオ信号の符号化を制御させ、オーディオ信号処理装置には、前記同期完了状態である場合、前記ダブルバッファを構成する他方のバッファに格納されている前記オーディオ信号を符号化する符号化部をさらに設けることができる。【００２８】
前記タイミング信号発生部には、前記ダブルバッファを構成する一方のバッファに格納されている、復号された前記オーディオ信号を送信させていき、前記一方のバッファの前記オーディオ信号の送信が終了したタイミングで前記ダブルバッファをスイッチさせて前記内部タイミング信号を出力させ、前記状態遷移部には、前記同期完了状態であるか、または前記同期未完了状態であるかに応じて、前記オーディオ信号の復号を制御させ、オーディオ信号処理装置には、前記同期完了状態である場合、前記オーディオ信号を復号して前記ダブルバッファを構成する他方のバッファに格納していく復号部をさらに設けることができる。【００２９】
処理対象となる前記オーディオ信号のチャンネル数の取り得る最大値により定まる大きさの記録領域が、各チャンネルの前記オーディオ信号に対する処理に必要な情報を格納するための静的データ格納領域として確保され、前記チャンネル数の変更が要求された場合、前記オーディオ信号に対する処理に必要な情報が格納されるチャンネルごとの静的データ領域が前記静的データ格納領域上に確保されるようにすることができる。【００３０】
本技術の第２の側面のオーディオ信号処理方法またはプログラムは、所定の長さの２つのバッファからなるダブルバッファが用いられてオーディオ信号に対する処理が行なわれる場合に、前記ダブルバッファをスイッチさせるタイミングで、内部タイミング信号を出力し、前記内部タイミング信号と、外部から供給される外部タイミング信号とが同期していない場合、前記内部タイミング信号と前記外部タイミング信号との位相差だけ、前記ダブルバッファをスイッチさせるタイミングを短縮させることで、前記内部タイミング信号と前記外部タイミング信号を同期させるステップを含む。【００３１】
本技術の第２の側面においては、所定の長さの２つのバッファからなるダブルバッファが用いられてオーディオ信号に対する処理が行なわれる場合に、前記ダブルバッファをスイッチさせるタイミングで、内部タイミング信号が出力され、前記内部タイミング信号と、外部から供給される外部タイミング信号とが同期していない場合、前記内部タイミング信号と前記外部タイミング信号との位相差だけ、前記ダブルバッファをスイッチさせるタイミングを短縮させることで、前記内部タイミング信号と前記外部タイミング信号が同期される。
【発明の効果】
【００３２】
本技術の第１の側面によれば、より少ない演算で、違和感の少ない補間信号を得ることができる。また、本技術の第２の側面によれば、より簡単にオーディオ信号と他の信号を同期させて符号化または復号を行なうことができる。
【図面の簡単な説明】
【００３３】
【図１】オーディオ信号処理装置の構成例を示す図である。
【図２】補間ステータスと処理パターンについて説明する図である。
【図３】補間ステータスの遷移について説明する図である。
【図４】出力切替部の内部の構成例を示す図である。
【図５】重みの一例を示す図である。
【図６】復号処理について説明するフローチャートである。
【図７】折り返し混入間引きの効果について説明する図である。
【図８】補間信号の生成について説明する図である。
【図９】オーディオ信号処理装置の構成例を示す図である。
【図１０】オーディオ信号のフレーム同期について説明する図である。
【図１１】各チャンネルの静的データ領域の確保について説明する図である。
【図１２】同期状態の遷移について説明する図である。
【図１３】符号化・復号処理について説明するフローチャートである。
【図１４】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００３５】
〈第１の実施の形態〉
［本技術の特徴について］
まず、第１の実施の形態で示す本技術の特徴について説明する。
【００３６】
本技術は、符号化された音声データ（オーディオ信号）を復号するときに、伝送パケットの消失などによりエラーが発生した場合に、より少ない演算量で、簡単に違和感の少ない補間信号（代替信号）を得ることができるようにするものである。特に、本技術は、以下の（１）乃至（７）の特徴を有している。
【００３７】
（１）
入力信号のフレームデータを間引いて保存し、フレームが消失した場合に、過去の間引きデータを元に消失フレームの補間信号を生成する音声信号の補間方法，装置
【００３８】
（２）
上記（１）において、フレームデータを間引く際に、高域除去フィルタを適用せずに間引きを行うことで、高域の折り返し成分を混入させる間引き処理を特徴とするもの
【００３９】
（３）
上記（１），（２）において、間引いたフレーム信号をバッファに保存し、フレームデータが消失した場合に、バッファ内にある消失直前の間引き信号と類似した部分をバッファ内の信号から探し、その類似部分の直後の間引き信号をアップサンプルし、ローパスフィルタを適用してスムージングすることで補間信号を生成することを特徴とするもの
【００４０】
（４）
上記（３）において、アップサンプルした信号にローパスフィルタを適用する際に、フィルタの内部状態の初期値として、消失フレームの直前の信号サンプル、もしくは、直前の間引き信号をアップサンプルした信号を用いるもの
【００４１】
（５）
上記（１）乃至（４）において、補間処理によって生成された補間信号を、補間信号の生成のために間引き処理を行って、バッファに保存するもの
【００４２】
（６）
符号化されたデータを復号する復号装置であって、復号された信号と補間処理によって生成された補間信号をフレームの先頭から所定のサンプル数だけ重みつき重複加算して出力を生成する上記（１）乃至（５）の補間装置
【００４３】
（７）
上記（１）乃至（６）において、補間ステータスを保持する状態変数を有し、その補間ステータスに基づいて、上記類似部分検出サーチおよび重み付き重複加算の有無を切り替えるもの
【００４４】
［オーディオ信号処理装置の構成］
次に、本技術を適用したオーディオ信号処理装置について説明する。図１は、本技術を適用したオーディオ信号処理装置の一実施の形態の構成例を示す図である。
【００４５】
図１のオーディオ信号処理装置１１は、入力端子２１、エラーフラグ入力端子２２、フレーム信号復号部２３、補間状態判定部２４、出力切替部２５、折り返し混入間引き部２６、間引き信号バッファ２７、類似信号検出部２８、アップサンプル部２９、スムージング部３０、および出力端子３１から構成される。
【００４６】
すなわち、オーディオ信号処理装置１１は、符号化されたフレームデータを入力する入力端子２１、エラーフラグ入力端子２２、フレームデータを復号して時間信号サンプルに変換するフレーム信号復号部２３、フレームの補間ステータスを判定する補間状態判定部２４、出力するフレームデータを合成して切替する出力切替部２５、出力信号を間引いて折り返し信号を混入させる折り返し混入間引き部２６、間引かれた信号サンプルを保存する間引き信号バッファ２７、バッファの中から補間信号の生成に最適な部分を検出する類似信号検出部２８、検出された位置の信号をアップサンプルして中間補間信号を生成するアップサンプル部２９、アップサンプルされた信号をスムージングして前フレームとスムーズな接続を行うスムージング部３０、フレームの時間信号サンプルを出力する出力端子３１から構成される。
【００４７】
［オーディオ信号処理装置の動作について］
次にオーディオ信号処理装置１１の動作について説明する。
【００４８】
入力端子２１には、所定のフレーム単位で符号化されて伝送されたフレームデータが入力され、フレーム信号復号部２３に供給される。例えば、入力端子２１に入力されるフレームデータは、処理対象のフレームの復号時に、処理対象のフレームと、そのフレームの直前のフレームが必要となるMDCTなどの方式により符号化されたオーディオ信号の各フレームのデータとされる。
【００４９】
また、エラーフラグ入力端子２２には、現在フレームの消失有無を示すフレームエラーフラグが入力され、補間状態判定部２４に供給される。
【００５０】
ここで、正常にフレームデータを受信した場合は、このエラーフラグはＯＦＦ（値０）である。一方、伝送中のエラーや遅延などによりパケットが規定の時間までに到着しない場合は、そのパケットに含まれるフレームデータは消失したとみなされ、エラーフラグはＯＮ（値１）になる。
【００５１】
エラーフラグがＯＮの場合、入力端子２１からはフレームデータは入力されない（あるいはダミーデータが入力される）。
【００５２】
補間状態判定部２４は、エラーフラグ入力端子２２から入力されたエラーフラグにしたがって補間処理のステータス（補間ステータス）を判断する。このステータスによって装置の動作が異なる。ここで、図２に補間ステータスと対応する処理の一覧を示す。
【００５３】
図２では、補間ステータス「Status」、フレーム（ｎ−２），フレーム（ｎ−１），フレームｎの各フレームのエラーフラグ（消失フラグ）「Ｓｎ−２」，「Ｓｎ−１」，「Ｓｎ」、処理パターン、および処理内容が示されている。
【００５４】
すなわち、図２において「Status」は、状態を区別する補間ステータスであり、補間ステータスには、「０」乃至「７」の各ステータスがある。
【００５５】
また、「Ｓｎ」はｎ番目のフレーム、つまりフレームｎにおけるエラーフラグの値である。具体的には、エラーフラグの値「０」（Ｓｎ＝０）は、フレームｎが正常フレームデータであることを示しており、エラーフラグの値「１」（Ｓｎ＝１）は、フレームｎがエラーで消失した消失フレームであることを示している。
【００５６】
同様に「Ｓｎ−１」は前フレームのエラーフラグ、つまり（ｎ−１）番目のフレーム（ｎ−１）のエラーフラグの値を示しており、「Ｓｎ−２」は前の前のフレームのエラーフラグ、つまり（ｎ−２）番目のフレーム（ｎ−２）のエラーフラグの値を示している。
【００５７】
また、処理パターンＰ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４は、各補間ステータスに対応する処理のパターンである。
【００５８】
図３は、図２に示す補間ステータスStatusの状態遷移図である。図３では、各楕円内に記された数値が各補間ステータスを表している。例えば、数値「０」が記されている楕円は、補間ステータス「０」を表している。また、各補間ステータスを結ぶ矢印に記された数値は、エラーフラグの値を示している。
【００５９】
例えば、（ｎ−１）フレームまで正常フレームが続けば補間ステータスStatusは「０」であるが、ｎ番目のフレームが消失してエラーフラグがＯＮになると補間ステータスStatusは「１」になる。続くｎ＋１番目のフレームで正常フレームが受信されれば、補間ステータスStatusは「２」となるが、エラーが続けば補間ステータスStatusは「３」となる。
【００６０】
このようにして、過去のエラーフラグによって補間ステータスStatusが遷移し、図２に示したように補間ステータスStatusの値によって行うべき処理が異なる。
【００６１】
補間ステータスStatus「０」は、正常フレームが続いている場合で、この場合、復号処理のみが行なわれ、通常の復号信号が出力される。このような処理が処理パターン「Ｐ０」とされる。
【００６２】
補間ステータスStatus「１」では、バッファ内から補間信号の生成に最適な部分をサーチする初期サーチが行われてから、消失したフレームの補間信号が生成される。このような処理が処理パターン「Ｐ１」とされる。補間ステータスStatus「１」となるのは、直前の２フレームは正常フレームであったが、現フレームでフレームの消失が発生した場合である。
【００６３】
補間ステータスStatus「２」では、上記初期サーチが行なわれず、前フレームの補間処理で用いた情報から継続した補間信号が生成されるとともに、次のフレームのために受信したフレームが復号される（但し復号信号は正しくないので出力しない）。このような処理が処理パターン「Ｐ２」とされる。
【００６４】
補間ステータスStatus「３」では、上記初期サーチが行なわれず、前フレームの補間処理から継続した補間信号が生成される。このような処理が処理パターン「Ｐ３」とされる。補間ステータスStatus「２」や補間ステータスStatus「３」のように、現フレームの前のフレームにおいてフレームの消失が生じ、補間信号が生成される場合には、初期サーチが行なわれずに補間信号が生成される。
【００６５】
補間ステータスStatus「４」では、受信したフレームが通常復号されるとともに、直前フレームの補間信号とスムーズに接続するため、重みつき重複加算（オーバーラップ加算）が行なわれる。このような処理が処理パターン「Ｐ４」とされる。
【００６６】
また、補間ステータスStatus「５」と補間ステータスStatus「７」での処理は、補間ステータスStatus「３」における処理と同じ処理パターン「Ｐ３」の処理である。補間ステータスStatus「６」での処理は、補間ステータスStatus「２」における処理と同じ処理パターン「Ｐ２」の処理である。
【００６７】
以降、補間ステータスStatusによって処理が異なる。
【００６８】
まず、出力切替部２５について説明する。図４は、出力切替部２５の内部の構成例を示す図である。
【００６９】
図４に示す出力切替部２５は、端子６１、乗算部６２、端子６３、乗算部６４、加算部６５、切替スイッチ６６、および出力端子６７を備えている。また、切替スイッチ６６には、端子Ｔ０乃至端子Ｔ２が設けられており、切替スイッチ６６は、端子Ｔ０乃至端子Ｔ２の何れかと、出力端子６７とを接続することで、出力を切り替える。
【００７０】
端子６１には、フレーム信号復号部２３からの復号信号が供給され、この復号信号は、乗算部６２および端子Ｔ０に供給される。また、乗算部６２は、端子６１からの復号信号に重みＷｄｅｃを乗算し、加算部６５に供給する。
【００７１】
端子６３には、スムージング部３０からの補間信号が供給され、この補間信号は、乗算部６４および端子Ｔ２に供給される。また、乗算部６４は、端子６３からの補間信号に重み（１−Ｗｄｅｃ）を乗算し、加算部６５に供給する。
【００７２】
加算部６５は、乗算部６２からの復号信号と乗算部６４からの補間信号を加算し、端子Ｔ１に供給する。切替スイッチ６６は、補間状態判定部２４から供給された補間ステータスに基づいて、端子Ｔ０乃至端子Ｔ２の何れかを出力端子６７に接続させる。
【００７３】
すなわち、補間ステータスStatus=0である場合、端子Ｔ０が出力端子６７に接続され、復号信号がそのまま出力端子３１に出力される。
【００７４】
また、補間ステータスStatus=4である場合、端子Ｔ１が出力端子６７に接続され、加算部６５から出力された、重複加算された信号が出力端子３１に出力される。さらに、補間ステータスが０でも４でもない場合、端子Ｔ２が出力端子６７に接続され、補間信号がそのまま出力端子３１に出力される。
【００７５】
ここで、乗算部６２で復号信号に乗算される重みＷｄｅｃは、例えば図５に示すような重みとされる。なお、図５において、縦軸は重みＷｄｅｃの値を示しており、横軸は復号信号のサンプルを示している。
【００７６】
図５の例では、１フレーム分の復号信号はＮサンプルからなり、復号信号の先頭のサンプルからＭ番目のサンプルまでは、各サンプルに乗算される重みＷｄｅｃの値が、時間的に後にあるサンプルに乗算される重みほど直線的に大きくなっている。そして、Ｍ番目以降のサンプルの重みＷｄｅｃの値は１となっている。
【００７７】
したがって、復号信号と補間信号が、重みＷｄｅｃにより重み付き重複加算される場合、出力として得られるフレームは、Ｍ番目のサンプルまでは補間信号から復号信号へとしだいに変化していき、その後は復号信号となる。このような重み付き重複加算により、補間信号から復号信号にスムーズに遷移していく信号が得られる。
【００７８】
［オーディオ信号処理装置の動作について］
続いて、図６のフローチャートを参照して、オーディオ信号処理装置１１による復号処理について説明する。なお、この復号処理は、オーディオ信号処理装置１１に１フレーム分のフレームデータが供給されるたびに行われる。
【００７９】
ステップＳ１１において、補間状態判定部２４は、エラーフラグ入力端子２２から供給されたエラーフラグに基づいて、補間ステータスStatusを判定し、その判定結果を出力切替部２５の切替スイッチ６６および類似信号検出部２８に供給する。例えば、図２に示したように、エラーフラグＳｎ−２，Ｓｎ−１，Ｓｎから補間ステータスが定められる。
【００８０】
ステップＳ１２において、オーディオ信号処理装置１１は、補間ステータスStatusの値が偶数であるか否かを判定する。
【００８１】
まず、補間ステータスStatus＝0である場合の処理について説明する。すなわち、ステップＳ１２において、補間ステータスStatusの値が偶数であると判定された場合、処理はステップＳ１３に進む。補間ステータスStatusの値が偶数であれば、最新フレーム、すなわち処理対象である現フレームのエラーフラグは０であるので、フレームデータの復号が可能である。
【００８２】
ステップＳ１３において、フレーム信号復号部２３は、入力端子２１から供給されたフレームデータを復号し、その結果得られた復号信号を出力切替部２５の端子６１に供給する。このとき、フレーム信号復号部２３は、現フレームの直前のフレームを用いて、入力端子２１から供給された現フレームのフレームデータを復号する。
【００８３】
ステップＳ１４において、出力切替部２５の切替スイッチ６６は、補間状態判定部２４から供給された補間ステータスStatusの値が０であるか否かを判定する。ステップＳ１４において、補間ステータスStatusの値が０であると判定された場合、処理はステップＳ１５へと進む。
【００８４】
ステップＳ１５において、出力切替部２５の切替スイッチ６６は、切替スイッチSwitchを復号信号側の端子Ｔ０に切り替える。これにより、端子Ｔ０と出力端子６７が接続され、フレーム信号復号部２３から端子６１を介して端子Ｔ０に入力された復号信号が、そのまま出力端子６７を介して出力端子３１に供給される。つまり、復号信号がそのまま出力信号（フレーム信号）とされる。
【００８５】
ステップＳ１６において、出力端子３１は、出力切替部２５の出力端子６７から供給されたフレーム信号（復号信号）を、出力信号として後段の装置に出力する。また、出力端子６７から出力された出力信号は、折り返し混入間引き部２６にも供給される。
【００８６】
ステップＳ１７において、折り返し混入間引き部２６は、出力切替部２５から供給されたフレーム信号（出力信号）を、所定のサンプル単位（例えば、２，４，８などのサンプル単位）で間引いてダウンサンプリングを行ない、その結果得られた間引き信号を間引き信号バッファ２７に供給し、保存させる。
【００８７】
この際、通常行われるような、間引き前のエイリアシングを防ぐためのローパスフィルタは適用しない。これによって、フィルタ演算による処理負荷をなくし、さらに信号の高域エネルギーを損失することなく低域成分に変換して、間引き信号に混入させることができる。
【００８８】
フレーム信号に対する間引きにより得られた間引き信号は、間引き信号バッファ２７に供給されて保存される。間引き信号バッファ２７は、最新のサンプルから所定の過去サンプル数（40乃至200m秒分程度）のサンプルを記憶しており、これらの間引き信号のサンプルはフレームデータが欠落した場合に補間信号の生成に利用される。
【００８９】
ステップＳ１７の処理が行なわれて間引き信号が保存されると、復号処理は終了し、次のフレームのフレームデータに対する復号処理が行なわれる。
【００９０】
ところで、図７は、折り返し成分を混入することによる効果を示す図である。
【００９１】
図７の左側に示すように、高域に周期性をもったエネルギーが集中し、低域にエネルギーがないような入力信号の場合、この信号に対して通常の折り返しカットのフィルタを行う間引き処理を行ったとき、図中、右上に示すように、間引かれた信号からは高域にあったエネルギーや周期性が消失し、その信号にはノイズ性の微弱な低域成分しか残らない。
【００９２】
この信号を元に補間信号を生成すると、本来の信号と比べてエネルギーが消失し、ノイズ化によって補間処理の音質が劣化する。
【００９３】
図中、左側に示す入力信号のスペクトルでは、入力信号のエネルギーは高域側に集中しており、高域成分には周期性がある。このような入力信号に対して、通常行なわれている間引き処理が行なわれたとする。
【００９４】
通常、間引き処理が行なわれる場合、まず入力信号に対してローパスフィルタによるフィルタ処理が施され、その結果得られた信号のサンプルが間引かれる。そうすると、間引き処理により得られる信号のスペクトルは、図中、右上に示すようになる。この例では、得られた信号のスペクトルには低域成分のみが含まれており、その低域成分の波形は、入力信号の低域成分の波形とほぼ同じとなっている。
【００９５】
つまり、通常の間引き処理では、入力信号のエネルギーや周期性が消失してしまうので、間引き処理により得られる信号はノイズのような時間波形の信号となってしまう。このようにして得られた信号を用いて補間信号を生成しても、出力信号の音質劣化を抑制することはできない。
【００９６】
一方、オーディオ信号処理装置１１の折り返し混入間引き部２６では、折り返し除去のためのローパスフィルタを適用しないでサンプルが間引かれる。この場合、図中、右下に示すように、高域の周期性をもったエネルギーが低域成分に折り返して混入し、高周波の周期成分は、低域成分に変換された周期波形となる。これによって元の信号のエネルギーと高域の周期性が保持され、補間処理の音質を向上させることができる。
【００９７】
すなわち、折り返し混入間引き部２６では、入力された出力信号に対して何ら処理が施されず、そのまま出力信号のサンプルが間引かれる。これにより、間引きにより得られる間引き信号には、出力信号の高域の折り返し成分が混入されることになる。なお、以下、出力信号に対してフィルタ処理等を施さず、出力信号を直接間引く処理を折り返し混入間引き処理と称することとする。
【００９８】
例えば、図中、左側に示す入力信号に対して折り返し混入間引き処理が行なわれると、その結果得られた間引き信号のスペクトルは、図中、右下に示すようになる。この例では、間引き信号の低域成分のスペクトル波形は、もとの入力信号の高域成分の波形を低域側に折り返して得られる波形となっている。
【００９９】
このことは、折り返し混入間引き処理で得られた間引き信号には、もとの入力信号の高域の周期性をもったエネルギーが低域側に折り返されて混入していることを示している。つまり、間引き信号には、もとの入力信号の高域成分に含まれていたエネルギーと周期性（高域の折り返し成分）が含まれている。そのため、このようにして得られた間引き信号を用いて補間信号を生成すれば、出力信号の音質を向上させることができる。しかも、折り返し混入間引き処理では、フィルタ処理等が行なわれず、直接、出力信号のサンプルが間引かれるので、補間信号生成のための処理量を大幅に削減することができる。
【０１００】
続いて、補間ステータスStatus＝1である場合の処理について説明する。
【０１０１】
図６のフローチャートの説明に戻り、ステップＳ１２において、補間ステータスStatusの値が偶数でないと判定された場合、処理はステップＳ１８に進む。この場合、現フレームのエラーフラグは１であるので、入力端子２１に入力されるフレームデータはダミーデータであるか、またはフレームデータが入力されない。
【０１０２】
ステップＳ１８において、類似信号検出部２８は、補間状態判定部２４から供給された補間ステータスStatusの値が１であるか否かを判定する。ステップＳ１８において、補間ステータスStatusの値が１であると判定された場合、処理はステップＳ１９へと進む。
【０１０３】
ステップＳ１９において、類似信号検出部２８は、類似信号位置の初期サーチを行なう。すなわち、類似信号検出部２８は、間引き信号バッファ２７の中から過去の間引き信号を読み出して、補間信号の生成に最適な抽出バッファ位置（例えば、後述する図８の抽出バッファ位置Ｐ）を検出する。類似信号検出部２８は、検出した抽出バッファ位置Ｐを示す情報をアップサンプル部２９に供給する。
【０１０４】
例えば、類似信号検出部２８は、間引き信号バッファ２７に保持されている間引き信号における最も時刻が新しい区間、つまり消失した現フレームのオーディオ信号の直前の時刻の間引き信号部分を抽出し、抽出した区間と類似する間引き信号の他の区間を検索する。そして、類似信号検出部２８は、検索により得られた区間の直後の位置を抽出バッファ位置Pとする。
【０１０５】
間引き信号における最も時刻が新しい区間と類似する他の区間の信号は、出力信号の現フレームの直前にある区間と類似する区間の間引き信号である。したがって、このような類似する他の区間直後の間引き信号を用いて補間信号を生成すれば、エラーにより消失してしまった出力信号の現フレームの信号と類似する信号が得られるはずである。
【０１０６】
ステップＳ１９において初期サーチが行なわれたか、ステップＳ１８において補間ステータスStatusの値が１でないと判定されたか、またはステップＳ１４において補間ステータスStatusの値が０でないと判定された場合、ステップＳ２０の処理が行なわれる。
【０１０７】
ステップＳ２０において、アップサンプル部２９は、抽出バッファ位置Ｐから１フレーム分の類似間引き信号を抽出する。例えば、アップサンプル部２９は、類似信号検出部２８から供給された情報に基づいて、間引き信号バッファ２７に保持されている間引き信号における、抽出バッファ位置Ｐ直後に位置する１フレーム分の区間の信号を、類似間引き信号として抽出する。
【０１０８】
ステップＳ２１において、アップサンプル部２９は、抽出したサンプル（類似間引き信号）を元の入力サンプリングレートにまでアップサンプルして中間補間信号を生成し、スムージング部３０に供給する。すなわち、類似間引き信号のサンプリングレートが、復号信号（出力信号）と同じサンプリングレートになるように、類似間引き信号がアップサンプルされ、中間補間信号とされる。
【０１０９】
また、スムージング部３０は、アップサンプル部２９から供給された中間補間信号にローパスフィルタを施してスムージングし、補間信号を生成する。スムージング部３０は、生成された補間信号を出力切替部２５の端子６３に供給する。
【０１１０】
ステップＳ２２において、出力切替部２５の切替スイッチ６６は、補間状態判定部２４から供給された補間ステータスStatusの値が４であるか否かを判定する。
【０１１１】
ステップＳ２２において、補間ステータスStatusの値が４であると判定された場合、処理はステップＳ２３へと進み、ステップＳ２２において、補間ステータスStatusの値が４でないと判定された場合、処理はステップＳ２４へと進む。
【０１１２】
ここでは、補間ステータスStatusの値が１である場合について説明するので、処理はステップＳ２４へと進むことになる。
【０１１３】
ステップＳ２４において、出力切替部２５の切替スイッチ６６は、切替スイッチSwitchを補間信号側の端子Ｔ２に切り替える。これにより、端子Ｔ２と出力端子６７が接続され、スムージング部３０から端子６３を介して端子Ｔ２に入力された補間信号が、そのまま出力端子６７を介して出力端子３１に供給される。つまり、補間信号がそのまま出力信号（フレーム信号）とされる。
【０１１４】
ステップＳ２５において、類似信号検出部２８は、抽出バッファ位置Ｐを１フレーム分（Ｎサンプル）だけ時間方向の後ろ側にシフトする（図８のＰ’の位置にシフトする）。
【０１１５】
ステップＳ２５の処理が行なわれると、その後、処理はステップＳ１６に進み、フレーム信号（出力信号）が出力される。さらに、その後、ステップＳ１７の処理が行なわれて、フレーム信号が間引かれて間引き信号とされ、間引き信号が保存されると、復号処理は終了し、次のフレームのフレームデータに対する復号処理が行なわれる。すなわち、生成された補間信号の出力は、未来のフレームの補間処理のために再利用される。
【０１１６】
次に、補間ステータスStatusの値が１以外の奇数（３，５，７）である場合について説明する。補間ステータスStatusが「３」，「５」，「７」の何れかである場合、少なくとも現フレームのエラーフラグは１であり、かつ現フレームの直前の２フレームのうち、少なくとも１つのフレームのエラーフラグは１である。
【０１１７】
ステップＳ１８において、補間ステータスStatusの値が１でない場合、つまり補間ステータスStatusの値が１ではない奇数の場合、ステップＳ１９の処理はスキップされて、処理はステップＳ２０へと進む。
【０１１８】
この場合、先にステップＳ１９の初期サーチで検出された抽出バッファ位置Ｐが継続して用いられる。但し、より詳細には、抽出バッファ位置Ｐの位置は、これまでのステップＳ２５の処理によって、初期サーチで検出された位置から１または数フレーム分だけずれた位置となっている。
【０１１９】
なお、補間ステータスStatusの値が１ではない奇数の場合、ステップＳ２０以降の処理は、補間ステータスStatusの値が１である場合と同様であるので、その説明は省略する。すなわち、ステップＳ２０乃至ステップＳ１７の処理が行なわれて、復号処理は終了する。
【０１２０】
最後に、補間ステータスStatusの値が０以外の偶数（２，４，６）である場合について説明する。
【０１２１】
この場合、上述したステップＳ１４において、補間ステータスStatusの値が０でないと判定され、処理はステップＳ２０へと進む。そして、その後、上述したステップＳ２０およびステップＳ２１の処理が行なわれ、補間信号が生成される。
【０１２２】
さらに、ステップＳ２１の後、ステップＳ２２において、補間ステータスStatusの値が４であるか否かが判定される。
【０１２３】
ステップＳ２２において、補間ステータスStatusの値が４でないと判定された場合、つまり補間ステータスStatusの値が２または６である場合、処理はステップＳ２４に進み、出力切替部２５の切替スイッチ６６により、切替スイッチSwitchが補間信号側の端子Ｔ２に切り替えられる。これにより、端子Ｔ２と出力端子６７が接続され、スムージング部３０から端子６３を介して端子Ｔ２に入力された補間信号が、そのまま出力端子６７を介して出力端子３１に供給される。つまり、補間信号がそのまま出力信号（フレーム信号）とされる。
【０１２４】
この場合、入力されたフレームデータは、フレーム信号復号部２３で復号信号に復号されるが、この復号された時間信号（復号信号）は前フレームがエラーであったため、正常な信号ではない。したがって、出力切替部２５は、これを出力せずに補間信号を出力する。なお、このときに得られた復号信号は、次のフレームの復号に適宜用いられる。
【０１２５】
これに対して、ステップＳ２２において、補間ステータスStatusの値が４であると判定された場合、処理はステップＳ２３に進む。
【０１２６】
ステップＳ２３において、出力切替部２５の切替スイッチ６６は、切替スイッチSwitchを重複加算された信号側の端子Ｔ１に切り替える。これにより、端子Ｔ１と出力端子６７が接続され、加算部６５から出力された、重複加算された信号が出力端子６７を介して出力端子３１に供給される。つまり、補間信号と復号信号とを重み付き重複加算して得られた信号が出力される。
【０１２７】
例えば、図５に示した重み関数（重みＷｄｅｃ）が用いられて、フレームの先頭からＭサンプルについて、補間信号と復号信号がオーバーラップされる。
【０１２８】
すなわち、補間信号のサンプルをXcon(n)とし、復号信号のサンプルをXdec(n)とし、生成する出力信号（フレーム信号）をXout(n)とし、フレームサンプル長をＮとすると、次式（１）の計算により、出力信号Xout(n)が求められる。
【０１２９】
Xout(n)=Wdec×Xdec(n)+(1-Wdec)×Xcon(n)    ・・・（１）
【０１３０】
但し、Xcon(n)、Xdec(n)、およびXout(n)におけるｎは、n=0,1,2,…,N-1である。
【０１３１】
このような式（１）の計算により、出力がオーバーラップにより合成され、出力信号（フレーム信号）とされる。なお、オーバーラップする長さＭは、フレーム長Ｎの１／４乃至１／２程度がよい。このようにして、前フレームの補間信号と復号された信号がスムーズに接続される。
【０１３２】
補間ステータスStatusが「４」である場合、現フレームと、現フレームの直前のフレームではフレーム消失は生じていないが、現フレームの２フレーム前のフレームでフレーム消失が生じている。また、現フレームの直前のフレームでは補間信号が出力信号とされている。そこで、前のフレームで出力信号として出力された補間信号と、復号により得られた復号信号とを滑らかに接続するために、重み付き重複加算により得られた信号が、出力信号として出力される。
【０１３３】
ステップＳ２３の処理が行なわれて、出力信号が得られると、その後、ステップＳ２５乃至ステップＳ１７の処理が行なわれて、復号処理は終了する。
【０１３４】
ここで、ステップＳ１９における、類似信号位置の初期サーチの具体的方法について説明する。この処理は、補間ステータスStatusの値が１である場合のみに行なわれる処理である。初期サーチでは、消失フレームの直前の所定サンプルと最も類似した信号がバッファ内でサーチされ、補間信号の生成に用いるためのバッファ位置が検出される。
【０１３５】
図８は、そのような処理の流れを説明する図である。図８において、上段は復号された信号サンプルの波形（復号信号の波形）であり、下段は間引き信号バッファ２７に保存されている過去フレームの間引き信号である。
【０１３６】
まず、図中のブロックＡは、消失フレームの直前の所定サンプル（例えば16乃至64サンプル）の間引き信号サンプルである。すなわち、消失フレームの直前の出力信号（復号信号）を間引きして得られた間引き信号の区間である。
【０１３７】
このブロックＡの信号に最も類似した信号が間引き信号バッファ２７に保持されている間引き信号の中から探索（サーチ）される。例えば、相互相関係数が最大となる位置、あるいは、ベクトル間距離（歪）が最小となる位置としてサーチが行なわれる。
【０１３８】
その結果、ブロックＡの信号に最も類似した信号として、図中のブロックＡ’の部分の信号が得られたとする。この場合、図中、ブロックＡ’の直後（右側）にある点Ｐが信号抽出位置（抽出バッファ位置P）とされて、抽出バッファ位置Ｐから始まる１フレーム分の時間長のブロックＢのサンプルが補間信号の生成に用いられる。
【０１３９】
すなわち、まず、アップサンプル部２９において、ブロックＢのサンプルをゼロ挿入によって元の信号のサンプリングレートにアップサンプルすることで、中間補間信号Ｂ’が生成される。次に、アップサンプリングによるイメージングを除去するためのローパスフィルタを通す処理がスムージング部３０により行なわれる。
【０１４０】
このとき、フィルタの初期状態として、消失フレーム直前のバッファサンプルＣをアップサンプルした信号が用いられる。すなわち、間引き信号のうちのブロックＣの部分が、中間補間信号Ｂ’の直前に位置する信号であるものとされて、ブロックＣの部分の信号をローパスフィルタの内部状態の初期値としたフィルタ処理が中間補間信号Ｂ’に対して行なわれ、補間信号が生成される。これにより、生成された補間信号と直前のフレーム信号との不連続性が緩和され、スムーズな接続が可能になる。
【０１４１】
すなわち、このローパスフィルタはイメージング除去とフレーム接続処理を兼ねている。スムージング部３０においてスムージング処理された補間信号は、消失したフレームの代替信号として用いられる。なお、消失フレームの直前の時刻のバッファサンプルＣをアップサンプルして得られた信号を、ローパスフィルタの内部状態の初期値として用いると説明したが、消失フレームの直前の出力信号を内部状態の初期値として用いてもよい。つまり、現フレームの直前のフレームの出力信号を、ローパスフィルタの内部状態の初期値として用いるようにしてもよい。
【０１４２】
以上のようにして、オーディオ信号処理装置１１は、フレームのエラー情報（エラーフラグ）から、補間ステータスを判定し、その判定結果に応じた出力を行なう。
【０１４３】
オーディオ信号処理装置１１によれば、出力信号を間引いて得られる間引き信号が補間信号の生成に用いられるので、補間信号を生成するための過去データを保持するバッファメモリを削減することができ、フレーム消失時の補間処理の演算負荷を削減することができる。
【０１４４】
また、オーディオ信号処理装置１１によれば、正常復号時において補間信号を生成するための演算負荷を低減できる。さらに、折り返し混入間引き処理を行なうことで、生成された補間信号のエネルギー低下と周期性の消失を防ぎ、よりよい音質で消失データの補間ができる。
【０１４５】
さらに、オーディオ信号処理装置１１によれば、少ない演算負荷で補間信号を滑らかに接続することができ、音質を向上させることができる。
【０１４６】
〈第２の実施の形態〉
［本技術の特徴について］
次に、第２の実施の形態で示す本技術の特徴について説明する。
【０１４７】
本技術は、特に以下の（１）乃至（４）の特徴を有している。
【０１４８】
（１）
以下の（ア）乃至（カ）の要素を持つ多チャンネル・オーディオ（音声）信号処理装置
（ア）所定の１以上のサンプル数で構成されるフレーム周期でオーディオ信号を符号化するオーディオ符号化装置およびオーディオ信号を復号するオーディオ復号装置
（イ）オーディオ符号化装置より受信した符号化ビットストリームを外部に送信し、外部より受信した符号化ビットストリームをオーディオ復号装置に送信するビットストリーム送受信装置
（ウ）上記サンプル毎にオーディオ信号を送受信し、基本的に上記フレーム周期で内部タイミング信号を発生させるオーディオ信号送受信装置
（エ）上記フレーム周期で外部より供給される外部同期信号に上記内部タイミング信号を同期させる機能を有するとともに、同期したか否かを示す情報を出力する同期処理装置
（オ）同期したか否かの情報を取得し、同期していれば、オーディオ信号を符号化、復号し符号化ビットストリームを送受信する同期完了状態に遷移し、同期していなければ同期するまで待機する同期未完了状態に遷移する状態遷移装置
（カ）初期化または動作中においても、外部からのチャンネル設定変更要求に応えて、チャンネル設定変更を可能にするチャンネル設定変更装置
（２）
上記（１）について、（ウ）の上記オーディオ信号送受信装置では、音声、オーディオ信号は基本的に上記サンプル数からなるダブルバッファにより送受信され、上記内部タイミング信号は上記ダブルバッファがスイッチするタイミングで発せられるとともに、（エ）の上記同期処理装置は、上記外部同期信号を受信したタイミングで、上記外部同期信号と上記内部タイミング信号の位相差を検出し、０サンプルを超える位相差を検出したときに、一方のバッファのサンプル長を位相差の分だけ短縮し、同期していない旨の情報を出力し、その後サンプル長を短縮したバッファから通常のサンプル長のバッファにスイッチするタイミングで短縮したサンプル長を通常のサンプル長に戻し、外部同期信号と内部タイミング信号を同期させる
（３）
上記（１）について、外部よりチャンネル設定変更要求を受信したときに上記同期完了状態であったときには、上記同期未完了状態に遷移した上でチャンネル設定を変更するチャンネル設定変更装置
（４）
上記（３）について、動作中のチャンネル設定変更に対応するため、上記オーディオ符号化・復号装置の取りうる多チャンネルの構成を十分収容可能なメモリ領域を予め確保するとともに、チャンネル設定変更要求を受信した際は各チャンネルの音声、オーディオ符号化、復号装置の静的データ領域を静的に確保し初期化するチャンネル設定変更装置
【０１４９】
［オーディオ信号処理装置の構成］
次に、本技術を適用したオーディオ信号処理装置について説明する。図９は、本技術を適用したオーディオ信号処理装置の一実施の形態の構成例を示す図である。
【０１５０】
図９のオーディオ信号処理装置１０１は、CPU（Central Processing Unit）１０２よりチャンネル設定変更（初期設定を含む）要求を受信すると、コマンド処理部１２１がこれを解釈し、チャンネル設定変更部１２２を呼び出す。
【０１５１】
チャンネル設定変更部１２２は、コマンドに従い符号化チャンネル数NCHEをオーディオ符号化器１２３、復号チャンネル数NCHDをオーディオ復号器１２４にそれぞれ送るとともに、両チャンネル数をオーディオ信号送受信部(Audio I/F)１２５に送る。
【０１５２】
また、チャンネル設定変更部１２２は、チャンネル設定変更時にチャンネル設定変更フラグchFlagに１をセットして同期制御部１２６に送る。
【０１５３】
オーディオ信号送受信部１２５は、符号化チャンネル数NCHE、および復号チャンネル数NCHDをセットし、オーディオ入力(Audio In)を受信し、オーディオ受信信号(AURX)としてオーディオ符号化器１２３に送るとともに、オーディオ復号器１２４よりオーディオ送信信号(AUTX)を受信し、オーディオ出力(Audio Out)として送信する。
【０１５４】
また、オーディオ信号送受信部１２５において、受信部(RX)１２５ａは、基本的にNFサンプルからなるフレーム周期のタイミングで発生する受信タイミング信号TMGRX、および次の受信タイミング信号TMGRXまでのサンプル数を示す受信サンプルカウンタNDRXを同期制御部１２６に送信する。
【０１５５】
同様に、オーディオ信号送受信部１２５の送信部(TX)１２５ｂは、基本的にNFサンプルからなるフレーム周期のタイミングで発生する送信タイミングで発生する送信タイミング信号TMGTX、および次の送信タイミング信号TMGTXまでのサンプル数を示す送信サンプルカウンタNDTXを同期制御部１２６に送信する。
【０１５６】
オーディオ符号化器１２３は、NCHEチャンネルのオーディオ受信信号(AURX)を符号化し、送信ビットストリームBSTXとしてビットストリーム送受信部(Bitstream I/F)１２７に送信する。オーディオ復号器１２４は、ビットストリーム送受信部１２７で受信したビットストリームBSRXを復号し、NCHDチャンネルのオーディオ送信信号(AUTX)を送信する。
【０１５７】
同期制御部１２６は、外部同期信号(FSYNC)を受信するとともに、オーディオ信号送受信部１２５より受信タイミング信号TMGRX、受信サンプルカウンタNDRX、送信タイミング信号TMGTX、送信サンプルカウンタNDTXを受信し、受信部１２５ａに修正受信フレーム長LENRX、送信部１２５ｂに修正送信フレーム長LENTXを送信する。
【０１５８】
また同期制御部１２６は、同期していたら１、同期していなかったら０をセットして出力する同期状態フラグsyncFlagを状態遷移部１２８に出力する。さらに、同期制御部１２６は、チャンネル設定変更部１２２より１にセットされたチャンネル設定変更フラグchFlagを受信すると同期状態フラグsyncFlagに０をセットして出力する。
【０１５９】
状態遷移部１２８は、同期状態フラグsyncFlagを受信し、同期していないと(syncFlag=0)、同期未完了状態に遷移し、同期状態変数STSYNCに０をセットし、オーディオ符号化器１２３、オーディオ復号器１２４を初期化し、同期していると(syncFlag=1)、同期完了状態に遷移し、同期状態変数STSYNCに１をセットし、オーディオ符号化器１２３によるオーディオ信号の符号化、オーディオ復号器１２４によるオーディオ信号の復号を実行させる。
【０１６０】
また、オーディオ信号送受信部１２５には、オーディオ入力の受信と符号化に用いられる図示せぬダブルバッファが設けられている。例えば、ダブルバッファを構成するバッファの一方をバッファ０とし、他方をバッファ１とすると、これらのバッファは、交互に受信処理用である入力用バッファ、または符号化処理用である作業用バッファとして用いられる。
【０１６１】
具体的には、バッファ０が入力用バッファとされ、バッファ１が作業用バッファであるとすると、作業用バッファには、既に受信された前のフレームのオーディオ受信信号が格納されている。
【０１６２】
この状態から、受信部１２５ａは、符号化チャンネル数NCHEに基づいて外部から受信したオーディオ入力を、オーディオ受信信号として入力用バッファに格納していく。このとき、受信部１２５ａは、処理対象のフレームのオーディオ受信信号全てを入力用バッファに格納するまでに処理すべきサンプルの数を、受信サンプルカウンタNDRXとして同期制御部１２６に供給する。
【０１６３】
一方で、オーディオ符号化器１２３は、作業用バッファに格納されている前のフレームのオーディオ受信信号を読み出して、読み出したオーディオ受信信号を符号化し、送信部１２７ａに供給する。
【０１６４】
そして、受信部１２５ａは１フレーム分のオーディオ受信信号を全て受信し、入力用バッファに格納すると、入力用バッファと作業用バッファをスイッチさせ、受信タイミング信号TMGRXを同期制御部１２６に供給する。これにより、これまで入力用バッファとして利用されていたバッファ０が作業用バッファとなり、これまで作業用バッファであったバッファ１が入力用バッファとされて、次のフレームの受信と符号化が行なわれる。つまり、入力用バッファであるバッファ１に新たなフレームのオーディオ受信信号が格納され、作業用バッファであるバッファ０に格納されているオーディオ受信信号が符号化される。
【０１６５】
また、オーディオ信号送受信部１２５には、受信部１２５ａにより利用されるダブルバッファと同様に、送信部１２５ｂにより利用されるダブルバッファ（図示せず）も設けられている。このダブルバッファでは、一方がオーディオ送信信号の送信用である出力用バッファとして用いられ、他方が受信ビットストリームの復号用である作業用バッファとして用いられる。
【０１６６】
具体的には、復号チャンネル数NCHDに基づいて、出力用バッファを用いたオーディオ送信信号の送信が行なわれ、その送信状況に応じて、送信部１２５ｂから同期制御部１２６には送信サンプルカウンタNDTXが供給される。つまり、出力用バッファに格納されている復号済みのオーディオ送信信号が読み出されて送信されていく。このとき、作業用バッファには、オーディオ復号器１２４が受信ビットストリームを復号することで得られたオーディオ送信信号が、オーディオ復号器１２４により順次格納されていく。
【０１６７】
また、１フレーム分のオーディオ送信信号の送信が行なわれ、出力用バッファと作業用バッファがスイッチすると、送信部１２５ｂから同期制御部１２６には、送信タイミング信号TMGTXが供給される。
【０１６８】
さらに、オーディオ信号処理装置１０１には、オーディオ符号化器１２３およびオーディオ復号器１２４により共用される図示せぬメモリが設けられ、そのメモリにはオーディオ信号の符号化や復号に必要な情報が格納される静的データ格納領域が確保されている。例えば、静的データ格納領域には、符号化または復号の対象となる各チャンネルのオーディオ信号に関する情報として、ビットレートや、１フレーム前の信号の情報である状態変数などが格納されている。オーディオ符号化器１２３およびオーディオ復号器１２４は、静的データ格納領域に格納されている各チャンネルの情報を参照しながら、オーディオ信号の符号化や復号を行なう。
【０１６９】
ところで、オーディオ信号の受信や符号化、復号や送信などは、オーディオ信号の１フレーム周期で行なわれるが、これらの処理は、ビデオ信号の処理など、外部における他の処理と同期して行なわれる必要がある。すなわち、オーディオ信号処理装置１０１の各処理、具体的には受信タイミング信号TMGRXや送信タイミング信号TMGTXの発生タイミングと、外部同期信号の発生タイミングとが同期する必要がある。
【０１７０】
そこで、同期制御部１２６は、オーディオ信号送受信部１２５から供給される受信サンプルカウンタNDRXや送信サンプルカウンタNDTXに基づいて、外部同期信号と、オーディオ信号処理装置１０１で行なわれるオーディオ信号に対する各処理とを同期させる。
【０１７１】
ここで、オーディオ信号送受信部１２５および同期制御部１２６による外部同期信号とオーディオ・フレームの同期方法について図１０を参照して説明する。
【０１７２】
図１０において、矢印ＱＡにより示される部分は、外部同期信号(FSYNC)とオーディオ・フレームの内部タイミング信号(TMG)のタイム・チャートであり、矢印ＱＢにより示される部分は、ダブルバッファを使用した内部タイミング信号(TMG)の同期合わせ方法を示している。
【０１７３】
なお、内部タイミング信号(TMG)の制御過程は送受信とも共通なので、記号TX、RXは省略する。すなわち、以下では、受信タイミング信号TMGRXと送信タイミング信号TMGTXを特に区別する必要のない場合には、それらの信号を内部タイミング信号TMGとも称することとする。
【０１７４】
時刻ｔ１前は、外部同期信号(FSYNC)、内部タイミング信号(TMG)ともに１フレーム周期に当たるNFサンプルごとに信号が発生している。
【０１７５】
矢印ＱＢに示されるように、オーディオバッファはダブルバッファであり、２個のサンプル長NFのバッファをオーディオ入力（出力）用および作業用として交互に切り替えるとともに、切替タイミングで内部タイミング信号TMGを発生させる。ここで、図１０に示すオーディオバッファ０とオーディオバッファ１は、オーディオ信号送受信部１２５に設けられたダブルバッファである。なお、ここではオーディオバッファ０とオーディオバッファ１からなるダブルバッファが、受信部１２５ａまたは送信部１２５ｂの何れにより利用されるダブルバッファであるかは、特に区別しないこととする。
【０１７６】
時刻ｔ１で外部同期信号(FSYNC)が入ったときに、オーディオバッファ０がオーディオ入力（出力）用、オーディオバッファ１が作業用として動作中であるとする。この時、オーディオポインタはサンプルカウンタNDの位置にいるが、NDの値は、現在の外部同期信号と内部タイミング信号の位相差にあたり、この値がフレーム長NFより小さい場合、同期未完了状態とし、同期状態フラグsyncFlagに０がセットされる。
【０１７７】
すなわち、時刻ｔ１におけるオーディオバッファ０のオーディオポインタの位置は、これまでにオーディオ信号の受信または送信が完了したサンプル位置を示している。換言すれば、オーディオポインタの位置は、処理対象のフレームに対する受信または送信が完了するまでに処理されるべきオーディオ信号のサンプルの数を示しているともいえる。
【０１７８】
したがって、オーディオポインタの位置により特定されるサンプル数が、サンプルカウンタND、つまり受信サンプルカウンタNDRX、または送信サンプルカウンタNDTXとして、同期制御部１２６に出力されることになる。
【０１７９】
なお、外部同期信号と内部タイミング信号の同期が完了した状態では位相差はなく、ダブルバッファの他方に入力（出力）用バッファが移っているため、サンプルカウンタNDの値はNFと同じ値になる。
【０１８０】
ここで、同期確立の過程に入り、現在作業用のバッファであるオーディオバッファ１のバッファ長LENが次式（２）の通り変更される。
【０１８１】
LEN=NF-ND    ・・・（２）
【０１８２】
式（２）では、フレーム周期NFとサンプルカウンタNDとの差が、変更後のオーディオバッファ１のバッファ長LENとされている。このようにして変更されたオーディオバッファ１のバッファ長LENが、修正受信フレーム長LENRX、または修正送信フレーム長LENTXとして、同期制御部１２６から受信部１２５ａまたは送信部１２５ｂに供給される。
【０１８３】
時刻ｔ２で、ダブルバッファの切替タイミングのため、内部タイミング信号TMGが発生し、オーディオバッファ０は作業用、オーディオバッファ１は入力（出力）用となる。
【０１８４】
例えば、オーディオバッファ１が入力用であるとすると、入力用のオーディオバッファ１に、新たな処理対象のフレームのオーディオ信号が格納されていく。この場合、オーディオバッファ１のバッファ長は１フレーム分のサンプル数よりも少ない「LEN」とされているため、（LEN）個のサンプルがオーディオバッファ１に格納された時点で、つまり時刻ｔ３となった時点でダブルバッファの切替が行なわれることになる。換言すれば、ダブルバッファの切替（スイッチ）までの期間が、サンプルカウンタNDの分だけ短縮されたことになる。
【０１８５】
時刻ｔ３で、オーディオポインタがバッファ長LENの位置となるとオーディオバッファの切替が起こり、内部タイミング信号TMGが外部同期信号と同じタイミングで発生する。このとき、同期制御部１２６による制御によって、オーディオバッファ１のバッファ長が、変更前のもとの長さであるNFに戻され、同期完了状態として同期状態フラグsyncFlagに１がセットされる。すなわち、外部同期信号と内部タイミング信号の位相差分だけ短縮されていたダブルバッファの切替（スイッチ）までの時間の長さが、短縮前のもとの長さに戻されることになる。
【０１８６】
以上の過程により、外部同期信号とオーディオ・フレームの同期が確立する。そして、時刻ｔ２において処理対象とされていたフレームの次のフレームが処理対象とされ、そのフレームのオーディオ信号の符号化や復号が行なわれる。
【０１８７】
次に、オーディオ・チャンネル設定の変更処理について説明する。
【０１８８】
まず、オーディオ符号化器１２３、オーディオ復号器１２４の静的データ領域の静的確保方法について述べる。
【０１８９】
オーディオ信号処理装置１０１においては、チャンネルあたりの符号化器の静的データサイズがSEバイト、同様に復号器の静的データサイズがSDバイトであるとする。さらに、取りうる符号化器の最大チャンネル数をMCH_E、復号器の最大チャンネル数をMCH_Dとする。
【０１９０】
このとき、全チャンネル分を収容可能なメモリ領域のサイズTS[バイト]は次式（３）の通りとなる。
【０１９１】
TS = MCH_E・SE + MCH_D・SD    ・・・（３）
【０１９２】
そこで、オーディオ信号処理装置１０１の図示せぬメモリ上にTSバイト分の静的データ格納領域をオーディオ信号処理装置１０１の初期化時点で確保しておく。
【０１９３】
図１１は、チャンネル設定変更時の各チャンネルの静的データ領域の確保方法を示したものである。
【０１９４】
チャンネル設定変更前において、オーディオ符号化器１２３の符号化器はチャンネル数NE、オーディオ復号器１２４の復号器はチャンネル数NDとして設定されており、符号化器の静的データ領域ESn、復号器の静的データ領域DSn（nはチャンネル番号）が静的データ格納領域に確保されている。
【０１９５】
そして各静的データ領域は先頭アドレスポインタを指定し、符号化器ならSEバイト、復号器ならSDバイトの静的データサイズ分の領域を占有することで確保されている。ここで、各先頭アドレスポインタは、各静的データ領域ESnや静的データ領域DSnの先頭位置を示している。
【０１９６】
また、各チャンネルについて設けられた静的データ領域ESnには、それらのチャンネルのオーディオ信号の符号化に必要な情報、例えばビットレートや状態変数が格納される。同様に、各チャンネルについて設けられた静的データ領域DSnには、それらのチャンネルのオーディオ信号の復号に必要な情報、つまりビットレートや状態変数が格納される。
【０１９７】
今、チャンネル設定変更要求により符号化器のチャンネル数がNE’、復号器のチャンネル数がND’に変更されたとすると、一旦先頭アドレスポインタを解放し、新たに各チャンネルの静的データ領域の先頭アドレスポインタと静的データサイズ分の領域を順次確保し、初期化していく。この例では、静的データ格納領域には、符号化器の静的データ領域ES1乃至静的データ領域ESNE’と、復号器の静的データ領域DS1乃至静的データ領域DSND’とが新たに確保されている。
【０１９８】
このように、全チャンネル分を収容可能なメモリ領域のサイズを静的データ格納領域として、動的にではなく、オーディオ信号処理装置１０１の初期化時点で予め確保しておくことで、チャンネル設定変更があった場合でもデータの断片化を防止することができる。
【０１９９】
また、図１２に示すように、オーディオ信号処理装置１０１は、オーディオ信号が外部同期信号により同期した「同期完了状態」と同期していない「同期未完了状態」の２つの状態を持ち、２つの状態は、同期制御部１２６の出力である同期状態フラグsyncFlagの値が１になると同期完了状態、０になると同期未完了状態になる。
【０２００】
ここで、同期した状態で、チャンネル設定を変更すると、オーディオ符号化器１２３およびオーディオ復号器１２４は不安定な状態に陥る可能性がある。
【０２０１】
そこで、チャンネル設定変更要求が入るとチャンネル設定変更部１２２よりチャンネル設定変更フラグchFlagに１がセットされて同期制御部１２６に入力され、同期制御部１２６が同期状態フラグsyncFlagに０をセットし、状態遷移部１２８が同期未完了状態に移行し、チャンネル設定変更後の各チャンネルについてオーディオ符号化器１２３，オーディオ復号器１２４を初期化し、同期制御部１２６が同期を確立し同期状態フラグsyncFlag＝１を出力するまで状態遷移部１２８は同期未完了状態に留まることになる。
【０２０２】
［符号化・復号処理の説明］
次に、図１３のフローチャートを参照して、オーディオ信号処理装置１０１により行なわれる符号化・復号処理について説明する。
【０２０３】
ステップＳ６１において、コマンド処理部１２１は、CPU１０２より受信したチャンネル設定変更コマンドをチャンネル設定変更部１２２に送る。そして、チャンネル設定変更部１２２が、コマンド処理部１２１からのチャンネル設定変更コマンドを、オーディオ信号送受信部(Audio I/F)１２５、オーディオ符号化器１２３、およびオーディオ復号器１２４に送る。
【０２０４】
ステップＳ６２において、オーディオ信号送受信部１２５は、チャンネル設定に従い初期化を行ない、ステップＳ６３において、オーディオ符号化器１２３およびオーディオ復号器１２４を初期化する。
【０２０５】
例えばステップＳ６２では、オーディオ信号送受信部１２５は、チャンネル設定変更部１２２からチャンネル設定変更コマンドとともに供給された、符号化チャンネル数NCHEと復号チャンネル数NCHDに基づいて、符号化チャンネル数と復号チャンネル数を設定する。
【０２０６】
また、ステップＳ６３において、オーディオ信号処理装置１０１は、符号化チャンネル数NCHEと復号チャンネル数NCHDに基づいて、例えばメモリ上の静的データ格納領域に、図１１に示した静的データ領域ES1乃至ESNE’と、復号器の静的データ領域DS1乃至DSND’を確保する。さらに、オーディオ符号化器１２３およびオーディオ復号器１２４は、静的データ格納領域に確保された静的データ領域に、チャンネルごとのビットレートや状態変数の初期値などを格納する。
【０２０７】
ステップＳ６４において、同期制御部１２６は、外部同期信号が入ったか否かを検出する。ステップＳ６４において、外部同期信号が入ったことが検出された場合、処理はステップＳ６５に進む。
【０２０８】
ステップＳ６５において、同期制御部１２６によりサンプルカウンタNDの値がフレーム周期NFに等しいか否かチェックされる。すなわち、同期制御部１２６は、受信部１２５ａからの受信サンプルカウンタNDRX、および送信部１２５ｂからの送信サンプルカウンタNDTXについて、それらのサンプルカウンタNDの値がフレーム周期NFと等しいか否かを判定する。
【０２０９】
そして、ステップＳ６５において、サンプルカウンタNDの値がフレーム周期NFに等しいとされた場合、処理はステップＳ６６に進む。この場合、サンプルカウンタNDとフレーム周期NFが等しいので、外部同期信号(FSYNC)と内部タイミング信号(TMG)とが同期している状態である。
【０２１０】
ステップＳ６６において、同期制御部１２６は、同期状態フラグsyncFlagに１をセットし、同期が完了したとして状態遷移部１２８にて同期完了状態に進むべく、処理は、ステップＳ７１に進む。このとき、同期制御部１２６は１がセットされた同期状態フラグsyncFlagを状態遷移部１２８に供給する。
【０２１１】
また、ステップＳ６４において、同期制御部１２６にて外部同期信号の入力が検出されなかった場合、処理はステップＳ６９に進む。
【０２１２】
さらに、ステップＳ６５において、サンプルカウンタNDの値がフレーム周期NFと等しくないと判定された場合、処理はステップＳ６７に進む。この場合、サンプルカウンタNDとフレーム周期NFが等しくないので、外部同期信号(FSYNC)と内部タイミング信号(TMG)とが同期していない状態である。
【０２１３】
ステップＳ６７において、同期制御部１２６は、同期状態フラグsyncFlagに０をセットし、状態遷移部１２８に供給する。
【０２１４】
ステップＳ６８において、同期確立過程にて図１０を参照して説明した時刻ｔ１乃至時刻ｔ３の各過程が実行される。
【０２１５】
すなわち、同期制御部１２６は、上述した式（２）を計算して変更後のオーディオバッファのバッファ長LENを算出し、得られたバッファ長LENを修正受信フレーム長LENRX、または修正送信フレーム長LENTXとして、受信部１２５ａと送信部１２５ｂに供給する。すると受信部１２５ａや送信部１２５ｂは、作業用として利用している、オーディオ信号送受信部１２５のオーディオバッファのバッファ長を変更する。
【０２１６】
これにより、作業用のオーディオバッファと、入力用または出力用のオーディオバッファとがスイッチするタイミング、つまりダブルバッファの切替タイミングで、外部同期信号(FSYNC)と内部タイミング信号(TMG)とが同期するようになる。
【０２１７】
ステップＳ６８において同期確立過程の処理が行なわれたか、またはステップＳ６４において、外部同期信号の入力が検出されなかった場合、ステップＳ６９の処理が行なわれる。
【０２１８】
すなわち、ステップＳ６９において、チャンネル設定変更要求が受信されたか否かがチャンネル設定変更部１２２により判定される。
【０２１９】
ステップＳ６９において、チャンネル設定変更要求が受信されたと判定された場合、ステップＳ７０において、チャンネル設定変更部１２２は、チャンネル設定を変更し、その後、処理はステップＳ６２に戻り、上述した処理が繰り返される。
【０２２０】
すなわち、チャンネル設定変更部１２２は、チャンネル設定変更フラグchFlagに１をセットして同期制御部１２６に供給する。また、チャンネル設定変更部１２２は、符号化チャンネル数NCHEをオーディオ符号化器１２３およびオーディオ信号送受信部１２５に供給するとともに、復号チャンネル数NCHDをオーディオ復号器１２４およびオーディオ信号送受信部１２５に供給する。
【０２２１】
これに対して、ステップＳ６９において、チャンネル設定変更要求が受信されていないと判定された場合、処理はステップＳ６４に戻り、上述した処理が繰り返される。
【０２２２】
また、ステップＳ６６において、同期状態フラグsyncFlagに１がセットされると、ステップＳ７１において、同期制御部１２６は、外部同期信号を検出したか否かを判定する。
【０２２３】
ステップＳ７１において、外部同期信号を検出したと判定された場合、ステップＳ７２において、サンプルカウンタNDがフレーム周期NFに等しいか否かが同期制御部１２６により判定される。
【０２２４】
ステップＳ７２において、サンプルカウンタNDがフレーム周期NFに等しいと判定された場合、同期状態が継続しているとして、処理はステップＳ７３に進む。
【０２２５】
ステップＳ７３において、同期制御部１２６は、同期状態フラグsyncFlagに１をセットして状態遷移部１２８に供給する。また、状態遷移部１２８は、同期制御部１２６からの同期状態フラグに応じて同期状態変数STSYNCに１をセットし、オーディオ符号化器１２３およびオーディオ復号器１２４に供給する。すなわち、同期完了状態とされる。
【０２２６】
そして、ステップＳ７４において、オーディオ符号化器１２３によりオーディオ符号化が行なわれ、さらにステップＳ７５においてオーディオ復号器１２４によりオーディオ復号が行なわれる。すなわち、オーディオ符号化器１２３は、受信部１２５ａからのオーディオ受信信号を符号化して送信部１２７ａに供給し、オーディオ復号器１２４は受信部１２７ｂからの受信ビットストリームを復号して送信部１２５ｂに供給する。オーディオ復号が行なわれると、その後、処理はステップＳ７１に戻り、上述した処理が繰り返される。
【０２２７】
また、ステップＳ７２において、サンプルカウンタNDがフレーム周期NFと等しくないと判定された場合、同期状態が確立していないとして処理はステップＳ７６に進む。この場合、何らかの理由により、外部同期信号と内部タイミング信号とが同期していない状態となっている。
【０２２８】
ステップＳ７６において、同期制御部１２６は、同期状態フラグsyncFlagに０をセットし、状態遷移部１２８にて同期未完了状態に進む。すなわち、ステップＳ７６の処理が行なわれると、その後、処理はステップＳ６３に戻り、上述した処理が繰り返される。
【０２２９】
具体的には、同期制御部１２６から状態遷移部１２８に、０がセットされた同期状態フラグsyncFlagが供給されると、状態遷移部１２８は、同期状態変数STSYNCに０をセットしてオーディオ符号化器１２３およびオーディオ復号器１２４に供給する。これにより、同期未完了状態となり、オーディオ符号化器１２３による符号化処理や、オーディオ復号器１２４による復号処理が停止される。このように、外部同期信号と内部タイミング信号とが同期していない状態であるときに、符号化処理や復号処理を一旦停止させ、オーディオ符号化器１２３や、オーディオ復号器１２４を初期化することで、オーディオ信号処理装置１０１が不安定となることを防止することができる。
【０２３０】
さらに、ステップＳ７１において、同期制御部１２６により外部同期信号が検出されなかったと判定された場合、処理はステップＳ７７に進む。
【０２３１】
ステップＳ７７において、チャンネル設定変更部１２２は、チャンネル設定変更要求を受信したか否かを判定する。
【０２３２】
ステップＳ７７において、チャンネル設定変更要求を受信したと判定された場合、ステップＳ７８において、チャンネル設定変更部１２２は、チャンネル設定変更を行ない、チャンネル設定変更フラグchFlagに１をセットして同期制御部１２６に送る。また、チャンネル設定変更部１２２は、符号化チャンネル数NCHEをオーディオ符号化器１２３およびオーディオ信号送受信部１２５に供給するとともに、復号チャンネル数NCHDをオーディオ復号器１２４およびオーディオ信号送受信部１２５に供給する。
【０２３３】
ステップＳ７９において、同期制御部１２６は、同期状態フラグsyncFlagに０をセットして、状態遷移部１２８に供給する。また、状態遷移部１２８は、オーディオ符号化器１２３、およびオーディオ復号器１２４を初期化するため同期状態変数STSYNCに０をセットし、同期未完了状態に進む。すなわち、ステップＳ７９の処理が行われると、その後、処理はステップＳ６２に戻り、上述した処理が繰り返される。
【０２３４】
ステップＳ７９の処理が行なわれて同期未完了状態となると、オーディオ符号化器１２３による符号化処理や、オーディオ復号器１２４による復号処理が停止され、外部同期信号と内部タイミング信号との同期がとられる。このように、符号化処理や復号処理を一旦停止させた状態で、外部同期信号と内部タイミング信号の同期をとるようにすることで、オーディオ信号処理装置１０１が不安定となることを防止することができる。
【０２３５】
一方、ステップＳ７７において、チャンネル設定変更要求を受信していないと判定された場合、処理はステップＳ７１にもどり、上述した処理が繰り返される。
【０２３６】
以上のようにして、オーディオ信号処理装置１０１は、外部同期信号とオーディオ・フレームとの同期を確立させ、オーディオ信号の符号化・復号を行なう。
【０２３７】
オーディオ信号処理装置１０１によれば、オーディオ信号を画像などの信号と同期させて処理する場合に、外部同期信号に基づき同期完了状態と同期未完了状態の２状態に分けることで、明確に処理すべきタスクを分離でき、煩雑化を避けることができる。
【０２３８】
また、外部同期信号と、オーディオ信号送受信部１２５で発生させる内部タイミング信号との同期処理について、ダブルバッファを用いて、外部同期信号と内部タイミング信号の位相差を検出し、位相差に基づきダブルバッファの一方のバッファ長を変更し、内部タイミング信号の発生タイミングをずらすことで、低リソースで外部同期信号と内部タイミング信号を同期させることができる。
【０２３９】
さらに、チャンネル設定変更処理について、オーディオ符号化器１２３、およびオーディオ復号器１２４の静的データ領域を静的データ格納領域に静的に確保することで、オーディオ信号処理装置１０１が動作中でもメモリの断片化の発生を起こさずに各チャンネルの符号化器、復号器の静的データ領域を配置可能にするとともに、外部同期信号とオーディオ信号処理装置１０１が同期した状態でも、一旦同期未完了状態に移行し、各チャンネルの符号化器、復号器の静的データ領域の確保、初期化を実施することで、オーディオ信号処理装置１０１が不安定になるのを避けることができる。
【０２４０】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２４１】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２４２】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２４３】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０２４４】
入力部２０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０２４５】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２４６】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２４７】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０２４８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２４９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２５０】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２５１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２５２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２５３】
さらに、本技術は、以下の構成とすることも可能である。
【０２５４】
［１］
フレーム単位のオーディオ信号を復号して復号信号を生成する復号部と、
過去に出力された出力信号に間引き処理を施して間引き信号を生成する間引き部と、
前記間引き信号に基づいて補間信号を生成する補間信号生成部と、
フレームのエラー情報に応じて、前記復号信号、または前記補間信号の何れかを前記出力信号として出力する出力切替部と
を備える復号装置。
［２］
前記間引き部は、前記出力信号に対してそのまま前記間引き処理を施すことで、前記出力信号の高域の折り返し成分が混入された前記間引き信号を生成する
［１］に記載の復号装置。
［３］
前記間引き信号を保持する間引き信号保持部と、
処理対象のフレームの前記オーディオ信号が消失した場合、消失した前記オーディオ信号の直前の時刻の前記間引き信号の区間と類似する類似区間を、前記間引き信号保持部に保持されている前記間引き信号から検出する類似信号検出部と
をさらに備え、
前記補間信号生成部は、前記間引き信号保持部に保持されている前記間引き信号のうち、前記類似区間直後の区間の信号に基づいて前記補間信号を生成する
［１］または［２］に記載の復号装置。
［４］
前記補間信号生成部は、前記間引き信号保持部に保持されている前記間引き信号のうち、前記類似区間直後の区間の信号をアップサンプルし、
前記補間信号生成部によりアップサンプルされた信号に対して、ローパスフィルタを用いたフィルタ処理を施して前記補間信号とするスムージング部をさらに備える
［３］に記載の復号装置。
［５］
前記スムージング部は、消失した前記処理対象のフレームの前記オーディオ信号の直前の前記オーディオ信号、または消失した前記オーディオ信号の直前の時刻の前記間引き信号をアップサンプルして得られる信号を、前記ローパスフィルタの内部状態の初期値として用いる
［４］に記載の復号装置。
［６］
前記間引き部は、前記出力信号として前記出力切替部から出力された、前記復号信号または前記補間信号に前記間引き処理を施して前記間引き信号を生成する
［１］乃至［５］の何れかに記載の復号装置。
［７］
フレームの前記エラー情報に基づいて、補間ステータスを判定する補間状態判定部をさらに備え、
前記出力切替部は、前記補間信号と前記復号信号を重み付き重複加算することで加算信号を生成し、前記補間ステータスに応じて、前記復号信号、前記補間信号、または前記加算信号の何れかを前記出力信号として出力する
［１］乃至［６］の何れかに記載の復号装置。
［８］
フレーム単位のオーディオ信号を復号して復号信号を生成し、
過去に出力された出力信号に間引き処理を施して間引き信号を生成し、
前記間引き信号に基づいて補間信号を生成し、
フレームのエラー情報に応じて、前記復号信号、または前記補間信号の何れかを前記出力信号として出力する
ステップを含む復号方法。
［９］
フレーム単位のオーディオ信号を復号して復号信号を生成し、
過去に出力された出力信号に間引き処理を施して間引き信号を生成し、
前記間引き信号に基づいて補間信号を生成し、
フレームのエラー情報に応じて、前記復号信号、または前記補間信号の何れかを前記出力信号として出力する
ステップを含む処理をコンピュータに実行させるプログラム。
［１０］
所定の長さの２つのバッファからなるダブルバッファが用いられてオーディオ信号に対する処理が行なわれる場合に、前記ダブルバッファをスイッチさせるタイミングで、内部タイミング信号を出力するタイミング信号発生部と、
前記内部タイミング信号と、外部から供給される外部タイミング信号とが同期していない場合、前記内部タイミング信号と前記外部タイミング信号との位相差だけ、前記ダブルバッファをスイッチさせるタイミングを短縮させることで、前記内部タイミング信号と前記外部タイミング信号を同期させる同期制御部と
を備えるオーディオ信号処理装置。
［１１］
前記内部タイミング信号と前記外部タイミング信号が同期している場合、同期完了状態として、前記ダブルバッファを用いた前記オーディオ信号に対する処理を実行させ、前記内部タイミング信号と前記外部タイミング信号が同期していない場合、同期未完了状態として、前記オーディオ信号に対する処理を停止させる状態遷移部をさらに備える
［１０］に記載のオーディオ信号処理装置。
［１２］
前記状態遷移部は、複数のチャンネルの前記オーディオ信号に対する処理の実行を制御し、処理対象となる前記オーディオ信号のチャンネル数の変更が要求された場合、前記同期未完了状態として、前記オーディオ信号に対する処理を停止させる
［１１］に記載のオーディオ信号処理装置。
［１３］
前記同期制御部は、前記位相差だけ前記ダブルバッファを構成する１つのバッファの長さを短くすることで、前記ダブルバッファをスイッチさせるタイミングを短縮させて前記内部タイミング信号と前記外部タイミング信号を同期させた後、短くしたバッファの長さをもとの長さに戻すことで、前記ダブルバッファの次のスイッチまでの長さを短縮前のもとの長さに戻す
［１１］または［１２］に記載のオーディオ信号処理装置。
［１４］
前記タイミング信号発生部は、受信された前記オーディオ信号を前記ダブルバッファを構成する一方のバッファに格納していき、前記一方のバッファへの前記オーディオ信号の格納が終了したタイミングで前記ダブルバッファをスイッチさせて前記内部タイミング信号を出力し、
前記状態遷移部は、前記同期完了状態であるか、または前記同期未完了状態であるかに応じて、前記オーディオ信号の符号化を制御し、
前記同期完了状態である場合、前記ダブルバッファを構成する他方のバッファに格納されている前記オーディオ信号を符号化する符号化部をさらに備える
［１１］乃至［１３］の何れかに記載のオーディオ信号処理装置。
［１５］
前記タイミング信号発生部は、前記ダブルバッファを構成する一方のバッファに格納されている、復号された前記オーディオ信号を送信していき、前記一方のバッファの前記オーディオ信号の送信が終了したタイミングで前記ダブルバッファをスイッチさせて前記内部タイミング信号を出力し、
前記状態遷移部は、前記同期完了状態であるか、または前記同期未完了状態であるかに応じて、前記オーディオ信号の復号を制御し、
前記同期完了状態である場合、前記オーディオ信号を復号して前記ダブルバッファを構成する他方のバッファに格納していく復号部をさらに備える
［１１］乃至［１３］の何れかに記載のオーディオ信号処理装置。
［１６］
処理対象となる前記オーディオ信号のチャンネル数の取り得る最大値により定まる大きさの記録領域が、各チャンネルの前記オーディオ信号に対する処理に必要な情報を格納するための静的データ格納領域として確保され、
前記チャンネル数の変更が要求された場合、前記オーディオ信号に対する処理に必要な情報が格納されるチャンネルごとの静的データ領域が前記静的データ格納領域上に確保される
［１２］に記載のオーディオ信号処理装置。
［１７］
所定の長さの２つのバッファからなるダブルバッファが用いられてオーディオ信号に対する処理が行なわれる場合に、前記ダブルバッファをスイッチさせるタイミングで、内部タイミング信号を出力し、
前記内部タイミング信号と、外部から供給される外部タイミング信号とが同期していない場合、前記内部タイミング信号と前記外部タイミング信号との位相差だけ、前記ダブルバッファをスイッチさせるタイミングを短縮させることで、前記内部タイミング信号と前記外部タイミング信号を同期させる
ステップを含むオーディオ信号処理方法。
［１８］
所定の長さの２つのバッファからなるダブルバッファが用いられてオーディオ信号に対する処理が行なわれる場合に、前記ダブルバッファをスイッチさせるタイミングで、内部タイミング信号を出力し、
前記内部タイミング信号と、外部から供給される外部タイミング信号とが同期していない場合、前記内部タイミング信号と前記外部タイミング信号との位相差だけ、前記ダブルバッファをスイッチさせるタイミングを短縮させることで、前記内部タイミング信号と前記外部タイミング信号を同期させる
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２５５】
１１  オーディオ信号処理装置，  ２３  フレーム信号復号部，  ２４  補間状態判定部，  ２５  出力切替部，  ２６  折り返し混入間引き部，  ２７  間引き信号バッファ，  ２８  類似信号検出部，  ３０  スムージング部，  １０１  オーディオ信号処理装置，  １２２  チャンネル設定変更部，  １２３  オーディオ符号化器，  １２４  オーディオ復号器，  １２６  同期制御部，  １２８  状態遷移部
【図１】
2013154027.tif 000003
【図２】
2013154027.tif 000004
【図３】
2013154027.tif 000005
【図４】
2013154027.tif 000006
【図５】
2013154027.tif 000007
【図６】
2013154027.tif 000008
【図７】
2013154027.tif 000009
【図８】
2013154027.tif 000010
【図９】
2013154027.tif 000011
【図１０】
2013154027.tif 000012
【図１１】
2013154027.tif 000013
【図１２】
2013154027.tif 000014
【図１３】
2013154027.tif 000015
【図１４】
2013154027.tif 000016
【国際調査報告】
2013154027.tif 000017
2013154027.tif 000018
2013154027.tif 000019
2013154027.tif 000020
2013154027.tif 000021
2013154027.tif 000022