(57)【要約】【課題】オーディオ信号の欠落が起きた場合により違和感が少ない補正処理を行うオーディオ信号処理装置及びオーディオ信号処理方法を提供する。【解決手段】逐次入力される符号化されたオーディオ信号を繰り返し復号するオーディオ信号処理装置であって、符号化されたオーディオ信号を保持するストリームバッファ１１と、ストリームバッファ１１に保持されている符号化されたオーディオ信号を復号する復号器１２と、復号器１２がオーディオ信号を復号する際に、オーディオ信号が欠落している欠落期間を検出する欠落期間検出部１３と、復号されたオーディオ信号を保持する復号データバッファ１４と、復号データバッファ１４に保持されているオーディオ信号のうち、少なくとも欠落期間よりも前のオーディオ信号の時間軸を伸張することにより欠落期間を補正する欠落補正部１５を備える。【選択図】図１
2008176110.tif 000002
【特許請求の範囲】
【請求項１】
逐次入力される符号化されたオーディオ信号を繰り返し復号するオーディオ信号処理装
置において、
前記符号化されたオーディオ信号を保持する第１記憶部と、
前記第１記憶部に保持されている前記符号化されたオーディオ信号を復号する復号器と
、
前記復号器が前記符号化されたオーディオ信号を復号する際に、前記オーディオ信号が
欠落している欠落期間を検出する欠落期間検出部と、
復号されたオーディオ信号を保持する第２記憶部と、
前記第２記憶部に保持されている前記復号されたオーディオ信号のうち、前記欠落期間
よりも前の前記復号されたオーディオ信号、及び、前記欠落期間よりも後の前記復号され
たオーディオ信号の双方について時間軸を伸張することにより前記欠落期間を補正する欠
落補正部と
を備えることを特徴とするオーディオ信号処理装置。
【請求項２】
前記欠落期間よりも後のオーディオ信号を前記復号器が復号する際に、復号するオーデ
ィオ信号の周波数帯域を制限する帯域制限部を更に有することを特徴とする請求項１記載
のオーディオ信号処理装置。
【請求項３】
前記欠落期間よりも後の復号されたオーディオ信号のサンプリング周波数を前記欠落期
間よりも前の復号されたオーディオ信号のサンプリング周波数よりも低くして前記欠落期
間よりも後の復号されたオーディオ信号をサンプリングし、このサンプリングされたオー
ディオ信号を前記第２記憶部へ送信するダウンサンプリング部、及び、前記欠落期間より
も後の復号されたオーディオ信号をステレオからモノラルへ変更するモノラル化部の少な
くとも一方を更に備えることを特徴とする請求項１記載のオーディオ信号処理装置。
【請求項４】
前記欠落補正部は、前記欠落期間よりも後の前記復号されたオーディオ信号及び前記欠
落期間よりも前の前記復号されたオーディオ信号の一部分同士が重なり合うまで又は両者
が繋ぎ合わさるまで、それぞれの時間軸を伸張することを特徴とする請求項１記載のオー
ディオ信号処理装置。
【請求項５】
前記欠落補正部は、前記欠落期間よりも前の前記復号されたオーディオ信号の時間軸を
伸張する際に、前記オーディオ信号をフェードアウトさせることを特徴とする請求項１記
載のオーディオ信号処理装置。
【請求項６】
前記欠落補正部は、前記欠落期間よりも後の前記復号されたオーディオ信号の時間軸を
伸張する際に、前記オーディオ信号をフェードインさせることを特徴とする請求項１記載
のオーディオ信号処理装置。
【請求項７】
前記欠落補正部は、前記欠落期間よりも前の前記復号されたオーディオ信号の時間軸及
び前記欠落期間よりも後の前記復号されたオーディオ信号の時間軸を所定の割合で伸張し
ても、前記欠落期間前後の前記復号されたオーディオ信号が重なり合うことなく前記復号
されたオーディオ信号に欠落部分が残存する場合、前記欠落部分を無音とすることを特徴
とする請求項５又は６記載のオーディオ信号処理装置。
【請求項８】
逐次入力される符号化されたオーディオ信号を繰り返し復号するオーディオ信号処理方
法において、
前記符号化されたオーディオ信号を復号し、
前記符号化されたオーディオ信号を復号する際に、前記オーディオ信号が欠落している
欠落期間を検出し、
復号されたオーディオ信号を保持し、
前記復号されたオーディオ信号のうち、前記欠落期間よりも前の前記復号されたオーデ
ィオ信号、及び、前記欠落期間よりも後の前記復号されたオーディオ信号の双方について
時間軸を伸張することにより前記欠落期間を補正する
ことを特徴とするオーディオ信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化されたオーディオ信号を復号する際にオーディオ信号の欠落を補正す
るオーディオ信号処理装置及びオーディオ信号処理方法に関する。
【背景技術】
【０００２】
逐次入力される符号化されたオーディオ信号を繰り返し復号して再生するデータストリ
ーム受信／再生装置は、オーディオ信号のエラーを訂正するエラー訂正機能を備えている
のが一般的である。しかし、エラー訂正機能が強力でなかったり、オーディオ信号のエラ
ーが長時間にわたって発生してしまったりする時には、エラー訂正機能ではオーディオ信
号のエラーを訂正しきれない場合もあり、その結果オーディオ信号を正しく復号できない
といったことが生じていた。このように、エラー訂正が不可能でオーディオ信号を正常に
復号できないことをオーディオ信号の「欠落」といい、オーディオ信号が欠落している期
間を「欠落期間」という。
【０００３】
このようなオーディオ信号の欠落を補正する手法として、従来から様々な技術が提案さ
れている。例えば、図１０（ａ）に示すように、タイムスタンプt(n-1)及びt(n+1)のオー
ディオ信号は正常に受信しているが、タイムスタンプt(n)のオーディオ信号が欠落してい
る、即ちタイムスタンプt(n)が欠落期間ｔである場合、図１０（ｂ）〜図１０（ｄ）に示
すように、欠落期間ｔを無音の状態にしたり、白色雑音などを挿入したり、或いは欠落期
間前t(n-1)のオーディオ信号を欠落期間tで繰り返し再生したりしていた。
【０００４】
ところが、図１０（ｂ）〜図１０（ｄ）に示す手法では、欠落期間に挿入される音（無
音を含む）がもともと存在する音とは異なる。よって、欠落期間の前後でつながりがない
ため、不連続な音となり、不自然で違和感のある音の再生となってしまう。場合によって
は、不連続部分で音が途切れる際に「ブチッ」という違和感のある音が再生されることも
ある。
【０００５】
そこで、オーディオ信号に相当する音声データに含まれるタイムスタンプの時間ズレに
基づいて、時間ズレが始まるタイムスタンプ以降の音声データの時間軸を時間ズレの分だ
け伸張してオーディオ信号の時間ズレを補正する手法が提案されている（例えば、特許文
献１参照）。すなわち、オーディオ信号の欠落が発生した場合には、欠落期間の分だけ音
声データがずれ込んでくることを前提としており、この時間ズレを時間軸伸張により解消
している。これによって、音の不連続を解消し、違和感を軽減するようにしている。
【特許文献１】特開２００３−２８９３４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１では、時間ズレ検出以降の音声データのみを時間軸伸張の対象とす
るため、聴感上の違和感が大きくなりやすく、欠落期間が長い場合には特に違和感が大き
くなりやすい。
【０００７】
本発明は、上記問題点を解決するために成されたものであり、その目的は、オーディオ
信号の欠落が起きた場合により違和感が少ない補正処理を行うオーディオ信号処理装置及
びオーディオ信号処理方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明のオーディオ信号処理装置は、逐次入力される符号化されたオーディオ信号を繰
り返し復号するオーディオ信号処理装置であって、当該装置が、符号化されたオーディオ
信号を保持する第１記憶部と、第１記憶部に保持されている符号化されたオーディオ信号
を復号する復号器と、復号器が符号化されたオーディオ信号を復号する際に、オーディオ
信号が欠落している欠落期間を検出する欠落期間検出部と、復号されたオーディオ信号を
保持する第２記憶部と、第２記憶部に保持されている復号されたオーディオ信号のうち、
欠落期間よりも前の復号されたオーディオ信号、及び、欠落期間よりも後の復号されたオ
ーディオ信号の双方について時間軸を伸張することにより欠落期間を補正する欠落補正部
を備えることを特徴とする。
【０００９】
本発明のオーディオ信号処理装置によると、欠落期間を検出し、欠落期間前後のオーデ
ィオ信号の時間軸を伸張する。このように、欠落期間の前後の復号されたオーディオ信号
に基づいて補正するため、欠落期間以降のみのデータに基づいて補正するよりも、より違
和感が少ない補正処理を行うことができる。
【００１０】
また、本発明のオーディオ信号処理装置は、欠落補正部によって時間軸が伸張される欠
落期間よりも後のオーディオ信号を復号器が復号する際に、復号するオーディオ信号の周
波数帯域を制限する帯域制限部を更に有していることが好ましい。
【００１１】
このオーディオ信号処理装置によると、復号するオーディオ信号の周波数帯域を制限す
ることにより、欠落期間よりも後のオーディオ信号を高速且つ大量に復号しやすくなり、
復号処理の速度を速くすることができる。
【００１２】
また、本発明のオーディオ信号処理装置は、欠落期間よりも後の復号されたオーディオ
信号のサンプリング周波数を欠落期間よりも前の復号されたオーディオ信号のサンプリン
グ周波数よりも低くして欠落期間よりも後の復号されたオーディオ信号をサンプリングし
、このサンプリングされたオーディオ信号を第２記憶部へ送信するダウンサンプリング部
、及び、欠落期間よりも後の復号されたオーディオ信号をステレオからモノラルへ変更す
るモノラル化部の少なくとも一方を更に備えることが好ましい。
【００１３】
このオーディオ信号処理装置によると、時間軸が伸張される欠落期間よりも後の復号さ
れたオーディオ信号のサンプリング周波数を、欠落期間よりも前の復号されたオーディオ
信号のサンプリング周波数よりも低くすることにより、復号されたオーディオ信号を保持
する第２記憶部の使用メモリ量を少なく抑えることができるため、大量の復号されたオー
ディオ信号を第２記憶部内に格納することができる。また、欠落補正部によって時間軸が
伸張される欠落期間よりも後の復号されたオーディオ信号の音声をステレオからモノラル
へ変更することにより、復号されたオーディオ信号を保持する第２記憶部の使用メモリ量
を少なく抑えることができるため、大量の復号されたオーディオ信号を第２記憶部に格納
することができる。
【００１４】
また、本発明のオーディオ信号処理装置において、欠落補正部は、欠落期間よりも後の
復号されたオーディオ信号及び欠落期間よりも前の復号されたオーディオ信号の一部分同
士が重なり合うまで又は両者が繋ぎ合わさるまで、それぞれの時間軸を伸張することが好
ましい。
【００１５】
このオーディオ信号処理装置によると、欠落期間が比較的短い場合、欠落期間の前後の
復号されたオーディオ信号を互いに一部分が重なり合うまで又は両者が繋ぎ合わさるまで
、伸張することができる。この場合、重なり合う部分を窓関数などにより足し合わせるこ
とにより、滑らかな補正データを作成することができる。また、繋ぎ合わせた場合につい
ても同様に窓関数等を用いることで、滑らかな補正データを作成することができる。この
ため、より違和感が少なくオーディオ信号を補正することができる。
【００１６】
また、本発明のオーディオ信号処理装置において、欠落補正部は、欠落期間よりも前の
復号されたオーディオ信号の時間軸を伸張する際に、オーディオ信号をフェードアウトさ
せることが好ましい。
【００１７】
このオーディオ信号処理装置によると、欠落期間が比較的長い場合、欠落期間前後の復
号されたオーディオ信号を伸張しても欠落期間前後のオーディオ信号を繋ぎ合わせること
ができない場合がある。この場合、オーディオ信号が欠落した部分が残存することになる
が、欠落期間よりも前のオーディオ信号をフェードアウトさせることにより、オーディオ
信号が突然途切れることがなくなり、違和感の少ないオーディオ信号の補正を行なうこと
ができる。
【００１８】
また、本発明のオーディオ信号処理装置において、欠落補正部は、欠落期間よりも後の
復号されたオーディオ信号の時間軸を伸張する際に、オーディオ信号をフェードインさせ
ることが好ましい。
【００１９】
このオーディオ信号処理装置によると、欠落期間が比較的長い場合、欠落期間前後の復
号されたオーディオ信号を伸張しても欠落期間前後のオーディオ信号を繋ぎ合わせること
ができない場合がある。この場合、オーディオ信号が欠落した部分が残存することになる
が、欠落期間よりも後のオーディオ信号をフェードインさせることにより、オーディオ信
号が突然始まることがなくなり、より違和感が少なくオーディオ信号を補正することがで
きる。
【００２０】
また、本発明のオーディオ信号処理装置において、欠落補正部は、欠落期間よりも前の
復号されたオーディオ信号の時間軸及び欠落期間よりも後の復号されたオーディオ信号の
時間軸を所定の割合で伸張しても、欠落期間前後の復号されたオーディオ信号が重なり合
うことなく復号されたオーディオ信号に欠落部分が残存する場合、欠落部分を無音とする
ことが好ましい。
【００２１】
このオーディオ信号処理装置によると、フェードアウト又は／及びフェードインの間の
欠落部分を無音とすることで、欠落期間が比較的長い場合であってもより違和感が少なく
オーディオ信号を補正することができる。
【００２２】
本発明のオーディオ信号処理方法は、逐次入力される符号化されたオーディオ信号を繰
り返し復号するオーディオ信号処理方法であって、当該方法が、先ず、符号化されたオー
ディオ信号を復号し、符号化されたオーディオ信号を復号する際に、オーディオ信号が欠
落している欠落期間を検出し、復号されたオーディオ信号を保持し、復号されたオーディ
オ信号のうち、欠落期間よりも前の復号されたオーディオ信号、及び、欠落期間よりも後
の復号されたオーディオ信号の双方について時間軸を伸張することにより欠落期間を補正
することを特徴とする。
【００２３】
本発明のオーディオ信号処理方法によると、欠落期間を検出し、欠落期間以前のオーデ
ィオ信号の時間軸を伸張する。このように、欠落期間の前後の復号されたオーディオ信号
に基づいて補正するため、欠落期間以降のみのデータに基づいて補正するよりも、より違
和感が少ない補正処理を行うことができる。
【発明の効果】
【００２４】
本発明によれば、オーディオ信号の欠落が起きた場合により違和感が少ない補正処理を
行うオーディオ信号処理装置及びオーディオ信号処理方法を提供することができる。
【発明を実施するための最良の形態】
【００２５】
以下図面を参照して、本発明の実施の形態を説明する。図面の記載において同一部分に
は同一符号を付している。
【００２６】
図１を参照して、本発明の実施の形態に係わるオーディオ信号処理装置の構成を説明す
る。本発明の実施の形態に係わるオーディオ信号処理装置は、逐次入力される符号化され
たオーディオ信号を繰り返し復号する、ストリーム方式のデータ処理装置である。オーデ
ィオ信号処理装置は、符号化されたオーディオ信号を保持するストリームバッファ（第１
記憶部）１１と、ストリームバッファ１１に保持されている符号化されたオーディオ信号
を復号する復号器１２と、復号器１２が符号化されたオーディオ信号を復号する際に、オ
ーディオ信号が欠落している欠落期間を検出する欠落期間検出部１３とを備える。また、
オーディオ信号処理装置は、欠落期間よりも後のオーディオ信号を復号器１２が復号する
際に、復号するオーディオ信号の周波数帯域を制限する帯域制限部１６と、復号されたオ
ーディオ信号を保持する復号データバッファ（第２記憶部）１４と、復号されたオーディ
オ信号のサンプリング周波数を低くして復号データバッファ１４へ送信するダウンサンプ
リング部１８と、復号されたオーディオ信号をステレオからモノラルへ変更して復号デー
タバッファ１４へ送信するモノラル化部１７とを備える。さらに、オーディオ信号処理装
置は、復号データバッファ１４に保持されている復号されたオーディオ信号のサンプリン
グ周波数を高くするアップサンプリング部２０と、復号データバッファ１４に保持されて
いる復号されたオーディオ信号のうち、欠落期間よりも前の復号されたオーディオ信号、
及び、欠落期間よりも後の復号されたオーディオ信号の双方について時間軸を伸張するこ
とにより欠落期間を補正する欠落補正部１５とを備える。
【００２７】
図１の点線は欠落期間検出部１３がオーディオ信号の欠落期間を検出した場合のオーデ
ィオ信号の処理の流れを示し、図１の実線は欠落期間検出部１３がオーディオ信号の欠落
期間を検出しない場合のオーディオ信号の処理の流れを示す。
【００２８】
欠落期間を検出した場合、欠落補正部１５は、欠落期間よりも前後の復号されたオーデ
ィオ信号について時間軸を伸張することにより欠落期間を補正する。
【００２９】
帯域制限部１６は、欠落期間よりも後のオーディオ信号を復号器１２が復号する際に、
欠落期間よりも後のオーディオ信号のうち、欠落補正部１５によって時間軸が伸張される
オーディオ信号の周波数帯域を制限する。
【００３０】
ダウンサンプリング部１８は、欠落期間よりも後の復号されたオーディオ信号のうち、
欠落補正部１５によって時間軸が伸張されるオーディオ信号のサンプリング周波数を前の
復号されたオーディオ信号のサンプリング周波数よりも低くする。
【００３１】
モノラル化部１７は、欠落期間よりも後の復号されたオーディオ信号のうち、欠落補正
部１５によって時間軸が伸張されるオーディオ信号をステレオからモノラルへ変更する。
【００３２】
図２を参照して、図１のオーディオ信号処理装置を用いたオーディオ信号処理方法の流
れを説明する。
【００３３】
（イ）ストリームバッファ１１は、データ記録媒体から読み込んだデータや、有線通信
又は無線通信より受信したデータなどの受信データを一時的に保持する（ステップＳ０１
）。ストリームバッファ１１が格納する受信データは逐次入力される。ここで「受信デー
タ」とは符号化されたオーディオ信号を示す。
【００３４】
（ロ）復号器１２は、ストリームバッファ１１へ逐次入力される受信データを繰り返し
復号する（ステップＳ０２）。ここで図２の「復号データ」は復号されたオーディオ信号
を示す。
【００３５】
（ハ）欠落期間検出部１３は、復号器１２が受信データを復号する際に、オーディオ信
号が欠落している欠落期間を検出する（ステップＳ０３）。
【００３６】
前述したように、オーディオ信号の復号器は、オーディオ信号のエラーを訂正するエラ
ー訂正機能を備えているのが一般的である。しかし、エラー訂正機能が強力でなかったり
、オーディオ信号のエラーが長時間にわたって発生してしまった時には、エラー訂正機能
ではオーディオ信号のエラーを訂正できないためオーディオ信号を正しく復号できない。
欠落期間検出部１３は、このようなエラー訂正が不可能でオーディオ信号を正常に復号で
きない信号状態を「欠落」として検出する。例えば、１パケット（＝８ビット）中の１ビ
ットのデータにエラーがある場合はエラー訂正が可能であるため復号可能であり欠落では
ないと判断する（ステップＳ０３：ＮＯ）が、１パケット（＝８ビット）中の５ビットの
データにエラーがある場合はエラー訂正が不可能であるため復号不可能であり欠落である
と判断する（ステップＳ０３：ＹＥＳ）。なお、欠落期間検出部１３は、欠落検出時には
欠落期間の長さについても調査を行なう。なぜなら、欠落期間の長さに応じて、欠落補正
部１５によって時間軸が伸張されるオーディオ信号の時間軸長さが変化するからである。
また、図１では、欠落期間検出部１３は、復号器１２内に含まれる１つの機能手段として
記載している。しかし、これに限定されることはなく、復号器１２とは異なる部材として
構成してもかまわない。
【００３７】
（ニ）欠落期間があると欠落期間検出部１３が判断した場合（ステップＳ０３：ＹＥＳ
）、帯域制限部１６は、欠落期間よりも後のオーディオ信号のうち、欠落補正部１５によ
って時間軸が伸張されるオーディオ信号の周波数帯域を制限する。これにより、復号器１
２の復号処理の処理速度が速くなる。
【００３８】
（ホ）ダウンサンプリング部１８は、欠落期間よりも後の復号されたオーディオ信号の
うち、欠落補正部１５によって時間軸が伸張されるオーディオ信号のサンプリング周波数
を、欠落期間よりも前の復号されたオーディオ信号のサンプリング周波数よりも低くする
（ステップＳ０５）。これにより、復号データバッファ１４が保持する復号データのデー
タ量が少なくなるため、復号データバッファ１４のデータ使用量を削減することができる
。
【００３９】
（へ）モノラル化部１７は、欠落期間よりも後の復号されたオーディオ信号のうち、欠
落補正部１５によって時間軸が伸張されるオーディオ信号をステレオからモノラルへ変更
する（ステップＳ０６）。これにより、復号データバッファ１４が保持する復号データの
データ量が少なくなるため、復号データバッファ１４のデータ使用量を削減することがで
きる。
【００４０】
（ト）復号データバッファ１４は、復号器１２により復号されたオーディオ信号を保持
する（ステップＳ０７及びステップＳ１０）。欠落期間が検出された場合（ステップＳ０
３：ＹＥＳ）、欠落期間よりも後のオーディオ信号のうち、欠落補正部１５によって時間
軸が伸張されるオーディオ信号については、帯域制限部１６により帯域制限され、ダウン
サンプリング部１８によりサンプリング周波数を低くされ、モノラル化部１７によりステ
レオからモノラルへ変更されたオーディオ信号が保持される。
【００４１】
（チ）アップサンプリング部２０は、復号データバッファ１４に保持されている復号さ
れたオーディオ信号のうち、ダウンサンプリング部１８によりサンプリング周波数を低く
されたオーディオ信号を、サンプリング周波数を高くしてサンプリングする（ステップＳ
０８）。
【００４２】
（リ）欠落補正部１５は、復号データバッファ１４に保持されている復号されたオーデ
ィオ信号のうち、欠落期間よりも前の復号されたオーディオ信号の時間軸及び欠落期間よ
りも後の復号されたオーディオ信号の時間軸をそれぞれ伸張することにより欠落期間を補
正する（ステップＳ０９）。
【００４３】
図３（ａ）はタイムスタンプt(n)が欠落しているオーディオ信号の例を時間軸に沿って
示すグラフである。図１のオーディオ信号処理装置が図３（ａ）のオーディオ信号を受信
した場合、欠落期間検出部１３は、図２のステップＳ０３において、タイムスタンプt(n)
のオーディオ信号が欠落していると判断する。
【００４４】
図３（ｂ）は欠落期間t(n)よりも前のタイムスタンプt(n-1)のオーディオ信号の時間軸
、及び欠落期間t(n)よりも後のタイムスタンプt(n+1)のオーディオ信号の時間軸をそれぞ
れ伸張して、欠落期間t(n)を補正した状態を示すグラフである。欠落補正部１５は、図２
のステップＳ０９において、欠落期間t(n)よりも前のタイムスタンプt(n-1)のオーディオ
信号の時間軸、及び欠落期間t(n)よりも後のタイムスタンプt(n+1)のオーディオ信号の時
間軸をそれぞれ伸張して、図３（ｂ）に示すように欠落期間t(n)を補正する。
【００４５】
なお、図３の例では、欠落期間t(n)よりも後t(n+1)のオーディオ信号に対して、帯域制
限（ステップＳ０４）、ダウンサンプリング（ステップＳ０５）及びモノラル化（ステッ
プＳ０６）の処理は施していないが、これら処理を施すことが好ましい。復号速度を向上
させ、使用メモリ量を低減させることができるからである。なお、帯域制限（ステップＳ
０４）、ダウンサンプリング（ステップＳ０５）及びモノラル化（ステップＳ０６）等の
処理は音質低下の原因となるため、音質を考慮してこれら処理を施さないようにしてもよ
い。
【００４６】
図４〜図６を参照して、欠落期間の長さに応じた補正処理方法の具体例を説明する。な
おここでは、図３の補正処理方法とは異なり、図４に示すように、欠落期間よりも前の受
信データを通常条件で復号し、欠落期間よりも後の受信データ或いは復号データに対して
帯域制限（ステップＳ０４）、ダウンサンプリング（ステップＳ０５）及びモノラル化（
ステップＳ０６）を実施する場合について説明する。
【００４７】
図５（ａ）は、図４の欠落期間が比較的に短い場合の補正処理方法を示すグラフである
。先ず、欠落期間よりも後のオーディオ信号に対してはダウンサンプリング（ステップＳ
０５）を実施しているので、アップサンプリング部２０は、復号データバッファ１４に保
持されている復号されたオーディオ信号のうち、ダウンサンプリング部１８によりサンプ
リング周波数を低くされたオーディオ信号を、サンプリング周波数を高くしてサンプリン
グする、いわゆるアップサンプリングを行なう（ステップＳ０８）。そして、欠落期間の
前及び後の復号データの時間軸をそれぞれ伸張する。欠落期間が比較的に短い場合、欠落
補正部１５は、欠落期間よりも後の復号データ及び欠落期間よりも前の復号データの一部
分同士が重なり合うまでそれぞれの時間軸を伸張することができる。そして、図５（ｂ）
に示すようにオーバーラップされた一部分を足し合わせる。足し合わせの際、窓関数を適
用することにより、滑らかな補正データを作成することができる。
【００４８】
なお、図５（ａ）の例では、欠落期間の前及び後の復号データの時間軸のそれぞれをお
よそ欠落期間だけ伸張することで、互いに重なり合う一部分を形成した。しかし、本発明
はこれに限定されず、図３に示した例と同様に、欠落期間の前及び後の復号データの時間
軸のそれぞれをおよそ欠落期間の半分だけ伸張して、欠落期間の前及び後の復号データを
繋ぎ合わせるだけでも構わない。
【００４９】
図６は、図４のオーディオ信号の欠落期間が比較的に長い場合の補正処理方法を示すグ
ラフである。欠落期間が比較的に長い場合、図５（ａ）とは異なり、欠落期間の前及び後
の復号データの時間軸をそれぞれ伸張しても、欠落期間の前及び後の復号データを繋ぎ合
わせることができず、復号データに欠落部分が残存してしまう。このような場合、欠落補
正部１５は、欠落期間よりも前の復号データの時間軸を伸張する際に、復号データをフェ
ードアウトさせる。これにより、オーディオ信号が突然途切れることがなくなり、違和感
の少ないオーディオ信号の補正を行なうことができる。また、欠落補正部１５は、欠落期
間よりも後の復号データの時間軸を伸張する際に、復号データをフェードインさせる。こ
れにより、オーディオ信号が突然始まることがなくなり、より違和感が少なくオーディオ
信号を補正することができる。そして、復号データに欠落部分が残存する場合、欠落補正
部１５は、当該欠落部分を無音とする。フェードアウト又は／及びフェードインの間の欠
落部分を無音とすることで、「ブチッ」というノイズを軽減して再生することができる。
よって、欠落期間が比較的長い場合であってもより違和感が少なくオーディオ信号を補正
することができる。
（第１の実施例）
図７を参照して、本発明を適用した第１の実施例である、メモリカード２１に記憶され
た符号化されたオーディオ信号を読み出し、復号してスピーカ２２から出力する装置の構
成を説明する。図７の装置と図１のオーディオ信号処理装置とを比べると、図１の「受信
データ」が、図７のメモリカード２１から読み出される符号化されたオーディオ信号に相
当し、図１の「再生データ」が、図７のスピーカ２２から出力される再生データに相当す
る。その構成要素について、図１及び図７は共通している。
【００５０】
メモリカード２１から読み出される符号化されたオーディオ信号は、サンプリング周波
数が４８ｋＨｚであり、２チャンネルのステレオ方式の信号である。よって、１フレーム
は、１０２４サンプル×２ｃｈ＝２０４８サンプルである。ストリームバッファ１１は、
２０フレーム分のストリームデータを保持することができ、復号データバッファ１４は、
８フレーム（＝１６３８４サンプル）分のストリームデータを保持することができる。
【００５１】
欠落期間があると欠落期間検出部１３が判断した場合（図２のステップＳ０３：ＹＥＳ
）、帯域制限部１６は、欠落期間よりも後のオーディオ信号のうち、欠落補正部１５によ
って時間軸が伸張されるオーディオ信号の周波数帯域を制限する。これにより、復号器１
２の復号処理の処理速度が速くなる。例えば、オーディオ信号が主に人間の声からなる場
合、人間の声の周波数帯域は４ｋＨｚ以下であるため、復号器１２が復号する周波数帯域
を１０ｋＨｚ以下に制限し、１０ｋＨｚよりも高い周波数帯域は復号しない。これにより
、人間の声は十分に再生可能である。
【００５２】
更に、ダウンサンプリング部１８は、欠落期間よりも後の復号データのうち、欠落補正
部１５によって時間軸が伸張される復号データのサンプリング周波数を、欠落期間よりも
前の復号データのサンプリング周波数の１／２に設定する（図２のステップＳ０５）。こ
れにより、復号データのデータ量が半分になる。１フレームのデータ量が２０４８サンプ
ルから１０２４サンプルになる。
【００５３】
そして、モノラル化部１７は、復号信号をステレオからモノラルへ変更する（図２のス
テップＳ０６）。これにより、復号データが２ｃｈから１ｃｈに半減するので、復号デー
タのデータ量が更に半分になる。１フレームのデータ量が１０２４サンプルから５１２サ
ンプルになる。よって、復号データバッファ１４が保持する復号データのデータ量が少な
くなるため、より多くのフレームを復号データバッファ１４に格納することができる。ダ
ウンサンプリング及びモノラル化により、１フレームのデータ量が１／４になるので、復
号データバッファ１４のデータ使用量も１／４で済む。
【００５４】
なお、ダウンサンプリング部１８がサンプリング周波数を半分にするとサンプリング周
波数は２４ｋＨｚとなり、表現できるオーディオ信号の周波数帯域は１２ｋＨｚ以下とな
るが、復号処理の際に帯域制限部１６が既に周波数帯域を１０ｋＨｚ以下に制限している
ので問題はない。
【００５５】
アップサンプリング部２０は、ダウンサンプリング部１８によりサンプリング周波数を
低くされたオーディオ信号を、サンプリング周波数を高くしてサンプリングする（図２の
ステップＳ０８）。そして、欠落補正部１５は、欠落期間が４フレーム以内であれば、欠
落期間の前後の４フレーム分の復号データの時間軸をそれぞれ伸張し、オーバーラップし
た部分を窓関数を用いて足し合わせる（図２のステップＳ０９）。
【００５６】
図８（ａ）〜図８（ｃ）を参照して、図７の装置によりオーディオ信号の欠落期間を補
正する処理手順における主要なデータ処理状態を説明する。なお、図８では、欠落期間が
２フレームであり、欠落期間前後の４フレームから伸張して補正する例を説明する。図８
（ａ）は、復号される受信データの波形を示す。欠落期間検出部１３がフレーム７及び８
を欠落期間として検出した場合、時間軸伸張の対象としてフレーム９〜１２の受信データ
を復号する。そして、ダウンサンプリング部１８及びモノラル化部１７からなるデータ削
減部１９は、それぞれ復号データのデータ量を半減させる。よって、図８（ｂ）に示すよ
うに、フレーム９〜１２の復号データは、１つのフレーム分のデータとして、復号データ
バッファ１４に格納される。復号データバッファ１４のデータ容量は８フレーム分である
ので、通常の復号処理を行なったのでは、フレーム１〜１２の復号データを同時に格納す
ることはできない。そこで、データ削減部１９が復号データのデータ量を１／４にまで削
減することにより、復号データバッファ１４は、フレーム９〜１２の復号データを１つの
フレームとして格納することができる。
【００５７】
１２フレーム目までの復号が完了すると、再生データの生成を始める。フレーム１及び
２は通常の再生を行なう。欠落期間よりも前の４フレーム（フレーム３〜６）の時間軸は
、欠落補正部１５により欠落期間（２フレーム）を加えた６フレーム分に伸張される。欠
落期間よりも後の４フレーム（図８（ａ）のフレーム９〜１２、図８（ｂ）のフレーム７
）の時間軸は、アップサンプリング処理により４フレームへ復元した後、欠落補正部１５
により更に欠落期間（２フレーム）を加えた６フレーム分に伸張される。
【００５８】
欠落期間であるフレーム７及び８には、欠落期間の前後から伸張された復号データが重
なり合って存在するため、これらをオーバーラップさせて再生データを生成する。オーバ
ーラップの際、窓関数を適用することにより、より滑らかな再生データが生成できる。
【００５９】
ムービーカメラ等で動画を撮影し、フラッシュメモリなどのメモリカード２１に記録し
符号化されたオーディオ信号を再生する際に、何らかの要因でメモリカード２１からのデ
ータストリームの読み込みに失敗する、すなわち、欠落期間が発生することがある。この
ような場合であっても、上述したオーディオ信号処理装置を用いることにより、オーディ
オ信号の複合処理を確実且つ容易に行なうことができる。
（第２の実施例）
現行のデジタルテレビ放送には、複数のエラー訂正機能が含まれており、家庭用のデジ
タルテレビなどの固定受信を行なう装置では、受信データが欠落する可能性はほとんどな
いとされている。しかし、携帯端末やカーナビゲーションなどの移動しながら電波を受信
するシステムでは、ビルの間やトンネルなどで電波状況が変化し、長時間電波が遮断され
ることも想定される。一般的に、約１秒以上のデータが欠落してしまうと、エラー訂正を
行なうことができず、エラー訂正範囲を超えるエラーが発生することになる。
【００６０】
第２の実施例では、サンプリング周波数４８ｋＨｚ、１フレームを１０２４サンプル×
２チャンネルの環境で、１０フレーム分の復号データバッファ１４を備えるデジタルテレ
ビ放送受信装置について説明する。
【００６１】
図９（ａ）は、欠落期間が比較的に長く、５０フレーム（約１秒間）のオーディオ信号
が欠落して、エラー訂正不可能なオーディオ信号の波形を示す。この場合、図９（ｂ）に
示すように、欠落補正部１５は、欠落期間の前の１０フレーム分のオーディオ信号の時間
軸を２倍に伸張して、２０フレーム分のオーディオ信号とする。更に、欠落補正部１５は
、欠落期間よりも前のオーディオ信号の時間軸を伸張する際に、オーディオ信号をフェー
ドアウトさせる。これにより、オーディオ信号が突然途切れることがなくなり、違和感の
少ないオーディオ信号の補正を行なうことができる。
【００６２】
そして、データ欠落が約１秒間続いた後、再びオーディオ信号が復帰した場合、図９（
ｂ）に示すように、欠落補正部１５は、欠落期間の後の１０フレーム分のオーディオ信号
の時間軸を２倍に伸張して、２０フレーム分のオーディオ信号とする。更に、欠落補正部
１５は、欠落期間よりも後のオーディオ信号の時間軸を伸張する際に、オーディオ信号を
フェードインさせる。これにより、オーディオ信号が突然始まることがなくなり、より違
和感が少なくオーディオ信号を補正することができる。
【００６３】
時間軸伸張を行なったことにより、欠落期間は５０フレームから３０フレームに短縮さ
れるが、時間軸伸張を行なった後のオーディオ信号に３０フレーム分の欠落部分が残存す
る。そこで、欠落補正部１５は、当該欠落部分は無音区間とする。フェードアウト又は／
及びフェードインの間の欠落部分を無音区間とすることで、「ブチッ」というノイズを軽
減して再生することができる。よって、欠落期間が比較的長い場合であってもより違和感
が少なくオーディオ信号を補正することができる。
【００６４】
以上説明したように、本発明の実施の形態によれば、以下の作用効果が得られる。
【００６５】
逐次入力される符号化されたオーディオ信号を繰り返し復号するオーディオ信号処理装
置において、ストリームバッファ１１は符号化されたオーディオ信号を保持し、復号器１
２はストリームバッファ１１に保持されている符号化されたオーディオ信号を復号し、欠
落期間検出部１３は復号器１２が符号化されたオーディオ信号を復号する際に、オーディ
オ信号が欠落している欠落期間を検出し、復号データバッファ１４は復号されたオーディ
オ信号を保持し、欠落補正部１５は復号データバッファ１４に保持されている復号された
オーディオ信号のうち、欠落期間よりも前の復号されたオーディオ信号、及び、欠落期間
よりも後の復号されたオーディオ信号の双方について時間軸を伸張することにより欠落期
間を補正する。
【００６６】
逐次入力される符号化されたオーディオ信号を繰り返し復号するオーディオ信号処理方
法において、先ず、符号化されたオーディオ信号を復号する。符号化されたオーディオ信
号を復号する際に、オーディオ信号が欠落している欠落期間を検出する。復号されたオー
ディオ信号を保持する。復号されたオーディオ信号のうち、欠落期間よりも前の復号され
たオーディオ信号、及び、欠落期間よりも後の復号されたオーディオ信号の双方について
時間軸を伸張することにより欠落期間を補正する。
【００６７】
従来では、オーディオ信号に含まれるタイムスタンプの時間ズレが始まるタイムスタン
プ以降のオーディオ信号の時間軸を伸張することで補正していたため、聴感上の違和感が
大きくなりやすかった。ところが、本実施形態では欠落期間前後のオーディオ信号につい
て時間軸を伸張する。これにより、欠落期間以降のみのデータに基づいて補正するよりも
、より違和感が少ない補正処理を行うことができる。また、従来では、タイムスタンプの
時間ズレにより欠落を検出していたが、本実施形態では、例えば、１パケット（＝８ビッ
ト）中の１ビットのデータにエラーがある場合はエラー訂正が可能であるため復号可能で
あり欠落ではないと判断し、１パケット（＝８ビット）中の５ビットのデータにエラーが
ある場合はエラー訂正が不可能であるため復号不可能であり欠落であると判断する。この
ように、本実施形態では欠落期間を直接検出するため、オーディオ信号の欠落を正確に検
出することもできる。
【００６８】
オーディオ信号処理装置は、欠落補正部１５によって時間軸が伸張される欠落期間より
も後のオーディオ信号を復号器１２が復号する際に、復号するオーディオ信号の周波数帯
域を制限する帯域制限部１６を更に有する。
【００６９】
復号するオーディオ信号の周波数帯域を制限することにより、欠落期間よりも後のオー
ディオ信号を高速且つ大量に復号しやすくなり、復号処理の速度を早くすることができる
。
【００７０】
オーディオ信号処理装置は、ダウンサンプリングして復号データバッファ１４へ送信す
るダウンサンプリング部１８、或いは復号されたオーディオ信号をステレオからモノラル
へ変更するモノラル化部１７の少なくとも一方を更に備える。ダウンサンプリング部１８
は、欠落補正部１５によって時間軸が伸張される欠落期間よりも後の復号されたオーディ
オ信号のサンプリング周波数を欠落期間よりも前の復号されたオーディオ信号のサンプリ
ング周波数よりも低くし、モノラル化部１７は、欠落補正部１５によって時間軸が伸張さ
れる欠落期間よりも後の復号されたオーディオ信号をステレオからモノラルへ変更する。
【００７１】
時間軸が伸張される欠落期間よりも後の復号されたオーディオ信号のサンプリング周波
数を、欠落期間よりも前の復号されたオーディオ信号のサンプリング周波数よりも低くす
ることにより、復号されたオーディオ信号を保持する復号データバッファ１４の使用メモ
リ量を少なく抑えることができるため、大量の復号されたオーディオ信号を復号データバ
ッファ１４内に格納することができる。また、欠落補正部１５によって時間軸が伸張され
る欠落期間よりも後の復号されたオーディオ信号の音声をステレオからモノラルへ変更す
ることにより、復号されたオーディオ信号を保持する復号データバッファ１４の使用メモ
リ量を少なく抑えることができるため、大量の復号されたオーディオ信号を復号データバ
ッファ１４内に格納することができる。
【００７２】
欠落補正部１５は、欠落期間よりも後の復号されたオーディオ信号及び欠落期間よりも
前の復号されたオーディオ信号の一部分同士が重なり合うまで又は両者が繋ぎ合わさるま
で、それぞれの時間軸を伸張し、足し合わせる。
【００７３】
欠落期間が比較的短い場合、欠落期間の前後の復号されたオーディオ信号を互いに一部
分が重なり合うまで伸張することができる。この場合、重なり合う部分を窓関数などを用
いて足し合わせることにより、滑らかな補正データを作成することができるため、より違
和感が少なくオーディオ信号を補正することができる。また、繋ぎ合わせた場合について
も同様に窓関数等を用いることで、滑らかな補正データを作成することができる。このた
め、より違和感が少なくオーディオ信号を補正することができる。
【００７４】
欠落補正部１５は、欠落期間よりも前の復号されたオーディオ信号の時間軸を伸張する
際に、オーディオ信号をフェードアウトさせる。
【００７５】
欠落期間が比較的長い場合、欠落期間前後の復号されたオーディオ信号を伸張しても欠
落期間前後のオーディオ信号を繋ぎ合わせることができない場合がある。この場合、オー
ディオ信号が欠落した部分が残存することになるが、欠落期間よりも前のオーディオ信号
をフェードアウトさせることにより、オーディオ信号が突然途切れることがなくなり、違
和感の少ないオーディオ信号の補正を行なうことができる。
【００７６】
欠落補正部１５は、欠落期間よりも後の復号されたオーディオ信号の時間軸を伸張する
際に、オーディオ信号をフェードインさせる。
【００７７】
欠落期間が比較的長い場合、欠落期間前後の復号されたオーディオ信号を伸張しても欠
落期間前後のオーディオ信号を繋ぎ合わせることができない場合がある。この場合、オー
ディオ信号が欠落した部分が残存することになるが、欠落期間よりも後のオーディオ信号
をフェードインさせることにより、オーディオ信号が突然始まることがなくなり、より違
和感が少なくオーディオ信号を補正することができる。
【００７８】
欠落補正部１５は、欠落期間よりも前の復号されたオーディオ信号の時間軸及び欠落期
間よりも後の復号されたオーディオ信号の時間軸を伸張しても、復号されたオーディオ信
号に欠落部分が残存する場合、欠落部分は無音とする。
【００７９】
フェードアウト又は／及びフェードインの間の欠落部分を無音とすることで、欠落期間
が比較的長い場合であってもより違和感が少なくオーディオ信号を補正することができる
。
【００８０】
上記のように、本発明は、実施の形態及び第１及び第２の実施例によって記載したが、
この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではな
い。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろ
う。即ち、本発明はここでは記載していない様々な実施の形態等を包含するということを
理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲に係る発明
特定事項によってのみ限定されるものである。
【図面の簡単な説明】
【００８１】
【図１】本発明の実施の形態に係わるオーディオ信号処理装置の構成を示すブロック図である。
【図２】図１のオーディオ信号処理装置を用いたオーディオ信号処理方法の流れを示すフローチャートである。
【図３】図３（ａ）はタイムスタンプt(n)が欠落しているオーディオ信号の例を時間軸に沿って示すグラフであり、図３（ｂ）は欠落期間t(n)よりも前のタイムスタンプt(n-1)のオーディオ信号の時間軸、及び欠落期間t(n)よりも後のタイムスタンプt(n+1)のオーディオ信号の時間軸をそれぞれ伸張して、欠落期間t(n)を補正した状態を示すグラフである。
【図４】欠落期間よりも前の受信データを通常条件で復号し、欠落期間よりも後の受信データ或いは復号データに対して帯域制限（ステップＳ０４）、ダウンサンプリング（ステップＳ０５）及びモノラル化（ステップＳ０６）を実施する実施例を説明する図である。
【図５】図５（ａ）は図４のオーディオ信号の欠落期間が比較的に短い場合の補正処理方法を示すグラフであり、図５（ｂ）は図５（ａ）のオーバーラップされたオーディオ信号の一部分を足し合わせた状態を示すグラフでる。
【図６】図４のオーディオ信号の欠落期間が比較的に長い場合の補正処理方法を示すグラフである。
【図７】本発明を適用した第１の実施例である、メモリカード２１に記憶された符号化されたオーディオ信号を読み出し、復号してスピーカ２２から出力する装置の構成を示すブロック図である。
【図８】図８（ａ）〜図８（ｃ）は、図７の装置によりオーディオ信号の欠落期間を補正する処理手順における主要なデータ処理状態を示すグラフである。
【図９】図９（ａ）はオーディオ信号の欠落期間が比較的に長い場合におけるオーディオ信号の波形を示すグラフであり、図９（ｂ）は欠落期間の前後のオーディオ信号の時間軸を伸張し、更にフェードアウト／フェードインの処理を施した後のオーディオ信号の波形を示すグラフである。
【図１０】図１０（ａ）〜図１０（ｄ）は、音声データの欠落を補正する従来の手法を説明するための図である。
【符号の説明】
【００８２】
１１  ストリームバッファ
１２  復号器
１３  欠落期間検出部
１４  復号データバッファ
１５  欠落補正部
１６  帯域制限部
１７  モノラル化部
１８  ダウンサンプリング部
１９  データ削減部
２０  アップサンプリング部
２１  メモリカード
２２  スピーカ
【図１】
2008176110.tif 000003
【図２】
2008176110.tif 000004
【図３】
2008176110.tif 000005
【図４】
2008176110.tif 000006
【図５】
2008176110.tif 000007
【図６】
2008176110.tif 000008
【図７】
2008176110.tif 000009
【図８】
2008176110.tif 000010
【図９】
2008176110.tif 000011
【図１０】
2008176110.tif 000012