(57)【要約】オーディオデータ中のエラーまたはロスが生じたフレームの音の状況を判別し、その状況に応じた補間を行う補間装置を、オーディオデータを入力する入力部と、オーディオデータの各フレームのエラーまたはロスを検出する検出部と、エラーまたはロスが検出されたフレームの補間情報を推定する推定部と、エラーまたはロスが検出されたフレームを、該フレームについて推定部により推定された補間情報を用いて補間する補間部とにより構成する。
2002071389.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームからなるオーディオデータの補間を行うオーディオデータ補間装置であって、
前記オーディオデータを入力する入力手段と、
前記オーディオデータの各フレームのエラーまたはロスを検出する検出手段と、
前記エラーまたはロスが検出されたフレームの補間情報を推定する推定手段と、
前記エラーまたはロスが検出されたフレームを、該フレームについて前記推定手段により推定された前記補間情報を用いて補間する補間手段と
を備えたことを特徴とするオーディオデータ補間装置。
【請求項２】
請求の範囲１に記載のオーディオデータ補間装置であって、前記フレームの各々はパラメータを有し、前記推定手段は、前記エラーまたはロスが検出されたフレームのパラメータを、該フレームの前および／または後のフレームのパラメータに基づいて判別し、前記エラーまたはロスが検出されたフレームの音の状況を該フレームのパラメータに基づいて推定することを特徴とするオーディオデータ補間装置。
【請求項３】
請求の範囲２に記載のオーディオデータ補間装置であって、前記パラメータの状態遷移はあらかじめ定められており、前記推定手段は、前記エラーまたはロスが検出されたフレームのパラメータを、該フレームの前および／または後のフレームのパラメータ、ならびに前記状態遷移に基づいて判別することを特徴とするオーディオデータ補間装置。
【請求項４】
請求の範囲１に記載のオーディオデータ補間装置であって、前記推定手段は、前記エラーまたはロスが検出されたフレームのエネルギーと、該フレームの前および／または後のフレームのエネルギーとの類似性に基づいて、前記エラーまたはロスが検出されたフレームの音の状況を推定することを特徴とするオーディオデータ補間装置。
【請求項５】
請求の範囲４に記載のオーディオデータ補間装置であって、前記推定手段は、前記類似性を、前記エラーまたはロスが検出されたフレームを時間領域で分割した際の各分割領域のエネルギーと、該フレームの前および／または後のフレームを時間領域で分割した際の各分割領域のエネルギーとを比較することにより求めることを特徴とするオーディオデータ補間装置。
【請求項６】
請求の範囲４に記載のオーディオデータ補間装置であって、前記推定手段は、前記類似性を、前記エラーまたはロスが検出されたフレームを周波数領域で分割した際の各分割領域のエネルギーと、該フレームの前および／または後のフレームを周波数領域で分割した際の各分割領域のエネルギーとを比較することにより求めることを特徴とするオーディオデータ補間装置。
【請求項７】
請求の範囲１に記載のオーディオデータ補間装置であって、前記推定手段は、前記エラーまたはロスが検出されたフレームについての、該フレームの前および／または後のフレームに基づく予測可能性に基づいて、前記エラーまたはロスが検出されたフレームの音の状況を推定することを特徴とするオーディオデータ補間装置。
【請求項８】
請求の範囲７に記載のオーディオデータ補間装置であって、前記推定手段は、前記予測可能性を、前記オーディオデータの周波数領域における分布の偏りに基づいて求めることを特徴とするオーディオデータ補間装置。
【請求項９】
請求の範囲１に記載のオーディオデータ補間装置であって、前記推定手段は、前記エラーまたはロスが検出されたフレームの音の状況を、該フレームの前のフレームの音の状況に基づいて推定することを特徴とするオーディオデータ補間装置。
【請求項１０】
複数のフレームからなるオーディオデータの補間を行うオーディオデータ補間装置であって、
前記オーディオデータを入力するオーディオデータ入力手段と、
前記オーディオデータの各フレームに関し、該フレームの補間情報を入力する補間情報入力手段と、
前記オーディオデータの各フレームのエラーまたはロスを検出する検出手段と、
前記エラーまたはロスが検出されたフレームを、該フレームについて前記補間情報入力手段により入力された前記補間情報を用いて補間する補間手段と
を備えたことを特徴とするオーディオデータ補間装置。
【請求項１１】
複数のフレームからなるオーディオデータの補間を行うオーディオデータ補間装置であって、
前記オーディオデータを入力するオーディオデータ入力手段と、
前記オーディオデータの各フレームのエラーまたはロスを検出する検出手段と、
前記エラーまたはロスが検出されたフレームの補間情報を入力または推定する補間情報入力／推定手段と、
前記エラーまたはロスが検出されたフレームを、該フレームについて前記補間情報入力／推定手段により入力または推定された前記補間情報を用いて補間する補間手段と
を備えたことを特徴とするオーディオデータ補間装置。
【請求項１２】
複数のフレームからなるオーディオデータに関連する情報を作成するオーディオデータ関連情報作成装置であって、
前記オーディオデータを入力する入力手段と、
前記オーディオデータの各フレームに関し、該フレームの補間情報を作成する作成手段と
を備えたことを特徴とするオーディオデータ関連情報作成装置。
【請求項１３】
請求の範囲１２に記載のオーディオデータ関連情報作成装置であって、前記作成手段は、前記オーディオデータの各フレームに関する、該フレームのエネルギーと、該フレームの前および／または後のフレームのエネルギーとの類似性を含んだ前記補間情報を作成することを特徴とするオーディオデータ関連情報作成装置。
【請求項１４】
請求の範囲１２に記載のオーディオデータ関連情報作成装置であって、前記作成手段は、前記オーディオデータの各フレームに関する、該フレームについての、該フレームの前および／または後のフレームに基づく予測可能性を含んだ前記補間情報を作成することを特徴とするオーディオデータ関連情報作成装置。
【請求項１５】
請求の範囲１２に記載のオーディオデータ関連情報作成装置であって、前記作成手段は、前記オーディオデータの各フレームに関する、該フレームの音の状況を含んだ前記補間情報を作成することを特徴とするオーディオデータ関連情報作成装置。
【請求項１６】
請求の範囲１２に記載のオーディオデータ関連情報作成装置であって、前記作成手段は、前記オーディオデータの各フレームに関する、該フレームの補間法を含んだ前記補間情報を作成することを特徴とするオーディオデータ関連情報作成装置。
【請求項１７】
請求の範囲１６に記載のオーディオデータ関連情報作成装置であって、前記作成手段は、前記オーディオデータの各フレームにつき、エラーを発生させ、エラーを発生させたデータに複数の補間法を適用し、該複数の補間法の適用結果に応じて該複数の補間法の中から前記補間情報に含める補間法を選択することを特徴とするオーディオデータ関連情報作成装置。
【請求項１８】
複数のフレームからなるオーディオデータの補間を行うオーディオデータ補間方法であって、
前記オーディオデータを入力するステップと、
前記オーディオデータの各フレームのエラーまたはロスを検出するステップと、
前記エラーまたはロスが検出されたフレームの補間情報を推定するステップと、
前記エラーまたはロスが検出されたフレームを、該フレームについて前記推定するステップにより推定された前記補間情報を用いて補間するステップと
を備えたことを特徴とするオーディオデータ補間方法。
【請求項１９】
請求の範囲１８に記載のオーディオデータ補間方法をコンピュータに実行させるためのプログラム。
【請求項２０】
請求の範囲１８に記載のオーディオデータ補間方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２１】
複数のフレームからなるオーディオデータの補間を行うオーディオデータ補間方法であって、
前記オーディオデータを入力するステップと、
前記オーディオデータの各フレームに関し、該フレームの補間情報を入力するステップと、
前記オーディオデータの各フレームのエラーまたはロスを検出するステップと、
前記エラーまたはロスが検出されたフレームを、該フレームについての前記補間情報を入力するステップにより入力された前記補間情報を用いて補間するステップと
を備えたことを特徴とするオーディオデータ補間方法。
【請求項２２】
請求の範囲２１に記載のオーディオデータ補間方法をコンピュータに実行させるためのプログラム。
【請求項２３】
請求の範囲２１に記載のオーディオデータ補間方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２４】
複数のフレームからなるオーディオデータの補間を行うオーディオデータ補間方法であって、
前記オーディオデータを入力するステップと、
前記オーディオデータの各フレームのエラーまたはロスを検出するステップと、
前記エラーまたはロスが検出されたフレームの補間情報を入力または推定するステップと、
前記エラーまたはロスが検出されたフレームを、該フレームについて前記補間情報を入力または推定するステップにより入力または推定された前記補間情報を用いて補間するステップと
を備えたことを特徴とするオーディオデータ補間方法。
【請求項２５】
請求の範囲２４に記載のオーディオデータ補間方法をコンピュータに実行させるためのプログラム。
【請求項２６】
請求の範囲２４に記載のオーディオデータ補間方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２７】
複数のフレームからなるオーディオデータに関連する情報を作成するオーディオデータ関連情報作成方法であって、
前記オーディオデータを入力するステップと、
前記オーディオデータの各フレームに関し、該フレームの補間情報を作成するステップと
を備えたことを特徴とするオーディオデータ関連情報作成方法。
【請求項２８】
請求の範囲２７に記載のオーディオデータ関連情報作成方法をコンピュータに実行させるためのプログラム。
【請求項２９】
請求の範囲２７に記載のオーディオデータ関連情報作成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３０】
複数のフレームからなるオーディオデータの補間情報を送信するオーディオデータ補間情報送信装置であって、
前記オーディオデータを入力する入力手段と、
前記オーディオデータの各フレームに対する補間情報と該フレームのオーディオデータとの間に時間差を与える時間差付加手段と、
前記補間情報と前記オーディオデータとを共に送信する送信手段と
を備えたことを特徴とするオーディオデータ補間情報送信装置。
【請求項３１】
請求の範囲３０に記載のオーディオデータ補間情報送信装置であって、前記送信手段は、前記補間情報が直前のフレームの補間情報と異なる場合にのみ前記補間情報を前記オーディオデータと共に送信することを特徴とするオーディオデータ補間情報送信装置。
【請求項３２】
請求の範囲３０に記載のオーディオデータ補間情報送信装置であって、前記送信手段は、前記補間情報をオーディオデータに埋めこんで送信することを特徴とするオーディオデータ補間情報送信装置。
【請求項３３】
請求の範囲３０に記載のオーディオデータ補間情報送信装置であって、前記送信手段は、前記補間情報だけ複数回送信することを特徴とするオーディオデータ補間情報送信装置。
【請求項３４】
請求の範囲３０に記載のオーディオデータ補間情報送信装置であって、前記送信手段は、前記補間情報にだけ強い誤り訂正を施して送信することを特徴とするオーディオデータ補間情報送信装置。
【請求項３５】
請求の範囲３０に記載のオーディオデータ補間情報送信装置であって、前記送信手段は、再送要求に応じて前記補間情報だけ再送することを特徴とするオーディオデータ補間情報送信装置。
【請求項３６】
複数のフレームからなるオーディオデータの補間情報を送信するオーディオデータ補間情報送信装置であって、
前記オーディオデータを入力する入力手段と、
前記オーディオデータの各フレームに対する補間情報を、前記オーディオデータとは別に送信する送信手段と
を備えたことを特徴とするオーディオデータ補間情報送信装置。
【請求項３７】
請求の範囲３６に記載のオーディオデータ補間情報送信装置であって、前記送信手段は、前記補間情報が直前のフレームの補間情報と異なる場合にのみ前記補間情報を前記オーディオデータと共に送信することを特徴とするオーディオデータ補間情報送信装置。
【請求項３８】
請求の範囲３６に記載のオーディオデータ補間情報送信装置であって、前記送信手段は、前記補間情報だけ複数回送信することを特徴とするオーディオデータ補間情報送信装置。
【請求項３９】
請求の範囲３６に記載のオーディオデータ補間情報送信装置であって、前記送信手段は、前記補間情報にだけ強い誤り訂正を施して送信することを特徴とするオーディオデータ補間情報送信装置。
【請求項４０】
請求の範囲３６に記載のオーディオデータ補間情報送信装置であって、前記送信手段は、再送要求に応じて前記補間情報だけ再送することを特徴とするオーディオデータ補間情報送信装置。
【請求項４１】
請求の範囲３６に記載のオーディオデータ補間情報送信装置であって、前記送信装置は、前記オーディオデータを送信するチャネルとは異なる信頼のある別チャネルで前記補間情報を送信することを特徴とするオーディオデータ補間情報送信装置。
【請求項４２】
複数のフレームからなるオーディオデータの補間情報を送信するオーディオデータ補間情報送信方法であって、
前記オーディオデータを入力するステップと、
前記オーディオデータの各フレームに対する補間情報と該フレームのオーディオデータとの間に時間差を与えるステップと、
前記補間情報と前記オーディオデータとを共に送信するステップと
を備えたことを特徴とするオーディオデータ補間情報送信方法。
【請求項４３】
請求の範囲４２に記載のオーディオデータ補間情報送信方法をコンピュータに実行させるためのプログラム。
【請求項４４】
請求の範囲４２に記載のオーディオデータ補間情報送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項４５】
複数のフレームからなるオーディオデータの補間情報を送信するオーディオデータ補間情報送信方法であって、
前記オーディオデータを入力するステップと、
前記オーディオデータの各フレームに対する補間情報を、前記オーディオデータとは別に送信するステップと
を備えたことを特徴とするオーディオデータ補間情報送信方法。
【請求項４６】
請求の範囲４５に記載のオーディオデータ補間情報送信方法をコンピュータに実行させるためのプログラム。
【請求項４７】
請求の範囲４５に記載のオーディオデータ補間情報送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
技術分野
本発明は、オーディオデータ補間装置および方法、オーディオデータ関連情報作成装置および方法、オーディオデータ補間情報送信装置および方法、ならびにそれらのプログラムおよび記録媒体に関する。
背景技術
従来、例えば、移動通信において、オーディオデータを伝送する際には、音響符号化（ＡＡＣ、ＡＡＣスケーラブル）を行い、そのビットストリームデータを移動通信網（回線交換、パケット交換等）上で伝送していた。
伝送誤りを考慮した符号化については、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ａｕｄｉｏにおいて標準化されているが、残留誤りを補償するオーディオ補間技術については規定がなされていない（例えば、ＩＳＯ／ＩＥＣ  １４４９６−３，“Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  Ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ  Ｐａｒｔ  ３：  Ａｕｄｉｏ  Ａｍｅｎｄｍｅｎｔ  １：  Ａｕｄｉｏ  ｅｘｔｅｎｓｉｏｎｓ”，２０００参照）。
従来、回線交換網の場合はエラーが、パケット交換網の場合はパケットロスが生じたフレームデータに対して誤りパターンに応じた補間を行っていた。補間法としては、例えば、ｍｕｔｉｎｇ（無音化）、ｒｅｐｅｔｉｔｉｏｎ（繰り返し）、ｎｏｉｓｅ  ｓｕｂｓｔｉｔｕｔｉｏｎ（ノイズ置換）およびｐｒｅｄｉｃｔｉｏｎ（予測）といった手法がある。
図１Ａ、１Ｂ、１Ｃは、補間の例を示す図である。図１Ａ、１Ｂ、１Ｃに示す波形は、過渡的（ｔｒａｎｓｉｅｎｔ）な波形の例であり、音源はカスタネットである。図１Ａはエラーがない場合の波形を示す。ここで、図１Ａの点線で囲まれた部分にエラーが生じたとする。図１Ｂはその部分をｒｅｐｅｔｉｔｉｏｎにより補間した例であり、図１Ｃはその部分をｎｏｉｓｅ  ｓｕｂｓｔｉｔｕｔｉｏｎにより補間した例である。
図２Ａ、２Ｂ、２Ｃは、補間の別の例を示す図である。図２Ａ、２Ｂ、２Ｃに示す波形は、定常的（ｓｔｅａｄｙ）な波形の例であり、音源はバグパイプである。図２Ａはエラーがない場合の波形を示す。ここで、図２Ａの点線で囲まれた部分にエラーが生じたとする。図２Ｂはその部分をｒｅｐｅｔｉｔｉｏｎにより補間した例であり、図２Ｃはその部分をｎｏｉｓｅ  ｓｕｂｓｔｉｔｕｔｉｏｎにより補間した例である。
以上のような補間法があるが、どの補間法が最適かは、同じ誤りパターンであっても音源（音の特性）に依存する。これは、全ての音源に適する補間法はない、という認識に基づく。特に、どの補間法が最適かは、同じ誤りパターンであっても音の瞬時特性に依存する。例えば、図１Ａ、１Ｂ、１Ｃの例では、図１Ｂのｒｅｐｅｔｉｔｉｏｎよりも図１Ｃのｎｏｉｓｅ  ｓｕｂｓｔｉｔｕｔｉｏｎの方が適しているが、図２Ａ、２Ｂ、２Ｃの例では、図２Ｃのｎｏｉｓｅ  ｓｕｂｓｔｉｔｕｔｉｏｎよりも図２Ｂのｒｅｐｅｔｉｔｉｏｎの方が適している。
ところが、従来、誤りパターンに応じた様々なオーディオ補間法が提案されているものの、音源パターンに応じた補間法はなかった（例えば、Ｊ．Ｈｅｒｒｅ  ａｎｄ  Ｅ．Ｅｂｅｒｌｅｉｎ，“Ｅｖａｌｕａｔｉｏｎ  ｏｆ  Ｃｏｎｃｅａｌｍｅｎｔ  Ｔｅｃｈｎｉｑｕｅｓ  ｆｏｒ  Ｃｏｍｐｒｅｓｓｅｄ  Ｄｉｇｉｔａｌ  Ａｕｄｉｏ”，９４ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，１９９３，ｐｒｅｐｒｉｎｔ  ３４６０参照）。
発明の開示
そこで、本発明の目的は、オーディオデータ中のエラーまたはロスが生じたフレームの音の状況を判別（推定）し、その状況に応じた補間を行うことを可能とするオーディオデータ補間装置および方法、オーディオデータ関連情報作成装置および方法、ならびにそれらのプログラムおよび記録媒体を提供することにある。
また、本発明の別の目的は、あるオーディオフレームとそのフレームに関する補助情報が共に損失することを無くすることが可能なオーディオデータ補間情報送信装置および方法、ならびにそれらのプログラムおよび記録媒体を提供することにある。
本発明は、複数のフレームからなるオーディオデータの補間を行うオーディオデータ補間装置であって、前記オーディオデータを入力する入力手段と、前記オーディオデータの各フレームのエラーまたはロスを検出する検出手段と、前記エラーまたはロスが検出されたフレームの補間情報を推定する推定手段と、前記エラーまたはロスが検出されたフレームを、該フレームについて前記推定手段により推定された前記補間情報を用いて補間する補間手段とを備えたことを特徴とするオーディオデータ補間装置を提供する。
また、本発明では、前記フレームの各々はパラメータを有し、前記推定手段は、前記エラーまたはロスが検出されたフレームのパラメータを、該フレームの前および／または後のフレームのパラメータに基づいて判別し、前記エラーまたはロスが検出されたフレームの音の状況を該フレームのパラメータに基づいて推定することを特徴とする。
また、本発明では、前記パラメータの状態遷移はあらかじめ定められており、前記推定手段は、前記エラーまたはロスが検出されたフレームのパラメータを、該フレームの前および／または後のフレームのパラメータ、ならびに前記状態遷移に基づいて判別することを特徴とする。
また、本発明では、前記推定手段は、前記エラーまたはロスが検出されたフレームのエネルギーと、該フレームの前および／または後のフレームのエネルギーとの類似性に基づいて、前記エラーまたはロスが検出されたフレームの音の状況を推定することを特徴とする。
また、本発明では、前記推定手段は、前記類似性を、前記エラーまたはロスが検出されたフレームを時間領域で分割した際の各分割領域のエネルギーと、該フレームの前および／または後のフレームを時間領域で分割した際の各分割領域のエネルギーとを比較することにより求めることを特徴とする。
また、本発明では、前記推定手段は、前記類似性を、前記エラーまたはロスが検出されたフレームを周波数領域で分割した際の各分割領域のエネルギーと、該フレームの前および／または後のフレームを周波数領域で分割した際の各分割領域のエネルギーとを比較することにより求めることを特徴とする。
また、本発明では、前記推定手段は、前記エラーまたはロスが検出されたフレームについての、該フレームの前および／または後のフレームに基づく予測可能性に基づいて、前記エラーまたはロスが検出されたフレームの音の状況を推定することを特徴とする。
また、本発明では、前記推定手段は、前記予測可能性を、前記オーディオデータの周波数領域における分布の偏りに基づいて求めることを特徴とする。
また、本発明では、前記推定手段は、前記エラーまたはロスが検出されたフレームの音の状況を、該フレームの前のフレームの音の状況に基づいて推定することを特徴とする。
さらに、本発明は、複数のフレームからなるオーディオデータの補間を行うオーディオデータ補間装置であって、前記オーディオデータを入力するオーディオデータ入力手段と、前記オーディオデータの各フレームに関し、該フレームの補間情報を入力する補間情報入力手段と、前記オーディオデータの各フレームのエラーまたはロスを検出する検出手段と、前記エラーまたはロスが検出されたフレームを、該フレームについて前記補間情報入力手段により入力された前記補間情報を用いて補間する補間手段とを備えたことを特徴とするオーディオデータ補間装置を提供する。
さらに、本発明は、複数のフレームからなるオーディオデータの補間を行うオーディオデータ補間装置であって、前記オーディオデータを入力するオーディオデータ入力手段と、前記オーディオデータの各フレームのエラーまたはロスを検出する検出手段と、前記エラーまたはロスが検出されたフレームの補間情報を入力または推定する補間情報入力／推定手段と、前記エラーまたはロスが検出されたフレームを、該フレームについて前記補間情報入力／推定手段により入力または推定された前記補間情報を用いて補間する補間手段とを備えたことを特徴とするオーディオデータ補間装置を提供する。
さらに、本発明は、複数のフレームからなるオーディオデータに関連する情報を作成するオーディオデータ関連情報作成装置であって、前記オーディオデータを入力する入力手段と、前記オーディオデータの各フレームに関し、該フレームの補間情報を作成する作成手段とを備えたことを特徴とするオーディオデータ関連情報作成装置を提供する。
また、本発明では、前記作成手段は、前記オーディオデータの各フレームに関する、該フレームのエネルギーと、該フレームの前および／または後のフレームのエネルギーとの類似性を含んだ前記補間情報を作成することを特徴とする。
また、本発明では、前記作成手段は、前記オーディオデータの各フレームに関する、該フレームについての、該フレームの前および／または後のフレームに基づく予測可能性を含んだ前記補間情報を作成することを特徴とする。
また、本発明では、前記作成手段は、前記オーディオデータの各フレームに関する、該フレームの音の状況を含んだ前記補間情報を作成することを特徴とする。
また、本発明では、前記作成手段は、前記オーディオデータの各フレームに関する、該フレームの補間法を含んだ前記補間情報を作成することを特徴とする。
また、本発明では、前記作成手段は、前記オーディオデータの各フレームにつき、エラーを発生させ、エラーを発生させたデータに複数の補間法を適用し、該複数の補間法の適用結果に応じて該複数の補間法の中から前記補間情報に含める補間法を選択することを特徴とする。
さらに、本発明は、複数のフレームからなるオーディオデータの補間を行うオーディオデータ補間方法であって、前記オーディオデータを入力するステップと、前記オーディオデータの各フレームのエラーまたはロスを検出するステップと、前記エラーまたはロスが検出されたフレームの補間情報を推定するステップと、前記エラーまたはロスが検出されたフレームを、該フレームについて前記推定するステップにより推定された前記補間情報を用いて補間するステップとを備えたことを特徴とするオーディオデータ補間方法を提供する。
また、本発明では、上記オーディオデータ補間方法をコンピュータに実行させるためのプログラムも提供される。
また、本発明では、上記オーディオデータ補間方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体も提供される。
さらに、本発明は、複数のフレームからなるオーディオデータの補間を行うオーディオデータ補間方法であって、前記オーディオデータを入力するステップと、前記オーディオデータの各フレームに関し、該フレームの補間情報を入力するステップと、前記オーディオデータの各フレームのエラーまたはロスを検出するステップと、前記エラーまたはロスが検出されたフレームを、該フレームについての前記補間情報を入力するステップにより入力された前記補間情報を用いて補間するステップとを備えたことを特徴とするオーディオデータ補間方法を提供する。
また、本発明では、上記オーディオデータ補間方法をコンピュータに実行させるためのプログラムも提供される。
また、本発明では、上記オーディオデータ補間方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体も提供される。
さらに、本発明は、複数のフレームからなるオーディオデータの補間を行うオーディオデータ補間方法であって、前記オーディオデータを入力するステップと、前記オーディオデータの各フレームのエラーまたはロスを検出するステップと、前記エラーまたはロスが検出されたフレームの補間情報を入力または推定するステップと、前記エラーまたはロスが検出されたフレームを、該フレームについて前記補間情報を入力または推定するステップにより入力または推定された前記補間情報を用いて補間するステップとを備えたことを特徴とするオーディオデータ補間方法を提供する。
また、本発明では、上記オーディオデータ補間方法をコンピュータに実行させるためのプログラムも提供される。
また、本発明では、上記オーディオデータ補間方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体も提供される。
さらに、本発明は、複数のフレームからなるオーディオデータに関連する情報を作成するオーディオデータ関連情報作成方法であって、前記オーディオデータを入力するステップと、前記オーディオデータの各フレームに関し、該フレームの補間情報を作成するステップとを備えたことを特徴とするオーディオデータ関連情報作成方法を提供する。
また、本発明では、上記オーディオデータ関連情報作成方法をコンピュータに実行させるためのプログラムも提供される。
また、本発明では、上記オーディオデータ関連情報作成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体も提供される。
さらに、本発明は、複数のフレームからなるオーディオデータの補間情報を送信するオーディオデータ補間情報送信装置であって、前記オーディオデータを入力する入力手段と、前記オーディオデータの各フレームに対する補間情報と該フレームのオーディオデータとの間に時間差を与える時間差付加手段と、前記補間情報と前記オーディオデータとを共に送信する送信手段とを備えたことを特徴とするオーディオデータ補間情報送信装置を提供する。
また、本発明では、前記送信手段は、前記補間情報が直前のフレームの補間情報と異なる場合にのみ前記補間情報を前記オーディオデータと共に送信することを特徴とする。
また、本発明では、前記送信手段は、前記補間情報をオーディオデータに埋めこんで送信することを特徴とする。
また、本発明では、前記送信手段は、前記補間情報だけ複数回送信することを特徴とする。
また、本発明では、前記送信手段は、前記補間情報にだけ強い誤り訂正を施して送信することを特徴とする。
また、本発明では、前記送信手段は、再送要求に応じて前記補間情報だけ再送することを特徴とする。
さらに、本発明は、複数のフレームからなるオーディオデータの補間情報を送信するオーディオデータ補間情報送信装置であって、前記オーディオデータを入力する入力手段と、前記オーディオデータの各フレームに対する補間情報を、前記オーディオデータとは別に送信する送信手段とを備えたことを特徴とするオーディオデータ補間情報送信装置を提供する。
また、本発明では、前記送信手段は、前記補間情報が直前のフレームの補間情報と異なる場合にのみ前記補間情報を前記オーディオデータと共に送信することを特徴とする。
また、本発明では、前記送信手段は、前記補間情報だけ複数回送信することを特徴とする。
また、本発明では、前記送信手段は、前記補間情報にだけ強い誤り訂正を施して送信することを特徴とする。
また、本発明では、前記送信手段は、再送要求に応じて前記補間情報だけ再送することを特徴とする。
また、本発明では、前記送信装置は、前記オーディオデータを送信するチャネルとは異なる信頼のある別チャネルで前記補間情報を送信することを特徴とする。
さらに、本発明は、複数のフレームからなるオーディオデータの補間情報を送信するオーディオデータ補間情報送信方法であって、前記オーディオデータを入力するステップと、前記オーディオデータの各フレームに対する補間情報と該フレームのオーディオデータとの間に時間差を与えるステップと、前記補間情報と前記オーディオデータとを共に送信するステップとを備えたことを特徴とするオーディオデータ補間情報送信方法を提供する。
また、本発明では、上記オーディオデータ補間情報送信方法をコンピュータに実行させるためのプログラムも提供される。
また、本発明では、上記オーディオデータ補間情報送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体も提供される。
さらに、本発明は、複数のフレームからなるオーディオデータの補間情報を送信するオーディオデータ補間情報送信方法であって、前記オーディオデータを入力するステップと、前記オーディオデータの各フレームに対する補間情報を、前記オーディオデータとは別に送信するステップとを備えたことを特徴とするオーディオデータ補間情報送信方法を提供する。
また、本発明では、上記オーディオデータ補間情報送信方法をコンピュータに実行させるためのプログラムも提供される。
また、本発明では、上記オーディオデータ補間情報送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体も提供される。
発明を実施するための最良の形態
まず、図１〜図１１を参照しながら本発明に係るオーディオデータ補間装置および方法と、オーディオデータ関連情報作成装置および方法の実施形態について詳しく説明する。
（第１実施形態）
図３は、本発明の第１実施形態における補間装置の構成例を示す。補間装置１０は、オーディオデータを受信する受信装置の一部として構成してもよいし、独立のものとして構成してもよい。補間装置１０は、エラー／ロス検出部１４、復号部１６、状況判別部１８および補間法選択部２０を備える。
補間装置１０は、入力された複数のフレームからなるオーディオデータ（本実施形態においては、ビットストリーム）について、復号部１６で復号を行い、復号音を生成する。ただし、オーディオデータにはエラーまたはロスがある場合もあるので、オーディオデータはエラー／ロス検出部１４にも入力され、各フレームのエラーまたはロスが検出される。エラーまたはロスが検出されたフレームについては、状況判別部１８において、そのフレームの音の状況（本実施形態においては、過渡的または定常的）が判別される。補間法選択部２０では、判別された音の状況に応じてそのフレームの補間法が選択される。そして、復号部１６では、選択された補間法により、そのフレーム（エラーまたはロスが検出されたフレーム）の補間が行われる。
本実施形態においては、エラーまたはロスが検出されたフレームのパラメータを、そのフレームの前および／または後のフレームのパラメータ、ならびにあらかじめ定められたパラメータの状態遷移に基づいて判別する。そして、エラーまたはロスが検出されたフレームの音の状況をそのフレームのパラメータに基づいて判別する。ただし、エラーまたはロスが検出されたフレームのパラメータを判別する際に、パラメータの状態遷移を考慮せずに、そのフレームの前および／または後のフレームのパラメータにのみ基づいて判別するようにすることもできる。
本実施形態では、送信側においてオーディオデータをＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）符号化する際に、過渡的なフレームにはｓｈｏｒｔ窓を用い、それ以外のフレームにはｌｏｎｇ窓を用いる。ｌｏｎｇ窓とｓｈｏｒｔ窓を結ぶため、ｓｔａｒｔ窓およびｓｔｏｐ窓がある。送信側では、各フレームにｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ情報（パラメータ）としてｓｈｏｒｔ、ｌｏｎｇ、ｓｔａｒｔおよびｓｔｏｐのいずれかを付加し、送信する。
受信（補間）側において、エラーまたはロスが検出されたフレームのｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ情報は、そのフレームの前および／または後のフレームのｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ情報、ならびにあらかじめ定められたｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ情報の状態遷移に基づいて判別できる。
図４は、あらかじめ定められたパラメータ（ｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ情報）の状態遷移の例を示す図である。図４の状態遷移によれば、１つ前のフレームのｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ情報がｓｔｏｐであり、１つ後のフレームのｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ情報がｓｔａｒｔであれば、自己のフレーム（エラーまたはロスが検出されたフレーム）のｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ情報はｌｏｎｇであることがわかる。また、１つ前のフレームのｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ情報がｓｔａｒｔであれば、自己のフレームのｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ情報はｓｈｏｒｔであることがわかる。また、１つ後のフレームのｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ情報がｓｔｏｐであれば、自己のフレームのｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ情報はｓｈｏｒｔであることがわかる。
このようにして判別された、エラーまたはロスが検出されたフレームのｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ情報に基づいて、そのフレームの音の状況を判別する。例えば、判別されたｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ情報がｓｈｏｒｔであれば、そのフレームは過渡的と判別できる。
音の状況に応じた補間法の選択方法としては、例えば、過渡的の場合にはｎｏｉｓｅ  ｓｕｂｓｔｉｔｕｔｉｏｎを用い、その他の場合にはｒｅｐｅｔｉｔｉｏｎまたはｐｒｅｄｉｃｔｉｏｎを用いることが考えられる。
（第２実施形態）
次に、本発明の第２実施形態について説明する。第２実施形態においても、図１に示した第１実施形態の補間装置と同様の補間装置を用いることができる。
本実施形態では、エラーまたはロスが検出されたフレームのエネルギーと、該フレームの前のフレームのエネルギーとの類似性に基づいて、エラーまたはロスが検出されたフレームの音の状況を判別する。さらに、エラーまたはロスが検出されたフレームについての、該フレームの前のフレームに基づく予測可能性にも基づいて、エラーまたはロスが検出されたフレームの音の状況を判別する。なお、本実施形態においては、類似性および予測可能性に基づいて音の状況を判別しているが、一方に基づいて音の状況を判別するようにしてもよい。
まず、類似性についてより具体的に説明する。本実施形態において、類似性は、エラーまたはロスが検出されたフレームを時間領域で分割した際の各分割領域のエネルギーと、該フレームの前のフレームを時間領域で分割した際の各分割領域のエネルギーとを比較することにより求めている。
図５は、エネルギーの比較の例を説明するための図である。本実施形態においては、フレームを短時間スロットに分割し、次フレームの同スロットとエネルギーを比較する。そして、例えば、各スロットのエネルギー差（の合計）が閾値以下であれば「類似している」と判断する。類似性については、類似しているか否か（フラグ）により表してもよいし、エネルギー差に応じて類似度（度合）で表してもよい。また、比較するスロットはフレーム内の全スロットでもよいし、一部のスロットでもよい。
本実施形態においては、フレームを時間領域で分割してエネルギーの比較を行っているが、代わりに、フレームを周波数領域で分割してエネルギーの比較を行ってもよい。
図６は、エネルギーの比較の例を説明するための別の図である。図６では、フレームを周波数領域でサブバンドに分割し、次フレームの同サブバンドとエネルギーを比較している。例えば、各サブバンドのエネルギー差（の合計）が閾値以下であれば「類似している」と判断する。
以上の説明では、注目するフレームのエネルギーを、その１つ前のフレームのエネルギーと比較して類似性を求めているが、前の２つ以上フレームのエネルギーと比較して類似性を求めるようにしてもよいし、後のフレームのエネルギーと比較して類似性を求めるようにしてもよいし、前および後のフレームのエネルギーと比較して類似性を求めるようにしてもよい。
次に、予測可能性についてより具体的に説明する。本実施形態において、予測可能性は、オーディオデータの周波数領域における分布の偏りに基づいて求めている。
図７Ａ、７Ｂは、予測可能性の求め方の例を説明するための図である。図７Ａ、７Ｂには、オーディオデータの波形が時間領域および周波数領域において示されている。図７Ａに示すように、予測がきくということは、時間領域での相関が強く、周波数領域でスペクトルが偏っているものと考えられる。一方、図７Ｂに示すように、予測がきかないということは、時間領域での相関が弱く（または、なく）、周波数領域でスペクトルが平坦であるものと考えられる。予測可能性の値としては、例えば、ＧＰ＝相加平均／相乗平均を用いることができる。例えば、スペクトルが２５，１と偏っている場合（図７Ａのような場合）には、ＧＰは以下に示すように大きくなる。
2002071389.tif 000003
一方、例えば、スペクトルが５，５と平坦な場合（図７Ｂのような場合）には、ＧＰは以下に示すように小さくなる。
2002071389.tif 000004
なお、予測可能性は、予測がきくか否か（フラグ）により表してもよい。
以上のようにして求めた類似性および予測可能性に基づいて、エラーまたはロスが検出されたフレームの音の状況を判別する。
図８は、音の状況の判別方法の例を説明するための図である。図８の例では、類似性がある値より大きい場合には、定常的と判別している。一方、類似性がある値より小さい場合には、過渡的またはその他と判別している。
音の状況に応じた補間法の選択方法としては、例えば、過渡的の場合にはｎｏｉｓｅ  ｓｕｂｓｔｉｔｕｔｉｏｎを用い）定常的の場合にはｒｅｐｅｔｉｔｉｏｎを用い、その他の場合にはｐｒｅｄｉｃｔｉｏｎを用いることが考えられる。なお、例えば、補間装置のデコーダの能力（演算能力）に応じて、一般に演算量の多いｐｒｅｄｉｃｔｉｏｎを行うことになる（図８の）「その他」の領域を変えることも考えられる。
類似性や予測可能性は、受信側（補間装置側）で計算できる場合もあるし、計算できない場合もある。例えば、スケーラブル符号化であれば、コア層が正しく受信できれば、そのコア層と前フレームのコア層とで類似性をみることができる。受信側で計算できない場合を考慮して、類似性や予測可能性を送信側において求め、オーディオデータとともに送信することが考えられる。受信側では、オーディオデータとともに類似性や予測可能性を受信すればよい。
図９は、本実施形態における符号化／補間情報作成装置の構成例を示す。符号化／補間情報作成装置６０は、オーディオデータを送信する送信装置の一部として構成してもよいし、独立のものとして構成してもよい。符号化／補間情報作成装置６０は、符号化部６２および補間情報作成部６４を備える。
符号化６２で符号化対象音の符号化を行い、オーディオデータ（ビットストリーム）を生成する。また、補間情報作成部６４では、オーディオデータの各フレームの補間情報（関連情報）として類似性や予測可能性を求める。
補間情報は、原音（符号化対象音）もしくは符号化途中の値／パラメータから求めることができる。このようにして求めた補間情報を、オーディオデータとともに送信するようにすればよい（オーディオデータとは別に、補間情報だけ先に送信しておくことも考えられる）。ここで、例えば、（１）補間情報を時間差で送る、（２）補間情報に強い誤り訂正（符号化）を施して送る、（３）補間情報を複数回送る、ことによって、伝送情報量をそれほど増加させることなく、品質の向上をさらに図ることが可能である。
図１０は、本実施形態における補間装置の別の構成例を示す。補間装置１０’は、オーディオデータを受信する受信装置の一部として構成してもよいし、独立のものとして構成してもよい。補間装置１０’は、エラー／ロス検出部１４、復号部１６、状況判別部１８および補間法選択部２０を備える。
補間装置１０’は、オーディオデータ（ビットストリーム）のほかに、補間情報の入力も受ける。入力された補間情報（類似性や予測可能性）は、状況判別部１８で用いられる。すなわち、補間情報に基づいて、エラーまたはロスが検出されたフレームの音の状況が判別される。
状況判別部１８は、入力された補間情報に専ら依存して音の状況を判別するようにしてもよいし、補間情報がある場合にはその補間情報に基づいて音の状況を判別し、補間情報がない場合には自ら類似性や予測可能性を求めて音の状況を判別するようにしてもよい。
上述した図９および図１０の例では、送信側（符号化／補間情報作成装置６０側）で各フレームの類似性や予測可能性を求めて送信するようにしているが、送信側で類似性や予測可能性に基づいて各フレームの音の状況を判別し、その判別した音の状況を補間情報として送信するようにしてもよい。補間装置１０’は、受信した補間情報を補間法選択部２０に入力するようにすればよい。補間装置１０’は、補間情報に専ら依存してもよいし、補間情報がある場合にのみ補間情報を用いるようにしてもよい。補間情報に専ら依存する場合には、状況判別部１８はなくてもよく、エラー／ロス検出結果を補間法選択部２０に入力するようにすればよい。
また、送信側で類似性や予測可能性に基づいて音の状況を判別して、各フレームの補間法を決定し、その決定した補間法を補間情報として送信するようにしてもよい。補間装置１０’は、受信した補間情報を復号部１６に入力するようにすればよい。補間装置１０’は、補間情報に専ら依存してもよいし、補間情報がある場合にのみ補間情報を用いるようにしてもよい。補間情報に専ら依存する場合には、状況判別部１８および補間法選択部２０はなくてもよく、エラー／ロス検出結果を復号部１６に入力するようにすればよい。
また、補間法は、送信側でエラーを発生させた上で、複数の補間法を試みて、その結果に応じて選択することもできる。
図１１は、本実施形態における符号化／補間情報作成装置の別の構成例を示す。符号化／補間情報作成装置６０’は、オーディオデータを送信する送信装置の一部として構成してもよいし、独立のものとして構成してもよい。符号化／補間情報作成装置６０’は、符号化部６２、補間情報作成部６４、疑似エラー生成部６６および補間部６８を備える。
オーディオデータ（ビットストリーム）の各フレームのデータに対して、擬似エラー生成部６６で生成された擬似エラーが、加算部６７で加算される。こうしてエラーを発生させた各フレームのデータに対して、補間部６８で複数の補間法（補間法Ａ、Ｂ、Ｃ、Ｄ、…）を適用する。各補間法の適用結果は補間情報作成部６４に送られる。補間情報作成部６４では、各補間法の適用結果（データ）の復号を行い、もとの符号化対象音と比較する。そして、その比較結果に基づいて最適な補間法を選択し、当該フレームの補間情報として送信する。
なお、補間情報作成部６４において、各補間法の適用結果の復号を行って符号化対象音と比較する代わりに、各補間法の適用結果を、エラー発生前のオーディオデータ（ビットストリーム）と比較して、補間法を選択するようにすることもできる。
なお、第１実施形態においても、上述したのと同様に、送信側で各フレームの音の状況を該フレームのパラメータに基づいて判別し、その判別した音の状況を補間情報として送信するようにすることができる。また、送信側で各フレームの音の状況を該フレームのパラメータに基づいて判別し、その判別した音の状況に応じて各フレームの補間法を決定し、その決定した補間法を補間情報として送信するようにすることもできる。補間法は、送信側でエラーを発生させた上で、複数の補間法を試み、その結果に応じて選択してもよい。
（第３実施形態）
次に、本発明の第３実施形態について説明する。第３実施形態においても、図１に示した第１実施形態の補間装置と同様の補間装置を用いることができる。
本実施形態では、エラーまたはロスが検出されたフレームの音の状況を、そのフレームの前のフレームの音の状況に基づいて判別する。ただし、後のフレームの音の状況をも考慮して判別するようにすることもできる。
例えば、フレームの音の状況の履歴を保持しておき、定常的な状態が長期的に続いていれば、次フレームも定常的と判別することが考えられる。過渡的についても同様である。
また、例えば、フレームの音の状況の遷移の履歴を保持しておき、その履歴に基づいてエラーまたはロスが検出されたフレームの音の状況を判別することも考えられる。例えば、音の状況の遷移のｎ次条件付き確率（例えば、３つ過渡的が続いたときに、次に過渡的になる確率、定常的になる確率など）に基づいて判別することが考えられる。ｎ次条件付き確率は随時更新していく。
なお、本実施形態においても、第２実施形態と同様に、送信側で各フレームの音の状況を、そのフレームの前のフレームの音の状況に基づいて判別し、その判別した音の状況を補間情報として送信するようにすることができる。また、送信側で各フレームの音の状況を、そのフレームの前のフレームの音の状況に基づいて判別し、その判別した音の状況に応じて各フレームの補間法を決定し、その決定した補間法を補間情報として送信するようにすることもできる。
なお、音の状況の判別は、上述した第１〜第３実施形態における判別方法を組み合わせて行うこともできる。組み合わせる場合は、各判別方法に重み付けを行い総合的に判別すればよい。
次に、図１２〜図１６を参照しながら本発明に係るオーディオデータ補間情報送信装置および方法の実施形態について詳しく説明する。
上述した第１〜３実施形態のオーディオデータ補間装置は、オーディオデータの誤り補償技術として誤り補間情報を用いて補間法を切り替えるものであり、伝送前の誤りのない音源を元に補間情報を作成することでオーディオデータの損失に対して最適な補間が行えるうえ、補間情報による冗長度は少ないという点で優れた効果を有するものであるが、補間情報の伝送方法については触れておらず、損失したオーディオフレームに関する補間情報も一緒に損失してしまうような伝送の仕方では、補間法を適切に切り替えることができないという問題がある。
そこで、以下の第４〜７実施形態においては、補間情報かもしくはオーディオデータのどちらかが存在する可能性が高まり、オーディオデータが損失した場合には適切な補間法を適用できるようにする。また、補間情報をオーディオデータに埋めこむことにより、補間情報に対応していないデコーダでもオーディオデータの復号を可能とする。さらに、補間法が前フレームと異なる場合にのみ伝送することで冗長度を抑えることが出来るようにする。なお、以下の各実施形態に共通して、オーディオデータの各フレームＡＤ（ｎ），ＡＤ（ｎ＋１），ＡＤ（ｎ＋２），…に対して、そのフレームが損失した場合の最適な補間法を示す補間情報ＣＩ（ｎ），ＣＩ（ｎ＋１），ＣＩ（ｎ＋２），…があるとする。
（第４実施形態）
図１２は、オーディオフレームと補間情報に２フレームの時間差を持たせて伝送する場合のパケット伝送パターンを示す。パケットＰ（ｎ）にはフレームＡＤ（ｎ）および補間情報ＣＩ（ｎ＋２）が含まれ、パケットＰ（ｎ＋２）にはフレームＡＤ（ｎ＋２）および補間情報ＣＩ（ｎ＋４）が含まれる。パケットＰ（ｎ＋２）が損失した場合、パケットＰ（ｎ）が受信できていれば，損失したフレームＡＤ（ｎ＋２）部分は補間情報ＣＩ（ｎ＋２）を用いて最適な補間を行い、復号音質の劣化を抑えることができる。
時間差ｘは固定でも良いし、オーディオデータ毎やフレーム毎に可変でも良い。例えば、フレーム毎にランダムにすることでバースト誤りに対して耐性を持たせることができるし、伝送路の誤り状況に応じて適応的に変更することも可能である。また、１つのフレームＡＤに対して複数の補間情報ＣＩを一緒に伝送してもよい。図１２では、１つのフレームＡＤにつき１つの補間情報ＣＩをｘ＝２の固定で伝送する場合を示している。
図１３は、本実施形態における送信装置の構成例を示す。送信装置８０は、符号化部８２、時間差付加部８４，補間情報作成部８６、および多重化部８８を備える。
時間差情報”ｘ”は，送信側と受信側で事前にネゴシエーションをする、もしくは特定のパラメータから計算により求めるなど、送信側および受信側の両方で既知であれば、どのフレームの補間情報かを示す情報（以下，指示情報と呼ぶ．）は伝送しなくても良い。どのフレームの補間情報かを示す必要がある場合は、時間差情報”ｘ”もしくはフレームＩＤ”ｎ＋ｘ”もしくは該フレームの絶対再生時間といった指示情報を補間情報ＣＩ（ｎ＋ｘ）と併せて伝送することが考えられる。
補間情報ＣＩおよび指示情報は、例えばＩＰパケットのパディングビットとして含めることが考えられる。また、オーディオデータが（ＭＰＥＧ標準規格ドキュメントＩＳＯ／ＩＥＣ  １３８１８−７またはＩＳＯ／ＩＥＣ  １４４９６−３に開示されるような）ＭＰＥＧ−２またはＭＰＥＧ−４のＡＡＣで符号化される場合、ｄａｔａ＿ｓｔｒｅａｍ＿ｅｌｅｍｅｎｔ内に含めることも出来るし、ハフマン符号化直前のＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）係数に（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ，Ｖｏｌ．８７，Ｎｏ．７，Ｊｕｌｙ  １９９９，ＰＰ．１０６２−１０７８，“Ｉｎｆｏｒｍａｔｉｏｎ  Ｈｉｄｉｎｇ−Ａ  Ｓｕｒｖｅｙ”に開示されるような）データ埋めこみ技術を用いて埋めこんでおけば、ハフマン符号化は可逆圧縮であるので受信側でも補間情報ＣＩおよび指示情報を完全に取り出すことが出来る。
ＭＤＣＴ係数に埋めこむ方法としては、例えば特定のＭＤＣＴ係数の最下位ビットが補間情報と一致するように係数を操作することが考えられる。埋めこむ係数は、係数を操作したことによっておこる品質の劣化が極力小さく、かつ係数を操作してハフマン符号が変わったことによって増えるオーバーヘッドが極力少ない箇所であることが望ましい。
データ埋めこみが行われていることを受信側に知らせる方法として例えば、（ＩＥＴＦ標準規格ドキュメントＲＦＣ１８８９に開示されるような）ＲＴＰ（Ｒｅａｌｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）のヘッダのマーカビットを用いることが考えられる。また、データ埋めこみの場合でかつ補間法が変化するフレームについてのみ補間情報を伝送する場合は、そのフレームに補間情報が埋めこまれているかどうかのフラグが毎フレームに必要となるが、このフラグ自体もオーディオデータに埋めこむことが考えられる。
（第５実施形態）
第５実施形態では、第４実施形態と同様にフレームＡＤと時間差を持たせて補間情報ＣＩを伝送する方法において、補間法が変化する場合すなわちＣＩ（ｎ）≠ＣＩ（ｎ＋１）の場合のみ、補間情報ＣＩ（ｎ＋１）を送るようにする。
本実施形態における送信装置は、上述した図１３の送信装置と同様の構成のものとすることができる。
図１４は、補間法が変化するフレームについてのみ補間情報を伝送し、かつ指示情報も一緒に伝送する場合のパケット伝送パターンを示す。送信側および受信側の両方で時間差情報”ｘ”  が既知であれば，指示情報は伝送しなくても良い。
変化する場合のみ補間情報ＣＩを送る際は、その補間情報ＣＩが損失すると次に補間情報ＣＩが変化するまで間違いが伝播することとなるので、時間差と併せて補間情報ＣＩに対して損失補償技術を用いることが望ましい。
一つは、補間情報のみ複数回送信することが挙げられる。図１４においては第５実施形態ＣＩ（ｎ＋３）はパケットＰ（ｎ＋１）のみにしか含まれていないが、パケットＰ（ｎ）やパケットＰ（ｎ＋２）にも含めることで、パケットＰ（ｎ＋１）が損失しても補間情報ＣＩ（ｎ＋３）は存在し、補間法を切り替えることが出来る。
もう一つは，補間情報にだけ強い誤り訂正を施すことである。例えば補間情報ＣＩにだけＦＥＣ（Ｆｏｒｗａｒｄ  Ｅｒｒｏｒ  Ｃｏｒｒｅｃｔｉｏｎ）を用いて、ＦＥＣデータは別のパケットに含めることが考えられる。ＦＥＣデータを含めるパケットは送信側および受信側の両方で既知であるようにしても良いし、指示情報でＦＥＣデータであることを示しても良い。
また、補間情報だけ再送することも考えられる。例えばＡＲＱ（Ａｕｔｏｍａｔｉｃ  Ｒｅｐｅａｔ  Ｒｅｑｕｅｓｔ）を用い、補間情報ＣＩだけ自動再送要求を行うようにすることで補間情報ＣＩが受信される可能性は高まり、オーディオデータはＡＲＱを用いないことで再送による冗長度を抑えることができる。
なお、第４実施形態においても上記と同様に、補間情報ＣＩに対して損失補償技術を用いることができる。
（第６実施形態）
第６実施形態では、オーディオデータと補間情報を別々に伝送する。この場合は、例えばＲＴＰヘッダのペイロードタイプをオーディオデータと補間情報とで異なるものにすれば良い。補間情報は複数フレーム分を１パケットに含めても良い。
本実施形態における送信装置は、上述した図９または図１１の符号化／補間情報作成装置と同様の構成のものとすることができる。
図１５は、補間情報だけ４回伝送する場合のパケット伝送パターンを示す。１つのパケットに含まれる複数フレーム分の補間情報は連続したフレームのものでなくても良い。指示情報も必要であれば補間情報ＣＩと一緒に伝送する。
（第７実施形態）
第７実施形態では、第６実施形態と同様にフレームＡＤと補間情報ＣＩを伝送する方法において、第５実施形態と同様に補間法が変わる場合のみ補間情報ＣＩを伝送する。その場合は、指示情報も補間情報ＣＩと併せて伝送する。
本実施形態における送信装置は、上述した図９または図１１の符号化／補間情報作成装置と同様の構成のものとすることができる。
変化する場合のみ補間情報ＣＩを送る際は、その補間情報ＣＩが損失すると次に補間情報ＣＩが変化するまで間違いが伝播することとなるので、補間情報ＣＩに対して損失補償技術を用いることが望ましい。補間情報にだけ強い誤り訂正を施す場合、第５実施形態と同様に、例えばＦＥＣを用いることが考えられる。
図１６は、補間情報にだけＦＥＣを施し、かつ補間法が変化するフレームについてのみ補間情報を伝送する場合のパケット伝送パターンを示す。補間情報は複数フレーム分を１パケットに含め、（ＩＥＴＦ標準規格ドキュメントＲＦＣ２７３３に開示されるように）ＦＥＣパケット（ＰＣＩ＿ＦＥＣ）を別に生成しても良いし、補間情報ＣＩ（ｎ）および補間情報ＣＩ（ｎ＋１）に関するＦＥＣ情報は補間情報ＣＩ（ｎ）および補間情報ＣＩ（ｎ＋１）が含まれていない別のＣＩパケット  （ＰＣＩ）に含めて伝送しても良い。ＦＥＣのレートは、例えば補間情報ＣＩについては２ＰＣＩにつき１ＰＣＩ＿ＦＥＣ，フレームＡＤについては５ＰＡＤにつき１ＰＣＩ＿ＦＥＣと強弱をつけても良いし、フレームＡＤには全くＦＥＣを施さないようにしても良い。
補間情報だけ再送する場合も第５実施形態と同様に、例えば補間情報のパケットだけＡＲＱを用いることが考えられる。回線交換においては、補間情報だけ先にまとめてＡＲＱを用いて伝送しておくことが考えられる。また、補間情報だけ信頼のある別チャネルで伝送する場合は、例えば補間情報はＴＣＰ／ＩＰで伝送し、オーディオデータはＲＴＰ／ＵＤＰ／ＩＰで伝送することが考えられる。
なお、第６実施形態においても上記と同様に、補間情報ＣＩに対して損失補償技術を用いることができる。
また、上述した第４〜７実施形態はパケット交換網を例に説明したが、本発明は回線交換網においてもフレームの同期をとれば同様にして実現できる。
以上説明したように、本発明によれば、オーディオデータ中のエラーまたはロスが生じたフレームの音の状況を判別し、その状況に応じた補間を行うことができる。これにより、復号音質を向上させることができる。
また、本発明によれば、あるオーディオフレームかもしくはそのフレームに関する補助情報のどちらかが存在する可能性が高まり、オーディオデータが損失した場合は適切な補間法を適用でき、少ない冗長度で復号品質を向上させることができる。
なお、上述した第１〜７実施形態の補間装置や符号化／補間情報作成装置や送信装置は、自らのメモリ等に格納されたプログラムに従って上述したような補間、符号化、補間情報作成等の動作を行うものとすることができる。また、プログラムは記録媒体（例えば、ＣＤ−ＲＯＭ、磁気ディスク）に書き込んだり、記録媒体から読み出すことが考えられる。
また、本発明は上述した各実施形態に限定されるものではなく、その要旨を逸脱しない範囲で、種々変形して実施することができる。
【図面の簡単な説明】
図１は、従来のオーディオデータの補間の例を示す図である。
図２は、従来のオーディオデータの補間の別の例を示す図である。
図３は、本発明の第１、第２，第３実施形態における補間装置の構成例を示すブロック図である。
図４は、本発明の第１実施形態におけるあらかじめ定められたパラメータの状態遷移の例を示す図である。
図５は、本発明の第２実施形態におけるエネルギーの比較を説明するための図である。
図６は、本発明の第２実施形態におけるエネルギーの比較を説明するための別の図である。
図７は、本発明の第２実施形態における予測可能性の求め方の例を説明するための図である。
図８は、本発明の第２実施形態における音の状況の判別方法の例を説明するための図である。
図９は、本発明の第２実施形態における符号化／補間情報作成装置の構成例を示すブロック図である。
図１０は、本発明の第２実施形態における補間装置の別の構成例を示すブロック図である。
図１１は、本発明の第２実施形態における符号化／補間情報作成装置の別の構成例を示すブロック図である。
図１２は、第４実施形態におけるパケット伝送パターンを示した図である。
図１３は、第４実施形態における送信装置の構成例を示したブロック図である。
図１４は、第５実施形態におけるパケット伝送パターンを示した図である。
図１５は、第６実施形態におけるパケット伝送パターンを示した図である。
図１６は、第７実施形態におけるパケット伝送パターンを示した図である。
【図１Ａ】
2002071389.tif 000005
【図１Ｂ】
2002071389.tif 000006
【図１Ｃ】
2002071389.tif 000007
【図２Ａ】
2002071389.tif 000008
【図２Ｂ】
2002071389.tif 000009
【図２Ｃ】
2002071389.tif 000010
【図３】
2002071389.tif 000011
【図４】
2002071389.tif 000012
【図５】
2002071389.tif 000013
【図６】
2002071389.tif 000014
【図７Ａ】
2002071389.tif 000015
【図７Ｂ】
2002071389.tif 000016
【図８】
2002071389.tif 000017
【図９】
2002071389.tif 000018
【図１０】
2002071389.tif 000019
【図１１】
2002071389.tif 000020
【図１２】
2002071389.tif 000021
【図１３】
2002071389.tif 000022
【図１４】
2002071389.tif 000023
【図１５】
2002071389.tif 000024
【図１６】
2002071389.tif 000025
【国際調査報告】
2002071389.tif 000026
2002071389.tif 000027
2002071389.tif 000028
2002071389.tif 000029