(57)【要約】【課題】ＱｏＳの保証されないネットワーク上でもオーディオデータをスムーズかつ品質低下を抑制して受信再生することを実現可能なオーディオ情報復号装置を提供することにある。【解決手段】オーディオエラー隠蔽処理ブロック１５は、受信制御部１４で検出されたパケットロスおよび疑似パケットロスと検出されたフレームデータに、全て固定の値で埋めて行う、過去に受信したフレームデータを用いて行う、ロスしたパケットの直前に受信したパケットのフレームデータをコピーして行う、ロスしたパケットの直前に受信したパケットのブロックデータをコピーして行う、ロスしたパケットの直前に受信した１または複数個のパケットのフレームデータから線形予測を用いて行う等の処理をする。オーディオデコーダ１６はデータパケットのロスを意識することなくデコードする。【選択図】　　　　図１
2004120619.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ情報を受信再生するオーディオ情報復号装置において、
フレーム単位でパケット化されたオーディオデータを受信する手段と、
受信したパケットからパケットロスを検出する手段と、
パケットロスにより喪失したオーディオフレームデータを、フレーム前、フレーム後またはフレーム前後のデータを利用して予測生成する予測生成手段と、
を備えたことを特徴とするオーディオ情報復号装置。
【請求項２】
請求項１記載のオーディオ情報復号装置において、
該パケットロス検出手段は、ＲＦＣ１８８９記載のＲＴＰ（Ｒｅａｌ−ｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）のタイムスタンプ情報を用いてパケットロスを検出することを特長とするオーディオ情報復号装置。
【請求項３】
請求項２記載のオーディオ情報復号装置において、
該パケットロス検出時に、パケット到着時刻を測定する手段と、
到着パケットの有効性を判断する手段と、
を備えたことを特長とするオーディオ情報復号装置。
【請求項４】
請求項１ないし３のいずれかに記載のオーディオ情報復号装置において、
前記予測生成手段は、該パケットロスにより喪失したオーディオフレームデータの予測生成には、全て固定の値で埋めて行うこと特長とするオーディオ情報復号装置。
【請求項５】
請求項１ないし３のいずれかに記載のオーディオ情報復号装置において、
前記予測生成手段は、該パケットロスにより喪失したオーディオフレームデータの予測生成には、過去に受信したフレームデータを用いて行うことを特長とするオーディオ情報復号装置。
【請求項６】
請求項５記載のオーディオ情報復号装置において、
前記予測生成手段は、該パケットロスにより喪失したオーディオフレームデータの予測生成には、ロスしたパケットの直前に受信したパケットのフレームデータをコピーして行うことを特長とするオーディオ情報復号装置。
【請求項７】
請求項５記載のオーディオ情報復号装置において、
前記予測生成手段は、該パケットロスにより喪失したオーディオフレームデータの予測生成には、ロスしたパケットの直前に受信したパケットのブロックデータをコピーして行うことを特長とするオーディオ情報復号装置。
【請求項８】
請求項５記載のオーディオ情報復号装置において、
前記予測生成手段は、該パケットロスにより喪失したオーディオフレームデータの予測生成には、ロスしたパケットの直前に受信した１または複数個のパケットのフレームデータから線形予測を用いて行うことを特長とするオーディオ情報復号装置。
【請求項９】
請求項５記載のオーディオ情報復号装置において、
前記予測生成手段は、該パケットロスにより喪失したオーディオフレームデータの予測生成には、ロスしたパケットの前後に受信したパケットのフレームデータの線形補間を用いて行うことを特長とするオーディオ情報復号装置。
【請求項１０】
請求項１ないし９のいずれかに記載のオーディオ情報復号装置において、
前記予測生成手段は、該パケットロスにより喪失したオーディオフレームデータの予測生成には、処理負荷を低減およびノイズ削減をするために、全てのサブバンドデータを予測生成せずに、オーディオ成分のうち有意データが集中する低い周波数成分のみを用いて行うことを特長とするオーディオ情報復号装置。
【請求項１１】
請求項４ないし１０のいずれかに記載のオーディオ情報復号装置において、
前記予測生成手段は、コンピュータ読み取り可能なプログラムにより、前記パケットロスにより喪失したオーディオフレームデータの予測生成を行うことを特長とするオーディオ情報復号装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はオーディオ情報復号装置に関し、特にＱｏＳ（ｑｕａｌｉｔｙ　ｏｆ　ｓｅｒｖｉｃｅ）非保証型ネットワーク上等で伝送されるオーディオ情報の復号装置に関する。
【０００２】
【従来の技術】
インターネットを始めとするＱｏＳ非保証のＩＰネットワークでは、伝送帯域や伝送エラーレート、ジッタなどが時間とともに変動するため、映像や音声情報のような連続メディアを圧縮等を施しパケット伝送して連続再生する場合、各データパケットが再生開始に間に合う時刻に到着しない場合、もしくはデータパケットがロスした場合には、品質劣化が生じてしまいスムーズな再生が困難な場合が多い。
【０００３】
従来のオーディオ情報復号装置を図１９を用いて説明する。図１９の送信側では、マイク５０１から入力されたオーディオ情報は、オーディオエンコーダ５０２で固定レート固定フレーム長で逐次圧縮処理され、送信制御部５０３でパケット化された後、ＩＰネットワークに送出される。一方、受信側では、ネットワークから受信したオーディオパケット情報を受信制御部５０４でリアルタイム受信した後パケットのリアセンブルを行い、オーディオデコーダ５０５において復号・アナログ化され、スピーカ５０６においてオーディオ出力される。この場合、伝送エラー増加や伝送遅延発生などネットワークの状況変化により、パケットロスが発生した場合や要求パケット到着時刻に受信できなかった場合（以下、疑似パケットロスと呼ぶ）でも特別な補償を行わないため、受信側での再生品質の劣化が顕著に現れるという問題点がある。
【０００４】
パケットロスが帯域変動に起因する場合の対策の１つとして、受信側でパケットロス率などのネットワーク輻輳状況を測定し、送信側にフィードバックさせ送信レートを上下するなど送信制御を行う手法がある。しかし、この場合、フィードバック制御が働くまでの間の再生品質劣化は避けられないという問題点がある。さらに、送受信間のフィードバックプロトコルや送信レート制御を行うしくみを必要とするため実装が複雑になるという問題点がある。なお、これに関連する技術は、例えば「Ｂｅｎｊａｍｉｎ　Ｗ．　Ｗａｈ，　Ｘｉａｏ　Ｓｕ　ａｎｄ　Ｄｏｎｇ　Ｌｉｕ，　”Ａ　Ｓｕｒｖｅｙ　ｏｆ　Ｅｒｒｏｒ−Ｃｏｎｃｅａｌｍｅｎｔ　Ｓｃｈｅｍｅｓ　ｆｏｒ　Ｒｅａｌ−Ｔｉｍｅ　Ａｕｄｉｏ　ａｎｄ　Ｖｉｄｅｏ　Ｔｒａｎｓｍｉｓｓｉｏｎｓ　ｏｖｅｒ　ｔｈｅ　Ｉｎｔｅｒｎｅｔ”，　Ｐｒｏｃ．　ｏｆ　Ｉｎｔ’ｌ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｓｏｆｔｗａｒｅ　Ｅｎｇｉｎｅｅｒｉｎｇ，　ｐｐ．１７−２４，　Ｔａｉｐｅｉ　Ｄｅｃ．　２０００．　ＩＥＥＥ」等に記されている。
【０００５】
第２の対策として、伝送時にＦＥＣなどの冗長ビットを付加してロスが発生した場合にエラー訂正を行う手法があるが、パケット単位でロスしたデータを訂正するための付加データは少なくないため、必要伝送帯域が増加してしまうという問題点がある。また、伝送エラー率もネットワークの状況に応じて時間とともに変動するため、必要な冗長ビット量の調整のためには、ネットワークステータスのフィードバックなどの付加的な実装が必要となるという問題点がある。
【０００６】
次に、パケットロスが伝送エラーに起因する場合の対策の１つとして、受信側において受信したオーディオデータをデコードし、解凍された非圧縮ＰＣＭデータ上でロスした部分を補間する方法が、例えば特開２００１−１７７４８１号公報に記載されているようにある。この場合、解凍後のデータ処理になるためトランスコードなど圧縮したまま利用したい場合であっても一旦解凍して処理を施した後再圧縮処理する必要があり、処理量増大、解凍データの一時保存エリアの確保が必要という問題点がある。また、圧縮データ上での処理に比べ解凍データはボリュームが膨大になるため、エラー隠蔽処理自体を比較しても処理量が大きくなるという問題点がある。さらに、基本的に包絡線波形などの波形整形を行うものであり、サブバンド毎の選択処理ができないため、ノイズなどの高い周波数成分を含んだ場合についても補間データに重畳してしまう可能性があるという問題点がある。
【０００７】
【発明が解決しようとする課題】
本発明の目的は、前記した従来技術の問題点を解決し、オーディオ情報の受信状況をモニタしてパケットロスもしくは疑似パケットロスを検出し、ロスが発生した場合には解凍処理を行うことなく、ロスフレーム近傍のフレームを用いて伝送ストリーム上でのエラー隠蔽処理を施すことにより、　ＱｏＳの保証されないネットワーク上でもオーディオデータをスムーズかつ品質低下を抑制して受信再生することを実現可能なオーディオ情報復号装置を提供することにある。
【０００８】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、オーディオ情報を受信再生するオーディオ情報復号装置において、フレーム単位でパケット化されたオーディオデータを受信する手段と、受信したパケットからパケットロスを検出する手段と、パケットロスにより喪失したオーディオフレームデータを、フレーム前、フレーム後またはフレーム前後のデータを利用して予測生成する手段とを備えた点に第１の特徴がある。
【０００９】
また、本発明は、前記予測生成手段は、該パケットロスにより喪失したオーディオフレームデータの予測生成には、全て固定の値で埋めて行うこと、過去に受信したフレームデータを用いて行うこと、ロスしたパケットの直前に受信したパケットのフレームデータをコピーして行うこと、ロスしたパケットの直前に受信したパケットのブロックデータをコピーして行うこと、ロスしたパケットの直前に受信した１または複数個のパケットのフレームデータから線形予測を用いて行うこと、または処理負荷を低減およびノイズ削減をするために、全てのサブバンドデータを予測生成せずに、オーディオ成分のうち有意データが集中する低い周波数成分のみを用いて行うこととした点に第２の特徴がある。
【００１０】
前記第１、第２の特徴によれば、オーディオ品質劣化を抑制するオーディオ情報の復号再生を行うことが可能になる。
【００１１】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の機能を示すブロック図であり、下記の第１〜５実施形態に共通である。
【００１２】
本発明の第１の実施形態は、ネットワークから受信したオーディオ情報を基にパケットロスや疑似パケットロス（要求受信時刻に間に合わないパケット）を検出し、パケットロスや疑似パケットロスが発生した場合には、ロスフレームを０（零）のような固定値を用いて補間することにより伝送エラーを隠蔽することでスムーズかつオーディオ品質劣化を抑制するオーディオ情報再生を行うようにした点に特徴がある。
【００１３】
送信側では、図１に示されているように、マイク１１から入力されたオーディオ信号はオーディオエンコーダ１２において、あらかじめ指定された符号化ビットレートでエンコードされる。該エンコードされた圧縮データは、送信制御部１３において符号化の最小単位であるフレーム単位でパケット化され、ネットワーク１０に送出される。毎秒のパケット数（フレーム数）、１フレームあたりのサンプル数に関しては、例えばＭＰＥＧ　ＡｕｄｉｏレイヤＩ，　４４．１ｋＨｚの場合は、１フレームあたり３８４サンプル、毎秒約１１５フレームとなり、ＭＰＥＧ　ＡｕｄｉｏレイヤＩＩ、　４４．１ｋＨｚの場合は、１フレームあたり１１５２サンプル、毎秒３８フレームとなる。ＭＰＥＧ　Ａｕｄｉｏ　レイヤＩ、ＩＩのフレーム構造を図２に示す。
【００１４】
図示されているように、ＭＰＥＧ　Ａｕｄｉｏ　レイヤＩのフレーム構成は、ヘッダ、ビット割当情報、スケールファクタ、サブバンドサンプル、およびアンシラリデータからなり、ＭＰＥＧ　Ａｕｄｉｏ　レイヤＩＩのフレーム構成は、ヘッダ、ビット割当情報、スケールファクタ選択情報、スケールファクタ、サブバンドサンプル、およびアンシラリデータからなる。
【００１５】
送出フォーマットに関しては、送信したパケットの順序ならびに再生タイミングが受信側で分かるように、パケット毎にシリアル番号が付与され、そのパケットに含まれるデータの再生タイミングを表すタイムスタンプも同様に付与される。各送出パケットに該シリアル番号ならびに再生タイミングを付与したフォーマットの１例として、図３に示すＲＦＣ１８８９準拠のＲＴＰ（Ｒｅａｌ−ｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）データフォーマットが挙げられる。
【００１６】
次に、受信側では、受信制御部１４は、該シリアル番号を用いてパケットロスを検出する。また、再生タイミングを表す該タイムスタンプを用いて、受信したパケットが再生時刻に間に合っているかどうかの判断（疑似パケットロスの検出）を行う。なお、パケットロス検出と同様に、該シリアル番号を用いて検出可能なパケットの到着順序の入替りおよび重複パケットの受信に関しても疑似パケットロスとみなす。
【００１７】
図４は、受信されたフレームデータＡ，Ｂ，Ｃ，・・・の概念図である。右方向に、ストリーム（時間方向）を示す。パケットロスおよび疑似パケットロスと検出されたフレームデータ（例えば、Ｂ）は、オーディオエラー隠蔽処理ブロック１５において、図４に示すようにサブバンドサンプルデータを０などの固定値で補間する。なお、オーディオフレーム構造におけるサブバンドサンプル以外のヘッダなどの情報は前フレームの情報をコピーする。これにより、オーディオデコーダ１６ではデータパケットのロスを意識することなくデコードし、オーディオの時間的なずれが生じることなくスピーカ１７において再生可能となる。図５は、該オーディオエラー隠蔽処理ブロック１５の機能ブロック図である。ＯＮ、ＯＦＦスイッチは、パケットロスのないときにＯＦＦが選ばれ、パケットロスがある時にＯＮが選ばれる。
【００１８】
一方、正常に到着したデータパケットはペイロード内に格納されているオーディオフレームデータが取り出され、オーディオエラー隠蔽処理部１５では何も処理されず、該タイムスタンプとともにオーディオデコーダ１６に渡され復号処理された後、該タイムスタンプに従ってスピーカ１７において再生される。
【００１９】
受信側において行われる、再生タイミングに間に合っているかどうかの具体的な判断の仕方の一例を以下に示す。なお、この判断は、本出願人による特許出願、特願２００２−０３６７１０号「映像情報伝送方式、それに用いられる装置およびプログラム」に記された手法をベースとしている。
【００２０】
受信したパケットに付与されている該タイムスタンプ｛ＴＳ０，　ＴＳ１，　ＴＳ２，　ＴＳ３，　・・・，　ＴＳｎ｝から、最初に到着したパケットの該タイムスタンプ値を基準時刻０［ｍｓ］に換算することにより、下記の式（１）から得られる再生時刻｛ＰＴ０，　ＰＴ１，　ＰＴ２，　ＰＴ３，　・・・，　ＰＴｎ｝と、パケットを受信した時点のローカルクロックによる受信時刻｛ＣＫＲＴ０，　ＣＫＲＴ１，　ＣＫＲＴ２，　ＣＫＲＴ３，　・・・，　ＣＫＲＴｎ｝から、最初に到着したパケットの該受信時刻を基準時刻０［ｍｓ］に換算することにより、式（２）から得られる受信時刻｛ＲＴ０，　ＲＴ１，　ＲＴ２，　ＲＴ３，　・・・，　ＲＴｎ｝を求め、式（３）から得られるそれらの時刻差ＰＲＤＩＦＦｋ｛ｋ＝０，１，２，・・，ｎ｝が０以上であれば再生時刻に間に合っていると判断でき、一方０未満（マイナス値）であれば間に合っていないと判断される。なお、再生時刻に間に合っていると判断された場合は、その後の復号および再生処理にデータが渡され、間に合っていないと判断された場合は、パケットロスとみなされるため、エラー隠蔽処理が施される。上記において説明したＴＳｋ，ＣＫＲＴｋ，ＰＴｋ，ＲＴｋの関係を図６に示す。
ＰＴｋ　＝　ＴＳｋ　−　ＴＳ０　｛ｋ＝０，１，２，・・，ｎ｝　　　　・・・（１）
ＲＴｋ　＝　ＣＫＲＴｋ　−　ＣＫＲＴ０　｛ｋ＝０，１，２，・・，ｎ｝　・・・（２）
ＰＲＤＩＦＦｋ　＝　ＰＴｋ　−　ＲＴｋ　｛ｋ＝０，１，２，・・，ｎ｝　　・・・（３）
【００２１】
前記受信側オーディオデコーダ１６の１例として、ＭＰＥＧ　Ａｕｄｉｏ　ＬａｙｅｒＩ，ＩＩデコーダの機能ブロック図を図７に示し、動作の概略を説明する。
【００２２】
図７において、受信したデータパケットのペイロードから抜き出されたオーディオフレームデータは、ビットストリーム分解部１８においてサイド情報とサブバンド情報に分解され、サイド情報復号部２１においてビット割り当て情報とスケールファクタ情報が復号される。次に、逆量子化部１９において、ビット割り当て情報とスケールファクタ情報を用いた逆量子化処理によりサブバンドデータが生成される。最後に、サブバンド合成フィルタバンク２０において、周波数軸上のデータである各サブバンド情報から時間軸上のＰＣＭオーディオデータが再生される。
【００２３】
次に、本発明の第２の実施形態を説明する。この実施形態は、ロスしたフレームデータを前または後のフレームデータの複製により補間するようにした点に特徴がある。
【００２４】
パケットロスおよび疑似パケットロスの検出方法ならびに再生時刻に間に合って正常にパケットデータを受信した場合の処理は、第１の実施形態で述べた方法と同一である。
【００２５】
ロストフレームの補間方法に関しては、図８（ａ）に示すように正常に受信した前フレームのデータを複製することにより実現する。または、同図（ｂ）に示すように、ロスしたフレームの後のフレームを複製することにより実現することも可能である。図９は、本実施形態におけるオーディオエラー隠蔽処理ブロック１５の機能ブロック図である。ＯＮ、ＯＦＦスイッチは、パケットロスのないときにＯＦＦが選ばれ、パケットロスがある時にＯＮが選ばれる。
【００２６】
また、　ＭＰＥＧ　Ａｕｄｉｏ　ＬａｙｅｒＩ，ＩＩ符号化のようなサブバンド符号化を用いた場合には、３２個のサブバンドに分割されたオーディオ成分のうち有意データが集中する低い周波数成分のみ複製することにより、高い周波数領域に存在するノイズをカットしたり、複製処理および復号処理の高速化を図ることが可能である。オーディオ情報をサブバンドデータに分離した場合のデータ分布例を図１０に示す。図１０の横方向は時間方向、縦方向はサブバンドインデックスを示す。サブバンドインデックスＳ１，Ｓ４，・・・が大きくなる程高い周波数となるから、サブバンドに分割されたオーディオ成分の有意データは低い周波数成分に集中していることが分かる。
【００２７】
次に、本発明の第３の実施形態を説明する。この実施形態は、ＭＰＥＧ　Ａｕｄｉｏ　ＬａｙｅｒＩＩで符号化した場合に、ロスしたフレームデータを前フレームデータの最終ブロックを複製することにより補間するようにした点に特徴がある。
【００２８】
パケットロスおよび疑似パケットロスの検出方法ならびに再生時刻に間に合って正常にパケットデータを受信した場合の処理は、第１の実施形態で述べた方法と同一である。
【００２９】
ロストフレームの補間方法に関しては、図１１に示すように正常に受信した前フレームの中で時間的に一番近く相関性が高いと思われる最終ブロックデータを複製することにより実現する。図示されているように、ロストフレームＢを、前フレームＡ中の最終ブロックデータＡ３で複製する。図１２は、本実施形態におけるオーディオエラー隠蔽処理ブロック１５の機能ブロック図である。ＯＮ、ＯＦＦスイッチは、パケットロスのないときにＯＦＦが選ばれ、パケットロスがある時にＯＮが選ばれる。
【００３０】
また、　ＭＰＥＧ　Ａｕｄｉｏ　ＬａｙｅｒＩ，ＩＩ符号化のようなサブバンド符号化を用いた場合には、前記第２の実施形態と同様に、３２個のサブバンドに分割されたオーディオ成分のうち有意データが集中する低い周波数成分のみ複製することにより、高い周波数領域に存在するノイズをカットしたり、複製処理および復号処理の高速化を図ることが可能である。
【００３１】
次に、本発明の第４の実施形態を説明する。この実施形態は、ＭＰＥＧ　Ａｕｄｉｏ　ＬａｙｅｒＩＩで符号化した場合にロストしたフレームデータを前フレームデータから線形予測を用いて予測生成することにより補間するようにした点に特徴がある。
【００３２】
パケットロスおよび疑似パケットロスの検出方法ならびに再生時刻に間に合って正常にパケットデータを受信した場合の処理は、第１の実施形態で述べた方法と同一である。
【００３３】
ロストフレームの補間方法に関しては、図１３に示すように正常に受信した前フレームデータもしくは前フレームを含む複数のフレームデータから、下記の式（４）に示す線形予測を用いてロストしたフレームデータを予測生成することにより実現する。図１４は、本実施形態におけるオーディオエラー隠蔽処理ブロック１５の機能ブロック図である。ＯＮ、ＯＦＦスイッチは、パケットロスのないときにＯＦＦが選ばれ、パケットロスがある時にＯＮが選ばれる。
【００３４】
また、　ＭＰＥＧ　Ａｕｄｉｏ　ＬａｙｅｒＩ，ＩＩ符号化のようなサブバンド符号化を用いた場合には、３２個のサブバンドに分割されたオーディオ成分のうち有意データが集中する低い周波数成分のみ複製することにより、高い周波数領域に存在するノイズをカットしたり、複製処理および復号処理の高速化を図ることが可能である。
2004120619.tif 000003
ここに、ｘｔは時刻ｔの予測値、ｅｔは白色雑音、ａｉはフィルタ係数である。
【００３５】
次に、本発明の第５の実施形態を説明する。この実施形態は、図１５に示すように、ロスしたフレームデータを前後のフレームデータの線形補間により補間するようにした点に特徴がある。図１６は、本実施形態におけるオーディオエラー隠蔽処理ブロック１５の機能ブロック図である。ＯＮ、ＯＦＦスイッチは、パケットロスのないときにＯＦＦが選ばれ、パケットロスがある時にＯＮが選ばれる。
【００３６】
パケットロスおよび疑似パケットロスの検出方法ならびに再生時刻に間に合って正常にパケットデータを受信した場合の処理は、第１の実施形態で述べた方法と同一である。
【００３７】
ロストフレームの補間方法に関しては、正常に受信した前後のフレームのデータから線形補間により予測データを生成することにより実現する。また、　ＭＰＥＧ　Ａｕｄｉｏ　ＬａｙｅｒＩ，ＩＩ符号化のようなサブバンド符号化を用いた場合には、３２個のサブバンドに分割されたオーディオ成分のうち有意データが集中する低い周波数成分のみ複製することにより、高い周波数領域に存在するノイズをカットしたり、複製処理および復号処理の高速化を図ることが可能である。
【００３８】
以上、本発明の第１〜第５実施形態について図面を参照して詳述してきたが、具体的な構成例は、これら実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
【００３９】
例えば、前述した第１〜第５実施形態においては、例えばオーディオエラー隠蔽プログラムを図１８に示したコンピュータ読み取り可能な記録媒体に記録して、この記録媒体３００に記録されたオーディオエラー隠蔽プログラムを同図に示したコンピュータ２００に読み込ませ、実行するようにしてもよい。ここで、オーディオエラー隠蔽プログラムは、図１に示したオーディオエラー隠蔽処理部１５の機能を実現する為のプログラムである。
【００４０】
図１８に示したコンピュータ２００は、上記エラー隠蔽プログラムを実行するＣＰＵ２０１と、キーボード、マウス等の入力装置２０２と、各種データを記憶するＲＯＭ（ＲｅａｄＯｎｌｙ　Ｍｅｍｏｒｙ）２０３と、演算パラメータ等を記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０４と、記憶媒体３００からエラー隠蔽プログラムを読み取る読取装置２０５と、ディスプレイ、プリンタ等の出力装置２０６と、装置各部を接続するバスＢＵＳとから構成されている。
【００４１】
ＣＰＵ２０１は、読取装置２０５を経由して記録媒体３００に記録されているエラー隠蔽プログラムを読み込んだ後、このエラー隠蔽プログラムを実行することにより、前述したエラー隠蔽処理を行う。記録媒体３００には、光ディスク、ＦＤ、ハードディスク等の可搬型の記録媒体が含まれることはもとより、ネットワークのようにデータを一時的に記録保持するような伝送媒体も含まれる。
【００４２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、ネットワークから受信したオーディオ情報を基にパケットロスや疑似パケットロスを検出し、パケットロスや疑似パケットロスが発生した場合には、ロスフレームを近傍のオーディオデータフレームなどを用いて補間するようにしているので、伝送エラーを隠蔽することができるという効果がある。また、このため、スムーズかつオーディオ品質劣化を抑制するオーディオ情報の復号再生を行うことが可能になる。
【００４３】
図１７に本発明装置を用いた場合のエラー隠蔽処理の主観評価実験結果を示す。この実験は、ＭＰＥＧ　Ａｕｄｉｏ　ＬａｙｅｒＩＩで圧縮されフレーム単位でパケット化されたデータに対して擬似的にフレームロスを発生させ、第１〜４実施形態の方式で対処した場合の主観評価の結果を示す。フレームロスは、連続１フレームロス、連続３フレームロス、連続５フレームロス、および連続１０フレームロスの４種類を用意した。主観評価実験は、被験者１４人がランダムに評価対象ストリームを聴き、オリジナルのオーディオと比較する形で行った。評価基準は、５が最高で、オリジナルとの差が分からないであり、１が最低で、大変耳障りであるである。
【００４４】
この実験から、オーディオフレームロスが発生した場合においても、ロスフレームを的確に補間しエラー隠蔽することにより、品質劣化を抑制していることが分かる。特に、線形予測を用いた第４実施形態では、連続のフレームロスに関しても高い品質劣化抑制効果があることが分かる。
【００４５】
なお、本発明は、ＭＰＥＧ伝送システム、双方向オーディオ伝送システム、ＴＶ会議システム、ビデオチャットシステム、映像音声中継システムなどに応用可能である。
【図面の簡単な説明】
【図１】本発明の各実施形態の共通の構成を示す機能ブロック図である。
【図２】ＭＰＥＧ　Ａｕｄｉｏ　ＬａｙｅｒＩ，ＩＩのフレーム構成を示す図である。
【図３】ＲＦＣ１８８９準拠のＲＴＰ（Ｒｅａｌ−ｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）データフォーマットを示す図である。
【図４】本発明の第１の実施形態の要部の説明図である。
【図５】該第１実施形態のオーディオエラー隠蔽処理部の機能ブロック図である。
【図６】ＴＳｋ，ＣＫＲＴｋ，ＰＴｋ，ＲＴｋの関係を示す図である。
【図７】ＭＰＥＧオーディオデコーダの機能ブロック図である。
【図８】本発明の第２の実施形態の要部の説明図である。
【図９】該第２実施形態のオーディオエラー隠蔽処理部の機能ブロック図である。
【図１０】サブバンド情報に分離して表示したオーディオ情報の一例を示す図である。
【図１１】本発明の第３の実施形態の要部の説明図である。
【図１２】該第３実施形態のオーディオエラー隠蔽処理部の機能ブロック図である。
【図１３】本発明の第４の実施形態の要部の説明図である。
【図１４】該第４実施形態のオーディオエラー隠蔽処理部の機能ブロック図である。
【図１５】本発明の第５の実施形態の要部の説明図である。
【図１６】該第５実施形態のオーディオエラー隠蔽処理部の機能ブロック図である。
【図１７】本発明の第１〜４実施形態による主観評価実験結果を示す図である。
【図１８】本発明をコンピュータを用いて実施する変形例のブロック図である。
【図１９】従来のリアルタイム映像圧縮装置の構成を示すブロック図である。
【符号の説明】
１４・・・受信制御部、１５・・・オーディオエラー隠蔽処理部、１６・・・オーディオデコーダ、１７・・・スピーカ、１８・・・ビットストリーム分解部、１９・・・逆量子化部、２０・・・サブバンド合成フィルタバンク、２１・・・サイド情報復号部。
【図１】
2004120619.tif 000004
【図２】
2004120619.tif 000005
【図３】
2004120619.tif 000006
【図４】
2004120619.tif 000007
【図５】
2004120619.tif 000008
【図６】
2004120619.tif 000009
【図７】
2004120619.tif 000010
【図８】
2004120619.tif 000011
【図９】
2004120619.tif 000012
【図１０】
2004120619.tif 000013
【図１１】
2004120619.tif 000014
【図１２】
2004120619.tif 000015
【図１３】
2004120619.tif 000016
【図１４】
2004120619.tif 000017
【図１５】
2004120619.tif 000018
【図１６】
2004120619.tif 000019
【図１７】
2004120619.tif 000020
【図１８】
2004120619.tif 000021
【図１９】
2004120619.tif 000022