(57)【特許請求の範囲】
【請求項１】
画像や音声データを圧縮復号化した符号化データを復号して元のデータを生成する復号化装置とネットワークで接続され、前記符号化データのビット列をパケットとして前記復号化装置に送信する符号化装置であって、
前記復号化装置に送信されたパケットの欠落パケット復元率、パケット連続欠落率、パケット欠落率を含むパケット欠落情報を復号化装置から受信する欠落情報受信手段と、
前記欠落情報受信手段により受信されたパケット欠落情報のうち、前記欠落パケット復元率及び前記パケット連続欠落率に基づいて、欠落したパケットを復元させるために周期的に挿入する誤り訂正用の冗長なパケットの挿入および生成方式を一次元ＦＥＣ方式か二次元ＦＥＣ方式かのいずれかに決定する挿入生成決定手段と、
前記挿入生成決定手段により決定された誤り訂正用の冗長なパケットの挿入および生成方式に基づいて、前記誤り訂正用の冗長なパケットを生成して、前記復号化装置に送信されるパケットに挿入する誤り訂正用パケット生成挿入手段と、
を備えたことを特徴とする符号化装置。
【請求項２】
前記挿入生成決定手段は、前記欠落情報受信手段により受信されたパケット欠落情報のうち、前記パケット欠落率に基づいて、前記誤り訂正用の冗長なパケットの挿入頻度を調整することを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記送信されるパケットが復号画像へ及ぼす影響度を算出する影響度算出手段をさらに備え、
前記挿入生成決定手段は、前記欠落情報受信手段により受信されたパケット欠落情報と、前記影響度算出手段により算出された影響度とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする請求項１または２に記載の符号化装置。
【請求項４】
前記欠落情報受信手段により受信されたパケット欠落情報から、パケット欠落情報の統計情報を保持する統計情報保持手段をさらに備え、
前記挿入生成決定手段は、前記欠落情報受信手段により受信されたパケット欠落情報と、前記統計情報保持手段により保持される統計情報とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする請求項１または２に記載の符号化装置。
【請求項５】
前記欠落情報受信手段により受信されたパケット欠落情報を受け付けて、前記ネットワークの品質に対応した誤り訂正用の冗長なパケットの挿入および生成方式を決定する品質学習装置が、前記ネットワークにさらに接続され、
前記挿入生成決定手段は、前記品質学習装置により決定された前記誤り訂正用の冗長なパケットの挿入および生成方式を事前に決定することを特徴とする請求項１または２に記載の符号化装置。
【請求項６】
日時に対応付けて、前記ネットワークの負荷情報を記憶するスケジュール記憶手段をさらに備え、
前記挿入生成決定手段は、前記欠落情報受信手段により受信されたパケット欠落情報と、前記スケジュール記憶手段により保持される日時の負荷情報とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする請求項１または２に記載の符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像や音声データを圧縮復号化した符号化データを復号して元のデータを生成する復号化装置とネットワークで接続され、前記符号化データのビット列をパケットとして前記復号化装置に送信する符号化装置に関する。
【背景技術】
【０００２】
従来より、図１３に示すように、監視対象場所に設置されたカメラの画像とマイクの音声をＭＰＥＧ符号化装置に取り込み、ＭＰＥＧ符号化装置で圧縮符号化したビット列をＵＤＰパケットとし、インターネット経由でＭＰＥＧ復号化装置に送信、復号してモニタおよびスピーカから再生することで、遠隔地のリアルタイム監視を行うシステムが一般的に利用されている。
【０００３】
このようなシステムにＩＰパケットの転送には、通常ＴＣＰを用いる場合とＵＤＰを用いる場合があるが、リアルタイム伝送システムでは、データの到達性よりも遅延時間短縮を優先させ、ＵＤＰが用いられる。
【０００４】
ＩＰネットワーク（特にインターネットなど）では、送信端末から受信端末へパケットが到達するまでにいくつもの異なった性能の中継装置を経由することや、伝送帯域が各中継装置間で異なることなどの理由により、物理的、電気的なデータエラーだけでなく、中継網のトラフィックや中継装置の内部バッファオーバフローなどにより、パケットが途中で破棄されてしまう場合がある。このときのパケット欠落による影響を少なくするため、ＵＤＰで伝送する場合には更に高位のレイヤで回数を制限した再送処理（ＡＲＱ方式）や欠落パケットを復元させるための冗長パケットを常時送信する方法（ＦＥＣ方式）が用いられる。
【０００５】
ＡＲＱ方式は、誤りなく受信したときに受信端末がＡＣＫを送信端末に応答するが、誤りを検出したときには受信端末がＮＡＫを送信側端末に応答する。このＮＡＫを受信した送信端末が欠落したパケットを再送する。このように、パケットの欠落が発生した場合に、パケットを再送するため、この再送パケットにより遅延時間が発生するなどの問題がある。
【０００６】
また、ＡＲＱ方式などで発生する遅延時間を防止する手法として、ＦＥＣ方式がある、ＦＥＣ方式は、欠落したパケットを復元するＦＥＣパケットを符号化されたパケットと同様に送信する手法であり、より一般的に用いられる。ここで、ＦＥＣ方式で用いられるＦＥＣパケットについて具体的に説明する。図１４は、メディアパケット（本来、伝送すべき映像や音声のパケット）１０個に対して、常に１個のＦＥＣパケットを送信する例の概念図である。この例では、ＦＥＣパケットの生成方法として、１０パケットのメディアパケットの各ビットについてＸＯＲ（排他的論理和）を算出する。
【０００７】
例えば、図１４のように第１パケットのビット列が「1,1,1,0,0,0...」のようになっていて、第２パケットのビット列が「1,0,1,1,0,1...」になっていたとすると、第１パケットの第１ビットである「1」と、第２パケットの第１ビットである「1」のＸＯＲを算出したもの「0」をＦＥＣパケットの第１ビットとし、同様にして第２ビット以降も演算して第１パケットと第２パケットについてのＦＥＣパケットを得る。更に、このＦＥＣパケットと第３パケットを同様に演算して次のＦＥＣパケットを得て、同様の方法を第１０パケットまで繰り返すことで、メディアパケット１０個に対するＦＥＣパケット１個を得る。
【０００８】
受信側端末では、メディアパケット１０個とＦＥＣパケット１個を受信するが、メディアパケットの順序を表す情報（例えば、RTPヘッダ内のシーケンス番号など）を用いて、パケットの並べ替えや欠落したパケットの有無を認識し、メディアパケット１０個のうち１個だけが欠落した場合であれば、残りのメディアパケット９個とＦＥＣパケットについてＸＯＲ演算を施すことにより、欠落したメディアパケットを復元することができる。
【０００９】
上記したように、欠落したメディアパケットを復元するためには、ＦＥＣパケットを正確に受信側に送信する必要があり、そのため、ＦＥＣパケットを生成・送信する様々な方式が開示されている。例えば、図１５に示すように、「一定周期でＦＥＣを挿入する方式」、また、図１６に示すように、「一定周期で生成するが、２つのＦＥＣグループ間で交互に送信する方式」、また、図１７に示すように、「二次元のＦＥＣ挿入方式」がある。
【００１０】
ここで、それぞれについて具体的に説明すると、「一定周期でＦＥＣを挿入する方式」は、図１５に示すように、例えば、４つのメディアパケットで１つのＦＥＣパケットを生成し、５回に１回ＦＥＣパケットを送信する。つまり、メディアパケットを４つ送信した後にＦＥＣパケット１つを送信する。この方式の場合、ＦＥＣパケット挿入頻度が低いため、メディアパケットとＦＥＣパケットとの合計レートも低くてすむが、連続したパケット欠落に対応することができない（ＦＥＣパケット生成に用いて複数のメディアパケット内で２つ以上欠落が生じると復元することができない）。
【００１１】
また、「一定周期で生成するが、２つのＦＥＣグループ間で交互に送信する方式」は、図１６に示すように、同様に４つのメディアパケットから１つのＦＥＣパケットを生成するが、送信する手法が異なる。具体的に例を挙げると、８つのメディアパケット（Ｍ−１〜Ｍ−８）と、２つのＦＥＣパケット（Ｆ（1.2.3.4）とＦ（5.6.7.8））とを送信する場合、「Ｍ−１」、「Ｍ−３」、Ｆ（1.2.3.4）、「Ｍ−６」、「Ｍ−８」、「Ｍ−２」、「Ｍ−４」、「Ｍ−５」、「Ｍ−７」、Ｆ（5.6.7.8）のように、交互に送信する。この方式の場合、ＦＥＣパケット挿入頻度が低いため、メディアパケットとＦＥＣパケットとの合計レートも低く、２パケット連続の欠落に強いが、受信側で復号するためのバッファリング量が増加するために、遅延が大きくなる。
【００１２】
また、「二次元のＦＥＣ挿入方式」は、図１７に示すように、「Ｍ−１」〜「Ｍ−４」の４つのパケットで１つのＦＥＣパケット（Ｆ（1.2.3.4））を生成するとともに、「Ｍ−１」と「Ｍ−５」との２つのパケットで１つのＦＥＣパケット（Ｆ（1.5））を生成する。そして、メディアパケットを４つ送信した後にＦＥＣパケット１つを送信するとともに、メディアパケット「Ｍ−１」の送信にあわせて２つのメディアパケットから生成した「Ｆ（1.5）」を送信する。この方式の場合、ＦＥＣパケット挿入頻度が高いため、メディアパケットとＦＥＣパケットの合計レートが高くなり（８つのメディアパケットを送信するために、６つのＦＥＣパケットを送信する必要がある）、受信側で復号するためのバッファリング量が増加するために、遅延が大きくなるが、連続したパケット欠落に強い。
【００１３】
このように、それぞれの手法では、メリットもデメリットもあるため、送信側と受信側とを接続するネットワークの状況や処理負荷を考えて、転送レートを一定に保つためにも、ネットワークの状況や処理負荷に適した手法およびそれぞれの手法においてＦＥＣパケットを挿入する間隔を選択することが望ましい。そこで、通常、画像や音声のIPでのリアルタイム伝送では、圧縮されたストリームはＲＴＰ(Real-time  Transport  Protocol)パケットとして送信され、その伝送レートを調整するために、定期的にストリーム受信側（復号器）がストリーム送信側（符号器、符号化装置）に対してＲＴＣＰ（RTP  Control  Protocol）パケットを送信する。このＲＴＣＰパケットのＲＲパケット（受信者情報）にはパケット欠落率も含まれており、ストリーム送信側はその情報を使って転送レートを動的に変化させ、復号画像および復号音声の品質を保つように調整するのが一般的である（例えば、特許文献１参照）。
【００１４】
【特許文献１】特開平４−１６０８２６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、上記した従来の技術では、適切なＦＥＣパケットの生成・挿入方式を選択することができないという課題があった。具体的には、ＲＴＣＰパケットではパケット欠落の連続性など、ＦＥＣパケット生成・挿入方式の選択に必要な情報が含まれておらず、ユーザの独自情報を記述する領域もないため、適切なＦＥＣパケットの生成・挿入手法を選択することができない。
【００１６】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、ネットワークの状況に応じた適切なＦＥＣパケットの生成・挿入方式を選択することが可能である符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上述した課題を解決し、目的を達成するため、本発明は、画像や音声データを圧縮復号化した符号化データを復号して元のデータを生成する復号化装置とネットワークで接続され、前記符号化データのビット列をパケットとして前記復号化装置に送信する符号化装置であって、前記復号化装置に送信されたパケットの欠落パケット復元率、パケット連続欠落率、パケット欠落率を含むパケット欠落情報を復号化装置から受信する欠落情報受信手段と、前記欠落情報受信手段により受信されたパケット欠落情報に基づいて、欠落したパケットを復元させるために周期的に挿入する誤り訂正用の冗長なパケットの挿入および生成方式を決定する挿入生成決定手段と、前記挿入生成決定手段により決定された誤り訂正用の冗長なパケットの挿入および生成方式に基づいて、前記誤り訂正用の冗長なパケットを生成して、前記復号化装置に送信されるパケットに挿入する誤り訂正用パケット生成挿入手段と、を備えたことを特徴とする。
【００１８】
また、本発明は、上記の発明において、前記送信されるパケットが復号画像へ及ぼす影響度を算出する影響度算出手段をさらに備え、前記挿入生成決定手段は、前記欠落情報受信手段により受信されたパケット欠落情報と、前記影響度算出手段により算出された影響度とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする。
【００１９】
また、本発明は、上記の発明において、前記欠落情報受信手段により受信されたパケット欠落情報から、パケット欠落情報の統計情報を保持する統計情報保持手段をさらに備え、前記挿入生成決定手段は、前記欠落情報受信手段により受信されたパケット欠落情報と、前記統計情報保持手段により保持される統計情報とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする。
【００２０】
また、本発明は、上記の発明において、前記欠落情報受信手段により受信されたパケット欠落情報を受け付けて、前記ネットワークの品質に対応した誤り訂正用の冗長なパケットの挿入および生成方式を決定する品質学習装置が、前記ネットワークにさらに接続され、前記挿入生成決定手段は、前記品質学習装置により決定された前記誤り訂正用の冗長なパケットの挿入および生成方式を事前に決定することを特徴とする。
【００２１】
また、本発明は、上記の発明において、日時に対応付けて、前記ネットワークの負荷情報を記憶するスケジュール記憶手段をさらに備え、前記挿入生成決定手段は、前記欠落情報受信手段により受信されたパケット欠落情報と、前記スケジュール記憶手段により保持される送信日時の負荷情報とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする。
【発明の効果】
【００２２】
本発明によれば、復号化装置に送信されたパケットの欠落パケット復元率、パケット連続欠落率、パケット欠落率を含むパケット欠落情報を復号化装置から受信し、受信されたパケット欠落情報に基づいて、欠落したパケットを復元させるために周期的に挿入する誤り訂正用の冗長なパケットの挿入および生成方式を決定し、決定された誤り訂正用の冗長なパケットの挿入および生成方式に基づいて、誤り訂正用の冗長なパケットを生成して、復号化装置に送信されるパケットに挿入するので、ネットワークの状況に応じた適切なＦＥＣパケットの生成・挿入方式を選択することが可能である。
【００２３】
また、本発明によれば、受信されたパケット欠落情報と、前記影響度算出手段により算出された影響度とに基づいて、誤り訂正用の冗長なパケットの挿入および生成方式を決定するので、復号化装置におけるデータ復元率を向上させることが可能であるとともに、ネットワークの状況に応じた適切なＦＥＣパケットの生成・挿入方式を選択することが可能である。
【００２４】
例えば、ＧＯＰヘッダやＩピクチャのヘッダおよびデータなどの欠落した場合に影響が大きい部分についてはＦＥＣ生成頻度を高め、影響が小さい部分についてはＦＥＣ生成頻度を低くすることで、ストリーム全体の伝送レート上昇を抑えながら、再生映像の品質を保つことが可能である。
【００２５】
また、本発明によれば、受信されたパケット欠落情報と、保持される統計情報とに基づいて、誤り訂正用の冗長なパケットの挿入および生成方式を決定するので、パケット欠落を防止することができる安全な挿入・生成方式を選択することが可能である。
【００２６】
また、本発明によれば、受信されたパケット欠落情報を受け付けて、前記ネットワークの品質に対応した誤り訂正用の冗長なパケットの挿入および生成方式を決定する品質学習装置が、ネットワークにさらに接続され、品質学習装置により決定された誤り訂正用の冗長なパケットの挿入および生成方式を事前に決定するので、高い欠落パケット復元率を維持することが可能である。
【００２７】
また、通信中もＦＥＣ生成方法、ＦＥＣ挿入頻度の調整を続けながら最新情報にて統計情報を更新することで、ネットワークインフラの改善などの環境変化にも追従することが可能である。また、新たにネットワークに追加された符号化装置も、最新の欠落情報を用いてＦＥＣ生成方法、ＦＥＣ挿入頻度を決定することが可能である。
【００２８】
また、本発明によれば、受信されたパケット欠落情報と、保持される送信日時の負荷情報とに基づいて、誤り訂正用の冗長なパケットの挿入および生成方式を決定するので、現在のＦＥＣ生成方法、ＦＥＣ挿入頻度の調整を行うとともに、過去の制御記録に基づいて実際のパケット欠落が発生する前にＦＥＣ生成方法と挿入間隔を変更することで、高い欠落パケット復元率を維持することが可能である。
【発明を実施するための最良の形態】
【００２９】
以下に添付図面を参照して、この発明に係る符号化装置の実施例を詳細に説明する。なお、以下では本実施例に係る符号化装置の概要および特徴、符号化装置の構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。
【実施例１】
【００３０】
［復号化装置の概要および特徴］
まず最初に、図１を用いて、実施例１に係る復号化装置の概要および特徴を説明する。図１は、実施例１に係る復号化装置を含むシステムの全体構成を示す図である。
【００３１】
図１に示すように、このシステムは、画像や音声データを圧縮復号化した符号化データのビット列をパケットとして送信する符号化装置と、受信した符号化データを復号して元のデータを生成する復号化装置とがＩＰネットワークで接続されて構成される。
【００３２】
また、ここで示す符号化装置は、例えば、監視対象場所に設置されたカメラの画像とマイクの音声を取り込み、圧縮符号化したビット列をＵＤＰパケットとし、インターネット経由で復号化装置に送信するＭＰＥＧ符号化装置であり、このシステムは、復号してモニタおよびスピーカから再生することで、遠隔地のリアルタイム監視を行うシステムである。
【００３３】
このような構成において、実施例１に係る符号化装置は、画像や音声データを圧縮復号化した符号化データを復号して元のデータを生成する復号化装置とネットワークで接続され、符号化データのビット列をパケットとして復号化装置に送信することを概要とするものであり、特に、ネットワークの状況に応じた適切なＦＥＣパケットの生成・挿入方式を選択することが可能である点に主たる特徴がある。
【００３４】
具体的に説明すると、符号化装置は、画像や音声データを圧縮復号化した符号化データのビット列をパケットとして復号化装置に送信し、復号化装置は、送信されたパケットの欠落パケット復元率、パケット連続欠落率、パケット欠落率を含むパケット欠落情報をＵＤＰパケットとして符号化装置に送信する（図１の（１）参照）。
【００３５】
具体的に例を挙げて説明すると、符号化装置は、上記した「一定周期でＦＥＣを挿入する方式」、「一定周期で生成するが、２つのＦＥＣグループ間で交互に送信する方式」、「二次元のＦＥＣ挿入方式」のいずれかの方式を用いて、画像や音声データを圧縮復号化した符号化データのビット列をパケットとして復号化装置に送信する。そして、復号化装置は、符号化装置から一定期間に受信したパケットの欠落パケット復元率、パケット連続欠落率、パケット欠落率を算出してパケット欠落情報を生成して、生成したパケット欠落情報をＵＤＰパケットとして符号化装置に送信する。
【００３６】
そして、符号化装置は、復号化装置から受信したパケット欠落情報に基づいて、欠落したパケットを復元させるために周期的に挿入する誤り訂正用の冗長なパケットであるＦＥＣパケットの挿入および生成方式をリアルタイムに決定し、決定された誤り訂正用の冗長なパケットの挿入および生成方式に基づいて、ＦＥＣパケットを生成して符号化データを復号化装置に送信する（図１の（２）〜（４）参照）。
【００３７】
具体的に例を挙げて説明すると、符号化装置は、復号化装置から受信したパケット欠落情報を分析して、「合計レートも高く、連続したパケット欠落も発生していない場合」には、合計レートが低い「一定周期でＦＥＣを挿入する手法」を用いることを決定して、以降のパケット送信を「一定周期でＦＥＣを挿入する手法」を用いて送信する。
【００３８】
また、符号化装置は、「合計レートも高く、連続したパケット欠落が少し発生している場合」には、合計レートが低く、連続したパケット欠落に強い「一定周期で生成するが、２つのＦＥＣグループ間で交互に送信する手法」を用いることを決定して、以降のパケット送信を「一定周期で生成するが、２つのＦＥＣグループ間で交互に送信する手法」を用いて送信する。また、符号化装置は、「合計レートも低く、連続したパケット欠落が多く発生している場合」には、合計レートが高くなるが連続したパケット欠落に強い「二次元のＦＥＣ挿入手法」を用いることを決定して、以降のパケット送信を「二次元のＦＥＣ挿入手法」を用いて送信する。
【００３９】
さらに、符号化装置は、上記したように、いずれかの方式を選択するだけでなく、それぞれの方式におけるＦＥＣパケットを挿入する間隔を決定し、決定された挿入間隔でＦＥＣパケットを送信するようにしてもよい。つまり、符号化装置は、復号化装置から受信したパケット欠落情報に基づいて、現在使用している方式を変更するのではなく、現在使用している方式におけるＦＥＣパケットの挿入間隔を変更することもでき、また、現在使用している方式とＦＥＣパケットの挿入間隔との両方を変更することもできる。
【００４０】
このように、実施例１に係る符号化装置は、パケット欠落情報を復号化装置からリアルタイムに受信して、ネットワークの負荷状況を把握することができる結果、上記した主たる特徴のごとく、ネットワークの状況に応じた適切なＦＥＣパケットの生成・挿入手法を選択することが可能である。
【００４１】
［符号化装置の構成］
次に、図２を用いて、図１に示した符号化装置の構成を説明する。図２は、実施例１に係る符号化装置の構成を示すブロック図である。図２に示すように、この符号化装置１０は、通信情報受信部１１と、配信部１２と、記憶部２０と、制御部３０とから構成される。
【００４２】
通信情報受信部１１は、復号化装置に送信されたパケットの欠落パケット復元率、パケット連続欠落率、パケット欠落率を含むパケット欠落情報を復号化装置から受信する。具体的には、符号化装置１０により送信されたパケットについて、復号化装置により欠落パケット復元率、パケット連続欠落率、パケット欠落率が算出される。そして、通信情報受信部１１は、復号化装置から送信されたパケット欠落情報であるＵＤＰパケットをＩＰネットワークを介して受信し、後述する解析部３３に当該パケット欠落情報を出力する。
【００４３】
配信部１２は、復号化装置に対して、画像や音声データを圧縮復号化した符号化データのビット列をパケットとして送信する。具体的には、配信部１２は、後述する符号化処理部３１と誤り訂正情報生成部３２とから生成されたパケットおよびＦＥＣパケットを、ネットワークを介して復号化装置に送信する。
【００４４】
記憶部２０は、制御部３０による各種処理に必要なデータおよびプログラムを格納するとともに、特に本発明に密接に関連するものとしては、符号化情報ＤＢ２１と、バッファ２２とを備える。
【００４５】
符号化情報ＤＢ２１は、通信情報受信部１１により受信されたパケット欠落情報を記憶する。具体的に例を挙げると、符号化情報ＤＢ２１は、図３に示すように、『パケット欠落情報を受信した「日時」、パケット欠落情報を受信した「曜日」、欠落したパケットがどのくらい復元できたかを示す「欠落パケット復元率」、パケットが連続して欠落していた割合を示す「連続欠落率」、パケットが欠落していた割合を示す「パケット欠落率」』として「2007年1月1日10:00〜11:00、月、９０％、１０％、２１％」などと記憶する。なお、図３は、符号化情報ＤＢに記憶される情報の例を示す図である。
【００４６】
バッファ２２は、復号化装置に送信されるパケットを一時的に記憶する一時領域であり、具体的には、後述する符号化処理部３１により生成された符号化データのビット列をパケットとして一時的に記憶したり、誤り訂正情報生成部３２により生成されたＦＥＣパケットを一時的に記憶したりする。
【００４７】
制御部３０は、ＯＳ（Operating  System）などの制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、符号化処理部３１と、誤り訂正情報生成部３２と、解析部３３と、誤り訂正方法決定部３４とを備え、これらによって種々の処理を実行する。
【００４８】
符号化処理部３１は、画像や音声データを圧縮復号化した符号化データを生成する。具体的には、符号化処理部３１は、外部から入力された画像や音声データを受け付けて、受け付けた画像や音声データを圧縮復号化して符号化データを生成し、生成した符号化データのビット列をパケットとして、後述する誤り訂正情報生成部３２やバッファ２２に出力する。
【００４９】
誤り訂正情報生成部３２は、後述する誤り訂正方法決定部３４により決定された誤り訂正用の冗長なパケットの挿入および生成方式に基づいて、誤り訂正用の冗長なパケットであるＦＥＣパケットを生成して、復号化装置に送信されるパケットに挿入する。具体的には、誤り訂正情報生成部３２は、誤り訂正方法決定部３４により決定された誤り訂正用の冗長なパケットであるＦＥＣパケット生成方式に基づいて、ＦＥＣパケットを生成し、生成したパケットを誤り訂正方法決定部３４により決定された挿入方式に基づいて、符号化処理部３１により入力されたメディアパケットに挿入する。そして、誤り訂正情報生成部３２は、符号化処理部３１により入力されたメディアパケットと、挿入したＦＥＣパケットとをバッファ２２に入力する。
【００５０】
例えば、誤り訂正方法決定部３４により生成方式「一定周期でＦＥＣを挿入する方式」、挿入方式「２パケット」と決定されたことが通知されると、誤り訂正情報生成部３２は、符号化処理部３１により入力されたメディアパケット２つからＦＥＣパケットを生成して、メディアパケット２つの次にＦＥＣパケットを挿入して、バッファ２２に出力する。また、例えば、誤り訂正方法決定部３４により生成方式「二次元のＦＥＣ挿入方式」、挿入方式「４パケット、２パケット」と決定されたことが通知されると、誤り訂正情報生成部３２は、符号化処理部３１により入力されたメディアパケット４つを１グループとして、二次元的にＦＥＣパケットを生成するとともにメディアパケットにＦＥＣパケットを二次元的に挿入し（図１７参照）、バッファ２２に出力する。
【００５１】
解析部３３は、通信情報受信部１１により受信されたパケット欠落情報を解析して、符号化情報ＤＢ２１に格納する。具体的には、解析部３３は、通信情報受信部１１により受信されたパケット欠落情報から、「欠落パケット復元率」、「連続欠落率」、「パケット欠落率」を取得するとともに、当該パケット欠落情報が受け付けられた日時や曜日を取得して、それぞれを対応付けて符号化情報ＤＢ２１に格納する。
【００５２】
誤り訂正方法決定部３４は、通信情報受信部１１により受信されたパケット欠落情報に基づいて、欠落したパケットを復元させるために周期的に挿入する誤り訂正用の冗長なパケットの挿入および生成方式を決定する。具体的に例を挙げると、誤り訂正方法決定部３４は、解析部３３により解析されたパケット欠落情報が記憶される符号化情報ＤＢ２１を参照して、欠落したパケットを復元させるために周期的に挿入する誤り訂正用の冗長なパケットであるＦＥＣパケットの挿入および生成方式を決定して、決定した内容を誤り訂正情報生成部３２に出力する。
【００５３】
例えば、誤り訂正方法決定部３４は、符号化情報ＤＢ２１に記憶されるパケット欠落情報が「欠落パケット復元率が高く、連続欠落率もパケット欠落率も低い」場合には、「一定周期でＦＥＣを挿入する方式」かつ「挿入間隔を長く」する指示を誤り訂正情報生成部３２に出力する。また、例えば、誤り訂正方法決定部３４は、符号化情報ＤＢ２１に記憶されるパケット欠落情報が「欠落パケット復元率が低く、連続欠落率もパケット欠落率も高い」場合には、「一定周期で生成するが、２つのＦＥＣグループ間で交互に送信する方式」または「二次元のＦＥＣ挿入方式」かつ「挿入間隔を短く」する指示を誤り訂正情報生成部３２に出力する。
【００５４】
［復号化装置の構成］
次に、図４を用いて、図１に示した復号化装置の構成を説明する。図４は、実施例１に係る復号化装置の構成を示すブロック図である。図４に示すように、この復号化装置４０は、通信情報収集部４１と、通信情報送信部４２と、バッファ４３と、制御部５０とから構成される。
【００５５】
通信情報収集部４１は、符号化装置１０から送信されたメディアパケットおよびＦＥＣパケットを受信する。具体的には、通信情報収集部４１は、符号化装置１０から送信されたメディアパケットを受信すると、当該メディアパケットをバッファ４３に格納する。このときに、通信情報収集部４１は、受信したメディアパケットのＲＴＰヘッダを解析して、シーケンス番号の連続性を確認することで、パケット欠落をチェックする。そして、通信情報収集部４１は、パケット欠落がない場合には、そのメディアパケットの欠落に用いるＦＥＣパケットを破棄し、パケット欠落がある場合には、そのメディアパケットの欠落に用いるＦＥＣパケットもメディアパケットとともにバッファ４３に格納する。
【００５６】
また、通信情報収集部４１は、欠落したパケットがどのくらい復元できたかを示す欠落パケット復元率と、１秒間におけるパケット欠落率（全体のメディアパケット受信数の内、何％が欠落しているか）と、連続欠落率（２連続で欠落している回数は、パケット欠落回数の何％か）とから構成されるパケット欠落情報を算出して図示しないメモリなどに格納する。
【００５７】
通信情報送信部４２は、パケット欠落情報を符号化装置１０に送信する。具体的に例を挙げると、通信情報送信部４２は、通信情報収集部４１により図示しないメモリなどに格納されたパケット欠落情報を定期的に読み出して、ＵＤＰパケットのペイロードに含めて符号化装置１０に送信する。
【００５８】
バッファ４３は、通信情報収集部４１により受信されたメディアパケットやＦＥＣパケットなどを一時的に記憶する。そして、バッファ４３は、後述する誤り訂正処理部５１からの読み出し指示に応じて、通信情報収集部４１により格納されたメディアパケットやＦＥＣパケットなどを誤り訂正処理部５１に出力する。
【００５９】
制御部５０は、ＯＳ（Operating  System）などの制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、誤り訂正処理部５１と、復号化処理部５２とを備え、これらによって種々の処理を実行する。
【００６０】
誤り訂正処理部５１は、符号化装置１０により送信されたパケットが欠落していた場合に、当該欠落したパケットを復元する。具体的に例を挙げると、誤り訂正処理部５１は、バッファ４３に格納されるパケットを取得し、取得したパケットがメディアパケットだった場合は、復号化処理部５２に送信する。一方、誤り訂正処理部５１は、取得したパケットがＦＥＣパケットだった場合は、ＦＥＣパケットと同一グループのメディアパケットから欠落したメディアパケットを復元し、復号化処理部５２に送信する。このとき、復元できたパケット数の欠落メディアパケット数に対する割合を１秒毎に計算し、欠落パケット復元率として通信情報収集部４１に送信する。
【００６１】
復号化処理部５２は、符号化装置１０から送信されたパケットを復元して元のデータを生成する。具体的には、復号化処理部５２は、誤り訂正処理部５１からメディアパケットと復元されたメディアパケットとを受け付けて、受け付けたパケットを復元して元のデータを生成する。
【００６２】
［符号化装置による処理］
次に、図５を用いて、符号化装置による処理を説明する。図５は、実施例１に係る符号化装置におけるパケット送信方式決定処理の流れを示すフローチャートである。
【００６３】
図５に示すように、符号化装置１０の誤り訂正方法決定部３４は、符号化情報ＤＢ２１を参照して、欠落パケット復元率が１００％でない場合（ステップＳ１０１否定）、連続欠落率がＸ％（所定の閾値）より大きいか否かを判定する（ステップＳ１０２）。
【００６４】
そして、連続欠落率がＸ％（所定の閾値）より大きい場合（ステップＳ１０２肯定）、誤り訂正方法決定部３４は、ＦＥＣパケットの挿入および生成方式を「二次元ＦＥＣ方式」に決定する（ステップＳ１０３）、符号化情報ＤＢ２１を参照して、パケット欠落率がＹ％（所定の閾値）より大きいか否かを判定する（ステップＳ１０４）。
【００６５】
一方、連続欠落率がＸ％（所定の閾値）より小さい場合（ステップＳ１０２否定）、誤り訂正方法決定部３４は、ステップＳ１０４の処理である符号化情報ＤＢ２１を参照して、パケット欠落率がＹ％（所定の閾値）より大きいか否かを判定する。
【００６６】
そして、パケット欠落率がＹ％（所定の閾値）より大きい場合（ステップＳ１０４肯定）、誤り訂正方法決定部３４は、ＦＥＣパケットの挿入頻度を増加させる決定を行って、当該決定した挿入方式と挿入頻度を誤り訂正情報生成部３２に通知する（ステップＳ１０５）。
【００６７】
一方、パケット欠落率がＹ％（所定の閾値）より小さい場合（ステップＳ１０４否定）、誤り訂正方法決定部３４は、ＦＥＣパケットの挿入頻度を増加させることなく、当該決定した挿入方式を誤り訂正情報生成部３２に通知する。
【００６８】
ステップＳ１０１に戻り、欠落パケット復元率が１００％である場合（ステップＳ１０１肯定）、誤り訂正方法決定部３４は、連続欠落率がα％（所定の閾値）より小さいか否か（連続欠落率が十分に低いか否か）を判定する（ステップＳ１０６）。
【００６９】
そして、連続欠落率がα％（所定の閾値）より小さい（連続欠落率が十分に低い）場合（ステップＳ１０６肯定）、誤り訂正方法決定部３４は、ＦＥＣパケットの挿入および生成方式を「一次元ＦＥＣ方式」に決定するとともに（ステップＳ１０７）、符号化情報ＤＢ２１を参照して、パケット欠落率がβ％（所定の閾値）より小さいか否か（パケット欠落率が十分に低いか否か）を判定する（ステップＳ１０８）。
【００７０】
一方、連続欠落率がα％（所定の閾値）より大きい場合（ステップＳ１０６否定）、誤り訂正方法決定部３４は、パケット欠落率がβ％（所定の閾値）より小さいか否かを判定する。
【００７１】
そして、パケット欠落率がβ％（所定の閾値）より小さい場合（ステップＳ１０８肯定）、誤り訂正方法決定部３４は、ＦＥＣパケットの挿入頻度を減少させる決定を行って、当該決定した挿入方式と挿入頻度を誤り訂正情報生成部３２に通知する（ステップＳ１０９）。
【００７２】
一方、パケット欠落率がβ％（所定の閾値）より大きい場合（ステップＳ１０８否定）、誤り訂正方法決定部３４は、ＦＥＣパケットの挿入頻度を減少させることなく、当該決定した挿入方式を誤り訂正情報生成部３２に通知する。
【００７３】
［実施例１による効果］
このように、実施例１によれば、復号化装置に送信されたパケットの欠落パケット復元率、パケット連続欠落率、パケット欠落率を含むパケット欠落情報を復号化装置から受信し、受信されたパケット欠落情報に基づいて、欠落したパケットを復元させるために周期的に挿入する誤り訂正用の冗長なパケットであるＦＥＣパケットの挿入および生成方式を決定し、決定された誤り訂正用の冗長なパケットの挿入および生成方式に基づいて、誤り訂正用の冗長なパケットを生成して、復号化装置に送信されるパケットに挿入するので、ネットワークの状況に応じた適切なＦＥＣパケットの生成・挿入方式を選択することが可能である。
【実施例２】
【００７４】
ところで、実施例１では、復号化装置から受け付けたパケット欠落情報に応じて、ＦＥＣパケット挿入および生成方式を決定する場合について説明したが、本発明はこれに限定されるものではなく、送信されるパケットが復号画像へ及ぼす影響度をさらに考慮してＦＥＣパケット挿入および生成方式を決定するようにしてもよい。
【００７５】
そこで、実施例２では、復号化装置から受け付けたパケット欠落情報に加え、送信されるパケットが復号画像へ及ぼす影響度をさらに考慮してＦＥＣパケット挿入および生成方式を決定する場合について説明する。
【００７６】
具体的には、符号化処理部３１が入力されたデータの重要度を判定して、判定結果を誤り訂正方法決定部３４に通知する。そして、誤り訂正方法決定部３４は、通知された重要度と符号化情報ＤＢに記憶されるパケット欠落情報とから、ＦＥＣパケット挿入および生成方式を決定して誤り訂正情報生成部３２に通知する。通知された誤り訂正情報生成部３２は、通知されたＦＥＣパケット挿入および生成方式に基づいて、ＦＥＣパケットを生成・挿入してバッファ２２に格納する。その後、配信部１２は、バッファ２２からパケットを読み出して、復号化装置４０に送信する。
【００７７】
例えば、ＭＰＥＧやＨ.２６ｘで符号化されたデータを送信する場合は、最初にＩピクチャと呼ばれるそれだけで１枚の静止画像が復号可能なデータを送信し、それに続いてＰピクチャやＢピクチャと呼ばれる前画面を参照して差分だけを圧縮したデータが送信される。したがって、復号化装置４０（ストリーム受信側）では、まずＩピクチャを正しく受信して復号できなければ、それ以降も復号できず、次のＩピクチャを受信するまで受信データを読み捨てるか、復号エラーを頻発させながら映像を再生するしかない。更にＩ、Ｐ、Ｂピクチャで構成されたグループは、ＧＯＰ（Group  of  Picture）と呼ばれ、ＧＯＰヘッダというＧＯＰ再生に必要な情報が付与される。ＧＯＰヘッダを含むストリームが欠落した場合には、そのＧＯＰは全て復号不可能となり、次のＧＯＰを受信するまで復号を再開できない。これに対し、ＰピクチャやＢピクチャのパケットが欠落しても、次のＧＯＰ先頭までの時間が短いことや復号装置でのエラーコンシールメント機能（復号エラーによる映像劣化を目立たなくする従来技術）によって、再生された映像への影響が少ない。つまり、符号化装置１０では、映像の符号化ストリームにおいて復号した場合に、再生映像に及ぼす影響が大きいものと小さいものが符号化時点で特定できる。
【００７８】
そこで、図６に示すように、ＧＯＰヘッダやＩピクチャなどの影響度の高いデータが含まれる「Ｍ−１」〜「Ｍ−３」の３パケットで１つのＦＥＣパケットを生成して挿入し、これらの影響度が高いデータが含まれない「Ｍ−４」〜「Ｍ−８」の３パケットで１つのＦＥＣパケットを生成して挿入するなど、影響度に基づいて、ＦＥＣパケットの挿入および生成方式を決定することもできる。なお、図６は、影響度に応じてＦＥＣパケットの挿入および生成方式を決定する例を示す図である。
【００７９】
このように、実施例２によれば、送信されるパケットが復号画像へ及ぼす影響度を算出し、受信されたパケット欠落情報と、算出された影響度とに基づいて、ＦＥＣパケットの挿入および生成方式を決定するので、復号化装置におけるデータ復元率を向上させることが可能であるとともに、ネットワークの状況に応じた適切なＦＥＣパケットの生成・挿入方式を選択することが可能である。
【００８０】
例えば、ＧＯＰヘッダやＩピクチャのヘッダおよびデータなどの欠落した場合に影響が大きい部分についてはＦＥＣ生成頻度を高め、影響が小さい部分についてはＦＥＣ生成頻度を低くすることで、ストリーム全体の伝送レート上昇を抑えながら、再生映像の品質を保つことが可能である。
【実施例３】
【００８１】
ところで、実施例１では、復号化装置から受け付けたパケット欠落情報に応じて、ＦＥＣパケット挿入および生成方式を決定する場合について説明したが、本発明はこれに限定されるものではなく、パケット欠落情報の統計情報やネットワークの負荷情報を記憶しておき、これらの情報をさらに考慮してＦＥＣパケット挿入および生成方式を決定するようにしてもよい。
【００８２】
そこで、実施例３では、パケット欠落情報の統計情報やネットワークの負荷情報を記憶しておき、これらの情報さらに考慮してＦＥＣパケット挿入および生成方式を決定する場合について説明する。
【００８３】
［符号化装置の構成］
まず、図７を用いて、実施例３に係る符号化装置の構成について説明する。図７は、実施例３に係る符号化装置の構成を示すブロック図である。
【００８４】
図７に示すように、この符号化装置１０は、通信情報受信部１１と、配信部１２と、記憶部２０の符号化情報ＤＢ２１とバッファ２２とスケジュールＤＢ２３と、制御部３０の符号化処理部３１と誤り訂正情報生成部３２と解析部３３と誤り訂正方法決定部３４と統計処理部３５とスケジュール決定部３６とから構成される。このうち、通信情報受信部１１と、配信部１２と、記憶部２０のバッファ２２と、制御部３０の符号化処理部３１と誤り訂正情報生成部３２と解析部３３とは、実施例１の図２に示した通信情報受信部１１と、配信部１２と、記憶部２０のバッファ２２と、制御部３０の符号化処理部３１と誤り訂正情報生成部３２と解析部３３と同様の機能を有するので、詳細な説明は省略する。ここでは、実施例１とは異なる機能を有する記憶部２０の符号化情報ＤＢ２１と、スケジュールＤＢ２３と、制御部３０の誤り訂正方法決定部３４と、統計処理部３５と、スケジュール決定部３６とについて説明する。
【００８５】
記憶部２０の符号化情報ＤＢ２１は、受信されたパケット欠落情報と当該パケット欠落情報の統計情報を記憶する。具体的に例を挙げれば、符号化情報ＤＢ２１は、図８に示すように、『パケット欠落情報を受信した「日時」、パケット欠落情報を受信した「曜日」、欠落したパケットがどのくらい復元できたかを示す「欠落パケット復元率」、パケットが連続して欠落していた割合を示す「連続欠落率」、パケットが欠落していた割合を示す「パケット欠落率」、使用していたＦＥＣ挿入方式を示す「ＦＥＣ挿入方式」、使用していたＦＥＣパケットの挿入頻度を示す「ＦＥＣ挿入頻度」』として「2007年1月1日10:00〜11:00、月、９０％、１０％、２１％、二次元ＦＥＣ、４」などと記憶する。なお、図８は、符号化情報ＤＢに記憶される情報の例を示す図である。
【００８６】
スケジュールＤＢ２３は、日時に対応付けて、ネットワークの負荷情報を記憶する。具体的に例を挙げれば、スケジュールＤＢ２３は、図９に示すように、週間スケジュールテーブル２３ａと年間スケジュールテーブル２３ｂとを備える。なお、図９は、スケジュールＤＢに記憶される情報の例を示す図である。
【００８７】
週間スケジュールテーブル２３ａは、１週間のネットワークの負荷情報を記憶する。具体的に例を挙げれば、週間スケジュールテーブル２３ａは、１週間ごとの「曜日」に対応付けて「欠落情報」とその曜日に選択されたＦＥＣ挿入方式と挿入間隔とを示す「ＦＥＣ方式」を記憶し、例えば、「月、欠落パケット復元率１００％、連続欠落率３％、パケット欠落率７％、２次元、８パケット」などを記憶する。
【００８８】
年間スケジュールテーブル２３ｂは、１年間のネットワークの負荷情報を記憶する。具体的に例を挙げれば、年間スケジュールテーブル２３ｂは、１年の各「月」に対応付けて「欠落情報」とその月に選択されたＦＥＣ挿入方式と挿入間隔とを示す「ＦＥＣ方式」を記憶し、例えば、「１月、欠落パケット復元率８０％、連続欠落率５％、パケット欠落率２０％、一定周期、２パケット」などを記憶する。
【００８９】
制御部３０の誤り訂正方法決定部３４は、パケット欠落情報と、スケジュールＤＢ２３により保持される送信日時の負荷情報とに基づいて、誤り訂正用の冗長なパケットであるＦＥＣパケットの挿入および生成方式を決定する。具体的に例を挙げれば、誤り訂正方法決定部３４は、後述するスケジュール決定部３６により通知されたＦＥＣ生成方法とＦＥＣ挿入間隔と、統計情報処理部３５から通知された現在使用されているＦＥＣ生成方法とＦＥＣ挿入間隔とから、よりパケット欠落を防止し、欠落したパケットを復元することのできる安全なＦＥＣ生成方法とＦＥＣ挿入間隔を決定し、誤り訂正情報生成部３２に送信する。
【００９０】
例えば、誤り訂正方法決定部３４は、統計処理部３５から「欠落パケット復元率９０％、連続欠落率１０％、パケット欠落率２１％、ＦＥＣ生成挿入方式＝二次元ＦＥＣ、４パケット」が通知され、スケジュール決定部３６から「パケット復元率１００％、連続欠落率３％、パケット欠落率７％、ＦＥＣ生成挿入方式＝２次元、８パケット」が通知された場合、「パケット復元率が高く、連続欠落率とパケット欠落率とがともに低い」統計処理部３５から通知された方式がより安全であると判定して、ＦＥＣ生成挿入方式を「二次元ＦＥＣ（生成方式）、８パケット（挿入間隔）」と決定して誤り訂正情報生成部３２に送信する。
【００９１】
統計処理部３５は、一定時間におけるパケット欠落情報と最終的なＦＥＣ挿入方式、頻度などの統計をとり、結果をスケジュールＤＢ２３に格納する。具体的には、統計処理部３５は、解析部３３により符号化情報ＤＢ２１に格納されたパケット欠落情報と使用されたＦＥＣ生成・挿入方式とから、週間・年間のパケット統計情報および使用されたＦＥＣ生成・挿入方式を算出・検出してスケジュールＤＢ２３に格納する。そして、統計処理部３５は、現在使用されているＦＥＣ生成方法とＦＥＣ挿入間隔とを誤り訂正方法決定部３４に通知する。
【００９２】
スケジュール決定部３６は、スケジュールＤＢ２３に記憶される週間スケジュールテーブル２３ａと年間スケジュールテーブル２３ｂとから、その時に対応する日時・曜日の情報を取得して、最適なＦＥＣ生成方法とＦＥＣ挿入間隔とを誤り訂正方法決定部３４に通知する。具体的に「１月の月曜日」を例にして説明すると、スケジュール決定部３６は、週間スケジュールテーブル２３ａに「月、パケット復元率１００％、連続欠落率３％、パケット欠落率７％、２次元、８パケット」と記憶され、年間スケジュールテーブル２３ｂに「１月、欠落パケット復元率８０％、連続欠落率５％、パケット欠落率２０％、一定周期、２パケット」と記憶されており、両者を比較すると、「パケット復元率が高く、連続欠落率とパケット欠落率とがともに低い」週間スケジュールテーブル２３ａをより安全であると判定して、ＦＥＣ生成方法とＦＥＣ挿入間隔として「パケット復元率１００％、連続欠落率３％、パケット欠落率７％、２次元、８パケット」を誤り訂正方法決定部３４に通知する。
【００９３】
［実施例３による効果］
このように、実施例３によれば、受信されたパケット欠落情報から、パケット欠落情報の統計情報を保持し、受信されたパケット欠落情報と、保持される統計情報とに基づいて、ＦＥＣパケットの挿入および生成方式を決定するので、パケット欠落を防止することができる安全な挿入・生成方式を選択することが可能である。
【００９４】
また、実施例３によれば、日時に対応付けて、ネットワークの負荷情報を記憶し、受信されたパケット欠落情報と、記憶される送信日時の負荷情報とに基づいて、ＦＥＣパケットの挿入および生成方式を決定するので、現在のＦＥＣ生成方法、ＦＥＣ挿入頻度の調整を行うとともに、過去の制御記録に基づいて実際のパケット欠落が発生する前にＦＥＣ生成方法と挿入間隔を変更することで、高い欠落パケット復元率を維持することが可能である。
【００９５】
また、通信中もＦＥＣ生成方法、ＦＥＣ挿入頻度の調整を続けながら最新情報にて統計情報を更新することで、ネットワークインフラの改善などの環境変化にも追従することが可能である。
【００９６】
また、全ての情報よりも優先して選択されるべき優先情報をスケジュールＤＢ２３に記憶しておくこともできる。例えば、スケジュールＤＢ２３は、図１０に示すように、週間スケジュールテーブル２３ａと年間スケジュールテーブル２３ｂとに加え、さらに、優先スケジュールテーブル２３ｃを記憶してもよい。優先スケジュールテーブル２３ｃは、『優先的に実行する日時を示す「日時」、優先日に実行される処理内容を示す「内容」、優先的に実行されるＦＥＣ生成・挿入方式を示す「ＦＥＣ方式」』として「2007年2月1日、チケット予約、２次元、４パケット」などを記憶する。なお、図１０は、優先スケジュールを含むスケジュールＤＢに記憶される情報の例を示す図である。
【００９７】
そして、スケジュール決定部３６は、スケジュールＤＢ２３を参照して優先スケジュールがある場合には、その「ＦＥＣ方式」と優先スケジュールである旨を誤り訂正方法決定部３４に通知する。すると、誤り訂正方法決定部３４は、統計処理部３５から通知されたＦＥＣ生成挿入方式を考慮することなく、スケジュール決定部３６により通知された優先スケジュールに従って「ＦＥＣ方式」を決定して誤り訂正情報生成部３２に送信する。
【００９８】
このようにすることで、ネットワーク負荷の高い日時を事前に把握して、ＦＥＣ生成挿入方式を事前に変更することができる結果、ネットワーク負荷軽減を実施することが可能である。
【実施例４】
【００９９】
ところで、本発明は、符号化情報（パケット欠落情報）を記録するためのサーバ装置をネットワーク上に配置し、符号化装置がＦＥＣ生成方法、挿入間隔を決定する際に、サーバ装置から過去の通信情報を取得することで、符号化装置増設など自装置内に学習結果が無い場合にも同様の効果が期待できる。
【０１００】
図１１は、ネットワーク上に学習結果記録サーバを設置した映像配信システムである。符号化装置は、上記した実施例１〜３のように過去の通信情報や現在のパケット欠落情報からＦＥＣ生成方法や挿入頻度を最適に保っている。
【０１０１】
符号化装置１は、自装置内部の符号化情報ＤＢやスケジュールＤＢに制御結果（日時、宛先、最適化されたＦＥＣ生成方法や挿入頻度）を定期的に記録するが、それと同時にサーバ装置に対しても一定周期に制御結果を送信し、サーバ装置は、符号化装置から受け取った制御結果をサーバ装置内の記録装置に記録する。つまり、符号化装置１と同様のパケット欠落情報を保持することができ、この情報に基づいて、その日時に対応したＦＥＣ生成・挿入方法を予測することもできる。
【０１０２】
このような状態において、符号化装置２を新規に増設した場合、符号化装置２内部の符号化情報ＤＢやスケジュールＤＢには有効なデータが存在しないため、サーバ装置に対して現在の日時や宛先情報（宛先ＩＰアドレス）を送信する。そして、サーバ装置は、符号化装置２から受け取った情報を使って過去のデータを検索し、現在最適であると特定した（予測した）ＦＥＣ挿入情報を符号化装置２に返信する。
【０１０３】
このようにすることで、新たに追加した符号化装置２であっても、サーバ装置から受け取った情報を使ってＦＥＣ生成方法や挿入頻度を即座に最適化できる。
【実施例５】
【０１０４】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、（１）システム構成等、（２）プログラム、にそれぞれ区分けして異なる実施例を説明する。
【０１０５】
（１）システム構成等
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合（例えば、解析部３３と誤り訂正方法決定部３４とを統合するなど）して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１０６】
また、この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報（例えば、図３、図８、図９など）については、特記する場合を除いて任意に変更することができる。
【０１０７】
（２）プログラム
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムを他の実施例として説明する。
【０１０８】
図１２は、符号化プログラムを実行するコンピュータシステムの例を示す図である。図１２に示すように、コンピュータシステム１００は、ＲＡＭ１０１と、ＨＤＤ１０２と、ＲＯＭ１０３と、ＣＰＵ１０４とから構成される。ここで、ＲＯＭ１０３には、上記の実施例と同様の機能を発揮するプログラム、つまり、図１２に示すように、欠落情報受信プログラム１０３ａと、挿入生成決定プログラム１０３ｂと、誤り訂正用パケット生成挿入プログラム１０３ｃと、影響度算出プログラム１０３ｄとがあらかじめ記憶されている。
【０１０９】
そして、ＣＰＵ１０４には、これらのプログラム１０３ａ〜１０３ｄを読み出して実行することで、図１２に示すように、欠落情報受信プロセス１０４ａと、挿入生成決定プロセス１０４ｂと、誤り訂正用パケット生成挿入プロセス１０４ｃと、影響度算出プロセス１０４ｄとなる。なお、欠落情報受信プロセス１０４ａは、図２に示した、通信情報受信部１１に対応し、同様に、挿入生成決定プロセス１０４ｂは、誤り訂正方法決定部３４に対応し、誤り訂正用パケット生成挿入プロセス１０４ｃは、誤り訂正情報生成部３２に対応し、影響度算出プロセス１０４ｄは、符号化処理部３１と誤り訂正方法決定部３４とに対応する。
【０１１０】
また、ＨＤＤ１０２には、受信されたパケット欠落情報を記憶する符号化情報テーブル１０２ａと、受信されたパケット欠落情報から、パケット欠落情報の統計情報を保持する統計情報保持テーブル１０２ｂと、日時に対応付けてネットワークの負荷情報を記憶するスケジュールテーブル１０２ｃとが設けられる。なお、符号化情報テーブル１０２ａと統計情報保持テーブル１０２ｂとは、図２または図７に示した、符号化情報ＤＢ２１に対応し、同様に、スケジュールテーブル１０２ｃは、図７に示したスケジュールＤＢ２３に対応する。
【０１１１】
ところで、上記したプログラム１０３ａ〜１０３ｄは、必ずしもＲＯＭ１０３に記憶させておく必要はなく、例えば、コンピュータシステム１００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」の他に、コンピュータシステム１００の内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらに、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータシステム１００に接続される「他のコンピュータシステム」に記憶させておき、コンピュータシステム１００がこれらからプログラムを読み出して実行するようにしてもよい。
【０１１２】
（付記１）画像や音声データを圧縮復号化した符号化データを復号して元のデータを生成する復号化装置とネットワークで接続され、前記符号化データのビット列をパケットとして前記復号化装置に送信する符号化装置であって、
前記復号化装置に送信されたパケットの欠落パケット復元率、パケット連続欠落率、パケット欠落率を含むパケット欠落情報を復号化装置から受信する欠落情報受信手段と、
前記欠落情報受信手段により受信されたパケット欠落情報に基づいて、欠落したパケットを復元させるために周期的に挿入する誤り訂正用の冗長なパケットの挿入および生成方式を決定する挿入生成決定手段と、
前記挿入生成決定手段により決定された誤り訂正用の冗長なパケットの挿入および生成方式に基づいて、前記誤り訂正用の冗長なパケットを生成して、前記復号化装置に送信されるパケットに挿入する誤り訂正用パケット生成挿入手段と、
を備えたことを特徴とする符号化装置。
【０１１３】
（付記２）前記送信されるパケットが復号画像へ及ぼす影響度を算出する影響度算出手段をさらに備え、
前記挿入生成決定手段は、前記欠落情報受信手段により受信されたパケット欠落情報と、前記影響度算出手段により算出された影響度とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする付記１に記載の符号化装置。
【０１１４】
（付記３）前記欠落情報受信手段により受信されたパケット欠落情報から、パケット欠落情報の統計情報を保持する統計情報保持手段をさらに備え、
前記挿入生成決定手段は、前記欠落情報受信手段により受信されたパケット欠落情報と、前記統計情報保持手段により保持される統計情報とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする付記１に記載の符号化装置。
【０１１５】
（付記４）前記欠落情報受信手段により受信されたパケット欠落情報を受け付けて、前記ネットワークの品質を予測する品質学習装置が、前記ネットワークにさらに接続され、
前記挿入生成決定手段は、前記品質学習装置により予測されたネットワーク品質を取得して、前記誤り訂正用の冗長なパケットの挿入および生成方式を事前に決定することを特徴とする付記１に記載の符号化装置。
【０１１６】
（付記５）日時に対応付けて、前記ネットワークの負荷情報を記憶するスケジュール記憶手段をさらに備え、
前記挿入生成決定手段は、前記欠落情報受信手段により受信されたパケット欠落情報と、前記スケジュール記憶手段により保持される送信日時の負荷情報とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする付記１に記載の符号化装置。
【０１１７】
（付記６）画像や音声データを圧縮復号化した符号化データを復号して元のデータを生成する復号化装置とネットワークで接続され、前記符号化データのビット列をパケットとして前記復号化装置に送信することに適した符号化方法であって、
前記復号化装置に送信されたパケットの欠落パケット復元率、パケット連続欠落率、パケット欠落率を含むパケット欠落情報を復号化装置から受信する欠落情報受信工程と、
前記欠落情報受信工程により受信されたパケット欠落情報に基づいて、欠落したパケットを復元させるために周期的に挿入する誤り訂正用の冗長なパケットの挿入および生成方式を決定する挿入生成決定工程と、
前記挿入生成決定工程により決定された誤り訂正用の冗長なパケットの挿入および生成方式に基づいて、前記誤り訂正用の冗長なパケットを生成して、前記復号化装置に送信されるパケットに挿入する誤り訂正用パケット生成挿入工程と、
を含んだことを特徴とする符号化方法。
【０１１８】
（付記７）前記送信されるパケットが復号画像へ及ぼす影響度を算出する影響度算出工程をさらに含み、
前記挿入生成決定工程は、前記欠落情報受信工程により受信されたパケット欠落情報と、前記影響度算出工程により算出された影響度とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする付記６に記載の符号化方法。
【０１１９】
（付記８）前記欠落情報受信工程により受信されたパケット欠落情報から、パケット欠落情報の統計情報を保持する統計情報保持手段をさらに備え、
前記挿入生成決定工程は、前記欠落情報受信工程により受信されたパケット欠落情報と、前記統計情報保持手段により保持される統計情報とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする付記６に記載の符号化方法。
【０１２０】
（付記９）前記欠落情報受信工程により受信されたパケット欠落情報を受け付けて、前記ネットワークの品質に対応した誤り訂正用の冗長なパケットの挿入および生成方式を決定する品質学習装置が、前記ネットワークにさらに接続され、
前記挿入生成決定工程は、前記品質学習装置により決定された前記誤り訂正用の冗長なパケットの挿入および生成方式を事前に決定することを特徴とする付記６に記載の符号化方法。
【０１２１】
（付記１０）日時に対応付けて、前記ネットワークの負荷情報を記憶するスケジュール記憶手段をさらに備え、
前記挿入生成決定工程は、前記欠落情報受信工程により受信されたパケット欠落情報と、前記スケジュール記憶手段により保持される送信日時の負荷情報とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする付記６に記載の符号化方法。
【０１２２】
（付記１１）画像や音声データを圧縮復号化した符号化データを復号して元のデータを生成する復号化装置とネットワークで接続され、前記符号化データのビット列をパケットとして前記復号化装置に送信することをコンピュータに実行させる符号化プログラムであって、
前記復号化装置に送信されたパケットの欠落パケット復元率、パケット連続欠落率、パケット欠落率を含むパケット欠落情報を復号化装置から受信する欠落情報受信手順と、
前記欠落情報受信手順により受信されたパケット欠落情報に基づいて、欠落したパケットを復元させるために周期的に挿入する誤り訂正用の冗長なパケットの挿入および生成方式を決定する挿入生成決定手順と、
前記挿入生成決定手順により決定された誤り訂正用の冗長なパケットの挿入および生成方式に基づいて、前記誤り訂正用の冗長なパケットを生成して、前記復号化装置に送信されるパケットに挿入する誤り訂正用パケット生成挿入手順と、
を含んだことを特徴とする符号化プログラム。
【０１２３】
（付記１２）前記送信されるパケットが復号画像へ及ぼす影響度を算出する影響度算出手順をさらにコンピュータに実行し、
前記挿入生成決定手順は、前記欠落情報受信手順により受信されたパケット欠落情報と、前記影響度算出手順により算出された影響度とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする付記１１に記載の符号化プログラム。
【０１２４】
（付記１３）前記欠落情報受信手順により受信されたパケット欠落情報から、パケット欠落情報の統計情報を保持する統計情報保持手段をさらに備え、
前記挿入生成決定手順は、前記欠落情報受信手順により受信されたパケット欠落情報と、前記統計情報保持手段により保持される統計情報とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする付記１１に記載の符号化プログラム。
【０１２５】
（付記１４）前記欠落情報受信手順により受信されたパケット欠落情報を受け付けて、前記ネットワークの品質に対応した誤り訂正用の冗長なパケットの挿入および生成方式を決定する品質学習装置が、前記ネットワークにさらに接続され、
前記挿入生成決定手順は、前記品質学習装置により決定された前記誤り訂正用の冗長なパケットの挿入および生成方式を事前に決定することを特徴とする付記１１に記載の符号化プログラム。
【０１２６】
（付記１５）日時に対応付けて、前記ネットワークの負荷情報を記憶するスケジュール記憶手段をさらに備え、
前記挿入生成決定手順は、前記欠落情報受信手順により受信されたパケット欠落情報と、前記スケジュール記憶手段により保持される送信日時の負荷情報とに基づいて、前記誤り訂正用の冗長なパケットの挿入および生成方式を決定することを特徴とする付記１１に記載の符号化プログラム。
【産業上の利用可能性】
【０１２７】
以上のように、本発明に係る符号化装置は、画像や音声データを圧縮復号化した符号化データを復号して元のデータを生成する復号化装置とネットワークで接続され、前記符号化データのビット列をパケットとして復号化装置に送信することに有用であり、特に、ネットワークの状況に応じた適切なＦＥＣパケットの生成・挿入方式を選択することに適する。
【図面の簡単な説明】
【０１２８】
【図１】実施例１に係る復号化装置を含むシステムの全体構成を示す図である。
【図２】実施例１に係る符号化装置の構成を示すブロック図である。
【図３】符号化情報ＤＢに記憶される情報の例を示す図である。
【図４】実施例１に係る復号化装置の構成を示すブロック図である。
【図５】実施例１に係る符号化装置におけるパケット送信方式決定処理の流れを示すフローチャートである。
【図６】影響度に応じてＦＥＣパケットの挿入および生成方式を決定する例を示す図である。
【図７】実施例３に係る符号化装置の構成を示すブロック図である。
【図８】符号化情報ＤＢに記憶される情報の例を示す図である。
【図９】スケジュールＤＢに記憶される情報の例を示す図である。
【図１０】優先スケジュールを含むスケジュールＤＢに記憶される情報の例を示す図である。
【図１１】ネットワーク上に学習結果記録サーバを設置した映像配信システムである。
【図１２】符号化プログラムを実行するコンピュータシステムの例を示す図である。
【図１３】従来技術を説明するための図である。
【図１４】メディアパケット１０個に対して、常に１個のＦＥＣパケットを送信する例の概念図である。
【図１５】一定周期でＦＥＣを挿入する方式を説明するための図である。
【図１６】一定周期で生成するが、２つのＦＥＣグループ間で交互に送信する方式を説明するための図である。
【図１７】二次元のＦＥＣ挿入方式を説明するための図である。
【符号の説明】
【０１２９】
１０  符号化装置
１１  通信情報受信部
１２  配信部
２０  記憶部
２１  符号化情報ＤＢ
２２  バッファ
２３  スケジュールＤＢ
２３ａ  週間スケジュールテーブル
２３ｂ  年間スケジュールテーブル
２３ｃ  優先スケジュールテーブル
３０  制御部
３１  符号化処理部
３２  誤り訂正情報生成部
３３  解析部
３４  誤り訂正方法決定部
４０  復号化装置
４１  通信情報収集部
４２  通信情報送信部
４３  バッファ
５０  制御部
５１  誤り訂正処理部
５２  復号化処理部
１００  コンピュータシステム
１０１  ＲＡＭ
１０２  ＨＤＤ
１０２ａ  符号化情報テーブル
１０２ｂ  統計情報保持テーブル
１０２ｃ  スケジュールテーブル
１０３  ＲＯＭ
１０３ａ  欠落情報受信プログラム
１０３ｂ  挿入生成決定プログラム
１０３ｃ  誤り訂正用パケット生成挿入プログラム
１０３ｄ  影響度算出プログラム
１０４  ＣＰＵ
１０４ａ  欠落情報受信プロセス
１０４ｂ  挿入生成決定プロセス
１０４ｃ  誤り訂正用パケット生成挿入プロセス
１０４ｄ  影響度算出プロセス
【図１】
0005141197.tif 000002
【図２】
0005141197.tif 000003
【図３】
0005141197.tif 000004
【図４】
0005141197.tif 000005
【図５】
0005141197.tif 000006
【図６】
0005141197.tif 000007
【図７】
0005141197.tif 000008
【図８】
0005141197.tif 000009
【図９】
0005141197.tif 000010
【図１０】
0005141197.tif 000011
【図１１】
0005141197.tif 000012
【図１２】
0005141197.tif 000013
【図１３】
0005141197.tif 000014
【図１４】
0005141197.tif 000015
【図１５】
0005141197.tif 000016
【図１６】
0005141197.tif 000017
【図１７】
0005141197.tif 000018