(57)【特許請求の範囲】
【請求項１】
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置と、前記符号化データを受信して復号化する動画像復号化装置とを備える動画像伝送システムであって、
前記複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化し、
前記動画像復号化装置は、正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する動画像伝送システム。
【請求項２】
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置と、前記符号化データを受信して復号化する動画像復号化装置とを備える動画像伝送システムであって、
前記複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化するとともに、等しいフレーム分割に従って、前記動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信し、
前記動画像復号化装置は、正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する動画像伝送システム。
【請求項３】
前記複数の符号化手段は、
フレーム間予測の差分に２次元離散コサイン変換と量子化を施して、符号化データ量を削減する符号化手段であって、
前記量子化における量子化ステップサイズを制御することにより、他の符号化手段と異なる圧縮率の符号化データを生成する、
請求項１または２に記載の動画像伝送システム。
【請求項４】
前記複数の符号化手段は、
フレーム間予測の差分に２次元離散コサイン変換と量子化を施して、高次の量子化係数を０に打ち切ることによって、符号化データ量を削減する符号化手段であって、
０に打ち切る量子化係数の個数を制御することにより、他の符号化手段と異なる圧縮率の符号化データを生成する、
請求項１または２に記載の動画像伝送システム。
【請求項５】
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置から、前記符号化データを受信して復号化する動画像復号化装置であって、
前記複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化し、
正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する動画像復号化装置。
【請求項６】
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置から、前記符号化データを受信して復号化する動画像復号化装置であって、
前記複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化するとともに、等しいフレーム分割に従って、前記動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信し、
正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する動画像復号化装置。
【請求項７】
動画像符号化装置に、入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する処理を実行させ、動画像復号化装置に、前記符号化データを受信して復号化する処理を実行させるための動画像伝送プログラムであって、
前記動画像符号化装置に、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化する処理を実行させ、
前記動画像復号化装置に、正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する処理を実行させるための動画像伝送プログラム。
【請求項８】
動画像符号化装置に、入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する処理を実行させ、動画像復号化装置に、前記符号化データを受信して復号化する処理を実行させるための動画像伝送プログラムであって、
前記動画像符号化装置に、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化する処理とともに、等しいフレーム分割に従って、前記動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信する処理を実行させ、
前記動画像復号化装置に、正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する処理を実行させるための動画像伝送プログラム。
【請求項９】
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段による動画像符号化ステップと、前記符号化データを受信して復号化する動画像復号化ステップとを有する動画像伝送方法であって、
前記複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化し、
前記動画像復号化ステップは、正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する動画像伝送方法。
【請求項１０】
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段による動画像符号化ステップと、前記符号化データを受信して復号化する動画像復号化ステップとを有する動画像伝送方法であって、
前記動画像符号化ステップでは、前記複数の符号化手段を用いて、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化するとともに、等しいフレーム分割に従って、前記動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信し、
前記動画像復号化ステップでは、正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する動画像伝送方法。
【発明の詳細な説明】
【０００１】
【技術分野】
本発明は、動画像データを符号化して送信し、送信された符号化データを受信して復号化する動画像伝送システムに関し、特に、符号化データの伝送誤りにより生じる復号画像の乱れを極力抑えることを可能にする動画像伝送システム、動画像符号化装置、動画像復号化装置、及び動画像伝送プログラムに関する。
【０００２】
【背景技術】
近年、動画像データを効率良く伝送する方法として、フレーム間予測に基づく高能率圧縮符号化を行って伝送する方法が多く用いられており、このような動画像圧縮符号化方式の代表例としては、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等がある。
【０００３】
これらの方式では、時間的に前後のフレームから動き補償などの手法により+符号化画像を予測して、得られたフレーム間予測パラメータと予測残差画像データを符号化することで、時間方向の相関が高い動画像データの情報量を削減するものである。さらに、予測残差画像データを変換符号化や量子化により効率良く圧縮することで、少ない伝送帯域で画質の良い動画像データ伝送を可能としている。
【０００４】
しかしながら、従来の動画像データ伝送方法においては、誤り訂正符号を用いても復元不可能な長いバースト性をもった伝送データの誤りや伝送パケットの欠落が発生すると、受信側では誤りや欠落が発生したフレームの画像データを正しく復号化できないという問題があった。
【０００５】
また、このような問題に対する受信側における対策としては、正しくデコードできた時間的に前後のフレームの画像や同一フレーム内の周囲の画像データから、誤りをなるべく目立たなくするような画像データを生成するエラーコンシールメント手法が用いられているが、復号化画像の乱れを除去することは不可能である。さらに、この手法ではフレーム間予測を利用しているため、一度発生した画像の乱れが後続フレームにも伝搬してしまうという問題もある。
【０００６】
【発明の開示】
本発明は上記の事情を考慮してなされたものであり、その第１の目的は、符号化データの伝送誤りにより生じる受信側における復号画像の乱れを極力抑えることを可能にする動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法を提供することにある。
【０００７】
また、本発明の第２の目的は、必要な伝送帯域の増大を小さく抑えながら第１の目的を達成する動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法を提供することにある。
【０００８】
本発明の第３の目的は、圧縮符号化データの復号化に要する演算量の増大を防ぎながら第１の目的を達成する動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法を提供することにある。
【０００９】
上記目的を達成するため、本発明の動画像伝送システムは、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置と、符号化データを受信して復号化する動画像復号化装置とを備える動画像伝送システムであって、複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化し、動画像復号化装置は、正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する。
【００１０】
上記目的を達成するため、本発明の動画像伝送システムは、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置と、符号化データを受信して復号化する動画像復号化装置とを備える動画像伝送システムであって、複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化するとともに、等しいフレーム分割に従って、動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信し、動画像復号化装置は、正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する。
【００１１】
また、複数の符号化手段は、フレーム間予測の差分に２次元離散コサイン変換と量子化を施して、符号化データ量を削減する符号化手段であって、量子化における量子化ステップサイズを制御することにより、他の符号化手段と異なる圧縮率の符号化データを生成してもよい。
【００１２】
また、複数の符号化手段は、フレーム間予測の差分に２次元離散コサイン変換と量子化を施して、高次の量子化係数を０に打ち切ることによって、符号化データ量を削減する符号化手段であって、０に打ち切る量子化係数の個数を制御することにより、他の符号化手段と異なる圧縮率の符号化データを生成してもよい。
【００１３】
上記目的を達成するため、本発明の動画像符号化装置は、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを動画像復号化装置に送信する複数の符号化手段を有する動画像符号化装置であって、複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化する。
【００１４】
上記目的を達成するため、本発明の動画像符号化装置は、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを動画像復号化装置に送信する複数の符号化手段を有する動画像符号化装置であって、複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化するとともに、等しいフレーム分割に従って、動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信する。
【００１５】
上記目的を達成するため、本発明の動画像復号化装置は、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置から、符号化データを受信して復号化する動画像復号化装置であって、複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化し、正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する。
【００１６】
上記目的を達成するため、本発明の動画像復号化装置は、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置から、符号化データを受信して復号化する動画像復号化装置であって、複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化するとともに、等しいフレーム分割に従って、前記動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信し、正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する。
【００１７】
上記目的を達成するため、本発明の動画像伝送プログラムは、
動画像符号化装置に、入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する処理を実行させ、動画像復号化装置に、符号化データを受信して復号化する処理を実行させるための動画像伝送プログラムであって、動画像符号化装置に、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化する処理を実行させ、動画像復号化装置に、正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する処理を実行させるための動画像伝送プログラムである。
【００１８】
上記目的を達成するため、本発明の動画像伝送プログラムは、
動画像符号化装置に、入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する処理を実行させ、動画像復号化装置に、符号化データを受信して復号化する処理を実行させるための動画像伝送プログラムであって、動画像符号化装置に、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化する処理とともに、等しいフレーム分割に従って、動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信する処理を実行させ、動画像復号化装置に、正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する処理を実行させるための動画像伝送プログラムである。
【００１９】
上記目的を達成するため、本発明の動画像伝送方法は、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段による動画像符号化ステップと、符号化データを受信して復号化する動画像復号化ステップとを有する動画像伝送方法であって、複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化し、動画像復号化ステップは、正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する。
【００２０】
上記目的を達成するため、本発明の動画像伝送方法は、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段による動画像符号化ステップと、符号化データを受信して復号化する動画像復号化ステップとを有する動画像伝送方法であって、前記動画像符号化ステップでは、前記複数の符号化手段を用いて、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化するとともに、等しいフレーム分割に従って、動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信し、動画像復号化ステップでは、正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する。
【００２１】
以上説明したように、本発明によれば、動画像データを複数の圧縮率の異なる符号化データに圧縮符号化して送信し、正常に受信できた符号化データの中から最も圧縮率が低く画質の良い符号化データをフレームまたはパケット単位で選択して復号化するため、バースト性の高い伝送誤りやパケットロスが発生する信頼性の低い伝送路を用いた場合でも、複数の符号化データ全てが誤って伝送される確率を小さく抑えることができ、復号化画像に著しい乱れが生じるのを防ぐことが可能となる。
【００２２】
さらに、本発明によれば、送信側は同一のフレームまたは同一画像領域を含む
符号化データを生成し、受信側は受信した複数の符号化データの中からフレームまたはパケット単位で選択して復号化するため、受信側は同一フレームまたは同一画像領域の復号化のために、受信した複数の符号化データを復号化する必要がなく、受信側が要する演算量の増大を抑えることが可能である。
【００２３】
【発明を実施するための最良の形態】
以下、本発明の好適な実施の形態について図面を参照して詳細に説明する。
（第１の実施の形態）
本発明の第１の実施の形態による動画像伝送システムについて図面を参照して詳細に説明する。図１に、第１の実施の形態による動画像伝送システムの全体構成を示す。
【００２４】
図１に示すように、本実施の形態による動画像伝送システムは、動画像データの符号化を行なう動画像符号化装置１００と、動画像復号化装置２００及び動画像データの動画像符号化装置１００から動画像復号化装置２００に対して符号化データを伝送するための伝送路３００から構成される。図１において、Ｎは２以上の整数であり、動画像符号化装置１００が送信する符号化データの個数を表す。
【００２５】
動画像符号化装置１００は、動画像データをフレーム単位で入力し、入力された動画像データをＮ個の符号化データに符号化し、第１から第Ｎの動画像符号化パケットデータとして伝送路３００に送信する。
【００２６】
この動画像符号化装置１００は、図１に示すように、第１から第ＮのＮ個の動画像符号化送信部１０１−１〜１０１−Ｎを備える。第１の動画像符号化送信部１０１−１は、動画像符号化装置１００に入力された動画像データのフレームに対しフレーム間予測により所定の圧縮符号化を行って、得られた符号化データを動画像復号化装置２００へ送信する。
【００２７】
第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎは、第１の動画像符号化送信部１０１−１で符号化されたフレームを、第１の動画像符号化送信部１０１−１によるフレーム間予測で利用した参照フレームと同じ時刻に位置する一つまたは複数のフレームを参照したフレーム間予測により、第１の動画像符号化送信部１０１−１よりも高い圧縮率で符号化し、得られた符号化データを動画像復号化装置２００へ送信する。
【００２８】
上記のように、第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎによる、フレームの符号化における圧縮率は、第１の動画像符号化送信部１０１−１のそれよりも高く設定する。また、第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎのそれぞれの圧縮率は、互いに異なっていてもよいし、同じであってもよい。
【００２９】
動画像復号化装置２００は、動画像符号化装置１００から送信されたＮ個の符号化データを受信し復号化することにより動画像データを得る。この動画像復号化装置２００は、図１に示すように、動画像符号化装置１００の備える第１から第Ｎの動画像符号化送信部１０１−１〜１０１−Ｎにより送信された符号化データを受信する第１から第Ｎの符号化データ受信部２０１−１〜２０１−Ｎと、符号化データ再構成部２０２と、動画像データ復号化部２０３とを備える。
【００３０】
符号化データ再構成部２０２は、第１から第Ｎの符号化データ受信部２０１−１〜２０１−Ｎにおいて伝送誤りも欠落もなく受信された最大Ｎ個の符号化データの中から、圧縮率が最も低い１つの符号化データを復号化する符号化データとして選択する。
【００３１】
動画像データ復号化部２０３は、符号化データ再構成部２０２から出力された符号化データを復号化し、動画像データを得る。
【００３２】
動画像符号化装置１００の動画像符号化送信部の詳細な構成を図２に示す。図２においては、簡単のため、装置が出力する符号化データの個数Ｎを「２」として示している。
【００３３】
図２の第１の動画像符号化送信部１０１−１において、１１１−１は入力された動画像データのフレームを符号化順に並び替える第１のフレーム走査部、１１２−１は第１の参照フレーム格納メモリ１１９−１に格納された１つまたは複数の復号画像から、第１のフレーム走査部１１１−１より入力された画像へのフレーム間予測を行う第１のフレーム間予測部、１１３−１は入力されたフレーム画像から、第１のフレーム間予測部１１２−１で得られた予測画像を減算することで予測残差を算出する第１の予測残差算出部、１１４−１は第１の予測残差算出部１１３−１で得られた予測残差画像を所定の方法で圧縮符号化する第１の予測残差圧縮符号化部、１１５−１は第１のフレーム間予測部１１２−１で得られたフレーム間予測パラメータと第１の予測残差圧縮符号化部１１４−１で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する第１の符号化パケット生成部である。
【００３４】
１１６−１は、第１の符号化パケット生成部１１５−１が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する第１のパケット誤り検出符号・フレーム／パケット識別番号付加部、１１７−１は第１の予測残差圧縮符号化部１１４−１で符号化された予測残差の復号化データを求める第１の予測残差復号化部、１１８−１は第１のフレーム間予測部１１２−１で生成された予測画像と第１の予測残差復号化部１１７−１で復号化された予測残差の和により復号化画像を求める第１の復号化画像算出部、１１９−１は次のフレームの符号化に備え復号化画像を格納する第１の参照フレーム格納メモリである。
【００３５】
本実施の形態における第１の動画像符号化送信部１０１−１は、以上の各処理部により動作する。
【００３６】
図２の第２の動画像符号化送信部１０１−２において、１１１−２は入力された動画像フレームを符号化順に並び替える第２のフレーム走査部、１１２−２は第２の２の参照フレーム格納メモリ１１９−２に格納された１つまたは複数の復号画像から、第２のフレーム走査部１１１−２より入力された画像へのフレーム間予測を行う第２のフレーム間予測部、１１３−２は入力フレーム画像から、第２のフレーム走査部１１２−２で得られた予測画像を減算することで予測残差を算出する第２の予測残差算出部、１１４−２は第２の予測残差算出部１１３−２で得られた予測残差画像を所定の方法で圧縮符号化する第２の予測残差圧縮符号化部、１１５−２は第２のフレーム間予測部１１２−２で得られたフレーム間予測パラメータと第２の予測残差圧縮符号化部１１４−２で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する第２の符号化パケット生成部である。１１６−２は、第２の符号化パケット生成部１１５−２が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する第２のパケット誤り検出符号・フレーム／パケット識別番号付加部である。１１７−２は第２の予測残差圧縮符号化部１１４−２で符号化された予測残差の復号化データを求める第２の予測残差復号化部である。１１８−２は第２のフレーム間予測部１１２−２で生成された予測画像と第２の予測残差復号化部１１７−２で復号化された予測残差の和により復号化画像を求める第２の復号化画像算出部である。１１９−２は次のフレームの符号化に備え復号化画像を格納する第２の参照フレーム格納メモリである。
【００３７】
本実施の形態における第２の動画像符号化送信部１０１−２は、以上の各処理部により動作する。
【００３８】
ここで、第２のフレーム走査部１１１−２及び第２のフレーム間予測部１１２−２は、第１のフレーム間予測部１１２−１によるフレーム間予測と同じ時刻に位置する一つまたは複数のフレームを参照して、フレーム間予測が行われるように制御される。また、第２の動画像符号化送信部１０１−２が出力する符号化データの圧縮率が第１の動画像符号化送信部１０１−１よりも高くなるように、第２の予測残差圧縮符号化部１１４−２が制御される。
【００３９】
なお、図２においては、第２の動画像符号化送信部１０１−２についてのみ示したが、図１の第３〜第Ｎの動画像符号化送信部１０１−３〜１０１−Ｎについても、上記第２の動画像符号化送信部１０１−２と同様の構成である。
【００４０】
以上が、本実施の形態における動画像符号化装置の構成及び動作である。
【００４１】
本実施の形態において、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１を設けることにより、第１の符号化パケット生成部１１５−１から出力された第１の符号化パケットデータに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化パケットデータの伝送誤りとパケットロスを動画像復号化装置２００で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。例えば、第１の符号化パケットの伝送路において伝送誤り検出を行う機構が備わっている場合は、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１で誤り検出符号を付加する必要は無い。別の例として、第１の符号化パケット生成部１１５−１から出力された符号化データにフレームやパケットを識別できる情報が含まれているならば、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１でフレーム／パケット識別番号を付加する必要は無い。
【００４２】
同様に、第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２を設け、第２の符号化パケットデータに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化パケットデータの伝送誤りとパケットロスを動画像復号化装置２００で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。
【００４３】
以上で説明した第１の実施の形態の好ましい具体例では、例えば、動画像符号化装置１００は、インターネット通信網に接続され、カメラなどで入力された動画像をＭＰＥＧ−４  Ｖｉｓｕａｌ方式に従った符号化データに圧縮し、ＵＤＰ／ＩＰプロトコルを用いて伝送する。また、第１及び第２のフレーム間予測部１１２−１、１１２−２は、動き補償によるフレーム間予測を行う。第１及び第２の予測残差圧縮符号化部１１４−１、１１４−２は、２次元離散コサイン変換（２Ｄ−ＤＣＴ）と量子化による圧縮処理を行う。
【００４４】
また、第２の予測残差圧縮符号化部１１４−２は、第１の予測残差圧縮符号化部１１４−１よりも大きい量子化パラメータを用いて２Ｄ−ＤＣＴ係数を量子化する方法や、高次の２Ｄ−ＤＣＴを適応的にカットするなどの方法により、第２の動画像符号化送信部１０１−２の符号化データの圧縮率が第１の動画像符号化送信部１０１−１の符号化データの圧縮率よりも高くなるように圧縮する。
【００４５】
第１及び第２の予測残差復号化部１１７−１、１１７−２は、逆量子化と逆２次元離散コサイン変換（２Ｄ−ＩＤＣＴ）を行う。第１及び第２の符号化パケット生成部１１５−１、１１５−２は、第１及び第２の予測残差圧縮符号化部１１４−１、１１４−２から出力される量子化ＤＣＴ係数と第１及び第２のフレーム間予測部１１２−１、１１２−２から出力される動きベクトルなどを、ＭＰＥＧ−４  Ｖｉｓｕａｌで規定されたシンタックスに従って符号化する。第１及び第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１、１１６−２は、誤り検出のためのチェックサムを含んだＵＤＰデータグラムを作成し、インターネットに接続された動画像復号化装置２００に送出する。
【００４６】
図３は、第１の実施の形態による動画像復号化装置２００の詳細な構成を示している。
【００４７】
図３に示す第１の符号化データ受信部２０１−１において、２１１−１は符号化装置から送信された第１の符号化パケットデータを受信するための第１のパケット受信バッファ、２１２−１は第１のパケット受信バッファ２１１−１で受信されたパケットデータから動画像符号化データを抽出する第１の符号化データ抽出部、２１３−１は第１の符号化パケットデータの伝送時に発生したビット誤りとパケットロスを検出する第１のパケット誤り検出・パケットロス検出部である。
【００４８】
以上の各構成要素の処理部により、第１の符号化データ受信部２０１−１が動作する。
【００４９】
同じく図３に示す第２の符号化データ受信部２０１−２において、２１１−２は符号化装置から送信された第２の符号化パケットデータを受信するための第２のパケット受信バッファ、２１２−２は２１１−２で受信されたパケットデータから動画像符号化データを抽出する第２の符号化データ抽出部、２１３−２は第２の符号化パケットデータの伝送時に発生したビット誤りとパケットロスを検出する第２のパケット誤り検出・パケットロス検出部である。
【００５０】
以上の各構成要素の処理部により、第２の符号化データ受信部２０１−２が動作する。
【００５１】
符号化データ再構成部２０２は、第１のパケット誤り検出・パケットロス検出部２１３−１と第２のパケット誤り検出・パケットロス検出部２１３−２で誤り及びパケットロスを検出した結果に従って、符号化装置より送信された２つの符号化データを１つの符号化データに再構成する。
【００５２】
図３に示す動画像データ復号化部２０３において、２５１は符号化データ再構成部２０２で再構成された符号化データを可変長復号化する可変長復号化部、２５２は予測残差復号化部、２５３はフレーム間予測画像生成部、２５４は予測残差復号化部２５２で得られた予測残差とフレーム間予測画像生成部２５３で得られた予測画像を加算して復号化画像を求める復号化画像算出部、２５５は後続のフレームの復号化で利用するために復号化画像算出部２５４で得られた復号化画像データを格納する参照フレーム格納メモリ、２５６は復号化画像を再生順に並び替えて出力するフレーム走査部である。
【００５３】
以上の各構成要素の処理部により、動画像復号化装置２００が備える動画像データ復号化部２０３が動作し、動画像符号化装置１００より伝送された動画像データが得られる。
【００５４】
本実施の形態における、符号化データ再構成部２０２での符号化データ再構成手順を、図４のフローチャートをもとに説明する。図４の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データの再構成処理を示している。
【００５５】
ステップＳ４０１では、第ｎフレームの全ての符号化データが第１のパケット受信バッファ２１１−１と第２のパケット受信バッファ２１１−２に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ４０２に進む。
【００５６】
ステップＳ４０２では、第１のパケット誤り検出・パケットロス検出部２１３−１における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第１のパケット受信バッファ２１１−１に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ４０３に進む。それ以外の場合は、ステップＳ４０４に進む。
【００５７】
ステップＳ４０３に進んだ場合、第１の符号化データ抽出部２１２−１が出力する第ｎフレームの符号化データを、復号化する符号化データとして可変長復号化部２５１に受け渡し、符号化データ再構成処理を終了する。
【００５８】
ステップＳ４０４に進んだ場合は、第２のパケット誤り検出・パケットロス検出部２１３−２における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第２のパケット受信バッファ２１１−２に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ４０５に進む。それ以外の場合は、ステップＳ４０６に進む。
【００５９】
ステップＳ４０５では、第２の符号化データ抽出部２１２−２が出力する第ｎフレームの符号化データを、復号化する符号化データとして可変長復号化部２５１に受け渡し、符号化データ再構成処理を終了する。
【００６０】
ステップＳ４０６に進むのは、第１及び第２のパケット受信バッファ２１１−１、２１１−２のいずれにおいても、第ｎフレームの符号化データをビット誤りやパケットロスなく受信することができなかった場合である。
【００６１】
このため、ステップＳ４０６では、受信エラーによる復号化画像の乱れをなるべく目立たなくするためのコンシールメントを適切な方法で施すための処理を行う。
【００６２】
例えば、一つ前の第（ｎ−１）フレームの復号化画像を第ｎフレームの復号化画像として利用するように動画像データ復号化部２０３に指令を送るのが、その一つの方法である。
【００６３】
あるいは、以下に述べるような方法が利用できる。
【００６４】
第１のパケット受信バッファ２１１−１に第ｎフレームの一部の符号化データが受信されているならば、この一部の符号化データを第ｎフレームの復号化に利用する。第１のパケット受信バッファ２１１−１に符号化データが全く受信されず、かつ第２のパケット受信バッファ２１１−２に第ｎフレームの一部の符号化データが受信された場合は、第２のパケット受信バッファで得られた一部の符号化データを第ｎフレームの復号化に利用する。そして、第１及び第２のパケット受信バッファ双方で第ｎフレームの符号化データが全く受信されない場合は、一つ前の（ｎ−１）フレームの復号化画像を出力するようにする。
【００６５】
本ステップ４０６では、このようなコンシールメントのための処理を行った後、第ｎフレームの符号化データ再構成処理を終了する。
【００６６】
以上が、符号化データ再構成部２０２での符号化データ再構成手順である。
【００６７】
なお、図４に示す符号化データ再構成部２０２の動作においては、図２及び図３に示すように、図１のＮが「２」の場合であって、動画像符号化装置１００が第１の動画像符号化送信部１０１−１と第２の動画像符号化送信部１０１−２を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１と第２の符号化データ受信部２０１−２を備えている場合の動作を示した。
【００６８】
図１のＮが「３」以上で、動画像符号化装置１００から３つ以上の符号化パケットデータが動画像復号化装置２００に伝送される場合には、符号化データ再構成部２０２は図５のフローチャートのように動作する。
【００６９】
ここでは、Ｎが「３」の場合で、動画像符号化装置１００が第１の動画像符号化送信部１０１−１〜第３の動画像符号化送信部１０１−３を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１〜第３の符号化データ受信部２０１−３を備えている場合であり、かつフレーム符号化における圧縮率が第１の動画像符号化送信部１０１−１から第３の動画像符号化送信部１０１−３の順に高くなっている場合である。
【００７０】
図５において、図４と同じステップ番号を付したステップは、図４と同じ処理であり、ここでは、ステップＳ５０１とＳ５０２が追加されている。すなわち、第２のパケット受信バッファ中の符号化データにビット誤りとパケットロスが存在する場合には、ステップＳ５０１で第３のパケット受信バッファ中の符号化データにビット誤りとパケットロスが存在するかどうかが判別され、存在しない場合には、ステップＳ５０２で、第３のパケット受信バッファ中の符号化データを復号化する符号化データとして可変長復号化部２５１に受け渡す。
【００７１】
何れのパケット受信バッファにも、第ｎフレームの符号化データをビット誤りやパケットロスなく受信することができなかった場合には、上述したステップＳ４０６のコンシールメントのための処理を行う。
【００７２】
上述したように、フレーム符号化における圧縮率が低い順に、そのパケット受信バッファ中のフレームの符号化データに、ビット誤りとパケットロスが無いかどうかを判定することにより、圧縮率が低い符号化データが優先されるように、復号化する符号化データとして可変長復号化部２５１に受け渡す。
【００７３】
なお、第２の動画像符号化送信部１０１−２と第３の動画像符号化送信部１０１−３のフレーム符号化における圧縮率を同じにした場合には、何れを優先させてもよい。
【００７４】
また、動画像符号化装置１００の第１から第Ｎの動画像符号化送信部１０１−１〜１０１−Ｎから送信される符号化データに、例えば圧縮率の低いものが優先されるように、所定の順序付けをし、動画像復号化装置２００の符号化データ再構成部２０２で、受信した複数の符号化データであって正常に受信された符号化データから、順序付けの最も高い符号化データをフレーム毎に選択するようにしてもよい。
【００７５】
本実施の形態において、第１のパケット誤り検出・パケットロス検出部２１３−１で第１の符号化パケットデータの伝送誤りと誤りパケットロスを検出する方法はいかなる方法でも構わない。例えば、動画像符号化装置１００で付加された誤り検出符号とフレーム／パケット番号より検出を行っても良い。あるいは、符号化データの伝送路に誤り検出機能が備わっている場合は、その検出結果を利用してもよい。符号化されたフレームを特定する情報が符号化データに含まれている場合は、符号化データに含まれる情報を利用しても良い。
【００７６】
同様に、第２のパケット誤り検出・パケットロス検出部２１３−２で第１の符号化パケットデータの伝送誤りと誤りパケットロスを検出する方法はいかなる方法でも構わない。
【００７７】
符号化データ再構成部２０２での符号化データ再構成手順において、ステップＳ４０１で第ｎフレーム符号化データ受信を待機する方法は、パケット伝送遅延を所定の範囲内に抑えながらパケットロスを検出できる方法であれば、他のいかなる方法でも構わない。
【００７８】
本実施の形態の更に好ましい具体例では、例えば、動画像復号化装置２００はインターネット通信網に接続され、別地点でインターネット通信網に接続された動画像符号化装置１００からＵＤＰ／ＩＰプロトコルを用いて送信されるパケットデータを受信し、受信したＵＤＰデータグラムに含まれる動画像符号化データを復号化して、得られた動画像をディスプレイに表示する。動画像符号化データは、例えばＭＰＥＧ−４  Ｖｉｓｕａｌ方式に従ったデータである。第１のパケット誤り検出・パケットロス検出部２１３−１と第２のパケット誤り検出・パケットロス検出部２１３−２は、ＵＤＰデータグラムに含まれるチェックサムを計算することで、伝送誤りを検出する。可変長復号化部２５１、予測残差復号化部２５２、フレーム間予測画像生成部２５３、復号化画像算出部２５４、参照フレーム格納メモリ２５５及びフレーム走査部２５６から構成される動画像データ復号化部２０３は、ＭＰＥＧ−４  Ｖｉｓｕａｌ方式に対応した通常の復号化装置である。
【００７９】
可変長復号化部２５１は、ＭＰＥＧ−４  Ｖｉｓｕａｌ方式で符号化されたデータを可変長復号化してＤＣＴ量子化係数や動きベクトル等の圧縮情報を取り出す。予測残差復号化部２５２は逆量子化処理と逆２次元離散コサイン変換を行う。フレーム間予測画像生成部２５３は、復号化された動きベクトルに従って動き補償画像を生成する。
（第２の実施の形態）
上述した第１の実施の形態では、第１ないし第２の符号化パケットデータを動画像符号化装置１００から動画像復号化装置２００へいかなる方法で伝送しても構わないが、本発明の効果を高め、著しい復号化画像の乱れの発生を少なくするためには、第１の符号化パケットデータに発生するビット誤りやパケットロスと、同一フレーム画像を符号化した第２の符号化パケットデータに発生するビット誤りやパケットロスとの相関が小さくなる方法が望ましい。
【００８０】
図６は、このような好ましい符号化パケットデータ伝送方法を実現する第２の実施の形態を示している。
【００８１】
図６の第２の実施の形態において、６０１は図２に示した第１の実施の形態による動画像符号化装置１００から出力される第２の符号化パケットデータに、一定または適応的に変化する遅延時間を加えて送信する遅延付加部、６０２は動画像符号化装置１００から出力される第１の符号化パケットデータと遅延付加部６０１から出力される第２の符号化パケットデータを多重化して伝送路に送信する多重化部である。６０３は多重化部６０２で多重化されたデータを送信装置から受信装置へ伝送する伝送路、６０４は伝送路６０３からパケットデータを受信し、第１の符号化パケットデータと第２の符号化パケットデータに分離して第１の実施の形態による動画像復号化装置２００に出力する分離部である。
【００８２】
ここで、遅延付加部６０１で第２の符号化パケットデータに加えられる遅延時間は、伝送路６０３で発生するビット誤りやパケットロスの最大バースト時間により決定される。これにより、伝送路６０３でバースト誤りが発生しても、同一フレームを符号化した第１と第２の符号化データの双方が誤りの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。
【００８３】
なお、上記第２の実施の形態において、遅延付加部６０１と多重化部６０２を動画像符号化装置１００に含めて構成してもよいし、分離部６０４を動画像復号化装置２００に含めて構成してもよい。
【００８４】
以上で説明した第２の実施の形態によれば、動画像符号化装置１００は同一の動画像データを２個の符号化データに符号化して送信する。第２の符号化送信部１０１−２は、第１の符号化送信部１０１−１で符号化されたフレームを、第１の符号化送信部１０１−１で行われたフレーム間予測と同一時刻のフレームを参照するフレーム間予測により圧縮符号化する。受信側である動画像復号化装置２００は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択して復号化する。その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。
【００８５】
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。
【００８６】
また、動画像復号化装置２００では、受信した２個の符号化データの中から１個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することもない。
【００８７】
第２の実施の形態では、第１の実施の形態の効果に加えて、動画像符号化装置１００は同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信するので、伝送路でバースト誤りが発生しても、同一フレームを符号化した第１と第２の符号化データの双方が誤りの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。
【００８８】
第３の実施の形態の構成及び動作は、第１の実施の形態とほぼ同じであり、図１に示されるように、動画像符号化装置１００と動画像復号化装置２００及び符号化データを伝送するための伝送路３００から構成される。整数Ｎは、動画像符号化装置１００が送信する符号化データの個数である。
【００８９】
動画像符号化装置１００の構成は第１の実施の形態とほぼ同じであるが、この装置を構成する各構成要素の動作において第１の実施の形態の場合と相違する。
【００９０】
第１の動画像符号化送信部１０１−１で符号化される入力フレーム画像の符号化データは、一個または複数個のパケットデータから構成されており、各パケットデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータ及び予測差分画像圧縮データが符号化されている。
【００９１】
また、第２乃至第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎは、第１の動画像符号化送信部１０１−１で符号化されたパケットデータが含む画像領域を、当該画像領域に対する第１の動画像符号化送信部１０１−１のフレーム間予測で利用した参照フレームと同じ時刻に位置する一つまたは複数のフレームを参照してのフレーム間予測により、第１の動画像符号化送信部１０１−１よりも高い圧縮率で符号化し、得られた符号化パケットデータを動画像復号化装置２００へ送信する。上記以外の動作に関しては、基本的に第１の実施の形態と同じである。
【００９２】
動画像復号化装置２００の構成も第１の実施の形態とほぼ同じであるが、この装置を構成する各部の動作において第１の実施の形態と相違する。
【００９３】
符号化データ再構成部２０２は、第１の実施の形態と同様に、第１乃至第Ｎの符号化データ受信部２０１−１〜２０１−Ｎで伝送誤りも欠落もなく受信され、同一フレームの同一領域の圧縮データを含む最大Ｎ個の符号化パケットデータの中から、圧縮率が最も低い１個のパケットを復号化される符号化データとして選択し、この選択を動画像符号化装置１００が送信するパケットデータ単位で行う。上記以外の動作に関しては、基本的に第１の実施の形態と同じである。
【００９４】
本第３の実施の形態における動画像符号化送信部の構成及び動作は、図２に示した第１の実施の形態における動画像符号化送信部とほぼ同じであり、図２における第１の符号化パケット生成部１１５−１と、第２の符号化パケット生成部１１５−２と、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と、第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２の動作においてのみ相違する。
【００９５】
本実施の形態における動画像符号化装置１００において、第１の符号化パケット生成部１１５−１と第２の符号化パケット生成部１１５−２は、第１の符号化パケット生成部１１５−１で生成する符号化パケットデータが含む画像領域と、第２の符号化パケット生成部１１５で生成する符号化パケットデータが含む画像領域が一致するように、符号化パケットデータを生成する。
【００９６】
第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２は、同一フレームの同一画像領域に対応する符号化パケットデータに同一のパケット識別番号が付加されるように動作する。ただし、第１乃至第２の符号化パケット生成部１１５−１，１１５−２が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレーム／パケット識別番号を付加しなくても良い。
【００９７】
上記以外の処理部の動作は、第１の実施の形態と同様である。
【００９８】
本実施の形態の更に好ましい具体例においては、動画像の圧縮符号化にＭＰＥＧ−４  Ｖｉｓｕａｌ方式を利用する。同方式では、入力画像フレームをマクロブロックと呼ばれる一定サイズの矩形領域に分割して圧縮し、マクロブロック単位で圧縮された画像情報をビデオパケットと呼ばれるパケット単位でビット列に符号化する。ビデオパケットは同一フレーム内の任意個数のマクロブロックに関する圧縮データを含み、同方式により符号化されたビット列データはビデオパケット単位で復号化可能である。
【００９９】
第１の符号化パケット生成部１１５−１と第２の符号化パケット生成部１１５−２は、符号化データをビデオパケット単位で出力する。第２の符号化パケット生成部１１５−２で符号化されたビデオパケットは、第１の符号化パケット生成部１１５−１で符号化されたビデオパケットと同一領域のマクロブロックを含むように生成される。
【０１００】
本実施の形態における動画像復号化装置２００の構成及び動作は、図３に示した第１の実施の形態の動画像復号化装置とほぼ同じであり、図３における符号化データ再構成部２０２の動作のみが相違する。
【０１０１】
この第３の実施の形態における、符号化データ再構成部２０２での符号化データ再構成の手順を、図７のフローチャートをもとに説明する。図７の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データの再構成処理を示している。
【０１０２】
ステップＳ７０１では、第ｎフレームの全ての符号化データが第１のパケット受信バッファ２１１−１と第２のパケット受信バッファ２１１−２に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ７０２に進む。
【０１０３】
ステップＳ７０２では、パケット番号を記憶する変数ａに第ｎフレームのパケット番号の最小値を格納し、変数ｂに第ｎフレームのパケット番号の最大値を格納する。
【０１０４】
ステップＳ７０３では、パケット番号を記憶する変数ｉに変数ａの値を代入し、ステップＳ７０４からの繰り返し処理を開始する。
【０１０５】
ステップＳ７０４では、第１のパケット誤り検出・パケットロス検出部２１３−１における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第１のパケット受信バッファ２１１−１に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ７０５に進む。それ以外の場合は、ステップＳ７０６に進む。
【０１０６】
ステップＳ７０５に進んだ場合は、第１の符号化データ抽出部２１２−１が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡し、ステップＳ７０９に進む。
【０１０７】
ステップＳ７０６に進んだ場合は、第２の誤り検出・パケットロス検出部２１３−２における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第２のパケット受信バッファ２１１−２に第ｎフレームの第ｉパケットが受信され、かつ受信データに誤りが検出されない場合は、ステップＳ７０７に進む。それ以外の場合は、ステップＳ７０８に進む。
【０１０８】
ステップＳ７０７では、第２の符号化データ抽出部２１２−２が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡し、ステップＳ７０９に進む。
【０１０９】
ステップＳ７０８に進むのは、第１及び第２のパケット受信バッファのいずれにおいても、第ｎフレームの第ｉパケットデータをビット誤りやパケットロスなく受信できなかった場合である。このため、ステップＳ７０８では、第ｉパケットデータが含む復号化画像領域の乱れをなるべく目立たなくするコンシールメントを適切な方法で施すための処理を行う。
【０１１０】
例えば、第ｎフレームの第ｉパケットデータが含む復号化画像として、一つ前の第（ｎ−１）フレームの復号化画像を利用するように動画像復号化部に指令を送るのが、その一つの方法である。あるいは、第１のパケット受信バッファ２１１−１に第ｎフレームの第ｉパケットデータが不完全ながらも受信されているならば、このパケットデータを第ｎフレームの復号化に利用し、第１のパケット受信バッファ２１１−１に当該パケットデータが受信されず、かつ第２のパケット受信バッファ２１１−２に第ｎフレームの第ｉパケットデータが不完全ながらも受信された場合は、第２のパケット受信バッファで得られたパケットデータを第ｎフレームの復号化に利用し、第１及び第２のパケット受信バッファ双方で第ｎフレーム第ｉパケットデータが受信されない場合は、一つ前の（ｎ−１）フレームの復号化画像を表示するのも一つの方法である。
【０１１１】
本ステップでは、このようなコンシールメントのための処理を行った後、ステップＳ７０９に進む。
【０１１２】
ステップＳ７０９では、変数ｉを１増加させる。続くステップＳ７１０では、
変数ｉが変数ｂの値を超えていないか判定し、超えていない場合はステップＳ７０４からの処理を繰り返す。変数ｉが変数ｂの値を超えた場合は、一連の繰り返し処理を終え、第ｎフレーム符号化データの再構成処理を終了する。
【０１１３】
以上が、第３の実施の形態における符号化データ再構成部２０２の動作である。
【０１１４】
なお、図７に示す符号化データ再構成部２０２の動作においては、図２及び図３に示すように、図１のＮが「２」の場合であって、動画像符号化装置１００が第１の動画像符号化送信部１０１−１と第２の動画像符号化送信部１０１−２を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１と第２の符号化データ受信部２０１−２を備えている場合の動作を示した。
【０１１５】
図１のＮが「３」以上で、動画像符号化装置１００から３つ以上の符号化パケットデータが動画像復号化装置２００に伝送される場合には、符号化データ再構成部２０２は図８のフローチャートのように動作する。
【０１１６】
ここでは、Ｎが「３」の場合で、動画像符号化装置１００が第１の動画像符号化送信部１０１−１〜第３の動画像符号化送信部１０１−３を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１〜第３の符号化データ受信部２０１−３を備えている場合であり、かつフレーム符号化における圧縮率が第１の動画像符号化送信部１０１−１から第３の動画像符号化送信部１０１−３の順に高くなっている場合である。
【０１１７】
図８において、図７と同じステップ番号を付したステップは、図７と同じ処理であり、ここでは、ステップＳ８０１とＳ８０２が追加されている。すなわち、第２のパケット受信バッファ中に第ｉパケットが存在しないかまたは存在してもビット誤りがある場合には、ステップＳ８０１で第３のパケット受信バッファ中第ｎフレームの第ｉパケットが受信され、かつ受信データに誤りが検出されない場合には、ステップＳ８０２で第３の符号化データ抽出部２１２−３が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡す。
【０１１８】
何れのパケット受信バッファにも第ｎフレームの第ｉパケットが存在せず、あるいは存在しても何れにもビット誤りが検出された場合には、上述したステップＳ７０８のコンシールメントのための処理を行う。
【０１１９】
上述したように、フレーム符号化における圧縮率が低いパケットデータを優先して、符号化データとして可変長復号化部２５１に受け渡す。
【０１２０】
なお、第２の動画像符号化送信部１０１−２と第３の動画像符号化送信部１０１−３のレーム符号化における圧縮率を同じにした場合には、何れを優先させてもよい。
【０１２１】
なお、本実施の形態の符号化データ再構成部２０２での符号化データ再構成手順における、ステップＳ７０１で第ｎフレーム符号化データの受信を待機する方法は、パケット伝送遅延を所定の範囲内に抑えながらパケットロスを検出できる方法であれば他のいかなる方法でも構わない。
【０１２２】
以上で説明した第３の実施の形態によれば、動画像符号化装置１００は、同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。第２の動画像符号化送信部１０１−２は、第１の動画像符号化送信部１０１−１で符号化されたフレームを、第１の動画像符号化送信部１０１−１で行われたフレーム間予測と同一時刻のフレームを参照するフレーム間予測により圧縮符号化する。受信側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択して復号化する。
【０１２３】
その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。また、復号化装置では、受信した２個の符号化データの中から１個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することはない。
【０１２４】
なお、上記第３の実施の形態を、第２の実施の形態と組み合わせて構成することも可能である。この場合も、上記第２の実施の形態と同様の効果が得られる。
【０１２５】
なお、上記各実施の形態の動画像伝送システムは、動画像符号化装置及び動画像復号化装置の各機能をハードウェア的に実現することは勿論として、上記した動画像符号化装置及び動画像復号化装置の機能を備える動画像符号化プログラム６００及び動画像復号化プログラム７００からなる動画像伝送プログラムをコンピュータ処理装置のメモリにロードして実行することで実現することができる。この動画像符号化プログラム６００及び動画像復号化プログラム７００は、磁気ディスク、半導体メモリその他の記録媒体に格納され、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０１２６】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【図面の簡単な説明】
図１は、本発明の第１の実施の形態に係る動画像データ伝送方法を実現する動画像伝送システムの構成を示すブロック図である。
図２は、本発明の第１の実施の形態に係る動画像符号化装置の構成を示すブロック図である。
図３は、本発明の第１の実施の形態に係る動画像復号化装置の構成を示すブロック図である。
図４は、本発明の第１の実施の形態に係る動画像復号化装置での符号化データ再構成手順を示すフローチャートである。
図５は、第１の実施の形態において、３つの符号化パケットデータが動画像復号化装置に伝送される場合の符号化データ再構成手順を示すフローチャートである。
図６は、本発明の第２の実施の形態に係る動画像符号化データパケット伝送方法を実現する動画像伝送システムの構成を示すブロック図である。
図７は、本発明の第３の実施の形態に係る動画像復号化装置での符号化データ再構成手順を示すフローチャートである。
図８は、第３の実施の形態において、３つの符号化パケットデータが動画像復号化装置に伝送される場合の符号化データ再構成手順を示すフローチャートである。
【図１】
0004321454.tif 000002
【図２】
0004321454.tif 000003
【図３】
0004321454.tif 000004
【図４】
0004321454.tif 000005
【図５】
0004321454.tif 000006
【図６】
0004321454.tif 000007
【図７】
0004321454.tif 000008
【図８】
0004321454.tif 000009