(57)【要約】送信側は第１乃至第Ｎの動画像符号化送信部（１０１−１〜１０１−Ｎ）を備え、動画像データをＮ個の符号化データに圧縮符号化して送信する。第２乃至第Ｎの動画像符号化送信部（１０１−２〜１０１−Ｎ）は、第１の動画像符号化送信部（１０１−１）で符号化されたフレームを、第１の動画像符号化送信部によるフレーム間予測と同一時刻のフレームを参照するフレーム間予測により、第１の符号化データよりも高い圧縮率もしくは同じ圧縮率で符号化し、受信側は正常に受信できた符号化データの中から最も圧縮率が低く画質の良い符号化データをフレームまたはパケット単位で選択して復号化する。
2003092295.tif 000002
【特許請求の範囲】
【請求項１】
送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、
前記送信側で、入力した動画像データのフレームを、少なくとも２種類の圧縮率で複数の符号化データに圧縮符号化して送信すると共に、前記受信側で受信した前記複数の符号化データであって正常に受信された符号化データから、何れか１つの符号化データをフレーム毎に選択して復号化する動画像伝送システム。
【請求項２】
前記送信側で、入力した動画像データのフレームを、少なくとも２種類の圧縮率で、かつ所定の順序付けをして、複数の符号化データに圧縮符号化して送信すると共に、前記受信側で受信した前記複数の符号化データであって正常に受信された符号化データから、前記順序付けの最も高い符号化データをフレーム毎に選択して復号化する請求項１に記載の動画像伝送システム。
【請求項３】
前記送信側で、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、前記動画像データのフレームを前記所定の符号化データのフレーム間予測で利用した参照フレームと同じ時刻に位置するフレームを参照したフレーム間予測により前記所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データを、前記複数の符号化データとして送信する請求項１に記載の動画像伝送システム。
【請求項４】
前記送信側で、圧縮符号化された全ての符号化データ、或いは選択された一部のフレームの符号化データからなる複数の符号化データを送信する請求項１に記載の動画像伝送システム。
【請求項５】
前記受信側で、受信した前記複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データをフレーム毎に選択して復号化する請求項１に記載の動画像伝送システム。
【請求項６】
送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、
前記送信側で、入力した動画像データのフレームを圧縮符号化した一又は複数の所定のパケットデータと、前記所定のパケットデータに含まれる画像領域を前記所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した前記所定のパケットデータと同じ画像領域を含むパケットデータとからなる複数の符号化データを送信し、前記受信側で受信した前記複数の符号化データであって正常に受信された符号化データから、何れか１つの符号化データを同一の画像領域を含むパケットデータ毎に選択して復号化する動画像伝送システム。
【請求項７】
前記送信側で、入力した動画像データのフレームを圧縮符号化した一又は複数の所定のパケットデータと、前記所定のパケットデータに含まれる画像領域を前記所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した前記所定のパケットデータと同じ画像領域を含むパケットデータとを所定の順序付けをしてなる複数の符号化データを送信し、前記受信側で受信した前記複数の符号化データであって正常に受信された符号化データから、何れか１つの符号化データを同一の画像領域を含むパケットデータ毎に選択して復号化する請求項６に記載の動画像伝送システム。
【請求項８】
前記送信側で、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のパケットデータと、前記所定のパケットデータに含まれる画像領域を、前記所定のパケットデータのフレーム間予測で利用した参照フレームと同じ時刻に位置するフレームを参照したフレーム間予測により前記所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した前記所定のパケットデータと同じ画像領域を含むパケットデータとからなる複数の符号化データを送信する請求項６に記載の動画像伝送システム。
【請求項９】
前記送信側で、圧縮符号化された全てのパケットデータ、或いは選択された一部のパケットデータからなる複数の符号化データを送信する請求項６に記載の動画像伝送システム。
【請求項１０】
前記受信側で、受信した前記複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを同一の画像領域を含むパケットデータ毎に選択して復号化することを特徴とする請求項６に記載の動画像伝送システム。
【請求項１１】
前記送信側で符号化した複数の前記符号化データ同士に時間差を加えて多重化して送信し、前記受信側で前記多重化されて送信されたデータを複数の符号化データに分離する請求項１に記載の動画像伝送システム。
【請求項１２】
前記送信側で符号化した複数の前記符号化データ同士に時間差を加えて多重化して送信し、前記受信側で前記多重化されて送信されたデータを複数の符号化データに分離する請求項６に記載の動画像伝送システム。
【請求項１３】
送信側である動画像符号化装置と、受信側である動画像復号化装置を備え、
前記動画像復号化装置は、
入力した動画像データのフレームを、少なくとも２種類の圧縮率で複数の符号化データに圧縮符号化して送信する複数の符号化手段を有し、
前記動画像復号化装置は、
送信された複数の符号化データを受信し、受信された前記符号化データのビット誤り又はパケットロスを検出する複数の符号化データ受信手段と、
前記符号化データ受信手段でビット誤り又はパケットロスがなく受信された前記符号化データのうち、最も圧縮率の低い符号化データを選択する選択手段と、
前記選択手段で選択された符号化データを復号化する復号化手段を有する請求項１に記載の動画像伝送システム。
【請求項１４】
送信側である動画像符号化装置と、受信側である動画像復号化装置を備え、
前記動画像復号化装置は、
入力した動画像データのフレームを、少なくとも２種類の圧縮率で複数の符号化データに圧縮符号化して送信する複数の符号化手段を有し、
前記動画像復号化装置は、
送信された複数の符号化データを受信し、受信された前記符号化データのビット誤り又はパケットロスを検出する複数の符号化データ受信手段と、
前記符号化データ受信手段でビット誤り又はパケットロスがなく受信された前記符号化データのうち、最も圧縮率の低い符号化データを選択する選択手段と、
前記選択手段で選択された符号化データを復号化する復号化手段を有する請求項６に記載の動画像伝送システム。
【請求項１５】
前記送信側に、一部の前記符号化データを遅延させることで複数の前記符号化データ同士に時間差を加える遅延付加手段と、時間差を加えた複数の前記符号化データを多重化して送信する多重化手段を備え、
前記受信側に、前記多重化されて送信されたデータを複数の符号化データに分離する分離手段を備える請求項１１に記載の動画像伝送システム。
【請求項１６】
前記送信側に、一部の前記符号化データを遅延させることで複数の前記符号化データ同士に時間差を加える遅延付加手段と、時間差を加えた複数の前記符号化データを多重化して送信する多重化手段を備え、
前記受信側に、前記多重化されて送信されたデータを複数の符号化データに分離する分離手段を備える請求項１２に記載の動画像伝送システム。
【請求項１７】
動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、
入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、前記動画像データのフレームを前記所定の符号化データのフレーム間予測で利用した参照フレームと同じ時刻に位置するフレームを参照したフレーム間予測により前記所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを、前記動画像復号化装置に送信する動画像符号化装置。
【請求項１８】
圧縮符号化された全ての符号化データ、或いは選択された一部のフレームの符号化データからなる複数の符号化データを送信する請求項１７に記載の動画像符号化装置。
【請求項１９】
動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、
入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のパケットデータと、前記所定のパケットデータに含まれる画像領域を、前記所定のパケットデータのフレーム間予測で利用した参照フレームと同じ時刻に位置するフレームを参照したフレーム間予測により前記所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した前記所定のパケットデータと同じ画像領域を含むパケットデータからなる複数の符号化データを、前記動画像復号化装置に送信する動画像符号化装置。
【請求項２０】
圧縮符号化された全てのパケットデータ、或いは選択された一部のパケットデータからなる複数の符号化データを送信する請求項１９に記載の動画像符号化装置。
【請求項２１】
一部の前記符号化データを遅延させることで複数の前記符号化データ同士に時間差を加える遅延付加手段と、時間差を加えた複数の前記符号化データを多重化して送信する多重化手段を備える請求項１７に記載の動画像符号化装置。
【請求項２２】
一部の前記符号化データを遅延させることで複数の前記符号化データ同士に時間差を加える遅延付加手段と、時間差を加えた複数の前記符号化データを多重化して送信する多重化手段を備える請求項１９に記載の動画像符号化装置。
【請求項２３】
動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、
前記動画像符号化装置から送信された、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、前記動画像データのフレームを前記所定の符号化データのフレーム間予測で利用した参照フレームと同じ時刻に位置するフレームを参照したフレーム間予測により前記所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを受信し、
受信した前記符号化データのうち、ビット誤り又はパケットロスの無い前記符号化データから最も圧縮率の低い符号化データをフレーム毎に選択して復号化する動画像復号化装置。
【請求項２４】
動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、
前記動画像符号化装置から送信された、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のパケットデータと、前記所定のパケットデータに含まれる画像領域を、前記所定のパケットデータのフレーム間予測で利用した参照フレームと同じ時刻に位置するフレームを参照したフレーム間予測により前記所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した前記所定のパケットデータと同じ画像領域を含むパケットデータからなる複数の符号化データを受信し、
受信した前記符号化データのうち、ビット誤り又はパケットロスの無い前記符号化データから最も圧縮率の低い符号化データをを同一の画像領域を含むパケットデータ毎に選択して復号化する動画像復号化装置。
【請求項２５】
符号化した複数の前記符号化データ同士に時間差を加えて多重化して送信されたデータを、複数の符号化データに分離する分離手段を備える請求項２３に記載の動画像復号化装置。
【請求項２６】
符号化した複数の前記符号化データ同士に時間差を加えて多重化して送信されたデータを、複数の符号化データに分離する分離手段を備える請求項２４に記載の動画像復号化装置。
【請求項２７】
送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、
前記送信側で、コンピュータ処理装置に、入力した動画像データのフレームを、少なくとも２種類の圧縮率で複数の符号化データに圧縮符号化して送信する処理を実行させ、前記受信側で、コンピュータ処理装置に、受信した前記複数の符号化データであって正常に受信された符号化データから、何れか１つの符号化データをフレーム毎に選択して復号化する処理を実行させるための動画像伝送プログラムを備える動画像伝送システム。
【請求項２８】
前記受信側で、コンピュータ処理装置に、受信した前記複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データをフレーム毎に選択して復号化する処理を実行させるための請求項２７に記載の動画像伝送プログラムを備える動画像伝送システム。
【請求項２９】
送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、
前記送信側で、コンピュータ処理装置に、入力した動画像データのフレームを圧縮符号化した一又は複数の所定のパケットデータと、前記所定のパケットデータに含まれる画像領域を前記所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した前記所定のパケットデータと同じ画像領域を含むパケットデータとからなる複数の符号化データを送信する処理を実行させ、前記受信側で、コンピュータ処理装置に、受信した前記複数の符号化データであって正常に受信された符号化データから、何れか１つの符号化データを同一の画像領域を含むパケットデータ毎に選択して復号化する処理を実行させるための動画像伝送プログラムを備える動画像伝送システム。
【請求項３０】
前記受信側で、コンピュータ処理装置に、受信した前記複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを同一の画像領域を含むパケットデータ毎に選択して復号化する処理を実行させるための請求項２９に記載の動画像伝送プログラムを備える動画像伝送システム。
【発明の詳細な説明】
技術分野
本発明は、動画像データを符号化して送信し、送信された符号化データを受信して復号化する動画像伝送システムに関し、特に、符号化データの伝送誤りにより生じる復号画像の乱れを極力抑えることを可能にする動画像伝送システム、動画像符号化装置、動画像復号化装置、及び動画像伝送プログラムに関する。
背景技術
近年、動画像データを効率良く伝送する方法として、フレーム間予測に基づく高能率圧縮符号化を行って伝送する方法が多く用いられており、このような動画像圧縮符号化方式の代表例としては、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等がある。
これらの方式では、時間的に前後のフレームから動き補償などの手法により＋符号化画像を予測して、得られたフレーム間予測パラメータと予測残差画像データを符号化することで、時間方向の相関が高い動画像データの情報量を削減するものである。さらに、予測残差画像データを変換符号化や量子化により効率良く圧縮することで、少ない伝送帯域で画質の良い動画像データ伝送を可能としている。
しかしながら、従来の動画像データ伝送方法においては、誤り訂正符号を用いても復元不可能な長いバースト性をもった伝送データの誤りや伝送パケットの欠落が発生すると、受信側では誤りや欠落が発生したフレームの画像データを正しく復号化できないという問題があった。
また、このような問題に対する受信側における対策としては、正しくデコードできた時間的に前後のフレームの画像や同一フレーム内の周囲の画像データから、誤りをなるべく目立たなくするような画像データを生成するエラーコンシールメント手法が用いられているが、復号化画像の乱れを除去することは不可能である。さらに、この手法ではフレーム間予測を利用しているため、一度発生した画像の乱れが後続フレームにも伝搬してしまうという問題もある。
発明の開示
本発明は上記の事情を考慮してなされたものであり、その第１の目的は、符号化データの伝送誤りにより生じる受信側における復号画像の乱れを極力抑えることを可能にする動画像伝送システム、動画像符号化装置、動画像復号化装置、及び動画像伝送プログラムを提供することにある。
また、本発明の第２の目的は、必要な伝送帯域の増大を小さく抑えながら第１の目的を達成する動画像伝送システム、動画像符号化装置、動画像復号化装置、及び動画像伝送プログラムを提供することにある。
本発明の第３の目的は、圧縮符号化データの復号化に要する演算量の増大を防ぎながら第１の目的を達成する動画像伝送システム、動画像符号化装置、動画像復号化装置、及び動画像伝送プログラムを提供することにある。
上記目的を達成するため、本発明の動画像伝送システムは、
送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、
送信側で、入力した動画像データのフレームを、少なくとも２種類の圧縮率で複数の符号化データに圧縮符号化して送信すると共に、受信側で受信した複数の符号化データであって正常に受信された符号化データから、何れか１つの符号化データをフレーム毎に選択して復号化する。
また、送信側で、入力した動画像データのフレームを、少なくとも２種類の圧縮率で、かつ所定の順序付けをして、複数の符号化データに圧縮符号化して送信すると共に、受信側で受信した複数の符号化データであって正常に受信された符号化データから、順序付けの最も高い符号化データをフレーム毎に選択して復号化してもよい。
また、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、動画像データのフレームを所定の符号化データのフレーム間予測で利用した参照フレームと同じ時刻に位置するフレームを参照したフレーム間予測により所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データを、複数の符号化データとして送信してもよい。
また、圧縮符号化された全ての符号化データ、或いは選択された一部のフレームの符号化データからなる複数の符号化データを送信してもよい。
また、受信側で、受信した複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データをフレーム毎に選択して復号化してもよい。
上記目的を達成するため、本発明の動画像伝送システムは、
送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、
送信側で、入力した動画像データのフレームを圧縮符号化した一又は複数の所定のパケットデータと、所定のパケットデータに含まれる画像領域を所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した所定のパケットデータと同じ画像領域を含むパケットデータとからなる複数の符号化データを送信し、受信側で受信した複数の符号化データであって正常に受信された符号化データから、何れか１つの符号化データを同一の画像領域を含むパケットデータ毎に選択して復号化する。
また、送信側で、入力した動画像データのフレームを圧縮符号化した一又は複数の所定のパケットデータと、所定のパケットデータに含まれる画像領域を所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した所定のパケットデータと同じ画像領域を含むパケットデータとを所定の順序付けをしてなる複数の符号化データを送信し、受信側で受信した複数の符号化データであって正常に受信された符号化データから、何れか１つの符号化データを同一の画像領域を含むパケットデータ毎に選択して復号化してもよい。
また、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のパケットデータと、所定のパケットデータに含まれる画像領域を、所定のパケットデータのフレーム間予測で利用した参照フレームと同じ時刻に位置するフレームを参照したフレーム間予測により所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した所定のパケットデータと同じ画像領域を含むパケットデータとからなる複数の符号化データを送信してもよい。
また、圧縮符号化された全てのパケットデータ、或いは選択された一部のパケットデータからなる複数の符号化データを送信してもよい。
また、受信側で、受信した複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを同一の画像領域を含むパケットデータ毎に選択して復号化してもよい。
また、符号化した複数の符号化データ同士に時間差を加えて多重化して送信し、受信側で多重化されて送信されたデータを複数の符号化データに分離してもよい。
また、送信側である動画像符号化装置と、受信側である動画像復号化装置を備え、動画像復号化装置は、入力した動画像データのフレームを、少なくとも２種類の圧縮率で複数の符号化データに圧縮符号化して送信する複数の符号化手段を有し、動画像復号化装置は、送信された複数の符号化データを受信し、受信された符号化データのビット誤り又はパケットロスを検出する複数の符号化データ受信手段と、符号化データ受信手段でビット誤り又はパケットロスがなく受信された符号化データのうち、最も圧縮率の低い符号化データを選択する選択手段と、選択手段で選択された符号化データを復号化する復号化手段を有してもよい。
また、送信側に、一部の符号化データを遅延させることで複数の符号化データ同士に時間差を加える遅延付加手段と、時間差を加えた複数の符号化データを多重化して送信する多重化手段を備え、受信側に、多重化されて送信されたデータを複数の符号化データに分離する分離手段を備えてもよい。
上記目的を達成するため、本発明の動画像符号化装置は、
動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、
入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、動画像データのフレームを所定の符号化データのフレーム間予測で利用した参照フレームと同じ時刻に位置するフレームを参照したフレーム間予測により所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを、動画像復号化装置に送信する。
また、圧縮符号化された全ての符号化データ、或いは選択された一部のフレームの符号化データからなる複数の符号化データを送信してもよい。
上記目的を達成するため、本発明の動画像符号化装置は、
動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、
入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のパケットデータと、所定のパケットデータに含まれる画像領域を、所定のパケットデータのフレーム間予測で利用した参照フレームと同じ時刻に位置するフレームを参照したフレーム間予測により所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した所定のパケットデータと同じ画像領域を含むパケットデータからなる複数の符号化データを、動画像復号化装置に送信する。
また、圧縮符号化された全てのパケットデータ、或いは選択された一部のパケットデータからなる複数の符号化データを送信してもよい。
また、一部の符号化データを遅延させることで複数の符号化データ同士に時間差を加える遅延付加手段と、時間差を加えた複数の符号化データを多重化して送信する多重化手段を備えてもよい。
上記目的を達成するため、本発明の動画像復号化装置は、
動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、
動画像符号化装置から送信された、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、動画像データのフレームを所定の符号化データのフレーム間予測で利用した参照フレームと同じ時刻に位置するフレームを参照したフレーム間予測により所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを受信し、受信した符号化データのうち、ビット誤り又はパケットロスの無い符号化データから最も圧縮率の低い符号化データをフレーム毎に選択して復号化する。
また、符号化した複数の符号化データ同士に時間差を加えて多重化して送信されたデータを、複数の符号化データに分離する分離手段を備えてもよい。
上記目的を達成するため、本発明の動画像復号化装置は、
動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、
動画像符号化装置から送信された、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のパケットデータと、所定のパケットデータに含まれる画像領域を、所定のパケットデータのフレーム間予測で利用した参照フレームと同じ時刻に位置するフレームを参照したフレーム間予測により所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した所定のパケットデータと同じ画像領域を含むパケットデータからなる複数の符号化データを受信し、受信した符号化データのうち、ビット誤り又はパケットロスの無い符号化データから最も圧縮率の低い符号化データを同一の画像領域を含むパケットデータ毎に選択して復号化する。
また、符号化した複数の符号化データ同士に時間差を加えて多重化して送信されたデータを、複数の符号化データに分離する分離手段を備えてもよい。
上記目的を達成するため、本発明の動画像伝送プログラムを備える動画像伝送システムは、
送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、
送信側で、コンピュータ処理装置に、入力した動画像データのフレームを、少なくとも２種類の圧縮率で複数の符号化データに圧縮符号化して送信する処理を実行させ、受信側で、コンピュータ処理装置に、受信した複数の符号化データであって正常に受信された符号化データから、何れか１つの符号化データをフレーム毎に選択して復号化する処理を実行させる動画像伝送プログラムを備える。
また、受信側で、コンピュータ処理装置に、受信した複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データをフレーム毎に選択して復号化する処理を実行させる動画像伝送プログラムを備えてもよい。
上記目的を達成するため、本発明の動画像伝送プログラムを備える動画像伝送システムは、
送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、
送信側で、コンピュータ処理装置に、入力した動画像データのフレームを圧縮符号化した一又は複数の所定のパケットデータと、所定のパケットデータに含まれる画像領域を所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した所定のパケットデータと同じ画像領域を含むパケットデータとからなる複数の符号化データを送信する処理を実行させ、受信側で、コンピュータ処理装置に、受信した複数の符号化データであって正常に受信された符号化データから、何れか１つの符号化データを同一の画像領域を含むパケットデータ毎に選択して復号化する処理を実行させる動画像伝送プログラムを備える。
また、受信側で、コンピュータ処理装置に、受信した複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを同一の画像領域を含むパケットデータ毎に選択して復号化する処理を実行させる動画像伝送プログラムを備えてもよい。
以上説明したように、本発明によれば、動画像データを複数の圧縮率の異なる符号化データに圧縮符号化して送信し、正常に受信できた符号化データの中から最も圧縮率が低く画質の良い符号化データをフレームまたはパケット単位で選択して復号化するため、バースト性の高い伝送誤りやパケットロスが発生する信頼性の低い伝送路を用いた場合でも、複数の符号化データ全てが誤って伝送される確率を小さく抑えることができ、復号化画像に著しい乱れが生じるのを防ぐことが可能となる。
また、本発明によれば、複数の符号化データの所定の符号化データ以外の符号化データが、所定の符号化データより高い圧縮率もしくは同じ圧縮率で符号化され、また、所定の符号化データ以外の符号化データの符号化は、所定の符号化データの符号化を行なったフレームまたは画像領域の一部に対してだけ行うことが可能なため、複数の符号化データ送信による伝送レートの増大を小さく抑えることが可能である。
さらに、本発明によれば、送信側は同一のフレームまたは同一画像領域を含む符号化データを生成し、受信側は受信した複数の符号化データの中からフレームまたはパケット単位で選択して復号化するため、受信側は同一フレームまたは同一画像領域の復号化のために、受信した複数の符号化データを復号化する必要がなく、受信側が要する演算量の増大を抑えることが可能である。
発明を実施するための最良の形態
以下、本発明の好適な実施の形態について図面を参照して詳細に説明する。
（第１の実施の形態）
本発明の第１の実施の形態による動画像伝送システムについて図面を参照して詳細に説明する。図１に、第１の実施の形態による動画像伝送システムの全体構成を示す。
図１に示すように、本実施の形態による動画像伝送システムは、動画像データの符号化を行なう動画像符号化装置１００と、動画像復号化装置２００及び動画像データの動画像符号化装置１００から動画像復号化装置２００に対して符号化データを伝送するための伝送路３００から構成される。図１において、Ｎは２以上の整数であり、動画像符号化装置１００が送信する符号化データの個数を表す。
動画像符号化装置１００は、動画像データをフレーム単位で入力し、入力された動画像データをＮ個の符号化データに符号化し、第１から第Ｎの動画像符号化パケットデータとして伝送路３００に送信する。
この動画像符号化装置１００は、図１に示すように、第１から第ＮのＮ個の動画像符号化送信部１０１−１〜１０１−Ｎを備える。第１の動画像符号化送信部１０１−１は、動画像符号化装置１００に入力された動画像データのフレームに対しフレーム間予測により所定の圧縮符号化を行って、得られた符号化データを動画像復号化装置２００へ送信する。
第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎは、第１の動画像符号化送信部１０１−１で符号化されたフレームを、第１の動画像符号化送信部１０１−１によるフレーム間予測で利用した参照フレームと同じ時刻に位置する一つまたは複数のフレームを参照したフレーム間予測により、第１の動画像符号化送信部１０１−１よりも高い圧縮率で符号化し、得られた符号化データを動画像復号化装置２００へ送信する。
上記のように、第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎによる、フレームの符号化における圧縮率は、第１の動画像符号化送信部１０１−１のそれよりも高く設定する。また、第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎのそれぞれの圧縮率は、互いに異なっていてもよいし、同じであってもよい。
動画像復号化装置２００は、動画像符号化装置１００から送信されたＮ個の符号化データを受信し復号化することにより動画像データを得る。この動画像復号化装置２００は、図１に示すように、動画像符号化装置１００の備える第１から第Ｎの動画像符号化送信部１０１−１〜１０１−Ｎにより送信された符号化データを受信する第１から第Ｎの符号化データ受信部２０１−１〜２０１−Ｎと、符号化データ再構成部２０２と、動画像データ復号化部２０３とを備える。
符号化データ再構成部２０２は、第１から第Ｎの符号化データ受信部２０１−１〜２０１−Ｎにおいて伝送誤りも欠落もなく受信された最大Ｎ個の符号化データの中から、圧縮率が最も低い１つの符号化データを復号化する符号化データとして選択する。
動画像データ復号化部２０３は、符号化データ再構成部２０２から出力された符号化データを復号化し、動画像データを得る。
動画像符号化装置１００の動画像符号化送信部の詳細な構成を図２に示す。図２においては、簡単のため、装置が出力する符号化データの個数Ｎを「２」として示している。
図２の第１の動画像符号化送信部１０１−１において、１１１−１は入力された動画像データのフレームを符号化順に並び替える第１のフレーム走査部、１１２−１は第１の参照フレーム格納メモリ１１９−１に格納された１つまたは複数の復号画像から、第１のフレーム走査部１１１−１より入力された画像へのフレーム間予測を行う第１のフレーム間予測部、１１３−１は入力されたフレーム画像から、第１のフレーム間予測部１１２−１で得られた予測画像を減算することで予測残差を算出する第１の予測残差算出部、１１４−１は第１の予測残差算出部１１３−１で得られた予測残差画像を所定の方法で圧縮符号化する第１の予測残差圧縮符号化部、１１５−１は第１のフレーム間予測部１１２−１で得られたフレーム間予測パラメータと第１の予測残差圧縮符号化部１１４−１で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する第１の符号化パケット生成部である。
１１６−１は、第１の符号化パケット生成部１１５−１が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する第１のパケット誤り検出符号・フレーム／パケット識別番号付加部、１１７−１は第１の予測残差圧縮符号化部１１４−１で符号化された予測残差の復号化データを求める第１の予測残差復号化部、１１８−１は第１のフレーム間予測部１１２−１で生成された予測画像と第１の予測残差復号化部１１７−１で復号化された予測残差の和により復号化画像を求める第１の復号化画像算出部、１１９−１は次のフレームの符号化に備え復号化画像を格納する第１の参照フレーム格納メモリである。
本実施の形態における第１の動画像符号化送信部１０１−１は、以上の各処理部により動作する。
図２の第２の動画像符号化送信部１０１−２において、１１１−２は入力された動画像フレームを符号化順に並び替える第２のフレーム走査部、１１２−２は第２の２の参照フレーム格納メモリ１１９−２に格納された１つまたは複数の復号画像から、第２のフレーム走査部１１１−２より入力された画像へのフレーム間予測を行う第２のフレーム間予測部、１１３−２は入力フレーム画像から、第２のフレーム走査部１１２−２で得られた予測画像を減算することで予測残差を算出する第２の予測残差算出部、１１４−２は第２の予測残差算出部１１３−２で得られた予測残差画像を所定の方法で圧縮符号化する第２の予測残差圧縮符号化部、１１５−２は第２のフレーム間予測部１１２−２で得られたフレーム間予測パラメータと第２の予測残差圧縮符号化部１１４−２で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する第２の符号化パケット生成部である。１１６−２は、第２の符号化パケット生成部１１５−２が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する第２のパケット誤り検出符号・フレーム／パケット識別番号付加部である。１１７−２は第２の予測残差圧縮符号化部１１４−２で符号化された予測残差の復号化データを求める第２の予測残差復号化部である。１１８−２は第２のフレーム間予測部１１２−２で生成された予測画像と第２の予測残差復号化部１１７−２で復号化された予測残差の和により復号化画像を求める第２の復号化画像算出部である。１１９−２は次のフレームの符号化に備え復号化画像を格納する第２の参照フレーム格納メモリである。
本実施の形態における第２の動画像符号化送信部１０１−２は、以上の各処理部により動作する。
ここで、第２のフレーム走査部１１１−２及び第２のフレーム間予測部１１２−２は、第１のフレーム間予測部１１２−１によるフレーム間予測と同じ時刻に位置する一つまたは複数のフレームを参照して、フレーム間予測が行われるように制御される。また、第２の動画像符号化送信部１０１−２が出力する符号化データの圧縮率が第１の動画像符号化送信部１０１−１よりも高くなるように、第２の予測残差圧縮符号化部１１４−２が制御される。
なお、図２においては、第２の動画像符号化送信部１０１−２についてのみ示したが、図１の第３〜第Ｎの動画像符号化送信部１０１−３〜１０１−Ｎについても、上記第２の動画像符号化送信部１０１−２と同様の構成である。
以上が、本実施の形態における動画像符号化装置の構成及び動作である。
本実施の形態において、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１を設けることにより、第１の符号化パケット生成部１１５−１から出力された第１の符号化パケットデータに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化パケットデータの伝送誤りとパケットロスを動画像復号化装置２００で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。例えば、第１の符号化パケットの伝送路において伝送誤り検出を行う機構が備わっている場合は、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１で誤り検出符号を付加する必要は無い。別の例として、第１の符号化パケット生成部１１５−１から出力された符号化データにフレームやパケットを識別できる情報が含まれているならば、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１でフレーム／パケット識別番号を付加する必要は無い。
同様に、第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２を設け、第２の符号化パケットデータに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化パケットデータの伝送誤りとパケットロスを動画像復号化装置２００で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。
以上で説明した第１の実施の形態の好ましい具体例では、例えば、動画像符号化装置１００は、インターネット通信網に接続され、カメラなどで入力された動画像をＭＰＥＧ−４  Ｖｉｓｕａｌ方式に従った符号化データに圧縮し、ＵＤＰ／ＩＰプロトコルを用いて伝送する。また、第１及び第２のフレーム間予測部１１２−１、１１２−２は、動き補償によるフレーム間予測を行う。第１及び第２の予測残差圧縮符号化部１１４−１、１１４−２は、２次元離散コサイン変換（２Ｄ−ＤＣＴ）と量子化による圧縮処理を行う。
また、第２の予測残差圧縮符号化部１１４−２は、第１の予測残差圧縮符号化部１１４−１よりも大きい量子化パラメータを用いて２Ｄ−ＤＣＴ係数を量子化する方法や、高次の２Ｄ−ＤＣＴを適応的にカットするなどの方法により、第２の動画像符号化送信部１０１−２の符号化データの圧縮率が第１の動画像符号化送信部１０１−１の符号化データの圧縮率よりも高くなるように圧縮する。
第１及び第２の予測残差復号化部１１７−１、１１７−２は、逆量子化と逆２次元離散コサイン変換（２Ｄ−ＩＤＣＴ）を行う。第１及び第２の符号化パケット生成部１１５−１、１１５−２は、第１及び第２の予測残差圧縮符号化部１１４−１、１１４−２から出力される量子化ＤＣＴ係数と第１及び第２のフレーム間予測部１１２−１、１１２−２から出力される動きベクトルなどを、ＭＰＥＧ−４  Ｖｉｓｕａｌで規定されたシンタックスに従って符号化する。第１及び第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１、１１６−２は、誤り検出のためのチェックサムを含んだＵＤＰデータグラムを作成し、インターネットに接続された動画像復号化装置２００に送出する。
図３は、第１の実施の形態による動画像復号化装置２００の詳細な構成を示している。
図３に示す第１の符号化データ受信部２０１−１において、２１１−１は符号化装置から送信された第１の符号化パケットデータを受信するための第１のパケット受信バッファ、２１２−１は第１のパケット受信バッファ２１１−１で受信されたパケットデータから動画像符号化データを抽出する第１の符号化データ抽出部、２１３−１は第１の符号化パケットデータの伝送時に発生したビット誤りとパケットロスを検出する第１のパケット誤り検出・パケットロス検出部である。
以上の各構成要素の処理部により、第１の符号化データ受信部２０１−１が動作する。
同じく図３に示す第２の符号化データ受信部２０１−２において、２１１−２は符号化装置から送信された第２の符号化パケットデータを受信するための第２のパケット受信バッファ、２１２−２は２１１−２で受信されたパケットデータから動画像符号化データを抽出する第２の符号化データ抽出部、２１３−２は第２の符号化パケットデータの伝送時に発生したビット誤りとパケットロスを検出する第２のパケット誤り検出・パケットロス検出部である。
以上の各構成要素の処理部により、第２の符号化データ受信部２０１−２が動作する。
符号化データ再構成部２０２は、第１のパケット誤り検出・パケットロス検出部２１３−１と第２のパケット誤り検出・パケットロス検出部２１３−２で誤り及びパケットロスを検出した結果に従って、符号化装置より送信された２つの符号化データを１つの符号化データに再構成する。
図３に示す動画像データ復号化部２０３において、２５１は符号化データ再構成部２０２で再構成された符号化データを可変長復号化する可変長復号化部、２５２は予測残差復号化部、２５３はフレーム間予測画像生成部、２５４は予測残差復号化部２５２で得られた予測残差とフレーム間予測画像生成部２５３で得られた予測画像を加算して復号化画像を求める復号化画像算出部、２５５は後続のフレームの復号化で利用するために復号化画像算出部２５４で得られた復号化画像データを格納する参照フレーム格納メモリ、２５６は復号化画像を再生順に並び替えて出力するフレーム走査部である。
以上の各構成要素の処理部により、動画像復号化装置２００が備える動画像データ復号化部２０３が動作し、動画像符号化装置１００より伝送された動画像データが得られる。
本実施の形態における、符号化データ再構成部２０２での符号化データ再構成手順を、図４のフローチャートをもとに説明する。図４の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データの再構成処理を示している。
ステップＳ４０１では、第ｎフレームの全ての符号化データが第１のパケット受信バッファ２１１−１と第２のパケット受信バッファ２１１−２に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ４０２に進む。
ステップＳ４０２では、第１のパケット誤り検出・パケットロス検出部２１３−１における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第１のパケット受信バッファ２１１−１に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ４０３に進む。それ以外の場合は、ステップＳ４０４に進む。
ステップＳ４０３に進んだ場合、第１の符号化データ抽出部２１２−１が出力する第ｎフレームの符号化データを、復号化する符号化データとして可変長復号化部２５１に受け渡し、符号化データ再構成処理を終了する。
ステップＳ４０４に進んだ場合は、第２のパケット誤り検出・パケットロス検出部２１３−２における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第２のパケット受信バッファ２１１−２に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ４０５に進む。それ以外の場合は、ステップＳ４０６に進む。
ステップＳ４０５では、第２の符号化データ抽出部２１２−２が出力する第ｎフレームの符号化データを、復号化する符号化データとして可変長復号化部２５１に受け渡し、符号化データ再構成処理を終了する。
ステップＳ４０６に進むのは、第１及び第２のパケット受信バッファ２１１−１、２１１−２のいずれにおいても、第ｎフレームの符号化データをビット誤りやパケットロスなく受信することができなかった場合である。
このため、ステップＳ４０６では、受信エラーによる復号化画像の乱れをなるべく目立たなくするためのコンシールメントを適切な方法で施すための処理を行う。
例えば、一つ前の第（ｎ−１）フレームの復号化画像を第ｎフレームの復号化画像として利用するように動画像データ復号化部２０３に指令を送るのが、その一つの方法である。
あるいは、以下に述べるような方法が利用できる。
第１のパケット受信バッファ２１１−１に第ｎフレームの一部の符号化データが受信されているならば、この一部の符号化データを第ｎフレームの復号化に利用する。第１のパケット受信バッファ２１１−１に符号化データが全く受信されず、かつ第２のパケット受信バッファ２１１−２に第ｎフレームの一部の符号化データが受信された場合は、第２のパケット受信バッファで得られた一部の符号化データを第ｎフレームの復号化に利用する。そして、第１及び第２のパケット受信バッファ双方で第ｎフレームの符号化データが全く受信されない場合は、一つ前の（ｎ−１）フレームの復号化画像を出力するようにする。
本ステップ４０６では、このようなコンシールメントのための処理を行った後、第ｎフレームの符号化データ再構成処理を終了する。
以上が、符号化データ再構成部２０２での符号化データ再構成手順である。
なお、図４に示す符号化データ再構成部２０２の動作においては、図２及び図３に示すように、図１のＮが「２」の場合であって、動画像符号化装置１００が第１の動画像符号化送信部１０１−１と第２の動画像符号化送信部１０１−２を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１と第２の符号化データ受信部２０１−２を備えている場合の動作を示した。
図１のＮが「３」以上で、動画像符号化装置１００から３つ以上の符号化パケットデータが動画像復号化装置２００に伝送される場合には、符号化データ再構成部２０２は図５のフローチャートのように動作する。
ここでは、Ｎが「３」の場合で、動画像符号化装置１００が第１の動画像符号化送信部１０１−１〜第３の動画像符号化送信部１０１−３を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１〜第３の符号化データ受信部２０１−３を備えている場合であり、かつフレーム符号化における圧縮率が第１の動画像符号化送信部１０１−１から第３の動画像符号化送信部１０１−３の順に高くなっている場合である。
図５において、図４と同じステップ番号を付したステップは、図４と同じ処理であり、ここでは、ステップＳ５０１とＳ５０２が追加されている。すなわち、第２のパケット受信バッファ中の符号化データにビット誤りとパケットロスが存在する場合には、ステップＳ５０１で第３のパケット受信バッファ中の符号化データにビット誤りとパケットロスが存在するかどうかが判別され、存在しない場合には、ステップＳ５０２で、第３のパケット受信バッファ中の符号化データを復号化する符号化データとして可変長復号化部２５１に受け渡す。
何れのパケット受信バッファにも、第ｎフレームの符号化データをビット誤りやパケットロスなく受信することができなかった場合には、上述したステップＳ４０６のコンシールメントのための処理を行う。
上述したように、フレーム符号化における圧縮率が低い順に、そのパケット受信バッファ中のフレームの符号化データに、ビット誤りとパケットロスが無いかどうかを判定することにより、圧縮率が低い符号化データが優先されるように、復号化する符号化データとして可変長復号化部２５１に受け渡す。
なお、第２の動画像符号化送信部１０１−２と第３の動画像符号化送信部１０１−３のフレーム符号化における圧縮率を同じにした場合には、何れを優先させてもよい。
また、動画像符号化装置１００の第１から第Ｎの動画像符号化送信部１０１−１〜１０１−Ｎから送信される符号化データに、例えば圧縮率の低いものが優先されるように、所定の順序付けをし、動画像復号化装置２００の符号化データ再構成部２０２で、受信した複数の符号化データであって正常に受信された符号化データから、順序付けの最も高い符号化データをフレーム毎に選択するようにしてもよい。
本実施の形態において、第１のパケット誤り検出・パケットロス検出部２１３−１で第１の符号化パケットデータの伝送誤りと誤りパケットロスを検出する方法はいかなる方法でも構わない。例えば、動画像符号化装置１００で付加された誤り検出符号とフレーム／パケット番号より検出を行っても良い。あるいは、符号化データの伝送路に誤り検出機能が備わっている場合は、その検出結果を利用してもよい。符号化されたフレームを特定する情報が符号化データに含まれている場合は、符号化データに含まれる情報を利用しても良い。
同様に、第２のパケット誤り検出・パケットロス検出部２１３−２で第１の符号化パケットデータの伝送誤りと誤りパケットロスを検出する方法はいかなる方法でも構わない。
符号化データ再構成部２０２での符号化データ再構成手順において、ステップＳ４０１で第ｎフレーム符号化データ受信を待機する方法は、パケット伝送遅延を所定の範囲内に抑えながらパケットロスを検出できる方法であれば、他のいかなる方法でも構わない。
本実施の形態の更に好ましい具体例では、例えば、動画像復号化装置２００はインターネット通信網に接続され、別地点でインターネット通信網に接続された動画像符号化装置１００からＵＤＰ／ＩＰプロトコルを用いて送信されるパケットデータを受信し、受信したＵＤＰデータグラムに含まれる動画像符号化データを復号化して、得られた動画像をディスプレイに表示する。動画像符号化データは、例えばＭＰＥＧ−４  Ｖｉｓｕａｌ方式に従ったデータである。第１のパケット誤り検出・パケットロス検出部２１３−１と第２のパケット誤り検出・パケットロス検出部２１３−２は、ＵＤＰデータグラムに含まれるチェックサムを計算することで、伝送誤りを検出する。可変長復号化部２５１、予測残差復号化部２５２、フレーム間予測画像生成部２５３、復号化画像算出部２５４、参照フレーム格納メモリ２５５及びフレーム走査部２５６から構成される動画像データ復号化部２０３は、ＭＰＥＧ−４  Ｖｉｓｕａｌ方式に対応した通常の復号化装置である。
可変長復号化部２５１は、ＭＰＥＧ−４  Ｖｉｓｕａｌ方式で符号化されたデータを可変長復号化してＤＣＴ量子化係数や動きベクトル等の圧縮情報を取り出す。予測残差復号化部２５２は逆量子化処理と逆２次元離散コサイン変換を行う。フレーム間予測画像生成部２５３は、復号化された動きベクトルに従って動き補償画像を生成する。
（第２の実施の形態）
上述した第１の実施の形態では、第１ないし第２の符号化パケットデータを動画像符号化装置１００から動画像復号化装置２００へいかなる方法で伝送しても構わないが、本発明の効果を高め、著しい復号化画像の乱れの発生を少なくするためには、第１の符号化パケットデータに発生するビット誤りやパケットロスと、同一フレーム画像を符号化した第２の符号化パケットデータに発生するビット誤りやパケットロスとの相関が小さくなる方法が望ましい。
図６は、このような好ましい符号化パケットデータ伝送方法を実現する第２の実施の形態を示している。
図６の第２の実施の形態において、６０１は図２に示した第１の実施の形態による動画像符号化装置１００から出力される第２の符号化パケットデータに、一定または適応的に変化する遅延時間を加えて送信する遅延付加部、６０２は動画像符号化装置１００から出力される第１の符号化パケットデータと遅延付加部６０１から出力される第２の符号化パケットデータを多重化して伝送路に送信する多重化部である。６０３は多重化部６０２で多重化されたデータを送信装置から受信装置へ伝送する伝送路、６０４は伝送路６０３からパケットデータを受信し、第１の符号化パケットデータと第２の符号化パケットデータに分離して第１の実施の形態による動画像復号化装置２００に出力する分離部である。
ここで、遅延付加部６０１で第２の符号化パケットデータに加えられる遅延時間は、伝送路６０３で発生するビット誤りやパケットロスの最大バースト時間により決定される。これにより、伝送路６０３でバースト誤りが発生しても、同一フレームを符号化した第１と第２の符号化データの双方が誤りの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。
なお、上記第２の実施の形態において、遅延付加部６０１と多重化部６０２を動画像符号化装置１００に含めて構成してもよいし、分離部６０４を動画像復号化装置２００に含めて構成してもよい。
以上で説明した第２の実施の形態によれば、動画像符号化装置１００は同一の動画像データを２個の符号化データに符号化して送信する。第２の符号化送信部１０１−２は、第１の符号化送信部１０１−１で符号化されたフレームを、第１の符号化送信部１０１−１で行われたフレーム間予測と同一時刻のフレームを参照するフレーム間予測により圧縮符号化する。受信側である動画像復号化装置２００は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択して復号化する。その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。
また、動画像復号化装置２００では、受信した２個の符号化データの中から１個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することもない。
第２の実施の形態では、第１の実施の形態の効果に加えて、動画像符号化装置１００は同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信するので、伝送路でバースト誤りが発生しても、同一フレームを符号化した第１と第２の符号化データの双方が誤りの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。
第３の実施の形態の構成及び動作は、第１の実施の形態とほぼ同じであり、図１に示されるように、動画像符号化装置１００と動画像復号化装置２００及び符号化データを伝送するための伝送路３００から構成される。整数Ｎは、動画像符号化装置１００が送信する符号化データの個数である。
動画像符号化装置１００の構成は第１の実施の形態とほぼ同じであるが、この装置を構成する各構成要素の動作において第１の実施の形態の場合と相違する。
第１の動画像符号化送信部１０１−１で符号化される入力フレーム画像の符号化データは、一個または複数個のパケットデータから構成されており、各パケットデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータ及び予測差分画像圧縮データが符号化されている。
また、第２乃至第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎは、第１の動画像符号化送信部１０１−１で符号化されたパケットデータが含む画像領域を、当該画像領域に対する第１の動画像符号化送信部１０１−１のフレーム間予測で利用した参照フレームと同じ時刻に位置する一つまたは複数のフレームを参照してのフレーム間予測により、第１の動画像符号化送信部１０１−１よりも高い圧縮率で符号化し、得られた符号化パケットデータを動画像復号化装置２００へ送信する。上記以外の動作に関しては、基本的に第１の実施の形態と同じである。
動画像復号化装置２００の構成も第１の実施の形態とほぼ同じであるが、この装置を構成する各部の動作において第１の実施の形態と相違する。
符号化データ再構成部２０２は、第１の実施の形態と同様に、第１乃至第Ｎの符号化データ受信部２０１−１〜２０１−Ｎで伝送誤りも欠落もなく受信され、同一フレームの同一領域の圧縮データを含む最大Ｎ個の符号化パケットデータの中から、圧縮率が最も低い１個のパケットを復号化される符号化データとして選択し、この選択を動画像符号化装置１００が送信するパケットデータ単位で行う。上記以外の動作に関しては、基本的に第１の実施の形態と同じである。
本第３の実施の形態における動画像符号化送信部の構成及び動作は、図２に示した第１の実施の形態における動画像符号化送信部とほぼ同じであり、図２における第１の符号化パケット生成部１１５−１と、第２の符号化パケット生成部１１５−２と、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と、第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２の動作においてのみ相違する。
本実施の形態における動画像符号化装置１００において、第１の符号化パケット生成部１１５−１と第２の符号化パケット生成部１１５−２は、第１の符号化パケット生成部１１５−１で生成する符号化パケットデータが含む画像領域と、第２の符号化パケット生成部１１５で生成する符号化パケットデータが含む画像領域が一致するように、符号化パケットデータを生成する。
第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２は、同一フレームの同一画像領域に対応する符号化パケットデータに同一のパケット識別番号が付加されるように動作する。ただし、第１乃至第２の符号化パケット生成部１１５−１，１１５−２が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレーム／パケット識別番号を付加しなくても良い。
上記以外の処理部の動作は、第１の実施の形態と同様である。
本実施の形態の更に好ましい具体例においては、動画像の圧縮符号化にＭＰＥＧ−４  Ｖｉｓｕａｌ方式を利用する。同方式では、入力画像フレームをマクロブロックと呼ばれる一定サイズの矩形領域に分割して圧縮し、マクロブロック単位で圧縮された画像情報をビデオパケットと呼ばれるパケット単位でビット列に符号化する。ビデオパケットは同一フレーム内の任意個数のマクロブロックに関する圧縮データを含み、同方式により符号化されたビット列データはビデオパケット単位で復号化可能である。
第１の符号化パケット生成部１１５−１と第２の符号化パケット生成部１１５−２は、符号化データをビデオパケット単位で出力する。第２の符号化パケット生成部１１５−２で符号化されたビデオパケットは、第１の符号化パケット生成部１１５−１で符号化されたビデオパケットと同一領域のマクロブロックを含むように生成される。
本実施の形態における動画像復号化装置２００の構成及び動作は、図３に示した第１の実施の形態の動画像復号化装置とほぼ同じであり、図３における符号化データ再構成部２０２の動作のみが相違する。
この第３の実施の形態における、符号化データ再構成部２０２での符号化データ再構成の手順を、図７のフローチャートをもとに説明する。図７の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データの再構成処理を示している。
ステップＳ７０１では、第ｎフレームの全ての符号化データが第１のパケット受信バッファ２１１−１と第２のパケット受信バッファ２１１−２に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ７０２に進む。
ステップＳ７０２では、パケット番号を記憶する変数ａに第ｎフレームのパケット番号の最小値を格納し、変数ｂに第ｎフレームのパケット番号の最大値を格納する。
ステップＳ７０３では、パケット番号を記憶する変数ｉに変数ａの値を代入し、ステップＳ７０４からの繰り返し処理を開始する。
ステップＳ７０４では、第１のパケット誤り検出・パケットロス検出部２１３−１における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第１のパケット受信バッファ２１１−１に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ７０５に進む。それ以外の場合は、ステップＳ７０６に進む。
ステップＳ７０５に進んだ場合は、第１の符号化データ抽出部２１２−１が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡し、ステップＳ７０９に進む。
ステップＳ７０６に進んだ場合は、第２の誤り検出・パケットロス検出部２１３−２における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第２のパケット受信バッファ２１１−２に第ｎフレームの第ｉパケットが受信され、かつ受信データに誤りが検出されない場合は、ステップＳ７０７に進む。それ以外の場合は、ステップＳ７０８に進む。
ステップＳ７０７では、第２の符号化データ抽出部２１２−２が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡し、ステップＳ７０９に進む。
ステップＳ７０８に進むのは、第１及び第２のパケット受信バッファのいずれにおいても、第ｎフレームの第ｉパケットデータをビット誤りやパケットロスなく受信できなかった場合である。このため、ステップＳ７０８では、第ｉパケットデータが含む復号化画像領域の乱れをなるべく目立たなくするコンシールメントを適切な方法で施すための処理を行う。
例えば、第ｎフレームの第ｉパケットデータが含む復号化画像として、一つ前の第（ｎ−１）フレームの復号化画像を利用するように動画像復号化部に指令を送るのが、その一つの方法である。あるいは、第１のパケット受信バッファ２１１−１に第ｎフレームの第ｉパケットデータが不完全ながらも受信されているならば、このパケットデータを第ｎフレームの復号化に利用し、第１のパケット受信バッファ２１１−１に当該パケットデータが受信されず、かつ第２のパケット受信バッファ２１１−２に第ｎフレームの第ｉパケットデータが不完全ながらも受信された場合は、第２のパケット受信バッファで得られたパケットデータを第ｎフレームの復号化に利用し、第１及び第２のパケット受信バッファ双方で第ｎフレーム第ｉパケットデータが受信されない場合は、一つ前の（ｎ−１）フレームの復号化画像を表示するのも一つの方法である。
本ステップでは、このようなコンシールメントのための処理を行った後、ステップＳ７０９に進む。
ステップＳ７０９では、変数ｉを１増加させる。続くステップＳ７１０では、変数ｉが変数ｂの値を超えていないか判定し、超えていない場合はステップＳ７０４からの処理を繰り返す。変数ｉが変数ｂの値を超えた場合は、一連の繰り返し処理を終え、第ｎフレーム符号化データの再構成処理を終了する。
以上が、第３の実施の形態における符号化データ再構成部２０２の動作である。
なお、図７に示す符号化データ再構成部２０２の動作においては、図２及び図３に示すように、図１のＮが「２」の場合であって、動画像符号化装置１００が第１の動画像符号化送信部１０１−１と第２の動画像符号化送信部１０１−２を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１と第２の符号化データ受信部２０１−２を備えている場合の動作を示した。
図１のＮが「３」以上で、動画像符号化装置１００から３つ以上の符号化パケットデータが動画像復号化装置２００に伝送される場合には、符号化データ再構成部２０２は図８のフローチャートのように動作する。
ここでは、Ｎが「３」の場合で、動画像符号化装置１００が第１の動画像符号化送信部１０１−１〜第３の動画像符号化送信部１０１−３を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１〜第３の符号化データ受信部２０１−３を備えている場合であり、かつフレーム符号化における圧縮率が第１の動画像符号化送信部１０１−１から第３の動画像符号化送信部１０１−３の順に高くなっている場合である。
図８において、図７と同じステップ番号を付したステップは、図７と同じ処理であり、ここでは、ステップＳ８０１とＳ８０２が追加されている。すなわち、第２のパケット受信バッファ中に第ｉパケットが存在しないかまたは存在してもビット誤りがある場合には、ステップＳ８０１で第３のパケット受信バッファ中第ｎフレームの第ｉパケットが受信され、かつ受信データに誤りが検出されない場合には、ステップＳ８０２で第３の符号化データ抽出部２１２−３が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡す。
何れのパケット受信バッファにも第ｎフレームの第ｉパケットが存在せず、あるいは存在しても何れにもビット誤りが検出された場合には、上述したステップＳ７０８のコンシールメントのための処理を行う。
上述したように、フレーム符号化における圧縮率が低いパケットデータを優先して、符号化データとして可変長復号化部２５１に受け渡す。
なお、第２の動画像符号化送信部１０１−２と第３の動画像符号化送信部１０１−３のレーム符号化における圧縮率を同じにした場合には、何れを優先させてもよい。
なお、本実施の形態の符号化データ再構成部２０２での符号化データ再構成手順における、ステップＳ７０１で第ｎフレーム符号化データの受信を待機する方法は、パケット伝送遅延を所定の範囲内に抑えながらパケットロスを検出できる方法であれば他のいかなる方法でも構わない。
以上で説明した第３の実施の形態によれば、動画像符号化装置１００は、同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。第２の動画像符号化送信部１０１−２は、第１の動画像符号化送信部１０１−１で符号化されたフレームを、第１の動画像符号化送信部１０１−１で行われたフレーム間予測と同一時刻のフレームを参照するフレーム間予測により圧縮符号化する。受信側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択して復号化する。
その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。また、復号化装置では、受信した２個の符号化データの中から１個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することはない。
なお、上記第３の実施の形態を、第２の実施の形態と組み合わせて構成することも可能である。この場合も、上記第２の実施の形態と同様の効果が得られる。
なお、上記各実施の形態の動画像伝送システムは、動画像符号化装置及び動画像復号化装置の各機能をハードウェア的に実現することは勿論として、上記した動画像符号化装置及び動画像復号化装置の機能を備える動画像符号化プログラム６００及び動画像復号化プログラム７００からなる動画像伝送プログラムをコンピュータ処理装置のメモリにロードして実行することで実現することができる。この動画像符号化プログラム６００及び動画像復号化プログラム７００は、磁気ディスク、半導体メモリその他の記録媒体に格納され、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【図面の簡単な説明】
図１は、本発明の第１の実施の形態に係る動画像データ伝送方法を実現する動画像伝送システムの構成を示すブロック図である。
図２は、本発明の第１の実施の形態に係る動画像符号化装置の構成を示すブロック図である。
図３は、本発明の第１の実施の形態に係る動画像復号化装置の構成を示すブロック図である。
図４は、本発明の第１の実施の形態に係る動画像復号化装置での符号化データ再構成手順を示すフローチャートである。
図５は、第１の実施の形態において、３つの符号化パケットデータが動画像復号化装置に伝送される場合の符号化データ再構成手順を示すフローチャートである。
図６は、本発明の第２の実施の形態に係る動画像符号化データパケット伝送方法を実現する動画像伝送システムの構成を示すブロック図である。
図７は、本発明の第３の実施の形態に係る動画像復号化装置での符号化データ再構成手順を示すフローチャートである。
図８は、第３の実施の形態において、３つの符号化パケットデータが動画像復号化装置に伝送される場合の符号化データ再構成手順を示すフローチャートである。
【図１】
2003092295.tif 000003
【図２】
2003092295.tif 000004
【図３】
2003092295.tif 000005
【図４】
2003092295.tif 000006
【図５】
2003092295.tif 000007
【図６】
2003092295.tif 000008
【図７】
2003092295.tif 000009
【図８】
2003092295.tif 000010
【国際調査報告】
2003092295.tif 000011
2003092295.tif 000012
2003092295.tif 000013
2003092295.tif 000014