(57)【要約】【課題】  複数のパケットの集合で構成される所定のビデオ符号化フォーマットにおいて、高効率な画像伝送を行うこと。【解決手段】  多重ブロック符号化変調の各符号化ビットレベルにおけるビット誤り率特性に応じて不均一にし、ディジタル信号のデータビットに応じた誤り保護を作り出すようにした多重ブロック符号化変調方式を用いてビデオ符号化データを伝送する。該ビデオ符号化フォーマットにおける伝送制御のいずれかに係るデータビットをビット誤り率がより低い符号化ビットレベルの系統に入力し、一方、その他のデータビットをビット誤り率がより高い符号化ビットレベルの系統に入力して多重ブロック符号化変調を行う。【選択図】 図１０
2006049983.tif 000002
【特許請求の範囲】
【請求項１】
復号トレリスの１ブランチに割り当てるシンボル数ｋ（但し、ｋ＞２）を変えることにより、符号器マトリクスの各符号化ビットレベルにおける最小２乗ユークリッド距離を、多重ブロック符号化変調の各符号化ビットレベルにおけるビット誤り率特性に応じて不均一にし、ディジタル信号のデータビットに応じた誤り保護を作り出すようにした多重ブロック符号化変調方式を用い、ビデオ符号化データを伝送する画像伝送方法であって、
該ビデオ符号化フォーマットが複数のパケットの集合で構成され、該パケットに含まれるデータビットのうち、少なくともヘッダ又はマーカ、その他の伝送制御のいずれかに係るデータビットをビット誤り率がより低い符号化ビットレベルの系統に入力し、一方、その他のデータビットをビット誤り率がより高い符号化ビットレベルの系統に入力して多重ブロック符号化変調を行う
ことを特徴とする不均一誤り保護方法を用いた画像伝送方法。
【請求項２】
前記ビデオ符号化方式が、ＭＰＥＧ−４規格に基づくものであって、
ＭＰＥＧ−４ビデオ符号化フォーマットのビデオオブジェクトの時系列を構成する画面のうち、Ｉ−ＶＯＰ（フレーム内符号化ビデオオブジェクト画面）にあってはＲＭ（再同期マーカ）・ＶＰＨ（ビデオパケットヘッダ）・ＨＥＣ（ヘッダエクステンションコード）・ＤＣ（ＤＣ係数）・ＤＣＭ（ＤＣマーカ）・ＳＢ（スタッフビット）の全部又はいずれかのデータビットを、ビット誤り率が低い符号化ビットレベルの系統に、残りのデータビットをビット誤り率が高い符号化ビットレベルの系統に、それぞれ振り分けて多重ブロック符号化変調を行う
ことを特徴とする請求項１に記載の不均一誤り保護方法を用いた画像伝送方法。
【請求項３】
前記ビデオ符号化方式が、ＭＰＥＧ−４規格に基づくものであって、
ＭＰＥＧ−４ビデオ符号化フォーマットのビデオオブジェクトの時系列を構成する画面のうち、Ｂ−ＶＯＰ（フレーム間双方向ビデオオブジェクト画面）又はＰ−ＶＯＰ（フレーム間順方向ビデオオブジェクト画面）にあってはＲＭ（再同期マーカ）・ＶＰＨ（ビデオパケットヘッダ）・ＨＥＣ（ヘッダエクステンションコード）・ＭＶ（動きベクトル情報）・ＭＭ（モーションマーカ）・ＳＢ（スタッフビット）の全部又はいずれかのデータビットを、ビット誤り率が低い符号化ビットレベルの系統に、残りのデータビットをビット誤り率が高い符号化ビットレベルの系統に、それぞれ振り分けて多重ブロック符号化変調を行う
ことを特徴とする請求項１又は２に記載の不均一誤り保護方法を用いた画像伝送方法。
【請求項４】
前記ビデオ符号化方式が、ＭＰＥＧ−４規格に基づくものであって、
ＭＰＥＧ−４ビデオ符号化フォーマットにおけるビデオストリームの先頭に挿入されるＲＴＰヘッダ及びＶＯＰヘッダに係るデータビットを、ビット誤り率が低い符号化ビットレベルの系統に振り分ける
ことを特徴とする請求項１ないし３に記載の不均一誤り保護方法を用いた画像伝送方法。
【請求項５】
復号トレリスの１ブランチに割り当てるシンボル数ｋ（但し、ｋ＞２）を変えることにより、符号器マトリクスの各符号化ビットレベルにおける最小２乗ユークリッド距離を、多重ブロック符号化変調の各符号化ビットレベルにおけるビット誤り率特性に応じて不均一にし、ディジタル信号のデータビットに応じた誤り保護を作り出すようにした多重ブロック符号化変調方式を用い、ビデオ符号化データを伝送する画像伝送装置であって、
画像を入力してビデオ符号化するエンコーダ部と、
ビデオ符号化されたパケットから少なくともヘッダ又はマーカ、その他の伝送制御のいずれかに係るデータビットと、その他のデータビットを分割するデータ分割部と、
前者のデータビットをビット誤り率がより低い符号化ビットレベルの系統に、後者のデータビットをビット誤り率がより高い符号化ビットレベルの系統に入力し多重ブロック符号化変調を行う符号化部と
を送信側に備える一方、
多重ブロック符号化変調されたデータをビタビ復号する復号化部と、
上記データ分割部で分割されたデータビットをその情報に応じて再配置してビデオ符号化されたパケットを構成するデータ合成部と、
合成されたデータをデコードして画像を出力するデコーダ部と
を受信側に備えた
ことを特徴とする不均一誤り保護方法を用いた画像伝送装置。
【請求項６】
前記ビデオ符号化方式が、ＭＰＥＧ−４規格に基づくものであって、
前記データ分割部が、
ＭＰＥＧ−４ビデオ符号化フォーマットのビデオオブジェクトの時系列を構成する画面のうち、Ｉ−ＶＯＰ（フレーム内符号化ビデオオブジェクト画面）にあってはＲＭ（再同期マーカ）・ＶＰＨ（ビデオパケットヘッダ）・ＨＥＣ（ヘッダエクステンションコード）・ＤＣ（ＤＣ係数）・ＤＣＭ（ＤＣマーカ）・ＳＢ（スタッフビット）の全部又はいずれかのデータビットと、残りのデータビットとに分割する構成であって、
前記符号化部が、
前者のデータビットをビット誤り率が低い符号化ビットレベルの系統に、後者のデータビットをビット誤り率が高い符号化ビットレベルの系統に入力し多重ブロック符号化変調を行う
ことを特徴とする請求項５に記載の不均一誤り保護方法を用いた画像伝送装置。
【請求項７】
前記ビデオ符号化方式が、ＭＰＥＧ−４規格に基づくものであって、
前記データ分割部が、
ＭＰＥＧ−４ビデオ符号化フォーマットのビデオオブジェクトの時系列を構成する画面のうち、Ｂ−ＶＯＰ（フレーム間双方向ビデオオブジェクト画面）又はＰ−ＶＯＰ（フレーム間順方向ビデオオブジェクト画面）にあってはＲＭ（再同期マーカ）・ＶＰＨ（ビデオパケットヘッダ）・ＨＥＣ（ヘッダエクステンションコード）・ＭＶ（動きベクトル情報）・ＭＭ（モーションマーカ）・ＳＢ（スタッフビット）の全部又はいずれかのデータビットと、残りのデータビットとに分割する構成であって、
前記符号化部が、
前者のデータビットをビット誤り率が低い符号化ビットレベルの系統に、後者のデータビットをビット誤り率が高い符号化ビットレベルの系統に入力し多重ブロック符号化変調を行う
ことを特徴とする請求項５又は６に記載の不均一誤り保護方法を用いた画像伝送装置。
【請求項８】
前記ビデオ符号化方式が、ＭＰＥＧ−４規格に基づくものであって、
前記データ分割部が、
ＭＰＥＧ−４ビデオ符号化フォーマットにおけるビデオストリームの先頭に挿入されるＲＴＰヘッダ及びＶＯＰヘッダに係るデータビットを抽出し、
前記符号化部が、
該抽出されたデータビットをビット誤り率が低い符号化ビットレベルの系統に入力し多重ブロック符号化変調を行う
ことを特徴とする請求項５ないし７に記載の不均一誤り保護方法を用いた画像伝送装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は所定のビデオ符号化データを画像伝送する方法及び装置に関し、より詳しくは、不均一誤り保護特性を有する多重ブロック符号化変調方式を用いる技術に関するものである。
【背景技術】
【０００２】
近年、衛星通信などで画像伝送を行うために、大容量のディジタル信号伝送方式が研究されている。伝送方式としてはパーシャルレスポンス方式によって波形等化を行い、最尤復号方式によってデータの検出を行うトレリス符号化変調方式などのトレリス構造を持つ符号化方式が開発されている。
従来の技術では、ディジタル信号伝送において伝送されるデータビットに等しい誤り率特性を与えて伝送を行っている。この場合、伝送路での何らかの障害によって伝送路の提供できる信号対雑音比が所要値以下に落ちると、伝送するデータビットに許容することのできない大きな誤り率が生じ、伝送品質は一遍に大きく劣化してしまうという問題があった。
【０００３】
ここで、伝送されるデータビットは異なる重要度を有しているため、重要度の高いデータビットに対してより良い誤り率特性を割り当てることによって、伝送品質の大きな劣化が避けられ、全体の伝送品質の向上を図ることができる。これを提案したのが本件出願人らによる特許文献１に開示される技術である。
【０００４】
【特許文献１】特許第３０５１９１４号
【０００５】
本件特許の多重ブロック符号化変調に基づく不均一誤り保護方式によれば、伝送されるデータビット中の重要度の高いビットに対して、より容易に良いビット誤り率特性（ＢＥＲ特性）を与えることを可能にする。そして、全体の伝送品質を改善することが可能であり、また、復号トレリス線図がブロック構造とトレリス構造を同時に有することを利用して、ビタビ復号を実現させながら、符号長をより短くすることができ、復号に要されるメモリ、計算を減らすことができる。
【０００６】
また、画像伝送においてビデオ符号化のフォーマットが多種提案されているが、１９９３年に検討が始まったＭＰＥＧ−４と呼ばれる規格が国際的に標準化されており、高能率な符号化が図られると共に、エラー耐性に強い特徴がある。ＭＰＥＧ−４は、同時にマルチメディアを視野に入れた規格であり、インターネットにおいても積極的に利用が図られている。（非特許文献２を参照。）
【０００７】
【非特許文献２】http://wwwam.hhi.de/mpeg-video/#MPEG4
【０００８】
ＭＰＥＧ−４は移動体通信にも好適な方式であるが、例えば衛星通信などにおいて伝送時のノイズなどにより、重要なデータビットがロスした場合には、著しく伝送効率が低下し、画質の悪化や画像伝送の中断などが発生する恐れがある。
これは、従来ＭＰＥＧ−４方式で符号化されたパケットは、等しい条件で符号化され伝送していたため、伝送制御に関わる重要なデータビットも、画像データに関するデータビットも、誤り保護特性は同一であり、前者のデータビットの誤り率を下げるには全ての特性を向上させる必要があるため、全体の伝送速度が低下してしまう問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上記のような問題に鑑みて創出されたものであり、複数のパケットの集合で構成される所定のビデオ符号化フォーマットにおいて、パケット中に含まれる重要なデータビットと、通常のデータビットとに異なる誤り率保護特性を与えて高速な画像伝送を行うことを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、上記の課題を解決するために、次のような画像伝送方法を提供する。
すなわち、請求項１に記載の発明によれば、復号トレリスの１ブランチに割り当てるシンボル数ｋ（但し、ｋ＞２）を変えることにより、符号器マトリクスの各符号化ビットレベルにおける最小２乗ユークリッド距離を、多重ブロック符号化変調の各符号化ビットレベルにおけるビット誤り率特性に応じて不均一にし、ディジタル信号のデータビットに応じた誤り保護を作り出すようにした多重ブロック符号化変調方式を用い、ビデオ符号化データを伝送する画像伝送方法を用いる。
そして、該ビデオ符号化フォーマットが複数のパケットの集合で構成され、該パケットに含まれるデータビットのうち、少なくともヘッダ又はマーカ、その他の伝送制御のいずれかに係るデータビットをビット誤り率がより低い符号化ビットレベルの系統に入力し、一方、その他のデータビットをビット誤り率がより高い符号化ビットレベルの系統に入力して多重ブロック符号化変調を行うことを特徴とする。
【００１１】
請求項２に記載の発明は、上記のビデオ符号化方式が、ＭＰＥＧ−４規格に基づくものであって、ＭＰＥＧ−４ビデオ符号化フォーマットのビデオオブジェクトの時系列を構成する画面のうち、Ｉ−ＶＯＰ（フレーム内符号化ビデオオブジェクト画面）にあってはＲＭ（再同期マーカ）・ＶＰＨ（ビデオパケットヘッダ）・ＨＥＣ（ヘッダエクステンションコード）・ＤＣ（ＤＣ係数）・ＤＣＭ（ＤＣマーカ）・ＳＢ（スタッフビット）の全部又はいずれかのデータビットを、ビット誤り率が低い符号化ビットレベルの系統に、残りのデータビットをビット誤り率が高い符号化ビットレベルの系統に、それぞれ振り分けて多重ブロック符号化変調を行うものである。
【００１２】
また、請求項３に記載の発明は、同様にＭＰＥＧ−４ビデオ符号化フォーマットのビデオオブジェクトの時系列を構成する画面のうち、Ｂ−ＶＯＰ（フレーム間双方向ビデオオブジェクト画面）又はＰ−ＶＯＰ（フレーム間順方向ビデオオブジェクト画面）にあってはＲＭ（再同期マーカ）・ＶＰＨ（ビデオパケットヘッダ）・ＨＥＣ（ヘッダエクステンションコード）・ＭＶ（動きベクトル情報）・ＭＭ（モーションマーカ）・ＳＢ（スタッフビット）の全部又はいずれかのデータビットを、ビット誤り率が低い符号化ビットレベルの系統に、残りのデータビットをビット誤り率が高い符号化ビットレベルの系統に、それぞれ振り分けて多重ブロック符号化変調を行うことを特徴とするものである。
【００１３】
請求項４に記載の発明によれば、同じくＭＰＥＧ−４ビデオ符号化フォーマットにおけるビデオストリームの先頭に挿入されるＲＴＰヘッダ及びＶＯＰヘッダに係るデータビットを、ビット誤り率が低い符号化ビットレベルの系統に振り分けることを特徴とする。
【００１４】
さらに、本発明は次のような画像伝送装置を提供することもできる。
すなわち、請求項５に記載の発明は、上記と同様の多重ブロック符号化変調方式を用いてビデオ符号化データを伝送する画像伝送装置であって、画像を入力してビデオ符号化するエンコーダ部と、ビデオ符号化されたパケットから少なくともヘッダ又はマーカ、その他の伝送制御のいずれかに係るデータビットと、その他のデータビットを分割するデータ分割部と、前者のデータビットをビット誤り率がより低い符号化ビットレベルの系統に、後者のデータビットをビット誤り率がより高い符号化ビットレベルの系統に入力し多重ブロック符号化変調を行う符号化部とを送信側に備える。
一方で受信側には、多重ブロック符号化変調されたデータをビタビ復号する復号化部と、上記データ分割部で分割されたデータビットをその情報に応じて再配置してビデオ符号化されたパケットを構成するデータ合成部と、合成されたデータをデコードして画像を出力するデコーダ部とを備えることを特徴とする。
【００１５】
さらに、請求項６に記載の発明は、ビデオ符号化方式が、ＭＰＥＧ−４規格に基づくものであって、前記データ分割部が、ＭＰＥＧ−４ビデオ符号化フォーマットのビデオオブジェクトの時系列を構成する画面のうち、Ｉ−ＶＯＰ（フレーム内符号化ビデオオブジェクト画面）にあってはＲＭ（再同期マーカ）・ＶＰＨ（ビデオパケットヘッダ）・ＨＥＣ（ヘッダエクステンションコード）・ＤＣ（ＤＣ係数）・ＤＣＭ（ＤＣマーカ）・ＳＢ（スタッフビット）の全部又はいずれかのデータビットと、残りのデータビットとに分割する構成であって、前記符号化部が、前者のデータビットをビット誤り率が低い符号化ビットレベルの系統に、後者のデータビットをビット誤り率が高い符号化ビットレベルの系統に入力し多重ブロック符号化変調を行うものである。
【００１６】
請求項７に記載の発明によると、前記データ分割部が、ＭＰＥＧ−４ビデオ符号化フォーマットのビデオオブジェクトの時系列を構成する画面のうち、Ｂ−ＶＯＰ（フレーム間双方向ビデオオブジェクト画面）又はＰ−ＶＯＰ（フレーム間順方向ビデオオブジェクト画面）にあってはＲＭ（再同期マーカ）・ＶＰＨ（ビデオパケットヘッダ）・ＨＥＣ（ヘッダエクステンションコード）・ＭＶ（動きベクトル情報）・ＭＭ（モーションマーカ）・ＳＢ（スタッフビット）の全部又はいずれかのデータビットと、残りのデータビットとに分割する構成であって、前記符号化部が、前者のデータビットをビット誤り率が低い符号化ビットレベルの系統に、後者のデータビットをビット誤り率が高い符号化ビットレベルの系統に入力し多重ブロック符号化変調を行うことを特徴とする。
【００１７】
請求項８に記載の発明では、同様に、データ分割部が、ＭＰＥＧ−４ビデオ符号化フォーマットにおけるビデオストリームの先頭に挿入されるＲＴＰヘッダ及びＶＯＰヘッダに係るデータビットを抽出し、前記符号化部が、該抽出されたデータビットをビット誤り率が低い符号化ビットレベルの系統に入力し多重ブロック符号化変調を行う画像伝送装置を提供することができる。
【発明の効果】
【００１８】
以上の発明により次の効果を奏する。
すなわち、ビデオ符号化されたパケットから少なくともヘッダ又はマーカ、その他の伝送制御のいずれかに係るデータビットについては、ビット誤り率が低い符号化ビットレベルの系統に入力するので、強力な誤り率保護特性を備えることができる一方、その他のデータビットについては、ビット誤り率が相対的に高い符号化ビットレベルの系統に入力することで、高速な通信が可能であり、大容量の動画像データであっても、好適に送信を行うことができる。
このように、ビデオ符号化データの伝送には本件出願人が従前に提案した不均一誤り保護特性を備えた符号化方式を採用することは極めて好適であり、特に本願におけるデータの分割方法により、最適な画像伝送を実現することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態を、図面に示す実施例を基に説明する。なお、実施形態は下記に限定されるものではない。
図１は、本発明によるディジタル通信画像伝送システムの１例であって、地上局Ａ（１）と地上局Ｂ（２）の間で通信衛星（３）を用いて構成している。
【００２０】
各地上局（１）（２）には、それぞれ動画像撮影用のビデオカメラ（１０）、撮影した画像を入力してディジタルデータとして処理する公知のパソコン（MPEG-4 CODEC）（１１）、該パソコン（１１）をネットワーク接続するルータ（１２）、本発明の要部に係る変復調装置（１３）を配設している。
また、変復調装置（１３）において出入力される１４０ＭＨｚの信号を、地上局Ａ（１）からはＫａバンドで、地上局Ｂ（２）からはＳバンドでアンテナ（１４）（１５）から送受信するために周波数変換装置（１６）（１７）を設けている。
【００２１】
変復調装置（１３）の構成を図２に示す。図示の通り、変復調装置（１３）にはルータ（１２）との動画像ディジタル入出力信号を同時に２個処理できるように、２つのインターフェース（２０）（２０）を備え、データバッファ（２１）を介してベースバンドユニット（３０）に至る。
ベースバンドユニット（３０）には送信側の送信ベースバンド処理部（３１）と、受信側の受信ベースバンド処理部（３２）を設けている。
【００２２】
本発明では、データインターフェース（２２）で動画像ディジタルデータに含まれる情報の重要度に応じて、データビットを３つのレベル（Ｌ１，Ｌ２，Ｌ３）の３系統に振り分ける。送信ベースバンド処理部（３１）では、それぞれのレベル毎に、後述のようにブロック符号化変調処理部（３３）で符号化処理する。
【００２３】
ブロック符号化変調された信号点を、Ｉ・Ｑマッピング処理部（３４）において、同相成分と直交成分に分け、フレーム化処理（３５）、ロールオフフィルタ（３６）（３６）を経て、ディジタル・アナログコンバータ（３７）（３７）によりアナログ信号に変換される。
そして、送信ＩＦユニット（４０）から１４０ＭＨｚの送信ＩＦ信号を送出する。
【００２４】
一方、通信衛星（３）から受信した信号は周波数変換装置を経て、受信ＩＦユニット（４１）に入力し、ベースバンドユニット（３０）で復調処理される。
このとき、フィルタ群を経てアナログ・ディジタルコンバータ（４２）（４２）によりディジタル信号に変換され、ロールオフフィルタ（４３）（４３）を介して本発明に係るＣＡＬ・ＣＬＫ同期処理部（４４）に入力する。
【００２５】
搬送波再生されたディジタル信号は、フレーム同期処理部（４５）、ブロック符号化復調処理部（４６）を経て、各レベルＬ１，Ｌ２，Ｌ３毎にビタビ復号処理部（４７）で復号化処理される。ビタビ復号の処理方法は公知の技術を用いることができる。復号信号はＲ／Ｓ復号化処理部（４８）を介してデータインターフェース（２３）に出力される。
【００２６】
また、本実施形態では、外部データをレベル毎に入力及び出力する外部端子（４９）（５０）や、誤り率を測定するための実験用として疑似雑音符号を発生するＰＮ符号部（５１）を送信側に、ビット誤り率特性（ＢＥＲ特性）を測定する内部ＢＥＲ測定部（５２）を受信側にそれぞれ設けている。これらは通常の変復調器では特に配設しなくともよい。
【００２７】
ここで、特許文献１に係る技術を簡単に説述する。ブロック符号化変調は予め決められたビット数ごとにまとめてブロック化し、それぞれのブロックごとにブロック符号化変調の操作を行うものである。
図３に１例として８相ＰＳＫ信号点配置を用いた符号化器のビットマトリクス及び８相ＰＳＫ信号の生成法を示す。但し、これはトレリスの１ブランチにｋ個のシンボルが割り当てられている場合を示している。
【００２８】
図において、横の列を符号化ビットレベルと呼び、上からの順でｌ１、ｌ２ 、…、ｌk+2でラベルされている。また、縦の１つの列は後で述べる復号トレリス線図の１ブランチと対応する。従って、縦の１つの列からｋ個のシンボルを構成する必要がある。
このｋ個のシンボルは同図の下部に示すように、符号化ビットレベルｌ１ とｌ２からの２ビットを共通ビットとして各自の先頭の２ビットに用い、そして３ビット目にそれぞれｌ３、ｌ４、…、ｌk+2 からのビットを用いる。
【００２９】
図３において、ａ1 、ａ2 、…、ａ6k+7はデータビットであり、ｃ1 、ｃ2 、…、ｃk+1 はそれぞれ符号化ビットレベルｌ3 、ｌ4 、…、ｌk+2 におけるパリティ検査ビットである。検査ビットは数１に従う。
【００３０】
【数１】
2006049983.tif 000003
【００３１】
ここで、各符号化ビットレベルにおける最小２乗ユークリッド距離ＭＳＥＤは、それぞれのレベルの最小ハミング距離ＭＨＤとセット分割の際にそのレベルと対応するサブセットのＭＳＥＤの積から得られる。ここで、符号化ビットレベルｌ１とｌ２のビットがｋ個のシンボルで重複使用されていることから、レベルの総ＭＨＤがそのレベルの符号のＭＨＤのｋ倍となる。従って、各符号化ビットレベルのＭＳＥＤは数２のように計算できる。
【００３２】
【数２】
2006049983.tif 000004
【００３３】
従って、ｋ＞２であれば、符号化ビットレベルｌ３とその以下の符号化ビットレベルのＭＳＥＤが大きい値８．０に保持されるまま、符号化ビットレベルｌ１とｌ２のＭＳＥＤを更に大きくすることができる。このように、本件出願人らによる方法を適用することで、データの重要度によって符号化ビットレベルｌ１〜ｌ３（或いはそれ以上の符号化ビットレベル）に振り分けることで不均一な誤り訂正特性を実現することができる。シミュレーションによると、ｋ＝６の場合、ｌ２はｌ３以下に比して３．５ｄＢ程度耐性を向上させることができる。
【００３４】
実際に本手法をシミュレーションした結果を図４に示す。図４はｋ＝６のときの各レベルのＢＥＲ特性を示している。例えばレベルｌ１とｌ２に重要度の高いビットを載せ、他のレベル（ｌ３以降）に重要度の低いビットを載せることにすると、同じＢＥＲ＝１０-4を得るのに重要度の高いビットは約３．４ｄＢ以上の少ないＥb ／Ｎ0で済む。但し、Ｅb ／Ｎ0はデータビット当たりの信号対雑音比である。また、ｌ１はｌ２に比して差は小さいものの０．５〜０．８ｄＢ程度Ｅb ／Ｎ0を向上させることができる。
【００３５】
本発明では、上記技術を用いて、ビデオ符号化データを好適に伝送する技術を提供するものである。本実施例ではビデオ符号化フォーマットの例として、ＭＰＥＧ−４を用いる。一般的に複数のパケットの集合からなるビデオ符号化フォーマットでは、伝送制御に係るデータビットと、その他の例えば画像情報などに係るデータビットを有しており、本発明はＭＰＥＧ−４規格に限らず任意のビデオフォーマットに適用することができる。
【００３６】
ＭＰＥＧ−４のビデオ符号化では、符号化効率を高めるため、AC/DC予測、８×８ブロック動き予測、直接予測、スプライト（背景合成手法）などの技術や任意形状画像への対応を図るために、２値形状符号化、多値形状符号化、各種パディング手法、ポリゴンマッチングなどが採用されている。
また、エラー耐性ツールとして、生成ビット長を基準としたパケット分割、データ・パーティショニング、スタッフィング・バイトの改善などが図られており、エラーを隠蔽するような手法が導入されている。従って、ビットストリームにエラーが混入しても、受信側の画像や音声では分かりにくく、エラー耐性に優れた伝送方式を実現している。
【００３７】
本実施例においては、ビデオカメラ（１０）で撮影した映像をパソコン（１１）に入力し、公知のＭＰＥＧ−４エンコード技術により符号化する。該エンコーダの構成としては、例えば図５にブロック図を示すような構成が一般的であり、パソコン（１１）のＣＰＵにより各処理を行っている。
【００３８】
ビデオ符号化においては、ビデオオブジェクトの時系列をＶＯ（Video Object）と呼び、そのＶＯを構成する各画面をＶＯＰ（Video Object Plane）と呼んでいる。ＭＰＥＧ−４規格では、図６に示すようにＩ−ＶＯＰ（フレーム内符号化ＶＯＰ）（６１）、Ｐ−ＶＯＰ（フレーム間順方向予測符号化ＶＯＰ）（６２）、Ｂ−ＶＯＰ（フレーム間双方向予測符号化ＶＯＰ）（６３）や、図示しないがＳ−ＶＯＰ（スプライトＶＯＰ）を含めた４種類の予測符号化によるＶＯＰがある。
なお、ＶＯＰはＭＰＥＧ−１／２などにおいてはピクチャと呼ばれておりそれぞれ、Ｉピクチャ、Ｐピクチャ、Ｂピクチャに対応している。
【００３９】
そして、各ＶＯＰにおける形状情報（７０）を矩形形状、二値形状、多値形状の３種類によって表現し、ＣＰＵの形状符号化部（６４）が形状情報（７０）として符号化する。ＭＰＥＧ−４規格では、この形状情報に対して、動き予測部（６５）及び動き補償部（６６）で形状情報の動き補償を行うことにより動画を構成している。
【００４０】
これらの技術については公知であるが、例えば二値形状符号化における動き補償について示すと、Ｐ−ＶＯＰ（６２）及びＢ−ＶＯＰ（６３）について符号化対象の１６ピクセル四方のブロック（ＢＡＢ）に近接するブロック（ＢＡＢ）や、近傍テクスチャブロック（ＭＢ）から形状予測動きベクトル（ＭＶ）を決定する。
そして、決定された動きベクトル（ＭＶ）で得られた参照ブロックと、着目するブロック（ＢＡＢ）との形状誤差を求めて、それが閾値以内であれば、この形状予測動きベクトル（ＭＶ）を動きベクトル情報（７１）として出力する。
【００４１】
また、テクスチャ符号化部（６７）においてはテクスチャ情報（７２）を生成する。ＭＰＥＧ−４規格におけるテクスチャ符号化は動き補償以後のブロックレイヤでの符号化を指し、量子化、ＤＣＴ、ＤＣＴ係数のハフマン符号化を行っている。
テクスチャ符号化部（６７）、及び動き補償部（６６）からの出力を、再び動き予測部（６５）及び動き補償部（６６）に前画面の再構成ＶＯＰ（６９）として入力することにより上記動き補償の処理が繰り返される。
【００４２】
以上の各処理で得られた形状情報（７０）、動きベクトル情報（７１）、テクスチャ情報（７２）は多重化部（６８）により合成され、バッファ（２１）からＭＰＥＧ−４規格のＶＯＰビットストリームとして出力される。
【００４３】
ＶＯＰビットストリームをより詳細に説述すると、図７に示すように画面（８０）上の所定領域のＶＯＰ（８１）は複数のビデオパケット（８２）〜（８８）から構成されている。図８に示すように、各ビデオパケット（８２）〜（８８）は時系列的に配置されて一連のVOPビットストリーム（８９）となる。
【００４４】
さらに１個のビデオパケット、例えばVideo Packet1（８２）は、図９に示されるように予測符号化の種類によりデータビットが羅列している。
すなわち、Ｉ−ＶＯＰ（９０）においては、再同期マーカ（ＲＭ）（９１）から始まり、次いでビデオパケットヘッダ（ＶＰＨ）（９２）、ヘッダ拡張コード（ＨＥＣ）（９５）、ＤＣ係数（９６）、ＤＣマーカ（９７）、ＡＣ係数（９８）、スタッフビット（９９）の各データビットが連なっている。ビデオパケットヘッダ（９２）は、マクロブロック数（ＭＢＮ）（９３）及びQuantScale（ＱＳ）（９４）の各データビットが含まれる。
【００４５】
一方、Ｐ−ＶＯＰの場合（１００）には、再同期マーカ（ＲＭ）（１０１）から始まり、次いでビデオパケットヘッダ（ＶＰＨ）（１０２）、ヘッダ拡張コード（ＨＥＣ）（１０５）、動きベクトル情報（１０６）、モーションマーカ（１０７）、テクスチャ情報（１０８）、スタッフビット（１０９）の各データビットが連なっている。ビデオパケットヘッダ（１０２）は、マクロブロック数（ＭＢＮ）（１０３）及びQuantScale（ＱＳ）（１０４）の各データビットが含まれる。
なお、本実施例ではＢ−ＶＯＰは画像伝送に用いていないため図９には示していないが、Ｂ−ＶＯＰについてもＰ−ＶＯＰと同様に適用することができる。
【００４６】
従来、ＭＰＥＧ−４規格の画像伝送において、ＶＯＰビットストリームは均一な誤り率保護特性を有するディジタル伝送方式により伝送していたため、データビットのうちヘッダ又はマーカ、その他の伝送制御に係る重要なデータビットと、ＡＣ係数（９８）やテクスチャ情報（１０８）などの画像データに係るデータビットとが等しい誤り率保護を与えられていた。
しかしながら、ディジタル画像伝送方式において、伝送制御に係るデータビットと、データ自体のデータビットとでは、前者は情報量が少なく多少伝送速度が低下しても誤り率を抑制すべきであるのに対し、後者は情報量も多く伝送速度の向上が望まれる一方で、エラーが生じてもその影響が軽微であるため、誤り率は相対的に高くても実用上大きな支障がない。
【００４７】
これらの要求に応えるため、上記特許文献１の技術は好適であり、本発明では特にＭＰＥＧ−４規格の場合に、各ＶＯＰの場合（９０）（１００）に、再同期マーカ（９１または１０１）からＤＣマーカ（９７）もしくはモーションマーカ（１０７）までのデータビットをビット誤り率が低い符号化ビットレベルの系統にて伝送し、その他のデータビットを相対的にビット誤り率が高い符号化ビットレベルの系統にて伝送するように構成した。
【００４８】
上記伝送制御に係るデータビットの中でもとりわけ再同期マーカ（９１または１０１）は、ストリーム中にエラーが混入した場合に再びデコードを開始できるポイントとなるものであり、該マーカを検出するまでのデータビットがすべて破棄されるため、該マーカの受信にエラーが生じることは、伝送速度の大きな低下を招くことになる。
したがって、例えば再同期マーカ（９１または１０１）は符号化ビットレベルｌ１に、その他の伝送制御に係るデータビットは符号化ビットレベルｌ２に入力し、画像データ自体は符号化ビットレベルｌ３に入力するようにしてもよい。
【００４９】
さらに、上記Ｂ−ＶＯＰ又はＰ−ＶＯＰの場合（１００）に、動きベクトル情報（１０６）と、テクスチャ情報（１０８）とを、モーションマーカ（１０７）により分離している。これを一般的にデータパーティショニングと呼んでいる。
このような場合、テクスチャ情報（１０８）がエラーによって損失した場合でも、動きベクトル情報（１０６）のみでも参照画面の動きベクトルが指す参照マクロブロック（ＭＢ）で代用することにより、ある程度正確な再生ができる。
従って、モーションマーカ（１０７）は再同期マーカ（１０１）と同様に最重要なデータビットであり、符号化ビットレベルｌ１において伝送してもよい。また、上記構成のように、動きベクトル情報（１０６）をビット誤り率が低い符号化ビットレベルの系統で伝送することだけでも、正確な再生に寄与することが裏付けられる。
【００５０】
さらに、本発明の実施形態として、ＶＯＰビットストリーム（８９）を伝送する際に、図１０に示すようにその最初にＲＴＰヘッダ（１１０）及びＶＯＰヘッダ（１１１）のデータビットが挿入されている。
これらの各ヘッダ（１１０）（１１１）情報は、ビデオ符号化による画像伝送方式において、最重要の情報であり、常に最もビット誤り率が低い符号化ビットレベルの系統において伝送することが望ましい。
【００５１】
本発明による以上の技術は、図１０にまとめられるように、伝送制御に係る重要なヘッダ情報（１１０）（１１１）は、例えば符号化ビットレベルｌ１及びｌ２を用いて伝送し、各ビデオパケットにおける重要な情報は同じく符号化ビットレベルｌ１及びｌ２、その他の情報は符号化ビットレベルｌ３とする。
【００５２】
不均一誤り率保護特性によると、ビット誤り率が低い符号化ビットレベルに入力されると、伝送効率は低下するものパケットの損失が生じにくく、重要な制御情報が確実に伝達される。一方で、ビット誤り率が高い符号化ビットレベルでは、伝送効率が顕著に向上するため、多くのデータ量を伝送することにより高精細な画像再生や、或いは回線速度が低い場合であっても、画像を伝送することが可能となる。
【００５３】
具体的な実施形態としては、前記MPEG-4 CODEC （パソコン）（１１）の多重化部（６８）において形状情報（７０）、動きベクトル情報（６８）、テクスチャ情報（７２）から上記ＶＯＰビットストリーム（８９）及びそのヘッダ（１１０）（１１１）が形成される際に、図１０のようにデータを分割し、入力すべき符号化ビットレベル及びデータ位置の情報を各ビットに付加し、バッファ（２１）に向けて送出することができる。
【００５４】
データインターフェース（２２）のバッファ（２１）では、付加された符号化ビットレベルの情報に基づいてＬ１ないしＬ３の各系統に入力する。
一方で、受信ＩＦユニット（４１）で受信した後は、ベースバンドユニット（３０）で復調し、各系統からバッファ（２１）に入力される。バッファ（２１）では分割されたデータビットから、再び元のＶＯＰビットストリーム（８９）及びそのヘッダ（１１０）（１１１）に再構成する。
【００５５】
多重化部（６８）において情報を付加する方法は適宜設計することができる。一例として、図９においてＡＣ係数（９８）又はテクスチャ情報（１０８）のみをＬ３の系統に入力する場合、その他の伝送制御に係るデータビットにはＬ１及びＬ２の系統を指示する所定のビット列を付加し、さらにＡＣ係数（９８）又はテクスチャ情報（１０８）を挿入する位置にそれを示す所定のビット列を挿入しバッファに送信する。
一方、ＡＣ係数（９８）又はテクスチャ情報（１０８）にはＬ３の系統を指示する所定のビット列及び、ビデオパケット番号を指示する所定のビット列を付加する。
【００５６】
受信側のバッファ（２１）では、Ｌ３の系統から入力したデータビットを、ビデオパケット番号を参照してＬ１及びＬ２の系統から入力したデータビットに合成する。その際、Ｌ３から入力したデータビットは、ＡＣ係数（９８）又はテクスチャ情報（１０８）を挿入する位置にそれを示す所定のビット列が挿入されている位置に合成する。さらに、入力する符号化ビットレベルＬ１〜Ｌ３を指示するビット列は除去する。
以上の処理によって一般的な多重化部（６８）において形成されたヘッダ（１１０）（１１１）及びＶＯＰビットストリーム（８９）と同様の符号化データと等しくなる。
【００５７】
本発明は、このようにビデオ符号化データを、不均一誤り保護特性を有する伝送方式により伝送するものであり、伝送制御に係る情報と、その他の情報を異なる符号化ビットレベルを用いて伝送する技術である。従って、必ずしもＭＰＥＧ−４のビデオ符号化方式に限るものではなく、任意のビデオ符号化方式にて採用することができる。
【図面の簡単な説明】
【００５８】
【図１】本発明の不均一誤り保護方法を用いた画像伝送方法を実装する通信システムの全体図である。
【図２】本発明に係る画像伝送方法を実装する変復調装置の構成図である。
【図３】不均一誤り保護を提供するビットマトリクスの１例である。
【図４】符号化ビットレベルによる誤り率特性を示すグラフである。
【図５】一般的なＭＰＥＧ−４ビデオ符号化のエンコーダのブロック図である。
【図６】ＭＰＥＧ−４規格におけるＶＯＰの分類を示す説明図。
【図７】ＶＯＰの構成を示す説明図である。
【図８】ＶＯＰビットストリームの構成を示す説明図である。
【図９】ビデオパケットの構成を示す説明図である。
【図１０】本発明に係るデータ分割を示す説明図である。
【符号の説明】
【００５９】
８９    ＶＯＰ
１１０    ＲＴＰヘッダ
１１１    ＶＯＰヘッダ
【図１】
2006049983.tif 000005
【図２】
2006049983.tif 000006
【図３】
2006049983.tif 000007
【図４】
2006049983.tif 000008
【図５】
2006049983.tif 000009
【図６】
2006049983.tif 000010
【図７】
2006049983.tif 000011
【図８】
2006049983.tif 000012
【図９】
2006049983.tif 000013
【図１０】
2006049983.tif 000014