(57)【特許請求の範囲】
【請求項１】
１画像フレームを複数の単位領域に分割し、各単位領域毎に、その単位領域の画像内容で定まる動き補償フレーム間符号化方式又はフレーム内符号化方式に従って圧縮符号化して動画像符号化データを出力する動画像伝送装置Ａと、圧縮符号化された上記動画像符号化データを復号化する動画像伝送装置Ｂとを備えた動画像伝送システムにおいて、
上記動画像伝送装置Ｂは、
動画像符号化データに対する復号において、復号中の画像フレームでの誤り開始位置を検出すると、又は、動画像符号化データに対する復号において復号できなかった、復号中の画像フレームの範囲を検出すると、画像フレームの識別情報と共にその誤り開始位置又は復号できなかった範囲の情報を含む誤り発生情報を上記動画像伝送装置Ａに伝送する情報伝送手段を備え、
上記動画像伝送装置Ａは、
上記誤り発生情報を受け取ると、この誤り発生情報に係る画像フレームからこれから符号化しようとする画像フレームまでの各画像フレームにおけるエラー伝搬範囲を見積もって、これから符号化しようとする画像フレームにおいて、上記誤り発生情報に係る誤りの影響が及ぶ部分範囲を推定する推定手段と、
これから符号化しようとする画像フレームにおいて、上記推定手段が推定した部分範囲に属する全ての単位領域に対しては強制的にフレーム内符号化方式に従って圧縮符号化すると共に、上記推定手段が推定した部分範囲外の各単位領域に対してはその単位領域の画像内容で定まる動き補償フレーム間符号化方式又はフレーム内符号化方式に従って圧縮符号化するリフレッシュ手段とを備え、
上記動画像伝送装置Ａの上記推定手段は、誤り発生情報を受け取ると、誤り発生情報に係る画像フレーム上に誤りの影響が及ぶ部分範囲を設定し、その次の画像フレームに対しては、その設定された誤りの影響が及ぶ部分範囲の周囲に対し、動きベクトル探索範囲分ずつ拡大した範囲を誤りの影響が及ぶ部分範囲に設定し直し、この動きベクトル探索範囲分ずつの範囲拡大を画像フレームを進める毎に行って、これから符号化しようとする画像フレームにおいて誤りの影響が及ぶ部分範囲の推定範囲を得る
ことを特徴とする動画像伝送システム。
【請求項２】
１画像フレームを複数の単位領域に分割し、各単位領域毎に、その単位領域の画像内容で定まる動き補償フレーム間符号化方式又はフレーム内符号化方式に従って圧縮符号化して動画像符号化データを出力する動画像伝送装置Ａと、圧縮符号化された上記動画像符号化データを復号化する動画像伝送装置Ｂとを備えた動画像伝送システムにおいて、
上記動画像伝送装置Ｂは、
動画像符号化データに対する復号において、復号中の画像フレームでの誤り開始位置を検出すると、又は、動画像符号化データに対する復号において復号できなかった、復号中の画像フレームの範囲を検出すると、画像フレームの識別情報と共にその誤り開始位置又は復号できなかった範囲の情報を含む誤り発生情報を上記動画像伝送装置Ａに伝送する情報伝送手段を備え、
上記動画像伝送装置Ａは、
動画像符号化データを既に出力した過去所定数の各画像フレームについて、各単位領域毎に、その単位領域について圧縮符号化した結果、符号量が０となるか否かの有意情報を記憶する有意情報記憶手段と、
上記誤り発生情報を受け取ると、この誤り発生情報に係る画像フレームからこれから符号化しようとする画像フレームまでの各画像フレームにおけるエラー伝搬範囲を上記有意情報をも用いて見積もって、これから符号化しようとする画像フレームにおいて、上記誤り発生情報に係る誤りの影響が及ぶ部分範囲を推定する推定手段と、
これから符号化しようとする画像フレームにおいて、上記推定手段が推定した部分範囲に属する全ての単位領域に対しては強制的にフレーム内符号化方式に従って圧縮符号化すると共に、上記推定手段が推定した部分範囲外の各単位領域に対してはその単位領域の画像内容で定まる動き補償フレーム間符号化方式又はフレーム内符号化方式に従って圧縮符号化するリフレッシュ手段とを備え、
上記動画像伝送装置Ａの上記推定手段は、誤り発生情報を受け取ると、誤り発生情報に係る画像フレーム上に誤りの影響が及ぶ部分範囲を設定し、その次の画像フレームに対しては、その設定された誤りの影響が及ぶ部分範囲の、有意情報が、圧縮符号化した結果符号量が０でなかったことを表している周囲に対し、動きベクトル探索範囲分ずつ拡大した範囲を誤りの影響が及ぶ部分範囲に設定し直し、この動きベクトル探索範囲分ずつの範囲拡大を画像フレームを進める毎に行って、これから符号化しようとする画像フレームにおいて誤りの影響が及ぶ部分範囲の推定範囲を得る
ことを特徴とする動画像伝送システム。
【請求項３】
１画像フレームを複数の単位領域に分割し、各単位領域毎に、その単位領域の画像内容で定まる動き補償フレーム間符号化方式又はフレーム内符号化方式に従って圧縮符号化して動画像符号化データを出力する動画像伝送装置において、
対向する動画像伝送装置が、復号中の画像フレームでの誤り開始位置を検出したとき、又は、動画像符号化データに対する復号において復号できなかった復号中の画像フレームの範囲を検出したときに、送信した情報であって、画像フレームの識別情報と共にその誤り開始位置又は復号できなかった範囲の情報を含む誤り発生情報を受け取ると、この誤り発生情報に係る画像フレームからこれから符号化しようとする画像フレームまでの各画像フレームにおけるエラー伝搬範囲を見積もって、これから符号化しようとする画像フレームにおいて、上記誤り発生情報に係る誤りの影響が及ぶ部分範囲を推定する推定手段と、
これから符号化しようとする画像フレームにおいて、上記推定手段が推定した部分範囲に属する全ての単位領域に対しては強制的にフレーム内符号化方式に従って圧縮符号化すると共に、上記推定手段が推定した部分範囲外の各単位領域に対してはその単位領域の画像内容で定まる動き補償フレーム間符号化方式又はフレーム内符号化方式に従って圧縮符号化するリフレッシュ手段とを備え、
上記推定手段は、誤り発生情報を受け取ると、誤り発生情報に係る画像フレーム上に誤りの影響が及ぶ部分範囲を設定し、その次の画像フレームに対しては、その設定された誤りの影響が及ぶ部分範囲の周囲に対し、動きベクトル探索範囲分ずつ拡大した範囲を誤りの影響が及ぶ部分範囲に設定し直し、この動きベクトル探索範囲分ずつの範囲拡大を画像フレームを進める毎に行って、これから符号化しようとする画像フレームにおいて誤りの影響が及ぶ部分範囲の推定範囲を得る
ことを特徴とする動画像伝送装置。
【請求項４】
１画像フレームを複数の単位領域に分割し、各単位領域毎に、その単位領域の画像内容で定まる動き補償フレーム間符号化方式又はフレーム内符号化方式に従って圧縮符号化して動画像符号化データを出力する動画像伝送装置において、
動画像符号化データを既に出力した過去所定数の各画像フレームについて、各単位領域毎に、その単位領域について圧縮符号化した結果、符号量が０となるか否かの有意情報を記憶する有意情報記憶手段と、
対向する動画像伝送装置が、復号中の画像フレームでの誤り開始位置を検出したとき、又は、動画像符号化データに対する復号において復号できなかった復号中の画像フレームの範囲を検出したときに、送信した情報であって、画像フレームの識別情報と共にその誤り開始位置又は復号できなかった範囲の情報を含む誤り発生情報を受け取ると、この誤り発生情報に係る画像フレームからこれから符号化しようとする画像フレームまでの各画像フレームにおけるエラー伝搬範囲を上記有意情報をも用いて見積もって、これから符号化しようとする画像フレームにおいて、上記誤り発生情報に係る誤りの影響が及ぶ部分範囲を推定する推定手段と、
これから符号化しようとする画像フレームにおいて、上記推定手段が推定した部分範囲に属する全ての単位領域に対しては強制的にフレーム内符号化方式に従って圧縮符号化すると共に、上記推定手段が推定した部分範囲外の各単位領域に対してはその単位領域の画像内容で定まる動き補償フレーム間符号化方式又はフレーム内符号化方式に従って圧縮符号化するリフレッシュ手段とを備え、
上記推定手段は、誤り発生情報を受け取ると、誤り発生情報に係る画像フレーム上に誤りの影響が及ぶ部分範囲を設定し、その次の画像フレームに対しては、その設定された誤りの影響が及ぶ部分範囲の、有意情報が、圧縮符号化した結果符号量が０でなかったことを表している周囲に対し、動きベクトル探索範囲分ずつ拡大した範囲を誤りの影響が及ぶ部分範囲に設定し直し、この動きベクトル探索範囲分ずつの範囲拡大を画像フレームを進める毎に行って、これから符号化しようとする画像フレームにおいて誤りの影響が及ぶ部分範囲の推定範囲を得る
ことを特徴とする動画像伝送装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は動画像伝送システム及び動画像伝送装置に関し、例えば、動画像を圧縮符号化して伝送を行うときのデマンドリフレッシュシステムなどとして適用し得るものである。
【０００２】
【従来の技術】
デジタル通信において、膨大な情報量を持つ動画像データを送信しようとする場合には、動画像データは情報圧縮を施されて冗長性を削られる。文献１：ＩＴＵ−Ｔ勧告Ｈ．２６１（ＴＴＣ標準（高位レイヤプロトコル符号化方式：ＪＴ−Ｈ．２６１勧告））で規定されているような動画像符号化方式は、その代表的な圧縮符号化方法である。この圧縮方法は、時間的に前のフレームとの差分を符号化（フレーム間符号化画像モード（ＩＮＴＥＲモード）と呼ぶ。）して、時間方向の冗長度を削減したり、或いはその差分をとらずに画像に直交変換を施して符号化（フレーム内符号化画像モード（ＩＮＴＲＡモード）と呼ぶ。）することによって空間方向の冗長度を削減する。
【０００３】
このように符号化された動画像圧縮データに誤りが生じた場合に、画像が大きく歪み、時間的に前のフレームとの差分を符号化しているので後のフレームに歪みがそのまま伝搬していく。多地点会議システムのような双方向の通信が可能なシステムにおいては、このような誤りに対処するため、上述の文献１では、「画像更新要求」という機能が準備されている。
【０００４】
受信側で誤りが検出されると送信側に対して画面更新要求信号を伝送し、送信側ではその画面更新要求信号を受けるとその符号化装置は、次の画面１フレームを強制的にフレーム内符号化画像モードで符号化して伝送する。フレーム内符号化画像モードで符号化を行うと前のフレームの歪みの影響を受けることはない。前の歪みの影響を受けないような符号化方式で画像１フレーム全体又は一部分を符号化し（文献１のＨ．２６１の符号化方式であるとすると、画像１フレーム全体又は一部分を強制的にフレーム内符号化画像モードで符号化することに相当）て伝送することを、ここでは『リフレッシュする』と呼び、リフレッシュされた画像のことをリフレッシュ画像と呼ぶことにする。
【０００５】
受信側から更新要求の信号を伝送し、それに対応して送信側からリフレッシュ画像を伝送することを『デマンドリフレッシュ』と呼ぶ。
【０００６】
図２は、従来のデマンドリフレッシュ方法を説明する図である。この図２において、左から右に向かって時間が流れているものとし、送信側では画像１フレーム毎に符号化して受信側に伝送する。図中の斜線で塗られている四角の面積によって、送信される画像１フレーム当たりの符号量を表している。一般にフレーム内符号化画像モードだけで符号化する場合はフレーム間符号化画像モードを含んで符号化する場合よりも符号量が多くなる。
【０００７】
例えば、図２の３フレーム目を復号しようとするときに誤りが検出されたとすると、受信側は送信側に向かって画面更新要求信号を伝送する。送信側は画面更新要求信号を受けると、次に伝送する画像フレーム（６フレーム目）は強制的にフレーム内符号化画像モードで符号化する。
【０００８】
【発明が解決しようとする課題】
一般にフレーム間符号化画像モードで符号化した場合と比べると、フレーム内符号化画像モードで符号化した場合、符号量が著しく増加する。誤りによる画像の歪みを、上述の文献１のＩＴＵ−Ｔ勧告Ｈ．２６１で用意されている画面更新要求機能を用いて回復していこうとする場合、画面１フレーム分を全てフレーム内符号化画像モードで伝送しなければならない。フレーム内符号化画像モードでの符号化の符号量の増加によってバッファのオーバフローを回避するように符号化パラメータを変化させると、量子化が粗くなってブロック歪みなどによる画像の劣化が生じるといった問題があった。
【０００９】
以上のようなことから、動画像符号化データの伝送において、符号伝送量を増加させることなく、伝送路の影響などによるデータ誤りが起きても従来に比べて能率的にデマンドリフレッシュを行い、復号画質を向上させることができる動画像伝送システム及び動画像伝送装置の提供が要請されている。
【００１０】
【課題を解決するための手段】
そこで、本発明は、動画像を圧縮符号化して動画像符号化データを出力する動画像伝送装置Ａと、圧縮符号化された上記動画像符号化データを復号化する動画像伝送装置Ｂとを備えた動画像伝送システムにおいて、以下の特徴的な構成で上述の課題を解決するものである。
【００１１】
即ち、本発明の上記動画像伝送装置Ｂは、動画像符号化データに対する復号で得た画像フレームのデータに誤りを検出する、又は動画像符号化データに対する復号において復号できなかった画像範囲を検出すると、その誤り検出位置又は復号できなかった画像範囲を、誤り検出位置情報又は復号不可範囲情報として上記動画像伝送装置Ａに伝送する情報伝送手段を備える。
【００１２】
更に、本発明の上記動画像伝送装置Ａは、上記誤り検出位置情報又は復号不可範囲情報を受け取ると、この誤り検出位置情報又は復号不可範囲情報から画像フレーム中の誤り位置又は復号不可範囲を認識すると共に、認識した誤り検出位置又は復号不可範囲の画像データに影響する画像部分を推定する推定手段と、この推定手段による推定結果を利用することによって圧縮符号化してリフレッシュ画像データを生成して上記動画像伝送装置Ｂに伝送するリフレッシュ画像伝送手段とを備えるものである。
【００１３】
【作用】
本発明によれば、復号化側の動画像伝送装置Ｂにおいて、動画像符号化データに対する復号で得た画像フレームのデータに誤りを検出すると、その誤り検出位置を、誤り検出位置情報として上記動画像伝送装置Ａに伝送するものである。そして、符号化側の動画像伝送装置Ａは、上記誤り検出位置情報を受け取ると、この誤り検出位置情報から画像フレーム中の誤り検出位置を認識すると共に、認識した誤り検出位置の画像データに影響する画像部分を推定し、この推定による推定結果を利用することによって圧縮符号化してリフレッシュ画像データを生成して上記動画像伝送装置Ｂに伝送することができるのである。
【００１４】
このような構成によって、符号化側が誤り検出位置情報を復号化側から受け取ることによって、画像の誤りの影響が及ぶ画像部分を推定して、その部分のみをリフレッシュして伝送することができるので、符号伝送量を増加させることなく、伝送路の影響などによるデータ誤りが起きても従来に比べて能率的にデマンドリフレッシュを行い、復号画質を向上させることができる。
【００１５】
また、復号化側の動画像伝送装置Ｂにおいて、動画像符号化データに対する復号において復号できなかった画像範囲を検出すると、復号できなかった画像範囲を、復号不可範囲情報として上記動画像伝送装置Ａに伝送する。そして、符号化側の動画像伝送装置Ａは、上記復号不可範囲情報を受け取ると、復号不可範囲を認識すると共に、復号不可範囲の画像データに影響する画像部分を推定し、この推定による推定結果を利用することによって圧縮符号化してリフレッシュ画像データを生成して上記動画像伝送装置Ｂに伝送することができるのである。
【００１６】
このような構成によって、符号化側で復号不可範囲情報を復号化側から受け取ることによって、復号不可範囲の影響が及ぶ画像部分を推定して、その部分のみをリフレッシュして伝送することができるので、符号伝送量を増加させることなく、伝送路の影響などによるデータ誤りが起きても従来に比べて能率的にデマンドリフレッシュを行い、復号画質を向上させることができる。
【００１７】
【実施例】
次に本発明を動画像のデマンドリフレッシュシステムに適用した場合の好適な実施例を図面を用いて説明する。そこで、本実施例では、動画像１フレームをある大きさの領域に分割し、符号化して伝送し、受信側で動画像符号化データを復号して誤りが生じていることを送信側に通知して、送信側よりその誤りの影響のないリフレッシュ画像を伝送するデマンドリフレッシュ方法において、受信側からの誤り通知として、画像フレーム中の誤り検出位置情報を送信側に伝送し、送信側では誤りの影響が及ぶ可能性がある部分を推定して、その部分をリフレッシュして伝送するように構成する。
【００１８】
また、動画像１フレームをある大きさの領域に分割し、符号化して伝送し、受信側で動画像符号化データを復号して誤りが生じていることを送信側に通知して、送信側よりその誤りの影響のないリフレッシュ画像を伝送するデマンドリフレッシュ方法において、受信側からの誤り通知として、画像フレーム中で受信側では復号することのできなかった画像部分についての情報を送信側に伝送し、送信側では誤りの影響が及ぶ可能性がある部分を推定して、その部分をリフレッシュして伝送するように構成するものである。
【００１９】
更に、受信側からの誤り通知としての誤り位置情報を送信側で受けとったときに、誤りの影響が及ぶ可能性がある部分を推定する際に、動画像符号化における動きベクトルの探索範囲を利用して推定するように構成する。更にまた、送信側で動画像を符号化する際に、有意領域かそうでないかという情報を記憶しておき、受信側からの誤り通知としての誤り位置情報を送信側で受けとったときに、その記憶した有意領域についての情報をもとに誤りの及ぶ可能性がある部分を推定するように構成する。
【００２０】
『第１実施例』：    図１は本第１実施例のデマンドリフレッシュシステムを説明するための図である。この図１において、左から右に向かって時間が流れているものとし、送信側の動画像符号・復号化装置では画像１フレーム毎に符号化して受信側に伝送する。図中の斜線で塗られている四角の面積によって送信される画像１フレーム当たりの符号量を表している。また、送信側の動画像符号・復号化装置には、動画像符号器１ａ、動画像復号器１ｂを備え、受信側の動画像符号・復号化装置にも動画像符号器２ａ、動画像復号器２ｂが備えられているものとする。『従来のデマンドリフレッシュ方法では、誤りが検出されると誤り通知のために画面更新要求信号が受信側から送信側に伝送されるが、本第１実施例では画像１フレームの中の誤り検出位置についての情報Ｍを誤り通知のために受信側の動画像符号器２ａから送信側の動画像復号器１ｂに伝送する』。
【００２１】
送信側では誤り位置の情報Ｍを動画像復号器１ｂで受けると、誤りが発生して歪んだ画像フレームから、これから伝送する画像フレームの前のフレームまでの数フレーム（図１では３フレーム）の間で、『誤り又は誤りが伝搬することにより歪んでいる可能性のある部分及び次にフレーム間符号化画像モードで符号化するときに歪みの影響を受ける可能性のある画像部分を送信側で推定する』。『送信側で推定された画像部分だけを強制的にフレーム内符号化画像モードで符号化し、その他の画像部分は通常の符号化を行う』。
【００２２】
（動画像符号器１ａ、２ａの構成）：    図３は動画像符号器の機能構成図である。この図３において、動画像符号器は、情報源符号器２０１と、ビデオ信号多重化符号器２０２と、送信バッファ２０３と、伝送路符号器２０４と、符号化制御器２０５と、誤り位置情報送信回路２０６とから構成されている。
【００２３】
動画像の原データであるビデオ信号は、世界共通の中間フォーマット（ＣＩＦ：Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ・ＱＣＩＦ：Ｑｕａｒｔｅｒ  ＣＩＦ（１／４ＣＩＦ））で表されており、この動画像データを符号化する場合には、図５の動画像データの階層的分割の説明図に示すように、ＧＯＢ（Ｇｒｏｕｐ  Ｏｆ  Ｂｌｏｃｋ）、マクロブロック、８×８画素のブロックに階層的に分割する。図中、ピクチャの中の番号（ＣＩＦ：１〜１２、ＱＣＩＦ：１、３、５）はＧＯＢ番号、ＧＯＢの中の番号（１〜３３）はマクロブロックアドレス、マクロブロックの中の番号（１〜６）はブロック番号である。ブロックにおける数字（８）は、１ブロック当たりの縦横それぞれの画素数である。
【００２４】
動画像符号器１ａでは、ビデオ信号を入力として、情報源符号器２０１で情報源符号化される。情報源符号器２０１では、先ずマクロブロックごとに動き補償フレーム間予測を行い、次にその予測誤差をブロックごとに直交変換した後に量子化する。予測は通常フレーム間符号化画像モードで行われるが、シーンチェンジのときなどは動画像の原データがそのまま直交変換される（フレーム内符号化画像モード）。動き補償フレーム間予測誤差を直交変換するか（フレーム間符号化画像モード）、又は動画像の原データをそのまま直交変換するか（フレーム内符号化画像モード）の判断は、例えば、予測誤差データと原データとの分散値を比較することによって決定される。
【００２５】
符号量を少なくするようなモードを選択することが望ましい。従来においては、画面更新要求信号を受けとった場合には、その次の画面１フレームをフレーム内符号化画像モードで符号化する。しかし、『本第１実施例では誤り位置情報を受けとった場合には、送信側で誤りによる歪みの影響が及ぶ可能性のある部分を推定し、その部分を強制的にフレーム内符号化画像モードで符号化する』。
【００２６】
直交変換には、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）が用いられ、画素領域の表現から周波数領域の表現に変換する。周波数領域の表現に変換され量子化されたデータは、ビデオ信号多重化符号器２０２に入力される。ビデオ信号多重化符号器２０２は、情報源符号化されたデータに対して可変長符号化を行い、更にヘッダ情報を多重化する。
【００２７】
このヘッダ情報とは、フレームヘッダ（フレーム開始符号（同期を獲得するための同期符号）、フレーム番号、フレームタイプ情報、予備情報）、ＧＯＢヘッダ（ＧＯＢ開始符号（同期を獲得するための同期符号）、ＧＯＢ番号、量子化特性情報、予備情報）、マクロブロックヘッダ（マクロブロックアドレス、マクロブロックタイプ情報、量子化特性情報、動きベクトル情報、有意ブロックパターン）である。
【００２８】
情報源符号器２０１、ビデオ信号多重化符号器２０２で情報源符号化、多重化されたデータは、送信バッファ２０３に与えられる。この送信バッファ２０３は、送信速度を一定にするためのメモリ回路である。そして、送信バッファ２０３は、バッファ内の状態を符号化制御器２０５に通知する。符号化制御器２０５は、情報源符号器２０１に制御信号を与え、情報発生量の増減を指示する。更に、符号化制御器２０５は、ビデオ信号多重化符号器２０２に制御信号を出して、情報発生量の増減指示内容を与え、送信バッファ２０３に対する流入量制御を行う。
【００２９】
更に、送信バッファ２０３は、伝送路符号器２０４に対して必要な時期に多重化データを読み出して与える。伝送路符号器２０４は、送信バッファ２０３が空のときのダミービット挿入、誤り訂正符号の付加などを行って符号化ビット列を出力する。
【００３０】
本発明において特徴的な構成の、受信側の動画像符号器２ａの誤り位置情報送信回路２０６は、受信側の動画像復号器２ｂからの誤り検出信号（誤り位置に関する情報を含む）を与えられると、誤り位置情報を送信するものである。この誤り位置情報は伝送路符号器２０４から出力させても良いし、また、直接伝送路へ出力することでもよい。
【００３１】
『本第１実施例では、受信側から誤り位置情報を受けとったときに、受信側で復号された画像フレーム中で誤りによる歪みの影響が及ぶ可能性のある部分を送信側で推定するものである』。
【００３２】
（動画像復号器１ｂ、２ｂの構成）：    図４は動画像復号器１ｂ、２ｂの機能構成図である。この図４において、動画像復号器は、伝送復号器２０７と、受信バッファ２０８と、ビデオ信号多重化復号器２０９と、情報源復号器２１０と、誤り位置情報受信回路２１１と、誤り影響領域推定回路２１２とから構成されている。
【００３３】
伝送復号器２０７は、動画像符号化器１ａ又は２ａからの符号化ビット列を受信し、ダミービットを除去すると共に、誤りの有無を検出し、誤っている場合には誤り訂正を行い、受信バッファ２０８に与える。受信バッファ２０８は、到着する受信データに対する復号化処理時間を保証するためのメモリ回路で、必要な時期にビデオ信号多重化復号器２０９に与える。
【００３４】
ビデオ信号多重化復号器２０９は、圧縮後のデータの切り出しをするために、階層構造を考慮して可変長復号化を行い、情報源復号器２１０に与える。伝送復号器２０７で訂正しきれなかった誤りによって、ビデオ信号多重化復号器２０９においての圧縮後のデータの切り出しの際に矛盾（例えば、可変長符号表に存在しない系列が切り出される。）が生じ、復号不可能になる場合がある。このように復号不可能になった場合にはビデオ信号多重化復号器２０９は誤り検出信号（誤り位置に関する情報を含む。）を出力する。
【００３５】
情報源復号器２１０は、圧縮された情報を伸長するための演算処理、具体的には逆ＤＣＴ、逆量子化、動き補償などを行ってビデオ信号を表示装置などに再生出力する。この発明で特徴的な構成の、誤り位置情報受信回路２１１は、受信側の動画像符号器からの誤り位置情報を受信し、この情報を誤り影響領域推定回路２１２に与える。尚、受信側の動画像符号器からの誤り位置情報は、伝送復号器２０７で取り込み、ここから誤り位置情報受信回路２１１に取り込むように構成してもよい。
【００３６】
誤り影響領域推定回路２１２は、誤り位置情報から誤りによる歪みの影響が及ぶ可能性のある部分を推定し、推定情報を動画像符号器に与えて歪みの影響が及ぶ可能性のある部分の画像の符号化をフレーム内符号化画像モードで行わせるのである。
【００３７】
図６は誤りが影響する部分の送信側での推定の説明図である。この図６において、送信側で推定される部分を斜線５１とドット５２とで記している。符号化されたデータは、ＧＯＢ番号、マクロブロックアドレス、ブロック番号のそれぞれ小さい方から大きい方に向かって並べられて伝送される。また、各ＧＯＢの間には同期を獲得するための同期符号が挿入されている。
【００３８】
従って、図６（ａ）に表しているような画像の位置で誤りが検出された場合、同期符号が正しく検出できれば、その画像フレームＡの内、斜線５１で示した部分が受信側で復号できていないと考えられる。可変長符号化を施されているので、誤りが検出されると次に現われる同期符号を獲得するまでは復号することができない。
【００３９】
ここでは、受信側において復号できなかった部分は前のフレームの同じ部分をそのまま表示することにする。受信側で誤りが検出されると送信側に対して、その誤り位置情報を、図６（ａ）の場合、ＧＯＢ番号５、マクロブロックアドレス２１という情報として伝送する。
【００４０】
上述の文献１：ＩＴＵ−Ｔ勧告Ｈ．２６１で規定されている符号化方式では、動き補償をするための動きベクトルは水平垂直共＋１５〜−１５画素の範囲に限られる。従って、図６（ａ）の斜線５１で示した部分が次の画像フレームＢの中で影響を与える可能性がある部分は、図６（ｂ）のドット５２で記している部分である。更に、次の画像フレームＣの中で影響を与える可能性がある部分は図６（ｃ）のドット５３で記している部分である。
【００４１】
このようにして、歪んでいる可能性のある画像部分は、送信側で推定され、その画像部分は図６（ｄ）の細かい斜線５４で記した部分になる。送信側で誤り位置情報を受けとってから次のフレームＤを符号化するときには、この部分はフレーム内符号化画像モードで符号化を行い、更にこの部分が他の部分をフレーム間符号化画像モードで符号化する際に影響する部分（図６（ｄ）の粗い斜線５５で記した部分）もフレーム内符号化画像モードで符号化を行うものである。
【００４２】
（動作）：    図１、図３、図４を参照してデマンドリフレッシュの動作を説明する。先ず、送信側の動画像符号・復号化装置は、動画像を動画像符号器１ａで符号化して、１フレーム〜６フレームの画像データを伝送路符号器２０４から伝送路に出力する。受信側の動画像符号・復号化装置は、動画像復号器２ｂで上記１フレームから順番に受信し、復号化するわけであるが、例えば、図１に示すように３フレームを受信し、これをフレームＡとしたときに、画像データに誤りを検出すると、受信側の動画像符号器２ａの誤り位置情報送信回路２０６は、フレームＡにおける誤り位置のＧＯＢ番号、マクロブロックアドレスなどを情報として送信し、送信側の動画像復号器１ｂに伝送する。
【００４３】
送信側の動画像復号器１ｂは、誤り位置情報を誤り位置情報受信回路２１１で受信する。この受信によって誤り位置情報を検出し、この情報を誤り影響領域推定回路２１２に与える。誤り影響領域推定回路２１２は、誤り位置情報から誤り影響領域を推定し、誤り影響領域推定信号を動画像符号器１ａに与える。これによって、符号化制御器２０５は、誤り影響領域推定信号から推定した誤り影響領域に対応する画像部分を強制的にフレーム内符号化画像モードで符号化し、その他の画像部分はフレーム間符号化画像モード又はフレーム内符号化画像モードで符号化して、図１の６フレームとして受信側に伝送し、受信側ではフレームＤとして受信し、誤りのあった画像をリフレッシュ表示するものである。
【００４４】
（第１実施例の効果）：    以上の第１実施例のデマンドリフレッシュシステムによれば、送信側で誤り位置情報を受け取ったときには、画像１フレーム分すべてをフレーム内符号化画像モードで必ずしも伝送する必要はなく、誤りによる画像の歪みから回復するために伝送する符号量を減少させることができる。符号量を減少できることにより、量子化をより細かくすることができ、ブロック歪みなどの画像の劣化を減少させることができる。
【００４５】
具体的には、送信側の動画像符号・復号化装置の誤り影響領域の推定は、動画像符号化における動きベクトル探索範囲を利用して行うことで、推定精度を良くすることができる。
【００４６】
また、送信側の動画像符号・復号化装置は、推定された上記画像部分の画像データに対してフレーム内符号化を行い、その他の画像部分はフレーム間符号化を含んで行うことで、符号化情報量を増加させることがない。
【００４７】
従って、動画像符号化データの伝送において、符号伝送量を増加させることなく、伝送路の影響などによるデータ誤りが起きても従来に比べて能率的にデマンドリフレッシュを行い、復号画質を向上させることができる動画像伝送システム及び動画像伝送装置を実現することができる。
【００４８】
『第２実施例』：
本第２実施例においても、図１に示すように、『送信側で誤り位置情報Ｍを受信側から受け取ると、誤りの影響が及ぶ画像部分を推定し、その部分を強制的にフレーム内符号化画像モードで符号化する』。但し、『上述の第１実施例と異なることは、誤りの影響が及ぶ画像部分の推定方法である』。本第２実施例の推定方法は、『送信側で誤り位置情報を受け取ったときに、フレーム内符号化画像モードで符号化する部分を、上述の第１実施例より更に減少させるために、送信側で以前符号化したフレーム情報の一部を残しておき、その情報を利用するものである』。
【００４９】
上述の文献１：ＩＴＵ−Ｔ勧告Ｈ．２６１による動画像符号器では、一つのマクロブロックに情報がない場合、即ち、動きベクトルがゼロで、且つ変換係数が全てゼロの場合、そのマクロブロックの情報は伝送されない。そこで、本第２実施例では、『マクロブロックに情報がある、又はないという情報をＣＯＤ（ＣＯＤｅｄ  ｉｎｄｉｃａｔｉｏｎ）情報として送信側に残しておく』。そして、
『各画像フレームに対するＣＯＤ情報を送信側での誤りの影響が及ぶ画像部分の推定に用いる』。
【００５０】
このＣＯＤ情報は、誤り位置情報を受信側より伝送してからリフレッシュ画像を受け取るまでの間に受信側で受け取ったフレーム、即ち、図１のフレームＡ〜フレームＣの分、フレーム数Ｆだけ必要である。最新のＦ枚のフレームのＣＯＤ情報だけを残しておきそれよりも古くなったフレームのＣＯＤ情報は捨てるものである。
【００５１】
マクロブロックに情報がある場合に０、マクロブロックに情報がない場合に１を残すことにすると、送信側で残しておく情報量Ｂビットは多くても、
Ｂ＝［１フレーム当りのマクロブロック数］×Ｆ              …（１）
となる。尚、Ｆは誤り位置情報を伝送してからリフレッシュされた画像を受け取るまでの間に受け取ったフレーム数である。
【００５２】
例えば、ＣＩＦのフォーマットの画像で且つ図１のような例の場合、高々（３３×１２）×３＝１１８８ビットだけの最新のＣＯＤ情報を送信側で残しておくことでよいのであるから、動画像符号器に対するハードウエア上の負担は非常に少なくすることができる。
【００５３】
図７、図８は本第２実施例の誤りの影響が及ぶ範囲を送信側で推定する様子を示す図である。図７、図８の左側の（ａ１）、（ｂ１）、（ｃ１）、（ｄ１）の図は送信側に残されるＣＯＤ情報であり、右側の（ａ２）、（ｂ２）、（ｃ２）、（ｄ２）の図は、送信側で推定する誤りの影響が及ぶ可能性がある部分を斜線で記している。
【００５４】
図１に示したように受信側のフレームＡで誤りが検出され、図７（ａ２）の×印の位置７１で誤りを検出した場合、誤り位置情報として、ＧＯＢ番号５、マクロブロックアドレス２１という情報が受信側から送信側へ伝送されたとする。ＧＯＢの間の同期符号が正しく検出されるならば、その誤りによって復号できない部分は斜線部分７３である。
【００５５】
ここで上述の第１実施例と同様に、受信側において復号できなかった部分は前のフレームの同じ部分をそのまま表示することにする。送信側に残されているＣＯＤ情報（図７（ａ１））によって、情報のあるマクロブロック７４のみに歪みが生じていると判断できるので、上述の第１実施例のときよりも送信側で推定される『受信側で復号できなかった部分』は小さくなる。
【００５６】
上述の第１実施例と同様に、動きベクトルは水平・垂直共に＋１５〜−１５画素の範囲に限られているので、受信側で次の画像フレームＢを復号したときに誤りの影響が及ぶ可能性がある部分は、図７（ｂ２）の７２の領域である。フレームＢのＣＯＤ情報（図７（ｂ１））も送信側に残されているので、そのＣＯＤ情報を用いると、情報のないマクロブロックとなっているところは誤りの影響が及んでいないと判断できる。更に、フレームＣも同様に動きベクトルの範囲とフレームＣのＣＯＤ情報を用いると、図８（ｃ２）の領域８１が誤りの影響が及ぶ可能性のある部分である。従って、送信側で誤り位置情報を受け取り、強制的にフレーム内符号化画像モードで符号化しなければならないのは、図８（ｄ２）の領域８２の部分だけである。
【００５７】
（第２実施例の効果）：    以上の第２実施例のデマンドリフレッシュシステムによれば、送信側で誤り位置情報を受け取ったときに、次の画像フレーム中の全てのマクロブロックをフレーム内符号化画像モードで必ずしも伝送する必要はなく、一部分だけをフレーム内符号化画像モードで符号化すればよい。そのため、伝送符号量を減少させることができる。符号量を減少できることによって量子化をより細かくすることができ、ブロック歪みなどの画質劣化を減少させることができる。そのための送信側で残しておく情報は僅かでよいので、ハードウエア的な負担は小さい。
【００５８】
具体的には、上述の第１実施例の効果に加えて、動画像符号・復号化装置は、動画像に対する圧縮符号化において、所定領域（マクロブロック）ごとに有意な情報の有無（ＣＯＤ情報による情報の有無）を記憶する手段を備えると共に、誤り影響領域の推定において、上記有意情報を利用して推定を行うことで、能率的にしかも精度良く誤り影響領域を推定することができる。
【００５９】
従って、動画像符号化データの伝送において、符号伝送量を増加させることなく、伝送路の影響などによるデータ誤りが起きても従来に比べて能率的にデマンドリフレッシュを行い、復号画質を向上させることができる動画像伝送システム及び動画像伝送装置を実現することができる。
【００６０】
『第３実施例』：
図９は第３実施例のデマンドリフレッシュシステムの説明図である。上述の図１と同様に左から右に向かって時間が流れているものとし、送信側では画像１フレーム毎に符号化して受信側に伝送する。図中の斜線で塗られている四角の面積によって送信される画像１フレーム当たりの符号量を表している。
【００６１】
上述の第１実施例、第２実施例では『画像１フレームの中の誤り検出位置についての情報Ｍを誤り通知のために伝送した』。しかし、本第３実施例では、『受信側で復号することのできなかった画像部分（範囲）の情報Ｎを誤り通知のために伝送する』。
【００６２】
更に、本第３実施例においては、送信側では受信側で復号することのできなかった画像部分の情報Ｎを受け取ると、『誤りが発生して歪んだ画像フレームから、これから伝送する画像フレームの前のフレームまでの数フレーム、図９では３フレーム（フレームＡ〜Ｃ）の間で、誤り又は誤りが伝搬することにより歪んでいる可能性のある部分及び次にフレーム間符号化画像モードで符号化するときに歪みの影響を受ける可能性がある画像部分を送信側で推定する』。送信側で推定された画像部分だけを強制的にフレーム内符号化画像モードで符号化し、その他の画像部分は通常で符号化を行う。
【００６３】
本第３実施例の動画像符号器１ａ´、２ａ´は、上述の第１実施例、第２実施例と同じように構成するが、特徴的には受信側からの復号できなかった画像部分の情報Ｎを用いることによって、受信側で復号された画像フレーム中で誤りによる歪みの影響が及ぶ可能性のある部分を送信側で推定するように構成する。
【００６４】
図１０は誤りが影響する部分の送信側での推定の説明図である。この図１０において、送信側で推定される部分を斜線とドットで記している。符号化されたデータは、上述したようにＧＯＢ番号、マクロブロックアドレス、ブロック番号のそれぞれ小さい方から大きい方に向かって並べられて伝送される。また、各ＧＯＢの間には同期を獲得するための同期符号が挿入されている。図１０（ａ）に示しているのは、誤りが検出されて更に次の同期符号が正しく検出できなかった場合である。このときに、その画像フレームＡの内、斜線で示した部分１０１が受信側で復号できていないと考えられる。
ここでも上述の第１実施例、第２実施例と同様、受信側において復号できなかった部分は、前のフレームの同じ部分をそのまま表示することにする。受信側で誤りが検出されると送信側に対して、『受信側で復号できなかった画像部分についての情報（ここでは『復号不可範囲情報』と呼ぶ。）、図１０（ａ）の場合はＧＯＢ番号５とマクロブロックアドレス２１〜ＧＯＢ番号６、マクロブロックアドレス３３という情報』を伝送する。そして、上述の第１実施例と同様に、動き補償をするための動きベクトルは水平・垂直共＋１５〜−１５画素の範囲に限られるので、図１０（ａ）の斜線で示した部分１０１が次の画像フレームＢの中で影響を与える可能性のある部分は図１０（ｂ）のドットで記した部分１０２である。
【００６５】
更に、次の画像フレームＣの中で影響を与える可能性のある画像部分は、図１０（ｃ）のドットで記されている部分１０３である。このようにして歪んでいる可能性のある画像部分は、送信側で推定され、その画像部分は図１０（ｄ）の細かい斜線で示した部分１０４になる。送信側で復号不可範囲情報を受けとってから次のフレームＤを符号化するときには、この部分はフレーム内符号化画像モードで符号化を行い、更に、この部分が他の部分をフレーム間符号化画像モードで符号化する際に影響する部分（図１０（ｄ）の粗い斜線部分１０５）もフレーム内符号化画像モードで符号化を行うものである。
【００６６】
（第３実施例の効果）：    以上の第３実施例のデマンドリフレッシュシステムによれば、上述の第１実施例と同じような効果を得ることができると共に、送信側において、受信側で復号できなかった画像部分の情報を受けとったときに、次の画像フレーム中の全てのマクロブロックをフレーム内符号化画像モードで必ずしも伝送する必要はなく、一部分だけをフレーム内符号化画像モードで符号化すればよい。
【００６７】
更に、上述の第１実施例、第２実施例と異なることは、『受信側で誤り検出した位置からすぐ次の同期符号を検出することができなくても、誤り伝搬している可能性のある画像部分を確実にリフレッシュすることができる』。
【００６８】
具体的には、送信側の動画像符号・復号化装置の誤り影響領域の推定は、動画像符号化における動きベクトル探索範囲を利用して行うことで、推定精度を良くすることができる。
【００６９】
また、送信側の動画像符号・復号化装置は、推定された上記画像部分の画像データに対してフレーム内符号化を行い、その他の画像部分はフレーム間符号化を含んで行うことで、符号化情報量を増加させることがない。
【００７０】
従って、動画像符号化データの伝送において、符号伝送量を増加させることなく、伝送路の影響などによるデータ誤りが起きても従来に比べて能率的にデマンドリフレッシュを行い、復号画質を向上させることができる動画像伝送システム及び動画像伝送装置を実現することができる。
【００７１】
（他の実施例）：    （１）尚、以上の第１実施例〜第３実施例において、符号化方式として文献１：ＩＴＵ−Ｔ勧告Ｈ．２６１の符号化方式を例にして説明したが、画像フレームの分割や動きベクトルの範囲を含め、他の方式でも適用することができる。
【００７２】
（２）また、上述の第１実施例、第２実施例において、受信側で誤り検出した位置からすぐ次の同期符号は必ず獲得できるものとして述べたが、「同期符号を獲得できない」ということは、「誤りを検出した」ということに含まれるので、同期符号を獲得できなかった位置の情報も誤り通知として送信側に伝送すれば良い。即ち、図６（ａ）の状態では誤り位置情報として、ＧＯＢ番号５、マクロブロックアドレス２１、及びＧＯＢ番号６、マクロブロックアドレス１を送信側に伝送する。
【００７３】
画像１フレーム当たりの受信側から送信側への誤り通知として、複数の誤り位置を伝送すれば、受信側で誤り検出した位置からすぐ次の同期符号は必ず獲得できるものとしなくても、うまくリフレッシュすることができる。
【００７４】
（３）更に、上述の第３実施例においては、第１実施例からＣＯＤ情報を用いた第２実施例に拡張したように、ＣＯＤ情報を送信側に残すことによって、更にリフレッシュする部分を減少させることもできる。
【００７５】
（４）更にまた、図４では動画像復号器１ｂ、２ｂに誤り影響領域推定回路２１２を備えるように構成したが、他の実施態様として、動画像符号器１ａ、２ａ内に備えて、動画像復号器１ｂ、２ｂの誤り位置情報受信回路２１１からの誤り位置情報によって誤り影響領域を推定して符号化制御を行うように構成しても同じような効果を得ることができる。
【００７６】
（５）また、上述の実施例ではＩＴＵ−Ｔ勧告Ｈ．２６１による画像符号化方式を例にして説明したが、蓄積メディア系（例えば、ビデオＣＤ対応）動画像符号化方式であるＭＰＥＧ−１にも適用することができる。具体的には、ＣＤ  ＲＯＭをベースにしたＤＶ−Ｉ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｉｎｔｅｒａｃｔｉｖｅ、会話型デジタル・ビデオ）などにも適用することができる。また、テレビ会議システム、テレビ電話システムなどにも適用することができる。
【００７７】
（６）更に、メディア統合系画像符号化であるＭＰＥＧ２にも適用することができる。具体的には、デジタルＨＤＴＶシステムにも適用することができる。
【００７８】
【発明の効果】
以上述べた様に本発明によれば、符号伝送量を増加させることなく、伝送路の影響などによるデータ誤りが起きても従来に比べて能率的にデマンドリフレッシュを行い、復号画質を向上させる動画像伝送システム及び動画像伝送装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１実施例のデマンドリフレッシュシステムを説明する図である。
【図２】従来のデマンドリフレッシュ方法を説明する図である。
【図３】第１実施例の動画像符号器の機能構成図である。
【図４】第１実施例の動画像復号器の機能構成図である。
【図５】動画像データの階層的分割の説明図である。
【図６】第１実施例のフレームＡ〜Ｄにおける誤りが影響する部分の送信側での推定の説明図である。
【図７】第２実施例のフレームＡ、Ｂにおける誤りが影響する部分の送信側での推定の説明図である。
【図８】第２実施例のフレームＣ、Ｄにおける誤りが影響する部分の送信側での推定の説明図である。
【図９】第３実施例のデマンドリフレッシュシステムの説明図である。
【図１０】第３実施例のフレームＡ〜Ｄにおける誤りが影響する部分の送信側での推定の説明図である。
【符号の説明】
１ａ、２ａ…動画像符号器、１ｂ、２ｂ…動画像復号器、２０１…情報源符号器、２０２…ビデオ信号多重化符号器、２０３…送信バッファ、２０４…伝送路符号器、２０５…符号化制御器、２０６…誤り位置情報送信回路、２０７…伝送復号器、２０８…受信バッファ、２０９…ビデオ信号多重化復号器、２１０…情報源復号器、２１１…誤り位置情報受信回路、２１２…誤り影響領域推定回路。
【図１】
0003630474.tif 000002
【図２】
0003630474.tif 000003
【図３】
0003630474.tif 000004
【図４】
0003630474.tif 000005
【図５】
0003630474.tif 000006
【図６】
0003630474.tif 000007
【図７】
0003630474.tif 000008
【図８】
0003630474.tif 000009
【図９】
0003630474.tif 000010
【図１０】
0003630474.tif 000011