(57)【特許請求の範囲】
【請求項１】
フレーム内符号化画像であるＩピクチャとフレーム間順方向予測符号化画像であるＰピクチャとを有する動画データを供給する動画データ供給手段と、前記動画データ供給手段から目的の動画データを取り出す動画データ取得手段と、前記Ｉピクチャと前記Ｉピクチャ以前の他のピクチャとの順方向予測符号化画像であるエラー訂正ピクチャを計算する差分データ計算手段と、前記Ｉピクチャ、前記Ｐピクチャ及び前記エラー訂正ピクチャを伝送路に送信するデータ送信手段と、前記エラー訂正ピクチャに前記Ｉピクチャと同じ時間情報を付加するための時間情報付加手段とを備える動画送信装置。
【請求項２】
前記エラー訂正ピクチャは、前記Ｉピクチャの直前の前記Ｐピクチャと前記Ｉピクチャとの順方向予測符号化画像である請求項１記載の動画送信装置。
【請求項３】
前記エラー訂正ピクチャは、現在のＩピクチャの直前のＩピクチャと前記現在のＩピクチャとの順方向予測符号化画像である請求項１記載の動画送信装置。
【請求項４】
前記データ送信手段は、エラー訂正ピクチャを、前記Ｉピクチャの前または後に配置して送信するものである請求項２又は３記載の動画送信装置。
【請求項５】
前記エラー訂正ピクチャを送信するための差分データ送信手段を更に備える請求項１ないし４のいずれか記載の動画送信装置。
【請求項６】
冗長度制御データを受信する冗長度制御データ受信手段を更に備え、前記データ送信手段は、前記冗長度制御データを用いてエラー訂正ピクチャの送信の有無の判断をする請求項１ないし５のいずれか記載の動画送信装置。
【請求項７】
伝送路からフレーム内符号化画像であるＩピクチャとフレーム間順方向予測符号化画像であるＰピクチャと前記Ｉピクチャと前記Ｉピクチャより以前の他のピクチャとの順方向予測符号化画像であるエラー訂正ピクチャとを有する動画データを受信するデータ受信手段と、エラー訂正ピクチャを用いてエラーを回復するエラー回復手段と、前記データ受信手段によって受信された動画データから画像を復号する復号手段と、前記復号手段によって復号された画像を表示する表示手段と、前記エラー訂正ピクチャに時間情報が含まれる場合は、前記時間情報によって前記エラー訂正ピクチャを選別する冗長データ選別手段とを備えることを特徴とする動画受信装置。
【請求項８】
前記エラー訂正ピクチャは、前記Ｉピクチャの直前の前記Ｐピクチャと前記Ｉピクチャとの順方向予測符号化画像である請求項７記載の動画受信装置。
【請求項９】
前記エラー訂正ピクチャは、現在のＩピクチャの直前のＩピクチャと前記現在のＩピクチャとの順方向予測符号化画像である請求項７記載の動画受信装置。
【請求項１０】
前記エラー訂正ピクチャを受信するための差分データ受信手段を更に備える請求項７ないし９のいずれか記載の動画受信装置。
【請求項１１】
冗長度制御データを送信するための冗長度制御データ送信手段を更に備える請求項７ないし１０のいずれか記載の動画受信装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はエラーが無視できないパケットネットワークにおいて、動画伝送時のエラー回復に関するものである。
【０００２】
【従来の技術】
従来、動画送信装置に蓄積された動画データを伝送路を通して動画受信装置に転送する際のエラー回復方法として、動画送信装置があらかじめエラー回復のための冗長データを用意し、動画受信装置においてエラーが発生した際は、その冗長データを用いてエラーを回復する方法などが知られている。
【０００３】
一般に、動画データは、時間的に連続した複数の静止画像から構成されていると見なすことができ、ＭＰＥＧ画像圧縮方式では、Ｉピクチャ（フレーム内符号化画像）とＰピクチャ（フレーム間順方向予測符号化画像）とＢピクチャ（双方向予測符号化画像）とで構成されていて、動画データの時間方向における冗長性の削減が行われている。また、ランダムジャンプを実現するために周期的にＩピクチャが現れるような構成となっている。このような構成は、ＶＯＤ（ビデオオンデマンド）システムのような装置に有効である。
【０００４】
従来の動画伝送におけるエラー回復方法を用いた装置の一例を図１０に示す。動画送信装置１００１は、ネットワーク・インタフェース手段１００４と、データ送信手段１００５と、データ受信手段１００６と、動画を供給する動画データ供給手段１００７と、目的のデータを取得する動画データ取得手段１００８と、冗長データを付加する冗長データ付加手段１０１６とを備え、動画受信装置１００２は、ネットワークインタフェース手段１００９と、データ送信手段１０１１と、データ受信手段１０１２と、動画の再生状態の要求をする入力手段１０１０と、エラーを判定するエラー判定手段１０１３と、動画データを表示できる形式に復号する復号手段１０１４と、動画を表示する表示手段１０１５とを備える動画受信装置とから構成される。
【０００５】
この装置では、利用者が動画受信装置１００２の入力手段１０１０を用いて命令を入力し、その命令は、データ送信手段１０１１、ネットワークインタフェース手段１００９、伝送路１００３、動画送信装置１００１のネットワークインタフェース手段１００４、データ受信手段１００６を通して動画データ取得手段１００８に送られ、命令に従って動画データ供給手段１００７より目的の動画データを取得する。そして取得された動画データは、冗長データ付加手段１０１６によって、全てのフレーム、又はＩピクチャを２重に送るように冗長データを付加し、データ送信手段１００５、ネットワークインタフェース手段１００４、伝送路１００３、動画受信装置１００２のネットワークインタフェース手段１００９、データ受信手段１０１２を通してエラー判定手段１０１３に送られ、伝送途中のエラーを検出する。エラーが発生しなかった場合は、動画データを復号手段１０１４へ送り、冗長動画データを破棄する。エラーが発生した場合は、冗長データを復号手段１０１４へ送る。復号手段１０１４では、符号化されている動画データを表示できるように復号し、表示手段１０１５に送り、表示手段１０１５で動画を表示する。
【０００６】
この装置を用い、全てのフレームを２重に送るように冗長データを付加した場合、伝送するデータ量は２倍になり、Ｉピクチャを２重に送るように冗長データを付加した場合、Ｉピクチャから次のＩピクチャまでの間で、Ｉピクチャが占める割合は約２分の１なので、伝送するデータ量は約１．５倍になる。
【０００７】
【発明が解決しようとする課題】
従来の動画伝送におけるエラー回復方法において、狭帯域の伝送路で動画を伝送する場合、冗長データのため、さらに実効的な帯域が狭められ、動画の画質やフレームレートが下がるという課題がある。
【０００８】
本発明では、このような動画伝送におけるエラー回復方法において、伝送路の帯域を有効に利用するため、より冗長度が小さい付加データを使用してエラー回復を実現することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、本発明は、
第１に、直前のピクチャとＩピクチャ（フレーム内符号化画像）との順方向予測符号化画像であるＰ’ピクチャを、前記Ｉピクチャの前または後に配置した動画データ構造である。
これにより、伝送途中でＩピクチャにエラーが発生した際、Ｐ’ピクチャを用いることによってＩピクチャのエラー回復を行うことができる。
【００１０】
第２に、直前のＩピクチャと現在のＩピクチャとの順方向予測符号化画像であるＰ”ピクチャを、現在のＩピクチャの前または後に配置した動画データ構造である。
これにより、伝送途中でＩピクチャやＩピクチャの直前のピクチャにエラーが発生した際、直前のＩピクチャと、Ｐ”ピクチャを用いることによってＩピクチャのエラー回復を行うことができる。
【００１１】
第３に、動画送信装置において、動画データを伝送路へ送信する際、エラー訂正のためのデータを別帯域で送信するための差分データ送信手段を備えたものである。
これにより、データ送信手段を変更することなく、差分データを送信することができる。
【００１２】
第４に、動画送信装置において、動画データを伝送路へ送信する際、エラー訂正のためのデータに動画データと同じ時間情報を付加するための時間情報付加手段を備えたものである。
これにより、動画データ受信装置で、動画データとエラー訂正のためのデータとの振り分ることができる。
【００１３】
第５に、動画送信装置において、動画データを伝送路へ送信する際、動画受信装置から冗長度制御データを受信するための冗長度制御データ受信手段を備えたものである。
これにより、エラー訂正のためのデータを最適化して送信することができる。
【００１４】
第６に、動画受信装置において、動画データを伝送路より受信する際、エラー訂正のためのデータを別帯域で受信するための差分データ受信手段を備えたものである。
これにより、データ受信手段を変更することなく、差分データを受信することができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図１から図９を用いて説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、様々なる態様で実施し得る。
【００１６】
（実施の形態１）
図１は、動画データ構造を示し、図１において、ＩはＩピクチャ（フレーム内符号化画像）、ＰはＰピクチャ（フレーム間順方向予測符号化画像）、Ｐ’はＰ’ピクチャ（「あるＩピクチャ［Ｔ］の直前のピクチャ［Ｓ］」と「当該Ｉピクチャ［Ｔ］」との順方向予測符号化画像）である。
【００１７】
図２は、エラー訂正装置の構成を示すブロック図を示し、図２において、２０１は動画送信装置、２０２は動画受信装置であり、これらは２０３の伝送路によって接続されている。
【００１８】
動画送信装置２０１は、２０４のネットワークインタフェース手段、２０５のデータ送信手段、２０６のデータ受信手段、動画を供給する２０７の動画データ供給手段を持ち、データ受信部２０６より得られた命令データより、２０８の動画データ取得手段は動画データ供給手段２０７より、命令データに則した動画データを取得し、２１６の差分データ計算手段で、直前のピクチャとＩピクチャとの順方向予測符号化画像であるＰ’ピクチャを計算し、２１７の時間情報付加手段で時間情報を付加し、２１８の差分データ付加手段でＩピクチャの後に付加する。
【００１９】
動画受信装置２０２は、２０９のネットワークインタフェース手段、２１１のデータ送信手段、２１２のデータ受信手段、命令を入力する２１０の入力手段、動画を表示する２１５の表示手段を持ち、データ受信手段２１２で得られたデータは、２１９の冗長データ選別手段によって時間情報を用いて動画データと冗長データに選別し、２１３のエラー判定手段によって伝送途中でエラー発生の有無を調べ、２２０のエラー回復手段によって、エラー回復を行い、そのデータは２１４の復号手段によって復号され、表示手段２１５によって表示される。
【００２０】
以上のように構成された動画伝送装置について、以下その動作を説明する。
動画受信装置２０２の入力手段２１０は、再生・停止・早送り・巻き戻し・頭出しといった、動画に対する命令を操作者が入力し、データ送信手段２１１へ送る。データ送信手段２１１へ送られた命令は、ネットワークインタフェース手段２０９、伝送路２０３、ネットワークインタフェース手段２０４を通して、動画送信装置２０１のデータ受信手段２０６が受信する。データ受信手段２０６によって受信された命令は動画データ取得手段２０８に送られ、動画データ取得手段２０８は動画データ供給手段２０７から命令された動画データを取得する。
【００２１】
動画データ取得手段２０８によって得られた動画データは、差分データ計算手段２１６に送られ、直前のピクチャとＩピクチャとの順方向予測符号化画像であるＰ’ピクチャを計算し、作成する。作成されたＰ’ピクチャは、時間情報付加手段２１７によって、Ｉピクチャと同一の時間情報を付加する。そして差分データ付加手段２１８によってＩピクチャの後に挿入され、データ送信手段２０５によってネットワーク情報を付加され、ネットワークインタフェース手段２０４を通して伝送路２０３へ送られる。
【００２２】
Ｐ’ピクチャを挿入された動画データは、伝送路２０３、ネットワークインタフェース手段２０９を通してデータ受信手段２１２が受信し、冗長データ選別手段２１９によって、動画データと冗長データ（Ｐ’ピクチャ）に選別され、エラー判定手段２１３へ送られる。エラー判定手段２１３では、時間情報付加手段２１７によって付加された時間情報と、データ送信手段２０５によって付加されたネットワーク情報とをもとにエラーを判定し、動画データをエラー回復手段２２０へ送る。エラー回復手段２２０では、Ｉピクチャ読み込み時にエラーが発生した場合は、次に送られてくるＰ’ピクチャをエラーを起こしたＩピクチャの代わりに使用し、復号手段２１４へ送る。Ｉピクチャ以外のフレーム読み込み時にエラーが発生した場合は、次のＩピクチャが送られてくるまで、データを廃棄する。エラーが発生しなかった場合は、Ｐ’ピクチャを廃棄し、復号手段２１４では、動画データを表示手段２１５が表示できる形式に復号し、表示手段２１５によって動画を表示する。
【００２３】
以上のように、本実施の形態では、
従来のような、全てのフレームを２重に送るように冗長データを付加した場合、伝送するデータ量は２倍になり、Ｉピクチャを２重に送るように冗長データを付加した場合、Ｉピクチャから次のＩピクチャまでの間で、Ｉピクチャが占める割合は約２分の１なので、伝送するデータ量は約１．５倍になるといったものに対して、
伝送途中でＩピクチャにエラーが発生した際、後から送られてくるＰ’ピクチャ（直前のピクチャとＩピクチャとの順方向予測符号化画像）を用いるので、Ｉピクチャから次のＩピクチャまでの間で、Ｐ’ピクチャの占める割合は約７分の１（秒２フレーム時）となり、より少ないデータ量で動画エラー回復を行うことができ、その実用的効果は大きい。
【００２４】
（実施の形態２）
図３は、動画データ構造を示し、図３において、ＩはＩピクチャ（フレーム内符号化画像）、ＰはＰピクチャ（フレーム間順方向予測符号化画像）、Ｐ”はＰ”ピクチャ（「あるＩピクチャ［Ｙ］の直前のＩピクチャ［Ｘ］」と「当該現在のＩピクチャ［Ｙ］」との順方向予測符号化画像）である。
【００２５】
図４は、エラー訂正装置の構成を示すブロック図を示し、図４において、４０１は動画送信装置、４０２は動画受信装置であり、これらは４０３の伝送路によって接続されている。
【００２６】
動画送信装置４０１は、４０４のネットワークインタフェース手段、４０５のデータ送信手段、４０６のデータ受信手段、動画を供給する４０７の動画データ供給手段を持ち、データ受信部４０６より得られた命令データより、４０８の動画データ取得手段は動画データ供給手段４０７より、命令データに則した動画データを取得し、Ｉピクチャを４２１の基本画像保持手段に一時保持する。４１６の差分データ計算手段では、直前ＩピクチャとＩピクチャとの順方向予測符号化画像であるＰ”ピクチャを計算し、４１７の時間情報付加手段で時間情報を付加し、４１８の差分データ付加手段でＩピクチャの後に付加する。
【００２７】
動画受信装置４０２は、４０９のネットワークインタフェース手段、４０７のデータ送信手段、４１２のデータ受信手段、命令を入力する４１０の入力手段、動画を表示する４１５の表示手段を持ち、データ受信手段４１２で得られたデータは、４１９の冗長データ選別手段によって時間情報を用いて動画データと冗長データに選別し、４１３のエラー判定手段によって伝送途中でエラー発生の有無を調べ、Ｉピクチャは４２２の基本画像保持手段に一時保持する。４２０のエラー回復手段では、エラー回復を行い、そのデータは４１４の復号手段によって復号され、表示手段４１５によって表示される。
【００２８】
以上のように構成された動画伝送装置について、以下その動作を説明する。
動画受信装置４０２の入力手段４１０は、再生・停止・早送り・巻き戻し・頭出しといった、動画に対する命令を操作者が入力し、データ送信手段４１１へ送る。データ送信手段４１１へ送られた命令は、ネットワークインタフェース手段４０９、伝送路４０３、ネットワークインタフェース手段４０４を通して、動画送信装置４０１のデータ受信手段４０６が受信する。データ受信手段４０６によって受信された命令は動画データ取得手段４０８に送られ、動画データ取得手段４０８は動画データ供給手段４０７から命令された動画データを取得する。
【００２９】
動画データ取得手段４０８によって得られた動画データは、Ｉピクチャは基本画像保持手段４２１に一時保持し、他は差分データ計算手段４１６に送られ、直前のＩピクチャとＩピクチャとの順方向予測符号化画像であるＰ”ピクチャを計算し、作成する。作成されたＰ”ピクチャは、時間情報付加手段４１７によって、Ｉピクチャと同一の時間情報を付加する。そして差分データ付加手段４１７によってＩピクチャの後に挿入され、データ送信手段４０５によってネットワーク情報を付加され、ネットワークインタフェース手段４０４を通して伝送路４０３へ送られる。
【００３０】
Ｐ”ピクチャを挿入された動画データは、伝送路４０３、ネットワークインタフェース手段４０９を通してデータ受信手段４１２が受信し、冗長データ選別手段４１９によって、動画データと冗長データ（Ｐ”ピクチャ）に選別され、エラー判定手段４１３へ送られる。エラー判定手段４１３では、時間情報付加手段４１７によって付加された時間情報と、データ送信手段４０５によって付加されたネットワーク情報とをもとにエラーを判定し、Ｉピクチャは基本画像保持手段４２２へ送り、他はエラー回復手段４２０へ送る。エラー回復手段４２０では、Ｉピクチャ読み込み時にエラーが発生した場合は、Ｐ”ピクチャと保持しているＩピクチャとを使用し、エラーを起こしたＩピクチャの代わりに復号手段４１４へ送る。Ｉピクチャ以外のフレーム読み込み時にエラーが発生した場合は、次のＩピクチャが送られてくるまで、データを廃棄する。エラーが発生しなかった場合は、Ｐ”ピクチャを廃棄し、復号手段４１４では、動画データを表示手段４１５が表示できる形式に復号し、表示手段４１５によって動画を表示する。
【００３１】
以上のように、本実施の形態では、
伝送途中でＩピクチャや直前のピクチャにエラーが発生した際にも、後から送られてくるＰ”ピクチャ（直前のＩピクチャとＩピクチャとの順方向予測符号化画像）を用いることによって、実施の形態１と同様、従来方式のようなムダのない動画エラー回復を行うことができ、その実用的効果は大きい。
【００３２】
なお、Ｐ’ピクチャ（実施の形態１）と、Ｐ”ピクチャ（実施の形態２）とをそれぞれ比較してみると、Ｐ’ピクチャを用いた場合は、基本画像保存手段を持たなくてもエラー訂正が可能であり、より少ないコストでその効果を発揮する。一方、Ｐ”ピクチャを用いた場合は、基本画像保存手段を持つことにより、Ｉピクチャの直前のフレームにエラーが発生した場合にも、その効果を発揮する。
【００３３】
（実施の形態３）
図５は、動画データ構造を示し、図５において、ＩはＩピクチャ（フレーム内符号化画像）、ＰはＰピクチャ（フレーム間順方向予測符号化画像）、Ｐ’はＰ’ピクチャ（「あるＩピクチャ［Ｔ］の直前のピクチャ［Ｓ］」と「当該Ｉピクチャ［Ｔ］」との順方向予測符号化画像）であり、Ｐ’ピクチャは通常の動画データとは異なる帯域を用いている。
【００３４】
図６は、エラー訂正装置の構成を示すブロック図を示し、図６において、６０１は動画送信装置、６０２は動画受信装置であり、これらは６０３の伝送路によって接続されている。
【００３５】
動画送信装置６０１は、６０４のネットワークインタフェース手段、６０５のデータ送信手段、６０６のデータ受信手段、動画を供給する６０７の動画データ供給手段を持ち、データ受信部６０６より得られた命令データより、６０８の動画データ取得手段は動画データ供給手段６０７より、命令データに則した動画データを取得し、６１６の差分データ計算手段で、直前のピクチャとＩピクチャとの順方向予測符号化画像であるＰ’ピクチャを計算し、６１７の時間情報付加手段で時間情報を付加し、６１８の差分データ送信手段でネットワークインタフェース手段６０４を通して伝送路６０３へ送信する。
【００３６】
動画受信装置６０２は、６０９のネットワークインタフェース手段、６１１のデータ送信手段、６１２のデータ受信手段、命令を入力する６１０の入力手段、動画を表示する６１５の表示手段を持ち、データ受信手段６１２、差分データ受信手段６１９で得られたデータは、６１３のエラー判定手段によって伝送途中でエラー発生の有無を調べ、６２０のエラー回復手段によって、エラー回復を行い、そのデータは６１４の復号手段によって復号され、表示手段６１５によって表示される。
【００３７】
以上のように構成された動画伝送装置について、以下その動作を説明する。
動画受信装置６０２の入力手段６１０は、再生・停止・早送り・巻き戻し・頭出しといった、動画に対する命令を操作者が入力し、データ送信手段６１１へ送る。データ送信手段６１１へ送られた命令は、ネットワークインタフェース手段６０９、伝送路６０３、ネットワークインタフェース手段６０４を通して、動画送信装置６０１のデータ受信手段６０６が受信する。データ受信手段６０６によって受信された命令は動画データ取得手段６０８に送られ、動画データ取得手段６０８は動画データ供給手段６０７から命令された動画データを取得する。
【００３８】
動画データ取得手段６０８によって得られた動画データは、差分データ計算手段６１６に送られ、直前のピクチャとＩピクチャとの順方向予測符号化画像であるＰ’ピクチャを計算し、作成する。作成されたＰ’ピクチャは、時間情報付加手段６１７によって、Ｉピクチャと同一の時間情報を付加する。そしてＰ’ピクチャは差分データ送信手段６１８、他はデータ送信手段６０５によってネットワークインタフェース手段６０４を通して伝送路６０３へ送られる。
【００３９】
Ｐ’ピクチャと動画データは、伝送路６０３、ネットワークインタフェース手段６０９を通してデータ受信手段６１２、差分データ受信手段６１９が受信し、エラー判定手段６１３へ送られる。エラー判定手段６１３では、時間情報付加手段６１７によって付加された時間情報と、データ送信手段６０５によって付加されたネットワーク情報とをもとにエラーを判定し、動画データをエラー回復手段６２０へ送る。エラー回復手段６２０では、Ｉピクチャ読み込み時にエラーが発生した場合は、Ｐ’ピクチャをエラーを起こしたＩピクチャの代わりに使用し、復号手段６１４へ送る。Ｉピクチャ以外のフレーム読み込み時にエラーが発生した場合は、次のＩピクチャが送られてくるまで、データを廃棄する。エラーが発生しなかった場合は、Ｐ’ピクチャを廃棄し、復号手段６１４では、動画データを表示手段６１５が表示できる形式に復号し、表示手段６１５によって動画を表示する。
【００４０】
以上のように、本実施の形態では、
動画データ送受信手段は従来のまま、伝送途中でＩピクチャにエラーが発生した際、別帯域から送られてくる、直前のピクチャとＩピクチャとの順方向予測符号化画像であるＰ’ピクチャを用いることによって動画エラー回復を行うことができ、その実用的効果は大きい。
【００４１】
なお、Ｐ’ピクチャを動画データに挿入する場合（実施の形態１）と、別帯域にて送信する場合（実施の形態３）とを比較すると、Ｐ’ピクチャを動画データに挿入する方式は、冗長データ付加手段、冗長データ選別手段にてエラー訂正処理を行うため、送信手段、受信手段を新たに備えずにその効果を発揮する。一方、Ｐ’ピクチャを別帯域で送信する方式は、冗長データ選別手段に替えＰ’ピクチャ用の送信装置、受信装置を備えることによって、送信手段、受信手段は従来のまま、その効果を発揮する。
【００４２】
（実施の形態４）
図７は、動画データ構造を示し、図７において、ＩはＩピクチャ（フレーム内符号化画像）、ＰはＰピクチャ（フレーム間順方向予測符号化画像）、Ｐ”はＰ”ピクチャ（「あるＩピクチャ［Ｙ］の直前のＩピクチャ［Ｘ］」と「当該現在のＩピクチャ［Ｙ］」との順方向予測符号化画像）であり、Ｐ”ピクチャは従来の動画データとは異なる帯域を用いている。
【００４３】
図８は、エラー訂正装置の構成を示すブロック図を示し、図８において、８０１は動画送信装置、８０２は動画受信装置であり、これらは８０３の伝送路によって接続されている。
【００４４】
動画送信装置８０１は、８０４のネットワークインタフェース手段、８０５のデータ送信手段、８０６のデータ受信手段、動画を供給する８０７の動画データ供給手段を持ち、データ受信部８０６より得られた命令データより、８０８の動画データ取得手段は動画データ供給手段８０７より、命令データに則した動画データを取得し、Ｉピクチャを８２１の基本画像保持手段に一時保持する。８１６の差分データ計算手段では、直前ＩのピクチャとＩピクチャとの順方向予測符号化画像であるＰ”ピクチャを計算し、８１７の時間情報付加手段で時間情報を付加し、８１８の差分データ送信手段でネットワークインタフェース手段８０４を通して伝送路８０３へ送信する。
【００４５】
動画受信装置８０２は、８０９のネットワークインタフェース手段、８１１のデータ送信手段、８１２のデータ受信手段、命令を入力する８１０の入力手段、動画を表示する８１５の表示手段を持ち、データ受信手段８１２、差分データ受信手段８１９で得られたデータは、８１３のエラー判定手段によって伝送途中でエラー発生の有無を調べ、Ｉピクチャは８２２の基本画像保持手段一時保持する。８２０のエラー回復手段では、エラー回復を行い、そのデータは８１４の復号手段によって復号され、表示手段８１５によって表示される。
【００４６】
以上のように構成された動画伝送装置について、以下その動作を説明する。
動画受信装置８０２の入力手段８１０は、再生・停止・早送り・巻き戻し・頭出しといった、動画に対する命令を操作者が入力し、データ送信手段８１１へ送る。データ送信手段８１１へ送られた命令は、ネットワークインタフェース手段８０９、伝送路８０３、ネットワークインタフェース手段８０４を通して、動画送信装置８０１のデータ受信手段８０６が受信する。データ受信手段８０６によって受信された命令は動画データ取得手段８０８に送られ、動画データ取得手段８０８は動画データ供給手段８０７から命令された動画データを取得する。
【００４７】
動画データ取得手段８０８によって得られた動画データは、Ｉピクチャは基本画像手段８２１に一時保持し、他は差分データ計算手段８１６に送られ、直前のＩピクチャとＩピクチャとの順方向予測符号化画像であるＰ”ピクチャを計算し、作成する。作成されたＰ”ピクチャは、時間情報付加手段８１７によって、Ｉピクチャと同一の時間情報を付加する。そしてＰ”ピクチャは差分データ送信手段８１８、他はデータ送信手段８０５によってネットワークインタフェース手段８０４を通して伝送路８０３へ送られる。
【００４８】
Ｐ”ピクチャと動画データは、伝送路８０３、ネットワークインタフェース手段８０９を通してデータ受信手段８１２、差分データ受信手段８１９が受信し、エラー判定手段８１３へ送られる。エラー判定手段８１３では、時間情報付加手段８１７によって付加された時間情報と、データ送信手段８０５によって付加されたネットワーク情報とをもとにエラーを判定し、Ｉピクチャは基本画像保持手段８２２へ送り、他はエラー回復手段８２０へ送る。エラー回復手段８２０では、Ｉピクチャ読み込み時にエラーが発生した場合は、Ｐ”ピクチャと保持しているＩピクチャとを使用し、エラーを起こしたＩピクチャの代わりに復号手段８１４へ送る。Ｉピクチャ以外のフレーム読み込み時にエラーが発生した場合は、次のＩピクチャが送られてくるまで、データを廃棄する。エラーが発生しなかった場合は、Ｐ”ピクチャを廃棄し、復号手段８１４では、動画データを表示手段８１５が表示できる形式に復号し、表示手段８１５によって動画を表示する。
【００４９】
以上のように、本実施の形態では、
動画データ送受信手段は従来のまま、伝送途中でＩピクチャにエラーが発生した際、別帯域から送られてくる、直前のＩピクチャとＩピクチャとの順方向予測符号化画像であるＰ”ピクチャを用いることによって動画エラー回復を行うことができ、その実用的効果は大きい。
【００５０】
なお、Ｐ”ピクチャを動画データに挿入する場合（実施の形態２）と、別帯域にて送信する場合（実施の形態４）とを比較すると、Ｐ”ピクチャを動画データに挿入する方式は、冗長データ付加手段、冗長データ選別手段にてエラー訂正処理を行うため、送信手段、受信手段を新たに備えずにその効果を発揮する。一方、Ｐ”ピクチャを別帯域で送信する方式は、冗長データ選別手段に替えＰ”ピクチャ用の送信装置、受信装置を備えることによって、送信手段、受信手段は従来のまま、その効果を発揮する。
【００５１】
（実施の形態５）
図９は、エラー訂正装置の構成を示すブロック図を示し、図９において、９０１は動画送信装置、９０２は動画受信装置であり、これらは９０３の伝送路によって接続されている。
【００５２】
動画送信装置９０１は、９０４のネットワークインタフェース手段、９０５のデータ送信手段、９０６のデータ受信手段、動画を供給する９０７の動画データ供給手段を持ち、データ受信部９０６より得られた命令データより、９０８の動画データ取得手段は動画データ供給手段９０７より、命令データに則した動画データを取得し、９１６の差分データ計算手段で、直前のピクチャとＩピクチャとの順方向予測符号化画像であるＰ’ピクチャを計算し、９１７の時間情報付加手段で時間情報を付加し、９１８の差分データ付加手段では９２１の冗長度データ受信手段によって得られた冗長度データによりＩピクチャの後に付加する頻度を決定する。
【００５３】
動画受信装置９０２は、９０９のネットワークインタフェース手段、９１１のデータ送信手段、９１２のデータ受信手段、命令を入力する９１０の入力手段、動画を表示する９１５の表示手段を持ち、データ受信手段９１２で得られたデータは、９１９の冗長データ選別手段によって時間情報を用いて動画データと冗長データに選別し、９１３のエラー判定手段によって伝送途中でエラー発生の有無を調べ、そのエラー発生の頻度は９２２の冗長度データ送信手段によって動画送信装置９０１へ送られ、動画データは９２０のエラー回復手段によって、エラー回復を行い、そのデータは９１４の復号手段によって復号され、表示手段９１５によって表示される。
【００５４】
以上のように構成された動画伝送装置について、以下その動作を説明する。
動画受信装置９０２の入力手段９１０は、再生・停止・早送り・巻き戻し・頭出しといった、動画に対する命令を操作者が入力し、データ送信手段９１１へ送る。データ送信手段９１１へ送られた命令は、ネットワークインタフェース手段９０９、伝送路９０３、ネットワークインタフェース手段９０４を通して、動画送信装置９０１のデータ受信手段９０６が受信する。データ受信手段９０６によって受信された命令は動画データ取得手段９０８に送られ、動画データ取得手段９０８は動画データ供給手段９０７から命令された動画データを取得する。
【００５５】
動画データ取得手段９０８によって得られた動画データは、差分データ計算手段９１６に送られ、直前のピクチャとＩピクチャとの順方向予測符号化画像であるＰ’ピクチャを計算し、作成する。作成されたＰ’ピクチャは、時間情報付加手段９１７によって、Ｉピクチャと同一の時間情報を付加する。そして差分データ付加手段９１８にでは、冗長度データ受信手段９２１によって得られた動画受信装置９０２でのエラー発生の頻度情報を得て、エラーがほとんど発生しない場合は、Ｐ’ピクチャの挿入を中止し、エラーが頻繁に発生する場合は、Ｐ’ピクチャをＩピクチャの後に挿入する。そしてその動画データはデータ送信手段９０５によってネットワーク情報を付加され、ネットワークインタフェース手段９０４を通して伝送路９０３へ送られる。
【００５６】
Ｐ’ピクチャを挿入された動画データは、伝送路９０３、ネットワークインタフェース手段９０９を通してデータ受信手段９１２が受信し、冗長データ選別手段９１９によって、動画データと冗長データ（Ｐ’ピクチャ）に選別され、エラー判定手段９１３へ送られる。エラー判定手段９１３では、時間情報付加手段９１７によって付加された時間情報と、データ送信手段９０５によって付加されたネットワーク情報とをもとにエラーを判定し、動画データをエラー回復手段９２０へ送り、エラー発生の頻度は冗長度データ送信手段９２２を通して、動画送信装置９０１へ送られる。エラー回復手段９２０では、Ｉピクチャ読み込み時にエラーが発生した場合は、次に送られてくるＰ’ピクチャをエラーを起こしたＩピクチャの代わりに使用し、復号手段９１４へ送る。Ｉピクチャ以外のフレーム読み込み時にエラーが発生した場合は、次のＩピクチャが送られてくるまで、データを廃棄する。エラーが発生しなかった場合は、Ｐ’ピクチャを廃棄し、復号手段９１４では、動画データを表示手段９１５が表示できる形式に復号し、表示手段９１５によって動画を表示する。
【００５７】
以上のように、本実施の形態では、
伝送途中でＩピクチャにエラーが発生した際、後から送られてくる、直前のピクチャとＩピクチャとの順方向予測符号化画像であるＰ’ピクチャを用いることと、冗長度データを送信することによって動画エラー回復を最適に行うことができ、その実用的効果は大きい。
なお、本実施の形態は、Ｐ’ピクチャ挿入方式だけではなく、Ｐ”ピクチャ挿入方式（実施の形態２）、Ｐ’及びＰ”冗長データ別帯域送受信方式（実施の形態３、４）でも実装が可能である。
【００５８】
なお、本発明において、Ｐ’及びＰ”ピクチャをＩピクチャの直後に挿入する例を説明したが、Ｉピクチャの直前でも構わない。また、ピクチャの欠落が例えば、連続してｎフレーム分生じるような傾向がある場合には、直前・直後ではなく、Ｉピクチャから前または後ｎ＋１フレーム目に挿入するなどの方式も考えられる。
【００５９】
以上の説明では、本発明の動画送信装置と本発明の動画受信装置とによって本発明のデータ構造の動画データを送受信する場合を説明した。しかしながら、本発明の動画送信装置と標準の動画受信装置との間の画像データの送受信、あるいは、標準の動画送信手段と本発明の動画受信装置との間の画像データの送受信も可能である。
【００６０】
本発明の動画送信装置から送信された画像データを標準の動画受信装置で受信し、再生する場合、冗長／差分データの分再生フレームが増加するが、人の目の能力では増加した１フレーム分の冗長再生はほとんど認識できず、再生画像の品質にほとんど影響しない。
【００６１】
また、冗長再生を避けるために、各フレーム毎の再生識別子（たとえばタイムスタンプ）を付加することによって、Ｉ（イントラ）フレームと、それに続くＰ’およびＰ”（Ｉフレームの前後に近傍の、Ｉフレームと同帯域にて送信される）のいずれかのみを再生することができる。
【００６２】
一方、標準の動画送信装置から送信された画像データを本発明の動画受信装置が受信する場合、本発明の冗長データを除去する受信装置は、冗長データが存在しないことも当然判定可能であるので、通常の画像データ（ＭＰＥＧデータ）も再生できる。
【００６３】
【発明の効果】
以上のように本発明によれば、
第１に、直前のピクチャとＩピクチャ（フレーム内符号化画像）との順方向予測符号化画像であるＰ’ピクチャを、当該Ｉピクチャの前または後に配置した動画データ構造を備えたことにより、伝送途中でＩピクチャにエラーが発生した際、Ｐ’ピクチャを用いることによってＩピクチャのエラー回復を行うことができる。
【００６４】
第２に、直前のＩピクチャと現在のＩピクチャとの順方向予測符号化画像であるＰ”ピクチャを、当該現在のＩピクチャの前または後に配置した動画データ構造を備えたことにより、伝送途中でＩピクチャやＩピクチャの直前のピクチャにエラーが発生した際、直前のＩピクチャと、Ｐ”ピクチャを用いることによってＩピクチャのエラー回復を行うことができる。
【００６５】
第３に、動画送信装置において、動画データを伝送路へ送信する際、エラー訂正のためのデータを別帯域で送信するための差分データ送信手段を備えたことにより、データ送信手段を変更することなく、差分データを送信することができる。
【００６６】
第４に、動画送信装置において、動画データを伝送路へ送信する際、エラー訂正のためのデータに動画データと同じ時間情報を付加するための時間情報付加手段を備えたことにより、動画データ受信装置で、動画データとエラー訂正のためのデータとの振り分ることができる。
【００６７】
第５に、動画送信装置において、動画データを伝送路へ送信する際、動画受信装置から冗長度制御データを受信するための冗長度制御データ受信手段を備えたことにより、エラー訂正のためのデータを最適化して送信することができる。
【００６８】
第６に、動画受信装置において、動画データを伝送路より受信する際、エラー訂正のためのデータを別帯域で受信するための差分データ受信手段を備えたことにより、データ受信手段を変更することなく、差分データを受信することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における動画データ構造図
【図２】本発明の第１の実施形態における動画伝送装置の構成を示すブロック図
【図３】本発明の第２の実施形態における動画データ構造図
【図４】本発明の第２の実施形態における動画伝送装置の構成を示すブロック図
【図５】本発明の第３の実施形態における動画データ構造図
【図６】本発明の第３の実施形態における動画伝送装置の構成を示すブロック図
【図７】本発明の第４の実施形態における動画データ構造図
【図８】本発明の第４の実施形態における動画伝送装置の構成を示すブロック図
【図９】本発明の第５の実施形態における動画伝送装置の構成を示すブロック図
【図１０】従来の動画伝送装置の構成を示すブロック図
【符号の説明】
２０１  動画送信装置
２０２  動画受信装置
２０３  伝送路
２０４  ネットワーク・インタフェース手段
２０５  データ送信手段
２０６  データ受信手段
２０７  動画データ供給手段
２０８  動画データ取得手段
２０９  ネットワーク・インタフェース手段
２１０  入力手段
２１１  データ送信手段
２１２  データ受信手段
２１３  エラー判定手段
２１４  復号手段
２１５  表示手段
２１６  差分データ計算手段
２１７  時間情報付加手段
２１８  差分データ付加手段
２１９  冗長データ選別手段
２２０  エラー回復手段
４０１  動画送信装置
４０２  動画受信装置
４０３  伝送路
４０４  ネットワーク・インタフェース手段
４０５  データ送信手段
４０６  データ受信手段
４０７  動画データ供給手段
４０８  動画データ取得手段
４０９  ネットワーク・インタフェース手段
４１０  入力手段
４１１  データ送信手段
４１２  データ受信手段
４１３  エラー判定手段
４１４  復号手段
４１５  表示手段
４１６  差分データ計算手段
４１７  時間情報付加手段
４１８  差分データ付加手段
４１９  冗長データ選別手段
４２０  エラー回復手段
４２１  基本画像保持手段
４２２  基本画像保持手段
６０１  動画送信装置
６０２  動画受信装置
６０３  伝送路
６０４  ネットワーク・インタフェース手段
６０５  データ送信手段
６０６  データ受信手段
６０７  動画データ供給手段
６０８  動画データ取得手段
６０９  ネットワーク・インタフェース手段
６１０  入力手段
６１１  データ送信手段
６１２  データ受信手段
６１３  エラー判定手段
６１４  復号手段
６１５  表示手段
６１６  差分データ計算手段
６１７  時間情報付加手段
６１８  差分データ送信手段
６１９  差分データ受信手段
６２０  エラー回復手段
８０１  動画送信装置
８０２  動画受信装置
８０３  伝送路
８０４  ネットワーク・インタフェース手段
８０５  データ送信手段
８０６  データ受信手段
８０７  動画データ供給手段
８０８  動画データ取得手段
８０９  ネットワーク・インタフェース手段
８１０  入力手段
８１１  データ送信手段
８１２  データ受信手段
８１３  エラー判定手段
８１４  復号手段
８１５  表示手段
８１６  差分データ計算手段
８１７  時間情報付加手段
８１８  差分データ送信手段
８１９  差分データ受信手段
８２０  エラー回復手段
８２１  基本画像保持手段
８２２  基本画像保持手段
９０１  動画送信装置
９０２  動画受信装置
９０３  伝送路
９０４  ネットワーク・インタフェース手段
９０５  データ送信手段
９０６  データ受信手段
９０７  動画データ供給手段
９０８  動画データ取得手段
９０９  ネットワーク・インタフェース手段
９１０  入力手段
９１１  データ送信手段
９１２  データ受信手段
９１３  エラー判定手段
９１４  復号手段
９１５  表示手段
９１６  差分データ計算手段
９１７  時間情報付加手段
９１８  差分データ付加手段
９１９  冗長データ選別手段
９２０  エラー回復手段
９２１  冗長度データ受信手段
９２２  冗長度データ送信手段
１００１  動画送信装置
１００２  動画受信装置
１００３  伝送路
１００４  ネットワーク・インタフェース手段
１００５  データ送信手段
１００６  データ受信手段
１００７  動画データ供給手段
１００８  動画データ取得手段
１００９  ネットワーク・インタフェース手段
１０１０  入力手段
１０１１  データ送信手段
１０１２  データ受信手段
１０１３  エラー判定手段
１０１４  復号手段
１０１５  表示手段
１０１６  冗長データ付加手段
【図１】
0003591712.tif 000002
【図２】
0003591712.tif 000003
【図３】
0003591712.tif 000004
【図４】
0003591712.tif 000005
【図５】
0003591712.tif 000006
【図６】
0003591712.tif 000007
【図７】
0003591712.tif 000008
【図８】
0003591712.tif 000009
【図９】
0003591712.tif 000010
【図１０】
0003591712.tif 000011