(57)【特許請求の範囲】
【請求項１】
符号化ビデオビットストリームで搬送波を変調し、電波を介し動画像を送信する通信端末装置において、
記憶部と、
ユーザの操作に応じて該記憶部にエラーコンシールメント方法識別情報を格納させる入力手段と、
動画像データを符号化して符号化ビデオビットストリームを生成する符号化部と、
該符号化ビデオビットストリーム中のユーザデータ領域に、格納された該識別情報を付加するユーザデータ付加部と、
を有することを特徴とする通信端末装置。
【請求項２】
携帯テレビ電話機能を備えていることを特徴とする請求項１に記載の通信端末装置
【発明の詳細な説明】
【０００１】
本発明は、無線伝送経路でエラーが混入したビデオビットストリームに対しエラーコンシールメント（誤り隠蔽）処理を行うための情報を付加する通信端末装置に関する。
【０００２】
【従来の技術】
ＭＰＥＧでは、データの冗長性を削減するためにフレーム間予測符号化を行うので、エラーが時間方向に伝搬する。特にＭＰＥＧ−４では、移動体通信での適用を考慮しているので、伝送エラーが生じやすい環境にあり、規格上、誤り耐性の向上が図られている。
【０００３】
伝送エラーによる損失マクロブロックは通常、動きベクトルに基づき参照画像から切り出された画像ブロックで補間される。このようなエラーコンシールメント処理方法に関しては、ＭＰＥＧに規格化されておらず、復号機メーカーに委ねられている。
【０００４】
従来のエラーコンシールメント処理では、状況に応じてその方法を適宜変更することができなかったので、これを例えば携帯テレビ電話に適用した場合、利用者にとって不満足な結果になる場合がある。
例えば、人の顔がビデオカメラに写っている場合、受信側で参照画像から対応する画像ブロックを切り出して損失マクロブロックを補間し、現画面上の１つ上のマクロブロックを切り出して損失マクロブロックを補間し、又は、動きベクトルに基づき参照画像から画像ブロックを切り出して損失マクロブロックを補間するというエラーコンシールメント処理を行うと、わずかな伝送エラーであっても、顔画像の一部が不連続的に変化するため目立ち、受信者に悪い印象を与える虞れがある。
一方、主に風景などがビデオカメラに写っている場合には、前記方法でエラーコンシールメント処理を行っても、一般に自然に見える。
【０００５】
本発明は、本願発明者によるこのような分析に基づき案出されたものであり、その目的とするとことは、動画像の内容や電波障害の状況に応じ、状況に応じてエラーコンシールメント方法を選択可能にすることにより、より満足感を利用者に与えることができる通信端末装置を提供することにある。
【０００６】
本発明の第１態様では、符号化ビデオビットストリームで搬送波を変調し、電波を介し動画像を送信する通信端末装置において、
記憶部と、
ユーザの操作に応じて該記憶部にエラーコンシールメント方法識別情報を格納させる入力手段と、
動画像データを符号化して符号化ビデオビットストリームを生成する符号化部と、
該符号化ビデオビットストリーム中のユーザデータ領域に、格納された該識別情報を付加するユーザデータ付加部と、
を有する。
この構成によれば、動画像の内容や電波障害の状況に応じた送信者の操作に基づきエラーコンシールメント方法が選択されるので、例えば送信者の顔画像の一部が電波障害により受信側で不連続的に変化するのを抑制して、送受信者に与える不快感を軽減することができる。
【０００７】
本発明の第２態様では、電波を介し受信した信号を復調して符号化ビデオビットストリームを再生しその動画像を表示部に表示する通信端末装置において、
記憶部と、
エラーコンシールメント方法識別情報がユーザデータ領域に付加された符号化ビデオビットストリームを復号して動画像データを再生し、該符号化ビデオビットストリーム中のデータ損失エラーを検出するすると共に、該識別情報を分離して該記憶部に格納させる復号部と、
該復号部が該エラーを検出した場合、該記憶部に格納された該識別情報に基づいてエラーコンシールメント処理を行うエラーコンシールメント処理部と、
を有する。
【０００８】
この構成によれば、動画像の内容や電波障害の状況に応じた送信者の操作に基づき符号化ビデオビットストリームに付加された識別情報に応じてエラーコンシールメント処理が行われるので、例えば送信者の顔画像の一部が電波障害により受信側で不連続的に変化するのを抑制して、送受信者に与える不快感を軽減することができる。
【０００９】
本発明の通信端末装置の第３態様では、第２態様において、上記エラーコンシールメント処理部は、上記記憶部に上記識別情報が格納されていない場合、所定の方法でエラーコンシールメント処理を行う。
【００１０】
この構成によれば、送信者によるエラーコンシールメント方法選択操作がない場合に所定の方法でエラーコンシールメント処理が行われるので、特に伝送エラーが多い場合に、画質劣化による不快感を軽減することができる。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【００２３】
［第１実施形態］
図１は、本発明の第１実施形態の、ＭＰＥＧに従った動画像無線送信装置の概略ブロック図である。この装置は、例えば携帯テレビ電話の送信部である。
【００２４】
ビデオカメラ１０から出力されたビデオ信号は、符号化ユニット１１に供給される。符号化ユニット１１は、ハードウエア構成であっても、マイクロコンピュータを用いたソフトウエア構成であってもよい。符号化ユニット１１は、符号化部１２、ユーザデータ付加部１３及びレジスタ１４を備えている。レジスタ１４には、キースイッチアレイなどの入力装置１５を操作することによりエラーコンシールメント方法識別コードＩＤ１が設定される。符号化部１２は、ビデオカメラ１０からのビデオ信号を符号化して符号化ビデオストリームを生成し、送信機１６へ供給する。送信機１６は、符号化ビデオストリームで搬送波を変調し、電波の形で送信する。
【００２５】
図３（Ａ）は、ＭＰＥＧ−４に従って符号化部１２で生成されたビデオビットストリーム２０の最上位層の構造を示す。
【００２６】
ビデオビットストリーム２０は、ビジュアルオブジェクトシーケンス開始コード、プロファイル及びレベル指示、ユーザデータ２１、ビジュアルオブジェクト２２、並びに、ビジュルアルオブジェクトシーケンス終了コードからなる。ユーザデータ２１及びビジュアルオブジェクト２２はいずれも、任意データ長であり、先頭に開始コードを有している。ビジュアルオブジェクト２２は例えば、１回のテレビ電話の開始から終了までの内容である。
【００２７】
ビジュアルオブジェクト２２の下階層にはビデオオブジェクト層があり、その下階層にはＶＯＰグループ層（ＧＯＶ層）があり、その下階層にはビデオオブジェクトプレーン（ＶＯＰ）層がある。
【００２８】
図３（Ｂ）はＭＰＥＧ−４のＶＯＰ以下の階層のビットストリーム構成を示す。
【００２９】
ビデオオブジェクトプレーン２３に含まれるビデオパケット２４は、その先頭から順に、再同期マーカー２５、ビデオパケット（ＶＰ）ヘッダ２６、ヘッダー拡張コード（ＨＥＣ）２７、ＨＥＣ＝‘１’のときに付加されるＶＯＰヘッダの一部２８、マクロブロック情報２９及びスタッフビット３０を有している。マクロブロック情報２９は、その先頭から順に、動きに関する情報３１、モーションマーカー３２及びＤＣＴ計数情報３３を有している。ＤＣＴ計数情報３３はテクスチャーであり、複数のマクロブロックで構成されている。
【００３０】
図２は、図１中のユーザデータ付加部１３の処理を示すフローチャートである。
【００３１】
（Ｓ１）ユーザデータ付加部１３は、符号化部１２で生成中のビデオビットストリーム２０内のユーザデータ２１の開始コードを検出し、又はこの生成が符号化部１２から通知されると、ステップＳ２へ進む。
【００３２】
（Ｓ２）ユーザデータ付加部１３は、レジスタ１４に設定されているエラーコンシールメント方法識別コードＩＤ１をユーザデータ２１内の所定位置に付加する。
【００３３】
次に、状況に応じたエラーコンシールメント方法の具体例を説明する。
【００３４】
主に人の顔がビデオカメラ１０に写っている場合、わずかな伝送エラーであっても、
▲１▼受信側で参照画像から対応する画像ブロックを切り出して損失マクロブロックを補間し、
▲２▼現画面上の１つ上のマクロブロックを切り出して損失マクロブロックを補間し、又は、
▲３▼動きベクトルに基づき参照画像から画像ブロックを切り出して損失マクロブロックを補間するというエラーコンシールメント処理（第１の方法）を行うと、顔画像の一部が不連続的に変化するため目立ち、受信者に悪い印象を与える虞れがある。
【００３５】
この場合、エラー画面を間引き、伝送エラーを含まない、メモリに一時格納されている過去のフレーム画像で置き換えるというエラーコンシールメント処理（第２の方法）を行うことにより、動きが不連続になるというデメリットがあるものの、受信者に悪い印象を与えるのを防止することができる。
【００３６】
一方、主に風景などがビデオカメラ１０に写っている場合には、上記第１の方法でエラーコンシールメント処理を行った方が、一般に自然に見える。
【００３７】
また、エラーコンシールメントを行わない場合、損失画像ブロックが抜けるので、受信者は伝送エラー発生状態を容易に知ることができる。受信者が携帯電話の操作にうとい場合、送信者の指示で受信状況を把握させ、その結果を聞いて送信者側でエラーコンシールメント処理方法を選択してあげることもできる。
【００３８】
そこで、送信者は、入力装置１５を操作してエラーコンシールメント方法を選択し、これをレジスタ１４に設定する。具体例として、レジスタ１４に設定されるエラーコンシールメント方法識別コードＩＤ１を次のように定める。
【００３９】
ＩＤ＝０：エラーコンシールメントを行わない
ＩＤ＝１：第１のエラーコンシールメント方法
ＩＤ＝２：第２のエラーコンシールメント方法
なお、第１の方法をさらに分けてＩＤ１を定義してもよい。
【００４０】
エラーコンシールメント方法自体は公知であり、本実施形態の特徴は、エラーコンシールメント方法識情報に基づいてエラーコンシールメント方法を選択することにある。
【００４１】
図４は、図１の装置に対応した動画像無線受信装置の概略ブロック図である。
【００４２】
受信機４０は、受信信号を復調して符号化ビットストリームを抽出し、復号ユニット４１に供給する。復号ユニット４１は、ハードウエア構成であっても、マイクロコンピュータを用いたソフトウエア構成であってもよい。この点は、以下の実施形態についても同様である。復号ユニット４１は、復号部４２、エラーコンシールメント処理部４３、レジスタＲＥＧ１及びＲＥＧ２を備えている。
【００４３】
復号部４２は、受信機４０からの符号化ビットストリームに対し、可変長復号、逆量子化及び逆ＤＣＴ変換を行って、復号された画像信号Ｄ１又は予測誤差信号を生成する。予測誤差信号の場合、復号部４２は動きベクトルに基づき画像メモリ４４から参照画像ブロックを切り出し、これを画像信号Ｄ３として取り出し、予測信号として該予測誤差信号と加算することにより、画像信号Ｄ１を生成する。画像信号Ｄ１は、エラーコンシールメント処理部４３に供給される。復号部４２はまた、その可変長復号部において、ビデオパケット（ＶＰ）の単位でエラーを検出し、エラー検出信号ＥＲＲをエラーコンシールメント処理部４３へ供給する。復号部４２はさらに、その可変長復号部においてユーザデータ２１を分離し、レジスタＲＥＧ１に格納させる。簡単化のために、ユーザデータ２１にはエラーコンシールメント方法識別コードＩＤ１のみ含まれているとする。
【００４４】
ＩＤ１＝０の場合、受信側でもエラーコンシールメント方法識別コードの値を選択できるようにするため、復号ユニット４１にレジスタＲＥＧ２が備えられている。レジスタＲＥＧ２には、入力装置４５を操作してエラーコンシールメント方法識別コードＩＤ２が設定される。ＩＤ２の取り得る値は、上述のＩＤ１のそれと同一である。エラーコンシールメント方法識別コードＩＤ１及びＩＤ２は、エラーコンシールメント処理部４３に供給される。
【００４５】
エラーコンシールメント処理部４３は、エラー検出信号ＥＲＲが活性の場合、識別コードＩＤ１及びＩＤ２の値に基づきエラーコンシールメント方法を決定し、それを実行する。
【００４６】
図５は、図４中のエラーコンシールメント処理部４３によるエラーコンシールメント方法の決定手順を示すフローチャートである。
【００４７】
（Ｓ１０、Ｓ１１）エラー検出信号ＥＲＲが不活性であれば、画像信号Ｄ１をそのまま画像信号Ｄ２として画像メモリ４４に格納する。
【００４８】
（Ｓ１２、Ｓ１３）エラー検出信号ＥＲＲが活性でＩＤ１≠０であれば、識別コードＩＤ１の値に対応した方法でエラーコンシールメント処理を行う。
【００４９】
（Ｓ１４、Ｓ１５）エラー検出信号ＥＲＲが活性でＩＤ１＝０である場合には、ＩＤ２≠０のとき、識別コードＩＤ２の値に対応した方法でエラーコンシールメント処理を行う。
【００５０】
（Ｓ１６）エラーコンシールメント方法識別コードＩＤ１及びＩＤ２の値が共に０である場合、予め定められた方法、例えば上記第１の方法でエラーコンシールメント処理を行う。
【００５１】
エラーコンシールメント処理部４３は、第１の方法でエラーコンシールメント処理を行う場合、損失マクロブロックの動きベクトル又はこれが壊れている場合にはスクリーン上で１つ上のマクロブロックの動きベクトルに基づき、画像メモリ４４内の参照画像から画像ブロックを切り出し、これを画像信号Ｄ３として取り出し、画像信号Ｄ２として画像メモリ４４に格納することにより、損失マクロブロックを補間する。
【００５２】
エラーコンシールメント処理部４３は、第２の方法でエラーコンシールメント処理を行う場合、画像信号Ｄ１を捨て、制御信号Ｃ１を活性にする。この制御信号Ｃ１は、表示回路４６に供給される。
【００５３】
画像メモリ４４内には通常、３フレームが一時的に格納される。これらのフレームは、第１のエラーコンシールメント方法が実行されたフレーム又はエラー無しフレームである。両フレームを区別するために、画像メモリ４４内の各フレームに対しフラグを用意し、第１のエラーコンシールメント方が実行されたフレームに対しこのフラグがエラーコンシールメント処理部４３により立てられる。
【００５４】
表示回路４６は、画像メモリ４４に格納された復号画像を表示順に読み出してフォーマット変換し、さらにビデオ信号に変換して表示パネル４７に供給する。
【００５５】
表示回路４６は、制御信号Ｃ１が活性である間、上記フラグが立っていないエラー無し同一フレームを繰り返し画像メモリ４４から読み出す。
【００５６】
本第１実施形態によれば、状況に応じて送信者又は受信者によりエラーコンシールメント方法を選択することができるので、特に伝送エラーが多い場合に、画質劣化による不快感を軽減することができる。
【００５７】
また、エラーコンシールメント方法識別コードＩＤ１の選択に関し、送信側の方が受信側よりも優先順位が高いので、例えば自己の顔画像を伝送している場合に、相手に与える虞がある不快感の軽減を、送信側で制御することができる。
【００５８】
［第２実施形態］
図６は、本発明の第２実施形態のエラーコンシールメント処理部によるエラーコンシールメント方法の決定手順を示すフローチャートである。
【００５９】
この実施形態では、エラーコンシールメント方法選択に関し、送信側より受信側の方の優先順位が高い。すなわち、図５のステップＳ１４及びＳ１５の処理を、ステップＳ１２及びＳ１３の処理よりも先に行っている。
【００６０】
他の点は、上記第１実施形態と同一である。
【００６１】
本第２実施形態によれば、受信側でエラーコンシールメント方法を自由に選択することができるので、受信画像の画質に応じ該方法を選択して不快感を軽減することができる。
【００６２】
［第３実施形態］
図７は、本発明の第３実施形態の動画像無線受信装置の概略ブロック図である。
【００６３】
復号ユニット４１Ａでは、復号部４２からのエラー検出信号ＥＲＲがエラーコンシールメント処理部４３Ａのみならずエラー発生率検出部５０にも供給される。エラー発生率検出部５０は、単位時間例えば１０秒当たりのエラーレートＥＲを検出し、これを比較部５１に供給する。一方、レジスタＲＥＧ３には、入力装置４５を操作して参照値ＲＥＦ１が設定され、これが比較部５１に供給される。比較部５１は、エラーレートＥＲと参照値ＲＥＦ１とを比較し、その結果をエラーコンシールメント処理部４３Ａに供給する。
【００６４】
図８は、エラーコンシールメント処理部４３Ａによるエラーコンシルメント方法決定手順を示すフローチャートである。
【００６５】
（Ｓ２０）エラー検出信号ＥＲＲが活性であれば、ステップＳ２１へ進む。
【００６６】
（Ｓ２１）ＥＲ＜ＲＥＦ１であればステップＳ２２へ進み、そうでなければステップＳ２３へ進む。
【００６７】
（Ｓ２２）上記第１の方法で、すなわち損失画像領域を補間することにより、エラーコンシールメント処理を行い、ステップＳ２０へ戻る。
【００６８】
（Ｓ２２）上記第２の方法で、すなわちエラーフレームを間引くことにより、エラーコンシールメント処理を行い、ステップＳ２０へ戻る。
【００６９】
本第３実施形態によれば、エラー発生率に応じて自動的にエラーコンシールメント方法が選択されるので、手動選択することなく、伝送エラーによる受信者の不快感を低減することができる。
【００７０】
［第４実施形態］
図１１は、受信装置の復号部に供給される符号化画像の時系列を示す。図中の符号Ｉ及びＰはそれぞれ、Ｉピクチャー及びＰピクチャーを示している。
【００７１】
図１１（Ａ）において、Ｐ３でエラーが生じた場合、次のＩ２の１つ前のピクチャーまでエラーが伝搬する。図１１（Ｂ）において、Ｉ１にエラーが生じた場合、次のＩ２の１つ前のピクチャーまでエラーが伝搬する。
【００７２】
エラーが生じたピクチャーから、エラーが収束する次のＩピクチャーまでのフレーム数が少なければ、エラーが生じたピクチャー及びそのエラーが伝搬するピクチャーを間引いてもその影響が小さいので、これらをエラー発生前のピクチャーで置き換えることにより、受信者の不快感を軽減することができる。
【００７３】
図９は、この方法を実施するための、本発明の第４実施形態の動画像無線受信装置の概略ブロック図である。
【００７４】
復号ユニット４１Ｂでは、エラーが生じてピクチャーを間引く場合のピクチャーを間引数を予知するダウンカウンタ５２を備えている。レジスタＲＥＧ４はＩピクチャ割合逆数ＩＲの保持用であり、その出力はダウンカウンタ５２の並列データ入力端に供給される。ダウンカウンタ５２のロード制御入力端Ｌ及びクロック入力ＣＫにはそれぞれ、復号部４２ＡからＩピクチャ検出信号ＩＰ及びＰピクチャ検出信号ＰＰが供給される。
【００７５】
図１０は、図９中のダウンカウンタ５２及びレジスタＲＥＧ４に対する復号部４２Ａの処理を示すフローチャートである。
【００７６】
復号部４２Ａに供給される符号化ビットストリームの上記ユーザデータ領域には、上記第１実施形態と同様にしてＩピクチャ割合逆数ＩＲが付加されている。
【００７７】
（Ｓ３０、Ｓ３１）復号部４２Ａは、その可変長復号部において、ユーザデータ領域であると判定すればＩＲを分離し、レジスタＲＥＧ４に格納させる。
【００７８】
（Ｓ３２〜Ｓ３５）復号部４２Ａは、その可変長復号部においてピクチャコーディングタイプＰＣＴを分離した時、ＰＣＴがＩピクチャーであることを示している場合にはＩピクチャ検出信号ＩＰのパルスを出力し、ＰＣＴがＰピクチャーであることを示している場合にはＰピクチャ検出信号ＰＰのパルスを出力する。
【００７９】
Ｉピクチャ検出信号ＩＰのパルスにより、Ｉピクチャ割合逆数ＩＲが初期値としてダウンカウンタ５２にロードされる。これにより、ダウンカウンタ５２の計数値ＣＶは、次のＩピクチャーまでのフレーム数となる。その後、Ｐピクチャ検出信号ＰＰのパルス毎に計数値ＣＶが１だけデクリメントされる。すなわち、次のＩピクチャーまでのフレーム数が減少する。
【００８０】
この値ＣＶは、比較部５１に供給される。一方、レジスタＲＥＧ５には、入力装置４５を操作して参照値ＲＥＦ２が設定され、この値が比較部５１に供給される。比較部５１は、計数値ＣＶと参照値ＲＥＦ２とを比較し、その結果をエラーコンシールメント処理部４３Ａに供給する。
【００８１】
エラーコンシールメント処理部４３Ａは、図７のエラーコンシールメント処理部４３Ａと同様に、ＣＶ≧ＲＥＦ２であれば上記第１の方法で、すなわち損失画像領域を補間することにより、エラーコンシールメント処理を行い、そうでなければ上記第２の方法で、すなわちエラーフレームを間引くことにより、エラーコンシールメント処理を行う。
【００８２】
他の点は上記第３実施形態と同一である。
【００８３】
本第４実施形態によれば、エラー発生ピクチャから、エラーが収束する次のＩピクチャまでのピクチャ数に応じて、自動的にエラーコンシールメント方法が選択されるので、手動選択することなく、伝送エラーによる受信者の不快感を低減することができる。
【００８４】
なお、図９の構成に図７のエラー発生率検出部５０、比較部５１及びレジスタＲＥＧ３を付加し、エラーコンシールメント処理部４３Ａにおいて、ＣＶ≧ＲＥＦ２の条件の替わりにＥＲ≧ＲＥＦ１かつＣＶ≧ＲＥＦ２の条件を用いて上記エラーコンシールメント方法の選択を自動的に行うようにしてもよい。
【００８５】
また、Ｉピクチャ割合逆数ＩＲは、平均的値であってもよい。
【００８６】
［第５実施形態］
本発明の第５実施形態の動画像無線送信装置のハードウエア構成は、図１と同一である。図１２は、この第５実施形態における、図１中のユーザデータ付加部１３の処理を示すフローチャートである。
【００８７】
（Ｓ４０）ユーザデータ付加部１３は、符号化部１２で生成中のビデオビットストリーム２０内のユーザデータ２１の開始コードを検出し又はこの生成が符号化部１２から通知されると、ステップＳ４１へ進む。
【００８８】
（Ｓ４１）ユーザデータ付加部１３は、レジスタ１４に設定されているマクロブロック数ＭＢＮをユーザデータ２１内の所定位置に付加する。
【００８９】
符号化部１２は、各ビデオパケット（ＶＰ）内のマクロブロック数を値ＭＢＮにする。
【００９０】
ＭＰＥＧ−４では、１つのＶＰ内のマクロブロック数が任意であるので、１画面（フレーム又はフィールド）中の最後のＶＰが次の画面にわたって含まれる場合がある。この場合、この２画面にわたったＶＰにエラーが発生すると、エラーを含むフレーム数が増える。
【００９１】
そこで、１画面中のＶＰの数を整数にする。例えば図１３（Ａ）に示すように、１画面が１１×９マクロブロックで構成される場合、ＭＢＮ＝９とすると、１画面中のＶＰの数は１１×９／９＝１１と整数になる。
【００９２】
また、各ＶＰ内のマクロブロック数ＭＢＮが一定であるので、復号部において、図１３（Ｂ）に示すＶＰのヘッダ（図３（Ｂ）中の２５〜２８）に含まれるユニークワードの位置、例えば再同期マーカー２５の位置を、ＶＰ内のマクロブロック数を計数することにより、順次検出することができる。
【００９３】
復号部は、例えば図１３（Ｂ）に示すビデオパケットＶＰ１のヘッダ中のユニークワード位置を検出し、この位置のデータがユニークワードに一致しない場合、ビデオパケットＶＰ１を損失画像ブロックとみなし、上記第１の方法でこれを補間する。次に、ビデオパケットＶＰ１内のマクロブロック数を計数し、これにより、次のビデオパケットＶＰ２内のヘッダ中のユニークワード位置を検出する。そして、前記同様の処理を行う。復号部でこのような処理を繰り返すことにより、破損画像領域の検出率が向上する。
【００９４】
復号部はさらに、例えば図１３（Ｂ）に示すＶＰ１のヘッダに含まれているマクロブロック番号を記憶部に記憶しておき、ＶＰ１内のマクロブロックを検出する毎に該記憶部の記憶値を１だけインクリメントし、該記憶値が次のＶＰ２のヘッダに含まれているマクロブロック番号に一致しない場合、ビデオパケットＶＰ１を損失画像ブロックとみなす。マクロブロックは可変長データであって、ユニークワードであるエンドマークを含むので、このエンドマークを検出することにより、マクロブロックを検出する。ノイズでエンドマークの一部又は全部がビット反転した場合、エンドマークが検出されないので、上記不一致が生ずる。
【００９５】
このような処理により、従来検出できなかった破損画像領域が検出されることになり、これに対しエラーコンシールメント処理を施すことにより画質を向上させることができる。
【００９６】
［第６実施形態］
本発明の第６実施形態では、上記第５実施形態のマクロブロック数ＭＢＮの替わりに、各ＶＰ内のビット数合計の上限値を定め、これをユーザデータに付加する。そして、復号装置においては、ＶＰ内のヘッダのユニークワード位置からビット数を計数し、次のＶＰ内のヘッダを検出した時に計数値が該上限値を超えていた場合、途中のユニークワードがエラーにより破壊されたためにこれが検出されず、該上限値を超えたと判定する。
【００９７】
このようにしてエラー領域を限定することができ、上記同様にして画質を向上させることができる。
【００９８】
なお、本発明には外にも種々の変形例が含まれる。
【００９９】
例えば、本発明はＭＰＥＧ−４以外のビデオビットストリームや携帯テレビ電話以外の装置に対しても適用可能である。また、ユーザデータ領域は、上述以外の位置のものであってもよい。
【０１００】
本発明には、以下のような付記構成が含まれる。
【０１０１】
（付記１）  エラーコンシールメント方法識別情報を格納する記憶部と、
動画像データを符号化して符号化ビデオビットストリームを生成する符号化部と、
該符号化ビデオビットストリーム中のユーザデータ領域に、格納された該識別情報を付加するユーザデータ付加部と、
を有することを特徴とする動画像符号化装置。
【０１０２】
（付記２）  上記記憶部に対し上記識別情報を入力する入力手段をさらに有することを特徴とする付記１記載の動画像符号化装置。
【０１０３】
（付記３）  記憶部と、
エラーコンシールメント方法識別情報がユーザデータ領域に付加された符号化ビデオビットストリームを復号して動画像データを再生し、該符号化ビデオビットストリーム中のデータ損失エラーを検出するすると共に、該識別情報を分離して該記憶部に格納する復号部と、
該復号部が該エラーを検出した場合、該記憶部に格納された該識別情報に基づいてエラーコンシールメント処理を行うエラーコンシールメント処理部と、
を有することを特徴とする動画像復号装置。
【０１０４】
（付記４）  上記エラーコンシールメント処理部は、上記記憶部に上記識別情報が格納されていない場合、所定の方法でエラーコンシールメント処理を行うことを特徴とする付記３記載の動画像復号装置。
【０１０５】
（付記５）  記憶部と、
該記憶部にエラーコンシールメント方法識別情報を入力する入力手段と、
符号化ビデオビットストリームを復号して動画像データを再生すると共に、該符号化ビデオビットストリーム中のデータ損失エラーを検出する復号部と、
該復号部が該エラーを検出した場合、該記憶部に格納された該識別情報に基づいてエラーコンシールメント処理を行うエラーコンシールメント処理部と、
を有することを特徴とする動画像復号装置。
【０１０６】
（付記６）  符号化ビデオビットストリームを復号して動画像データを再生すると共に、該符号化ビデオビットストリーム中のデータ損失エラーを検出する復号部と、
検出された該エラーに基づいてエラー発生率を検出するエラー発生率検出部と、
該エラー発生率を設定値と比較する比較部と、
該復号部が該エラーを検出した場合、該比較部の比較結果に応じてエラーコンシールメント処理を行うエラーコンシールメント処理部と、
を有することを特徴とする動画像復号装置。
【０１０７】
（付記７）  符号化ビデオビットストリームを復号して動画像データを再生すると共に、該符号化ビデオビットストリーム中のデータ損失エラーを検出する復号部と、
符号化画像列中のイントラ符号化画像の割合に関する情報を取得する検出部と、
該復号部が該エラーを検出した場合、該情報に応じてエラーコンシールメント処理を行うエラーコンシールメント処理部と、
を有することを特徴とする動画像復号装置。
【０１０８】
（付記８）  上記符号化ビデオビットストリームは、そのユーザ領域に上記情報を有し、
上記検出部は、該ユーザ領域中の該情報を取得する、
ことを特徴とする付記７記載の動画像復号装置。
【０１０９】
（付記９）  符号化ビデオビットストリームを復号して動画像データを再生すると共に、該符号化ビデオビットストリーム中のデータ損失エラーを検出する復号部と、
該復号部が該エラーを検出した場合、その符号化画像から次のイントラ符号化画像までの符号化画像数に応じてエラーコンシールメント方法を選択しエラーコンシールメント処理を行うエラーコンシールメント処理部と、
を有することを特徴とする動画像復号装置。
【０１１０】
（付記１０）  動画像データを符号化して符号化ビデオビットストリームを生成するとともに、該符号化ビデオビットストリーム中の各ビデオパケット内のマクロブロック数を所定値にする符号化部と、
該符号化ビデオビットストリーム中のユーザデータ領域に、該所定値を付加するユーザデータ付加部と、
を有することを特徴とする動画像符号化装置。
【０１１１】
（付記１１）  動画像データを符号化して符号化ビデオビットストリームを生成するとともに、該符号化ビデオビットストリーム中の各ビデオパケット内のビット数を所定値以下にする符号化部と、
該符号化ビデオビットストリーム中のユーザデータ領域に、該所定値を付加するユーザデータ付加部と、
を有することを特徴とする動画像符号化装置。
【図面の簡単な説明】
【図１】本発明の第１実施形態の動画像無線送信装置の概略ブロック図である。
【図２】図１中のユーザデータ付加部の処理を示すフローチャートである。
【図３】ＭＰＥＧ−４に従って符号化部で生成されたビデオビットストリームの構造を示す説明図である。
【図４】図１の装置に対応した動画像無線受信装置の概略ブロック図である。
【図５】図４中のエラーコンシールメント処理部によるエラーコンシールメント方法の決定手順を示すフローチャートである。
【図６】本発明の第２実施形態のエラーコンシールメント処理部によるエラーコンシールメント方法の決定手順を示すフローチャートである。
【図７】本発明の第３実施形態の動画像無線受信装置の概略ブロック図である。
【図８】図７中のエラーコンシールメント処理部によるエラーコンシルメント方法決定手順を示すフローチャートである。
【図９】本発明の第４実施形態の動画像無線受信装置の概略ブロック図である。
【図１０】図９中のダウンカウンタ５２及びレジスタＲＥＧ４に対する復号部４２Ａの処理を示すフローチャートである。
【図１１】受信装置の復号部に供給される符号化画像の時系列を示す説明図である。
【図１２】本発明の第５実施形態における、図１中のユーザデータ付加部の処理を示すフローチャートである。
【図１３】（Ａ）は、本発明の第６実施形態のビデオパケット配列説明図、（Ｂ）は破壊されたビデオパケットの検出説明図である。
【符号の説明】
１０  ビデオカメラ
１１  符号化ユニット
１２  符号化部
１３  ユーザデータ付加部
１４  レジスタ
１５、４５  入力装置
１６  送信機
２０  ビデオビットストリーム
２１  ユーザデータ
２２  ビジュアルオブジェクト
２３  ビデオオブジェクトプレーン
２４  ビデオパケット
２５  再同期マーカー
２６  ＶＰヘッダ
２７  ヘッダー拡張コード
２８  ＶＯＰヘッダの一部
２９  マクロブロック情報
３０  スタッフビット
３１  動きに関する情報
３２  モーションマーカー
３３  ＤＣＴ計数情報
４０  受信機
４１、４１Ａ、４１Ｂ  復号ユニット
４２、４２Ａ  復号部
ＲＥＧ１〜ＲＥＧ５  レジスタ
４３、４３Ａ  エラーコンシールメント処理部
４４  画像メモリ
４６  表示回路
４７  表示パネル
５０  エラー発生率検出部
５１  比較部
５２  ダウンカウンタ
【図１】
0004409108.tif 000002
【図２】
0004409108.tif 000003
【図３】
0004409108.tif 000004
【図４】
0004409108.tif 000005
【図５】
0004409108.tif 000006
【図６】
0004409108.tif 000007
【図７】
0004409108.tif 000008
【図８】
0004409108.tif 000009
【図９】
0004409108.tif 000010
【図１０】
0004409108.tif 000011
【図１１】
0004409108.tif 000012
【図１２】
0004409108.tif 000013
【図１３】
0004409108.tif 000014