(57)【要約】【課題】伝送エラーが発生した場合でも、エラー隠蔽に最適なフレームを簡易かつ迅速に決定してエラー隠蔽処理を実行することができる画像伝送システム、画像符号化装置、及び、画像復号装置を提供すること。【解決手段】エラー隠蔽制御部２４は、制御情報復号部２３が通知した制御情報をもとに、画像フレーム間の相関性が無いことを示す非画像パケットの前の画像パケットを復号した結果生成された画像フレームに対して、エラー隠蔽用の画像フレームとして使用することができないことを示すマークを付ける（マーキング処理）。エラー隠蔽部２５は、前記マークが施されていない画像フレームの中からエラー隠蔽に用いる復号済みの画像フレームを決定する。【選択図】図６
2008283253.tif 000002
【特許請求の範囲】
【請求項１】
画像フレーム列を符号化して符号化ストリームを生成する画像符号化装置と、送信された前記符号化ストリームを受信して復号する画像復号装置よりなる画像伝送システムにおいて、
前記画像符号化装置は、符号化する画像フレームの画像と直前画像フレームの画像との相関性を検知し、相関性が無い場合に、少なくとも前記相関性が無い旨を示す制御情報を符号化した非画像パケットを挿入して前記符号化ストリームを生成し、
前記画像復号装置は、受信した符号化ストリームの画像フレームに誤りが検知された場合の当該画像フレームの誤り隠蔽処理に用いる画像フレームを、前記非画像パケットの検知の有無により決定することを特徴とする画像伝送システム。
【請求項２】
画像フレーム列を符号化して符号化ストリームを生成する画像符号化装置において、
符号化する画像フレームの画像と直前画像フレームの画像との相関性を検知し、相関性が無い場合に、少なくとも前記相関性が無い旨を示す制御情報を符号化した非画像パケットを挿入して前記符号化ストリームを生成することを特徴とする請求項１に記載の画像伝送システムにおける画像符号化装置。
【請求項３】
送信された前記符号化ストリームを受信し画像フレームを生成する復号処理において、
前記非画像パケットを検知すると、前記非画像パケットの前の画像パケットを復号した結果生成された画像フレームを、誤りが検知された画像フレームの誤り隠蔽処理に用いる画像フレームとして用いないことを特徴とする請求項１に記載の画像伝送システムにおける画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像伝送システム、特に、伝送誤りが発生する環境においても画質劣化の少ない再生画像を得ることができる画像伝送システム、画像符号化装置、画像復号装置に関するものである。
【背景技術】
【０００２】
近年、さまざまなデジタル機器において画像データが扱われているが、テレビ電話システム、デジタル放送送信機等で用いられている画像（動画像）データの符号化においては、動き補償予測、直交変換（離散コサイン変換等）、エントロピー（可変長）符号化等の複数の技術が組み合わされた符号化方式が用いられている。
【０００３】
そして、前述した符号化方式によって符号化した画像データを、無線伝送路を介して、画像復号装置に送信すると、無線伝送路で混入したエラーの影響により、当該符号化画像データを正常に復号できなくなることがある。
【０００４】
特に、可変長符号化方式を用いた場合に、一度エラーが混入すると、次の同期コード（例えば、フレームの先頭を示すスタートコード等）を受信するまで同期が回復せず、画像の崩れやフレームレートの低下等により復号画像の画質が極端に劣化してしまう。
【０００５】
このような画質劣化を防ぐために、一般的に、画像復号装置では、エラーの発生したエラーブロックに、復号済みフレームにおける、前記エラーブロックと同位置のブロックをコピーすることにより、エラーブロックの隠蔽処理（エラー隠蔽処理）を行っている。
【０００６】
そして、エラー隠蔽処理を実行する場合には、エラーブロックを含むフレームと相関性（相関度）が有るフレームが、エラー隠蔽用フレームとして用いられる。これは、対象フレームと全く類似していないフレームをエラー隠蔽用フレームとして用いるとエラー隠蔽処理を実行したのにもかかわらず、さらに画質が劣化するからである。
【０００７】
しかし、処理能力が低い携帯端末の復号装置（受信側）で、エラー隠蔽用フレームとして用いるフレームの決定処理を実行する場合には、携帯端末のリソースを節約するために、かかる処理を簡略化し、処理量を削減する必要がある。
【０００８】
そこで、特許文献１に開示の画像制御システムにおける画像符号化装置（送信側）は、フレームがＩピクチャであるのか又はＰピクチャであるのかを識別するための識別フラグを含めた、符号化されたフレーム列から構成される符号化ストリームを画像復号装置（受信側）に送信し、当該画像復号装置は、受信した符号化ストリームに含まれる識別フラグを参照して、エラー隠蔽に用いるフレーム（ピクチャ）を決定している。
【０００９】
前記画像復号装置は、例えば、Ｐピクチャにエラーブロックが含まれている場合には、エラーブロックを含むＰピクチャと当該Ｐピクチャの直前のＰピクチャとは相関性があるとみなし、当該エラーブロックが含まれているＰピクチャの直前のＰピクチャをエラー隠蔽用のフレームとして用いてエラー隠蔽処理を実行している。
【００１０】
なお、Ｉピクチャとは、他のフレームとは独立して符号化され、Ｐピクチャの参照フレームとして用いられるピクチャをいう。
Ｐピクチャとは、前方向予測符号化画面であり、時間的に過去に位置する、Ｉピクチャ又はＰピクチャを参照して予測符号化を行うピクチャをいう。
【特許文献１】特開２００２−７７９２２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、例えば、テレビ電話システムで送受信されるような、Ｉピクチャが先頭にのみ存在し、以後、Ｐピクチャだけで構成される符号化ストリームにおいて、例えば、あるＰピクチャにてシーンチェンジが発生した場合等、Ｐピクチャ間での相関性が無くなった場合には、当該シーンチェンジが発生したＰピクチャと当該Ｐピクチャの直前のＰピクチャとの相関性が有るとはいえない。
【００１２】
そして、シーンチェンジが発生したＰピクチャ自体にエラーブロックが含まれている場合に、エラーブロックを含むＰピクチャの直前のＰピクチャ（エラーブロックを含むＰピクチャとの相関性が無い）をエラー隠蔽用フレームとして用いて、エラー隠蔽処理を実行すると、前述したように、さらに画質が劣化するという問題があった。
【００１３】
本発明は、かかる実情に鑑みてなされたものであり、伝送エラーが発生した場合でも、エラー隠蔽に最適なフレームを簡易かつ迅速に決定してエラー隠蔽処理を実行することができる画像伝送システム、画像符号化装置、及び、画像復号装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
第１の技術手段は、画像フレーム列を符号化して符号化ストリームを生成する画像符号化装置と、送信された前記符号化ストリームを受信して復号する画像復号装置よりなる画像伝送システムにおいて、前記画像符号化装置は、符号化する画像フレームの画像と直前画像フレームの画像との相関性を検知し、相関性が無い場合に、少なくとも前記相関性が無い旨を示す制御情報を符号化した非画像パケットを挿入して前記符号化ストリームを生成し、前記画像復号装置は、受信した符号化ストリームの画像フレームに誤りが検知された場合の当該画像フレームの誤り隠蔽処理に用いる画像フレームを、前記非画像パケットの検知の有無により決定することを特徴とする画像伝送システムである。
【００１５】
第２の技術手段は、画像フレーム列を符号化して符号化ストリームを生成する画像符号化装置において、符号化する画像フレームの画像と直前画像フレームの画像との相関性を検知し、相関性が無い場合に、少なくとも前記相関性が無い旨を示す制御情報を符号化した非画像パケットを挿入して前記符号化ストリームを生成することを特徴とする第１の技術手段の画像伝送システムにおける画像符号化装置である。
【００１６】
第３の技術手段は、送信された前記符号化ストリームを受信し画像フレームを生成する復号処理において、前記非画像パケットを検知すると、前記非画像パケットの前の画像パケットを復号した結果生成された画像フレームを、誤りが検知された画像フレームの誤り隠蔽処理に用いる画像フレームとして用いないことを特徴とする第１の技術手段の画像伝送システムにおける画像復号装置である。
【発明の効果】
【００１７】
本発明によれば、動画を受信する携帯端末等の画像復号装置において、簡易かつ迅速に、エラー隠蔽に最適なフレームを決定することができ、さらに、エラー隠蔽処理の処理量を削減することができる。
さらに、ピクチャタイプにかかわりなく、適切にエラー隠蔽をすることができるため、伝送誤り等による画質劣化を防ぐことができる。
【発明を実施するための最良の形態】
【００１８】
（実施例１）
図１は、符号化される画像フレーム列の一例を示した図である。
Ａ０〜Ａ４、Ｂ５〜Ｂ９、Ａ１０〜Ａ１２は、画像フレームである。
画像フレームＡ０〜Ａ４同士では、画像フレーム間の画像（以下、単に画像フレーム間と略記する）の相関性が高く、以降、画像フレームＢ５〜Ｂ９同士、画像フレームＡ１０〜Ａ１２同士でも同様に画像フレーム間の相関性が有るものとする。
【００１９】
換言すれば、画像フレームＡ４と画像フレームＢ５、及び、画像フレームＢ９と画像フレームＡ１０では、画像フレーム間の相関性が無く、矢印ＣＨ１、矢印ＣＨ２で示すように画像フレームＢ５、画像フレームＡ１０で、例えば、シーンチェンジが発生しているものとする。
【００２０】
画像符号化装置により、図１に示した画像フレーム列が符号化されて、図２に示す符号化ストリームが生成される。なお、符号化方式は、例えば、Ｈ．２６４（ＭＰＥＧ−４）が適用できる。
【００２１】
図２において、ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）は、シーケンス（画像フレーム列）全体の符号化に係る情報が符号化されたパケットである。
【００２２】
ＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）は、画像フレーム（ピクチャ）全体の符号化モードを示す情報が符号化されたパケットである。
【００２３】
なお、ＳＰＳ、ＰＰＳは、画像フレームの符号化に関する情報等が符号化された非画像パケットである。
【００２４】
ＳＬ０〜ＳＬ４は、図１の画像フレームＡ０〜Ａ４の符号化データである画像パケットである。
ＳＬ５〜ＳＬ９、ＳＬ１０〜ＳＬ１２も、同様に、ぞれぞれ、図１の画像フレームＢ５〜Ｂ９、画像フレームＡ１０〜Ａ１２の符号化データである画像パケットである。
【００２５】
Ｘ、Ｙは、シーンチェンジなどにより、少なくとも、画像フレーム間の相関性が無いことを示す制御情報が符号化された非画像パケットである。
【００２６】
後述の本発明に係る画像復号装置は、非画像パケットＸを参照することで、図１で説明した画像フレームＢ５にてシーンチェンジが発生し、画像フレームＢ５と直前画像フレームＡ４間では、画像フレームの相関性が無いことを検知できる。同様に、非画像パケットＹにより、画像フレームＢ９、画像フレームＡ１０間では、画像フレームの相関性が無いことが検知できる。
【００２７】
なお、図２では、１画像フレームが１画像パケットから構成されているが、通常は、１画像フレームが複数の画像パケットから構成される。
【００２８】
図３は、画像パケット、及び、少なくとも画像フレーム間の相関性が無いことを示す制御情報を符号化した非画像パケットから構成される符号化ストリームを生成する画像符号化装置１のブロック図である。
１１は画像入力部である。画像入力部１１は、例えば、画像データが蓄積されている蓄積部１５から画像データを取り込んで、画像符号化部１２に出力する。
【００２９】
画像符号化部１２は、画像入力部１１が出力した画像データを所定の圧縮方式（例えば、Ｈ．２６４、ＭＰＥＧ−４等）により圧縮符号化し、画像パケットとして多重化部１４に出力する。また、圧縮符号化と同時に、次画像フレームの符号化のための参照用フレームとして、当該画像データ（画像フレーム）をフレームメモリ１６に出力する。
【００３０】
また、画像符号化部１２は、画像フレーム間相関性検知部１２ａを有し、画像フレームの符号化の際に、符号化中の画像フレームと、当該符号化中の画像フレームの直前の画像フレームとの相関性を監視し、例えば、シーンチェンジ等により、前記相関性が無くなった場合に、そのことを検知して、検知結果を制御情報符号化部１３に出力する。
【００３１】
なお、画像フレーム間の相関性の検知手法としては、従来から提案されている様々な手法を採用することができる。
【００３２】
例えば、画像フレーム内の画像情報のみを用いて符号化が行われるイントラマクロブロックが所定数以上含まれる画像フレームは、当該画像フレームの直前画像フレームとの相関性が無い画像フレームであると仮定すれば、イントラマクロブロック数を算出し、所定の閾値と比較することにより、画像フレーム間の相関性が無いことを検知することができる。
【００３３】
逆に、画像フレーム間の画像情報を用いて符号化が行われるインターマクロブロックが所定数以下含まれる画像フレームは、当該画像フレームの直前画像フレームとの相関性が無いと仮定すれば、前述と同様に、画像フレーム間の相関性が無いことを検知することができる。
【００３４】
制御情報符号化部１３は、画像フレーム間相関性検知部１２ａが出力した画像フレーム間の相関性が無いという検知結果が入力されると、画像フレーム間の相関性が無いことを示す制御情報を符号化した非画像パケットを生成する。また、符号化ストリームの復号時に必要となる制御情報がある場合には、当該制御情報を符号化した非画像パケットを生成する。
そして、これらの非画像パケットを多重化部１４に出力し、多重化部１４は、画像符号化部１２にて符号化された画像データ（画像パケット）と前記非画像パケットを多重化する。
【００３５】
図１の例では、例えば、画像フレームＢ５においてシーンチェンジが発生するなどして、フレームＡ４と画像フレームＢ５との相関性が無くなったことを検知すると、画像フレーム間の相関性が無いことを示す制御情報を符号化した非画像パケットを多重化部１４に出力する。
【００３６】
なお、非画像パケット（制御情報）として、Ｈ．２６４（ＭＰＥＧ−４）の場合、ＳＰＳ、ＰＰＳ、ＡＵＤ（Ａｃｃｅｓｓ  Ｕｎｉｔ  Ｄｅｌｉｍｉｔｅｒ）、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）などのＮＡＬユニットが定義されているが、画像フレーム間の相関性が無いことを示す制御情報を符号化し、当該符号化情報を、これらの非画像パケットに含ませることができる。また、当該制御情報として、所定の文字列（例えば、ＳＣＮ＿ＣＨＮＧ等）を用いることができる。
【００３７】
これは、定義済みのＮＡＬユニットと区別可能な独自に定義したＮＡＬユニットでよい。
前述の例では、画像フレーム間の相関性が無いことを検知した場合、１つの非画像パケットを多重化部１４に出力したが、所定数の非画像パケットを連続して出力してもよい。
【００３８】
多重化部１４は、例えば、図２に示したように、画像フレームＡ４の画像パケットＳＬ４と画像フレームＢ５の画像パケットＳＬ５との間に非画像パケットが挿入されるように、画像パケット及び非画像パケットを多重化する。
多重化された画像パケット及び非画像パケットは、符号化ストリームとして無線ネットワーク等を介して後述の画像復号装置に伝送される。
【００３９】
なお、蓄積部１５は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等から構成され、例えば、静止画、動画、コンピュータグラフィックス（ＣＧ）等の画像データを蓄積する。
また、蓄積部１５から画像データを取り込むだけではなく、ＣＣＤカメラ／ＣＭＯＳカメラ等から構成される撮像手段が出力した、例えば、ＲＧＢ、ＹＣｂＣｒ等の画像形式によるデジタルデータを取り込んでもよい。この場合、画像符号化部１２は、画像入力部１１より入力される画像種別（ＨＤＤに蓄積された映像、カメラ等により撮影された映像）が切り換えられた場合に、自動的に非画像パケットを挿入するようにしてもよい。
【００４０】
次に、画像符号化装置１の符号化ストリーム作成処理を図４のフロー図を用いて説明する。
画像入力部１１は、蓄積部１５から画像データ（画像フレーム）を取り込み、画像符号化部１２に出力する（ステップＳ１）。
【００４１】
画像符号化部１２は、前記入力された画像データを符号化した画像パケットを生成する（ステップＳ２）と共に、ステップＳ３で、画像符号化部１２の画像フレーム間相関性検知部１２ａが、符号化中の画像フレームと、当該符号化中の画像フレームの直前の画像フレームとの相関性の有無を判定する。
【００４２】
画像フレーム間の相関性が有る場合（ステップＳ３／有）、画像符号化部１２は、ステップＳ２で生成した画像パケットを符号化ストリームとして出力する（ステップＳ４）。
【００４３】
前記相関性が無い場合（ステップＳ３／無）、画像フレーム間の相関性が無いことを示す制御情報を符号化した非画像パケットを生成する（ステップＳ５）。
【００４４】
次に、多重化部１４は、ステップＳ２で生成した画像パケットと、ステップＳ５で生成した非画像パケットとを多重化して、符号化ストリームとして出力する（ステップＳ６）。
【００４５】
なお、ステップＳ２で生成した画像パケットの復号時に必要となる制御情報がある場合には、当該制御情報を符号化した非画像パケットが前記画像パケットと共に多重化され、符号化ストリームとして出力される。
【００４６】
最後に、符号化する画像データの有無を判定する（ステップＳ７）。
符号化する画像データがある場合（ステップＳ７／ＹＥＳ）、ステップＳ１以下の処理を実行する。
符号化する画像データがない場合（ステップＳ７／ＮＯ）、処理を終了する。
【００４７】
（実施例２）
次に、後述の画像復号装置において実行される、エラーブロック検知時のエラー隠蔽用画像フレームの決定処理について説明する。
【００４８】
図５は、エラーブロック検知時のエラー隠蔽用画像フレームの決定処理を説明するための図である。
３１は画像パケットＳＬ４の復号完了時に、後述のフレームメモリに展開されている画像フレームを示したものである。
画像パケットＳＬ４の復号完了時、図示のように、当該フレームメモリ内には、フレーム間予測に必要な参照用画像又は表示待ち画像として画像フレームＡ２〜画像フレームＡ４が記憶されている。
【００４９】
３２は画像パケットＳＬ５の復号完了時に、後述のフレームメモリに展開されている画像フレームを示したものである。
画像パケットＳＬ５の復号完了時、図示のように、当該フレームメモリ内には、画像フレームＡ３、Ａ４、Ｂ５が記憶されている。
【００５０】
Ｘは、画像フレームＡ４及び画像フレームＢ５の画像間に相関性が無いことを示す制御情報が符号化された非画像パケットであり、画像パケットＳＬ４の復号完了後、後述の制御情報復号部において復号される。
そして、画像復号装置は、復号された前記制御情報をもとに、エラー隠蔽用画像フレームとして用いる画像フレームを前記フレームメモリに展開されている画像フレームから決定（選択）する。
【００５１】
このように、順次、画像パケットがフレームメモリに展開され復号されてゆく。
【００５２】
次に、前記決定処理について詳述する。
画像復号装置が、図２に示した符号化ストリームを受信すると、受信した符号化ストリームを、画像パケット、非画像パケットとに分離して、各パケットを復号する。
【００５３】
図２に示したように、画像パケットＳＬ４の復号後、画像パケットＳＬ４に続く、画像フレーム間の相関性が無いことを示す制御情報が符号化された非画像パケットＸが復号されると、符号化ストリーム内において、非画像パケットＸの前に位置する画像パケットＳＬ４を復号した結果生成された画像フレームＡ４に対して、当該画像フレームをエラー隠蔽用のフレームとして使用することできないことを示すマーク（符号Ｍ）を付ける（マーキング処理を施す）。
なお、画像フレームＡ４だけではなく、画像フレームＡ３にもマーキング処理を施すことができる。
【００５４】
次に、画像パケットＳＬ５（画像フレームＢ５）の復号処理が終了すると、画像パケットＳＬ６（画像フレームＢ６）の復号処理を実行する。
画像パケットＳＬ６の復号処理中に、符号ＥＲＲに示したようなエラーブロックを検知すると、前記マーキング処理が施されていない（符号Ｍが付されていない）画像フレーム、すなわち、画像フレームＢ６と相関性の有る画像フレームＢ５をエラー隠蔽用画像フレームとして用いて、エラー隠蔽処理を実行する。
【００５５】
なお、画像パケットＳＬ５（画像フレームＢ５）の復号時にエラーブロックを検知した場合には、画像フレームＡ４は画像フレームＢ５と相関性が無いのでエラー隠蔽用画像フレームとしては用いられず、例えば、自フレームを参照してエラー隠蔽処理が実行される。
【００５６】
このように、相関性が無いことを示す制御情報を参照するだけで、複雑な処理を行うことなく最適なエラー隠蔽用画像フレームを決定することができるので、エラー隠蔽にかかわる処理負担を削減できる。
【００５７】
図６は、前述した復号処理を実行できる画像復号装置のブロック図である。
画像復号装置２は、画像符号化装置１が送信した符号化ストリームを受信し、復号する。
【００５８】
２１は分離部である。分離部２１は、入力された符号化ストリームを、画像パケットと非画像パケットとに分離して、分離した画像パケットを画像復号部２２に出力し、同非画像パケットを制御情報復号部２３に出力する。
【００５９】
画像復号部２２は、入力された画像パケットを復号し、復号画像をフレームメモリ２６に出力する。また、エラーブロックを検知した場合には、エラーブロックの位置情報等をエラー隠蔽部２５に通知する。
【００６０】
制御情報復号部２３は、画像フレーム間の相関性が無いことを示す制御情報及び／又は画像パケットの復号処理に利用される制御情報等が符号化された非画像パケット、例えば、ＳＰＳ、ＰＰＳ、ＡＵＤ、ＳＥＩ等の非画像パケットを復号する。
【００６１】
そして、画像フレーム間の相関性が無いことを示す制御情報が復号された場合には、当該制御情報をエラー隠蔽制御部２４へ通知する。
また、画像パケットの復号処理に利用される制御情報が復号された場合には、当該制御情報を画像復号部２２へ通知する。
【００６２】
エラー隠蔽制御部２４は、制御情報復号部２３が通知した制御情報をもとに、画像フレーム間の相関性が無いことを示す非画像パケットの前の画像パケットを復号した結果生成された画像フレームに対して、エラー隠蔽用の画像フレームとして使用することができないことを示すマークを付ける（マーキング処理）。
具体的には、図５で説明した、非画像パケットＸの前の画像パケットＳＬ４を復号した結果生成された画像フレームＡ４に対してマーキング処理（符号Ｍ）を行う。
【００６３】
エラー隠蔽部２５は、画像復号部２２から通知されたエラーブロックの位置情報、及び、エラー隠蔽制御部２４が画像フレームに施したマーク等を参照して、前記マークが施されていない画像フレームの中からエラー隠蔽に用いる復号済みの画像フレームを決定する。そして、例えば、エラーブロックに、決定したエラー隠蔽用画像フレームにおける前記ブロックと同位置のブロックをコピーすることによって、エラー隠蔽処理を実行し、エラー隠蔽処理を施したフレームをフレームメモリ２６に出力する。
【００６４】
この場合、通常、直前の画像フレームは、相関性が有るものとしてエラー隠蔽に用いられるが、前記のようにマーク（符号Ｍ）が付されている場合には、相関性が無い画像フレームなので、当該画像フレームはエラー隠蔽用として用いられない。
【００６５】
次に、画像復号装置２の画像復号処理を、図７のフロー図を用いて説明する。
画像符号化装置１が送信した符号化ストリームを受信し（ステップＳ１１）、分離部２１にて、受信した符号化ストリームを画像パケットと非画像パケットとに分離し、ステップＳ１２で、分離したパケットが画像パケットか非画像パケットかを判定する。
【００６６】
分離したパケットが、画像パケットの場合（ステップＳ１２／画像パケット）、画像復号部２２に出力し、同復号部２２は、画像パケットの復号処理を実行する（ステップＳ１３）。
【００６７】
分離したパケットが非画像パケットの場合（ステップＳ１２／非画像パケット）、非画像パケットを制御情報復号部２３に出力し、同復号部２３は、非画像パケットの復号処理を実行する（ステップＳ１４）。
【００６８】
次に、ステップＳ１５で、非画像パケットを復号すると共に画像フレーム間の相関性が無いことを示す制御情報の有無を判定する。
【００６９】
画像フレーム間の相関性が無いことを示す制御情報が有る場合（ステップＳ１５／有）、制御情報復号部２３は、前記情報をエラー隠蔽制御部２４へ通知し、同制御部２４は、前記情報をもとに、エラー隠蔽用の画像フレームとして使用することができない復号済みの画像フレームにマーキング処理を施す（ステップＳ１６）。以後、後述するステップＳ１８のエラー隠蔽処理では、マーキング処理が施された画像フレームは、エラー隠蔽用画像フレームとして使用されない。
【００７０】
画像フレーム間の相関性が無いことを示す制御情報が無い場合には（ステップＳ１５／無）、復号された制御情報は、画像パケットの復号に必要な制御情報であるため、制御情報復号部２３は、復号した制御情報を画像復号部２２に通知する。以後、ステップＳ１３における画像パケットの復号処理において、当該制御情報が使用される。
【００７１】
なお、画像フレーム間の相関性が無いことを示す制御情報、及び、画像パケットの復号処理に利用される制御情報が有る場合には、前述のマーキング処理（ステップＳ１６）と共に、画像パケットの復号に必要な制御情報を画像復号部２２に通知する。
【００７２】
また、ステップＳ１３における画像パケットの復号処理の実行中に、画像復号部２２がエラーブロックを検知した場合（ステップＳ１７／ＹＥＳ）、エラー隠蔽部２５は、エラーブロックの位置情報及びエラー隠蔽制御部２４にて施されたマーク等を参照して、前記マークが施されていない画像フレームの中からエラー隠蔽用画像フレームを決定し、エラー隠蔽処理を実行する（ステップＳ１８）。
【００７３】
次に、エラー隠蔽処理を施した画像フレームを図示しないモニタ等に出力する（ステップＳ１９）。
【００７４】
なお、ステップ１３における画像パケットの復号処理を実行中に、画像復号部２２がエラーブロックを検知しない場合（ステップＳ１７／ＮＯ）、復号した画像フレームを図示しないモニタ等に出力する（ステップＳ１９）。
【００７５】
ステップＳ１９の処理終了後、復号ストリームの受信処理が終了したか否かを判定し（ステップＳ２０）、受信処理が終了しない場合（ステップＳ２０／ＮＯ）、ステップ１１の処理を実行する。
受信処理が終了した場合（ステップＳ２０／ＹＥＳ）、復号処理を終了する。
【００７６】
このように、画像復号装置２は、シーンチェンジが発生するなどして、画像フレーム間の相関性が無くなった場合でも、符号化ストリームに含まれる、画像フレーム間の相関性が無いことを示す制御情報を参照することで、複雑な処理を行うことなく適切にエラー隠蔽用画像フレームを決定することができる。
【００７７】
また、各画像フレームのフレームタイプ（ピクチャタイプ）、すなわち、画面内符号化ブロックのみから構成されたイントラフレームであるか、又は、画面間符号化ブロックを含むインターフレームであるかにかかわりなく、エラー隠蔽処理を実行できる。
例えば、先頭フレームのみイントラフレームで、以後、インターフレームのみで構成される符号化ストリームを送受信するテレビ電話システム等の符号化ストリーム送受信システムでも、本発明を適用することができる。
【００７８】
また、Ｈ．２６４符号化方式では、ＳＥＩ（各フレームのタイミング情報やランダム・アクセス用の情報等、符号化データを復号するための付加情報）の符号化及び復号が必須ではないため、画像システムによっては、ＳＥＩがサポートされていない場合がある。
しかし、本発明では、前記制御情報を符号化した非画像パケットとして、ＳＰＳ、ＰＰＳ等のＮＡＬユニットを使用できるので、ＳＥＩがサポートされていない符号化ストリーム送受信システムでも本発明を適用することができる。
【図面の簡単な説明】
【００７９】
【図１】符号化される画像フレーム列の一例を示した図である。
【図２】符号化ストリームの一例である。
【図３】本発明に係る画像符号化装置のブロック図である。
【図４】符号化ストリーム作成処理を説明するためのフロー図である。
【図５】エラー隠蔽用画像フレームの決定方法を説明するための図である。
【図６】本発明に係る画像復号装置のブロック図である。
【図７】画像復号処理を説明するためのフロー図である。
【符号の説明】
【００８０】
１…画像符号化装置、２…画像復号装置、１１…画像入力部、１２…画像符号化部、１２ａ…画像フレーム間相関性検知部、１３…制御情報符号化部、１４…多重化部、１５…蓄積部、１６…フレームメモリ、２１…分離部、２２…画像復号部、２３…制御情報復号部、２４…エラー隠蔽制御部、２５…エラー隠蔽部、２６…フレームメモリ。
【図１】
2008283253.tif 000003
【図２】
2008283253.tif 000004
【図３】
2008283253.tif 000005
【図４】
2008283253.tif 000006
【図５】
2008283253.tif 000007
【図６】
2008283253.tif 000008
【図７】
2008283253.tif 000009