(57)【要約】【課題】パケットロスによる欠落領域を補う画像補正についての問題解決を図る。【解決手段】計算された面積と予め設定された面積（例えば、１００画素）とを比較する（ステップＳ３：面積比較）。予め設定された面積未満のときは、等方拡散方程式と異方拡散方程式を併用する（ステップＳ４：等方拡散方程式／異方拡散方程式）一方、予め設定された面積以上のときは、移流方程式とナビエ・ストークス方程式を併用する（ステップＳ５：移流方程式／ナビエ・ストークス方程式）。【選択図】図３
2007281692.tif 000002
【特許請求の範囲】
【請求項１】
画像がパケット化されて送信された際のパケットロスを検出し、パケットロスに対応する画素を特定するパケットロス検出手段と、
前記特定された画素からなる欠落領域の面積を求める欠落領域面積検出手段と、
前記欠落領域の周辺領域のテクスチャを解析するテクスチャ解析手段と、
前記周辺領域のテクスチャの解析結果から当該テクスチャの方向性を推定し、推定した方向性から速度ベクトルを推定する速度生成手段と、
前記計算された面積が予め設定された面積未満のときは、等方拡散方程式と異方拡散方程式を用いて前記欠落領域を補う一方、前記計算された面積が前記予め設定された面積以上のときは、前記推定された速度ベクトルと移流方程式とナビエ・ストークス方程式を用いて前記欠落領域を補う画像補正手段と、
を備えることを特徴とする画像補正装置。
【請求項２】
前記テクスチャ解析手段は、前記周辺領域のテクスチャからエッジ構造を検出することを特徴とする請求項１記載の画像補正装置。
【請求項３】
前記速度ベクトル生成手段は、前記推定された速度ベクトルを基にした移動平均処理を反復して行うことにより速度場を画像全体に形成することを特徴とする請求項１または２記載の画像補正装置。
【請求項４】
画像を構成する画素のアドレスからなる一次元配列を二次元配列に変換した場合の４点近傍連結および８点連結近傍の画素を欠落領域として検出し、該欠落領域を構成する画素の数を当該欠落領域の面積とすることを特徴とする請求項１ないし３のいずれかに記載の画像補正装置。
【請求項５】
画像補正装置に構成されたパケットロス検出手段が、画像がパケット化されて送信された際のパケットロスを検出し、パケットロスに対応する画素を特定し、
前記画像補正装置に構成された欠落領域面積検出手段が、前記特定された画素からなる欠落領域の面積を求め、
前記画像補正装置に構成されたテクスチャ解析手段が、前記欠落領域の周辺領域のテクスチャを解析し、
前記画像補正装置に構成された速度生成手段が、前記周辺領域のテクスチャの解析結果から当該テクスチャの方向性を推定し、推定した方向性から速度ベクトルを推定し、
前記画像補正装置に構成された画像補正手段が、前記計算された面積が予め設定された面積未満のときは、等方拡散方程式と異方拡散方程式を用いて前記欠落領域を補う一方、前記計算された面積が前記予め設定された面積以上のときは、前記推定された速度ベクトルと移流方程式とナビエ・ストークス方程式を用いて前記欠落領域を補う、
ことを特徴とする画像補正方法。
【請求項６】
前記テクスチャ解析手段は、前記周辺領域のテクスチャからエッジ構造を検出することを特徴とする請求項５記載の画像補正方法。
【請求項７】
前記速度ベクトル生成手段は、前記推定された速度ベクトルを基にした移動平均処理を反復して行うことにより速度場を画像全体に形成することを特徴とする請求項５または６記載の画像補正方法。
【請求項８】
画像を構成する画素のアドレスからなる一次元配列を二次元配列に変換した場合の４点近傍連結および８点連結近傍の画素を欠落領域として検出し、該欠落領域を構成する画素の数を当該欠落領域の面積とすることを特徴とする請求項５ないし７のいずれかに記載の画像補正方法。
【請求項９】
請求項１ないし４のいずれかに記載の画像補正装置をコンピュータで実現するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パケットロスによる欠落領域を補う画像補正装置および画像補正方法に関する。
【背景技術】
【０００２】
映像伝送する手段は、インターネット時代、地上波デジタル時代においては重要かつ不可欠な技術である。ＭＰＥＧ２，ＭＰＥＧ４，Ｈ．２６５等の高圧縮符号化技術により、高品質な画質がエンコード・デコードされているが、パケットロスによる場合はエラー訂正技術が適用されている。２つの技術により、一定の水準を保った映像通信が可能となっている。また、映像製作の分野ではデジタルコンテンツへの高度な変形補正方法が発達している。
【０００３】
映像伝送では、きれいな画像を送受信することが求められているが、符号化に伴う画質の劣化に加えて、パケットロスによる画質の劣化問題が知られており、エラー訂正技術（エラーコンシールメント技術ともいう。非特許文献１を参照）という方法によりさまざまに対応がなされている。しかし、それでの対処方法は、デコードされた情報で、画像を表示するときに時間的に前の情報のものに、画素レベル、フレーム単位で単純に置き換えて表示している。元の時系列画像に大きい動きがあったり、画像模様が複雑な場合は置き換えて表示しても視覚的に見づらい表示となる問題があった。
【０００４】
画像処理により補正する方法においては、異方拡散方程式（非特許文献２を参照）に基づいた方法がある。この方法はパケットロス問題向けに適用されていたものではなく、１枚の画像におけるテロップを周辺の色とテクスチャ情報を利用して、画像処理的に穴埋め補間する方法である。この方法は、穴埋めを行うべき領域の面積が小さい場合に有効な方法である。
【非特許文献１】Y.Wang and Q-F.Zhu,“Error control and concealment for video communication: a review”,  Proc. The IEEE, vol.86, no.5, May 1998.
【非特許文献２】M.Bertalmio, G.Sapiro, V.Caselles, and C.Ballester,“Image inpainting”, Proceedings of SIGGRAPH 2000, pp.417-424, July 2000.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記したように、映像伝送では、きれいな画像を送受信することが求められているが、符号化に伴う画質の劣化に加えて、パケットロスによる画質の劣化問題が知られており、エラー訂正技術（エラーコンシールメント）という方法によりさまざまに対応がなされている。しかし、その対処方法は、デコードされた情報で、画像を表示するときに時間的に前の情報のものに、画像レベル、フレーム単位で単純に置き換えて表示している。そのため、元の時系列画像に大きい動きがあったり、画像模様が複雑な場合は置き換えて表示しても視覚的に見づらい表示となる問題があった。
【０００６】
また、画像ごとに画像処理により補正する方法においては、異方拡散方程式に基づいた方法があるが、計算速度が遅いこと、補正が不均一になってしまう問題があった。さらに、画像補正方法とエラー訂正技術の相乗効果を図ったものは存在しなかった。異方拡散方程式を用いるために、欠落領域の面積が大きくなると効果が急速に薄れていく問題があった。
【０００７】
つまり、第１の課題は、画像処理の観点からパケットロスによる画素の情報抜け、また、速い動きを伴った表示内容、コンテンツの場合での、過去のフレームに差し替える手段をなくすことである。この手段があると、一瞬、画像全体がとまったような静止画になっているので、不自然な表示となってしまうのである。
【０００８】
第２の課題は、欠落した領域の面積が大きい場合への画像処理およびエラーコンシールメント法を補強あるいは代替する方法を得ることである。
【０００９】
第３の課題は、異方拡散方程式に基づく方法だけでは、欠落した領域にテクスチャ構造がはっきりした周辺情報を伝播させることが困難であり、視覚的に表示された画質としての向上問題があるので、この解決を図ることである。
【００１０】
第４の課題は、異方拡散方程式による補正するための計算コストが高い問題の解決を図ることである。
【課題を解決するための手段】
【００１１】
本発明では、画像処理の観点からパケットロスによる画素の情報抜けを補間処理する方法を適用している。パケットロスをした場合に、画像のどこの画素が抜け落ちかに関する情報は明らかであるため、画像のどこを補間処理したらいいかについては、特別な知識を必要としないのが特徴である。
【００１２】
本発明により、パケットロスによるこれまで見られた画像中の大きな画素の抜け問題が回避され、安定した画像の送受信が可能となっている。そのために本発明では、これまでの異方拡散方程式に加えて、拡散方程式と移流方程式を併用する。欠落領域の面積が小さい場合は、等方拡散方程式と異方拡散方程式を併用（交互に適用）し、面積が大きい場合は、移流方程式を適用する。これは、テクスチャ構造がはっきりしている画像の場合は、拡散方程式により、テクスチャが不自然にぼやけてしまうためである。
【００１３】
移流方程式の解法に、有限差分法に代えて、ＣＩＰ法を適用することで、高速化と高精度化（画質）が両立できる。移流方程式における移流項中の速度項については、欠落領域周辺のテクスチャ（模様）を画像処理解析することで、テクスチャ（模様）から速度ベクトルに相当する量を推定して反映させる。周辺のテクスチャ上で推定された速度ベクトルを欠落領域内へ反映させるために、流体力学分野のナビエ・ストークス方程式を適用する。ナビエ・ストークス方程式を適用する際に、初期速度ベクトルとして、欠落領域周辺の速度ベクトルだけでは安定した数値計算が困難であるために、得られている速度ベクトルに基づいて反復的に移動平均を画像全体に加える必要がある。なお、パケットロス情報によらない場合は、欠落領域を手動により定義すればよい。
【００１４】
つまり、本発明では、１）パケットロスに対する画素の位置を判別する。また、２）画像処理による画素単位への自動処理が高効率な処理による手段により実現する。また、３）異方拡散方程式と等方拡散方程式を併用する（交互に用いる）。また、４）穴埋め領域の面積の大小を判定し、適用する方程式を適応的に切り替える。また、５）移流拡散方程式を用いる。また、６）ＣＩＰ法と移流拡散方程式を用いる。また、７）ナビエ・ストークス方程式を用いる。また、８）ナビエ・ストークス方程式を適用する際に、初期速度ベクトルとして、欠落領域周辺の速度ベクトルだけでは安定した数値計算が困難であるために、得られている速度ベクトルに基づいて反復的に移動平均を画像全体に加える。
【発明の効果】
【００１５】
本発明によれば、パケットロスによる欠落領域を補う際の上記課題を解決し、画像によらず、一定水準以上の効果を得ることができる。
【００１６】
まず、パケットロスに対する画素の位置を判別することで、偏微分方程式を解く際の初期画像を自動的に獲得できる。
【００１７】
また、パケットロスが生じても画素単位に補正ができるので、速い動きのあるシーンでも自然に補正された連続動画を再生できる。
【００１８】
さらには、欠落領域の面積に応じて、処理方式を変えることで、高速かつ細かいテクスチャの画像補正が行える。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態を図面を参照して説明する。
【００２０】
図１は、本実施の形態に係るシステム構成図である。
【００２１】
本システムは、映像データ伝送手段１、エンコード手段２、伝送手段３、データ入力手段１００、画像蓄積手段１１０、デコード手段１２０、パケットロス検出手段１３０、欠落領域面積検出手段１４０、テクスチャ解析手段１５０、速度生成手段１６０、画像補正手段１７０および画像表示手段１８０により構成される。
【００２２】
本システムでは、映像を伝送する際、映像データ伝送手段１を通じて得た映像データをエンコード手段２がパケット化して、それを伝送手段３が送信し、その映像データをデータ入力手段１００が入力し、それを画像蓄積手段１１０が蓄積する。それが読み出されるとその映像データをデコード手段１２０がデコードし、パケットロス検出手段１３０が、デコードするまでの間にパケットロスが生じたか否かを判定する。また、映像データを再生するときは、パケットロス検出手段１３０が、パケットロスに対応した画素を特定し、欠落領域面積検出手段１４０が、特定された画素からなる欠落領域の面積を求め、テクスチャ解析手段１５０が、欠落領域の周辺領域のテクスチャを解析する。速度生成手段１６０は、解析結果からテクスチャの方向性を推定し、その方向性から速度ベクトルを推定する。画像補正手段１７０は、求められた面積が予め設定された面積未満の場合は等方拡散方程式と異方拡散方程式を用いて欠落領域を補う一方、求められた面積が予め設定された面積以上の場合は、推定された速度ベクトルと移流方程式とナビエ・ストークス方程式を用いて前記欠落領域を補う。そして、補正された画像を画像表示手段１８０が出力（表示）する。
【００２３】
なお、多くの場合、映像データ伝送手段１、エンコード手段２、伝送手段３は、送信装置を構成する。一方、他のものは受信装置に構成される場合があるが、パケットロス検出手段１３０、欠落領域面積検出手段１４０、テクスチャ解析手段１５０、速度生成手段１６０、画像補正手段１７０は、受信装置ではない装置（コンピュータ）に構成してもよい。
【００２４】
図２は、本システムが行う画像補正の説明図である。画像修復技術については古い絵画での専門家による手作業によるものがよく知られており、inpaintingと呼ばれる。新しい絵画や写真でも傷がついたものを本来あったと推定される絵や画像に局所的に置き換えることで違和感のない元に限りなく近いものを復元する技術であり、保存性の観点から重要な手法である。修復される領域のまわり、近傍の図柄を手がかりに行われていると考えられる。近年、コンピュータグラフィックスの分野では、参考文献１にあるように、異方拡散（Anti-Diffusion：ＡＤ）方程式を用いた方法で、計算機による自動修復が試みられている。図２はこの原理と考え方を示すものである。
【００２５】
本来の図柄、画像２００に基づいて、その内側の画像がない、欠落した領域２１０を補間する。欠落した領域２１０をマスク画像とした場合、その外側は境界条件として含める。マスク画像の法線ベクトルに沿って、周辺の画像２００を境界条件として既知（初期値）とする。異方拡散方程式の変数は画像領域の画素とする。初期値を異方拡散方程式に入力して、時間積分を繰り返すことで、境界の図柄が法線ベクトルに沿って内側のマスク画像へ伝播する。その結果内側のマスク画像に相当する領域が補間される（符号２２０で示す）。これを繰り返すことで、中心部まですべての領域が周辺の画像情報により修復される。モノクロからカラーの図柄（テクスチャ）まで適用できる。
【００２６】
以下に、従来法についてと、本発明における方法の数式について説明する。
【００２７】
従来法は、式（１）をメイン方程式にしながら、ある時間積分回数ごとに、式（９）のみを用いる。これに対して、本発明では、式（９）と（１１）を併用（交互に適用）する。画像濃淡値をＩとし、画素（ｉ，ｊ）、離散化された時間のｎ番目に関する情報をもつものとする。ｉ，ｊ，ｎは整数である。時間幅δｔ、画素の縦横の幅をそれぞれ、Δｘ，Δｙとする。式（１）では、式（２）〜式（７）が使われる。各式の概要について述べる。Ωは画像補正を行う領域を示す。Ｌは画像に関する情報であるが、式（３）は式（４）からわかるように、画像Ｉの２次の空間微分値である。式（５）は単位ベクトルを表す。式（６）は、画像濃淡値の等高線（等濃度線）の法線ベクトルである。これは、既知の画像から補正する画像内へ、どちらの方向へ計算を進めるか（補正を行うか）を決定する量である。式（７）は画像濃淡値のエッジの大きさを表す。式（７）中、右辺の添え字、ｆ，ｂはそれぞれ差分法における前進差分、後退差分を表す。Min，Maxはそれぞれ、０と微分値を比べて小さい方、大きい方を選択する。これまで、収束判定条件は、式（１）（時間発展方程式という）における画像濃淡値Ｉの時間変化がほとんどなくなった場合、もしくは、式（２）が微小値以下になったときとしていた。
【００２８】
異方拡散方程式（８）を離散化表現すると式（９）となる。これは、画像中、エッジ形状を保存しながら、拡散させる２つの効果をあわせもっているのが特徴である。Ｋは拡散係数相当である。等方拡散方程式は式（１０）からその離散化表現された等方拡散方程式（１１）を用いる。λは拡散係数である。式（１０）の左辺は画像濃淡値Ｉに関しての時間変化項、右辺は空間２次微分項である。等方拡散は拡散係数の大きいと単位時間当りの、初期の画像濃淡値を薄めながら、その面積を広げていく効果がある。
【００２９】
従来法として、式（１）と式（８）を併用した（交互に用いた）とき、式（８）は既知画像の濃淡値を境界条件として拾う。そのあと、式（８）だけで時間積分して補正領域内に境界条件から拾った画像濃淡値を伝播、拡散させる。
【数１】
2007281692.tif 000003
【００３０】
図３は、パケットロスにより欠落した欠落領域の面積に応じて補正方法を選択することの説明図である。入力されたパケット情報（ステップＳ１：パケット情報の入力）には、画像表示するときの画素位置情報が含まれていることを利用して、欠落領域面積検出手段１４０が欠落領域の面積を求める（ステップＳ２：欠落領域の面積を求める）。ここでは、図３（ｂ）に示すように、例えば、パケットロス検出手段１３０により特定された画素（欠落した画素）のアドレスからなる一次元配列を二次元配列に変換した場合の４点近傍連結および８点連結近傍の画素の数を求める。次に、計算された面積と予め設定された面積（例えば、１００画素）とを比較する（ステップＳ３：面積比較）。予め設定された面積未満のときは、等方拡散方程式と異方拡散方程式を併用する（ステップＳ４：等方拡散方程式／異方拡散方程式）一方、予め設定された面積以上のときは、移流方程式とナビエ・ストークス方程式を併用する（ステップＳ５：移流方程式／ナビエ・ストークス方程式）。
【００３１】
また、等方拡散方程式と異方拡散方程式を所定回数毎に交互に適用してもよい。この場合は、例えば、等方拡散方程式の適用回数を１０回、異方拡散方程式の適用回数を３回等と設定する。
【００３２】
図４は、図３におけるステップＳ４の補足説明図である。ここでは、時間発展方程式を所定の回数用いる（Ｓ４１：時間発展方程式）が、例えば、偶数回では、等方拡散方程式を適用し（Ｓ４３：等方拡散方程式）、奇数回では異方拡散方程式を適用し（Ｓ４４：異方拡散方程式）、所定回数に達したら、または収束したら（Ｓ４２：所定回数？収束？）、欠落領域に画像補正されて修復された画像を出力する（Ｓ４５：出力）。
【００３３】
面積が大きいときに、等方拡散方程式のみを適用すると、十分な画像補正がなされず、滑らかなぼやけ補正となる。また、粗いテクスチャパターンは平滑効果により、ぼやけてしまう。一方、異方拡散方程式のみだと、逆に、細かいテクスチャは補正画像として伝播されずに、粗いテクスチャのみが補正となる。したがって、両者の利点を生かすことで、細かいテクスチャと粗いテクスチャを欠落領域において生成することができる。
【００３４】
図５は、図３におけるステップＳ５の補足説明図である。まず、速度生成手段１６０が、ナビエ・ストークス方程式を適用して、時間発展となった速度を作り出す（Ｓ５１：速度生成）。次に、時間発展方程式を所定の回数用いる（Ｓ５２：時間発展方程式）が、その後に、移流方程式を適用し（Ｓ５３：移流方程式）、所定回数に達したら、または収束したら（Ｓ５４：所定回数？収束？）、欠落領域に画像補正されて修復された画像を出力する（Ｓ５５：出力）。
【００３５】
図６は、周辺領域のテクスチャ３００（波状パターン）を欠落領域（点線枠内）へどのように伝播させるかについての説明図である。
【００３６】
ここでは、周辺領域のテクスチャ３００とこれに連続するテクスチャ（欠落領域を補うテクスチャ）とからなるテクスチャ３１０を得るのが目的となる。その目的達成のためには、周辺領域のテクスチャの特徴を解析する必要がある。解析については、テクスチャの方向性、周期性、大きさなどを空間周波数画像上で解析すればよい。特に、テクスチャの方向性については、移流方程式における速度ベクトルとして使用する。欠落領域内へ周辺領域上のテクスチャの方向性（速度ともよぶ）を伝播させるためには、速度の成分に対して、移動平均フィルタを反復的に繰り返して使用し、初期速度場を形成する。続いて、ナビエ・ストークス方程式へこの初期速度場を代入して、適当な回数だけ時間積分を行って、流体的に速度場を伝播させながら、連続にしていく。このとき、欠落領域の境界部の速度場は四辺とも常に固定しておく。このようにして、ナビエ・ストークス方程式により、欠落領域の内外で速度場が連続になる。続いて、移流方程式を用いて、テクスチャを欠落領域へ伝播させる。このようにして、欠落領域の内外でテクスチャを用いて、テクスチャを欠落領域へ伝播させる。このようにして、欠落領域の内外でテクスチャを含んだ連続的な画像修復が達成できる。
【００３７】
次に、ナビエ・ストークス方程式の解法について説明する（参考文献２）。
【００３８】
ここでは、ＨＳＭＡＣ法という方法でナビエ・ストークス方程式を解く。
【００３９】
連続式を圧力（もしくは気圧）に関して調整をしながら、非線形連立方程式を反復的に解いていく。ナビエ・ストークス方程式は、速度と圧力の２つの独立変数を含む。流れの対象を被圧縮流体と仮定すると、離散化した連続式はゼロが速度場に対する条件となる（Ａ１）。計算格子点上、圧力変数は１メッシュ毎に１変数、速度変数については、その垂直・水平成分を格子点上に配置するものとする。
【数２】
2007281692.tif 000004
【００４０】
次に、未来の速度場を得るために、時間項に関して、前進差分化する（Ａ２）。
【数３】
2007281692.tif 000005
【００４１】
画像特徴量から速度成分をナビエ・ストークス方程式を解くときの初期値として与え、圧力については全領域ゼロとして推定している。境界条件は、画像輪郭部に連続条件を課している。また、粘性係数と密度については経験的に決定した。
【００４２】
各メッシュ毎に、圧力の傾きを考えた場合、その傾きに沿って速度の方向と大きさが決定される。式（Ａ１）が各メッシュ毎に満たされるように、圧力を調整するような解法をとる。式（Ａ３），（Ａ４）を用いて、メッシュ毎に速度成分と圧力を微小量ずつ、全メッシュについて反復的に計算を進める。条件式（Ａ１）が一定微小値未満になるまで続ける。
【数４】
2007281692.tif 000006
【００４３】
収束した結果が、ある離散時間から次の時間ステップまでの、速度成分と圧力が予測できる。時間積分を所定回数繰り返せばよい。
【００４４】
図７は、パケットロス検出手段１３０および欠落領域面積検出手段１４０についての説明図である。
【００４５】
パケット４００が通信途上、影響を受けるのは、バースト性とノイズ性によるものが知られている。バースト性はモバイル端末が移動中に、建物等の障害によりパケットが大きく欠損してしまう場合である。これをパケットロスという。ノイズ性は小さい欠損であり、通信ノイズ等の要因による。パケットロスが生じたかどうかの判定については、デコード側での処理である。個々のパケット４００は、画像の画素情報とタイムスタンプ情報、冗長コード（誤り判定用）からなるものが示されている。あるパケット４１０が欠損した場合は、タイムスタンプ情報の時間的な連続性に基づいている。
【００４６】
以下に、誤り検出と誤り修復について、その概略を述べる。
【００４７】
（誤り検出）
誤り耐性処理：ビットストリームは可変長符号語を含むため、一般に誤りが付加されたビット以降は可変長復号の同期ずれを引き起こす。従って、誤りビット位置を常に正確に判断することは困難である。ＭＰＥＧ−４ビデオストリームでの誤りは、通常、このような同期ずれが生じた後、しばらくして以下のような復号破綻を生じた場合にはじめて検出可能である。
【００４８】
１）ＭＰＥＧ−４標準が定めるシンタックス規則に違反する状態（例，ＤＣＴ係数が１ブロック当り６４個以上復号される場合など）
２）復号値が標準で定める領域を逸脱する場合
３）ハフマン表中の符号語とは合致しない符号語が検出される状態
復号の同期ずれは本来の符号化データとは異なるデータを復号する結果となるため、映像品質に大きなダメージを与えることがある。従って、圧縮映像データに対する誤り発生時の映像品質は、誤り検出がどれだけ早く的確に行えるように設計されているかに依存するところが大きい。
【００４９】
（再同期）
誤りが検出されると、そのビット位置から、次に復号が正しく再開できるポイントまでの間のストリームデータは正常復号できない。このような正常復号再開可能ポイントを再同期ポイントと呼び、誤り検出をした後は、カレントのビット位置から最も近い再同期ポイントをサーチする処理が必要となる。最も近いポイントを見つけることで、誤りのために捨てなければならないビット数を最小化できる。ＭＰＥＧ−４の再同期ポイントは、再同期マーカ、ＶＯＰないしはそれ以上の階層のスタートコードなどである。ＭＰＥＧ−４でリバーシブルＶＬＣを用いたストリームを復号する場合は、再同期ののち、逆方向のストリーム解析を行うことで、捨てなければならないビット数を削減することが可能である。
【００５０】
（誤り修復）
再同期の結果、誤りのために捨てなければならないビットとそれに対応して欠落するマクロブロック領域が確定する。これらの欠落マクロブロックに対して、それらしい絵を近傍の正しく復号された画像データなどから類推して欠落部の絵として代用する処置を誤り修復（エラーコンシールメント）と呼ぶ。修復に用いられる代用画像データの生成方法にはさまざまな手法があるが、一般的には、フレーム内修復では空間的な画素補間となるため、詳細な画像の特徴が失われる傾向にあり、フレーム間での参照画像関係を利用した修復では正しい絵柄がフレームメモリ内にあることから、詳細な画像特徴を保った修復が可能である。
【００５１】
図８は、画像補正手段１７０についての説明図である。デコーダからパケットロスがあった場合、画像５００の画質は、穴があいたような不自然な画質となる。しかし、パケットロスとなったパケットに対する欠落領域が容易にわかるため、図２以降の方法にもとづいて、欠落領域を補正してから、表示することで違和感のない画像５１０を再生できる。
【００５２】
図９は、画質評価実験の結果を示す図である。従来法とは、誤り訂正技術によるもので、パケットロスした場合、画素上、適当な色もしくは過去のものに単純に置き換える。動画のコンテンツとしては、動きの速いもの、遅いもの、画像模様（テクスチャ）が粗いもの、細かいもの、でさまざまに主観評価した。ＭＯＳ（Mean Opinion Score）は５段階で、５で画質上問題なしから１で非常に気になるまでである。被験者５人が各動画像を３回ずつみて、ＭＯＳをとった。その結果、動きが速くかつテクスチャが細かくなると、過去の画素に単純に置き換えた場合よりも、画像補正を画素単位で行った方が画質の劣化を極力抑制できることが示された。
【００５３】
なお、パケットロス検出手段１３０、欠落領域面積検出手段１４０、テクスチャ解析手段１５０、速度生成手段１６０、画像補正手段１７０をコンピュータで実現するためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に格納し、陳列などして流通させたり、当該コンピュータプログラムをインターネットなどの通信網を介して伝送させてもよい。
【００５４】
（参考文献１）M.Bertalmio, G.Sapiro, C.Ballester, and V.Caselles, Computer Graphics,“Image inpainting”, Proceedings of SIGGRAPH 2000, pp.417-424, July 2000.  （参考文献２）荒川忠一、“数値流体工学”，東京大学出版会，1995.
（参考文献３）Y.Wang and Q-F.Zhu,“Error control and concealment for video communication: a review”, Proc. The IEEE, vol.86, no.5, 1998, 5.
（参考文献４）“Information technology - coding of audio-visual objects-part 2: visual”, ISO/IEC 14496-2, 2004.
（参考文献５）MPEG Test report of the formal verfication tests on MPEG-4 error resilience, ISO/IEC JTC1/SC29/WG11/N2604, 1998, 12.
【図面の簡単な説明】
【００５５】
【図１】本実施の形態に係るシステム構成図である。
【図２】本システムが行う画像補正の説明図である。
【図３】パケットロスにより欠落した欠落領域の面積に応じて補正方法を選択することの説明図である。
【図４】図３におけるステップＳ４の補足説明図である。
【図５】図３におけるステップＳ５の補足説明図である。
【図６】周辺領域のテクスチャ３００（波状パターン）を欠落領域（点線枠内）へどのように伝播させるかについての説明図である。
【図７】パケットロス検出手段１３０および欠落領域面積検出手段１４０についての説明図である。
【図８】画像補正手段１７０についての説明図である。
【図９】画質評価実験の結果を示す図である。
【符号の説明】
【００５６】
１  映像データ伝送手段
２  エンコード手段
３  伝送手段
１００  データ入力手段
１１０  画像蓄積手段
１２０  デコード手段
１３０  パケットロス検出手段
１４０  欠落領域面積検出手段
１５０  テクスチャ解析手段
１６０  速度生成手段
１７０  画像補正手段
１８０  画像表示手段
【図１】
2007281692.tif 000007
【図２】
2007281692.tif 000008
【図３】
2007281692.tif 000009
【図４】
2007281692.tif 000010
【図５】
2007281692.tif 000011
【図６】
2007281692.tif 000012
【図７】
2007281692.tif 000013
【図８】
2007281692.tif 000014
【図９】
2007281692.tif 000015