(57)【要約】【課題】損失ブロックの特性によって、最適のエラー隠し方法を適用して画像を復元することにより、受信端のエラー復元性能を向上できるだけでなく、元の画像に最も近接した画像を再生できる画像処理システムの損失ブロック復旧装置及びその方法を提供する。【解決手段】画像処理システムの損失ブロック復旧方法は、損失ブロックに対する費用関数を利用して、前記損失ブロックの特性を決定する段階と、前記損失ブロックの特性に最適なエラー隠し方法を適用して、前記損失ブロックを復旧する段階と、から構成される。【選択図】図３
2005192218.tif 000002
【特許請求の範囲】
【請求項１】
受信された画像ブロック中に損失ブロックが存在するか否かを判断する損失ブロック検出部と、
前記損失ブロックが発生した現在フレームと以前フレームとで、隣接ピクセル間の時間的差値（ｃｏｓｔ１）を算出するピクセル差算出部と、
前記損失ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する分散値算出部と、
前記時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較して、損失ブロックの特性を判断するブロック特性決定部と、
前記損失ブロックの特性によって、最適のエラー隠し方法を適用して該当損失ブロックを復旧する損失ブロック復旧部と、
から構成されることを特徴とする画像処理システムの損失ブロック復旧装置。
【請求項２】
前記ピクセル差算出部は、
下記式により隣接ピクセル間の時間的差値（ｃｏｓｔ１）を算出することを特徴とする請求項１に記載の画像処理システムの損失ブロック復旧装置：
【数１】
2005192218.tif 000016
式中、ｃｕｒｒｉは、前記損失ブロック周囲のピクセル値で、ｐｒｅｖｉは、以前フレームで現在損失ブロックと同一位置にあるブロック周囲のピクセル値である。
【請求項３】
前記分散値算出部は、
下記式によりモーションベクトル分散値（ｃｏｓｔ２）を算出することを特徴とする請求項１に記載の画像処理システムの損失ブロック復旧装置：
【数２】
2005192218.tif 000017
式中、ＭＶｉｘおよびＭＶｉｙは、それぞれＭＶｉの水平成分及び垂直成分である。
【請求項４】
前記ブロック特性決定部は、
前記ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）がそれぞれ第１の臨界値（Ｔ１）以下であると、前記損失ブロックの特性を第１の類型に決定し、前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第３の臨界値（Ｔ３）以下であると、前記損失ブロックの特性を第２の類型に決定し、前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第５の臨界値（Ｔ５）以上であると、前記損失ブロックの特性を第３の類型に決定し、前記ピクセル間の時間的差値（ｃｏｓｔ１）が第４の臨界値（Ｔ４）以上であると、前記損失ブロックの特性を第４の類型に決定することを特徴とする請求項１に記載の画像処理システムの損失ブロック復旧装置（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
【請求項５】
前記第１の類型は、ほとんど動きのないブロックで、前記第２の類型は、画像が全体的に同じような動きを有するブロックで、前記第３の類型は、一定の方向性なしに動く対象のあるブロックで、前記第４の類型は、画像フレーム間の場面転換が発生したブロックであることを特徴とする請求項４に記載の画像処理システムの損失ブロック復旧装置。
【請求項６】
前記エラー隠し方法は、
時間的方法を利用して前記損失ブロックを復旧する第１の方法と、
空間的方法を利用して前記損失ブロックを復旧する第２の方法と、
動きを考慮した時間的エラー隠し方法を利用して前記損失ブロックを復旧する第３の方法と、
から構成されることを特徴とする請求項１に記載の画像処理システムの損失ブロック復旧装置。
【請求項７】
前記第１の方法は、
前記損失ブロックがほとんど動きのないブロックの場合に適用されることを特徴とする請求項６に記載の画像処理システムの損失ブロック復旧装置。
【請求項８】
前記第２の方法は、
前記損失ブロックが一定の方向性なしに動く対象のあるブロック、または画像フレーム間の場面転換が発生するブロックの場合に適用されることを特徴とする請求項６に記載の画像処理システムの損失ブロック復旧装置。
【請求項９】
前記第３の方法は、
画像が全体的に同じような動きを有するブロックの場合に適用されることを特徴とする請求項６に記載の画像処理システムの損失ブロック復旧装置。
【請求項１０】
通信網を通して伝送される画像フレームを受信して画像処理する過程において、
損失ブロックに対する費用関数を利用して、前記損失ブロックの特性を決定する段階と、
前記損失ブロックの特性に最適なエラー隠し方法を適用して、前記損失ブロックを復旧する段階と、
から構成されることを特徴とする画像処理システムの損失ブロック復旧方法。
【請求項１１】
前記損失ブロックの特性を決定する段階は、
損失ブロックに対する費用関数を算出する段階と、
前記費用関数を既設定された臨界値と比較して損失ブロックの特性を決定する段階と、
から構成されることを特徴とする請求項１０に記載の画像処理システムの損失ブロック復旧方法。
【請求項１２】
前記費用関数を算出する段階は、
現在フレームと以前フレームとに対して、前記損失ブロックに隣接したピクセル間の時間的差値（ｃｏｓｔ１）を算出する段階と、
損失した動画像ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する段階と、
から構成されることを特徴とする請求項１１に記載の画像処理システムの損失ブロック復旧方法。
【請求項１３】
前記ピクセル間の時間的差値（ｃｏｓｔ１）は、
下記式により計算されることを特徴とする請求項１２に記載の画像処理システムの損失ブロック復旧方法：
【数３】
2005192218.tif 000018
式中、ｃｕｒｒｉは、前記損失ブロック周囲のピクセル値で、ｐｒｅｖｉは、以前フレームで現在損失ブロックと同一位置にあるブロック周囲のピクセル値である。
【請求項１４】
前記モーションベクトル分散値（ｃｏｓｔ２）は、下記式により算出されることを特徴とする請求項１２に記載の画像処理システムの損失ブロック復旧方法：
【数４】
2005192218.tif 000019
式中、ＭＶｉｘ及びＭＶｉｙは、それぞれＭＶｉの水平成分及び垂直成分である。
【請求項１５】
前記損失ブロックの特性を決定する段階は、
前記ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）がそれぞれ第１の臨界値（Ｔ１）以下であると、前記損失ブロックの特性を第１の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第３の臨界値（Ｔ３）以下であると、前記損失ブロックの特性を第２の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第５の臨界値（Ｔ５）以上であると、前記損失ブロックの特性を第３の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第４の臨界値（Ｔ４）以上であると、前記損失ブロックの特性を第４の類型に決定する段階と、
から構成されることを特徴とする請求項１０に記載の画像処理システムの損失ブロック復旧方法（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
【請求項１６】
前記第１の類型は、ほとんど動きのないブロックで、前記第２の類型は、画像が全体的に同じような動きを有するブロックで、前記第３の類型は、一定の方向性なしに動く対象のあるブロックで、前記第４の類型は、画像フレーム間の場面転換が発生したブロックであることを特徴とする請求項１５に記載の画像処理システムの損失ブロック復旧方法。
【請求項１７】
前記損失ブロックを復旧する段階は、
前記損失ブロックが第１の類型であると、第１の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第３の類型または第４の類型であると、第２の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第２の類型であると、第３の方法により損失ブロックを復旧する段階と、
から構成されることを特徴とする請求項１０に記載の画像処理システムの損失ブロック復旧方法。
【請求項１８】
前記第１の方法は、
前記損失ブロックを以前フレームの同一位置のブロックに代替する時間的方法であることを特徴とする請求項１７に記載の画像処理システムの損失ブロック復旧方法。
【請求項１９】
前記第２の方法は、
前記損失ブロックの隣接ピクセルから、線形補間を行って前記損失ブロックを復旧する空間的方法であることを特徴とする請求項１７に記載の画像処理システムの損失ブロック復旧方法。
【請求項２０】
前記第３の方法は、
前記損失ブロックの周辺ブロックのモーションベクトルを利用して、前記損失ブロックを以前フレームの最も適した位置のブロックに代替する動きを考慮した時間的エラー隠し方法であることを特徴とする請求項１７に記載の画像処理システムの損失ブロック復旧方法。
【請求項２１】
前記動きを考慮した時間的エラー隠し方法は、
前記損失ブロックの周辺ブロックのモーションベクトルの中間値を算出する段階と、
前記モーションベクトルの中間値を前記損失ブロックのモーションベクトルとして設定する段階と、
以前フレームで最適の位置のブロックを算出して前記損失ブロックを代替する段階と、
から構成されることを特徴とする請求項２０に記載の画像処理システムの損失ブロック復旧方法。
【請求項２２】
伝送された画像フレームに損失ブロックが存在するか否かを確認する段階と、
現在フレームと以前フレームとに対し、前記損失ブロックに隣接したピクセル間の時間的差値（ｃｏｓｔ１）を算出する段階と、
損失した動画像ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する段階と、
前記隣接ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較する段階と、
比較の結果によって前記損失ブロックの特性を決定する段階と、
前記決定された損失ブロックの特性を参照して、該当損失ブロックを復旧する段階と、
から構成されることを特徴とする画像処理システムの損失ブロック復旧方法。
【請求項２３】
前記ピクセル間の時間的差値（ｃｏｓｔ１）は、
下記式により計算されることを特徴とする請求項２２に記載の画像処理システムの損失ブロック復旧方法：
【数５】
2005192218.tif 000020
式中、ｃｕｒｒｉは、前記損失ブロック周囲のピクセル値で、ｐｒｅｖｉは、以前フレームで現在損失ブロックと同一位置にあるブロック周囲のピクセル値である。
【請求項２４】
前記モーションベクトル分散値（ｃｏｓｔ２）は、
下記式により算出されることを特徴とする請求項２２に記載の画像処理システムの損失ブロック復旧方法：
【数６】
2005192218.tif 000021
式中、ＭＶｉｘ及びＭＶｉｙは、それぞれＭＶｉの水平成分及び垂直成分である。
【請求項２５】
前記損失ブロックの特性を決定する段階は、
前記ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）がそれぞれ第１の臨界値（Ｔ１）以下であると、前記損失ブロックの特性を第１の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第３の臨界値（Ｔ３）以下であると、前記損失ブロックの特性を第２の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第５の臨界値（Ｔ５）以上であると、前記損失ブロックの特性を第３の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第４の臨界値（Ｔ４）以上であると、前記損失ブロックの特性を第４の類型に決定する段階と、
から構成されることを特徴とする請求項２２に記載の画像処理システムの損失ブロック復旧方法（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
【請求項２６】
前記第１の類型は、ほとんど動きのないブロックで、前記第２の類型は、画像が全体的に同じような動きを有するブロックで、前記第３の類型は、一定の方向性なしに動く対象のあるブロックで、前記第４の類型は、画像フレーム間の場面転換が発生したブロックであることを特徴とする請求項２５に記載の画像処理システムの損失ブロック復旧方法。
【請求項２７】
前記損失ブロックを復旧する段階は、
前記損失ブロックが第１の類型であると、第１の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第３の類型または第４の類型であると、第２の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第２の類型であると、第３の方法により損失ブロックを復旧する段階と、
から構成されることを特徴とする請求項２２に記載の画像処理システムの損失ブロック復旧方法。
【請求項２８】
前記損失ブロックが、第１の類型、第２の類型、第３の類型及び第４の類型以外の特性を有する場合、第３の方法により損失ブロックを復旧する段階をさらに含んで構成されることを特徴とする請求項２７に記載の画像処理システムの損失ブロック復旧方法。
【請求項２９】
前記第１の方法は、
前記損失ブロックを以前フレームの同一位置のブロックに代替する時間的方法であることを特徴とする請求項２７に記載の画像処理システムの損失ブロック復旧方法。
【請求項３０】
前記第２の方法は、
前記損失ブロックの隣接ピクセルから、線形補間を行って前記損失ブロックを復旧する空間的方法であることを特徴とする請求項２７に記載の画像処理システムの損失ブロック復旧方法。
【請求項３１】
前記第３の方法は、
前記損失ブロックの周辺ブロックのモーションベクトルを利用して、前記損失ブロックを以前フレームの最も適した位置のブロックに代替する動きを考慮した時間的エラー隠し方法であることを特徴とする請求項２７に記載の画像処理システムの損失ブロック復旧方法。
【請求項３２】
前記動きを考慮した時間的エラー隠し方法は、
前記損失ブロックの周辺ブロックのモーションベクトルの中間値を算出する段階と、
前記モーションベクトルの中間値を前記損失ブロックのモーションベクトルとして設定する段階と、
以前フレームで最適の位置のブロックを算出して前記損失ブロックを代替する段階と、
から構成されることを特徴とする請求項３１に記載の画像処理システムの損失ブロック復旧方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理技術に関し、特に、デジタル動画像処理において、損失ブロックの特性によって異なるエラー隠し方法を適用する画像処理システムの損失ブロック復旧装置及びその方法に関する。
【背景技術】
【０００２】
最近、マルチメディアコンテンツサービスに対する関心が高まるにつれて、通信媒体を通して伝送される多様な動画像信号をエラーなしに復元するための動画像処理技術の重要性が次第に大きくなっている。
【０００３】
前記動画像は、場面の特性及び動きの程度が互いに異なる複数枚のフレームにより構成され、前記フレームは、画像符号化の単位となる１６×１６ピクセルサイズの複数のマクロブロックにより構成される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記動画像は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、可変長さ符号化技法及び動き補償符号化技法などにより圧縮されて伝送されるが、前記符号化過程または伝送チャネルを通して伝送される過程で発生したエラーにより動画像ブロックが損失する場合は、復元された画像の画質が低下する。
【０００５】
受信側で前記損失ブロックを補完して元の映像に近く復旧するために、様々なエラー隠し（ｅｒｒｏｒ  ｃｏｎｃｅａｌｍｅｎｔ）技法が適用されるが、各動画像ブロックに最も適したエラー隠し技法を選択するためには、該当損失ブロックの特性を正確に把握すべきである。即ち、前記損失ブロックの特性は、前記受信側のデコーダで各動画像ブロック別に適用が可能な最適のエラー隠し技法を選択する重要な基準として活用されることができる。
【０００６】
従って、本発明の目的は、受信側で伝送時に損失した画像ブロックの特性を自動で判断し、前記画像ブロックの特性に最も適したエラー隠し方法を適用して、エラーを復旧する画像処理システムの損失ブロック復旧装置及びその方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、例えば、以下の手段を提供する。
（項目１）
受信された画像ブロック中に損失ブロックが存在するか否かを判断する損失ブロック検出部と、
前記損失ブロックが発生した現在フレームと以前フレームとで、隣接ピクセル間の時間的差値（ｃｏｓｔ１）を算出するピクセル差算出部と、
前記損失ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する分散値算出部と、
前記時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較して、損失ブロックの特性を判断するブロック特性決定部と、
前記損失ブロックの特性によって、最適のエラー隠し方法を適用して該当損失ブロックを復旧する損失ブロック復旧部と、
から構成されることを特徴とする画像処理システムの損失ブロック復旧装置。
（項目２）
前記ピクセル差算出部は、
下記式により隣接ピクセル間の時間的差値（ｃｏｓｔ１）を算出することを特徴とする項目１に記載の画像処理システムの損失ブロック復旧装置：
【０００８】
【数１】
2005192218.tif 000003
【０００９】
式中、ｃｕｒｒｉは、前記損失ブロック周囲のピクセル値で、ｐｒｅｖｉは、以前フレームで現在損失ブロックと同一位置にあるブロック周囲のピクセル値である。
（項目３）
前記分散値算出部は、
下記式によりモーションベクトル分散値（ｃｏｓｔ２）を算出することを特徴とする項目１に記載の画像処理システムの損失ブロック復旧装置：
【００１０】
【数２】
2005192218.tif 000004
【００１１】
式中、ＭＶｉｘおよびＭＶｉｙは、それぞれＭＶｉの水平成分及び垂直成分である。
（項目４）
前記ブロック特性決定部は、
前記ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）がそれぞれ第１の臨界値（Ｔ１）以下であると、前記損失ブロックの特性を第１の類型に決定し、前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第３の臨界値（Ｔ３）以下であると、前記損失ブロックの特性を第２の類型に決定し、前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第５の臨界値（Ｔ５）以上であると、前記損失ブロックの特性を第３の類型に決定し、前記ピクセル間の時間的差値（ｃｏｓｔ１）が第４の臨界値（Ｔ４）以上であると、前記損失ブロックの特性を第４の類型に決定することを特徴とする項目１に記載の画像処理システムの損失ブロック復旧装置（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
（項目５）
前記第１の類型は、ほとんど動きのないブロックで、前記第２の類型は、画像が全体的に同じような動きを有するブロックで、前記第３の類型は、一定の方向性なしに動く対象のあるブロックで、前記第４の類型は、画像フレーム間の場面転換が発生したブロックであることを特徴とする項目４に記載の画像処理システムの損失ブロック復旧装置。
（項目６）
前記エラー隠し方法は、
時間的方法を利用して前記損失ブロックを復旧する第１の方法と、
空間的方法を利用して前記損失ブロックを復旧する第２の方法と、
動きを考慮した時間的エラー隠し方法を利用して前記損失ブロックを復旧する第３の方法と、
から構成されることを特徴とする項目１に記載の画像処理システムの損失ブロック復旧装置。
（項目７）
前記第１の方法は、
前記損失ブロックがほとんど動きのないブロックの場合に適用されることを特徴とする項目６に記載の画像処理システムの損失ブロック復旧装置。
（項目８）
前記第２の方法は、
前記損失ブロックが一定の方向性なしに動く対象のあるブロック、または画像フレーム間の場面転換が発生するブロックの場合に適用されることを特徴とする項目６に記載の画像処理システムの損失ブロック復旧装置。
（項目９）
前記第３の方法は、
画像が全体的に同じような動きを有するブロックの場合に適用されることを特徴とする項目６に記載の画像処理システムの損失ブロック復旧装置。
（項目１０）
通信網を通して伝送される画像フレームを受信して画像処理する過程において、
損失ブロックに対する費用関数を利用して、前記損失ブロックの特性を決定する段階と、
前記損失ブロックの特性に最適なエラー隠し方法を適用して、前記損失ブロックを復旧する段階と、
から構成されることを特徴とする画像処理システムの損失ブロック復旧方法。
（項目１１）
前記損失ブロックの特性を決定する段階は、
損失ブロックに対する費用関数を算出する段階と、
前記費用関数を既設定された臨界値と比較して損失ブロックの特性を決定する段階と、
から構成されることを特徴とする項目１０に記載の画像処理システムの損失ブロック復旧方法。
（項目１２）
前記費用関数を算出する段階は、
現在フレームと以前フレームとに対して、前記損失ブロックに隣接したピクセル間の時間的差値（ｃｏｓｔ１）を算出する段階と、
損失した動画像ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する段階と、
から構成されることを特徴とする項目１１に記載の画像処理システムの損失ブロック復旧方法。
（項目１３）
前記ピクセル間の時間的差値（ｃｏｓｔ１）は、
下記式により計算されることを特徴とする項目１２に記載の画像処理システムの損失ブロック復旧方法：
【００１２】
【数３】
2005192218.tif 000005
【００１３】
式中、ｃｕｒｒｉは、前記損失ブロック周囲のピクセル値で、ｐｒｅｖｉは、以前フレームで現在損失ブロックと同一位置にあるブロック周囲のピクセル値である。
（項目１４）
前記モーションベクトル分散値（ｃｏｓｔ２）は、下記式により算出されることを特徴とする項目１２に記載の画像処理システムの損失ブロック復旧方法：
【００１４】
【数４】
2005192218.tif 000006
【００１５】
式中、ＭＶｉｘ及びＭＶｉｙは、それぞれＭＶｉの水平成分及び垂直成分である。
（項目１５）
前記損失ブロックの特性を決定する段階は、
前記ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）がそれぞれ第１の臨界値（Ｔ１）以下であると、前記損失ブロックの特性を第１の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第３の臨界値（Ｔ３）以下であると、前記損失ブロックの特性を第２の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第５の臨界値（Ｔ５）以上であると、前記損失ブロックの特性を第３の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第４の臨界値（Ｔ４）以上であると、前記損失ブロックの特性を第４の類型に決定する段階と、
から構成されることを特徴とする項目１０に記載の画像処理システムの損失ブロック復旧方法（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
（項目１６）
前記第１の類型は、ほとんど動きのないブロックで、前記第２の類型は、画像が全体的に同じような動きを有するブロックで、前記第３の類型は、一定の方向性なしに動く対象のあるブロックで、前記第４の類型は、画像フレーム間の場面転換が発生したブロックであることを特徴とする項目１５に記載の画像処理システムの損失ブロック復旧方法。
（項目１７）
前記損失ブロックを復旧する段階は、
前記損失ブロックが第１の類型であると、第１の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第３の類型または第４の類型であると、第２の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第２の類型であると、第３の方法により損失ブロックを復旧する段階と、
から構成されることを特徴とする項目１０に記載の画像処理システムの損失ブロック復旧方法。
（項目１８）
前記第１の方法は、
前記損失ブロックを以前フレームの同一位置のブロックに代替する時間的方法であることを特徴とする項目１７に記載の画像処理システムの損失ブロック復旧方法。
（項目１９）
前記第２の方法は、
前記損失ブロックの隣接ピクセルから、線形補間を行って前記損失ブロックを復旧する空間的方法であることを特徴とする項目１７に記載の画像処理システムの損失ブロック復旧方法。
（項目２０）
前記第３の方法は、
前記損失ブロックの周辺ブロックのモーションベクトルを利用して、前記損失ブロックを以前フレームの最も適した位置のブロックに代替する動きを考慮した時間的エラー隠し方法であることを特徴とする項目１７に記載の画像処理システムの損失ブロック復旧方法。
（項目２１）
前記動きを考慮した時間的エラー隠し方法は、
前記損失ブロックの周辺ブロックのモーションベクトルの中間値を算出する段階と、
前記モーションベクトルの中間値を前記損失ブロックのモーションベクトルとして設定する段階と、
以前フレームで最適の位置のブロックを算出して前記損失ブロックを代替する段階と、
から構成されることを特徴とする項目２０に記載の画像処理システムの損失ブロック復旧方法。
（項目２２）
伝送された画像フレームに損失ブロックが存在するか否かを確認する段階と、
現在フレームと以前フレームとに対し、前記損失ブロックに隣接したピクセル間の時間的差値（ｃｏｓｔ１）を算出する段階と、
損失した動画像ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する段階と、
前記隣接ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較する段階と、
比較の結果によって前記損失ブロックの特性を決定する段階と、
前記決定された損失ブロックの特性を参照して、該当損失ブロックを復旧する段階と、
から構成されることを特徴とする画像処理システムの損失ブロック復旧方法。
（項目２３）
前記ピクセル間の時間的差値（ｃｏｓｔ１）は、
下記式により計算されることを特徴とする項目２２に記載の画像処理システムの損失ブロック復旧方法：
【００１６】
【数５】
2005192218.tif 000007
【００１７】
式中、ｃｕｒｒｉは、前記損失ブロック周囲のピクセル値で、ｐｒｅｖｉは、以前フレームで現在損失ブロックと同一位置にあるブロック周囲のピクセル値である。
（項目２４）
前記モーションベクトル分散値（ｃｏｓｔ２）は、
下記式により算出されることを特徴とする項目２２に記載の画像処理システムの損失ブロック復旧方法：
【００１８】
【数６】
2005192218.tif 000008
【００１９】
式中、ＭＶｉｘ及びＭＶｉｙは、それぞれＭＶｉの水平成分及び垂直成分である。
（項目２５）
前記損失ブロックの特性を決定する段階は、
前記ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）がそれぞれ第１の臨界値（Ｔ１）以下であると、前記損失ブロックの特性を第１の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第３の臨界値（Ｔ３）以下であると、前記損失ブロックの特性を第２の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第５の臨界値（Ｔ５）以上であると、前記損失ブロックの特性を第３の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第４の臨界値（Ｔ４）以上であると、前記損失ブロックの特性を第４の類型に決定する段階と、
から構成されることを特徴とする項目２２に記載の画像処理システムの損失ブロック復旧方法（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
（項目２６）
前記第１の類型は、ほとんど動きのないブロックで、前記第２の類型は、画像が全体的に同じような動きを有するブロックで、前記第３の類型は、一定の方向性なしに動く対象のあるブロックで、前記第４の類型は、画像フレーム間の場面転換が発生したブロックであることを特徴とする項目２５に記載の画像処理システムの損失ブロック復旧方法。
（項目２７）
前記損失ブロックを復旧する段階は、
前記損失ブロックが第１の類型であると、第１の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第３の類型または第４の類型であると、第２の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第２の類型であると、第３の方法により損失ブロックを復旧する段階と、
から構成されることを特徴とする項目２２に記載の画像処理システムの損失ブロック復旧方法。
（項目２８）
前記損失ブロックが、第１の類型、第２の類型、第３の類型及び第４の類型以外の特性を有する場合、第３の方法により損失ブロックを復旧する段階をさらに含んで構成されることを特徴とする項目２７に記載の画像処理システムの損失ブロック復旧方法。
（項目２９）
前記第１の方法は、
前記損失ブロックを以前フレームの同一位置のブロックに代替する時間的方法であることを特徴とする項目２７に記載の画像処理システムの損失ブロック復旧方法。
（項目３０）
前記第２の方法は、
前記損失ブロックの隣接ピクセルから、線形補間を行って前記損失ブロックを復旧する空間的方法であることを特徴とする項目２７に記載の画像処理システムの損失ブロック復旧方法。
（項目３１）
前記第３の方法は、
前記損失ブロックの周辺ブロックのモーションベクトルを利用して、前記損失ブロックを以前フレームの最も適した位置のブロックに代替する動きを考慮した時間的エラー隠し方法であることを特徴とする項目２７に記載の画像処理システムの損失ブロック復旧方法。
（項目３２）
前記動きを考慮した時間的エラー隠し方法は、
前記損失ブロックの周辺ブロックのモーションベクトルの中間値を算出する段階と、
前記モーションベクトルの中間値を前記損失ブロックのモーションベクトルとして設定する段階と、
以前フレームで最適の位置のブロックを算出して前記損失ブロックを代替する段階と、
から構成されることを特徴とする項目３１に記載の画像処理システムの損失ブロック復旧方法。
【００２０】
このような目的を達成するために、本発明に係る画像処理システムの損失ブロック復旧装置は、受信された画像ブロック中に損失ブロックが存在するか否かを判断する損失ブロック検出部と、前記損失ブロックが発生した現在フレームと以前フレームとで、隣接ピクセル間の時間的差値ｃｏｓｔ１を算出するピクセル差算出部と、前記損失ブロックに対する周辺ブロックのモーションベクトル分散値ｃｏｓｔ２を算出する分散値算出部と、前記時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を既設定された臨界値と比較して、損失ブロックの特性を判断するブロック特性決定部と、前記損失ブロックの特性によって、最適のエラー隠し方法を適用して該当損失ブロックを復旧する損失ブロック復旧部と、から構成されることを特徴とする。
【００２１】
本発明により通信網を通して伝送される画像フレームを受信して画像処理する過程における画像処理システムの損失ブロック復旧方法は、損失ブロックに対する費用関数を利用して、前記損失ブロックの特性を決定する段階と、前記損失ブロックの特性に最適なエラー隠し方法を適用して、前記損失ブロックを復旧する段階と、から構成されることを特徴とする。
【００２２】
本発明に係る画像処理システムの損失ブロック復旧方法は、伝送された画像フレームに損失ブロックが存在するか否かを確認する段階と、現在フレームと以前フレームとに対し、前記損失ブロックに隣接したピクセル間の時間的差値
2005192218.tif 000009
【００２３】
を算出する段階と、損失した動画像ブロックに対する周辺ブロックのモーションベクトル分散値ｃｏｓｔ２を算出する段階と、前記隣接ピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を既設定された臨界値と比較する段階と、比較の結果によって前記損失ブロックの特性を決定する段階と、前記決定された損失ブロックの特性を参照して、該当損失ブロックを復旧する段階と、から構成されることを他の特徴とする。
【発明の効果】
【００２４】
本発明に係る画像処理システムの損失ブロック復旧装置及びその方法は、伝送中に損失したブロックの特性を自動で判断し、前記損失ブロックの特性によって、流動的に最適のエラー隠し方法を適用して画像を復元することにより、受信端のエラー復元性能を向上できるという効果がある。
【００２５】
また、本発明に係る画像処理システムの損失ブロック復旧装置及びその方法は、損失ブロックの特性によって、最適のエラー隠し方法を適用して画像を復元することにより、元の画像に最も近接した復元画像を再生できるという効果がある。
【発明を実施するための最良の形態】
【００２６】
以下、添付の図面を参照して、本発明に係る画像処理システムの損失ブロック復旧装置及びその方法の実施形態を説明する。
【００２７】
図１は、本発明に係る画像処理システムの損失ブロック復旧装置の構成を示すブロック図である。
【００２８】
図１に示すように、本発明に係る画像処理システムの損失ブロック復旧装置は、伝送された動画像ブロック中に損失ブロックが存在するか否かを判断する損失ブロック検出部１０と、前記損失ブロック検出部１０により損失ブロックが検出されると、現在フレームと以前フレームとで、隣接ピクセル間の時間的差値
2005192218.tif 000010
【００２９】
を算出するピクセル差算出部２０と、前記損失ブロック検出部１０により損失ブロックが検出されると、前記損失ブロックに対する周辺ブロックのモーションベクトルに対し分散値を算出する分散値算出部３０と、前記隣接ピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を既設定された臨界値と比較して、損失ブロックの特性を判断するブロック特性決定部４０と、前記ブロック特性決定部４０により判断された損失ブロックの特性によって、エラー隠し方法を適用して該当損失ブロックを復旧する損失ブロック復旧部５０と、から構成される。
【００３０】
前記ピクセル差算出部２０は、現在フレームと以前フレームとで、前記損失ブロックの隣接ピクセル間の時間的差値ｃｏｓｔ１を、数式１及び数式２を利用して算出する。このとき、前記費用関数は、現在フレームと以前フレームとの時間的差が所定の臨界値（Ｔｈｒｅｓｈｏｌｄ）を超える隣接ピクセルの数として定義される。
【００３１】
【数７】
2005192218.tif 000011
【００３２】
式中、ｃｕｒｒｉは、前記損失ブロック周囲のピクセル値で、ｐｒｅｖｉは、以前フレームで現在損失ブロックと同一位置にあるブロック周囲のピクセル値である。
【００３３】
前記ピクセル間の時間的差値ｃｏｓｔ１が小さい場合は、前記損失ブロックが、以前フレームと現在フレーム間に大きな変化がないことを意味し、前記ピクセル間の時間的差値ｃｏｓｔ１が大きい場合は、前記損失ブロックの動きが大きいか、または場面転換が起ったことを意味する。
【００３４】
前記分散値算出部３０は、損失ブロックに対する周辺ブロックのモーションベクトル分散値ｃｏｓｔ２を数式３及び数式４を利用して算出する。
【００３５】
【数８】
2005192218.tif 000012
【００３６】
式中、ＭＶｉｘ及びＭＶｉｙは、それぞれ
2005192218.tif 000013
【００３７】
の水平成分及び垂直成分である。
【００３８】
前記モーションベクトル分散値ｃｏｓｔ２が小さい場合は、前記損失ブロック周囲の７つのモーションベクトルが類似した値を有することを意味し、前記モーションベクトル分散値ｃｏｓｔ２が大きい場合は、モーションベクトルが広く分布して周囲ブロックのモーションが一定でないことを意味する。
【００３９】
前記ブロック特性決定部４０は、前記ピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を既設定された臨界値と比較して、前記損失ブロックの特性を決定する。
【００４０】
前記損失ブロックの特性は、大きく「場面転換（ｓｃｅｎｅ  ｃｈａｎｇｅ）」、「対象移動（ｏｂｊｅｃｔ  ｍｏｖｉｎｇ）」、「停止（ｎｏ  ｍｏｖｅｍｅｎｔ）」、「カメラ移動（ｃａｍｅｒａ  ｍｏｖｉｎｇ）」及び「その他（ｏｔｈｅｒｗｉｓｅ）」の５つに分類することができる。
【００４１】
前記「場面転換」は、画面（フレーム）間の場面転換が起こったブロックで、前記「対象移動」は、一定の方向性なしに動く対象のあるブロックで、前記「停止」は、停止したカメラ画像の背景のようにほとんど動きのないブロックで、前記「カメラ移動」は、カメラ自体が動いて画像が全体的に同じような動きを有するブロックで、前記「その他」は、以上の４つの分類に属しないブロックをいう。
【００４２】
表１は、前記ブロック特性決定部４０の損失ブロック特性判断の基準となる臨界値の実施例を示すもので、各臨界値は、数式１〜数式４に適用して統計的に算出した値である。
【００４３】
【表１】
2005192218.tif 000014
【００４４】
前記ブロック特性決定部４０は、前記損失ブロックのピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を算出し、各費用関数が何れの臨界値範囲と一致するかを判断して、前記損失ブロックの特性を決定する。
【００４５】
図２は、前記表１で定義した各損失ブロックの特性別分布を示す分布図で、動きが小さいか、または現在フレームと以前フレームとの差が小さい損失ブロックは左側下方に分布し、動きが大きいか、または画面間の時間的差が大きい損失ブロックは右側上方に分布することが分かる。
【００４６】
前記損失ブロック復旧部５０は、前記ブロック特性決定部４０により決定された損失ブロックの特性によって、最適のエラー隠し方法を適用して該当損失ブロックを復旧する。
【００４７】
前記エラー隠し方法は、画像データを復号化する過程で、損失ブロックの周辺情報を利用してエラーを隠すもので、前記情報によって、時間的代替隠し（ｔｅｍｐｏｒａｌ  ｒｅｐｌａｃｅｍｅｎｔ  ｃｏｎｃｅａｌｍｅｎｔ）、空間的隠し（ｓｐａｔｉａｌ  ｃｏｎｃｅａｌｍｅｎｔ）及び動き補償された時間的隠し（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｅｄ  ｔｅｍｐｏｒａｌ  ｃｏｎｃｅａｌｍｅｎｔ）に分類することができる。
【００４８】
表２は、前記損失ブロックの特性による最適のエラー隠し方法を定義したものである。
【００４９】
【表２】
2005192218.tif 000015
【００５０】
前記損失ブロックの特性が「場面転換」または「対象移動」であると、空間的隠しを利用して該当損失ブロックを復旧し、前記損失ブロックの特性が「停止」であると、時間的代替隠しを利用して該当損失ブロックを復旧し、前記損失ブロックが「カメラ移動」であると、動き補償された時間的隠しを利用して該当損失ブロックのエラーを復旧する。即ち、画像画面間の相関性がほとんどない場合は、空間的隠しを適用し、画像画面間の相関性が高い場合は、時間的代替隠しを適用する。
【００５１】
図３は、本発明に係る画像処理システムの損失ブロック復旧方法を示すフローチャートで、以下、本発明に係る画像処理システムの損失ブロック復旧装置の動作について図を参照して詳細に説明する。
【００５２】
送信側（図示せず）から画像フレームを受信すると（ステップＳ１１）、前記損失ブロック検出部１０は、前記画像フレームに損失ブロックが存在するか否かを判断する（ステップＳ１２）。
【００５３】
前記画像フレームで損失ブロックが検出されると、現在フレームで損失ブロックの周囲に隣接するピクセルと、以前フレームの同一位置に存在するピクセル間の時間的差値ｃｏｓｔ１を算出し（ステップＳ１３）、前記現在フレームで損失ブロックに対する周辺ブロックのモーションベクトル分散値ｃｏｓｔ２を算出する（ステップＳ１４）。このとき、前記ピクセル間の時間的差値ｃｏｓｔ１は、前記数式１及び数式２を利用して算出し、前記モーションベクトル分散値ｃｏｓｔ２は、前記数式３及び数式４を利用して算出する。
【００５４】
前記ブロック特性決定部４０は、前記ピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を既設定された臨界値と比較して（ステップＳ１５）、前記損失ブロックの特性を決定する（ステップＳ１６）。
【００５５】
前記既設定された臨界値は、４つの損失ブロックの特性と費用関数間の関係を実験を通して統計的に分析して算出した値である。前記既設定された臨界値は、前記表１のようである。
【００５６】
前記ピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２がそれぞれ第１の臨界値Ｔ１以下であると、前記損失ブロックの特性は「停止」で、前記ピクセル間の時間的差値ｃｏｓｔ１が第２の臨界値Ｔ２以上で、前記モーションベクトル分散値ｃｏｓｔ２が第３の臨界値Ｔ３以下であると、前記損失ブロックの特性は「カメラ移動」で、前記ピクセル間の時間的差値ｃｏｓｔ１が第２の臨界値Ｔ２以上で、前記モーションベクトル分散値ｃｏｓｔ２が第５の臨界値Ｔ５以上であると、前記損失ブロックの特性は「対象移動」で、前記ピクセル間の時間的差値ｃｏｓｔ１が第４の臨界値Ｔ４以上であると、前記損失ブロックの特性は「場面転換」である（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
【００５７】
前記損失ブロック復旧部５０は、前記ブロック特性決定部４０により決定された損失ブロックの特性によって、最適のエラー隠し方法を適用して該当損失ブロックを復旧する。このとき、前記損失ブロックの特性別最適のエラー隠し方法は前記表２のようである。
【００５８】
前記損失ブロックの特性が「場面転換」または「対象移動」であると（ステップＳ１７）、空間的隠しを利用して該当損失ブロックを復旧し（ステップＳ１８）、前記損失ブロックの特性が「停止」であると（ステップＳ１９）、現在フレームのブロックと以前フレームのブロックとが非常に類似するので、時間的代替隠しを利用して該当損失ブロックを復旧する（ステップＳ２０）。そして、前記損失ブロックの特性が「カメラ移動」であると（ステップＳ２１）、損失ブロックの動きと周辺ブロックの動きとがほとんど一致するので、動き補償された時間的隠しを利用して該当損失ブロックのエラーを復旧する（ステップＳ２２）。
【００５９】
前記空間的隠しは、損失ブロックの隣接ピクセルから、線形補間（ｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）を通して前記損失ブロックを復旧する方法で、前記時間的代替隠しは、前記損失ブロックを以前フレームの同一位置のブロックに代替して復旧する方法である。
【００６０】
前記動き補償された時間的隠しは、損失ブロック周辺の復旧可能なモーションベクトルを利用して、以前フレームで最も適した位置のブロックを探索した後、前記損失ブロックを該当ブロックに代替して復旧する方法である。このとき、前記損失ブロックの周辺ブロックのモーションベクトルを検出してそのモーションベクトルの中間値を算出し、前記中間値を前記損失ブロックのモーションベクトルとして設定する。
【００６１】
本発明において、前記空間的隠しは、画像画面間の相関性がほとんどない場合にエラー復旧効率が大きく、前記時間的代替隠しは、画像画面間の相関性が高い場合にエラー復旧効率が大きいことを利用して、前記損失ブロックの特性によって最適のエラー隠し方法を適用する。
【００６２】
図４〜図５は、本発明に係る画像処理システムの損失ブロック復旧装置及びその方法の性能を比較するための模擬実験結果を示すもので、前記模擬実験に用いられたコーデックはＨ．２６３で、画像のサイズはＱＣＩＦ、ＣＩＦで、目標ビット率は前記ＱＣＩＦが１１２Ｋｂｐｓ、ＣＩＦが３２２Ｋｂｐｓである。
【００６３】
図４は、特定の画像に対するフレーム別ＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）を示すグラフで、全体的に時間的代替隠し及び空間的隠しのうち良い性能を有する方法を流動的に適用していることが分かる。即ち、大部分のフレームで時間的代替隠しの性能が良く、動きの大きい幾つかのフレームでは空間的隠しの性能が良いことが分かるが、本発明に係る損失ブロック復旧方法は、前記空間的隠しの性能が良いフレームでは、時間的代替隠しでない空間的隠しを適用していることが分かる。
【００６４】
前記ＰＳＮＲは、復元画像の客観的な画質評価を示すもので、前記ＰＳＮＲが高いほど元の画像の保存率が高いことを意味する。
【００６５】
図５は、混合画像に対するフレーム別ＰＳＮＲを示すグラフで、前記ＰＳＮＲが急激に変化する部分は「場面転換」が発生した部分である。
【００６６】
本発明による方法は、「場面転換」が発生した部分では空間的隠しを適用し、残り部分では時間的代替隠しを適用することが分かる。
【００６７】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【図面の簡単な説明】
【００６８】
【図１】本発明に係る画像処理システムの損失ブロック復旧装置の構成を示すブロック図である。
【図２】前記表１で定義した各損失ブロックの特性別分布を示す分布図である。
【図３】本発明に係る画像処理システムの損失ブロック復旧方法を示すフローチャートである。
【図４】特定の画像に対するフレーム別ＰＳＮＲを示すグラフである。
【図５】混合画像に対するフレーム別ＰＳＮＲを示すグラフである。
【図１】
2005192218.tif 000022
【図２】
2005192218.tif 000023
【図３】
2005192218.tif 000024
【図４】
2005192218.tif 000025
【図５】
2005192218.tif 000026