(57)【特許請求の範囲】
【請求項１】
伝送された動画像ブロック中に損失ブロックが存在するかを判断する損失ブロック検出部と、
前記損失ブロックが発生した現在のフレームと以前のフレームとで、隣接ピクセル間の時間的差値（ｃｏｓｔ１）を算出するピクセル差算出部と、
前記損失ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する分散値算出部と、
前記時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較して損失ブロックの特性を判断するブロック特性決定部と、
を含み、
前記ピクセル差算出部は、下記式により隣接ピクセル間の時間的差値（ｃｏｓｔ１）を算出する、画像処理システムの損失ブロック特性判断装置，
【化１】
0004837909.tif 000019
【請求項２】
伝送された動画像ブロック中に損失ブロックが存在するかを判断する損失ブロック検出部と、
前記損失ブロックが発生した現在のフレームと以前のフレームとで、隣接ピクセル間の時間的差値（ｃｏｓｔ１）を算出するピクセル差算出部と、
前記損失ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する分散値算出部と、
前記時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較して損失ブロックの特性を判断するブロック特性決定部と、
を含み、
前記分散値算出部は、下記式により前記損失ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する、画像処理システムの損失ブロック特性判断装置，
【化２】
0004837909.tif 000020
【請求項３】
前記損失ブロックは、１６×１６ピクセルのマクロブロックである、請求項１または２に記載の画像処理システムの損失ブロック特性判断装置。
【請求項４】
伝送された動画像ブロックで損失ブロックの存在有無を確認する段階と、
現在のフレームと以前のフレームとに対し、前記損失ブロックに隣接したピクセル間の時間的差値（ｃｏｓｔ１）を算出する段階と、
損失された動画像ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する段階と、
前記時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較する段階と、
比較結果によって前記損失ブロックの特性を決定する段階と、
を含み、
前記隣接したピクセル間の時間的差値（ｃｏｓｔ１）は、下記式により計算される、画像処理システムの損失ブロック特性判断方法，
【化３】
0004837909.tif 000021
【請求項５】
伝送された動画像ブロックで損失ブロックの存在有無を確認する段階と、
現在のフレームと以前のフレームとに対し、前記損失ブロックに隣接したピクセル間の時間的差値（ｃｏｓｔ１）を算出する段階と、
損失された動画像ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する段階と、
前記時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較する段階と、
比較結果によって前記損失ブロックの特性を決定する段階と、
を含み、
前記モーションベクトル分散値（ｃｏｓｔ２）は、下記式により算出される、画像処理システムの損失ブロック特性判断方法，
【化４】
0004837909.tif 000022
【請求項６】
前記損失ブロックの特性を参照して該当の損失ブロックを復旧する段階をさらに含む、請求項４または５に記載の画像処理システムの損失ブロック特性判断方法。
【請求項７】
前記損失ブロックは、１６×１６ピクセルのマクロブロックである、請求項４〜６のいずれか１項に記載の画像処理システムの損失ブロック特性判断方法。
【請求項８】
前記損失ブロックの特性を決定する段階は、
前記ｃｏｓｔ１及び前記ｃｏｓｔ２が第１臨界値（Ｔ１）以下であると、前記損失ブロックを停止ブロックと判断する段階と、
前記ｃｏｓｔ１が第２臨界値（Ｔ２）以上で、前記ｃｏｓｔ２が第３臨界値（Ｔ３）以下であると、前記損失ブロックをカメラ移動ブロックと判断する段階と、
前記ｃｏｓｔ１が第４臨界値（Ｔ４）以上であると、前記損失ブロックを場面転換ブロックと判断する段階と、
前記ｃｏｓｔ１が前記第２臨界値（Ｔ２）以上で、前記ｃｏｓｔ２が第５臨界値（Ｔ５）以上であると、前記損失ブロックを対象移動ブロックと判断する段階と、
を含む、請求項４〜７のいずれか１項に記載の画像処理システムの損失ブロック特性判断方法，（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理技術に関するもので、詳しくは、デジタル動画像処理において、伝送時に損失されたブロックの特性を自動に判断する画像処理システムの損失ブロック特性判断装置及びその方法に関するものである。
【背景技術】
【０００２】
最近、マルチメディアコンテンツサービスに対する関心が増加するにつれて、通信媒体を通して伝送される多様な動画像信号をエラーなしに復元するための動画像処理技術の重要性が次第に大きくなっている。
【０００３】
前記動画像は、場面の特性及び動きの程度が相互に異なる複数枚のフレームから構成され、該フレームは、画像符号化の単位となる１６×１６ピクセルのサイズを有する複数のマクロブロックから構成される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記動画像は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、可変長さ符号化技法及び動き補償符号化技法などを利用して圧縮して伝送されるが、前記符号化過程または伝送チャネルを通して伝送される過程で発生したエラーにより動画像ブロックが損失される場合は、復元された画像の画質が低下されるという問題点があった。
【０００５】
受信側で前記損失ブロックを補完して元の画像に近く復旧するために多様なエラー隠匿（ｅｒｒｏｒ  ｃｏｎｃｅａｌｍｅｎｔ）技法が適用されているが、各動画像ブロックに最適なエラー隠匿技法を選択するためには、該当の損失ブロックの特性を正確に把握しなければならない。即ち、前記損失ブロックの特性は、前記受信側の復号器で各動画像ブロック別に適用可能な最適のエラー隠匿技法を選択する重要な基準として活用することができる。
【０００６】
そこで、本発明は、受信側で伝送時に損失された動画像ブロックの特性を自動に判断して、損失ブロックを復旧するための情報として提供し得る画像処理システムの損失ブロック特性判断装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
このような目的を達成するために、本発明に係る画像処理システムの損失ブロック特性判断装置は、伝送された動画像ブロック中に損失ブロックが存在するかを判断する損失ブロック検出部と、前記損失ブロックが発生した現在のフレームと以前のフレームとで、隣接ピクセル間の時間的差値ｃｏｓｔ１を算出するピクセル差算出部と、前記損失ブロックに対する周辺ブロックのモーションベクトル分散値ｃｏｓｔ２を算出する分散値算出部と、前記時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を既設定された臨界値と比較して損失ブロックの特性を判断するブロック特性決定部と、から構成されることを特徴とする。
【０００８】
そして、本発明に係る画像処理システムの損失ブロック特性判断方法は、通信網を通して伝送される動画像信号を受信して画像処理する過程において、損失された動画像ブロックに対する費用関数を算出する段階と、前記費用関数を既設定された臨界値と比較して損失ブロックの特性を判断する段階と、を有することを特徴とする。
【０００９】
また、本発明に係る画像処理システムの損失ブロック特性判断方法は、伝送された動画像ブロックで損失ブロックの存在有無を確認する段階と、現在のフレームと以前のフレームとに対し、前記損失ブロックに隣接したピクセル間の時間的差値ｃｏｓｔ１を算出する段階と、損失された動画像ブロックに対する周辺ブロックのモーションベクトル分散値ｃｏｓｔ２を算出する段階と、前記隣接ピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を既設定された臨界値と比較する段階と、比較結果によって前記損失ブロックの特性を決定する段階と、を有することを他の特徴とする。
【００１０】
上記目的を達成するために、本発明は、例えば、以下の手段を提供する。
【００１１】
項目．１
伝送された動画像ブロック中に損失ブロックが存在するかを判断する損失ブロック検出部と、
前記損失ブロックが発生した現在のフレームと以前のフレームとで、隣接ピクセル間の時間的差値（ｃｏｓｔ１）を算出するピクセル差算出部と、
前記損失ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する分散値算出部と、
前記時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較して損失ブロックの特性を判断するブロック特性決定部と、
から構成されることを特徴とする画像処理システムの損失ブロック特性判断装置。
【００１２】
項目．２
前記損失ブロックは、１６×１６ピクセルのマクロブロックであることを特徴とする請求項１に記載の画像処理システムの損失ブロック特性判断装置。
【００１３】
項目．３
前記ピクセル差算出部は、下記式により隣接ピクセル間の時間的差値（ｃｏｓｔ１）を算出することを特徴とする請求項１に記載の画像処理システムの損失ブロック特性判断装置。
【００１４】
【化７】
0004837909.tif 000002
項目．４
前記分散値算出部は、下記式によりモーションベクトル分散値（ｃｏｓｔ２）を算出することを特徴とする請求項１に記載の画像処理システムの損失ブロック特性判断装置。
【００１５】
【化８】
0004837909.tif 000003
項目．５
通信網を通して伝送される動画像信号を受信して画像処理する過程において、
損失された動画像ブロックに対する費用関数を算出する段階と、
前記費用関数を既設定された臨界値と比較して損失ブロックの特性を判断する段階と、
を有することを特徴とする画像処理システムの損失ブロック特性判断方法。
【００１６】
項目．６
前記費用関数を算出する段階は、
現在のフレームと以前のフレームとに対し、前記損失ブロックに隣接したピクセル間の時間的差値（ｃｏｓｔ１）を算出する段階と、
損失された動画像ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する段階と、
を含むことを特徴とする請求項５に記載の画像処理システムの損失ブロック特性判断方法。
【００１７】
項目．７
前記損失ブロックは、１６×１６ピクセルのマクロブロックであることを特徴とする請求項５に記載の画像処理システムの損失ブロック特性判断方法。
【００１８】
項目．８
前記隣接したピクセル間の時間的差値（ｃｏｓｔ１）は、下記式により計算されることを特徴とする請求項６に記載の画像処理システムの損失ブロック特性判断方法。
【００１９】
【化９】
0004837909.tif 000004
項目．９
前記モーションベクトル分散値（ｃｏｓｔ２）は、下記式により算出されることを特徴とする請求項６に記載の画像処理システムの損失ブロック特性判断方法。
【００２０】
【化１０】
0004837909.tif 000005
項目．１０
前記損失ブロックの特性を判断する段階は、
隣接ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）が第１臨界値（Ｔ１）以下であると、停止（ｎｏ  ｍｏｖｅｍｅｎｔ）ブロックと判断する段階と、
隣接ピクセル間の時間的差値（ｃｏｓｔ１）が第２臨界値（Ｔ２）以上で、モーションベクトル分散値（ｃｏｓｔ２）が第３臨界値（Ｔ３）以下であると、カメラ移動（ｃａｍｅｒａ  ｍｏｖｉｎｇ）ブロックと判断する段階と、
隣接ピクセル間の時間的差値（ｃｏｓｔ１）が第４臨界値（Ｔ４）以上であると、場面転換（ｓｃｅｎｅ  ｃｈａｎｇｅ）ブロックと判断する段階と、
隣接ピクセル間の時間的差値（ｃｏｓｔ１）が第２臨界値（Ｔ２）以上で、モーションベクトル分散値（ｃｏｓｔ２）が第５臨界値（Ｔ５）以上であると、対象移動（ｏｂｊｅｃｔ  ｍｏｖｉｎｇ）ブロックと判断する段階と、
を含むことを特徴とする請求項５に記載の画像処理システムの損失ブロック特性判断方法。（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）
項目．１１
伝送された動画像ブロックで損失ブロックの存在有無を確認する段階と、
現在のフレームと以前のフレームとに対し、前記損失ブロックに隣接したピクセル間の時間的差値（ｃｏｓｔ１）を算出する段階と、
損失された動画像ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する段階と、
前記隣接ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較する段階と、
比較結果によって前記損失ブロックの特性を決定する段階と、
を有することを特徴とする画像処理システムの損失ブロック特性判断方法。
【００２１】
項目．１２
前記決定された損失ブロックの特性を参照して該当の損失ブロックを復旧する段階をさらに有することを特徴とする請求項１１に記載の画像処理システムの損失ブロック特性判断方法。
【００２２】
項目．１３
前記損失ブロックは、１６×１６ピクセルのマクロブロックであることを特徴とする請求項１１に記載の画像処理システムの損失ブロック特性判断方法。
【００２３】
項目．１４
前記隣接したピクセル間の時間的差値（ｃｏｓｔ１）は、下記式により計算されることを特徴とする請求項１１に記載の画像処理システムの損失ブロック特性判断方法。
【００２４】
【化１１】
0004837909.tif 000006
項目．１５
前記モーションベクトル分散値（ｃｏｓｔ２）は、下記式により算出されることを特徴とする請求項１１に記載の画像処理システムの損失ブロック特性判断方法。
【００２５】
【化１２】
0004837909.tif 000007
項目．１６
前記損失ブロックの特性を決定する段階は、
隣接ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）が第１臨界値（Ｔ１）以下であると、停止ブロックと判断する段階と、
隣接ピクセル間の時間的差値（ｃｏｓｔ１）が第２臨界値（Ｔ２）以上で、モーションベクトル分散値（ｃｏｓｔ２）が第３臨界値（Ｔ３）以下であると、カメラ移動ブロックと判断する段階と、
隣接ピクセル間の時間的差値（ｃｏｓｔ１）が第４臨界値（Ｔ４）以上であると、場面転換ブロックと判断する段階と、
隣接ピクセル間の時間的差値（ｃｏｓｔ１）が第２臨界値（Ｔ２）以上で、モーションベクトル分散値（ｃｏｓｔ２）が第５臨界値（Ｔ５）以上であると、対象移動ブロックと判断する段階と、
を含むことを特徴とする請求項１１に記載の画像処理システムの損失ブロック特性判断方法。（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）
【発明の効果】
【００２６】
本発明に係る画像処理システムの損失ブロック特性判断装置及びその方法においては、チャネルエラーが頻繁な通信網で損失されたブロックの画面特性を自動に判断して、損失されたブロックを復旧するための情報として活用することで、より元の画像に近い復元画像を再生し得るという効果がある。
【００２７】
また、損失されたブロックに関する情報を自動に判断することで、該当情報を前記損失ブロックの情報を必要とする画像処理過程に適用し得るという効果がある。
【発明を実施するための最良の形態】
【００２８】
以下、本発明に係る画像処理システムの損失ブロック特性判断装置及びその方法を実施するための最良の形態について図面を参照して説明する。
【００２９】
図１は、本発明に係る画像処理システムの損失ブロック特性判断装置の構成を示すブロック図で、図に示すように、送信側から伝送された動画像ブロック中に損失されたブロックが存在するかを判断する損失ブロック検出部１０と、該損失ブロック検出部１０により損失ブロックが検出されると、現在のフレームと以前のフレームとで、隣接ピクセル間の時間的差値ｃｏｓｔ１を算出するピクセル差算出部２０と、前記損失ブロック検出部１０により損失ブロックが検出されると、該損失ブロックに対する周辺ブロックのモーションベクトル分散値ｃｏｓｔ２を算出する分散値算出部３０と、前記時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を既設定された臨界値と比較して損失ブロックの特性を判断するブロック特性決定部４０と、から構成されている。
【００３０】
前記ブロック特性決定部４０により判断された損失ブロックの特性を参照して、該当の損失ブロックに適合したエラー隠匿技法により動画像を復元することができる。
【００３１】
図２は、本発明に係る画像処理システムの損失ブロック特性判断方法を示すフローチャートで、以下、画像処理システムの損失ブロック特性判断装置の動作について図を参照して説明する。
【００３２】
まず、送信側（図示せず）から画像フレームが伝送されると（ステップＳ１１）、前記損失ブロック検出部１０は、画像フレームに損失ブロックが存在するかを判断する（ステップＳ１２）。
【００３３】
ここで、前記画像フレームから損失ブロックが検出されると、現在の画像フレームで損失ブロックの周囲に隣接するピクセルと、以前の画像フレームで同一位置に存在するピクセル間の時間的差値ｃｏｓｔ１を算出する（ステップＳ１３）。
【００３４】
そして、前記損失ブロックが検出された画像フレームから損失ブロックに対する周辺ブロックのモーションベクトル分散値ｃｏｓｔ２を算出し（ステップＳ１４）、前記ピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を既設定された臨界値と比較する（ステップＳ１５）。
【００３５】
その後、前記算出値ｃｏｓｔ１、ｃｏｓｔ２と臨界値との比較を通して前記損失ブロックの特性を決定し（ステップＳ１６）、該損失ブロックの特性を参照して該当の損失ブロックを復旧する（ステップＳ１７）。
【００３６】
前述したように、本発明においては、損失ブロックの特性を把握するために、隣接ピクセル間の時間的差（ｔｅｍｐｏｒａｌ  ｄｉｆｆｅｒｅｎｃｅ）及びモーションベクトルを使用する。
【００３７】
以下、本発明により隣接ピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を算出する方法について、図３〜図１５を参照して詳しく説明する。
【００３８】
本発明の実施例においては、前記損失ブロックの特性を、大きく「場面転換（ｓｃｅｎｅ  ｃｈａｎｇｅ）」、「対象移動（ｏｂｊｅｃｔ  ｍｏｖｉｎｇ）」、「停止（ｎｏ  ｍｏｖｅｍｅｎｔ）」、「カメラ移動（ｃａｍｅｒａ  ｍｏｖｉｎｇ）」及び「その他（ｏｔｈｅｒｗｉｓｅ）」に分類することができる。
【００３９】
前記「場面転換」は、画面（フレーム）間の場面転換が行われたブロックで、前記「対象移動」は、一定の方向性なしに動く対象のあるブロックで、前記「停止」は、停止したカメラ画像の背景のように殆ど動きのないブロックで、前記「カメラ移動」は、カメラ自体が動いて画像が全体的に同じような動きを有するブロックで、前記「その他」は、以上の四つの分類に属しないブロックをいう。
【００４０】
まず、前記損失ブロックの隣接ピクセル間の時間的差を利用して費用関数ｃｏｓｔ１を算出する過程を説明する。
【００４１】
図３は、損失されたブロックの周囲に隣接するピクセルと、以前のフレームの同一位置に存在するピクセルとの時間的差を示すもので、斜線部分は、現在のフレームの損失ブロック及び以前のフレームで同一位置にあるブロックの隣接ピクセルをそれぞれ示すものである。
【００４２】
一般に、１６×１６サイズのマクロブロックは、周囲に６４（１６×４）個の隣接ピクセルが存在するが、前記以前のフレームとの時間的差が所定の臨界値を超える隣接ピクセルの数を費用関数として定義する。
【００４３】
前記費用関数ｃｏｓｔ１は、式１及び式２で示すことができる。
【００４４】
【数１】
0004837909.tif 000008
【００４５】
【数２】
0004837909.tif 000009
前記費用関数ｃｏｓｔ１の値が小さい場合は、前記損失ブロックが以前のフレームの同一位置にあるブロックから大きく変化していないことを意味する。即ち、前記損失ブロックの動きが大きくないことを意味する。しかしながら、前記費用関数ｃｏｓｔ１の値が大きい場合、即ち、以前のフレームとの時間的差が大きい場合は、前記損失ブロックの動きが大きいか、または場面転換が行われたと仮定することができる。
【００４６】
従って、前記費用関数ｃｏｓｔ１の値は、所定の臨界値との比較を通して前記損失ブロックの性質を決定する根拠となる。即ち、前記費用関数ｃｏｓｔ１が臨界値よりも小さいと、現在のフレームと以前のフレームとの差が大きくなく、動きが小さいと判断し、前記費用関数ｃｏｓｔ１が臨界値以上であると、動きが大きいか、または場面転換が行われたと判断する。
【００４７】
以下、前記損失ブロックに対する周辺ブロックのモーションベクトルを利用して、費用関数ｃｏｓｔ２を算出する過程を説明する。
【００４８】
図４は、損失ブロック及びその周辺ブロックのモーションベクトルを示す例示図で、前記損失ブロックの動きは、周辺ブロックの動きと密接な相関性を有するため、周辺ブロックのモーションベクトルを利用して前記損失ブロックの特性を判断することができる。
【００４９】
即ち、前記周辺ブロックのモーションベクトルの大きさが殆ど一定であると、全体的に各ブロックの動き方向が一定で、且つ、前記損失ブロックも同一方向の動きを有すると判断することができる。しかしながら、前記周辺ブロックのモーションベクトルの大きさが一定でないと、前記損失ブロックの動きを予測することは難しい。
【００５０】
従って、前記周辺ブロックのモーションベクトルの分散を利用して、費用関数ｃｏｓｔ２を式３及び式４で示すことができる。
【００５１】
【数３】
0004837909.tif 000010
【００５２】
【数４】
0004837909.tif 000011
前記費用関数ｃｏｓｔ２の値が小さい場合は、周囲の７個のモーションベクトル
【００５３】
【化１３】
0004837909.tif 000012
が同じような値を有することを意味し、前記費用関数ｃｏｓｔ２の値が大きい場合は、モーションベクトルが広く分布して周辺ブロックの動きが一定でないことを意味する。
【００５４】
従って、前記費用関数ｃｏｓｔ２の値と所定の臨界値との比較を通して、前記損失ブロックの特性を判断することができる。
【００５５】
前記臨界値は、実験を通して最適の値を求めるが、前記臨界値を求めるためには、四つのブロックの特性及び費用関数との関係を把握する。
【００５６】
図５の（Ａ）及び（Ｂ）は、「場面転換」特性を有するブロックの費用関数の分布図で、図６は、各費用関数間の相関性を示すグラフである。
【００５７】
図５（Ａ）は、隣接ピクセル間の時間的差値による費用関数ｃｏｓｔ１の分布を示すグラフで、費用関数ｃｏｓｔ１の大部分が６０を超える。
【００５８】
図５（Ｂ）は、前記損失ブロックに隣接したモーションベクトルの分散値である費用関数ｃｏｓｔ２の分布を示すグラフで、特定の値に偏重されることなく全体的に均一な分布を有する。
【００５９】
図６から分かるように、前記「場面転換」特性のブロックは、隣接ピクセル間の時間的差値による費用関数ｃｏｓｔ１に依存する。
【００６０】
表１は、時間的差値による費用関数ｃｏｓｔ１及び分散値による費用関数ｃｏｓｔ２の平均値及び標準偏差を示すもので、時間的差値による費用関数ｃｏｓｔ１は、小さい標準偏差を示して平均である６１．５３付近に偏重され、分散値による費用関数ｃｏｓｔ２は、大きい標準偏差を有することで均一な分布を示す。
【００６１】
【表１】
0004837909.tif 000013
従って、前記損失ブロックを「場面転換」特性を有するブロックと判断する基準は、前記隣接したピクセル間の時間的差値による費用関数ｃｏｓｔ１のみを使用し、該当臨界値が６０であることで決める。即ち、前記「場面転換」特性を有するブロックの判断は式５を利用する。
【００６２】
【数５】
0004837909.tif 000014
図７の（Ａ）及び（Ｂ）は、「カメラ移動」特性を有するブロックの費用関数の分布図で、図８は、各費用関数間の相関性を示すグラフである。
【００６３】
図７（Ａ）に示された隣接ピクセル間の時間的差値による費用関数ｃｏｓｔ１は、前記「場面転換」特性を有するブロックよりは広く分布するが、大部分３０以上の値を有し、図７（Ｂ）に示された分散値による費用関数ｃｏｓｔ２は、大部分５０以下の値を有する。
【００６４】
前記「カメラ移動」特性を有するブロックの場合は、フレーム全体の動きが一定であるため、周辺ブロックのモーションベクトルが殆ど同じような値を有し、前記の費用関数ｃｏｓｔ２を有する。
【００６５】
図８に示された両費用関数ｃｏｓｔ１、ｃｏｓｔ２の相関図をみると、前記時間的差値による費用関数ｃｏｓｔ１は、大きい値にデータが偏重され、前記分散値による費用関数ｃｏｓｔ２は、小さい値にデータが偏重されていることがわかる。
【００６６】
前記「カメラ移動」特性を有するブロックに対する判断は式６を利用する。
【００６７】
【数６】
0004837909.tif 000015
図９の（Ａ）及び（Ｂ）は、「対象移動」特性を有するブロックの費用関数の分布図で、図１０は、各費用関数間の相関性を示すグラフである。
【００６８】
両費用関数ｃｏｓｔ１、ｃｏｓｔ２の分布は、全体的に広く広がっている。前記時間的差値による費用関数ｃｏｓｔ１は、３０以上の大きい値を有し、前記分散値による費用関数ｃｏｓｔ２は、１００付近に多くのデータが分布している。図から分かるように、特定の値に偏重されることはないが、動く物体の特性上、モーションベクトルの分布が大きいことで予想される。
【００６９】
図１０から分かるように、両費用関数ｃｏｓｔ１、ｃｏｓｔ２は、大部分大きい値にデータが偏重されている。
【００７０】
従って、前記「対象移動」特性を有するブロックの判断基準は式７のようである。
【００７１】
【数７】
0004837909.tif 000016
図１１の（Ａ）及び（Ｂ）は、「停止」特性を有するブロックの費用関数の分布図で、図１２は、各費用関数間の相関性を示すグラフである。
【００７２】
両費用関数ｃｏｓｔ１、ｃｏｓｔ２の分布は、全体的に小さい値に偏重されて広がっている。前記時間的差値による費用関数ｃｏｓｔ１は、２５以下に大部分が含まれるが、これは、現在のフレームと以前のフレームとの差が殆どないことを意味する。且つ、前記分散値による費用関数ｃｏｓｔ２も、２５以下付近に多くのデータが偏重されている。
【００７３】
図１２において、前記両費用関数ｃｏｓｔ１、ｃｏｓｔ２は、両方とも小さい値を有しているが、前記「停止」特性を有するブロックの判断基準は式８のようである。
【００７４】
【数８】
0004837909.tif 000017
表２は、このような過程を通して算出されたブロックの特性判断基準を示すもので、前記損失ブロックの特性は、各費用関数の値が該当費用関数の値の範囲と一致するかを判断して決定する。
【００７５】
【表２】
0004837909.tif 000018
即ち、前記損失ブロックに隣接したピクセル間の時間的差値による費用関数ｃｏｓｔ１が６１で、分散値による費用関数ｃｏｓｔ２が５０であると、該当の損失ブロックは、「場面転換」特性を有するマクロブロックと判断し、前記隣接したピクセル間の時間的差値による費用関数ｃｏｓｔ１が２０で、分散値による費用関数ｃｏｓｔ２が１５であると、前記損失ブロックは、「停止」特性を有するマクロブロックと判断する。且つ、前記時間的差値による費用関数ｃｏｓｔ１が２０で、前記分散値による費用関数ｃｏｓｔ２が３０であると、前記損失ブロックは、「その他」特性を有するマクロブロックと判断する。
【００７６】
また、前記損失ブロックに隣接したピクセル間の時間的差値による費用関数ｃｏｓｔ１が４０で、分散値による費用関数ｃｏｓｔ２が２０であると、該当の損失ブロックは、「カメラ移動」特性を有するマクロブロックと判断し、前記時間的差値による費用関数ｃｏｓｔ１が４０で、前記分散値による費用関数ｃｏｓｔ２が１８０であると、該当の損失ブロックは、「対象移動」特性を有するマクロブロックと判断する。
【００７７】
図１３は、前記表２で定義した各ブロックの特性別分布を示すもので、動きが小さいか、または現在のフレームと以前のフレームとの差が小さいブロックは左側下方に分布し、逆に、動きが大きいか、または画面間の時間的差が大きいブロックは右側上方に分布することが分かる。
【００７８】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。
【００７９】
受信側で伝送時に損失された動画像ブロックの特性を自動に判断して、損失ブロックを復旧するための情報として提供し得る画像処理システムの損失ブロック特性判断装置及びその方法を提供する。
【００８０】
本発明に係る画像処理システムの損失ブロック特性判断方法は、伝送された動画像ブロックで損失ブロックの存在有無を確認する段階と、現在のフレームと以前のフレームとに対し、前記損失ブロックに隣接したピクセル間の時間的差値（ｃｏｓｔ１）を算出する段階と、損失された動画像ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する段階と、前記隣接ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較する段階と、比較結果によって前記損失ブロックの特性を決定する段階とを有する。
【図面の簡単な説明】
【００８１】
【図１】本発明に係る画像処理システムの損失ブロック特性判断装置の構成を示すブロック図である。
【図２】本発明に係る画像処理システムの損失ブロック特性判断方法を示すフローチャートである。
【図３】現在のフレームと以前のフレーム間のピクセルの時間的差を示す例示図である。
【図４】損失ブロック及びその周辺ブロックのモーションベクトルを示す例示図である。
【図５】（Ａ）及び（Ｂ）は、「場面転換」特性を有するブロックの費用関数の分布図である。
【図６】図５の（Ａ）及び（Ｂ）の費用関数間の相関性を示すグラフである。
【図７】（Ａ）及び（Ｂ）は、「カメラ移動」特性を有するブロックの費用関数の分布図である。
【図８】図７の（Ａ）及び（Ｂ）の費用関数間の相関性を示すグラフである。
【図９】（Ａ）及び（Ｂ）は、「対象移動」特性を有するブロックの費用関数の分布図である。
【図１０】図９の（Ａ）及び（Ｂ）の費用関数間の相関性を示すグラフである。
【図１１】（Ａ）及び（Ｂ）は、「停止」特性を有するブロックの費用関数の分布図である。
【図１２】図１１の（Ａ）及び（Ｂ）の費用関数間の相関性を示すグラフである。
【図１３】本発明により定義された各ブロックの特性別分布を示す分布図である。
【図１】
0004837909.tif 000023
【図２】
0004837909.tif 000024
【図３】
0004837909.tif 000025
【図４】
0004837909.tif 000026
【図５】
0004837909.tif 000027
【図６】
0004837909.tif 000028
【図７】
0004837909.tif 000029
【図８】
0004837909.tif 000030
【図９】
0004837909.tif 000031
【図１０】
0004837909.tif 000032
【図１１】
0004837909.tif 000033
【図１２】
0004837909.tif 000034
【図１３】
0004837909.tif 000035