(57)【特許請求の範囲】
【請求項１】
ＤＣＴベースの圧縮ビデオ・シーケンス内のエラー・ブロックを検出する方法であって、所定ブロック・サイズのＤＣＴブロックに対応するビデオ・シーケンスのイメージ内のブロックを探し、各イメージの各ブロックのエッジ・エネルギーを求め、上記エッジ・エネルギーが所定基準に合う各ブロックを上記エラー・ブロックとしてリポートすることを特徴とする圧縮ビデオ・シーケンス内のエラー・ブロック検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般に、ビデオ圧縮、特に、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）ベースの圧縮ビデオ・シーケンス内のエラー・ブロックを効率的且つ確実に検出する方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ−２ビデオ圧縮の如くＤＣＴを基にした、即ち、ＤＣＴベースのコーデック（codec: coder-decoder）に関連したビデオ・シーケンス内の目立つ欠陥は、コード化又はバッファ・オーバーランのエラーが、通常は、原因であり、異なるフィールドに実際に属するデータのＤＣＴブロックが不正確に表示される。
【０００３】
１９９８年９月１０日にボジダー・ジャンコ及びスティーブン・マウラーが出願したアメリカ合衆国特許出願第０９／１５２４９５号「ブロック歪み（blockiness）を用いた画像（ピクチャ）品質測定」（特願平１１−２５２９５１号に対応）は、イメージ内のブロック歪み（blockiness）の量を検出する方法を記載している。垂直及び／又は水平エッジを検出し、使用する特定の圧縮技術に用いたＤＣＴブロック・サイズと大きさの等しいカーネルを有するグリッドと相互相関させる。この相互相関に用いた累積バケットの平均的な値を、これら複数のバケットの１個からの最大累積値と比較して、ブロック歪みの量を判断する。不正確なコーデックによるコード化、又はバッファ・オーバーランによって、イメージ内のいたるところにエラー・ブロックが生じるならば、これらの存在を検出するのは、一般的なブロック歪み測定で充分である。
【０００４】
【発明が解決しようとする課題】
しかし、一般的なブロック歪み測定では、少ない数のエラー・ブロックを確実に検出できない。これは、ブロック歪みの特徴が、全体的なイメージ内容の中のノイズによって、しばしばマスクされるためである。イメージ内にエラー・ブロックが１つもなければ、ブロック歪みが全く生じない。しかし、エラー・ブロックが１つでもあると、その欠陥が人間の目にはうるさいものとして容易に且つしばしば観察される。この単一のエラー・ブロックによっては、包括的なブロック歪み測定の結果が、しばしば許容範囲誤差を超えることことはない。
【０００５】
よって、ＤＣＴベースの圧縮ビデオ・シーケンス内のエラー・ブロックを効率的且つ正確に検出できる方法であって、包括的なブロック歪み測定によっては検出できないビデオ・シーケンス内のイメージにおける少数のエラー・ブロックを一層正確に検出できる方法が望まれている。
【０００６】
したがって、本発明は、包括的ブロック歪み測定によってエラー・ブロック検出するために、使用する圧縮技術のＤＣＴブロック・カーネルに等しい周期性を有するエッジを抽出することにより、ＤＣＴベースの圧縮ビデオ・シーケンス内のエラー・ブロックを効率的に検出する方法を提供するものである。
【０００７】
【課題を解決するための手段】
本発明は、ＤＣＴ（離散コサイン変換）ベースの圧縮ビデオ・シーケンス内のエラー・ブロックを検出する方法であって；所定ブロック・サイズのＤＣＴブロックに対応するビデオ・シーケンスのイメージ内のブロックを探し；各イメージの各ブロック用のエッジ・エネルギーを求めて；ブロックのエッジ・エネルギーが所定基準に合う各ブロックをエラー・ブロックとしてリポート（出力）する。
【０００８】
本発明によれば、ＤＣＴブロック・エッジに対応し、抽出したエッジ・エネルギーを加算し、全体的な（包括的な）しきい値と比較して、特定のブロックがエラー・ブロックであるか否かを判断する。代わりに、各エッジ・エネルギーを個別のエッジ・エネルギーしきい値に対して試験してもよい。典型的には３個である特定数のエッジを有する各ブロックがしきい値を超えていると、エラー・ブロックと判断する。いずれの方法も、更に正確にするために、エッジ・エネルギーから、被測定エッジの周囲のローカライズされた（局地化された）エネルギーの移動平均を減算することにより、空間（場所）的にノイズの多い領域であっても、測定誤りを減らす。
【０００９】
本発明のその他の目的、利点及び新規な特徴は、添付図を参照した以下の説明から理解できよう。
【００１０】
【発明の実施の形態】
図１は、エラー・ブロックを効率的に検出する本発明の方法に用いるシステムのブロック図である。少なくとも１回は圧縮され逆圧縮（伸張）されたビデオ入力信号が、コンポーネント分離器１０に入力する。このコンポーネント分離器１０において、一般的には、ルミナンス（Ｙ）成分を抽出する。しかし、コーデックによりルミナンス・チャンネル及びクロミナンス・チャンネルに同一のエラーが生じることが既知の場合、デコードにおけるカラー部分のエラー・ブロックを特に検出するか、又は、コンピュータによる計算によって標準以下の処理を行なうために、クロミナンス（Ｃ）成分の１つをルミナンス成分の代わりに測定してもよい、即ち、コンポーネント分離器１０がクロミナンス成分を検出してもよい。コンポーネント分離器１０からのビデオ成分は、エッジ抽出器１２に入力する。このエッジ抽出器１２は、一般的には、上述のアメリカ合衆国特許出願にも記載されているようなソベル（Sobel）フィルタ、即ち、ボックスカー・フィルタの如きエッジ強調フィルタの形式である。水平エッジ遷移を抽出するが、必要ならば、垂直エッジ遷移も検出してよい。検出したエッジ遷移を正の微分値に変換する、即ち、遷移を絶対値にする。次に、この正の微分値をブロック識別器１４に入力する。
【００１１】
ブロック識別器１４は、正の微分値を処理して、ＤＣＴブロックに対応する空間周期（spatial period:サイズ）及び空間位相（spatial phase:場所）を求める。入力ビデオ・シーケンスを処理するここまでのアルゴリズムは、上述のアメリカ合衆国特許出願に記載したアルゴリズムと本質的に同じである。
【００１２】
このアルゴリズムは、上述の説明と一部重複するが、次のようなものである。なお、ここでは、水平エッジ及び垂直エッジの両方を処理する場合を説明する。コンポーネント分離器１０により、イメージをフィールド単位又はフレーム単位で捕捉して、必要に応じて、コンポーネント・ビデオに変換する。エッジ抽出器１２では、この結果のイメージ・データを、ビット・マップ・ストレージ（蓄積装置）に蓄積する。このビット・マップ・ストレージの内容は、典型的には、ビデオ・データのルミナンス（輝度）成分である。ビット・マップ・ストレージからのビデオ信号の１つ以上の成分（ルミナンス成分）は、微分ボックスカー・フィルタの如き１対のエッジ強調（エンハンスメント）フィルタにより処理される。ここで、一方のフィルタは、イメージの垂直エッジを強調処理する、即ち、イメージの輝度成分を微分し、その絶対値を求めることにより、輝度（明暗）が変化する部分をイメージのエッジの値として検出する。同様に、他方のフィルタは、イメージの水平エッジを強調処理する。これら２つのフィルタにおけるエッジ強調の結果であるエッジの値から成るイメージは、結合モジュールに供給により、イメージのエッジの値の絶対値を２次元にて幾何学的に結合する。この結合されたイメージをブロック識別器１４に供給する。ここでは、無限グリッド（infinite grid：エッジのイメージ全体を覆う格子）に応じて、結合されたイメージの相互相関を求める。すなわち、グリッド（格子）をエッジのイメージに重ねた状態で、このイメージを分割し、各格子毎に、イメージのエッジの値を累積させて相関値を求める。グリッドは、使用する圧縮規格のブロック・サイズに対応するカーネル（空間）を有する。この相関値から、ブロック歪みを測定できる。上述の処理から、ブロック識別器１４は、正の微分値を処理して、ＤＣＴブロックに対応する空間周期（サイズ）及び空間位相（場所）を求める。
【００１３】
ＤＣＴブロックの周期性が未知の場合、上述のアメリカ合衆国特許出願に記載したような上述の包括的ブロック歪み測定を利用して、周期性を判断できる。この判断を行うには、異なる空間周期でビデオ・イメージを繰り返し測定し、各空間周期における包括的なブロック歪みの尺度を得る。ビデオ・シーケンスにおける多数のイメージに対する最高値を首尾一貫して繰り返しリポート（結果報告）する周期は、ＤＣＴブロックの周期である。たとえ、人間の目で検出するにはＤＣＴブロックの欠陥が小さ過ぎても、この方法では、小さな欠陥も検出できる。
【００１４】
包括的ブロック歪みの程度が警告を発するのに充分な程高いか否かに関わらず、総ての微分エネルギーと、ＤＣＴブロックの空間位相及び周期とは、特徴抽出器１６に入力される。特徴抽出器１６は、識別したＤＣＴブロック境界のエッジを処理する。この処理は、一実施例においては、これらエッジを加算することである。この加算の和が、ユーザ定義可能な組み合わせブロックしきい値を超すと、このブロックが、エラー・ブロック・リポート機能１８に報告される。特徴抽出器１６は、各エッジを試験して、ユーザ定義可能なエッジしきい値を超したか否かを判断すると共に、所定数以上のエッジがこのしきい値を超した場合、そのブロックをエラー・ブロック・リポート機能１８にリポート（出力）する。警告を発生するのに必要なエッジの数は、典型的には３であるが、４に設定して、エラー・ブロック・リポート機能１８の感度を下げてもよい。また、２個のエッジを有するだけのイメージの縁におけるブロックに対しては、警告を発生するのに必要なエッジの数を２に設定してもよい。
【００１５】
上述のアルゴリズムを更に変更して、各エッジから、そのエッジを囲む平均微分値を減算してもよい。この減算を行うことにより、局部的領域に不相応なエッジ・エネルギーのみが残る。よって、ビデオ・スノー（ビデオ画像が雪の降ったようなノイズが入る現象）や、草原（ビデオ画像に草が生えているようなノイズが入る現象）のように、高い微分値を有する領域内において、エラー・ブロックを誤って検出する可能性が下がる。これら平均微分値を得るには、被試験エッジの中心で垂直な線における微分値を加算する。典型的には、平均化した微分の数は、ブロックの検出した空間サイズと同じである。しかし、コンピュータ計算効率のために、この微分の数を減らしてもよい。
【００１６】
図２は、エラー・ブロックを効率的に検出する本発明の方法を説明する図である。イメージは、通常ブロック及びエラー・ブロックを有するビット・マップのビデオ表現にて示してある。このイメージを処理して、水平及び／又は垂直にＤＣＴブロックと一致するエッジ微分を判断する。大きなエッジ遷移を有するブロックは、エラー・ブロックであり、小さなエッジ遷移を有するブロックは、通常ブロックである。図示の特定実施例におけるエラー・ブロックでは、エッジ微分の和は６２９である。この和は、わずか８３である通常ブロックのエッジ微分の和よりも非常に大きい。
【００１７】
図３は、本発明によりエラー・ブロックを効率的に検出する方法の流れ図である。このエラー・ブロック検出アルゴリズムの入力は、ビデオ・ストリーム、このビデオ・ストリームにおけるイメージのフィールド・サイズ、（和及び／又は個別に対する）エッジしきい値、（既知ならば）使用する圧縮技術に応じたＤＣＴブロックの周期／位相である（ステップ５０）。このビデオ・ストリームからコンポーネントを分離する（ステップ５２）。これらコンポーネントの１個以上を処理して、エラー・ブロックを検出できる。このため、エッジ強調フィルタにより各コンポーネントを処理して、エッジを判断する（ステップ５４）。判断したエッジと、ＤＣＴブロック・カーネルとに基づいて、ビデオ・コンポーネントのイメージ内で対応ブロックを探す（ステップ５６）。
【００１８】
ＤＣＴブロックの周期（サイズ又はカーネル）が既知でなければ、異なるＤＣＴブロック・サイズに対して上述のステップを繰り返して、イメージ内のＤＣＴブロックの周期が何かを判断する。周期及び位相情報と共に、エッジ情報とにより、ＤＣＴブロックに対応するイメージ内のブロックを探す。各エッジ境界にて、ブロック・エッジ配列において、エッジ・エネルギーを求めて蓄積する（ステップ５８）。各ブロックに対して、図２に示すように、総合エッジ・エネルギーを計算し、包括的しきい値と比較する。しきい値よりも大きい総合エッジ・エネルギーを有するブロックを、エラー・ブロックとして出力（リポート）する（ステップ６０）。
【００１９】
オプションとしての、又は補足的な方法では、点線の流れで示すように、イメージ内のブロックを探した（ステップ５６）後に、ブロック境界における水平エッジ・エネルギーを求める（ステップ６２）。特定エッジの中心を通る線に沿って、各境界を囲むエネルギーを平均化する（ステップ６４）。この平均値を、境界におけるエッジ・エネルギーから減算する（ステップ６６）。各エッジにおいて、このエネルギーをエッジしきい値と比較して、エッジが「ＯＫ（通常）」か、「疑わしい（エラー・ブロックの可能性がある）」かを判断する（ステップ６８）。両方のエッジが「ＯＫ」（ステップ７０でイエス）ならば、最初の一連のステップ５０〜５８と同様に、包括しきい値を超えたときに、一連のステップ６２〜７０が元に戻り、しきい値よりも大きい総合エッジ・エネルギーを有するブロックをリポートする（ステップ６０）。一方又は両方のエッジが「疑わしい」（ステップ７０でノー）ならば、これらステップを垂直に対して繰り返し（ステップ７０）、直交エッジが「ＯＫ」か「疑わしい」かを判断する。任意のブロックの少なくとも３個のエッジが「疑わしい」ならば、そのブロックをエラー・ブロックとしてリポートする（ステップ７４）。
【００２０】
【発明の効果】
上述の如く、本発明の方法は、１つのイメージ内において、ＤＣＴブロックに対応するブロックのエッジ・エネルギーを求め、これらエッジ・エネルギーを評価して、これらエネルギーが、エラー・ブロックを示す所定のしきい値を超えたか否かを判断してリポートするので、ＤＣＴベースの圧縮ビデオ内のエラー・ブロックを効率的且つ確実に検出できる。
【図面の簡単な説明】
【図１】エラー・ブロックを効率的に検出する本発明の方法に用いるシステムのブロック図である。
【図２】エラー・ブロックを効率的に検出する本発明の方法を説明する図である。
【図３】エラー・ブロックを効率的に検出する本発明の方法の流れ図である。
【符号の説明】
１０  コンポーネント分離器
１２  エッジ検出器
１４  ブロック識別器
１６  特徴検出器
１８  エラー・ブロック・リポート機能
【図１】
0004073131.tif 000002
【図２】
0004073131.tif 000003
【図３】
0004073131.tif 000004