(57)【要約】水平方向および垂直方向の両方でルーピングを使用して、カウント値をカウンタテーブルエントリに累積するための帯域幅の減少を通して、アーチファクト検出およびカウンティングが促進される。本発明の例示的実施形態においては、水平および垂直なカウントテーブルエントリにおいて、第１および第２のループが形成される。第１のルーピングパスでカウントテーブルエントリを増大するため、検出されたアーチファクト値の商および余りの値が使用される。第２のループで商の値を使用して、カウントテーブルエントリが増大される。第１のループでのテーブルの増大は、余りの値の長さに制限される。第２のループでのテーブルの増大は、使用されるカウントテーブルの横列または縦列の長さに制限される。このようにして、カウントテーブルに対する足し算のための待ち時間、および、足し算を行なうための帯域幅が、従来の用途よりも減少する。また、テーブルへの各エントリは、１つの足し算まで減少させることができる。
2005507591.tif 000002
【特許請求の範囲】
【請求項１】
カウントテーブルを有する画像信号処理回路でアーチファクトを検出してカウントする方法であって、水平および垂直なカウントテーブルエントリのそれぞれにおいて第１および第２のループを使用し、前記第１のループは、検出されたアーチファクト値の余りの値の長さまで前記カウントテーブルエントリを増大するようになっており、前記第２のループは、検出されたアーチファクト値の商の値を使用して、前記カウントテーブルエントリを増大するようになっている、方法。
【請求項２】
水平方向で前記第１および第２のループを使用する場合には、
方程式ｃｏｎｔｏｕｒ＿Ｈ＝（ｃｏｎｔｏｕｒＨ＿Ｑ×ＰＲＥＶＩＯＵＳ＿ＧＲＩＤ＿ＳＥＬＥＣＴ＋ｃｏｎｔｏｕｒ＿Ｈ＿Ｒ）を使用して、画像画像において水平方向でアーチファクトの長さを規定し、ここで、ｃｏｎｔｏｕｒ＿Ｈはアーチファクトの長さの値、ｃｏｎｔｏｕｒＨ＿Ｑは商の値、ｃｏｎｔｏｕｒ＿Ｈ＿Ｒは余りの値であり、
画像情報画素ブロックの第１のルーピングパスを行なうとともに、ｃｏｎｔｏｕｒ＿Ｈの商および余りの値に応じて前記カウントテーブルのエントリを増大し、前記カウントテーブルエントリは、余りの値を超えない値まで増大され、
画像情報画素ブロックの第２のルーピングパスを行なうとともに、値が商の値−１に等しく且つ水平な横列の最後を超えないようにアーチファクトエントリの余りの値を増大する、ことを含む、請求項１に記載の方法。
【請求項３】
水平なカウントテーブルエントリにおいて前記第１および第２のループを使用する場合には、方程式ｉｎｃ＝ｃｏｎｔｏｕｒ＿Ｈ／ＰＲＥＶＩＯＵＳ＿ＧＲＩＤ＿ＳＥＬＥＣＴによって規定されるインクリメント値ｉｎｃを使用する、ことを含む、請求項２に記載の方法。
【請求項４】
垂直方向で前記第１および第２のループを使用する場合には、
方程式ｃｏｎｔｏｕｒ＿Ｖ＝ｃｏｎｔｏｕｒ＿Ｖ＿Ｑ＊８＋ｃｏｎｔｏｕｒ＿Ｖ＿Ｒを使用して、画像画像において垂直方向でアーチファクトの長さを規定し、ここで、ｃｏｎｔｏｕｒ＿Ｖはアーチファクトの長さの値、ｃｏｎｔｏｕｒ＿Ｖ＿Ｑは商の値、ｃｏｎｔｏｕｒ＿Ｖ＿Ｒは余りの値であり、
画像情報画素ブロックの第１のルーピングパスを行なうとともに、ｃｏｎｔｏｕｒ＿Ｈの商および余りの値に応じて前記カウントテーブルのエントリを増大し、前記カウントテーブルエントリは、余りの値を超えない値まで増大され、
画像情報画素ブロックの第２のルーピングパスを行なうとともに、値が商の値−１に等しく且つ垂直な縦列の最後を超えないようにアーチファクトエントリの余りの値を増大する、ことを含む、請求項１に記載の方法。
【請求項５】
垂直なカウントテーブルエントリにおいて前記第１および第２のループを使用する場合には、方程式ｉｎｃ＝ｃｏｎｔｏｕｒ＿Ｖ／８によって規定されるインクリメント値ｉｎｃを使用する、請求項４に記載の方法。
【請求項６】
ループの少なくとも一部のサイズに関して限界を規定することを更に含む、請求項１に記載の方法。
【請求項７】
限界の規定は、上側の限界を規定することを含む、請求項６に記載の方法。
【請求項８】
限界の規定は、下側の限界を規定することを含む、請求項６に記載の方法。
【請求項９】
限界の規定は、カウントテーブルでラップ・アラウンドを行なうことを含む、請求項６に記載の方法。
【請求項１０】
前記カウントテーブルエントリは、足し算を１回だけ使用して増大される、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像信号処理に係り、特に画像信号処理におけるアーチファクト（artifact―加工箇所―）検出に関する。
【背景技術】
【０００２】
マイクロプロセッサやデジタル信号プロセッサを含むコンピュータ装置は、幅広い用途で設計されてきており、また、ほぼ全ての産業で使用されてきた。様々な理由から、これらの用途の多くは、画像情報の処理に関するものであり、最小レベルの電力消費量およびコンパクトさを要求してきた。幾つかの用途は、更に、リアルタイムで或はほぼリアルタイムで効率的に実行できる高速演算エンジンを要求した。これらの画像処理用途の多くはかつてないほどの高速で複数の機能を実行することができる多いデータ信号処理回路を必要としてきた。
【０００３】
動画像エキスパーツグループ（ＭＰＥＧ）アプリケーション、ＭＰＥＧ２アプリケーション（例えば、約４から９Ｍｂｉｔ／ｓｅｃのコード化されたビットレートでの画像情報の全デジタル送信）等の様々な画像アプリケーションは、圧縮された画像情報を使用している。データ圧縮は、特に、データ処理およびデータ送信において有用である。これは、一般に少ない量のデータを高速で送信でき、狭い帯域幅を使用するからである。しかしながら、データ圧縮は、時として、失われたデータに起因するエラーを生じ得る。失われたデータは、一般に、不一致すなわちアーチファクトとしてビデオ画像内に現われる。データがより小さく圧縮されると、アーチファクトが多く発生する。すなわち、圧縮量を大きくすると、圧縮によってアーチファクトが多く発生してしまうという点で、二律背反が存在してしまう。
【０００４】
圧縮データを使用して形成されたビデオ画像は、著しく画質に影響を及ぼすことなく、あるいは、少なくとも許容可能な特定のレベル以下まで画質を低下させることなく、幾つかのアーチファクトを含んでいる場合がある。特定の画像処理アプリケーションにおいては、アーチファクトの許容可能なカウントまたは数が選択され、アーチファクトカウントが許容可能な範囲内に維持されるように画像情報の圧縮が制御される。これらのアプリケーションにおいては、カウントに応じて矯正措置または他の措置を取るために、アーチファクトをカウントしおよび／または識別することが一般に有益である。
【０００５】
ＭＰＥＧ２圧縮されて圧縮解除されたデータを使用する画像シーケンスにおいては、幾つかのタイプのアーチファクトを見出すことができる。これらのシーケンスは、一般に、８×８（ＭＰＥＧ２）フォーマット、８×１０（５４０または５２８画素）フォーマットまたは、８×１２（４８０画素）フォーマット等のコード化フォーマットを使用する。８×８ブロック・ディスクリート・コサイン・変換（ＤＣＴ）係数の定量化または質が悪いコード化の結果等の結果に関連する問題に起因して、コントラスト促進法や鮮明度促進法等の処理によりアーチファクトを増幅することができる。これらの例または他の例においては、顕著なブロッキング・アーチファクトを識別することができるとともに、これらのブロッキング・アーチファクトは、一般に、特定の画像シーケンスをブロッキングすること（blockinnes）に関連して称される。ブロッキング・アーチファクトは、一般に、圧縮が解凍された解読画像においては、見せかけの矩形の不連続部分として絶えず出現する。ブロッキング・アーチファクトの視認性は、一般に、使用される圧縮量、オリジナル画像の質および性質、使用されるコーダーの質によって決まる。目に見えるブロックは、ＭＰＥＧコーダーや標準的な変換器等の他の動きベクトルシステムにおける動き予測および／または評価の不良に起因して、８×８ＤＣＴブロックまたは見当違いのブロック（例えば、１６×１６画素マクロブロック）を含んでいる場合がある。これらのアーチファクトの視認性を低減するために、矯正措置を取ることが望ましい。
【０００６】
本発明は、前述したことを目的として含み、ＭＰＥＧ２でのアーチファクトの検出および他のタイプの画像情報処理に関する。
【発明の概要】
【０００７】
本発明の様々な態様は、画像情報処理でのアーチファクト検出に関し、更に特定の用途においては、アーチファクト識別およびカウンティングに関する。
【０００８】
１つの特定の例示的実施形態において、本発明は、データテーブルの水平方向および垂直方向でそれぞれ２つのループを使用して、検出されたアーチファクイトのカウントを累積するアーチファクト検出およびカウンティングに関する。前記ループは、アーチファクト検出および画像情報管理に関連する前述した課題を含む幾つかの課題を扱うように行なわれる。
【０００９】
本発明の前述した概要は、図示の各実施形態または本発明の全ての実施例を説明しようとするものではない。図面および以下の詳細な説明は、特にこれらの実施形態を例示している。
【００１０】
本発明は、添付図面を参照しつつ、本発明の様々な実施形態の以下の詳細な説明を考慮すると、より完全に理解できる。
【００１１】
本発明は様々な改良および他の形式を免れないが、その具体的な内容は、一例として図面に示されており、以下に詳細に説明する。しかしながら、意図するところは、説明する特定の実施形態に本発明を限定しないことであることは言うまでもない。逆にい言うと、添付の請求の範囲によって規定される本発明の思想および範囲内に入る全ての改良、等価物、変形を網羅することを意図している。
【発明を実施するための最良の形態】
【００１２】
本発明は、ＭＰＥＧ２処理等の画像情報処理でアーチファクトを検出するための方法および装置に大いに適用できると考えられる。本発明は、アーチファクトに影響され易いデータ圧縮を使用する画像情報処理において、特に有益であることが分かってきた。本発明は、そのような用途に必ずしも限定されないが、そのような環境での実施例の説明を通じて、本発明の様々な態様についての認識を最も良く得ることができる。
【００１３】
本発明の一例示的実施形態においては、水平方向および垂直方向のそれぞれで２つの走査ループを利用する二部アルゴリズムを使用して、画像情報シーケンス中のアーチファクトが検出されてカウントされ、アーチファクトカウントテーブルでアーチファクトカウント値が累積される。水平または垂直のアーチファクトに関して輪郭削り等の不必要なアーチファクトが検出されると、前記カウントテーブルが更新（増大）される。第１のループは、テーブルにわたって走査されるとともに、ソフトウエアアプリケーションからの輪郭の商および余りの値を使用して、余りの値の最大長までカウンタテーブルのエントリを増やす。第２のルーピングパスは、輪郭の商の値よりも１少なくなるように且つテーブルの横列または縦列の最後がループされるまで、テーブルによりアーチファクトエントリを増やしている。アーチファクト検出は、比較的低コストなハードウエアを使用して行なわれるとともに、比較的小さな帯域幅および少ない待ち時間を呈する。
【００１４】
本発明は、様々な用途との関連で実施されても良い。図１は、本発明のアーチファクトカウンティングが使用されるそのような１つの実施例を示している。ＭＰＥＧ２アーチファクト検出ユニットは、水平方向および垂直方向の両方で傾斜試験を使用して画像シーケンス中におけるアーチファクトの存在を検出するようになっている。前記検出ユニットからの出力は、画素処理のアクティブ領域走査におけるブロッキネス（blockiness）の表示およびアーチファクトのグリッドサイズおよび原点の表示を表わしている。走査されたデータ１０５は、画素処理１２０およびフィールド処理１４０からそれぞれ成るＭＰＥＧ２アーチファクト検出アルゴリズムで処理される。前記画素処理は、傾斜フィルタリングと、ブロッキング・アーチファクトの識別とに分けられる。アーチファクトの識別は、試験、アーチファクトカウンティング、グリッドサイズカウンティングを含む３つのステップに分けられる。傾斜フィルタリングおよびブロッキング・アーチファクトの識別は、ハードウエアで行なわれる。前記フィールド処理は、ブロッキネス手続きと、グリッドサイズ手続きとを含んでいる。ブロッキネス手続きは、ブロックレベル表示およびグリッド位置処理によって使用される。また、新たなグリッドサイズに関する計算を行なうため、グリッドサイズは、ＭＭＩＯレジスタからのグリッドカウント値を使用して決定される。前記フィールド処理は、ソフトウエア設計で行なわれる。
【００１５】
アーチファクトカウンティングは、傾斜値の試験条件、または、水平或は垂直方向で隣り合う画素の試験条件に基づいている。傾斜条件が満たされていれば、画素中にアーチファクトが存在する。水平アーチファクト試験値（ｔｅｓｔ＿Ｈ）および垂直アーチファクト試験値（ｔｅｓｔ＿Ｖ）は、水平試験および垂直試験においてアーチファクトカウントテーブル内でのカウント値のインクリメントを決定する。アーチファクトカウントテーブルのための出力値はメモリに記憶されるとともに、グリッドカウントはＭＭＩＯレジスタに記憶される。前記フィールド処理は、レジスタを介して、記憶された値にアクセスするようになっている。
【００１６】
水平アーチファクトカウンティングにおいて、水平方向に存在するアーチファクトの長さ（ｃｏｎｔｏｕｒ＿Ｈ）は、以下のように規定される
【数１】
2005507591.tif 000003
【００１７】
ここで、ｃｏｎｔｏｕｒ＿Ｈ＿Ｑは、ｃｏｎｔｏｕｒ＿Ｈと予測されたグリッドサイズ（例えば、８、１０または１２）であるＰＲＥＶＩＯＵＳ＿ＧＲＩＤ＿ＳＥＬＥＣＴとの商である。
また、ｃｏｎｔｏｕｒ＿Ｈ＿Ｒは、ｃｏｎｔｏｕｒ＿Ｈの余りである。水平アーチファクトの長さが割り当てられると、カウンティングの限界が［ＰＲＥＶＩＯＵＳ＿ＧＲＩＤ＿ＳＥＬＥＣＴ，  ｃｏｎｔｏｕｒ＿Ｈ］から決定される。カウント値がカウンティングの限界から外れている場合（例えば、テーブルにおける設定範囲よりも大きい場合または小さい場合）には、アーチファクトカウントテーブル内の水平なエントリはインクリメントされない。カウント値がカウンティングの限界の範囲内にある場合には、アーチファクトカウントテーブルは、カウント値のデクリメントが下側の限界に達するまで、そのエントリをインクリメントする。
【００１８】
垂直アーチファクトカウンティングにおいて、垂直アーチファクトにおけるカウント値は、水平アーチファクトカウンティングの場合と同様の方法でインクリメントされる。垂直方向に存在するアーチファクトの長さ（ｃｏｎｔｏｕｒ＿Ｖ）は、以下のように規定される
【数２】
2005507591.tif 000004
【００１９】
ここで、ｃｏｎｔｏｕｒ＿Ｖ＿Ｑはｃｏｎｔｏｕｒ＿Ｖの商であり、ｃｏｎｔｏｕｒ＿Ｖ＿Ｒは余りである。垂直アーチファクトの長さが設定されると、カウンティングの限界が［８，  ｃｏｎｔｏｕｒ＿Ｖ］から決定される。カウント値がカウンティングの限界から外れている場合には、アーチファクトカウントテーブルはその垂直なエントリをインクリメントしない。カウント値がカウンティングの限界の範囲内にある場合には、アーチファクトカウントテーブルは、カウント値のデクリメントが下側の限界に達するまで、そのエントリをインクリメントする。
【００２０】
最大カウント累積サイクル時間は輪郭値（ｃｏｎｔｏｕｒ  ｖａｌｕｅ）とは全く無関係であり、足し算サイクルも減らされる。ソフトウエアアプリケーションからの輪郭値の商および余りを使用することにより、アーチファクト識別およびアーチファクトカウンティングは、水平カウンティングに関しては、従来の［ｃｏｎｔｏｕｒ＿Ｈ＿Ｒ，ｃｏｎｔｏｕｒ＿Ｈ＿Ｑ＊ＰＲＥＶＩＯＵＳ＿ＧＲＩＤ＿ＳＥＬＥＣＴ＋  ｃｏｎｔｏｕｒ＿Ｈ＿Ｒ］から［ｃｏｎｔｏｕｒ＿Ｈ＿Ｒ，  ＰＲＥＶＩＯＵＳ＿ＧＲＩＤ＿ＳＥＬＥＣＴ］へと減少されるとともに、垂直カウンティングに関しては、従来のアプリケーションにおいては、［ｃｏｎｔｏｕｒ＿Ｖ＿Ｒ，  ｃｏｎｔｏｕｒ＿Ｖ＿Ｑ＊８＋  ｃｏｎｔｏｕｒ＿Ｖ＿Ｒ］から［ｃｏｎｔｏｕｒ＿Ｖ＿Ｒ，８］へと減少される（この場合、垂直グリッドサイズは８が使用される）。
【００２１】
本発明の１つの特定の例示的実施形態において、上側限界比率の水平カウント記憶サイクルは、以下のように与えられる。
【数３】
2005507591.tif 000005
【００２２】
ここで、ＰＲＥＶＩＯＵＳ＿ＧＲＩＤ＿ＳＥＬＥＣＴは、８、１０または１２である。上側限界比率の垂直カウント記憶サイクル時間は、以下のように与えられる。
【数４】
2005507591.tif 000006
【００２３】
インクリメント（ｉｎｃ）または（ｉｎｃ−１）のための値を記憶するため、テーブルにおける横列または縦列エントリは、２つのグループに分けられる。図２は、水平方向におけるテーブルサイズの例を示している。この場合、グリッド部分３１０、３２０、３３０は、先のグリッドサイズ１２、１０、８にそれぞれ対応している。部分３１２、３２２、３３２はｉｎｃ−１値に対応しており、部分３１４、３２４、３３４はｉｎｃ値に対応している。水平方向におけるインクリメント値は、以下のように規定される。
【数５】
2005507591.tif 000007
【００２４】
ここで、カウント値は水平方向のカウント値であり、限界点は、以下のように規定される。
限界＝カウント値％先の選択グリッドサイズ
【００２５】
図３は、垂直アーチファクト記憶のためのグリッド部分３１０を有するテーブルサイズ（８）の例を示している。この場合、部分３１２、３１４はそれぞれ、ｉｎｃ−１値およびｉｎｃ値に対応している。限界が余りであり、垂直方向におけるインクリメント値は、以下のように規定される。
【数６】
2005507591.tif 000008
【００２６】
また、垂直方向における限界は、以下のように規定される。
限界＝カウント値％８
【００２７】
カウント値をエントリに記憶するための最初の帯域幅は、輪郭値によって決まる。カウント値を記憶するための最大帯域幅は、１つの横列または１つの縦列を１回処理するだけで得られる。これは、必要な帯域幅を減らす場合において、輪郭値が大きな数に設定される従来の用途と比べて特に有用である。また、エントリに関する２つのタイプの足し算における限界をアーチファクトカウントテーブル内で自動的にラップアラウンドすることができる。
【００２８】
本発明の用途および実施に関する更なる情報に関して、「良質な画像入力におけるＭＰＥＧ２アーチファクト検出のための新たなアーチファクト識別およびカウンティング方法（A new artifact identification and counting method for MPEG2 artifact detection in Quality Video Input）」と題された添付付録を参照すると良い。この添付付録の内容は、これを参照することにより、本願に組み込まれる。
【００２９】
本発明は前述した特定の実施例に限定されると見なされるべきではない。様々な改良、等価なプロセス、本発明を適用できる多数の構造は、添付の請求の範囲に適正に記載された本発明の範囲内に入る。
【図面の簡単な説明】
【００３０】
【図１】本発明の例示的実施形態に係るアーチファクト検出およびカウンティングを示す説明図である。
【図２】本発明の他の例示的実施形態に係るアーチファクトカウンティングにおける水平グリッドを示す説明図である。
【図３】本発明の他の例示的実施形態に係るアーチファクトカウンティングにおける垂直グリッドを示す説明図である。
【図１】
2005507591.tif 000009
【図２】
2005507591.tif 000010
【図３】
2005507591.tif 000011
【国際公開パンフレット】
2005507591.tif 000012
2005507591.tif 000013
2005507591.tif 000014
2005507591.tif 000015
2005507591.tif 000016
2005507591.tif 000017
2005507591.tif 000018
2005507591.tif 000019
2005507591.tif 000020
2005507591.tif 000021
2005507591.tif 000022
2005507591.tif 000023
【国際公開パンフレット（コレクトバージョン）】
2005507591.tif 000024
【国際調査報告】
2005507591.tif 000025
2005507591.tif 000026