(57)【要約】  グラフィックとビデオとの混合信号を分類するシステム、方法、およびプログラムプロダクト。画素データのブロックを受け取るシステムと、入力された上記ブロックを評価し、入力された上記ブロックが、純粋グラフィックブロック、平坦領域ブロック、急峻遷移ブロック、又は通常のビデオブロックであるかどうかを決定する分類システムと、を有するシステムが提供されている。
2008510348.tif 000002
【特許請求の範囲】
【請求項１】
グラフィックとビデオとの混合信号を分類するシステムであって、
画素データのブロックを受け取るシステム、および
入力された前記ブロックを評価し、入力された前記ブロックが、純粋グラフィックブロック、平坦領域ブロック、急峻遷移ブロック、又は通常のビデオブロックであるかどうかを決定する分類システム、
を有するシステム。
【請求項２】
前記画素データのブロックは、１ｘ８の画素ブロックを有している、請求項１に記載のシステム。
【請求項３】
前記分類システムは第１のサブシステムを有し、
前記第１のサブシステムは、入力された前記ブロックの中の画素が２つの値又は１つの値で構成される場合、入力された前記ブロックを純粋グラフィックブロックに分類する、請求項１に記載のシステム。
【請求項４】
前記分類システムは第２のサブシステムを有し、
前記第２のサブシステムは、入力された前記ブロックに対して変換を実行して一組の変換係数を生成し、入力された前記ブロックが平坦領域ブロックであるかどうかを決定するために前記一組の変換係数の一部の変換係数の絶対値の和をしきい値と比較する、請求項３に記載のシステム。
【請求項５】
前記第２のサブシステムは、入力された前記ブロックが平坦領域ブロックであるかどうかを決定するために、更に、前記一組の変換係数のうちの第２の一部の変換係数の絶対値の和を第２のしきい値と比較する、請求項４に記載のシステム。
【請求項６】
前記分類システムは第３のサブシステムを有し、
前記第３のサブシステムは、入力された前記ブロックの中の連続する画素が同一の値を有しており、且つ以下の式を満たす場合、
【数１】
2008510348.tif 000011
（ここで、ｘｉは画素値であり、
2008510348.tif 000012
は入力された前記ブロックの平均値である）
入力された前記ブロックを急峻遷移ブロックに分類する、請求項４に記載のシステム。
【請求項７】
前記第３のサブシステムは、入力された前記ブロックが急峻遷移ブロックであるかどうかを決定するために、更に、前のブロックが純粋グラフィックブロック又は急峻遷移ブロックであったかどうかを決定する調査を行う、請求項６に記載のシステム。
【請求項８】
前記分類システムは、入力された前記ブロックが、純粋グラフィックブロック、平坦領域ブロック、又は急峻遷移ブロックに分類されない場合、入力された前記ブロックを通常のビデオブロックに分類する、請求項６に記載のシステム。
【請求項９】
前記変換は、アダマール変換と離散コサイン変換とからなるグループから選択される、請求項４に記載のシステム。
【請求項１０】
グラフィックとビデオとの混合信号を分類する方法であって、
画素データのブロックを入力するステップ、および
入力された前記ブロックを評価し、入力された前記ブロックを、純粋グラフィックブロック、平坦領域ブロック、急峻遷移ブロック、および通常のビデオブロックのうちの一つに分類するステップ、
を有する方法。
【請求項１１】
前記分類するステップは、入力された前記ブロックの中の画素が２つの値又は１つの値で構成される場合、入力された前記ブロックを純粋グラフィックブロックに分類するステップを有する、請求項１０に記載の方法。
【請求項１２】
入力された前記ブロックが純粋グラフィックブロックでない場合、前記分類するステップは、入力された前記ブロックに対して変換を実行し、入力された前記ブロックが平坦領域ブロックであるかどうかを決定するために一部の変換係数の絶対値の和をしきい値と比較するステップを実行する、請求項１０に記載の方法。
【請求項１３】
前記分類するステップは、入力された前記ブロックが平坦領域ブロックであるかどうかを決定するために、更に、第２の一部の変換係数の絶対値の和を第２のしきい値と比較する、請求項１２に記載の方法。
【請求項１４】
入力された前記ブロックが純粋グラフィックブロック又は平坦領域ブロックではない場合、前記分類ステップは、入力された前記ブロックの中の連続する画素が同一の値を有しており、且つ以下の式を満たす場合、
【数２】
2008510348.tif 000013
（ここで、ｘｉは画素値であり、
2008510348.tif 000014
は入力された前記ブロックの平均値である）
入力された前記ブロックを急峻遷移ブロックに分類する、請求項１２に記載の方法。
【請求項１５】
前記分類するステップは、入力された前記ブロックが急峻遷移ブロックかどうかを決定するために、更に、前のブロックが純粋グラフィックブロック又は急峻遷移ブロックであったかどうかを決定する、請求項１４に記載の方法。
【請求項１６】
入力された前記ブロックが、純粋グラフィックブロック、平坦領域ブロック、又は急峻遷移ブロックではない場合、前記分類するステップは、入力された前記ブロックを通常のビデオブロックに分類する、請求項１４に記載の方法。
【請求項１７】
前記変換は、アダマール変換と離散コサイン変換とからなるグループから選択される、請求項１２に記載の方法。
【請求項１８】
グラフィックとビデオとの混合信号を分類するための記録可能な媒体に記憶されたプログラムであって、
画素データのブロックを受け取る手段、
入力された前記ブロックの中の画素が２つの値又は１つの値で構成される場合、入力された前記ブロックを純粋グラフィックブロックに分類する第１の分類手段、
入力された前記ブロックに対してアダマール変換を実行し、入力された前記ブロックが平坦領域ブロックであるかどうかを決定するために一部のアダマール変換係数の絶対値の和をしきい値と比較する第２の分類手段、および
入力された前記ブロックの中の連続する画素が同一の値を有しており、且つ以下の式を満たす場合、
【数３】
2008510348.tif 000015
（ここで、ｘｉは画素値であり、
2008510348.tif 000016
は入力された前記ブロックの平均値である）
入力された前記ブロックを急峻遷移ブロックに分類する第３の分類手段、
を有する、プログラム。
【請求項１９】
前記第２の分類手段は、入力された前記ブロックが平坦領域ブロックであるかどうかを決定するために、更に、第２の一部の変換係数の絶対値の和を第２のしきい値と比較する、請求項１８に記載のプログラム。
【請求項２０】
前記第３の分類手段は、入力された前記ブロックが急峻遷移ブロックであるかどうかを決定するために、更に、前のブロックが純粋グラフィックブロック又は急峻遷移ブロックであったかどうかを決定する、請求項１８に記載のプログラム。
【請求項２１】
入力された前記ブロックが、純粋グラフィックブロック、平坦領域ブロック、又は急峻遷移ブロックに分類されない場合、入力された前記ブロックを通常のビデオブロックに分類する、請求項１８に記載のプログラム。
【請求項２２】
入力された前記ブロックは、１ｘ８の画素データブロックを有している、請求項１８に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、グラフィックとビデオとの混合シーケンスを処理するシステムに関し、より具体的には、グラフィックとビデオとの混合シーケンスのための適応型分類システムおよびその方法に関する。
【背景技術】
【０００２】
現在の電子機器製品には、高度なデジタル信号や画像処理技術がますます使用されており、これによって、メモリサイズの必要性やシステムの装置間の通信帯域幅の必要性が非常に高い。実際には、実現コストの条件に適合するようにメモリサイズを削減すること、又はシステムの条件に適合するように通信帯域幅を狭めることが、しばしば必要とされている。したがって、圧縮などの信号処理技術を使用してこれらの課題を処理しなければならない。
【０００３】
斯かる課題は、混合信号（例えば、ビデオ信号とグラフィック信号）を処理するシステムにおいて、さらに深刻なものとなる。信号源は変化する信号統計を有しているので、混合信号の処理は複雑な問題になり得る。グラフィックデータとビデオデータは特性が異なるので、グラフィックデータとビデオデータとを区別し、異なる処理を適用する必要がある。例えば、標準ビデオ圧縮技術では、しばしば、鮮明な輪郭が必要なところに、「ぶれ（blurring）」や「がたがた（rippling）」のアーチファクトが生じる。これらのアーチファクトは、たびたび現れ、図形にとってかなりやっかいである。したがって、或るタイプの信号（例えば、ビデオ信号）には特定の処理を適用し、他のタイプの信号（例えば、グラフィック信号）にはこの特定の処理を適用しないことが好ましい。
【０００４】
斯かるシステムを実現するために、複数の信号を効率的に分類しなければならない。現在の分類アルゴリズムの大部分は、ビデオ情報とグラフィク情報とを区別し、フレーム内の、これらの情報に対応する部分に、索引を付ける。一部の分類アルゴリズムは、連続するフレーム間の相互関係も利用している。ブロックに基づく他の分割方法は、通常、２Ｄブロックに実行される。残念なことに、これらの技術はかなりの計算コストがかかり、計算オーバヘッドを削減するという目的の逆効果となる。したがって、計算の複雑さおよび計算性能については容認できるものを使用して、ビデオ信号とグラフィック信号との混合信号を分類するシステムおよびその方法の必要性がある。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、ビデオとグラフィックとの混合信号を分類するシステムおよびその方法を提供することによって、上記の問題および他の問題に対処している。
【課題を解決するための手段】
【０００６】
本発明は、ＲＧＢデータブロックを４つのカテゴリに分割する一次元（１Ｄ）ブロック型分類アルゴリズムを提供している。ブロックが分類された後、各ブロックに、必要に応じて、異なるビデオ処理技術を適用することができる。既存の分類方法と比較して、本発明のアルゴリズムはシンプルであり、必要な区分バッファが非常に小さく、局所的な部分のコンテンツに適応性がありリアルタイム動作に適している。これらの特徴によって、提供された方法は、埋込型圧縮システムに特に適している。
【０００７】
第１の態様では、本発明は、グラフィックとビデオとの混合信号を分類するシステムを提供する。このシステムは、画素データのブロックを受け取るシステムと、入力された上記ブロックを評価し、入力された上記ブロックが、純粋グラフィックブロック、平坦領域ブロック、急峻遷移ブロック、又は通常のビデオブロックであるかどうかを決定する分類システムと、を有している。
【０００８】
第２の態様では、本発明は、グラフィックとビデオとの混合信号を分類する方法を提供する。この方法は、画素データのブロックを入力するステップと、入力された上記ブロックを評価し、入力された上記ブロックを、純粋グラフィックブロック、平坦領域ブロック、急峻遷移ブロック、および通常のビデオブロックのうちの一つに分類するステップ、を有している。
【０００９】
第３の態様では、本発明は、グラフィックとビデオとの混合信号を分類するための記録可能な媒体に記憶されたプログラムプロダクトを提供する。このプログラムプロダクトは、画素データのブロックを受け取る手段と、入力された上記ブロックの中の画素が２つの値又は１つの値で構成される場合、入力された上記ブロックを純粋グラフィックブロックに分類する第１の分類手段と、入力された上記ブロックに対してアダマール変換を実行し、入力された上記ブロックが平坦領域ブロックであるかどうかを決定するために一部のアダマール変換係数の絶対値の和をしきい値と比較する第２の分類手段と、入力された上記ブロックの中の連続する画素が同一の値を有しており、且つ以下の式を満たす場合、
【数４】
2008510348.tif 000003
（ここで、ｘｉは画素値であり、
2008510348.tif 000004
は入力された上記ブロックの平均値である）
入力された上記ブロックを急峻遷移ブロックに分類する第３の分類手段と、を有している。
【００１０】
本発明のこれらの特徴および他の特徴は、添付された図面に関連する本発明の種々の態様についての以下の詳細な記載から、さらに容易に理解される。
【発明を実施するための最良の形態】
【００１１】
図１を参照すると、分類システムを有するビデオ処理システム１０が示されている。この分類システムは、信号源１１から生成された一次元（１Ｄ）画素ブロックを処理し、このブロックを４つのカテゴリのうちの一つのカテゴリに分類する。分類が行われると、ブロックは、後処理システム１３、１５、１７、又は１９によって更に処理される。一般に、画素ブロックは、ビデオとグラフィックとの混合信号１６からの画素データを有している。図示されている一実施例では、後処理システム１３、１５、１７、１９は、分類された画素ブロックを処理するのに適した圧縮システム又は符号化器システムを有している。尚、図示されてはいないが、ビデオ処理システム１０は、ビデオ処理装置で典型的に見られる特徴、部品、および機能の全てを有することができる（例えば、メモリ、ＣＰＵ、バス、Ｉ／Ｏ、ディスプレイなど）。
【００１２】
分類システムがビデオ信号とグラフィック信号との混合信号１６から画素ブロックを受け取るときはいつでも、分類システムは、ブロックを、純粋グラフィックブロック３６、平坦領域ブロック３８、急峻遷移ブロック４０、又は通常のビデオブロック４２として分類する。本発明は１ｘ８のＲＧＢ画素ブロックを分類することに関して記載されているが、本発明は別のサイズのブロック（例えば、１ｘ１０、２ｘ８など）にも適用できる。本発明の全体の概念をＲＧＢ以外の色空間に拡張できることにも注意すべきである。
【００１３】
一次分類システム１２は、データを２つのカテゴリのうちの１つのカテゴリ（純粋グラフィック領域１８、又はビデオ領域２２）に分類する。二次分類システム１４は、ビデオ領域２２を特別な３つの特徴ブロックのうちの１つのブロック（即ち、平坦領域ブロック３８、急峻遷移ブロック４０、又は通常のビデオブロック４２）に細分類する。
【００１４】
図２は、分類方法を更に詳細に示している。最初に、１ｘ８の画素ブロック３０を調べて、ブロックが第１の条件（条件Ａ。以下に記載されている）を満たすかどうかを決定する。画素ブロック３０が条件Ａを満たす場合、ブロックは純粋グラフィックブロック３６に分類される。画素ブロック３０が条件Ａを満たさない場合、画素ブロック３０は、例えばアダマール変換３２による変換が行われ、一組の変換係数を有する１ｘ８の係数ブロック３４が生成される。変換が行われた係数ブロック３４は、条件Ｂ（以下に記載されている）を満たすかどうかが調べられる。条件Ｂを満たす場合、画素ブロック３０は平坦領域ブロック３８に分類される。条件Ｂを満たさない場合、画素ブロック３０は、条件Ｃ（下記に記載されている）を満たすかどうかが調べられる。画素ブロック３０が条件Ｃを満たす場合、画素ブロック３０は急峻遷移ブロック４０に分類される。画素ブロック３０が条件Ｃを満たさない場合、画素ブロック３０は通常のビデオブロック４２に分類される。
【００１５】
条件Ａは、グラフィックデータをビデオデータと区別するための条件である。従来の変換を用いたビデオ圧縮では、しばしば、「エッジのぶれ」や、完全に「均一」であるはずの背景領域に現れる色変動などの歪みが生じる。斯かる圧縮技術は、きれいなグラフィック画像では許容できるものではない。したがって、グラフィックデータをビデオ圧縮処理することはできず、グラフィックデータをビデオデータと区別する必要がある。純粋グラフィックブロックは同じ値を有する一続きの画素を含んでおり、値の異なる画素と画素との間の遷移は、一般的に直角の遷移である。この特徴を分析すると、条件Ａの分類基準は以下のようになる。
【００１６】
一つのブロックの中の全ての画素が２つの値（即ち、背景値とテキスト値）にしか当てはまらない場合、又は一つのブロックの中の全ての画素が同一の画素値を有している場合、この画素ブロックは「純粋グラフィックブロック」に分類される。
【００１７】
例えば、Blk１が値［１２８ １２８ １２８ １２８ １２７ １２７ １２８ １２８］の画素を有している場合、このブロックは、純粋グラフィックブロック３６に分類される（もっと具体的には、「二値の純粋グラフィックブロック」と認定される）。同様に、Blk２が値［２５５ ２５５ ２５５ ２５５ ２５５ ２５５ ２５５ ２５５］の画素を有している場合、このブロックも純粋グラフィックブロック３６に分類される（もっと具体的には、「一値の純粋グラフィックブロック」と認定される）。
【００１８】
入力された１ｘ８の画素ブロックが条件Ａを満たさない場合、ブロック３０が平坦領域ブロック３８であるかどうかのテストが行われる。平坦領域においては、コーディングアーチファクト（coding artifact）や「時間ジッター（temporal jitter）」がよりはっきりとしてしまい、煩わしいものとなる。したがって、平坦ブロックを認識し、それに応じてこの平坦ブロックを、例えばロスレス圧縮で処理することが望ましい。画素ブロック３０が平坦領域ブロック３８であるかどうかを決定するために、ブロック３０に対して、先ず、アダマール変換３２が行われる。アダマール変換は、信号処理や画像処理の分野では既知であり、したがって、アダマール変換について詳細に記載することはしない。
【００１９】
アダマール変換行列には、零交差の変化率に関して行を並べることが使用される。次いで、変換係数の生成が、データベクトルの変化の速い順に行われ、これは、大まかには、直感的に認識できる周波数に対応している。変換されたブロックのＡＣエネルギーから得られる活性度の測定値（activity measure）によって、条件Ｂを満たすかどうかが決定される。１ｘ８のブロックに対しては、ＡＣエネルギーを、以下に示すように、ＡＣスペクトル係数の２乗の合計として計算することができる。
【数５】
2008510348.tif 000005
計算を単純にすることを考慮すると、活性度（activity）は、ＡＳの近似式として次のような絶対値を使用して決定される。
【数６】
2008510348.tif 000006
【００２０】
平坦領域は、模様や縁を含んでいない。したがって、平坦領域のＡＣエネルギーは低い。加えて、高周波成分に含まれるエネルギーも低い。上記のブロック特徴解析に従って、条件Ｂの分類基準は、次のように規定することができる。以下の絶対値の和がしきい値１よりも小さい場合、即ち、
【数７】
2008510348.tif 000007
である場合、ブロックは「平坦領域ブロック」に分類される。ここで、Ｃｉ（ｉ＝４〜７）はアダマール変換されたブロックの係数の部分集合である。
【００２１】
一実施例では、しきい値１は経験的に「１２」に設定することができる。より良好な画質とより優れた圧縮効率を実現するのに圧縮がもっと厳密な分類を必要とする場合、以下の別の基準を採用してもよい。この別の基準は、第１の係数部分集合（ｉ＝１〜７）の絶対値の和と、第２の係数部分集合（ｉ＝４〜７）の絶対値の和を調べる。即ち、ＡＳおよびＡｈが以下の式を満たす場合、ブロックは「平坦領域ブロック」に分類される。
【数８】
2008510348.tif 000008
【００２２】
これらのしきい値２およびしきい値３は経験的に決定することができる。例えば、しきい値２＝４０であり、しきい値３＝２０である。明らかに、本発明の範囲から逸脱しない範囲で、しきい値の選択を変更することができる。
【００２３】
空間領域のBlk３が画素値［９５ ９５ ９５ ９４ ９３ ９１ ９０ ９１］を有する以下の例について考察する。アダマール変換の後、変換領域の係数ブロックは［７４４ １４ −２ ４ ２ ４ ０ ２］になる。厳しい第２の基準が適用され、ＡＳ＝（１４＋２＋４＋２＋４＋０＋２）＝２８＜４０であり、Ａｈ＝（２＋４＋０＋２）＝８＜２０であるので、このブロックは平坦ブロックに分類される。
【００２４】
条件Ａも条件Ｂも満たさない場合、１ｘ８の画素ブロック３０は条件Ｃのテストが行われる。グラフィック画像では、影付き、浮出し、又は浮彫りなどの特定のフォント効果がしばしば適用され、このため、テキストから背景への遷移又は背景からテキストへの遷移は、直角の遷移ではないとしても急峻な遷移となる。従来の変換に基づいたビデオ圧縮では、しばしば、エッジに沿ってがたがた（rippling）が生じるとともに、変換前は同じ状態であった背景の中の複数の画素値に変動が生じる。これはビデオ画像よりもグラフィック画像で煩わしいので、これらの種類のブロックをグラフィック領域から区別する必要がある。
【００２５】
この種類のブロックは、比較的に平坦な領域と平坦な領域との間に急峻な遷移を含んでいる。このブロックは、純粋グラフィックブロックと同じような特性（例えば、同一値が連続的に続く部分を含んでいる特性）を有している。即ち、最大値と最小値との間のダイナミックレンジは大きい。しかし、上記のように、遷移は、直角の遷移ではないが、非常に急峻な遷移である。上記の分析に基づいて、以下の条件を調べることによって区別をすることができる。
【００２６】
１．１個のブロックの中の連続的に続く画素が、同一の値を有している。
【００２７】
２．以下の式を満たしている。
【数９】
2008510348.tif 000009
ここで、ｘｉは画素値であり、
2008510348.tif 000010
はブロックの平均値であり、しきい値４は、例えば１１０である。
【００２８】
（１）と（２）との両方を満たしている場合、ブロックは「急峻遷移ブロック」４０に分類される。ビデオフレームの中の互いに分離した幾つかのブロックが、急峻遷移ブロック４０に分類され得ることに注意されたい。このような分類がされると、画像は少し向上するが、圧縮効率がかなり小さくなるという犠牲を払う。純粋ビデオフレーム内の一部のブロックが急峻遷移ブロックとして識別される可能性を排除する又はこの可能性を低減するために、或るブロックの前のブロックが純粋グラフィックブロック３６又は急峻遷移ブロック４０である場合にのみ、当該或るブロックは急峻遷移を有しているものとして分類される。
上記の条件を満たさないブロックは通常のビデオブロック４２に分類される。
【００２９】
本明細書に記載されている実施例は、アダマール変換３２を利用して、周波数に基づいた一組の変換係数を生成しているが、離散コサイン変換（ＤＣＴ）などの他の変換方法を利用することができ、他の変換方法も本発明の範囲に含まれていることに注意すべきである。ＤＣＴ又は他の変換を利用する場合、上記の条件Ｂに設けられたしきい値を、適宜に調整しなければならないことに注意すべきである。
【００３０】
尚、本明細書に記載されているシステム、機能、メカニズム、方法、エンジン、およびモジュールは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組合せによって実現することができる。本明細書に記載されているシステム、機能、メカニズム、方法、エンジン、およびモジュールは、本明細書に記載されている方法を実行するのに適している任意の型式のコンピュータシステム又は他の装置によって実現することができる。ハードウェアとソフトウェアとの典型的な組合せは、コンピュータプログラムがロードされ実行されたときに、コンピュータシステムが本明細書に記載された方法を実行するようにコンピュータシステムを制御するような、コンピュータプログラムを備えた汎用コンピュータシステムである。あるいは、本発明の一つ以上の機能タスクを実行する専用ハードウェアを含む特別用途コンピュータを利用することができる。他の実施例では、本発明の全て又は一部は、分散方式によって（例えば、インターネットなどのネットワーク上で）実現することができる。
【００３１】
本発明は、明細書に記載されている方法および機能を実現することができる全ての特徴を有しているコンピュータプログラムプロダクトであって、プログラムがコンピュータシステムにロードされたときにこれらの方法および機能を実行することができるコンピュータプログラムプロダクトに埋め込むこともできる。本発明において、コンピュータプログラム、ソフトウェアプログラム、プログラム、プログラムプロダクト、ソフトウェアなどの用語は、情報処理能力を有するシステムが、特別の機能を、直接に実行するための又は（ａ）別の言語、別のコード、若しくは別の表記への変換と（ｂ）異なるデータ形式での再生とのうちの一方若しくは両方の後に実行するための命令の集合を、任意の言語、任意のコード、又は任意の表記で表したものであることを意味する。
【００３２】
本発明の上述の記載は、図示と記述とを行う目的で提示されている。上述に記載された例は、本発明を網羅したものではなく、又は開示された形式そのもに本発明を制限するものでもなく、明らかに、多くの修正例および変形例が可能である。当業者に明らかな斯かる修正例および変形例は、添付された特許請求の範囲に規定された本発明の範囲に含まれるものである。
【図面の簡単な説明】
【００３３】
【図１】本発明によるビデオ処理システムを示す図である。
【図２】本発明による分類方法を示す図である。
【図１】
2008510348.tif 000017
【図２】
2008510348.tif 000018
【国際調査報告】
2008510348.tif 000019
2008510348.tif 000020
2008510348.tif 000021