(57)【要約】【課題】  一画面に対して特定色と判定されるマクロブロックの割合が大きい画像でも、高画質に符号化すること。【解決手段】  画像を量子化処理及びフィルタ処理を用いて符号化する符号化処理装置であって、入力された画像から特定色を検出する特定色検出手段と、前記検出された特定色の画面に占める割合に基づいて、前記画像の量子化処理及びフィルタ処理を制御する制御手段とを有する。【選択図】  図１
2007174524.tif 000002
【特許請求の範囲】
【請求項１】
画像を量子化処理及びフィルタ処理を用いて符号化する符号化処理装置であって、
入力された画像から特定色を検出する特定色検出手段と、
前記検出された特定色の画面に占める割合に基づいて、前記画像の量子化処理及びフィルタ処理を制御する制御手段とを有することを特徴とする符号化処理装置。
【請求項２】
前記入力された画像は複数のブロックに分割されていることを特徴とする前記請求項１に記載の符号化処理装置。
【請求項３】
前記特定色検出手段は、特定色と思われる前記ブロック内の画素数が第１の閾値よりも大きければ該ブロックを特定色と判断し、第１の閾値よりも小さければ該ブロックを特定色でないと判断することを特徴とする前記請求項２に記載の符号化処理装置。
【請求項４】
前記特定色検出手段は、該画像内の特定色と判断した前記ブロックの数が第２の閾値よりも大きい場合、該画像を特定色が多い画像と判断し、該画像内の特定色と判断した前記ブロックの数が第２の閾値よりも小さい場合、該画像を通常の画像と判断することを特徴とする前記請求項３に記載の符号化処理装置。
【請求項５】
前記制御手段は、前記特定色検出手段によって前記画像が特定色が多い画像と判断された場合、前記ブロックにおいて量子化係数を段階的に大きくし、空間フィルタの帯域を段階的に狭くするようにすることを特徴とした請求項１の符号化装置。
【請求項６】
画像を量子化処理及びフィルタ処理を用いて符号化する符号化処理方法であって、
入力された画像から特定色を検出する特定色検出工程と、
前記検出された特定色の画面に占める割合に基づいて、前記画像の量子化処理及びフィルタ処理を制御する制御工程とを有することを特徴とする符号化処理方法。
【請求項７】
請求項６に記載の符号化処理方法を実行するプログラムコード。
【請求項８】
請求項７に記載のプログラムコードをコンピュータが読み込み可能な状態で格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像の符号化を行う符号化処理に関する。
【背景技術】
【０００２】
従来、動画像における画面間差分符号化において、予め指定した特定色のマクロブロックに対しては量子化係数を小さくして多くの符号量を割り当て、特定色でないと思われるマクロブロックは量子化係数を大きくして粗く符号化することで、画像の内容に応じた符号化を行っていた。また、ノイズの発生に対しては、予め通常よりも重い空間フィルタで帯域を狭めておくことが必要だった。
【０００３】
【特許文献１】特開平７−１５４７９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、一画面に対して特定色と判定されるマクロブロックの割合が大きくなると、特定色以外のマクロブロックに符号量が割り当たらなかったり、画像全体の符号量が目標ビットレートを超えてしまうという問題があった。
【０００５】
そこで本発明は、一画面に対して特定色と判定されるマクロブロックの割合が大きい画像でも、画像全体の符号量抑えつつ、できるだけ高画質に符号化できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の目的を達成するために、例えば本発明の符号化処理装置は、画像を量子化処理及びフィルタ処理を用いて符号化する符号化処理装置であって、
入力された画像から特定色を検出する特定色検出手段と、前記検出された特定色の画面に占める割合に基づいて、前記画像の量子化処理及びフィルタ処理を制御する制御手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、一画面に対して特定色と判定されるマクロブロックの割合が大きい画像でも、高画質に符号化することができる。
【発明を実施するための最良の形態】
【０００８】
＜実施形態１＞
図５に本実施形態における符号化処理装置のハードウェア基本構成図を示す。
【０００９】
５０１はＣＰＵで、ＲＡＭ５０２やＲＯＭ５０３に格納されたプログラムやデータを用いて本装置全体の制御を行うと共に、後述の画像処理を行う。５０２はＲＡＭで、外部記憶装置５０４や記憶媒体ドライブ５０９からロードされたプログラムやデータ、画像入力装置５０８から入力された画像データなどを一時的に記憶するエリアを備える。また、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアも備える。
【００１０】
５０３はＲＯＭで、本装置全体の制御プログラムやブートプログラム、本装置の設定データ等を格納する。５０４はハードディスクなどの外部記憶装置で、記憶媒体ドライブ５０９からロードされたプログラムやデータなどを保存することができる。また、ワークエリアのサイズがＲＡＭ５０２のサイズを越えた場合、越えた分のエリアをファイルとして提供することもできる。
【００１１】
５０５，５０６は夫々キーボード、マウスで、ポインティングデバイスとして機能し、各種の指示を本装置に入力することができる。
【００１２】
５０７は表示装置で、ＣＲＴや液晶画面などにより構成されており、画像情報や文字情報を表示することができる。５０８は画像入力装置で、スキャナやディジタルカメラなどにより構成されており、画像をデータとして入力することができる。
【００１３】
なお、画像入力装置５０８は本装置と接続するためのインターフェースを含む。５０９は記憶媒体ドライブで、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＯＭドライブ、フロッピー（登録商標）ディスク（ＦＤ）ドライブ等により構成されており、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭやＦＤ等の記憶媒体からプログラムやデータなどを読み込むことができる。５１０は上述の各部を繋ぐバスである。
【００１４】
図１に本実施形態における符号化装置の機能構成図を示す。
【００１５】
図１において、１０１は動画像を入力する画像入力端子である。１０２は入力された画像から特定色を検出する特定色検出回路である。１０３は画面並び替え回路である。１０４は画面並び替え回路１０３から出力されたデータと、減算器１０５によって減算されたデータを切り替えるスイッチ１である。１０６はＤＣＴ回路である。１０７は量子化回路であり、１０８は逆量子化回路である。１０９はＩＤＣＴ回路である。１１０はＩＤＣＴ回路１０９から出力されたデータと、動き補償予測回路１１１から出力されたデータを加算する加算器である。１１１は動き補償予測回路である。１１２は動き補償予測回路１１１からの出力を制御するスイッチ２である。１１３は可変長符号化回路である。１１４は可変長符号化回路１１３から出力されたデータを保持するバッファである。１１５はレート制御回路であり、１１６は記録媒体である。
【００１６】
動画像の符号化には、イントラ符号化とインター符号化の二種類の符号化がある。イントラ符号化とは、フレーム内のデータのみで符号化するものであり、インター符号化とは、フレーム間予測も含めて符号化するものである。
【００１７】
フレーム符号化には、フレーム内の全てのデータをイントラ符号化したものをＩピクチャ、前フレーム間予測を含むＰピクチャ及び、前後フレーム間予測を含むＢピクチャがある。そして、Ｉピクチャから次のＩピクチャ手前のピクチャまでを１つのグループオブピクチャ（ＧＯＰ）という。
【００１８】
図２に本実施形態の処理フローを示す。
【００１９】
図１と図２を用いて本実施形態の動作の説明を行う。
【００２０】
ステップＳ２０１において、画像入力端子１０１から入力された動画像は、１フレーム単位に画面並び替え回路１０３に入力される。
【００２１】
次にステップＳ２０２において特定色検出回路１０２は、画面並び替え回路１０３に入力された画像データをマクロブロック単位に指定した特定色か否かを検出する。特定色の検出方法は、マクロブロック内のうち特定色と思われる画素を画素単位でカウントする。カウントされた数値によって、三段階のクラスに分類して特定色かどうかを判断する。第１のクラスとして、画素のカウント値が第１の閾値よりも高い場合、特定色と判断する。第２のクラスとして画素のカウント値が第１の閾値の値、もしくは閾値近辺の値の場合はエッジ部として判断する。第３のクラスとして画素のカウント値が所定の第１の閾値よりも低い場合、特定色ではないと判断する。
【００２２】
次にステップＳ２０３において、上記判断方法で特定色と判断するブロック数をカウントし、特定色と判断するブロック数が第２の閾値以下の場合は通常の処理を行い、特定色と判断するブロック数が、第２の閾値より大きい場合は、特定色が一画面中に占める割合が非常に多いと判断して処理を変える。
【００２３】
通常の処理の場合（通常画像処理）、ステップＳ２０５において、特定色検出回路１０２によって三段階に判断されたブロックは以下のように処理される。
【００２４】
第１のクラスの画素は、通常の演算で算出される量子化係数より小さくし細かく量子化を行う。空間フィルタは通常のフィルタよりも軽いものを用いるもしくは使用しない。
【００２５】
第２のクラスの画素は、通常の演算で算出される量子化係数で量子化を行う。空間フィルタは通常のフィルタを用いる。
【００２６】
第３のクラスの画素は、通常の演算で算出される量子化係数より大きくし粗く量子化を行う。空間フィルタは通常のフィルタよりも重いものを用いる。
【００２７】
上記通常の演算で算出される量子化係数とは、前画面の結果及び、一画面に割り当てられる符号量を残りブロック数で割った１ブロックの符号量とで決定される量子化係数である。
【００２８】
上記演算にて算出された量子化値はレート制御回路１１５へ、空間フィルタは画面並び替え回路１０３へ各々出力される。
【００２９】
特定色が一画面中に占める割合が非常に多い画像の場合（特定色画像飽和処理）、ステップＳ２０４において、特定色のあるブロックに符号量を多く割り当てるようとすると画像が破綻して見える。これを防ぐため、特定色検出回路１０２によって三段階に判断されたブロックは以下のように処理される。
【００３０】
第１のクラスの画素は、通常の演算で算出される量子化係数で量子化を行う。空間フィルタは通常のフィルタよりも軽いものを用いるもしくは使用しない。
【００３１】
第２のクラスの画素は、通常の演算で算出される量子化係数で量子化を行う。空間フィルタは通常のフィルタを用いる。
【００３２】
第３のクラスの画素は、通常の演算で算出される量子化係数より大きくし粗く量子化を行う。空間フィルタは通常のフィルタよりも重いものを用いる。
【００３３】
上記のような処理を行った場合、量子化係数や空間フィルタが変化するため、画像の画質は変化した箇所が分かる程の画質差になることがある。それを抑えるために、どちらの処理も一定時間は処理を変えないようにする。また、量子化係数や空間フィルタの係数も徐々に変化させるようにする。
【００３４】
次に量子化値はレート制御回路１１５へ、空間フィルタは画像データと共に画面並び替え回路１０３へ各々出力される。
【００３５】
画面並び替え回路１０３は、複数フレームを記憶できるメモリを持っている。そのメモリ内で入力された画像データのマクロブロック毎に特定色検出回路１０２で決定した空間フィルタを用いて入力されたマクロブロックの帯域を落とす。このとき、特定色検出回路１０２より入力されたマクロブロック毎の空間フィルタ情報を用いてマクロブロックを演算する。例えば、予め軽い・通常・重い空間フィルタを用意しておき、マクロブロック毎の空間フィルタ情報により選択する。もしくは、通常処理と特定色飽和処理間では、フィルタ係数に重みを掛け中間のフィルタを作り出して演算してもよい。
【００３６】
またステップＳ２０６において、画面並び替え回路１０３では、入力されたフレームの順番を入れ替えて出力する。
【００３７】
図３は、画面並び替え回路１０３で並び替える順番の例を表わしている。
【００３８】
画面並び替え回路１０３に第１フレーム、第２フレーム、第３フレーム、…と入力され、画面並び替えを行い、第３フレーム、第１フレーム、第２フレーム、…と出力される。
【００３９】
図４はＩピクチャ、Ｐピクチャ、Ｂピクチャの生成順序を示す。
【００４０】
ステップＳ２０７において、画面並び替え回路１０３で出力されたフレームがＩピクチャの場合、スイッチ１（１０４）はＡに接続される。画面並び替え回路１０３から出力されたフレームは、スイッチ１（１０４）を通じて、ＤＣＴ回路１０６に入力され、直交変換される。また、画面並び替え回路１０３で出力されたフレームがＰピクチャもしくはＢピクチャの場合、スイッチ１（１０４）はＢに接続される。画面並び替え回路１０３から出力された画像データは、動き予測回路１１１からの予測画像と減算器１０５で減算される。減算器１０５で時間軸方向の冗長度を落とした画像データは、スイッチ１（１０４）を通じてＤＣＴ回路１０６に入力され、直交変換される。
【００４１】
ＤＣＴ回路１０６で直交変換された画像データ（Ｉ、Ｐ、Ｂピクチャ）は、量子化回路１０７で量子化される。量子化回路１０７では、レート制御回路１１５より算出された量子化係数によって量子化を行う。
【００４２】
量子化された画像データは、逆量子化回路１０８と可変長符号化回路１１３に入力される。また、画面並び替え回路１０３から出力された画像データは動き補償予測回路１１１に入力される。量子化された画像データは逆量子化回路１０８で逆量子化される。次にＩＤＣＴ回路１０９でＩＤＣＴされる。ＩＤＣＴされた画像データは、動き補償回路１１１に入力される。動き補償予測回路１１１は次のインター符号化のために予測画像を出力する。
【００４３】
量子化された画像データは、可変長符号化回路１１３に入力され、可変長符号化され、バッファ１１４に入力される。バッファ１１４内の画像データは、記録媒体１１６に記録される。
【００４４】
また、バッファ１１４内の画像データから符号化データ量を算出し、符号化データ量をレート制御回路１１５に入力する。
【００４５】
レート制御回路１１５では、定められたビットレートに応じて、次ピクチャの割り当てビット量を決定する。またレート制御回路１１５は、特定色検出回路１０２より入力されたマクロブロックの量子化値情報によりマクロブロックの量子化係数に重みを付けて演算し発生ビット量を調整する。
【００４６】
例えば、特定色検出回路１０２から入力される情報が細かい量子化の場合、通常算出する量子化係数に対してＮ（Ｎ：整数）を引く。通常の量子化の場合は変更なしで、粗い量子化の場合はＭ（Ｍ：整数）を足すという処理を行い、量子化係数を決定する。
【００４７】
以上により、一画面に対して特定色と判定されるマクロブロックの割合が大きい画像でも、高画質に符号化することができる。
【００４８】
＜他の実施形態＞
本発明は上記実施形態を実現する為の装置及び方法のみに限定されるものではない。上記システム又は装置内のコンピュータ（ＣＰＵあるいはＭＰＵ）に、上記実施形態を実現する為のソフトウェアのプログラムコードを供給し、このプログラムコードに従って上記システムあるいは装置のコンピュータが上記各種デバイスを動作させる。これにより上記実施形態を実現する場合も本発明の範疇に含まれる。
【００４９】
またこの場合、ソフトウェアのプログラムコード自体が上記実施形態の機能を実現することになる。つまり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給する為の手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。
【００５０】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００５１】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施形態の機能が実現される。またこの場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して上記実施形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。
【００５２】
更に、この供給されたプログラムコードの指示に基づいてコンピュータの機能拡張ボードやコンピュータに接続された機能格納ユニットに備わるＣＰＵ等が処理の一部又は全部を行い、その処理によって上記実施形態が実現される場合も本発明の範疇に含まれる。
【図面の簡単な説明】
【００５３】
【図１】実施形態１における符号化装置の機能構成図
【図２】実施形態１における処理フローを示す図
【図３】画面並び替え回路１０３における並び替え処理を示す図
【図４】Ｉピクチャ、Ｐピクチャ、Ｂピクチャの生成順序を示す図
【図５】実施形態１における符号化装置のハードウェア構成図
【符号の説明】
【００５４】
１０２  特定色検出部
１０３  画像並び替え部
１１３  可変長符号化部
１１５  レート制御部
【図１】
2007174524.tif 000003
【図２】
2007174524.tif 000004
【図３】
2007174524.tif 000005
【図４】
2007174524.tif 000006
【図５】
2007174524.tif 000007