(57)【特許請求の範囲】
【請求項１】
画像データをマクロブロック単位にブロック化するブロック化手段と、
判定を行うマクロブロックを構成する所定位置の画素が特定色であるかを判定し、所定位置の画素が特定色であるとき、このマクロブロックを、上記特定色のマクロブロックとする第１の判定手段と、
上記判定を行うマクロブロック周辺の少なくとも一のマクロブロックの上記第１の判定手段による判定結果が特定色のマクロブロックであると判定されているとき、上記判定を行うマクロブロックを、上記特定色のマクロブロックとする第２の判定手段とを備える画像処理装置。
【請求項２】
上記第１の判定手段は、上記判定を行うマクロブロックの四隅周辺の画素が特定色であるかを判定する請求項１記載の画像処理装置。
【請求項３】
上記第１の判定手段は、上記判定を行うマクロブロックの上隅周辺の画素が特定色であるかを判定する請求項１記載の画像処理装置。
【請求項４】
上記第２の判定手段は、上記判定を行うマクロブロックの上下左右の少なくとも一のマクロブロックの上記第１の判定手段による判定結果が特定色のマクロブロックであるかを判定する請求項１記載の画像処理装置。
【請求項５】
上記第２の判定手段は、上記判定を行うマクロブロックの下側及び左右の少なくとも一のマクロブロックの上記第１の判定手段による判定結果が特定色のマクロブロックであるかを判定する請求項１記載の画像処理装置。
【請求項６】
更に、マクロブロックを量子化する量子化手段を備え、
上記量子化手段は、上記第１の判定手段、第２の判定手段の何れかが上記特定色のマクロブロックであると判定しているマクロブロックを量子化するとき、量子化レベルを変化させる請求項１記載の画像処理装置。
【請求項７】
上記特定色は、肌色であり、
上記量子化手段は、他のマクロブロックを量子化するときよりも量子化ステップサイズを小さくする請求項６記載の画像処理装置。
【請求項８】
画像データをマクロブロック単位にブロック化し、
判定を行うマクロブロックを構成する所定位置の画素が特定色であるかを判定し、
上記判定を行うマクロブロックを構成する所定位置の画素が特定色であるとき、このマクロブロックを、上記特定色のマクロブロックとし、
上記判定を行うマクロブロック周辺の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定し、
上記判定を行うマクロブロック周辺の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであると判定されているとき、上記判定を行うマクロブロックを、上記特定色のマクロブロックとする画像処理方法。
【請求項９】
上記判定を行うマクロブロックを構成する所定位置の画素が特定色であるかを判定するとき、上記判定を行うマクロブロックの四隅周辺の画素が特定色であるかを判定する請求項８記載の画像処理方法。
【請求項１０】
上記判定を行うマクロブロックを構成する所定位置の画素が特定色であるかを判定するとき、上記判定を行うマクロブロックの上隅周辺の画素が特定色であるかを判定する請求項８記載の画像処理方法。
【請求項１１】
上記判定を行うマクロブロック周辺の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定するとき、上記判定を行うマクロブロックの上下左右の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定する請求項８記載の画像処理方法。
【請求項１２】
上記判定を行うマクロブロック周辺の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定するとき、上記判定を行うマクロブロックの下側及び左右の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定する請求項８記載の画像処理方法。
【請求項１３】
更に、上記２つの判定で上記特定色のマクロブロックとされたマクロブロックを、他のマクロブロックと量子化レベルを変化させて量子化する請求項８記載の画像処理方法。
【請求項１４】
上記特定色は、肌色であり、
上記量子化は、他のマクロブロックを量子化するときよりも量子化ステップサイズを小さくして行う請求項１３記載の画像処理方法。
【請求項１５】
コンピュータにより実行可能なコンピュータプログラムが記録された記録媒体であって、
上記コンピュータプログラムは、画像データをマクロブロック単位にブロック化するステップと、
判定を行うマクロブロックを構成する所定位置の画素が特定色であるかを判定するステップと、
上記判定を行うマクロブロックを構成する所定位置の画素が特定色であるとき、このマクロブロックを、上記特定色のマクロブロックとするステップと、
上記判定を行うマクロブロック周辺の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定するステップと、
上記判定を行うマクロブロック周辺の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであると判定されているとき、上記判定を行うマクロブロックを、上記特定色のマクロブロックとするステップとを有する記録媒体。
【請求項１６】
上記判定を行うマクロブロックを構成する所定位置の画素が特定色であるかを判定するステップは、上記判定を行うマクロブロックの四隅周辺の画素が特定色であるかを判定する請求項１５記載の記録媒体。
【請求項１７】
上記判定を行うマクロブロックを構成する所定位置の画素が特定色であるかを判定するステップは、上記判定を行うマクロブロックの上隅周辺の画素が特定色であるかを判定する請求項１５記載の記録媒体。
【請求項１８】
上記判定を行うマクロブロック周辺の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定するステップは、上記判定を行うマクロブロックの上下左右の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定する請求項１５記載の記録媒体。
【請求項１９】
上記判定を行うマクロブロック周辺の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定するステップは、上記判定を行うマクロブロックの下側及び左右の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定する請求項１５記載の記録媒体。
【請求項２０】
上記コンピュータプログラムは、更に、上記２つの判定で上記特定色のマクロブロックとされたマクロブロックを、他のマクロブロックと量子化レベルを変化させて量子化するステップを有する請求項１５記載の記録媒体。
【請求項２１】
上記特定色は、肌色であり、
上記２つの判定で上記特定色のマクロブロックとされたマクロブロックを、他のマクロブロックと量子化レベルを変化させて量子化するステップは、他のマクロブロックを量子化するときよりも量子化ステップサイズを小さくして行う請求項２０記載の記録媒体。
【請求項２２】
コンピュータにより実行可能なコンピュータプログラムであって、
画像データをマクロブロック単位にブロック化するステップと、
判定を行うマクロブロックを構成する所定位置の画素が特定色であるかを判定するステップと、
上記判定を行うマクロブロックを構成する所定位置の画素が特定色であるとき、このマクロブロックを、上記特定色のマクロブロックとするステップと、
上記判定を行うマクロブロック周辺の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定するステップと、
上記判定を行うマクロブロック周辺の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであると判定されているとき、上記判定を行うマクロブロックを、上記特定色のマクロブロックとするステップとを有するコンピュータプログラム。
【請求項２３】
上記判定を行うマクロブロックを構成する所定位置の画素が特定色であるかを判定するステップは、上記判定を行うマクロブロックの四隅周辺の画素が特定色であるかを判定する請求項２２記載のコンピュータプログラム。
【請求項２４】
上記判定を行うマクロブロックを構成する所定位置の画素が特定色であるかを判定するステップは、上記判定を行うマクロブロックの上隅周辺の画素が特定色であるかを判定する請求項２２記載のコンピュータプログラム。
【請求項２５】
上記判定を行うマクロブロック周辺の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定するステップは、上記判定を行うマクロブロックの上下左右の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定する請求項２２記載のコンピュータプログラム。
【請求項２６】
上記判定を行うマクロブロック周辺の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定するステップは、上記判定を行うマクロブロックの下側及び左右の少なくとも一のマクロブロックの上記判定結果が特定色のマクロブロックであるかを判定する請求項２２記載のコンピュータプログラム。
【請求項２７】
更に、上記２つの判定で上記特定色のマクロブロックとされたマクロブロックを、他のマクロブロックと量子化レベルを変化させて量子化するステップを有する請求項２２記載のコンピュータプログラム。
【請求項２８】
上記特定色は、肌色であり、
上記２つの判定で上記特定色のマクロブロックとされたマクロブロックを、他のマクロブロックと量子化レベルを変化させて量子化するステップは、他のマクロブロックを量子化するときよりも量子化ステップサイズを小さくして行う請求項２７記載のコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、肌色等の特定色のマクロブロックを検出し、このマクロブロックの量子化ステップサイズを制御することで画質の向上を図る画像処理装置及び方法並びにコンピュータプログラムが記録された記録媒体及びコンピュータプログラムに関する。
【０００２】
【従来の技術】
画像信号を高能率符号化する方式として、所謂ＭＰＥＧ（Moving Picture Experts Group）２がある。このＭＰＥＧ２による画像信号の高能率符号化方式は、先ず、画像間の差分を取ることで時間軸方向の冗長度を落とし、その後、所謂離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）処理と可変長符号化（ＶＬＣ：Variable Length Coding）処理とを使用して空間軸方向の冗長度を落とすようにしている。
【０００３】
例えば、図１４に示すように、画像信号をＭＰＥＧ２で圧縮し記録媒体に記録するパーソナルコンピュータ等の情報処理装置１００は、画像信号中の肌色領域を検出する肌色領域検出器１０１と、画像信号をＭＰＥＧ２で圧縮するＭＰＥＧ画像圧縮器１０２と、圧縮した画像信号を記録する記録媒体１０３と、画像をモニタに表示するためのフレームメモリ１０４と、全体の動作を制御するＣＰＵ（Central Processing Unit）１０５とを備える。
【０００４】
肌色領域検出器１０１は、画像信号を、図１５に示すように、例えば輝度又は色差の隣り合った８×８画素（８ライン×８画素の画素）にブロック化する。そして、肌色領域検出器１０１は、このブロックを単位ブロックとした１６×１６画素のブロック（以下、マクロブロックという。）を生成する。このマクロブロックは、左右上下に隣り合った輝度ブロック（輝度の単位ブロック）Ｙ０，Ｙ１，Ｙ２，Ｙ３と、画像上では輝度ブロックと同じ位置に当たる色差ブロック（色差の単位ブロック）Ｃｒ，Ｃｂとの全部で６個のブロックで構成される。すなわち、輝度ブロックは、８×８画素のブロック４個からなり（Ｙ０〜Ｙ３）、色差ブロックは、８×８の色差画素のブロック２個（Ｃｒ，Ｃｂ）とから構成される。
【０００５】
肌色領域検出器１０１は、色差ブロックＣｒ，Ｃｂからなる８×８画素の色差サンプルＣの全て（６４サンプル）について肌色かどうかを判定する。具体的に、肌色領域検出器１０１は、各色差サンプルＣについて、色差画素値（Ｃｒ／Ｃｂ）が所定範囲内であるかを判断し、算出した色差画素値が所定範囲内であるとき、肌色と判断する。そして、肌色領域検出器１０１は、８×８の色差サンプルＣ中肌色と判断された色差サンプルＣの数が閾値以上、例えば１以上、半分以上等であるとき、このマクロブロックＭＢを肌色のマクロブロックＭＢと判断する。
【０００６】
これを、図１６及び図１７を参照して説明する。図１６は、入力画像データＰであり、女性が電話をしている状態を示しており、図中のマスは、マクロブロックＭＢを示す。また、図１７は、図１６の女性の顔の右側に位置する判定マクロブロックＭＢを説明する図であり、図中のマスは、色差サンプルＣを示し、○は、その色差サンプルＣが肌色であり、×は、その色差サンプルＣが肌色以外の色であることを示している。図１６及び図１７の例において、肌色領域検出器１０１は、判定マクロブロックＭＢ中の肌色の色差サンプルＣ（○）が１以上あることから、この判定マクロブロックＭＢを肌色のマクロブロックＭＢと判断する。
【０００７】
ＭＰＥＧ画像圧縮器１０２は、画像データが入力されると、局所復号化回路からの予測画像データと現画像データとの差分データを生成し、この差分データをＤＣＴ変換し、ＤＣＴ変換データをマクロブロック単位で量子化する。ここで行う量子化は、肌色のマクロブロックのとき、肌色領域検出器１０１からの入力に応じて量子化ステップサイズを小さく、すなわち細かくする。そして、ＭＰＥＧ画像圧縮器１０２は、量子化データを可変長符号化処理し、これを、ビットストリームとして出力する。
【０００８】
上述したＭＰＥＧ画像圧縮器１０２を構成する局所復号化回路は、量子化された量子化データを逆量子化し、これを逆ＤＣＴ変換する。逆ＤＣＴ変換されたデータは、予測画像データと加算される。この逆ＤＣＴ変換されたデータが加算された予測画像データは、上述したように現画像データとの差分データを生成するのに用いられる。
【０００９】
以上のようにＭＰＥＧ画像圧縮器１０２より出力されるビットストリームは、光ディスク、ハードディスク等の記録媒体に記録される。画像中肌色の領域は人物の顔等であり、画像中看者が最も注目する領域である。そこで、ＭＰＥＧ画像圧縮器１０２は、上述のように、肌色のマクロブロックの量子化する際、量子化ステップサイズを小さくし、特に再現される画像の人の顔等の肌色部分でのモスキートノイズを少なくし、画質を良くするようにしている。
【００１０】
【発明が解決しようとする課題】
以上説明した一連の処理では、肌色領域を検出するに当たって、色差ブロックによって構成される全ての色差サンプルＣについて肌色検出をしていることから、肌色判定に当たっての演算量が多くなってしまう。このため、ＭＰＥＧ画像圧縮器１０２やＣＰＵ１０５の他に、専用のハードウェアとして、肌色領域検出器１０１が必要となっている。
【００１１】
本発明は、以上のような課題に鑑みてなされたものであり、その目的は、肌色等の特定色のマクロブロックを検出するに当たって演算量を少なくすることで、マクロブロックの肌色判定を肌色領域検出器を用いることなく、ソフトウェアを用いたときも高速に肌色判定を行うことができる画像処理装置及び方法を提供することにある。
【００１２】
また、本発明の目的は、以上のような目的を達成することができるコンピュータプログラムが記録された記録媒体及びコンピュータプログラムを提供することにある。
【００１３】
【課題を解決するための手段】
本発明に係る画像処理装置は、上述した課題を解決すべく、画像データをマクロブロック単位にブロック化するブロック化手段と、判定を行うマクロブロックを構成する所定位置の画素が特定色であるかを判定し、所定位置の画素が特定色であるとき、このマクロブロックを、特定色のマクロブロックとする第１の判定手段と、判定を行うマクロブロック周辺の少なくとも一のマクロブロックの第１の判定手段による判定結果が特定色のマクロブロックであると判定されているとき、判定を行うマクロブロックを、特定色のマクロブロックとする第２の判定手段とを備える。
【００１４】
また、本発明に係る画像処理方法は、画像データをマクロブロック単位にブロック化し、判定を行うマクロブロックを構成する所定位置の画素が特定色であるかを判定し、判定を行うマクロブロックを構成する所定位置の画素が特定色であるとき、このマクロブロックを、特定色のマクロブロックとし、判定を行うマクロブロック周辺の少なくとも一のマクロブロックの判定結果が特定色のマクロブロックであるかを判定し、判定を行うマクロブロック周辺の少なくとも一のマクロブロックの判定結果が特定色のマクロブロックであると判定されているとき、判定を行うマクロブロックを、特定色のマクロブロックとする。
【００１５】
更に、本発明に係る記録媒体は、コンピュータにより実行可能な本発明に係るコンピュータプログラムが記録されている。この本発明に係るコンピュータプログラムは、画像データをマクロブロック単位にブロック化するステップと、判定を行うマクロブロックを構成する所定位置の画素が特定色であるかを判定するステップと、判定を行うマクロブロックを構成する所定位置の画素が特定色であるとき、このマクロブロックを、特定色のマクロブロックとするステップと、判定を行うマクロブロック周辺の少なくとも一のマクロブロックの判定結果が特定色のマクロブロックであるかを判定するステップと、判定を行うマクロブロック周辺の少なくとも一のマクロブロックの判定結果が特定色のマクロブロックであると判定されているとき、判定を行うマクロブロックを、特定色のマクロブロックとするステップとを有する。
【００１６】
【発明の実施の形態】
以下、本発明が適用された画像処理装置について、図面を参照して説明する。図１に示すように、この画像処理装置１は、ＭＰＥＧ２に従って画像データを高能率符号化する、すなわち圧縮する装置であって、符号化する画像データをバッファメモリ１０に記憶し、この画像データをマクロブロック単位にブロック化し、肌色領域検出部２０でマクロブロック単位でそのマクロブロックが肌色であるかどうかを肌色判定をし、この判定結果に応じて、ＭＰＥＧ画像圧縮部３０で、空間的及び時間的冗長度を落とす処理を行う。
【００１７】
バッファメモリ１０は、符号化する画像データが様々なソース機器からラスタスキャンの順に入力される。このバッファメモリ１０は、例えば１フレーム分の画像データを記憶しておくことができる容量を有しており、上記図１６に示すように、入力された画像データをマクロブロックＭＢ単位でブロック化する。すなわち、バッファメモリ１０に入力された画像データは、例えば輝度又は色差の隣り合った８×８画素（８ライン×８画素の画素）にブロック化され、次いで、このブロックを単位ブロックとした１６×１６画素のマクロブロックＭＢ単位にブロック化される。上記図１５に示すように、マクロブロックＭＢは、左右上下に隣り合った輝度ブロック（輝度の単位ブロック）Ｙ０，Ｙ１，Ｙ２，Ｙ３と、画像上では輝度ブロックと同じ位置に当たる色差ブロック（色差の単位ブロック）Ｃｒ，Ｃｂとの全部で６個のブロックで構成される。すなわち、輝度ブロックは、８×８画素のブロック４個からなり（Ｙ０〜Ｙ３）、色差ブロックは、８×８の色差画素のブロック２個（Ｃｒ，Ｃｂ）で構成される。なお、このマクロブロックＭＢは、量子化を行う際の最小単位となる。
【００１８】
この各マクロブロックＭＢの肌色判定を行う肌色領域検出部２０は、図２に示すように、バッファメモリ１０より肌色判定を行うマクロブロックＭＢを抽出する判定マクロブロック抽出部２１と、判定マクロブロック抽出部２１で抽出した判定マクロブロックＭＢが肌色であるかを判定する第１の判定部２２と、第１の判別部２２での判別結果を記憶するメモリ２６と、第１の判定部２２が判定したマクロブロックＭＢの周辺のマクロブロックＭＢを抽出する周辺マクロブロック抽出部２３と、周辺マクロブロック抽出部２３が抽出したマクロブロックＭＢが肌色であるかを判定する第２の判定部２４と、第１の判定部２２及ぶ第２の判定部２４での判定結果に応じて肌色のマクロブロックＭＢの量子化ステップサイズを決定するための第１の量子化制御データを生成するデータ生成部２５とを備える。
【００１９】
判定マクロブロック抽出部２１は、バッファメモリ１０より肌色判定を行うマクロブロックＭＢの８×８の色差画素のブロックＣｒ，Ｃｂを順次抽出する。図３に示すように、判定マクロブロック抽出部２１は、８×８の色差画素より各コーナ周辺部の色差サンプルＣの色差画素値（Ｃｒ／Ｃｂ）を算出する。具体的に、判定マクロブロック抽出部２１は、各コーナ部から上下左右方向に２行目２列目の色差サンプルＣ１〜Ｃ４の色差画素値を算出する。そして、判定マクロブロック抽出部２１は、色差サンプルＣ１〜Ｃ４の色差画素値を、第１の判定部２２に出力する。また、判定マクロブロック抽出部２１は、後述する第２の肌色判定を行うため、判定マクロブロックＭＢのブロック番号を周辺マクロブロック抽出部２３に出力する。そして、この判定マクロブロック抽出部２１は、１画像（１フレーム）中の全てのマクロブロックを順にバッファメモリ１０より抽出し、それぞれのマクロブロックＭについて色差画素値を算出し、第１の判定部２２に出力すると共に、ブロック番号を周辺マクロブロック抽出部２３に出力する。
【００２０】
第１の判定部２２は、判定マクロブロック抽出部２１から入力された各コーナ部から上下左右方向に２行目２列目の色差サンプルＣ１〜Ｃ４の色差画素値（Ｃｒ／Ｃｂ）が所定範囲内であるか、すなわち肌色であるかを判断する。そして、第１の判定部２２は、色差サンプルＣ１〜Ｃ４の色差画素値（Ｃｒ／Ｃｂ）の少なくとも１つが所定範囲内であるとき、判定マクロブロックＭＢが肌色と判断し、色差サンプルＣ１〜Ｃ４の色差画素値の全てが所定範囲外であるとき、判定マクロブロックＭＢが肌色以外の色であると判断する。第１の判定部２２は、この判定結果を、データ生成部２５に出力すると共に、メモリ２６に出力する。
【００２１】
なお、判定マクロブロック抽出部２１は、色差サンプルＣ１〜Ｃ４に限定されるものではなく、コーナ周辺部であれは他の色差サンプルＣを抽出するようにしてもよく、更に、より正確な判定を行うため５つ以上の色差サンプルＣを抽出するようにしてもよい。
【００２２】
メモリ２６には、第１の判別部２２での判別結果が記憶される。メモリ２６には、例えば、１フレーム全てのマクロブロックＭＢについて第１の判別部２２で順次肌色判定を行うことで、１フレーム全てのマクロブロックＭＢの第１の判別部２２での判別結果がブロック番号と関連付けられて記憶されることになる。このメモリ２６に記憶された第１の判別部２２での判別結果は、第２の判別部２４で行う肌色判定の際に用いられる。
【００２３】
周辺マクロブロック抽出部２３は、判定マクロブロック抽出部２１から入力された判定マクロブロックＭＢのブロック番号に基づいて、メモリ２６にアクセスし、肌色と判定された判定マクロブロックＭＢの周辺、具体的には上下左右の周辺マクロブロックＭＢの第１の判別部２２での判定結果を抽出する。例えば、図４に示すように、周辺マクロブロック抽出部２３は、マクロブロックＭＢ１が肌色と判定された判定マクロブロックＭＢであるとき、この判定マクロブロックＭＢ１を中心として上下左右４つの周辺マクロブロックＭＢ２〜ＭＢ５の第１の判定部２２での判定結果を抽出する。
【００２４】
なお、周辺マクロブロック抽出部２３が抽出する周辺マクロブロックＭＢは、上下左右４つの周辺マクロブロックＭＢ２〜ＭＢ５に限定されるものではなく、上下左右４つの周辺マクロブロックＭＢ２〜ＭＢ５に加え、判定マクロブロックＭＢ１の右上、右下、左上及び左下のマクロブロックＭＢを抽出するようにしてもよく、更に外側のマクロブロックＭＢも抽出するようにしてもよい。
【００２５】
また、周辺マクロブロック抽出部２３は、データ処理量は多くなるが、バッファメモリ１０より判定マクロブロック抽出部２１から入力された判定マクロブロックＭＢのブロック番号に基づいて、周辺マクロブロックＭＢ２〜ＭＢ５を抽出し、各周辺マクロブロックＭＢ２〜ＭＢ５の色差サンプルＣ１〜Ｃ４の色差画素値（Ｃｒ／Ｃｂ）が所定範囲内であるかにより、判定マクロブロックＭＢ１の周辺のマクロブロックＭＢ２〜ＭＢ５が肌色であるかどうかを判断するようにしてもよい。
【００２６】
第２の判別部２４は、周辺マクロブロックＭＢ２〜ＭＢ５の何れかが、第１の判定部２２での判定結果が肌色であったかどうかを判断する。そして、第２の判別部２４は、周辺マクロブロックＭＢ２〜ＭＢ５のうち１つでも肌色のマクロブロックがあるとき、判定マクロブロックＭＢ１を肌色のマクロブロックＭＢと判定し、周辺マクロブロックＭＢ２〜ＭＢ５のうち１つも肌色のマクロブロックＭＢがなかったとき、判定マクロブロックＭＢ１が肌色以外の色のマクロブロックであると判定する。そして、第２の判定部２４は、この判定結果を、データ生成部２５に出力する。
【００２７】
データ生成部２５は、第１の判定部２２と第２の判定部２４とから判定マクロブロックＭＢ１の判定結果が入力される。データ生成部２５は、判定マクロブロックＭＢ１が肌色以外の色であるとき、当該判定マクロブロックＭＢ１の量子化を行うときの量子化ステップサイズを、通常の量子化ステップサイズとする第１の量子化制御データを生成する。また、データ生成部２５は、第１の判定部２２、第２の判定部２４の何れかから判定マクロブロックＭＢ１が肌色であるとの結果が入力されたとき、当該判定マクロブロックＭＢ１の量子化を行うときの量子化ステップサイズを、肌色以外のマクロブロックＭＢを量子化するときの量子化ステップサイズより小さくなるように、すなわち画質が良くなるように第１の量子化制御データを生成する。そして、データ生成部２５は、マクロブロックＭＢの量子化ステップサイズを示す第１の量子化制御データを、当該マクロブロックＭＢのブロック番号と共に後述するＭＰＥＧ画像圧縮部３０の量子化制御部３６に出力する。
【００２８】
なお、バッファメモリ１０を２つ設けるようにし、第１のバッファメモリには、ｎ番目のフレームを記憶し、第２のバッファメモリにはｎ＋１番目のフレームを記憶するようにし、肌色領域検出部２０は、第１のバッファメモリと第２のバッファメモリとで第１の判定と第２の判定を交互に行うようにしてもよい。すなわち、肌色領域検出部２０は、第１のバッファメモリに記憶されたｎ番目のフレームについて第１の判定を行っているとき、第２のバッファメモリに記憶されているｎ＋１番目のフレームについて第２の判定を行うようにし、又は第１のバッファメモリに記憶されたｎ番目のフレームについて第２の判定を行っているとき、第２のバッファメモリに記憶されているｎ＋１番目のフレームについて第１の判定を行うようにする。これにより、肌色領域検出部２０は、肌色判定を効率良く行うことができる。
【００２９】
次に、ＭＰＥＧ画像圧縮部３０について図５を参照して説明すると、ＭＰＥＧ画像圧縮部３０は、現在符号化の対象である現ピクチャの画像データから参照ピクチャの画像データを画素毎に引き算する差分器３１と、差分器３１で生成された差分データをブロック単位で離散コサイン変換するＤＣＴ変換回路３２と、量子化ステップサイズ（スケール）でＤＣＴ変換データを量子化する量子化回路３３と、量子化データを可変長符号化するＶＬＣ回路３４と、伝送データを一旦メモリに格納した後、所定のタイミングでビットストリームとして出力する送信バッファメモリ３５と、量子化回路３３の量子化ステップサイズを制御する量子化制御回路３６とを備える。
【００３０】
また、ＭＰＥＧ画像圧縮部３０は、画像データを復号化する復号化装置と同じ回路構成の局所復号化回路として、量子化回路３３から供給される量子化データを逆量子化してＤＣＴ変換データを再生する逆量子化回路３７と、ＤＣＴ変換データを逆ＤＣＴ処理して差分データを再生する逆ＤＣＴ回路３８と、参照ピクチャの画像データに差分データを加算して、現ピクチャの画像データを局所的に再生する加算回路３９と、次のピクチャを符号化する際の参照ピクチャの画像データを格納するメモリ４０とを備える。
【００３１】
バッファメモリ１０に記憶されている画像データは、例えば所謂ＭＰＥＧ−２規格に準拠したブロックフォーマットの順で読み出され、差分器３１に供給される。この差分器３１には、後述する局部復号回路のメモリから、既に復号されている参照ピクチャの画像データが同じくブロックフォーマットで供給されている。そして、差分器３１は、現在符号化の対象である現ピクチャの画像データから参照ピクチャの画像データを画素毎に引き算し、得られる差分データをＤＣＴ回路３２に供給する。すなわち、差分器３２は、所謂予測符号化における予測誤差を求めて、ＤＣＴ回路３２に供給する。なお、予測符号化の方式は、この具体例に限定されるものではなく、例えば動き補償予測符号化としてもよい。
【００３２】
ＤＣＴ回路３２は、画像信号が有する２次元相関を利用して、例えば画像データが画像内符号化画像（イントラ符号化画像：Intra-coded picture、以下Ｉピクチャという。）のときはその画像データ或いは前方予測符号化画像（Predictive-coded picture、以下、Ｐピクチャという。）又は両方向予測符号化画像（Bidirectionally Predictive-coded picture、以下、Ｂピクチャという。）のときは上述した差分データをブロック単位で離散コサイン変換し、その結果得られるＤＣＴ変換データ（変換係数）を量子化回路３３に供給する。
【００３３】
量子化回路３３は、後述する量子化制御回路３６から入力される第３の量子化制御データが示す量子化ステップサイズ（スケール）でＤＣＴ変換データを量子化し、その結果について、所謂ジグザグスキャン（Zigzag Scan）、オルタネートスキャン（Alternate Scan）等を行う。そして、量子化回路３３は、得られる量子化データを可変長符号化するＶＬＣ回路３４及び逆量子化回路３７に供給する。
【００３４】
ＶＬＣ回路３４は、量子化データ、量子化ステップサイズ、予測モード（動き補償予測のとき）、動きベクトル（動き補償予測のとき）、符号化方式の情報等を可変長符号化処理すると共に、符号化方式の情報（フィールド単位かフレーム単位か）を所定の階層のヘッダに付加し、伝送データとして送信バッファメモリ３５に供給する。
【００３５】
送信バッファメモリ３５は、伝送データを一旦メモリに格納した後、所定のタイミングでビットストリームとして出力すると共に、メモリに残留している残留データ量に応じて例えばマクロブロック単位の量子化制御信号を量子化制御回路３６にフィードバックして、量子化ステップサイズを制御する。これにより、送信バッファメモリ３５は、ビットストリームとして発生されるデータ量を調整し、メモリ内に適正な残量（オーバーフロー又はアンダーフローを生じさせないようなデータ量）のデータを維持するようになされている。
【００３６】
量子化制御回路３６には、肌色領域検出部２０のデータ生成部２５からマクロブロックＭＢの量子化ステップサイズを示す第１の量子化制御データが当該マクロブロックＭＢのブロック番号と共に入力される。量子化制御回路３６には、送信バッファメモリ３５から量子化ステップサイズを上下させる第２の量子化制御データが入力される。量子化制御回路３６は、量子化に用いる量子化ステップサイズを、送信バッファメモリ３５が破綻しない値に決定する。すなわち、量子化制御回路３６は、データ生成部２５から入力されたブロック番号に基づき肌色のマクロブロックＭＢを量子化を量子化するとき、送信バッファメモリ３５が破綻しない、すなわちメモリ内に適正な残量のデータを維持することができる範囲内で、他のマクロブロックＭＢに比して細かく量子化されるように量子化サイズを決定する。そして、量子化制御回路３６は、決定された量子化ステップサイズを示す第３の量子化制御データを生成し、量子化回路３３に出力する。
【００３７】
局所復号化回路を構成する逆量子化回路３７は、量子化回路３３から供給される量子化データを、逆量子化してＤＣＴ変換データを再生し、逆ＤＣＴ回路３８に出力する。逆ＤＣＴ回路３８は、ＤＣＴ変換データを逆離散コサイン変換処理して差分データを再生し、加算回路３９に供給する。この加算回路３９には、メモリ４０から読み出されて差分器３１に供給されている参照ピクチャの画像データも入力されており、加算回路３９は、参照ピクチャの画像データに差分データを加算して、現ピクチャの画像データを局所的に再生して、メモリ４０に供給する。そして、メモリ４０は、この画像データを次のピクチャを符号化する際の参照ピクチャの画像データをして、差分器３１及び加算器３９に供給する。
【００３８】
以上のようにして、データ量が調整された送信バッファメモリ３５からのビットストリームは、符号化されたオーディオ信号、同期信号等と多重化され、更にエラー訂正用のコードが付加され、所定の変調が加えられた後、例えばレーザ光を介してＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等の追記或いは書換型の光ディスク又は所謂マスターディスク上に凹凸のピットとして記録される。マスターディスクからは、所謂スタンパが形成され、更に、そのスタンパにより、大量の複製ディスク（例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の光ディスク）が形成される。また、例えば伝送路を介して後述する画像データ復号化装置に送信される。なお、画像記録媒体としては、光ディスク等に限定されるものではなく、例えば磁気テープ、磁気ディスク、光磁気ディスク、ＩＣカード等でもよい。
【００３９】
次に、以上のような画像処理装置１を用いて、肌色判定を行ってＭＰＥＧ２で画像圧縮をする際の手順について図６乃至図８を参照して説明する。ステップＳ１において、バッファメモリ１０に符号化する画像データが様々なソース機器からラスタスキャンの順に入力されると、バッファメモリ１０は、入力された画像データを、フレーム単位で、輝度又は色差の隣り合った８×８画素（８ライン×８画素の画素）にブロック化し、次いで、このブロックを単位ブロックとした１６×１６画素のマクロブロックＭＢ単位にブロック化する。
【００４０】
ステップＳ２において、判定マクロブロック抽出部２１は、１画像（１フレーム）中の全てのマクロブロックＭＢを順にバッファメモリ１０より抽出し、各マクロブロックＭＢより、図３に示すように、各コーナ部から上下左右方向に２行目２列目の色差サンプルＣ１〜Ｃ４の色差画素値（Ｃｒ／Ｃｂ）を算出する。そして、判定マクロブロック抽出部２１は、算出した色差画素値を第１の判定部２２に出力すると共に、色差画素値を算出したマクロブロックＭＢのブロック番号を周辺マクロブロック抽出部２３に出力する。
【００４１】
ステップＳ３において、第１の判定部２２は、判定マクロブロック抽出部２１から入力された色差サンプルＣ１〜Ｃ４の色差画素値（Ｃｒ／Ｃｂ）が所定範囲内であるか、すなわち肌色であるかを判断する。第１の判定部２２は、色差サンプルＣ１〜Ｃ４の色差画素値（Ｃｒ／Ｃｂ）の少なくとも１つが所定範囲内であるとき、判定マクロブロックＭＢが肌色と判断し、色差サンプルＣ１〜Ｃ４の何れもが所定範囲外であるとき、判定マクロブロックＭＢが肌色以外の色であると判断する。第１の判定部２２は、この判定結果を、データ生成部２５に出力すると共に、メモリ２６に出力する。
【００４２】
ステップＳ４において、メモリ２６には、例えば、１フレーム全てのマクロブロックＭＢについて第１の判別部２２で順次肌色判定を行うことで、１フレーム全てのマクロブロックＭＢの第１の判別部２２での判別結果が記憶される。ステップＳ５において、第１の判定部２２は、１フレーム中の全マクロブロックＭＢについて肌色判定が終了したかどうかを判断し、全てのマクロブロックＭＢについて肌色判定が終了していないとき、ステップＳ２に戻り、全てのマクロブロックＭＢについて肌色判定が終了したときステップＳ６に進む。
【００４３】
ところで、以上のような第１の判定部２２による肌色判定では、例えば色差サンプルＣ１〜Ｃ４以外の領域に肌色の領域があるとき、すなわちマクロブロックＭＢ中一部にしか肌色の領域がなく、色差サンプルＣ１〜Ｃ４が肌色と判定されないときが生じる。この場合、このマクロブロックＭＢは、肌色の領域の量子化ステップサイズが細かくならず、標準的な量子化ステップサイズで量子化されることになり、モスキートノイズ等の影響で再生時に肌色の画質を良くすることができなくなってしまう。そこで、肌色領域検出部２０は、上述したステップＳ２及びステップＳ３における肌色判定に加え以下に説明するステップＳ６以降のような肌色判定を行うようにしている。
【００４４】
すなわち、ステップＳ６において、周辺マクロブロック抽出部２３は、図４に示すように、メモリ２６にアクセスし、肌色と判定された判定マクロブロックＭＢ１の上下左右の４つの周辺マクロブロックＭＢ２〜ＭＢ５の第１の判定部２２での判定結果を抽出する。
【００４５】
ステップＳ７において、第２の判別部２４は、周辺マクロブロックＭＢ２〜ＭＢ５の何れかが、第１の判定部２２での判定結果が肌色であったかどうかを判断する。そして、第２の判別部２４は、周辺マクロブロックＭＢ２〜ＭＢ５のうち１つでも肌色のマクロブロックがあるとき、判定マクロブロックＭＢ１を肌色のマクロブロックＭＢと判定し、周辺マクロブロックＭＢ２〜ＭＢ５のうち１つも肌色のマクロブロックＭＢがなかったとき、判定マクロブロックＭＢ１が肌色以外の色のマクロブロックであると判定する。そして、第２の判定部２４は、この判定結果を、データ生成部２５に出力する。
【００４６】
ステップＳ８において、第２の判定部２４は、１フレーム中の全マクロブロックＭＢについて肌色判定が終了したかどうかを判断し、全てのマクロブロックＭＢについて肌色判定が終了していないとき、ステップＳ６に戻り、全てのマクロブロックＭＢについて肌色判定が終了したときステップＳ９に進む。
【００４７】
ステップＳ９において、データ生成部２５は、第１の判定部２２、第２の判定部２４の何れかから判定マクロブロックＭＢ１が肌色であるとの判定結果が入力されたとき、当該判定マクロブロックＭＢ１の量子化を行うときの量子化ステップサイズを、肌色以外のマクロブロックＭＢを量子化するときの量子化ステップサイズより小さくなるように、すなわち画質が良くなるように第１の量子化制御データを生成する。また、データ生成部２５は、第１の判定部２２、第２の判定部２４の何れかからも判定マクロブロックＭＢ１が肌色であるとの判定結果が入力されなかったとき、すなわち判定マクロブロックＭＢ１が肌色以外の色であると判定されたとき、当該判定マクロブロックＭＢ１の量子化を行うときの量子化ステップサイズを、通常の量子化ステップサイズとする第１の量子化制御データを生成する。そして、データ生成部２５は、マクロブロックＭＢの量子化ステップサイズを示す第１の量子化制御データを、当該マクロブロックＭＢのブロック番号と共に量子化制御部３６に出力する。
【００４８】
以上のようなマクロブロックＭＢの肌色判定によれば、第１の判定部２２での判定で判定マクロブロックＭＢが肌色でないと判断されたときであっても、その判定マクロブロックＭＢの周囲のマクロブロックＭＢが肌色のときには、判定マクロブロックＭＢを肌色と判定することから、肌色判定に際して全てのマクロブロックの色差画素について肌色判定を行う必要が無くなり、演算量を少なくすることができる。
【００４９】
上記図１６に示す女性が電話をしている状態の画像を以上のような方法で肌色判定を行った結果を図７を参照して説明すると、この判定方法では、肌色と判定されるマクロブロックＭＢは、頬、鼻、顎等全てが肌色であるマクロブロックＭＢＡの他に、頭髪と額との境界部、目の周囲等黒と肌色とが混じるマクロブロックＭＢＢも肌色のマクロブロックＭＢと判定される。したがって、この方法では、黒と肌色とが混じるマクロブロックＭＢＢにおいて、肌色と共に黒色の量子化ステップサイズも細かくなり、肌色と黒色との境界部の画像の再現性を向上させることができる。勿論、この方法では、肌色と他の色が混じったマクロブロックであれば同様な効果を得ることができ、唇周辺部等肌色と赤色の混じったマクロブロックＭＢ、肌色と服の色が混じった喉元のマクロブロックＭＢ等において同様な効果を得ることができる。
【００５０】
以上のような肌色判定の処理と共に、画像処理装置１は、ＭＰＥＧ２により入力された画像データを圧縮する処理を行う。これを図８を参照して説明すると、ステップＳ１１において、バッファメモリ１０に記憶されている画像データが所謂ＭＰＥＧ−２規格に準拠したブロックフォーマットの順で読み出されると、差分器３１は、現在符号化の対象である現ピクチャの画像データから参照ピクチャの画像データを画素毎に引き算し、得られる差分データ、すなわち予測誤差をＤＣＴ回路３２に供給する。ステップＳ１２において、ＤＣＴ回路３２は、画像信号が有する２次元相関を利用して、差分データをブロック単位で離散コサイン変換し、その結果得られるＤＣＴ変換データ（変換係数）を量子化回路３３に供給する。
【００５１】
ステップＳ１３において、量子化回路３３は、量子化制御回路３６から入力される第３の量子化制御データが示す量子化ステップサイズ（スケール）でＤＣＴ変換データを量子化し、その結果について、所謂ジグザグスキャン（Zigzag Scan）、オルタネートスキャン（Alternate Scan）等を行う。そして、量子化回路３３は、得られる量子化データを可変長符号化するＶＬＣ回路３４及び逆量子化回路３７に供給する。ここで行う量子化は、量子化制御回路３６から入力される第３の量子化制御データに基づいて行われる。量子化制御回路３６は、データ生成部２５からの第１の量子化制御データと送信バッファメモリ３５からの第２の量子化制御データとに基づいて量子化に用いる量子化ステップサイズを、送信バッファメモリ３５が破綻しない値に決定する。すなわち、量子化制御回路３６は、データ生成部２５から入力されたブロック番号に基づき肌色のマクロブロックＭＢを量子化するとき、送信バッファメモリ３５内に適正な残量のデータを維持することができる範囲内で、他のマクロブロックＭＢに比して細かく量子化されるように量子化サイズを決定する。
【００５２】
ステップＳ１４において、ＶＬＣ回路３４は、量子化データ、量子化ステップサイズ、予測モード（動き補償予測のとき）、動きベクトル（動き補償予測のとき）、符号化方式の情報等を可変長符号化処理すると共に、符号化方式の情報（フィールド単位かフレーム単位か）を所定の階層のヘッダに付加し、伝送データとして送信バッファメモリ３５に供給する。
【００５３】
以上のようにして、データ量が調整された送信バッファメモリ３５からのビットストリームは、符号化されたオーディオ信号、同期信号等と多重化され、更にエラー訂正用のコードが付加され、所定の変調が加えられた後、記録媒体に記録され、また、伝送路を介して出力される。
【００５４】
以上のような画像処理装置１では、肌色判定において、判定マクロブロックＭＢのコーナ周縁部の色差画素について第１の肌色判定を行い、次いで、第１の判定で肌色と判定された判定マクロブロックＭＢの周辺マクロブロックＭＢについて第２の肌色判定を行うようにすることで、肌色判定に際して全てのマクロブロックの色差画素について肌色判定を行う必要が無くなり、演算量を少なくすることができる。そして、この画像処理装置１では、肌色判定の演算量を少なくしても、肌色のみのマクロブロックＭＢに加え、肌色と他の色の混合したマクロブロックＭＢについても量子化を細かくするようにしている。このため、圧縮されたビットストリームを復号化装置で復号しモニタに画像を表示したときにも、頭髪と額との境界部、目の周囲、唇周辺部、肌色と服の色が混じった喉元等肌色と他の色の混じったマクロブロックＭＢについて、より正確に再現されることになり、全ての色差画素を用いて肌色判定を行う従来の方法と比べても同程度の画質を実現することができる。
【００５５】
ところで、上記図１６に示すように画面中人物が表示されているときには、通常、肌色の面積が大きい顔の部分が画面上方に位置することから、画面の上方の方が下方より相対的に肌色の面積が大きい。したがって、マクロブロックＭＢの肌色判定を行うときには、判定マクロブロックＭＢ１の上側のマクロブロックＭＢ２は、肌色と判定されていることが多い。そこで、図９に示すように、周辺マクロブロック抽出部２３は、判定マクロブロックＭＢ１の上下左右の周辺マクロブロックＭＢ２〜ＭＢ５の第１の判定部２２での判定結果を抽出するのではなく、判定マクロブロックＭＢ１の上側のマクロブロックＭＢ２を除く左右及び下側の周辺マクロブロックＭＢ３〜ＭＢ５の第１の判定部２２での判定結果を抽出し、演算量を減らすようにしてもよい。上記図１６に示す女性が電話をしている状態の画像を以上のような方法で肌色判定を行った結果を図１０を参照して説明すると、この判定方法では、図７の例と比較して、上側のマクロブロックＭＢ２を第２の判定で考慮しなくなったことに伴って、頭髪と額との境界部等で僅かに肌色と判定されるマクロブロックＭＢが減少するが、復号時に、全体としてはほぼ同様の画質を実現することができる。
【００５６】
また、肌色判定を行うに当たって演算量を減らす方法としては、図１１及び図１２に示すものがある。上記図１６に示すように画面中人物が表示されているときには、画面上側の頭髪を含む顔等が比較的看者に注目されやすく、画面下側の衣服等の方が看者に注目されにくい。すなわち、画面上側の頭髪を含む領域等が看者から見てモスキートノイズが目立ちやすく、画面下側の衣服等の方が看者から見てモスキートノイズが目立ちにくい。そこで、本例では、判定マクロブロック抽出部２１で行う色差画素値の算出や第１の判定部２２で行う肌色判定を、上記図３に示す色差サンプルＣ１〜Ｃ４を使用するのではなく、看者に注目されやすい上側の２つの色差サンプルＣ１，Ｃ２を用いて行うようにし、看者に注目されにくい下側の色差サンプルＣ３，Ｃ４の演算を省略して、全体の演算量を減らすようにしている。上記図１６に示す女性が電話をしている状態の画像を以上のような方法で肌色判定を行った結果を図１２を参照して説明すると、この判定方法では、図７の例と比較しても、ほぼ同じマクロブロックＭＢが肌色と判定されることから、復号時にほぼ同じ画質を得ることができる。
【００５７】
更に肌色判定による演算量を減らすために、上記図９及び図１０に示す例と上記図１１及び図１２に示す例とを組み合わせるようにしてもよい。すなわち、第１の判定では、上記図１１及び図１２に示すように上側の２つの色差サンプルＣ１，Ｃ２を用いて行うようにし、第２の判定では、上記図９及び図１０に示すように判定マクロブロックＭＢ１の左右及び下側の周辺マクロブロックＭＢ３〜ＭＢ５の第１の判定部２２での判定結果を用いるようにしてもよい。
【００５８】
ところで、以上のような画像処理装置１をパーソナルコンピュータ等の情報処理装置で実現するときには、図１３のようになる。すなわち、この情報処理装置５０は、ハードウェアとして、画像信号をＭＰＥＧ２で圧縮するＭＰＥＧ画像圧縮器５１と、圧縮した画像信号を記録する記録媒体５２と、画像をモニタに表示するためのフレームメモリ５３と、全体の動作を制御するＣＰＵ５４とを備える。そして、上記図２に示した肌色領域抽出部２０は、ソフトウェアにより実現され、このソフトウェアは、図示しないハードディスク等の記録媒体に保存される。符号化する画像データが入力されたとき、ＣＰＵ５４は、ハードディスクより肌色領域抽出部２０を構成するソフトウェアを図示しないＲＡＭ等に読み出しこれを実行することにより上述した肌色判定を行う。このとき、ＣＰＵ５４は、バッファメモリ１０、メモリ２６等としてフレームメモリ５３、ハードディスクの一部、ＲＡＭ（Random-Access Memory）等を使用する。これと共に、符号化する画像データは、上記図５に示す機能を有するＭＰＥＧ画像圧縮器５１に入力され、ＭＰＥＧ２の規格に従って符号化、すなわち圧縮処理され、記録媒体５２に保存される。本発明では、肌色判定に際しての演算量を少なくすることで、この肌色判定をソフトウェアで実現することができる。したがって、本発明を適用した情報処理装置５０では、上記図１４に示す従来の情報処理装置１００と比べて画像信号中の肌色領域を検出する肌色領域検出器１０１をなくすることができる。
【００５９】
肌色領域抽出部を実現するソフトウェアは、フレキシブル磁気ディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto optical)ディスク、ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリ等のリムーバブル記録媒体の所謂パッケージソフトウェアとして頒布され、情報処理装置５０にインストールされる。このインストールは、この他に、肌色領域抽出部を実現するソフトウェアを、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して行うこともできる。
【００６０】
ここで、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的或いは個別に実行される処理（例えば、並列処理或いはオブジェクトによる処理）であってもよい。また、プログラムは、１つのコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。更に、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【００６１】
なお、以上ＭＰＥＧ２に基づく符号化を行う例を用いて説明したが、本発明は、量子化を行う符号化方式であればよく、例えばＭＰＥＧ１規格、ＪＰＥＧ（Joint Photographic Experts Group）規格に基づくものであってもよい。また、以上の例では、肌色判定を例に取り説明したが、判定する色は、肌色に限定されるものではない。
【００６２】
【発明の効果】
本発明によれば、判定を行うマクロブロックを構成する所定位置の画素が特定色であるかを判定し、判定を行うマクロブロックを構成する所定位置の画素が特定色であるとき、このマクロブロックを、特定色のマクロブロックとし、判定を行うマクロブロック周辺の少なくとも一のマクロブロックの判定結果が特定色のマクロブロックであるかを判定し、判定を行うマクロブロック周辺の少なくとも一のマクロブロックの判定結果が特定色のマクロブロックであると判定されているとき、判定を行うマクロブロックを、特定色のマクロブロックとすることで、マクロブロックが特定色であるかの判定に際して行う演算量を少なくすることができ、これにより、このような機能をハードウェアではなくソフトウェアで実現することができる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の構成を説明する図である。
【図２】肌色領域検出部の構成を機能的に説明する図である。
【図３】肌色領域検出部の第１の判定部が行う肌色判定を説明する図である。
【図４】肌色領域検出部の第２の判定部が行う肌色判定を説明する図である。
【図５】ＭＰＥＧ画像圧縮部を機能的に説明する図である。
【図６】肌色判定の手順を説明するフローチャートである。
【図７】肌色領域検出部で行う肌色判定の結果を説明する図である。
【図８】ＭＰＥＧ画像圧縮の手順を説明するフローチャートである。
【図９】肌色領域検出部の第２の判定部が行う肌色判定の他の例を説明する図である。
【図１０】図９に示す肌色判定の結果を説明する図である。
【図１１】肌色領域検出部の第１の判定部が行う肌色判定の他の例を説明する図である。
【図１２】図１１に示す肌色判定の結果を説明する図である。
【図１３】本発明を適用した情報処理装置の構成を説明する図である。
【図１４】従来の情報処理装置の構成を説明する図である。
【図１５】マクロブロックを説明する図である。
【図１６】入力画像データを説明する図である。
【図１７】図１６の女性の顔の右側に位置する判定マクロブロックＭＢを説明する図である。
【符号の説明】
１  画像処理装置、１０  バッファメモリ、２０  肌色領域検出部、２１  判定マクロブロック抽出部、２２  第１の判定部、２３  周辺マクロブロック抽出部、２４  第２の判定部、２５  データ生成部、２６  メモリ
【図１】
0003797241.tif 000002
【図２】
0003797241.tif 000003
【図３】
0003797241.tif 000004
【図４】
0003797241.tif 000005
【図５】
0003797241.tif 000006
【図６】
0003797241.tif 000007
【図７】
0003797241.tif 000008
【図８】
0003797241.tif 000009
【図９】
0003797241.tif 000010
【図１０】
0003797241.tif 000011
【図１１】
0003797241.tif 000012
【図１２】
0003797241.tif 000013
【図１３】
0003797241.tif 000014
【図１４】
0003797241.tif 000015
【図１５】
0003797241.tif 000016
【図１６】
0003797241.tif 000017
【図１７】
0003797241.tif 000018