(57)【要約】【課題】  Ｊｐｅｇ画像などの撮影画像の中において人物の肌領域の検出を行う場合に、領域検出プロセス中に、色成分による判定があるものにおいて、検出領域の精度を向上することが出来る画像処理方法、画像処理装置、プログラムを提供する。【解決手段】  画像データを複数の画素からなる画素グループ単位に分割する手段、各画素グループの代表輝度データを算出する手段、画素グループに対して、色度判定を行う複数の色度判定手段、輝度データより色度判定手段を選択する手段、前記手段を利用して画素グループごとに選択した色度判定手段により画素グループの色度判定を実行することを特徴とする。【選択図】        図１１
2006287861.tif 000002
【特許請求の範囲】
【請求項１】
画像データの中に検出対象領域の検出を行うものであり、画像データの中から対象領域を検出する為の要素として、少なくとも色度成分を利用し、更に、前記色度判定においては、検出判定対象の最小データ量を少なくとも複数の画素により構成する。前記複数単位の画素の集合として対象領域を検出する画像処理方法において、
検出判定対象の最小データ量を少なくとも複数の画素への色度判定において、少なくとも複数の色度判定用として複数画素への色度サンプリング手段を有し、
更に、前記対象の複数画素の輝度情報を取得する手段、取得した前記輝度情報より輝度判定手段、前記輝度判定手段より対象となる輝度情報を判定した前記複数の画素に対する色度判定用色度サンプリング手段を決定する手段を持ち、色度判定を行い、
少なくとも、前記色度判定を用いる画像データに対する検出対象領域の検出を行うことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、複数の色度判定用としての色度サンプリング手段は、少なくとも、ひとつは前記対象となる複数画素の色度成分平均値を用いる。また、少なくとも他のひとつは、前記対象となる複数画素のうち代表と設定した画素データの色度成分を用いることを特徴とする画像処理方法。
【請求項３】
請求項１または請求項２に記載の画像処理方法において、画像処理は、色度判定においては、検出判定対象の最小データ量を少なくとも複数の画素として、縦８画素、横８画素の６４画素単位で構成することを特徴とする画像処理方法。
【請求項４】
請求項１〜３いずれかに記載の画像処理方法において、画像処理の入力画像データのファイル形式はＪｐｅｇであることを特徴とする画像処理方法。
【請求項５】
請求項１〜４いずれかに記載の画像処理方法を実現するための画像処理手段を備えた画像処理装置。
【請求項６】
請求項１〜４いずれかに記載の画像処理方法を実現するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像認識方法及び装置に関わり、特に、圧縮された画像データ形式であるＪｐｅｇ画像の中における特徴領域存在の有無の認識方法及びその応用方法に関し、画像処理方法、画像処理装置、プログラムに係る。
【背景技術】
【０００２】
近年普及したデジタルカメラなどの入力機器で撮影した画像を、観察もしくは印刷して鑑賞する場合には、画像データをそのまま用いると、色被りや、露出の不適切、コントラストの不適切など撮影バランスが必ずしも良好とはいえない撮影画像が存在してしまう。
【０００３】
そこで、従来は、良い画像の定義を行い、その定義に沿ったホワイトバランス補正や露出／コントラスト補正を自動で行うアプリケーションも一般的になってきている。
【０００４】
但し、このような環境下でも必ずしも適正な補正が出来ない撮影画像は存在してしまう。
【０００５】
その理由としては、良い画像というものは、画像全体の上記のようなバランスとは別に、画像の中に観察者にとって興味のある重要な領域が存在する場合があり、その領域の状態が良く絵作りされていないと不満の残る画像となってしまう。重要な領域としては、例えば、人の顔や肌などが考えられる。
【０００６】
重要な領域を考慮に入れた画像補正を行うために、下記のような発案が行われている。
【０００７】
特許文献１では、Ｊｐｅｇ画像データにおいて、そのデータ圧縮単位のＤＣＴ特性、色度などを利用して画像中に検出対象の領域の判定および検出を行うものである。判定単位である８＊８画素のデータに対して、色度の判定としては、特定の画素を代表値として判定を行い、８＊８画素全体の色度としている。この判定を画像全体に占める８＊８画素のグループに対して実行している。
【０００８】
特許文献２では、映像信号の色差信号から、１フレーム中の肌色部分の面積を検出して、その領域を人物肌領域として、輝度補正の目標設定値として利用し、ガンマ補正回路制御信号を作成するものである。色度の判定としては、ビデオ信号の色度信号が設定した色度に入っている領域を検出するものである。色度判定の単位としては、画素ごとということになる。
【特許文献１】特開２００４−３８４８０号公報
【特許文献２】特許第３２０３９４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、デジタルカメラなどの入力機器で撮影した画像（Ｊｐｅｇ画像など）をプリントする場合に、銀塩写真のプリントのように、人物など注目画像が、より良くプリント出来るように必要に応じて補正を行えるよう、Ｊｐｅｇ画像の中に注目画像を見つけ出す方法を決める必要がある。
【００１０】
また、デジタルカメラからプリンタへ直接プリントを行うダイレクトプリントなどデータ処理能力の低い機器でも使用出来るように、検出処理は出来うるだけ軽く済む方法が求められる。
【００１１】
この時に撮影データのＪｐｅｇ画像の中に人物など注目画像の有無の検出として人物の肌領域の検出を行う場合において、領域検出プロセスの中に、色度もしくは色度比率などの色成分による判定を加えている場合がある。また、その色度判定を各画素に対して行う場合、検出判定の為の処理が多くなり、かつ、判定処理に使用する記憶領域も増大するという問題があり、その対策としてＪｐｅｇの圧縮単位である８＊８画素単位の画素グループに対して、その代表値による判定を行うことがあった。
【００１２】
この場合、撮影機器であるデジカメなどの入力特性により明るい領域と暗部において、画一の色度代表による検出処理だと、抽出領域が色度判定の結果により完全には検出できない場合がある問題があった。
【００１３】
本発明は、上記問題点を解決するために、Ｊｐｅｇ画像などの撮影画像の中において人物の肌領域の検出を行う場合に、領域検出プロセス中に、色成分による判定があるものにおいて、検出領域の精度を向上することが出来る画像処理方法、画像処理装置、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成する手段として、本出願に係る発明は、以下の構成を備える。
・画像データを複数の画素からなる画素グループ単位に分割する手段
・各画素グループの代表輝度データを算出する手段
・画素グループに対して、色度判定を行う色度判定手段１
・画素グループに対して、色度判定を行う色度判定手段２
・画素グループの輝度データより色度判定手段を選択する手段
・画素グループごとに選択した色度判定手段により画素グループの色度判定を実行する。
・色度判定結果を受け渡し、画像データの中から重要領域を抽出する。
【００１５】
すなわち本発明は、画像データの中に検出対象領域の検出を行うものであり、画像データの中から対象領域を検出する為の要素として、少なくとも色度成分を利用し、更に、前記色度判定においては、検出判定対象の最小データ量を少なくとも複数の画素により構成する。前記複数単位の画素の集合として対象領域を検出する画像処理方法において、検出判定対象の最小データ量を少なくとも複数の画素への色度判定において、少なくとも複数の色度判定用として複数画素への色度サンプリング手段を有し、更に、前記対象の複数画素の輝度情報を取得する手段、取得した前記輝度情報より輝度判定手段、前記輝度判定手段より対象となる輝度情報を判定した前記複数の画素に対する色度判定用色度サンプリング手段を決定する手段を持ち、色度判定を行い、少なくとも、前記色度判定を用いる画像データに対する検出対象領域の検出を行うことを特徴とする画像処理方法である。
【発明の効果】
【００１６】
上記構成を有する本発明においては、一般的な良い画像の定義を基にした画像補正では、画質を良好に補正出来ない撮影画像データに対して、個別に必要に応じた特徴領域の抽出を精度良く行う色度判定手段を提供することにより特徴領域の特性把握を正確に行うこと出来るようになる。また、その結果を個別補正に反映する仕組みを提供することで、ひいては個別に良好な画像補正を実現することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の実施形態について説明する。
【実施例１】
【００１８】
図１１は本発明の第１の実施形態による画像処理装置を適用したシステムの構成を示す概略ブロック図である。
【００１９】
図１１に示すように、本実施形態によるシステムは、いわゆるパーソナルコンピュータの構成にて達成される構成である。
【００２０】
具体的には、データが入出力される入出力ポート５１と、ポインティングデバイスであるマウス５２と、数値や文字等を入力するキーボード５３と、種々の表示を行うためのモニタ５４と、装置全体の動作を制御する制御部５５と、メモリカードに記録された画像データを読み出すメモリカードドライブ５６と、データやプログラムを記憶するハードディスク５７と、各部を接続するバス５８とを備える。
【００２１】
モニタ５４としては、例えば液晶モニタ、ＣＲＴモニタ、ＥＬディスプレイ、プラズマディスプレイ、テレビジョン受像機を用いることができる。更に、マウス５２、キーボード５３およびモニタ５４の各機能を備えた、いわゆるタッチパネルを用いてもよい。
【００２２】
制御部５５は、マウス５２やキーボード５３からの入力に基づいて、入出力ポート５１もしくは、メモリカードドライブ５６において読み出された画像データに対する各種処理を行う。
【００２３】
本実施例においては、処理装置をパーソナルコンピュータとして説明を行うが、画像を扱う物であれば、画像を扱うマルチファンクションプリンタやフォトダイレクトプリンタなどノンＰＣの組み込み機器や携帯電話など画像を扱う機器においても同様の実施形態が考えられる。
【００２４】
上記構成にて行われる全体の処理の流れを図１に示す。
【００２５】
Ｓ１０１ステップにおいては、入出力ポート５１もしくは、メモリカードドライブ５６において読み出された画像データ、及びハードディスク５７に保存している画像データをマウス５２やキーボード５３からの入力に基づいて呼び込むものである。
【００２６】
Ｓ１０２ステップにおいては、呼び込んだ画像ファイルを展開し、その一連の作業中に、取得画像に対する画像内の特徴領域検出における設定登録の確認を行い、登録されている特徴領域の定義が画像中の主要人物肌領域である場合は、本発明者が出願した“特許文献１／特開２００４−０３８４８１号公報／特開２００４−０３８４８２号公報”があるが、その他にも、入退室管理や監視システムとして動画を含む画像の中に人物の顔領域を検出する処理が知られている。上記、少なくとも色度データを用いて人物肌もしくは顔領域の特徴判定を行い、合致した領域を抽出し、情報を保持すると共に、抽出した領域の特徴量を算出し、保持する。ここでは、少なくとも輝度平均値や画素数を含むサイズ情報を含む。
【００２７】
上記の実施例として特徴領域の定義として画像中の主要人物肌領域である場合について図１０の抽出処理フローチャートを基に説明する。
【００２８】
Ｓ１０１ステップから入力した画像データに対して、Ｓ１００１ステップにおいては、Ｊｐｅｇ画像の圧縮単位である８＊８画素を単位とした色度比率と配置組み合わせによる主要人物肌領域候補のグループの検出処理を実行する。
【００２９】
このＳ１００１ステップにおける候補グループの検出が、本実施例の中心の内容となるが、詳細は後述する。
【００３０】
Ｓ１００２ステップにおいては、Ｓ１００１ステップにおいて候補となるグループを検出したか判定する。検出に失敗した場合は、Ｓ１００６ステップへ移行して主要人物肌領域の検出に失敗したことをセットする［ＨＭ＝“００００”］。検出に成功した場合は、Ｓ１００３ステップへ移行して主要人物肌領域候補のグループに対して、予め設定して保存してある空間周波数特性の範囲に適合するか比較する。
【００３１】
Ｓ１００４ステップにおいては、主要人物肌領域候補のグループが主要人物肌と判定されたか判定する。判定の結果、主要人物肌でないと判定された場合は、Ｓ１００６ステップへ移行して主要人物肌領域の検出に失敗したことをセットする［ＨＭ＝“００００”］。また、主要人物肌と判定された場合は、Ｓ１００５ステップへ移行して主要人物肌領域の検出に成功したことをセットする［ＨＭ＝“１１１１”］。更に、検出した特徴データを保存する。
【００３２】
本発明は、上記特徴領域検出手段に固定される物ではなく、他の人物顔検出、個人顔承認による検出方法に置き換えても問題ない。
【００３３】
Ｓ１０３ステップにおいては、Ｓ１０２ステップにおける検出結果“ＨＭ”が“１１１１”と判定されている時には、画像より抽出した特徴領域を利用した画像補正目標値を設定する必要があると判定して、特徴領域の状況を踏まえてどの輝度レベルまで最終目標値に近付けるかを設定する。また、設定した目標値を使用して補正用テーブルを作成する。
【００３４】
また、Ｓ１０２ステップにおける検出結果“ＨＭ”が“００００”と判定されている時には、Ｓ１０４ステップをスキップして、Ｓ１０６ステップにて通常の画像補正を実行する。
【００３５】
Ｓ１０４ステップにおいては、Ｓ１０３ステップにおいて特徴領域の特徴量を利用して作成した補正用テーブルの有無を判断して存在しない場合は特徴領域の検出結果を反映しない共通の定義に基づく画像補正を実行する。また、補正用テーブルが存在する場合は、共通の定義に基づく画像補正に対して、作成した補正用テーブルを利用できるように共通の定義に基づく画像補正に対して置き換えを行った後に画像補正を実行する。
【００３６】
図１０の抽出処理フローチャートにおける前記Ｓ１００１の候補グループの検出方法について詳細な説明を行う。
【００３７】
本実施例においては、Ｊｐｅｇ画像の画像圧縮単位である８＊８画素を色度判定の為の最小単位のグループとして設定を行う。色度判定の実施例として最も利用が考えられる人物肌の色度判定方法について説明する。
【００３８】
色度の検索方法としては、複数の方法がある。
【００３９】
知られているものとしては、
１）Ｂ（青）／Ｇ（緑）の比率が０．７〜０．８の範囲に収まり、Ｒ（赤）／Ｇ（緑）の比率が１．４〜１．８の範囲に収まる色度を持つもの。
２）図５の概念図に示すように、肌色を確率楕円にて表すことが出来る。求める式としては下記の（１）〜（３）になる。
【００４０】
2006287861.tif 000003
【００４１】
2006287861.tif 000004
【００４２】
ここで、
2006287861.tif 000005
【００４３】
ｒ，ｇは肌色色度の平均値、σｒ２やσｇ２は分散である。
【００４４】
また、ηは確率を表す係数で、η＝２．０、η＝１．５、η＝１．０でそれぞれ確率楕円９５％、８４％、６８％に対応する。
【００４５】
本実施例においては、処理の簡便さを考慮に入れた下記式（４）である色度分布範囲を肌色の色度範囲とした。この範囲を表したのが図５である。
【００４６】
2006287861.tif 000006
【００４７】
前述したように、本実施例においては、色度の判定範囲としては、（４）式であらわした色度比率を用いることとした。次に、色度判定の為の最小単位のグループとして設定したＪｐｅｇ画像の画像圧縮単位である８＊８画素のグループの色度を判定する為に（４）式の色度比率と比較判定する８＊８画素のグループの色度代表値をどのように設定するかであるが、下記のような代表方法が考えられる。
【００４８】
例として図７〜９に示す。
【００４９】
図７は、本実施例で用いている色度検出ポイントを図示したものである。これによると８＊８画素単位ブロックの四隅の色度の全てが色度範囲に入っているかを確認し、全てが範囲に入っている時は、そのブロックを適合色度と判定している。図７においては上段の左から２番目と下段の左から１，２，３ブロックが該当する。上段の一番左のブロックは４ポイントのうち左上の式度は非肌色ピクセルと判定されるので、これを含むブロックは肌色の範囲外と判定される。同じように上段の右側１，２ブロックと下段の一番右のブロックが範囲外となる。
【００５０】
図９は、図７と同じ考えの中ではあるが、全体画像における検出間隔を等分化する為のものである。
【００５１】
図８は、８＊８画素単位のブロック全体の平均色度による判定である。このブロック内の平均色度の求め方としては、８＊８ブロック全ての画素値の平均値をとる方法の他に、解凍中の逆ＤＣＴを行う前の色度データ（Ｃｂ，Ｃｒ）の中のＤＣ成分から求めることも可能である。この方式の利点としては、ブロック全体の色調にて判定できるので、検出点の少ないものに比べて精度が高い期待が出来る。
【００５２】
本実施例においては、色度代表値の判定方法としては、図７で示した四隅の色度の全てが色度範囲に入っているかを確認する方法と、図８で示した色度データ（Ｃｂ，Ｃｒ）の中のＤＣ成分による色度平均値を代表値にとる方法の２通りを８＊８画素ブロックの特徴判定により選択して判定を行うものである。
【００５３】
上記、図７で示した８＊８画素単位ブロックの四隅のデータを使用したものと、図８で示したＤＣＴ変換後のＤＣ成分を使用したものにおける色度判定方法において、実際の画像に対しての検出判定の例を示す。
【００５４】
図１２は、Ｊｐｅｇ画像のサンプルで人物を中心とした撮影画像である。撮影状況も良好であり、人物肌の明度も良好な高さである。
【００５５】
図１５は、図１２のＪｐｅｇ画像のサンプルに対して８＊８画素ブロックの色度判定として四隅のデータを使用したものである。
【００５６】
また、図１６は８＊８画素ブロックの色度判定後、後述の連続量および空間周波数の特徴判定を行い、最終的に特徴領域として抽出した領域である。茶色で示した中央の部分が第一優先領域であり、赤色で示した右下の部分が第二優先領域として抽出した結果である。
【００５７】
また、図１３は、図１２のＪｐｅｇ画像のサンプルに対して８＊８画素ブロックの色度判定としてＤＣＴ変換後のＤＣ成分のデータを使用したものである。
【００５８】
また、図１４は８＊８画素ブロックの色度判定後、後述の連続量および空間周波数の特徴判定を行い、最終的に特徴領域として抽出した領域である。茶色で示した中央の部分が第一優先領域であり、赤色で示した右下の部分が第二優先領域として抽出した結果である。
【００５９】
上記、人物肌の明度も良好なＪｐｅｇ画像のサンプルである図１２のデータに対して抽出処理を行った場合、８＊８画素ブロックの色度判定として四隅のデータを使用した検出結果は、期待する目標領域を検出していることが確認できる。また、色度判定方法をＤＣＴ変換後のＤＣ成分のデータを用いた８＊８画素ブロックの平均値を用いた場合は、背景の色度は適合している林の部分と連続してしまう為に検出を期待する領域は、色度以後の空間周波数判定などにおいて、不適合と認定され、抽出領域が期待領域以外を指定してしまっていることが確認できる。
【００６０】
つまり、明度の高い良好な対象物においては８＊８画素単位ブロックの四隅のデータを使用ものが精度の良い検出が出来ていることがわかる。
【００６１】
次に、図１７は、Ｊｐｅｇ画像のサンプルで人物を中心とした撮影画像である。撮影状況は逆光であり、良好な状態とは言えない、人物肌の明度は良好な状態と比べると低い状態である。
【００６２】
図２０は、図１７のＪｐｅｇ画像のサンプルに対して８＊８画素ブロックの色度判定として四隅のデータを使用したものである。
【００６３】
また、図２１は８＊８画素ブロックの色度判定後、後述の連続量および空間周波数の特徴判定を行い、最終的に特徴領域として抽出した領域である。茶色で示した中央の部分が第一優先領域であり、赤色で示した右下の部分が第二優先領域として抽出した結果である。
【００６４】
また、図１８は、図１７のＪｐｅｇ画像のサンプルに対して８＊８画素ブロックの色度判定としてＤＣＴ変換後のＤＣ成分のデータを使用したものである。
【００６５】
また、図１９は８＊８画素ブロックの色度判定後、後述の連続量および空間周波数の特徴判定を行い、最終的に特徴領域として抽出した領域である。茶色で示した中央の部分が第一優先領域であり、赤色で示した右下の部分が第二優先領域として抽出した結果である。
【００６６】
上記、人物肌の明度が低いＪｐｅｇ画像のサンプルである図１７のデータに対して抽出処理を行った場合、８＊８画素ブロックの色度判定として四隅のデータを使用した検出結果は、期待する目標領域における適合ブロックが歯抜けのようになり充分検出が出来ていないことが確認できる。また、色度判定方法をＤＣＴ変換後のＤＣ成分のデータを用いた８＊８画素ブロックの平均値を用いた場合は、期待する目標領域を検出していることが確認できる。
【００６７】
つまり、明度の低い人物肌の対象においては、８＊８画素単位ブロックに対してＤＣＴ変換後のＤＣ成分のデータを使用ものが精度の良い検出が出来ていることがわかる。
【００６８】
その理由として、図１２と図１７における人物肌領域の一部の輝度ヒストグラムを示す。
【００６９】
図２３は人物肌が明るく撮影された図１２の人物肌輝度ヒストグラムを示している。横軸は０から２５５の２５６段階での輝度値であり、縦軸は輝度に該当する画素数を表している。輝度平均は２２０で、２１１から２２９までの範囲で分布している。
【００７０】
図２４は人物肌が暗く撮影された図１７の人物肌輝度ヒストグラムを示している。横軸は０から２５５の２５６段階での輝度値であり、縦軸は輝度に該当する画素数を表している。輝度平均は４７で、３１から７２までの範囲で分布している。
【００７１】
上記、図２３と図２４のサンプル比較より、暗部の撮影データには、ノイズ等の影響が出て、輝度分布においてもばらつきが大きくなっていることがわかる。この為、８＊８画素ブロックの色度判定として四隅のデータを用いる方式の場合、暗部においては色度でもばらつくことが考えられ、８＊８画素ブロックの色度がほぼ肌色の範囲でも４点すべてが基準範囲に収まることが難しくなり、適合範囲外となってしまう場合が発生している。
【００７２】
Ｓ１００１の候補グループ検出方法の詳細説明フローチャートとして、画像の中で最も重要と思われる注目画像検出である人物検出のフローチャートを図６に示す。
【００７３】
Ｓ６０１ステップにおいては、取得したＪｐｅｇ画像データを８＊８画素のブロック単位のＤＣＴデータと量子化テーブルを取得すると同時に、画像ファイルはＲＧＢビットマップデータに展開する。
【００７４】
Ｓ６０２ステップにおいては、画像データを構成する各８＊８画素のブロックに対する、輝度および色度データを検出し、予め用意した閾値と比較することで分類を実行する。
【００７５】
検索範囲は全画面を行っても良いが、本実施例においては、注目画像が画像の端部に配置されているとは考えずらいので、画像端部より数ブロック分の領域は色度検索の対象から外して検索を行う。この場合、入力画像サイズにより８＊８画素ブロックの画像が全画像に対して占める割合が違うので、入力画像サイズに比例した端部の設定を行う。例えばＶＧＡ（６４０＊４８０）では８ブロック分で、ＵＸＧＡ（１６００＊１２００）画像においては２０ブロック分とする。
【００７６】
この部分の詳細を図２のフローチャートで示す。
【００７７】
Ｓ２０１ステップにおいては、入力画像を８＊８画素ブロックに分解したブロックごとに輝度データを収集する。Ｊｐｅｇ輝度データにおけるＤＣ成分（直流成分）として、８＊８画素データの輝度平均値を代表値として検出する。
【００７８】
Ｓ２０２ステップにおいては、色度判定対象の各８＊８画素ブロックに対して、輝度情報検出結果を反映した色度判定手段を決定する。
【００７９】
Ｓ２０２ステップ部分の詳細を図３のフローチャートで示す。
【００８０】
Ｓ３０１ステップにおいては、特徴領域検出の対象画像を構成する８＊８画素ブロックの総数をカウントし、その値を“ｎ”としてセットする。
【００８１】
Ｓ３０２ステップにおいては、カウント値“ｎ”が０であるか比較確認し、判定対象の８＊８ブロックの残り数が存在しなくなったら、この処理を終了する。
【００８２】
Ｓ３０３ステップにおいては、以降の処理により色度判定手段を決定するため、カウント値を１カウント分減らす処理を行う。
【００８３】
Ｓ３０４ステップにおいては、本実施例における画像はＲＧＢ各８ビットデータで構成されるもので、輝度情報も８ビットにて表現されている。８ビットである２５６階調のうち、色度判定手段を選別する為の値として、予め“７０”という値がセットされている。但し、この値は、画像におけるノイズ状況測定により設定した値なので、７０以外でも良い。
【００８４】
このステップにおける動作は、入力された８＊８画素ブロックにおけるＪｐｅｇのＤＣＴ変換のＤＣ成分（直流成分）による輝度平均値データを取得し、その輝度値が７０以下の場合はＳ３０６ステップに進み、輝度値が７０より大きい場合はＳ３０５ステップに進む。
【００８５】
Ｓ３０５ステップにおいては、８＊８画素ブロックの色度判定の代表値検出として図７で示した四隅の画素の値を用いる方式をセットする。
【００８６】
Ｓ３０６ステップにおいては、８＊８画素ブロックの色度判定の代表値検出として図８で示したＤＣＴ変換のＤＣ成分（直流成分）による平均値データの値を用いる方式をセットする。
【００８７】
Ｓ２０３ステップにおいては、各８＊８画素ブロックに対して決定した色度判定手段の決定に従い、色度の判定を実行する。
【００８８】
Ｓ２０３ステップ部分の詳細を図４のフローチャートで示す。
【００８９】
Ｓ４０１ステップにおいては、Ｓ２０２ステップにて決定した各８＊８画素ブロックに設定した色度判定手段の指定値を検出し、四隅の画素の値を用いる方式の場合はＡ４０２ステップに進む。それ以外の場合はＳ４０６ステップに進む。
【００９０】
Ｓ４０２ステップにおいては、色度判定対象の８＊８画素ブロックにおける四隅の画素の式度を１画素ごとに読み込みＳ４０３ステップに進む。
【００９１】
Ｓ４０３ステップにおいては、本実施例の色度の判断基準では、前記（４）式である色度分布範囲である色度比率を用いて判定を行う。Ｓ４０２ステップで読み込んだ四隅の画素ごとに判定を行い、そのすべてが基準範囲に適合している時には、Ｓ４０４ステップに進む。四画素のひとつでも基準範囲に不適合がある場合は、Ｓ４０５ステップに進む。
【００９２】
Ｓ４０４ステップにおいては、対象の８＊８画素ブロックの色度判定に適合の判断である“ＯＫ”をセットして処理を終了する。
【００９３】
Ｓ４０５ステップにおいては、対象の８＊８画素ブロックの色度判定に不適合の判断である“ＮＧ”をセットして処理を終了する。
【００９４】
Ｓ４０６ステップにおいては、色度判定対象の８＊８画素ブロックにおけるＤＣＴ変換のＤＣ成分（直流成分）による平均値データ読み込みＳ４０７ステップに進む。
【００９５】
Ｓ４０７ステップにおいては、前記（４）式である色度分布範囲である色度比率の適合範囲にＳ４０７ステップで検出した色度に関するＤＣＴ変換のＤＣ成分（直流成分）による平均値データが適合するか判定を行い、基準範囲に適合している時には、Ｓ４０８ステップに進む。不適合である場合は、Ｓ４０９ステップに進む。
【００９６】
Ｓ４０８ステップにおいては、対象の８＊８画素ブロックの色度判定に適合の判断である“ＯＫ”をセットして処理を終了する。
【００９７】
Ｓ４０９ステップにおいては、対象の８＊８画素ブロックの色度判定に不適合の判断である“ＮＧ”をセットして処理を終了する。
【００９８】
Ｓ２０４ステップにおいては、Ｓ２０３ステップの判定結果を踏まえて、各８＊８画素ブロックの色度が特徴領域の対象としての適応状態を選別する。この選別に該当し、選ばれた８＊８画素ブロックの領域を対象に、領域の大きさ、空間周波数特性による特徴量などの定義範囲との一致度により特徴領域の検出および判定を進める。詳細は、後述する。
【００９９】
検出をブロックレベルにすることにより、特定のまとまりを持った状態が対象になるので、外来ノイズの影響は受けずらくなる、しかしながら、８＊８画素のブロックが適正なまとまりの大きさとは言えず、色度によるブロック検出においても縦方向及び横方向に隣接したブロックの連続検出という制約を付けた検出を行うことで更に精度を上げることになる。
【０１００】
ここにおいて、人の肌色であってもプリントにおいて顔を認識出来るデータ量を満たさないものにおいても適応外としてはじいても良いと言う概念でノイズと判定する連続範囲を設定する。
【０１０１】
この部分を表したのが図６のＳ６０３ステップ以降である。
【０１０２】
Ｓ６０３ステップにおいては、画像に対して長手方向に対して、色度範囲に適合と判断したブロックごとに検出を行い、連続検出ブロック数の多い順に候補を策定する。
【０１０３】
Ｓ６０４ステップにおいては、色度範囲に適合した連続検出ブロックが検出されたか判断する。対象の連続検出ブロックがある場合はＳ６０６ステップへ進む。また、対象の連続検出ブロックがない場合はＳ６０５ステップへ進む。
【０１０４】
Ｓ６０５ステップにおいては、入力した画像データの中には抽出対象となる目的領域が無い事をセットして処理を終了する。
【０１０５】
対象の連続検出ブロックがあると判断して移行した、Ｓ６０６ステップにおいては、画像に対して短い方向に対して、色度範囲に適合と判断したブロックごとに検出を行い、予め定義してある連続量を含むものであるか判定判定を行い、この結果をＳ６０７ステップへ送る。
【０１０６】
Ｓ６０７ステップにおいては、入力した画像データの中には抽出対象となる目的領域候補が存在するか判定を行う。存在しない結果を得た場合はＳ６０５ステップへ進み目的領域が無い事をセットして処理を終了する。対象となる候補データが存在した場合はＳ６０８ステップへ進む。
【０１０７】
Ｓ６０８ステップにおいては、抽出対象となる目的領域候補データに長手方向の連続ブロック数の大きいものから順に候補番号（１〜ｎ）を付ける。目的領域候補データは１つしかない場合は番号１となるが、目的領域候補データが複数の場合は最大で８個まで候補番号を発行する。候補番号を持った領域の中で、その後、最終の目標領域となるものを判定する。
【０１０８】
Ｓ６０９ステップにおいては、判定対象となる目的領域候補データの候補番号が発行された数（ｎ）より大きくないことを確認してＳ６１０ステップへ進む。また、候補番号より大きくなった場合は、すべての候補について判定が終了したと判定し、処理を終了し、Ｓ１００２ステップへ移行する。
【０１０９】
Ｓ６１０ステップにおいては、色度判定に適合した判定対象となる目的領域候補データに対して、空間周波数成分の特徴が抽出対象の特徴量適合範囲に収まっているか判定を行う。
【０１１０】
Ｊｐｅｇファイルにおいてはすべての画像領域の画素情報を８＊８画素単位のグループで空間周波数成分に変換するものである。
【０１１１】
ここで言う空間周波数成分とは、Ｊｐｅｇ画像のデータ圧縮のために画素データを８＊８画素単位でＤＣＴ変換するもので、図２２のようにデータを左上の“０”はＤＣ成分（直流成分）として、８＊８画素データの平均値となり、他の“１〜６３”までがＡＣ成分（交流成分）となり主に空間周波数の低い順に並べられている。つまり値が低い順に低周波数の空間周波数データとなっている。処理済みのデータを周波数分布として候補グループの各ブロックにおけるデータを統計処理することで空間周波数成分における特徴量の一致を判定するものです。
【０１１２】
Ｓ６１１ステップにおいては、予め設定してある閾値と目的領域候補データの特徴量と比較をし、判定を行う。適正範囲外の場合はＳ６０９ステップへ移行し、次の目的領域候補データに対する判定に移行する。
【０１１３】
Ｓ６１２ステップにおいては、対象の目的領域候補データは目標領域と認識してセットする。Ｓ６０９ステップへ移行し、次の目的領域候補データに対する判定に移行する。
【０１１４】
検出候補の優先順位が高い方（検出ブロック長が長い方）からカラーコード（１＝茶、２＝赤、３＝橙、４＝黄、５＝緑、６＝青、７＝紫、８＝灰）順に配置され、それ以外で検出されているのは色度のみ適性範囲に入っているものである。連続ブロック検出により画素レベルの色度検出と比べるとかなりの背景などの非該当候補を削除できていることが判る。
【実施例２】
【０１１５】
先の実施例と同等のシステム構成を利用し、色度判定の手段としては、先の実施例においては、サンプリング代表値（８＊８画素グループにおいて、四隅の画素、もしくはＤＣＴ変換後のＤＣ成分を利用した平均値）のみとしたが、適合色度範囲についても可変対応することで、より特徴領域の抽出精度を向上することが可能となる。
【０１１６】
具体的には、先の実施例のシステムフローチャートにおいて、図３の部分を図２５に置き換えることで可能となる。
【０１１７】
図２５のフローチャートについて説明する。
【０１１８】
Ｓ２５０１ステップにおいては、特徴領域検出の対象画像を構成する８＊８画素ブロックの総数をカウントし、その値を“ｎ”としてセットする。
【０１１９】
Ｓ２５０２ステップにおいては、カウント値“ｎ”が０であるか比較確認し、判定対象の８＊８ブロックの残り数が存在しなくなったら、この処理を終了する。
【０１２０】
Ｓ２５０３ステップにおいては、以降の処理により色度判定手段を決定するため、カウント値を１カウント分減らす処理を行う。
【０１２１】
Ｓ２５０４ステップにおいては、本実施例における画像はＲＧＢ各８ビットデータで構成されるもので、輝度情報も８ビットにて表現されている。８ビットである２５６階調のうち、色度判定手段を選別する為の値として、予め“７０”という値がセットされている。但し、この値は、画像におけるノイズ状況測定により設定した値なので、７０以外でも良い。
【０１２２】
このステップにおける動作は、入力された８＊８画素ブロックにおけるＪｐｅｇのＤＣＴ変換のＤＣ成分（直流成分）による輝度平均値データを取得し、その輝度値が７０以下の場合はＳ２５０６ステップに進み、輝度値が７０より大きい場合はＳ２５０５ステップに進む。
【０１２３】
Ｓ２５０５ステップにおいては、８＊８画素ブロックの色度判定の代表値検出として図７で示した四隅の画素の値を用いる方式をセットする。また、色度比率適合範囲として式（４）をセットする。
【０１２４】
Ｓ２５０６ステップにおいては、８＊８画素ブロックの色度判定の代表値検出として図８で示したＤＣＴ変換のＤＣ成分（直流成分）による平均値データの値を用いる方式をセットする。また、色度比率適合範囲として式（５）をセットする。
【０１２５】
人物肌の高い明度部分である輝度７０よりも高い範囲においては、適合式度比率範囲を前述の（４）式を用い、明度が７０以下である低い範囲においては、下記の（５）式を用いるものである。
【０１２６】
2006287861.tif 000007
【０１２７】
これは、前述したように、暗部におけるノイズなどの原因により撮影データの画素単位でのばらつきが明るい部分と比較して多い為である。これを考慮して暗部における色度比率範囲の適合範囲を大きくしたものである。
【図面の簡単な説明】
【０１２８】
【図１】本発明の実施例に関わる処理の全体の流れを表すフローチャートである。
【図２】本発明の実施例に関わる画素グループの輝度および色度検出と判定のフローチャートである。
【図３】本発明の実施例に関わる画素グループの色度判定手段決定フローチャートである。
【図４】本発明の実施例に関わる画素グループの色度判定フローチャートである。
【図５】本発明の実施例に関わる肌色のＲＧ色度分布を示すグラフである。
【図６】本発明の実施例に関わるＪｐｅｇ画像解凍からの注目画像検出フローチャートを示す。
【図７】本発明のＪｐｅｇ  ｆｉｌｅ画像圧縮単位である８＊８Ｂｌｏｃｋにおける、色度検出方法を示す図である。
【図８】本発明のＪｐｅｇ  ｆｉｌｅ画像圧縮単位である８＊８ＢｌｏｃｋでのＤＣ成分を利用した色度検出方法を示す図である。
【図９】本発明の色度検出において、３ビット間引きを利用して検出をした場合の８＊８Ｂｌｏｃｋにおける検出状況を示す図である。
【図１０】本発明の実施例に関わる主要人物肌領域検出処理の概要フローチャートである。
【図１１】本発明の実施例に関わる装置のハード構成を示す図である。
【図１２】本発明の実施例に関わる人物の肌色領域が比較的明度の高い画像サンプルである。
【図１３】本発明の実施例に関わる人物の肌色領域が比較的明度の高い画像サンプルに対して色度判定として８＊８画素グループをその平均値であるＤＣ成分で判定した８＊８画素ブロック判定結果を示す図である。
【図１４】本発明の実施例に関わる人物の肌色領域が比較的明度の高い画像サンプルに対して色度判定として８＊８画素グループをその平均値であるＤＣ成分で判定した８＊８画素ブロック判定後、その後の判定を加えて最終的に特徴領域として検出した領域を示す図である。
【図１５】本発明の実施例に関わる人物の肌色領域が比較的明度の高い画像サンプルに対して色度判定として８＊８画素グループに対して、代表値として４隅の画素用いて判定した８＊８画素ブロック判定結果を示す図である。
【図１６】本発明の実施例に関わる人物の肌色領域が比較的明度の高い画像サンプルに対して色度判定として８＊８画素グループに対して、代表値として４隅の画素用いて判定した８＊８画素ブロック判定結果判定後、その後の判定を加えて最終的に特徴領域として検出した領域を示す図である。
【図１７】本発明の実施例に関わる人物の肌色領域が比較的明度の低い画像サンプルである。
【図１８】本発明の実施例に関わる人物の肌色領域が比較的明度の低い画像サンプルに対して色度判定として８＊８画素グループをその平均値であるＤＣ成分で判定した８＊８画素ブロック判定結果を示す図である。
【図１９】本発明の実施例に関わる人物の肌色領域が比較的明度の低い画像サンプルに対して色度判定として８＊８画素グループをその平均値であるＤＣ成分で判定した８＊８画素ブロック判定後、その後の判定を加えて最終的に特徴領域として検出した領域を示す図である。
【図２０】本発明の実施例に関わる人物の肌色領域が比較的明度の低い画像サンプルに対して色度判定として８＊８画素グループに対して、代表値として４隅の画素用いて判定した８＊８画素ブロック判定結果を示す図である。
【図２１】本発明の実施例に関わる人物の肌色領域が比較的明度の低い画像サンプルに対して色度判定として８＊８画素グループに対して、代表値として４隅の画素用いて判定した８＊８画素ブロック判定結果判定後、その後の判定を加えて最終的に特徴領域として検出した領域を示す図である。
【図２２】本発明の実施例に関わるＪｐｅｇファイルにおける８＊８画素グループ内のＤＣＴ成分配置イメージを示す図である。
【図２３】本発明の実施例に関わる特徴領域として人物の肌が高い明度で撮影された領域の輝度ヒストグラムの例である。
【図２４】本発明の実施例に関わる特徴領域として人物の肌が低い明度で撮影された領域の輝度ヒストグラムの例である。
【図２５】本発明の他の実施例に関わる画素グループの色度判定手段決定フローチャート２である。
【符号の説明】
【０１２９】
５１  入出力ポート
５２  マウス
５３  キーボード
５４  モニタ
５５  制御部
５６  メモリカードドライブ
５７  ハードディスク
５８  バス
【図１】
2006287861.tif 000008
【図２】
2006287861.tif 000009
【図３】
2006287861.tif 000010
【図４】
2006287861.tif 000011
【図５】
2006287861.tif 000012
【図６】
2006287861.tif 000013
【図１０】
2006287861.tif 000014
【図１１】
2006287861.tif 000015
【図１３】
2006287861.tif 000016
【図１４】
2006287861.tif 000017
【図１５】
2006287861.tif 000018
【図１６】
2006287861.tif 000019
【図１８】
2006287861.tif 000020
【図１９】
2006287861.tif 000021
【図２０】
2006287861.tif 000022
【図２１】
2006287861.tif 000023
【図２５】
2006287861.tif 000024
【図７】
2006287861.tif 000025
【図８】
2006287861.tif 000026
【図９】
2006287861.tif 000027
【図１２】
2006287861.tif 000028
【図１７】
2006287861.tif 000029
【図２２】
2006287861.tif 000030
【図２３】
2006287861.tif 000031
【図２４】
2006287861.tif 000032