(57)【要約】【課題】画一の色度代表による検出処理では抽出対象領域が完全には検出できない場合がある問題を解決する。【解決手段】画像データから特定の特徴領域を検出する画像処理装置において、予め設定された色度範囲に基づいて前記特徴領域の候補を検出する第１の検出手段と、第１の検出手段により検出された特徴領域の候補の色度情報に基づき前記色度範囲を再設定する再設定手段と、再設定手段により再設定された色度範囲に基づいて前記特徴領域の候補をさらに検出する第２の検出手段と、第１の検出手段または第２の検出手段で検出した特徴領域の候補が、特定の特徴領域であるか判断する特徴領域判定手段とを備える。【選択図】図３
2007334675.tif 000002
【特許請求の範囲】
【請求項１】
画像データから特定の特徴領域を検出する画像処理装置において、
予め設定された色度範囲に基づいて前記特徴領域の候補を検出する第１の検出手段と、
前記第１の検出手段により検出された特徴領域の候補の色度情報に基づき前記色度範囲を再設定する再設定手段と、
前記再設定手段により再設定された色度範囲に基づいて前記特徴領域の候補をさらに検出する第２の検出手段と、
前記第１の検出手段または第２の検出手段で検出した特徴領域の候補が、前記特定の特徴領域であるか判断する特徴領域判定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
画像データから特定の特徴領域を検出する画像処理装置において、
予め設定された色度範囲に基づいて前記特徴領域の候補を検出する第１の検出手段と、
前記第１の検出手段により検出された特徴領域の候補の色度情報に基づき前記色度範囲の再設定の要否を判断する再設定判定手段と、
前記再設定判定手段により前記色度範囲の再設定を要すと判定された場合に、前記第１の検出手段により検出された特徴領域の候補の色度情報に基づき前記色度範囲を再設定する再設定手段と、
前記再設定手段により再設定された色度範囲に基づいて特徴領域の候補をさらに検出する第２の検出手段と、
前記第１および第２の検出手段で検出した特徴領域の候補が、前記特定の特徴領域であるか判断する特徴領域判定手段と
を備えることを特徴とする画像処理装置。
【請求項３】
前記第１および第２の検出手段における検出処理は、前記画像データに対し特定サイズのブロック単位で行うことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記特徴領域の候補は、候補として検出された連続するブロック群からなることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記再設定手段は、特徴領域の候補毎に前記色度範囲を再設定することを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記特徴領域判定手段は、前記特徴領域の候補がもつ空間周波数特性に基づいて前記判断を行うことを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記特徴領域は、少なくとも人物の肌領域を含むことを特徴とする請求項１から請求項６のいずれかに記載の画像処理装置。
【請求項８】
画像補正手段および補正情報作成手段をさらに備え、前記補正情報作成手段は、前記特徴領域用の補正情報を作成し、前記画像補正手段は、前記特徴領域については作成された補正情報を用いて画像補正処理を行い、その他の領域については予め全領域共通に定義された画像補正処理を行うことを特徴とする請求項１から請求項７のいずれかに記載の画像処理装置。
【請求項９】
画像データから特定の特徴領域を検出する画像処理方法において、
予め設定された色度範囲に基づいて前記特徴領域の候補を検出する第１の検出ステップと、
前記第１の検出ステップにおいて検出された特徴領域の候補の色度情報に基づき前記色度範囲を再設定する再設定ステップと、
前記再設定ステップにおいて再設定された色度範囲に基づいて前記特徴領域の候補をさらに検出する第２の検出ステップと、
前記第１の検出ステップまたは第２の検出ステップで検出した特徴領域の候補が、前記特定の特徴領域であるか判断する特徴領域判定ステップと
を含むことを特徴とする画像処理方法。
【請求項１０】
画像データから特定の特徴領域を検出する画像処理方法において、
予め設定された色度範囲に基づいて前記特徴領域の候補を検出する第１の検出ステップと、
前記第１の検出ステップにおいて検出された特徴領域の候補の色度情報に基づき前記色度範囲の再設定の要否を判断する再設定判定ステップと、
前記再設定判定ステップにおいて前記色度範囲の再設定を要すと判定された場合に、前記第１の検出ステップにおいて検出された特徴領域の候補の色度情報に基づき前記色度範囲を再設定する再設定ステップと、
前記再設定ステップにおいて再設定された色度範囲に基づいて特徴領域の候補をさらに検出する第２の検出ステップと、
前記第１および第２の検出ステップで検出した特徴領域の候補が、前記特定の特徴領域であるか判断する特徴領域判定ステップと
を含むことを特徴とする画像処理方法。
【請求項１１】
コンピュータに請求項１から請求項８のいずれかに記載の画像処理装置が備える各手段の機能を実現させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法及び装置に関し、特には、色度に基づく、画像データ中における特徴領域の認識方法及びその応用方法ならびにその装置に関する。
【背景技術】
【０００２】
近年、画像の入力機器としてデジタルカメラなどの入力機器が普及してきている。こうした入力機器で撮影した画像には、色被りや、露出の不適切、コントラストの不適切などによる、撮影バランスが必ずしも良好とはいえない撮影画像が存在し得る。したがって、撮影画像を表示もしくは印刷して鑑賞する場合には、撮影した画像データをそのまま用いることが適切でない場合がある。
【０００３】
そこで、良い画像の定義を行い、その定義に沿ったホワイトバランス補正や露出／コントラスト補正を自動で行うことができるアプリケーションも一般的になってきている。しかし、このような環境下でも必ずしも適正な補正ができない撮影画像が存在し得る。
【０００４】
画像には、画像全体の撮影バランスとは別に、画像の中に観察者にとって興味のある重要な領域が存在する場合があり、その領域の状態が良く絵作りされていないと不満の残る画像となってしまう。このような画像については、上記のような方法では適正な補正を行えない。なお、重要な領域としては、たとえば、人の顔や肌などが挙げられる。こうした重要な領域を考慮に入れた画像補正を行うために、下記のような方法が提案されている。
【０００５】
特許文献１に開示された技術では、Ｊｐｅｇ画像データにおいて、そのデータ圧縮単位のＤＣＴ特性、色度などに基づき、画像中における検出対象領域の判定および検出を行っている。判定単位である圧縮単位の８＊８画素のデータに対して、色度の判定としては特定の画素の色度を代表値として判定を行い、この代表値を８＊８画素全体の色度としている。そして、この判定を画像全体に占める８＊８画素のグループに対して行っている。
【０００６】
特許文献２に開示された技術では、映像信号の色差信号から、１フレーム中の肌色部分の面積を検出して、その領域を人物肌領域とし、輝度補正の目標設定値として利用し、ガンマ補正回路制御信号を作成している。色度の判定は、ビデオ信号の色度信号が、設定した色度の範囲に入っている領域を検出することで行っている。したがって、色度判定の単位としては、画素毎ということになる。
【０００７】
【特許文献１】特開２００４−３８４８０号公報
【特許文献２】特許第３２０３９４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述したように、デジタルカメラなどの入力機器で撮影した画像（Ｊｐｅｇ画像など）をプリントする場合に、銀塩写真のプリントのように、人物などの注目画像が、より良くプリントできるように必要に応じて補正を行えることが望ましい。これを実現するには、撮影画像の中から注目画像を見つけ出す方法が必要である。一方で、デジタルカメラからプリンタへ直接プリントを行うダイレクトプリントなどデータ処理能力の低い機器でも使用できるように、検出処理はできるだけ軽い処理で済む方法が求められる。
【０００９】
撮影データの中に人物などの注目画像の有無を検出し、さらに人物の肌領域の検出を行う従来の方法では、領域検出プロセスの中に、色度などの色成分による判定を加えている場合がある。この色度判定を行う場合、検出の基準として定義した色度は通常人肌の色度分布により定義されたものとなっている。
【００１０】
しかし、検出対象の撮影データにおける被写体そのものの色度には差が有り、さらに、この色度は、撮影時の光源状態により影響を受けることがわかっている。この場合、画一の色度代表による検出処理を行うと、色度判定結果からは、抽出対象領域が完全には検出できない場合がある問題があった。本発明は、上記問題点を解決することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、第１の発明の画像処理装置は、画像データから特定の特徴領域を検出する画像処理装置において、予め設定された色度範囲に基づいて前記特徴領域の候補を検出する第１の検出手段と、前記第１の検出手段により検出された特徴領域の候補の色度情報に基づき前記色度範囲を再設定する再設定手段と、前記再設定手段により再設定された色度範囲に基づいて前記特徴領域の候補をさらに検出する第２の検出手段と、前記第１の検出手段または第２の検出手段で検出した特徴領域の候補が、前記特定の特徴領域であるか判断する特徴領域判定手段とを備えることを特徴とする。
【００１２】
また、第２の発明の画像処理装置は、画像データから特定の特徴領域を検出する画像処理装置において、予め設定された色度範囲に基づいて前記特徴領域の候補を検出する第１の検出手段と、前記第１の検出手段により検出された特徴領域の候補の色度情報に基づき前記色度範囲の再設定の要否を判断する再設定判定手段と、前記再設定判定手段により前記色度範囲の再設定を要すと判定された場合に、前記第１の検出手段により検出された特徴領域の候補の色度情報に基づき前記色度範囲を再設定する再設定手段と、前記再設定手段により再設定された色度範囲に基づいて特徴領域の候補をさらに検出する第２の検出手段と、前記第１および第２の検出手段で検出した特徴領域の候補が、前記特定の特徴領域であるか判断する特徴領域判定手段とを備えることを特徴とする。
【００１３】
また、第３の発明は、第１または第２の発明の画像処理装置において、前記第１および第２の検出手段における検出処理は、前記画像データに対し特定サイズのブロック単位で行うことを特徴とする。
【００１４】
また、第４の発明は、第３の発明の画像処理装置において、前記特徴領域の候補は、候補として検出された連続するブロック群からなることを特徴とする。
【００１５】
また、第５の発明は、第１から第４の発明の画像処理装置において、前記再設定手段が、特徴領域の候補毎に前記色度範囲を再設定することを特徴とする。
【００１６】
また、第６の発明は、第１から第５の発明の画像処理装置において、前記特徴領域判定手段は、前記特徴領域の候補がもつ空間周波数特性に基づいて前記判断を行うことを特徴とする。
【００１７】
また、第７の発明は、第１から第６の発明の画像処理装置において、前記特徴領域は、少なくとも人物の肌領域を含むことを特徴とする。
【００１８】
また、第８の発明は、第１から第７の発明の画像処理装置において、画像補正手段および補正情報作成手段をさらに備え、前記補正情報作成手段は、前記特徴領域用の補正情報を作成し、前記画像補正手段は、前記特徴領域については作成された補正情報を用いて画像補正処理を行い、その他の領域については予め全領域共通に定義された画像補正処理を行うことを特徴とする。
【００１９】
また、第９の発明は、画像データから特定の特徴領域を検出する画像処理方法において、予め設定された色度範囲に基づいて前記特徴領域の候補を検出する第１の検出ステップと、前記第１の検出ステップにおいて検出された特徴領域の候補の色度情報に基づき前記色度範囲を再設定する再設定ステップと、前記再設定ステップにおいて再設定された色度範囲に基づいて前記特徴領域の候補をさらに検出する第２の検出ステップと、前記第１の検出ステップまたは第２の検出ステップで検出した特徴領域の候補が、前記特定の特徴領域であるか判断する特徴領域判定ステップとを含むことを特徴とする。
【００２０】
また、第１０の発明は、画像データから特定の特徴領域を検出する画像処理方法において、予め設定された色度範囲に基づいて前記特徴領域の候補を検出する第１の検出ステップと、前記第１の検出ステップにおいて検出された特徴領域の候補の色度情報に基づき前記色度範囲の再設定の要否を判断する再設定判定ステップと、前記再設定判定ステップにおいて前記色度範囲の再設定を要すと判定された場合に、前記第１の検出ステップにおいて検出された特徴領域の候補の色度情報に基づき前記色度範囲を再設定する再設定ステップと、前記再設定ステップにおいて再設定された色度範囲に基づいて特徴領域の候補をさらに検出する第２の検出ステップと、前記第１および第２の検出ステップで検出した特徴領域の候補が、前記特定の特徴領域であるか判断する特徴領域判定ステップとを含むことを特徴とする。
【００２１】
また、第１１の発明は、コンピュータに請求項１から請求項８のいずれかに記載の画像処理装置が備える各手段の機能を実現させるためのプログラムである。
【００２２】
また、第１２の発明は、第１１の発明の記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２３】
本発明によれば、個別に必要に応じた特徴領域の抽出・検出を精度良く行うことできるようになる。また、特徴領域の抽出結果を個別の画像の補正にさらに反映させる仕組みを提供することで、従来の一般的な良い画像の定義を基にした画像補正では画質を良好に補正できない撮影画像データに対しても、個別に良好な画像補正を実現することが可能となる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して本発明の一実施形態について説明する。
図１１は本発明の一実施形態による画像処理装置のハード構成を示す概略ブロック図である。
【００２５】
図１１に示すように、本実施形態の画像処理装置は、いわゆるパーソナルコンピュータの構成にて達成される。具体的には、その構成として、入出力ポート５１、マウス５２、キーボード５３、モニタ５４、制御部５５、メモリカードドライブ５６、ハードディスク５７、およびこれら各部を接続するバス５８を備える。
【００２６】
入出力ポート５１は、外部に対しデータを入出力するためのポートである。マウス５２は、ポインティングデバイスの１種であり入力装置である。キーボード５３は、数値や文字等を入力するための入力装置である。モニタ５４は、種々の表示を行うための出力装置であり、例えば、液晶モニタ、ＣＲＴモニタ、ＥＬディスプレイ、プラズマディスプレイ、テレビジョン受像機を用いることができる。このモニタ５４としては、マウス５２、キーボード５３およびモニタ５４の各機能を備えた、いわゆるタッチパネルを用いてもよい。
【００２７】
制御部５５は、ＣＰＵからなる処理装置であって装置全体の動作を制御し、マウス５２やキーボード５３からの入力に基づいて、入出力ポート５１もしくは、メモリカードドライブ５６において読み出された画像データに対する各種処理も行う。メモリカードドライブ５６は、メモリカードに記録された画像データを読み出し、またデータを書き込むための入出力装置である。ハードディスク５７は、種々のデータやプログラムを記憶する不揮発性の記憶装置である。
【００２８】
本実施形態においては、画像処理装置としてパーソナルコンピュータを例として説明するが、画像を処理できる装置であればよい。例えば、画像を扱うマルチファンクションプリンタやフォトダイレクトプリンタなどノンＰＣの組み込み機器や携帯電話機など、画像を扱える機器においても同様の実施形態が考えられる。
【００２９】
次に、上記構成にて行われる処理の流れの全体を図１に示し、本実施形態の画像処理装置の動作について説明する。
【００３０】
はじめに、Ｓ１０１ステップでは、入出力ポート５１もしくは、メモリカードドライブ５６において読み出された画像データ、及びハードディスク５７に保存している画像データを、マウス５２やキーボード５３からの入力操作に基づいて読み込む。
【００３１】
次いで、Ｓ１０２ステップでは、読み込んだ画像ファイルを展開する。その一連の作業中に、取得画像に対する、画像内の特徴領域検出における設定の確認を行い、設定されている特徴領域の定義が画像中の人物肌領域である場合は、画像中の人物の肌領域を検出する処理を行う。なお、人物の肌領域からなる顔領域を検出する処理については、本願発明者による特開２００４−０３８４８０号公報、特開２００４−０３８４８１号公報、特開２００４−０３８４８２号公報に開示されている。その他にも、入退室管理システムや監視システムにおいて動画を含む画像の中に人物の顔領域を検出する処理が知られている。
【００３２】
このステップでは、少なくとも色度データを用いて人物肌領域もしくは顔領域の特徴判定を行い、合致した領域を抽出し、その情報を保持すると共に、抽出した領域の特徴量を算出し保持する。ここでは、少なくとも輝度平均値や画素数を含むサイズ情報等を含む。
【００３３】
ここで、画像中の人物肌領域を特徴領域とする場合について、図１０の検出処理フローチャートを基に詳細に説明する。
【００３４】
Ｓ１０１ステップにおいて入力した画像データに対して、Ｓ１００１ステップでは、Ｊｐｅｇ画像の圧縮単位である８＊８画素を単位とした色度と配置組み合わせによる人物肌領域候補グループの検出処理を実行する。このＳ１００１ステップにおける候補グループの検出が、本実施形態の中心の内容となるが、詳細は後述する。
【００３５】
Ｓ１００２ステップでは、Ｓ１００１ステップにおいて候補となるグループを検出したか判定する。検出に失敗した場合は、Ｓ１００６ステップへ移行して人物肌領域の検出に失敗したことをセットする［ＨＭ＝“００００”］（ここで、ＨＭは、人物肌領域検出の成功／失敗を示す識別子である）。検出に成功した場合は、Ｓ１００３ステップへ移行する。
【００３６】
一方、Ｓ１００２ステップにおいて上記候補グループの検出に成功したと判定された場合は、Ｓ１００３ステップへ移行し、所望の特徴領域である人物肌領域候補のグループに対して、予め設定して保存してある空間周波数特性の範囲に適合するか比較する。
【００３７】
Ｓ１００４ステップでは、検出された人物肌領域候補のグループが所望の特徴領域である人物肌領域として適合するものであるか判定する。判定の結果、所望の特徴領域である人物肌領域でないと判定された場合は、Ｓ１００６ステップへ移行し、一方、人物肌領域であると判定された場合は、Ｓ１００５ステップへ移行する。
【００３８】
Ｓ１００６ステップでは、人物肌領域の検出に失敗したことをセットする［ＨＭ＝“００００”］。また、Ｓ１００５ステップでは、人物肌領域の検出に成功したことをセットする［ＨＭ＝“１１１１”］。そして、検出した特徴領域の特徴量データ（前述）を保存する。
【００３９】
なお、本発明は、上記特徴領域検出手段／方法に限定されるものではなく、他の人物顔検出、個人顔承認による検出方法に置き換えることも可能である。
【００４０】
ここで図１に戻り、Ｓ１０３ステップにおいて、Ｓ１０２ステップにおける検出結果“ＨＭ”が“１１１１”であると判定された場合には、画像から抽出した特徴領域を利用した補正用テーブルを作成する必要があると判定する。そして、この特徴領域の特徴量に基づき補正用テーブルを作成する。
【００４１】
一方、Ｓ１０３ステップにおいて、Ｓ１０２ステップにおける検出結果の“ＨＭ”が“００００”と判定された場合には、そのままＳ１０４ステップへ移行する。
【００４２】
Ｓ１０４ステップでは、Ｓ１０３ステップにおいて特徴領域の特徴量に基づいて作成される補正用テーブルの有無を判断して、存在しない場合は特徴領域の検出結果を反映しない全領域に共通の定義に基づく画像補正を実行する。一方、補正用テーブルが存在する場合は、特徴領域の検出結果を反映するように、共通の定義に基づく画像補正に対して、作成された補正用テーブルを利用できるように、特徴領域部分について共通定義の補正用テーブルと置き換えを行った後に画像補正を実行する。なお、この画像補正の処理自体は、従来と同様の手法を用いることができる。
【００４３】
次に、図１０の抽出処理フローチャートにおけるＳ１００１での候補グループの検出方法について詳細な説明を行う。  
本実施形態においては、Ｊｐｅｇ画像の画像圧縮単位である８＊８画素を色度判定のための最小単位のグループとして設定を行う。本実施形態においても使用する色度判定として最も利用され得る人物肌の色度判定方法について説明する。
【００４４】
人物肌色度の検出方法としては、複数の方法がある。知られているものとしては、
１）Ｂ（青）／Ｇ（緑）の比率が０．７〜０．８の範囲に収まり、Ｒ（赤）／Ｇ（緑）の比率が１．４〜１．８の範囲に収まる色度を持つもの。  
２）図１２の概念図に示すように、肌色を確率楕円にて表すことができ、この確率楕円に入るもの。なお、この確立楕円を求める式としては、周知である下記の（１）〜（３）式になる。
【００４５】
【数１】
2007334675.tif 000003
【００４６】
【数２】
2007334675.tif 000004
【００４７】
【数３】
2007334675.tif 000005
【００４８】
ここで、
【００４９】
【数４】
2007334675.tif 000006
【００５０】
はそれぞれ肌色の色度ｒ，ｇの平均値、σｒ２やσｇ２はそれぞれ対応する分散である。また、ηは確率を表す係数で、η＝２．０、η＝１．５、η＝１．０でそれぞれ確率楕円９５％、８４％、６８％に対応する。
【００５１】
本実施形態においては、処理の簡便さを考慮に入れた下記の（４）式で表される色度分布範囲を肌色の色度範囲とし、これを人物肌領域を検出するための色度の判定範囲とする。この範囲を表したのが図５である。
【００５２】
【数５】
2007334675.tif 000007
【００５３】
次に、色度判定の為の最小単位のグループとして設定したＪｐｅｇ画像の画像圧縮単位である８＊８画素のグループの色度を判定する為に（４）式の色度範囲と比較判定する８＊８画素のグループの色度代表値をどのように設定するかを考える。
【００５４】
一例を図７に示す。図７は、本実施形態で用いる色度検出ポイントを図示したものである。これによると８＊８画素単位ブロックの四隅の色度の全てが（４）式の色度範囲に入っているかを確認し、全てが範囲に入っている時は、そのブロックが適合色度であると判定するものである。
【００５５】
図７においては上段の左から２番目と下段の左から１，２，３ブロックが適合色度に該当する。上段の一番左のブロックは４ポイントのうち左上の色度は非肌色ピクセルと判定されるので、これを含むブロックは肌色の範囲外と判定される。同じように上段の右側１，２ブロックと下段の一番右のブロックが範囲外となる。
【００５６】
次に、図１０のＳ１００１ステップにおける候補グループ検出方法の詳細説明フローチャートとして、画像の中で最も重要と思われる人物肌領域の検出を説明するフローチャートを図６に示し、Ｓ１００１ステップの詳細をさらに説明する。
【００５７】
Ｓ６０１ステップでは、取得したＪｐｅｇ画像データから８＊８画素のブロック単位のＤＣＴデータと量子化テーブルを取得すると同時に、画像データはＲＧＢビットマップデータに展開する。
【００５８】
次に、Ｓ６０２ステップで、画像データを構成する各８＊８画素のブロックの輝度および色度データを抽出し、予め用意した閾値と比較することで分類を実行する。
【００５９】
検索範囲は全画面に対し行っても良いが、本実施形態においては、注目する人物肌領域が画像の端部に配置されているとは考え難いので、画像端部より数ブロック分の領域は色度検索の対象から外して検索を行う。この場合、入力画像サイズにより８＊８画素ブロックの画像が全画像に対して占める割合が違うので、入力画像サイズに比例した端部の設定を行う。例えばＶＧＡ（６４０＊４８０）では８ブロック分で、ＵＸＧＡ（１６００＊１２００）画像においては２０ブロック分とする。
【００６０】
この部分の詳細について図２のフローチャートを参照し説明する。
【００６１】
Ｓ２０１ステップにおいて、入力画像を８＊８画素ブロックに分解したブロックごとに輝度データを収集する。Ｊｐｅｇ輝度データにおけるＤＣ成分（直流成分）として、８＊８画素データの輝度平均値を代表値として検出する。
【００６２】
次いで、Ｓ２０２ステップで、色度判定対象の各８＊８画素ブロックに対して、色度判定手段を決定する。
【００６３】
色度判定において、可変する可能性があるのは、判定における適合範囲である肌色のＲＧ色度分布の値である。可変にあたっては、不図示ではあるが、Ｓ１００１ステップからＳ１００４ステップまでの候補グループ検出の内部処理において、最初に検出した候補に対して色度判定を行う。そして、色度判定の適合範囲の再設定が必要か判断し、その結果により再測定が必要と判断した場合は、再測定する為の適合範囲である肌色のＲＧ色度分布の値を算出し、その値を使用して再測定を実行する。詳細は、後述する。
【００６４】
Ｓ２０３ステップでは、各８＊８画素ブロックに対して、決定された色度判定手段に従い、色度の判定を実行する。
【００６５】
次いで、Ｓ２０４ステップでは、Ｓ２０３ステップの判定結果に基づき、各８＊８画素ブロックの色度が特徴領域の対象として適合するものを選別する。この選別により選ばれた８＊８画素ブロックの領域を対象に、領域の大きさや、空間周波数特性による特徴量などの定義範囲との一致度により特徴領域の検出および判定を進める。詳細は、後述する。
【００６６】
上記検出をブロックベースにすることにより、特定のまとまりを持ったものを対象とすることになるので、外来ノイズの影響は受け難くなる。しかしながら、８＊８画素のブロックが適正なまとまりの大きさとは言えないので、色度によるブロック検出においても縦方向及び横方向に隣接したブロックの連続検出という制約を付けた検出を行うことで更に精度を上げることができる。
【００６７】
ここにおいて、人の肌色であってもプリントした際、顔を認識できるデータ量を満たさないものは適応外としてはじいても良いと言う考えで、こうしたものをノイズと判定する連続範囲を設定する。この部分を表したのが図６のＳ６０３ステップ以降である。以下では、図６を参照し説明する。
【００６８】
Ｓ６０３ステップでは、画像に対して長手方向に対して、色度範囲に適合と判断したブロックごとに検出を行い、連続して検出されたブロックの連続検出ブロック数の多い順に候補を検索する。
【００６９】
次いでＳ６０４ステップにおいて、適合色度範囲に適合した連続検出ブロックが検出されたか判断する。対象の連続検出ブロックがある場合はＳ６０６ステップへ進む。また、対象の連続検出ブロックがない場合はＳ６０５ステップへ進む。
【００７０】
Ｓ６０５ステップでは、入力した画像データの中に抽出対象となる特徴領域が無いことをセットして処理を終了する。ここでは所定の識別子に、抽出対象となる特徴領域が無いことを示す値を設定する。
【００７１】
一方、Ｓ６０６ステップでは、画像の短手方向に対して、適合色度範囲に適合すると判断したブロックごとに、予め定義してある連続量を含むものを検索し、Ｓ６０７ステップへ移る。
【００７２】
Ｓ６０７ステップにおいては、入力した画像データの中に抽出対象となる特徴領域候補が存在するか判定を行う。存在しない結果を得た場合、すなわち検出データが無い場合はＳ６０５ステップへ進み、特徴領域が無いことをセットして（Ｓ６０５と同様にして）、処理を終了する。一方、対象となる候補データが存在する場合はＳ６０８ステップへ進む。
【００７３】
Ｓ６０８ステップでは、抽出対象となる特徴領域候補データに長手方向の連続ブロック数の大きいものから順に候補番号（１〜ｎ）を付ける。特徴領域候補データは１つしかない場合は番号１となるが、特徴領域候補データが複数の場合は最大で８個まで候補番号を発行する。候補番号を持った領域の中で、その後、最終の目標領域となるものを判定する。
【００７４】
次いでＳ６０９ステップにおいて、判定対象となる特徴領域候補データの候補番号が発行された数（ｎ）より大きくないことを確認してＳ６１０ステップへ進む。また、候補番号より大きくなった場合は、すべての候補について判定が終了したと判定し、処理を終了し、図１０のＳ１００２ステップへ移行する。
【００７５】
Ｓ６１０ステップでは、色度判定に適合した判定対象となる特徴領域候補データに対して、その空間周波数成分が抽出対象の特徴量適合範囲（予め設定してある空間周波数特性の範囲）に収まっているか比較を行う。
【００７６】
Ｊｐｅｇファイルにおいてはすべての画像領域の画素情報を８＊８画素単位のグループで空間周波数成分に変換している。ここで言う空間周波数成分とは、Ｊｐｅｇ画像のデータ圧縮のために画素データを８＊８画素単位でＤＣＴ変換したものである。Ｊｐｅｇ画像データは、周知のように、８＊８ブロックデータの左上をＤＣ成分（直流成分）として８＊８画素データの平均値をとり、他をＡＣ成分（交流成分）として主に空間周波数の低い順にその値が並べられている。つまり低周波数のものから順に配置された空間周波数データとなっている。処理済みのデータを周波数分布として、候補グループの各ブロックにおけるデータを統計処理することで、空間周波数成分における特徴量の一致を判定する。なお、ここでの統計処理は、特徴量の一致を判定するための一般的な手法を使用することができる。
【００７７】
Ｓ６１１ステップでは、Ｓ６１０ステップの結果を受け、判定を行う。適合範囲外の場合はＳ６０９ステップへ移行し、次の特徴領域候補データに対する判定に移行する。
【００７８】
Ｓ６１２ステップにおいては、対象の特徴領域候補データを所望の特徴領域として認識してセットする。そしてＳ６０９ステップへ移行し、次の特徴領域候補データに対する判定に移行する。
【００７９】
検出候補の優先順位が高い方（検出ブロック長が長い方）から優先候補となり、隣接する色度該当ブロックをグループ化する。検出結果のグループは、優先候補順に、例えば、カラーコード（１＝茶、２＝赤、３＝橙、４＝黄、５＝緑、６＝青、７＝紫、８＝灰）順に配置される。
【００８０】
以上、説明してきたように、Ｓ１００１ステップからＳ１００４ステップまでの処理において、所望の特徴領域である人物肌領域の検出を実行する。しかし、最終候補となった特徴領域のグループに対して、フローチャートとしては不図示ではあるが、このままの検出結果でよいか判定を行う。そして、再測定が必要と判断した場合は、再測定するための適合範囲である肌色のＲＧ色度分布の値を算出し、その値を使用してＳ１００１ステップからＳ１００４ステップまでの処理による再測定を実行する。
【００８１】
図３は、再設定による再測定が必要かを判定し、さらに処理する部分のフローである。以下に、これを説明する。
【００８２】
Ｓ３０１ステップは、前述のＳ１００１ステップからＳ１００４ステップまでの処理を代表してあらわしたものである。ここにおいて、画像中に所望の特徴領域である人物肌領域の特徴領域候補グループがあるか検出処理を実行する。
【００８３】
Ｓ３０２ステップにおいて、処理の結果として特徴領域候補グループを検出した場合は、Ｓ３０３ステップへ移行する。一方、特徴領域候補グループを検出しなかった場合、または、特徴領域候補グループが所望の特徴領域である人物肌領域でないと判定された場合は、Ｓ３０６ステップへ移行する。Ｓ３０６ステップでは、所望の特徴領域である人物肌領域の検出に失敗したことをセットする［ＨＭ＝“００００”］。
【００８４】
Ｓ３０３ステップでは、特徴領域候補グループの代表色度を算出する。代表色度の算出としては、特徴領域候補グループを構成するブロック単位の検出色度の平均値を算出し、これを代表値とする。
【００８５】
次いで、Ｓ３０４ステップにおいて、特徴領域候補グループの色度代表値である代表色度が、色度の適合判定に使用された色度範囲の中心からの離れ具合に基づいて、特徴領域候補グループの肌色領域検出に対して有効な色度範囲の判定値であったかを判断する。詳細は、後述する。ここで人物肌領域と判定された場合は、Ｓ３０５ステップへ移行する。
【００８６】
Ｓ３０５ステップでは、人物肌領域の検出に成功したことをセットする［ＨＭ＝“１１１１”］。さらに、検出した特徴領域の特徴量データを保存する。
【００８７】
ここで、有効な色度範囲の判定について説明する。
【００８８】
図４は、不特定で複数の画像データより、被写体として人物肌領域の色度を測定し、プロットした実データである。縦軸は、緑色成分の色度（Ｇ／Ｒ＋Ｇ＋Ｂ）をあらわす。横軸は、赤色成分の色度（Ｒ／Ｒ＋Ｇ＋Ｂ）をあらわす。
【００８９】
固定の適合色度範囲により１回の測定で判定を行う従来の測定方式で人物肌領域の検出に成功したものを（○）でプロットし、検出に失敗したか、もしくは、検出したが、検出した領域が不完全であった場合を（△）でプロットしている。先の（４）式で示した適合色度に収まる範囲で、検出に成功したものが多く、適合色度範囲の境界付近もしくはそれより外に分布している被写体の肌色は検出に失敗していることがわかる。この原因は、撮影環境として色かぶりしたものなどが要因と考えられる。この場合においても、適合色度範囲の境界付近のものについては、検出した特徴領域候補グループの色度代表値を元に（４）式で示した適合色度を再設定することで、当初より良好な検出ができる。
【００９０】
次に、特徴領域候補グループの肌色領域検出に対して有効な色度範囲の判定値であったかを判断する方法について説明する。
【００９１】
Ｓ３０２ステップの色度判定において使用する基準は前述の（４）式で表した色度範囲である。つまり、赤色成分の色度［Ｒ／（Ｒ＋Ｇ＋Ｂ）］の適合範囲が“０．３５〜０．４４”、緑色成分の色度［Ｇ／（Ｒ＋Ｇ＋Ｂ）］の適合範囲が“０．２９〜０．３３”に特徴領域候補グループの肌色領域が収まるものを人物の肌領域と判定している。
【００９２】
図８を用いて従来の検出方法を用いた検出結果を示すと、図８の１）は、人物を被写体とした元画像である。図８の２）が肌色領域の適合判定を（４）式の基準のみで判定した場合の特徴領域候補グループである。第１の候補グループとなった左上の検出領域（左上の人顔に対応する部分）と実際の元画像における人物の肌の領域を比べると検出された領域の方が実態よりも少ないことがわかる。
【００９３】
この特徴領域候補グループの中で第１の候補グループにおける色度代表値は赤成分の色度［Ｒ／（Ｒ＋Ｇ＋Ｂ）］は“０．３７５”、緑成分の色度［Ｇ／（Ｒ＋Ｇ＋Ｂ）］の適合範囲は“０．３００”と算出された。
【００９４】
（４）式で規定した適合色度範囲と図８の第１の候補グループにおける色度代表値との関係を表したものが図１３である。
【００９５】
同図において、縦軸は、緑色成分の色度（Ｇ／Ｒ＋Ｇ＋Ｂ）を表し、最低値が“０．２９０”、最高値が“０．３３０”である。横軸は、赤色成分の色度（Ｒ／Ｒ＋Ｇ＋Ｂ）を表し、最低値が“０．３５０”、最高値が“０．４４０”である。中央の“Ｏ”は、緑色成分の色度が“０．３１０”、赤色成分の色度が“０．３９５”となる。中央の“Ｏ”を中心として半径“Ｒ”が“０．０２０”の範囲に入る領域とそれ以外の領域に分ける。
【００９６】
中央の“Ｏ”を中心として半径“Ｒ”内に第１の候補グループにおける色度代表値が入るものについては、Ｓ３０４ステップにおいて、肌色領域検出に対して有効な色度範囲の判定値だと判定する。
【００９７】
また、中央の“Ｏ”を中心として半径“Ｒ”内に第１の候補グループにおける色度代表値が入っていない場合で、かつ、（４）式で規定した適合色度範囲に入っている場合は、次のようにする。すなわち、図８における第１の候補グループの検出位置（図１３の☆印）においては、人物の肌色としては適合範囲に収まるが、図３のフローにおけるＳ３０４ステップでは、Ｓ３０７ステップへ進む検出用色度範囲の再設定と再処理を要求される対象と判定される。
【００９８】
Ｓ３０７ステップでは、第１の候補グループにおける色度代表値を中心として、赤色成分の色度（Ｒ／Ｒ＋Ｇ＋Ｂ）の適合幅“０．０９０”、緑色成分の色度（Ｇ／Ｒ＋Ｇ＋Ｂ）の適合幅“０．０４０”をもつ新しい検出用色度の適合基準を算出して、セットする。なお、この例では、適合色度範囲の幅は初期値と同じであるが中心が異なるものとなっている。
【００９９】
この場合における図８の元画像から検出した第１の候補グループにおける色度代表値を中心として、新しい検出用色度の適合基準を作成した結果を図９に示す。初期値の検出基準である色度範囲を実線で示し、新しい検出用色度による適合基準である色度範囲を点線で示す。適合色度範囲が移動したことを確認することができる。
【０１００】
その後、Ｓ３０８ステップにおいて、Ｓ３０１ステップと同等な検出処理を実行する。
【０１０１】
次いで、Ｓ３０９ステップでは、特徴領域候補グループを検出しなかったと判定された場合、または、特徴領域候補グループが所望の特徴領域である人物肌領域でないと判定された場合は、Ｓ３０６ステップへ移行する。  
Ｓ３０６ステップでは、所望の特徴領域である人物肌領域の検出に失敗したことをセットする［ＨＭ＝“００００”］。
【０１０２】
一方、Ｓ３０９ステップにおいて、特徴領域候補グループを検出した場合は、Ｓ３０５ステップへ移行する。  
Ｓ３０５ステップにおいては、人物肌領域の検出に成功したことをセットする［ＨＭ＝“１１１１”］。そして、検出した特徴領域の特徴量データを保存する。
【０１０３】
図８の３）は、前述の新しい検出用色度の適合基準を用いて所望する特徴領域を検出した結果である。図８の２）の検出結果に比べて明らかに良好な検出ができていることが確認できる。
【０１０４】
本実施形態の説明においては、最終候補のグループの代表値を用いて再測定のための判定及び、再測定する為の適合範囲である肌色のＲＧ色度分布の値を算出した。このとき、最終候補グループが複数存在する場合は、その複数グループごと代表値を用いて、再測定する為の適合色度範囲である肌色のＲＧ色度分布の値を算出することも、更に有効である。
【０１０５】
また、本実施の形態では、画像圧縮ファイルとして、“Ｊｐｅｇファイル”を利用した方法を開示した。もちろん、“Ｊｐｅｇ２０００  ｆｉｌｅ“など、周波数成分への変換を利用した他のファイルに対しても同様な考え方で、特徴領域の検出を簡単な処理で実現できることは、言うまでもない。
【０１０６】
なお、以上に説明した本実施形態の画像処理装置は、前述のようにコンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどで構成されるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。
【０１０７】
したがって、コンピュータが上記機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものである。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
【０１０８】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるようなプログラムは、本発明の実施形態に含まれる。このようなプログラムが、コンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して、上述の実施形態の機能が実現される場合もあり得る。あるいは、コンピュータに供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合もあり得る。
【０１０９】
また、本発明をネットワーク環境で利用するべく、全部あるいは一部のプログラムが他のコンピュータで実行されるようになっていても良い。例えば、画面入力処理は、遠隔端末コンピュータで行われ、各種判断、記録等は他のセンターコンピュータ等で行われるようにしても良い。
【図面の簡単な説明】
【０１１０】
【図１】本発明の一実施形態に関わる処理の全体の流れを表すフローチャートである。
【図２】本発明の一実施形態に関わる画素グループの輝度および色度検出と判定のフローチャートである。
【図３】本発明の一実施形態に関わる色度定義における再定義判定及び処理のフローチャートである。
【図４】本発明の一実施形態に関わる複数画像サンプルから抽出した検出及び検出が不十分な領域における色度分布のデータである。
【図５】本発明の一実施形態に関わる肌色のＲＧ色度分布である。
【図６】本発明の一実施形態に関わるＪｐｅｇ画像解凍からの人物肌領域検出のフローチャートである。
【図７】本発明の一実施形態に関わる、Ｊｐｅｇファイル画像圧縮単位である８＊８Ｂｌｏｃｋにおける色度判定方法の一例である。
【図８】（１）対象画像である元画像、（２）従来の検出結果（色度１ｐａｓｓ）、（３）本発明による検出結果（色度２ｐａｓｓ）を示す図である。
【図９】本発明の一実施形態に関わる適合色度範囲に対して、検出用色度範囲を算出し直した場合の例を示す図である。
【図１０】本発明の一実施形態に関わる人物肌領域検出処理の概要フローチャートである。
【図１１】本発明の一実施形態に関わる画像処理装置のハード構成である。
【図１２】本発明の一実施形態に関わる肌色のＲＧ色度分布を示す確立楕円範囲の例を示す図である。
【図１３】本発明の一実施形態に関わる肌色のＲＧ色度範囲と第１の候補グループにおける色度代表値との関係を表した図である。
【符号の説明】
【０１１１】
５１…入出力ポート
５２…マウス
５３…キーボード
５４…モニタ
５５…制御部
５６…メモリカードドライブ
５７…ハードディスク
【図１】
2007334675.tif 000008
【図２】
2007334675.tif 000009
【図３】
2007334675.tif 000010
【図４】
2007334675.tif 000011
【図５】
2007334675.tif 000012
【図６】
2007334675.tif 000013
【図７】
2007334675.tif 000014
【図８】
2007334675.tif 000015
【図９】
2007334675.tif 000016
【図１０】
2007334675.tif 000017
【図１１】
2007334675.tif 000018
【図１２】
2007334675.tif 000019
【図１３】
2007334675.tif 000020