(57)【要約】  【目的】  特定画像の検出結果を利用した精度の高い領域区画（抽出）処理を実現しつつ，特定画像検出に失敗したときでも，特定画像部分の区画（抽出）を可能とする。  【構成】  入力画像中に，人物の正面顔を表す画像が含まれているかどうかが，顔検出回路６において判断される。入力画像中に人物の正面顔を表す画像が含まれていることが検出されると，顔検出結果を利用して，検出された顔画像部分がその他の画像部分から区画（抽出）される。人物の顔画像が含まれてはいるが，横向きの顔画像であるために顔検出ができなかった場合には，肌色を表す色領域とその他の色領域とに入力画像が区別され，肌色画像領域のうち，人物の顔画像の形状に沿う形状を持つ領域を表すデータが区画（抽出）される。【選択図】  図１
2006065613.tif 000002
【特許請求の範囲】
【請求項１】
与えられる画像データによって表される画像中に特定画像が含まれているかどうかを検出する特定画像検出手段，
上記特定画像検出手段によって特定画像が検出された場合に，検出された特定画像を取囲む領域を区画して，区画された領域を表すデータを出力する第１の特定画像領域区画手段，および
上記特定画像検出手段によって特定画像が検出されなかった場合に，与えられる画像データによって表される画像を，上記特定画像が持つ色を表す特定画像色領域とその他の色領域とに区別し，上記特定画像色領域のうち，上記特定画像の形状に沿う形状を持つ特定画像色領域を表すデータを出力する第２の特定画像領域区画手段，
を備えた特定画像領域区画装置。
【請求項２】
上記特定画像検出手段によって検出された特定画像の数を検出する特定画像数検出手段，
所与の指定数と，上記特定画像数検出手段によって検出された特定画像数とを比較する比較判定手段，
上記比較判定手段によって，検出された特定画像数が指定数よりも多いことが判定された場合に，上記特定画像検出手段によって検出された特定画像のそれぞれについて，重要度を算出する重要度算出手段，および
上記重要度算出手段によって算出された重要度に基づいて，上記画像データによって表される画像中に含まれる特定画像の中から上記指定数と同じ数の特定画像を選択する選択手段を備え，
上記第１の特定画像領域区画手段は，上記選択手段によって選択された上記指定数の特定画像について，特定画像を取囲む領域を区画するものである，
請求項１に記載の特定画像領域区画装置。
【請求項３】
与えられる画像データによって表される画像中に特定画像が含まれているかどうかを検出し，
特定画像が検出された場合に，検出した特定画像を取囲む領域を区画して，区画された領域を表すデータを出力し，
特定画像が検出されなかった場合に，与えられる画像データによって表される画像を，上記特定画像が持つ色を表す特定画像色領域とその他の色領域とに区別し，上記特定画像色領域のうち，上記特定画像の形状に沿う形状を持つ特定画像色領域を表すデータを出力する，特定画像領域区画方法。
【請求項４】
記憶装置から与えられる画像データによって表される画像中に特定画像が含まれているかどうかを検出する特定画像検出処理，
上記特定画像検出処理によって特定画像が検出された場合に，検出した特定画像を取囲む領域を区画して，区画された領域を表すデータを出力する第１の領域区画処理，および
上記特定画像検出処理によって特定画像が検出されなかった場合に，与えられる画像データによって表される画像を，上記特定画像が持つ色を表す特定画像色領域とその他の色領域とに区別し，上記特定画像色領域のうち，上記特定画像の形状に沿う形状を持つ特定画像色領域を表すデータを出力する第２の領域区画処理，
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，特定画像領域区画装置および方法，ならびに特定画像領域区画処理をコンピュータに実行させるためにプログラムに関する。
【背景技術】
【０００２】
ディジタル画像データによって表される画像は，表示装置の表示画面上に表示されたり，プリンタによって印画紙にプリントされたりする。表示画面上または印画紙上にディジタル画像データによって表される画像が可視的に表される。表示画面上または印画紙上に表される画像を，より美しく（より忠実に）再生するために，ディジタル・カメラ，プリンタ，パーソナル・コンピュータ等において，ディジタル画像データに対して種々の補正処理，たとえば，ホワイトバランス補正，ガンマ補正等が施される。
【０００３】
画像中に含まれる特定の画像部分に着目して，画像データに対して補正処理を施すことがある。たとえば，画像中に人物の顔が含まれている場合に，その人物の顔がより美しく（より忠実に）再生されるように，人物の顔の部分を対象にして，ホワイトバランス補正，ガンマ補正，その他の補正処理を施す等である。
【０００４】
画像中に含まれる特定画像部分（たとえば，人物の顔画像部分）を表す画像データに対して補正処理を施すために，その特定画像部分を，全体画像の中から検出する（抽出する，切出す，抽出する，境界を決める，区画する）ことが必要とされる。
【０００５】
画像中に含まれる特定画像部分，たとえば人物の顔画像部分を表す画像データを，他の画像部分（人物の顔画像部分以外の画像部分）と区別して顔画像部分を表す画像データのみを抽出する（区画する）方法として，特許文献１には，色情報を利用した顔画像部分の抽出方法が記載されている。特許文献１では，画像を構成する各画素の色相が肌色の範囲に含まれるか否かを判断し，原画像を肌色領域と非肌色領域とに分割する。さらに，原画像中のエッジを検出し，原画像をエッジ部分と非エッジ部分とに分類する。肌色領域内に位置しており非エッジ部分と分類された画素からなり，かつエッジ部分と判定された画素で囲まれた領域を顔候補領域として抽出する。
【０００６】
色情報を利用した顔画像部分の抽出方法では，画像を構成する画素ごとの色が肌色範囲に属する色であるかどうかの判断が，顔画像部分の抽出の精度に大きく影響を与える。このため，たとえば同一の被写体を，異なる光源下（たとえば，蛍光灯光源，タングステン光源等）において撮像して得られた異なる被写体像においては，肌色範囲に属する色と判定される画素（画素範囲）は異なるものになってしまう。
【０００７】
他方，画像中に含まれる特定画像部分を，色情報を用いずに，形状に基づいて検出する処理をあらかじめ行い，検出された特定画像部分を含む矩形領域を処理対象にして，顔画像部分を抽出する処理も考えられている。特定画像部分を検出処理が，色情報を用いることなく行われるので，撮影時の光源の種類に影響を受けることが少ない顔画像部分の抽出処理を行うことができる。
【０００８】
しかしながら，画像中に含まれる特定画像部分を，形状に基づいて検出する処理を前提とした顔画像部分抽出方法では，当然に，顔画像部分が検出されることが，その後の顔画像の抽出処理に必要不可欠である。たとえば，人物の顔画像についての顔検出処理では，一般には，正面顔が画像中に含まれていれば，その顔画像を検出することができる。しかしながら，顔画像は含まれてはいるものの，それが横顔の画像であるような場合には，顔画像の検出に失敗し，結局，顔画像抽出に失敗してしまうことがある。
【特許文献１】特開平９−１０１５７９号公報
【発明の開示】
【０００９】
この発明は，特定画像の検出結果を利用した精度の高い領域区画（抽出）処理を実現しつつ，特定画像検出が失敗したときでも，特定画像部分の区画（抽出）を可能とすることを目的とする。
【００１０】
この発明による特定画像領域区画装置は，与えられる画像データによって表される画像中に特定画像が含まれているかどうかを検出する特定画像検出手段，上記特定画像検出手段によって特定画像が検出された場合に，検出された特定画像を取囲む領域を区画して，区画された領域を表すデータを出力する第１の特定画像領域区画手段，および上記特定画像検出手段によって特定画像が検出されなかった場合に，与えられる画像データによって表される画像を，上記特定画像が持つ色を表す特定画像色領域とその他の色領域とに区別し，上記特定画像色領域のうち，上記特定画像の形状に沿う形状を持つ特定画像色領域を表すデータを出力する第２の特定画像領域区画手段を備えたことを特徴とする。
【００１１】
この発明によると，まず，与えられる画像データによって表される画像中に特定画像が含まれているかどうかが検出される。与えられる画像データによって表される画像（以下，入力画像という）中に，特定画像が所定の形状で存在すると，入力画像中にその特定画像が存在することを検出することができる。たとえば，入力画像中に含まれる人物の正面顔を表す画像部分は，形状に関するパターンマッチングによってその存在を検出することができる。
【００１２】
入力画像中に特定画像が存在することが検出されると，検出された特定画像について，その検出結果を利用して，特定画像を取り囲む領域が区画されて，区画された領域を表すデータが出力される。
【００１３】
一実施態様では，上記第１の特定画像領域区画手段は，検出された特定画像を含む画像データによって表される画像の中心から放射状に，所定形状の複数の射影情報作成窓を設定し，設定した複数の射影情報作成用窓内の画像部分のそれぞれについて，上記画像の中心から放射状方向への単位画素位置ごとに画像情報を加算して得られる射影情報を作成し，作成された射影情報に基づいて，複数の射影情報作成用窓内の画像部分のそれぞれについて，特定画像と特定画像以外の画像の境界位置を決定し，決定した複数の隣接する境界位置を結ぶことによって，特定画像領域を区画するものである。射影情報作成窓のそれぞれについて，射影情報によって特定画像と特定画像以外の画像の境界位置が決定される。隣り合う複数の境界位置を結ぶことによって，特定画像領域が区画される。
【００１４】
このように，入力画像中に含まれる特定画像を検出できた場合には，検出された特定画像について，特定画像をその他の画像部分と区画する（特定画像領域を抽出する）処理が行われる。検出処理によって特定画像のおおよその位置があらかじめ認識（検出）されるので，比較的精度のよい特定画像領域区画処理を行うことができる。
【００１５】
入力画像中に特定画像が含まれているにもかかわらず，その特定画像を検出できなかった場合には，色情報を利用した第２の特定画像領域区画処理が行われる。第２の特定画像領域区画処理では，与えられる画像データによって表される画像を，上記特定画像が持つ色を表す特定画像色領域とその他の色領域とに区別し，上記特定画像色領域のうち，上記特定画像の形状に沿う形状を持つ特定画像色領域を表すデータを出力する。
【００１６】
たとえば，特定画像が人物の顔画像であるとする。そして，その入力画像中に含まれている顔画像が横向きの顔を表すものであるとする。この場合，入力画像中に顔画像は含まれてはいるものの，その顔画像が検出できないことがある。この場合に，第２の特定画像領域区画処理が行われる。すなわち，人物の顔は肌色の色を含むので，この肌色を表す色を持つ画像領域と，肌色を表す色を持たない画像領域とに，入力画像を区別することができる。肌色を表す色を持つ画像領域のうち，人物の顔の形状に沿う形状（人物の顔の形状に近い形状を含む）の領域が出力される。
【００１７】
この発明によると，入力画像中に含まれている特定画像を検出することができた場合には，その検出結果を利用して，すなわち，検出された特定画像の位置には特定画像が存在することを前提とした特定画像領域区画処理が行われる。さらに，入力画像中に含まれている特定画像を検出することができなかった場合には，色情報を利用して特定画像が区画される。特定画像の検出結果を利用した精度の高い領域区画処理を実現しつつ，特定画像の検出に失敗した場合でも，特定画像領域を区画することができる。
【００１８】
好ましくは，特定画像領域区画装置は，上記特定画像検出手段によって検出された特定画像の数を検出する特定画像数検出手段，所与の指定数と上記特定画像数検出手段によって検出された特定画像数とを比較する比較判定手段，上記比較判定手段によって，検出された特定画像数が指定数よりも多いことが判定された場合に，上記特定画像検出手段によって検出された特定画像のそれぞれについて，重要度を算出する重要度算出手段，および上記重要度算出手段によって算出された重要度に基づいて，上記画像データによって表される画像中に含まれる特定画像の中から上記指定数と同じ数の特定画像を選択する選択手段を備え，上記第１の特定画像領域区画手段は，上記選択手段によって選択された上記指定数の特定画像について，特定画像を取囲む領域を区画するものである。
【００１９】
入力画像中に多数の特定画像を含まれている場合，多数の特定画像のすべてについて区画処理を行うと，処理時間が長くなってしまう。そして，多数の特定画像のすべてについて，区画領域を区画する必要が必ずしもないことがある。上記の実施態様では，特定画像の数が指定数よりも多い場合に，複数の特定画像の中から，上記指定数と同じ数の特定画像が選択され，選択された特定画像について，第１の区画処理が行われる。
【００２０】
特定画像の選択は，重要度に基づいて行われる。重要度は，複数の特定画像のそれぞれを，主要なものであるかどうかの観点からラベリングしたものである。たとえば，入力画像中に複数の顔画像が含まれている場合，入力画像の中央に位置する顔画像ほど主要な顔画像であることが多いという経験則がある。この経験則を用いる場合には，検出された複数の顔画像と，入力画像の中心との距離がそれぞれ算出され，算出された距離が短いほど大きい重要度がラベリングされるように，各顔画像についての重要度が算出される。
【００２１】
距離を用いた重要度の算出以外にも，特定画像の大きさ，パターンマッチングのスコア，これらの組合せを用いて，特定画像についての重要度をそれぞれ算出することもできる。
【００２２】
この発明は，上述した特定画像領域区画処理をコンピュータに実行させるためのプログラムも提供している。
【００２３】
この発明による特定画像領域区画装置および方法，ならびに特定画像領域区画処理プログラムは，ディジタル画像データに対して所定の信号処理（補正処理）を実行するデバイスを含む装置，システムの一部として，好適に組み込むことができる。
【実施例】
【００２４】
図１は，マスクデータ作成装置１の電気的構成を示すブロック図である。図２は，マスクデータ作成装置１の動作の流れを示すフローチャートである。
【００２５】
マスクデータ作成装置１は，人物の顔を表す画像が含まれている画像を表す画像データに基づいて，人物の顔を表す領域（顔画像領域）を抽出（区画）し，抽出（区画）された顔画像領域についてのマスクデータを作成する装置である。マスクデータ作成装置１によって作成されるマスクデータは，画像データに対する種々の画像処理に用いることができる。たとえば，作成されたマスクデータを用いることによって，入力された画像データ（以下，入力画像データという）によって表される画像（以下，入力画像という）中に含まれる顔画像領域の位置および範囲が特定されるので，その特定された顔画像領域が，より美しく（より忠実に）再生（表示）されるように，顔画像領域を対象にしてホワイトバランス補正処理，ガンマ補正処理，その他の補正処理を画像データに対して施す等の処理を行うことができる。
【００２６】
マスクデータ作成装置１は，２種類の顔画像領域の抽出処理を実行できるように構成されている。
【００２７】
その１は，顔検出結果を利用した顔画像領域抽出処理である。後述するように，マスクデータ作成装置１では，顔画像領域の抽出処理の実行に先立って，形状に基づくパターンマッチングによって，入力画像データによって表される入力画像中に，人物の顔を表す画像（顔画像）が含まれているかどうかを検出する。入力画像中に顔画像が含まれていることが検出された場合に，顔検出結果を利用した顔画像領域抽出処理が実行される。
【００２８】
その２は，色情報を利用した顔画像領域抽出処理である。入力画像中に顔画像が含まれているにもかかわらず，上述の顔画像の検出処理によって入力画像中に顔画像が含まれていることが検出されないことがある。この場合に，色情報を利用した顔画像領域抽出処理が実行される。
【００２９】
マスクデータ作成装置１に接続された入力装置（キーボード，マウス等）２から，指示データ（起動命令等）が入力される。入力された指示データは，制御回路20に与えられる。制御回路20によって，マスクデータ作成装置１が統括的に制御される。
【００３０】
入力装置２からは，最小顔検出サイズ，顔検出スコアおよび顔抽出最大個数のそれぞれを表すデータ（これらをまとめてパラメータと呼ぶ）も入力される（ステップ31）。
【００３１】
最小顔検出サイズは，後述する顔検出処理において検出すべき最小の顔画像の大きさを示す。画素数（縦方向画素数および横方向画素数）または入力画像の大きさに対する比によって，最小顔検出サイズが入力（指定）される。
【００３２】
顔検出スコアは，顔画像の検出スコアの最低値である。顔検出処理では，形状についてのパターンマッチングによって顔検出が行われる。パターンマッチングによって得られるマッチングスコアが所定値以上である場合に，顔画像が検出されたことが判断される。顔検出スコアは，この所定値を示す。
【００３３】
顔抽出最大個数は，入力画像に複数の顔画像が含まれていることが検出された場合に，検出された顔画像の中から抽出すべき顔画像を選択するために用いられる。入力画像中に顔抽出最大個数よりも多い顔画像が含まれており，顔検出処理によって顔抽出最大個数よりも多い顔画像が検出された場合に，その中から顔抽出最大個数の顔画像が選択され，選択された顔画像について顔画像領域抽出処理が行われる。
【００３４】
入力装置２から入力された最小顔検出サイズおよび顔検出スコアは，入力端子（入力インターフェース）４を介して顔検出回路６に与えられる。顔抽出最大個数は，入力端子（入力インターフェース）４を介して顔近傍領域切出し回路７に与えられる。
【００３５】
記憶装置３（ハードディスク，フレキシブルディスク，ＣＤ−ＲＯＭ，メモリ・カード等）から読み出された顔画像を含む画像を表す画像データは，入力端子５を介して顔検出回路６に与えられる（ステップ31）。
【００３６】
顔検出回路６において顔検出処理が行われる（ステップ32）。顔検出回路６は，上述のように，形状に基づくパターンマッチングによって，入力画像中に含まれる顔画像を検出する。形状に基づくパターンマッチングに代えて，または加えて，典型的な顔の濃淡パターンを用いたパターンマッチングを採用してもよい。いずれにしても，顔検出スコア以上のマッチングスコアが得られると，顔検出回路６は入力画像に顔画像が含まれていることを検出する。また，最小顔検出サイズよりも小さいサイズの顔画像については，たとえマッチングスコアが顔検出スコア以上であったとしても，その顔画像は検出された顔画像とは取り扱われない。
【００３７】
顔検出回路６は，上述のように，形状に基づくパターンマッチングによって入力画像中に含まれる顔画像を検出するため，顔画像が横向きであった場合など，入力画像中に顔画像が含まれているにもかかわらず，顔画像が検出できないことがある。この場合には，後述するように，色情報を用いた顔画像抽出処理が行われることになる。
【００３８】
はじめに，顔検出回路６によって顔画像が検出された場合について説明する。
【００３９】
顔検出回路６によって入力画像中の顔画像が検出された場合，顔検出結果を利用した顔画像領域抽出処理およびマスクデータ作成処理が実行される（ステップ33でYES ，ステップ34）。図３は，顔検出結果を利用した顔抽出処理およびマスクデータ作成処理の一例を詳細に示すフローチャートである。図４から図１０に示す具体的な画像例を参照しつつ，顔検出結果を利用した顔画像領域抽出処理およびマスクデータ作成処理を説明する。
【００４０】
顔検出回路６は，入力画像中に含まれる顔画像を検出すると，検出した顔画像のおおよその中心を表すデータ（たとえば，相対的な座標）およびおおよその大きさを表すデータ（パターンマッチングに用いられたパターンの大きさに基づく）を出力する。複数の顔画像が検出された場合には，検出された複数の顔画像のそれぞれについて，おおよその中心を表すデータおよびおおよその大きさを表すデータが出力される。
【００４１】
顔検出結果を利用した顔画像領域抽出処理およびマスクデータ作成処理では，顔近傍切出し回路７，顔サイズ正規化回路８，射影情報作成回路９，肌の色らしさ変換回路10，境界検出回路11，個別マスクデータ作成回路12およびマスクデータ作成回路13が用いられる。
【００４２】
顔近傍切出し回路７は，後述するように，入力画像に含まれる顔画像を含む矩形領域を切り出す処理を行う回路である。また，顔近傍切出し回路７は，顔検出回路６によって検出された顔画像の数が，上述した顔抽出最大個数を超えている場合には，切出し処理に先立って，顔選択処理を行う（ステップ41でYES ，ステップ42）。
【００４３】
顔検出回路６によって検出された顔画像の数が，上述した顔抽出最大個数を超えている場合，顔近傍切出し回路７は，各顔画像の中心と，入力画像の中心との距離を算出する。この距離が短い順番に，検出された顔画像の中から顔抽出最大個数分の顔画像が選択される。
【００４４】
もちろん，距離を用いた顔画像の選択以外にも，顔画像の大きさ，マッチングスコアの大きさ，その他の観点から顔画像を選択することもできる。
【００４５】
顔検出回路６によって検出された顔画像の数が，上述した顔抽出最大個数以下である場合には，上述の顔選択処理は行われない（ステップ41でNO）。
【００４６】
顔近傍切出し回路７は，顔検出回路６から与えられた検出された顔画像についての中心を表すデータおよび大きさを表すデータを用いて，入力画像に含まれる顔画像を含む矩形領域（以下，顔近傍領域）を切出す（区画する）（ステップ43）。
【００４７】
図４(A) は入力画像Ｇ１の一例を，図４(B) は入力画像Ｇ１から顔近傍切り出し回路７によって切り出された（区画された）２つの顔近傍領域ｇ１，ｇ２をそれぞれ示している。顔近傍領域ｇ１，ｇ２の位置は，顔検出回路６から与えられた，検出された顔画像（２つの顔画像である）についての中心を表すデータに基づく。顔近傍領域ｇ１，ｇ２の大きさは，顔検出回路６から与えられた，検出された顔画像についての大きさを表すデータに基づく。顔近傍領域ｇ１，ｇ２のそれぞれについて，次の説明する処理が行われる。以下，図４(B) に示す顔近傍領域ｇ１を具体的に取りあげて説明する。図４(B) に示す顔近傍領域ｇ１において，人物の背景は白色であることを前提とする。
【００４８】
顔近傍領域ｇ１を表す画像データが，顔近傍切出し回路７から顔サイズ正規化回路８に与えられる。顔サイズ正規化回路８では，顔近傍領域ｇ１を表す画像データを，所定のサイズ（たとえば，高さ256画素，幅256画素）に拡大または縮小する（ステップ44）。顔サイズ正規化回路８からは，所定サイズの画像データが出力される。顔サイズ正規化回路８に与えられた画像データが既に所定サイズのものであれば，顔サイズ正規化回路８では特段の処理は行われないのは言うまでもない。
【００４９】
顔サイズ正規化回路８から出力されたサイズが正規化された顔近傍領域ｇ１を表す画像データは，射影情報作成回路９に与えられる。
【００５０】
射影情報作成回路９は，その後段に設けられている肌の色らしさ変換回路10および境界検出回路11と協働して，顔近傍領域を表す画像データによって表される画像から，人物の顔領域を抽出（区画）する（顔領域とその他の領域との境界を決定する）ための処理を行う。
【００５１】
射影情報作成回路９の処理を，図５(A) 〜図７(A) を参照しつつ，説明する。
【００５２】
射影情報作成回路９は，サイズが正規化された顔近傍領域を表す画像データの幅方向サイズの半分の幅方向サイズを持ちかつ所定の高さ方向サイズを持つ，幅方向に長い矩形の射影情報作成窓ｗを用いて，射影情報（射影情報については，後述する）を作成する。射影情報作成窓ｗは，顔近傍領域の中心を軸にして所定角度ずつ回転移動し，各角度位置のそれぞれにおいて射影情報作成窓ｗを用いた射影情報が作成される。
【００５３】
図５(A) は，顔近傍領域ｇ１と射影情報作成窓ｗとの位置関係を示している。図５(A) において，顔近傍領域ｇ１に重合わされて示されている複数の矩形領域が，射影情報作成窓ｗである。射影情報作成窓ｗは，その一の短辺の中央が，顔近傍領域ｇ１の中心に合わせられている（この位置は固定である）。射影情報作成窓ｗを，顔近傍領域ｇ１の中心を軸にして，たとえば５．２６度づつ回転移動させたとすると，顔近傍領域ｇ１上における射影情報作成窓ｗは６４方向を向く。６４方向の角度位置のそれぞれにおいて，６４個の射影情報が作成される（図５(A) においては，分かりやすくするために，すべての角度位置（６４方向）における射影情報作成窓ｗは示されていない）。図５(B) は，５．２６度づつ射影情報作成窓ｗを回転移動させている様子を示す（図５(B) には，隣合う３つの角度位置における射影情報作成窓ｗ１，ｗ２，ｗ３が示されている）。隣合う角度位置の射影情報作成窓ｗは半分以上重なりあう。
【００５４】
各角度位置において作成される射影情報の作成の様子が，図６(A) および図６(B) に示されている。
【００５５】
射影情報は，次のようにして作成（算出）される。
【００５６】
（１）射影情報作成窓ｗ内の画像を構成する各画素ごとに，輝度値（Y）,赤色差値（Cr）および青色差値（Cb）値を取得する。たとえば，射影情報作成窓ｗの高さ方向（短辺）が24画素，幅方向（長辺）が128画素とすると（図６(A) 参照），２４行１２８列の，合計3072個の輝度値（Y），赤色差値（Cr）および青色差値（Cb）値が格納された３つのテーブル・データが得られる。図６(B) には，輝度値（Y）が格納されたテーブル・データが示されている。赤色差値（Cr）および青色差値（Cb）値についても，同様のテーブル・データが得られるのは言うまでもない。
【００５７】
（２）得られた３つのテーブル・データのそれぞれについて，列ごとの値が加算（合計）される。たとえば，図６(B) に示す２４行１２８列の，合計3072個の輝度値（Y）が格納されたテーブル・データが得られた場合には，１２８個の輝度値(Y)の列方向合計値が得られる。この１２８個の輝度値（Y）の列方向合計値が，輝度値についての射影情報である。赤色差値（Cr）および青色差値（Cb）値についても，同様に射影情報（赤色差値（Cr）についての射影情報，青色差値（Cb）値についての射影情報）が得られる（ステップ45）。
【００５８】
図７(A) は輝度値（Y）の列方向合計値（射影情報）（縦軸）と，顔近傍領域の中心からの距離ｘ（横軸）との関係をグラフ化して示したものである。図７(A) に示すグラフにおいて，ｘ1は，射影情報作成窓ｗ内の画像部分における肌領域（肌色）と髪（黒色）とのおおよその境界位置（顔近傍領域の中心からの距離）を示している。ｘ2は，射影情報作成窓ｗ内の画像における髪（黒色）と背景（白色）のおおよその境界位置を示している。
【００５９】
赤色差値（Cr）についての射影情報をグラフ化したもの，および青色差値（Cb）値についての射影情報をグラフ化したものの図示は省略するが，一般には，輝度値についての射影情報と同じようなグラフとなる。
【００６０】
図７(A) に示すグラフ（図６(B) の輝度値についての射影情報）から明らかなように，肌色領域とそれ以外の領域のおおよその境界位置，すなわち，射影情報作成窓ｗ内の画像における顔領域とそれ以外の領域のおおよその境界位置を，射影情報そのものを利用することによって検出することができる。たとえば，輝度値（Y） がマイナス方向に大きく変動する中心からの距離（図７(A) に示すグラフにおいては，中心からの距離ｘ1）を，顔領域とそれ以外の領域のおおよその境界位置として決定すればよい。
【００６１】
検出精度をさらに向上させるために，この実施例では，射影情報そのものを利用した境界位置の検出に代えて，次のようにして境界位置を検出する。
【００６２】
顔近傍領域の中心からの距離ｘと射影情報（Y,CrおよびCb値のそれぞれの列方向合計値）との関係（図７(A) ）を，顔近傍領域の中心からの距離ｘと肌らしさを表す値との関係に変換する処理が行われる。この変換処理が肌の色らしさ変換回路10によって行われる（ステップ46）。
【００６３】
肌の色らしさ変換回路10によって行われる，顔近傍領域の中心からの距離ｘと射影情報（Y,CrおよびCb値の列方向合計値）との関係を，顔近傍領域の中心からの距離ｘと肌らしさを表す値との関係に変換する処理は，次の式によって実現される。
【００６４】
【数１】
2006065613.tif 000003
【００６５】
ここで，Y(skin)，Cr(skin)，Cb(skin)は，それぞれ理想的な肌色を表す輝度値（Y），赤色差値（Cr）および青色差値（Cb）である。なお，式１において，Y(0)＝Y(skin)，Cr(0)＝Cr(skin)，Cb(0)＝Cb(skin)とする。
【００６６】
上記の式１に基づいて，輝度値(Y)，赤色差値（Cr）および青色差値（Cb）についての射影情報を変換して得られた値Ｐ(x) に基づいて表されるグラフの一例を，図７(B) に示す。
【００６７】
式１から明らかなように，変換後の肌の色らしさを表すＰ（ｘ）（図７(B) ）は，理想的な肌色からの距離を表すものになる。理想的な肌色の場合，変換後の肌の色らしさＰ（ｘ）は０になる。理想的な肌色から遠ざかるほど，変換後の肌の色らしさＰ（ｘ）はマイナスの大きい値になる。
【００６８】
ここで，肌色と肌色以外の色との境界位置（顔近傍領域の中心からの距離）は，次に示す式２によって得られる最大値を算出するｘ（顔近傍領域の中心からの距離ｘ）とする。
【００６９】
Ｄ(x) ＝（Ｐ(x-1)＋Ｐ(x-2)＋Ｐ(x-3)）−（Ｐ(x+1)＋Ｐ(x+2)＋Ｐ(x+3)）・・式２
ただし，Ｐ(x-1)⊆Ｓ  かつ  Ｐ(x-2)⊆Ｓ  かつＰ(x-3)⊆Ｓ
Ｓは肌色に近い色集合（図６(B) 参照：Ｓは設定値である）
【００７０】
式２によって，肌色から肌色でない色に（急激に）変化する変化位置（顔近傍領域の中心からの距離ｘ）が決定される。決定された顔近傍領域の中心からの距離ｘが，射影情報作成窓ｗ内の画像における肌色と肌色でない色との境界位置，すなわち射影情報作成窓ｗ内の画像部分における顔領域とそれ以外の領域との境界位置と決定される。式２を用いた境界位置の検出（決定）処理が，境界検出回路11によって行われる（ステップ47）。
【００７１】
検出すべき境界位置は，肌色から肌色以外の色に移り変わる境界位置である。射影情報（図７(A) に示すグラフ）に基づく判断では，たとえば，背景に青色から赤色へ変化する画像が含まれているとすると，青色から赤色への境界位置も，肌色から肌色以外の色に移り変わる境界位置と同様に評価されてしまう可能性が高く，また，顔領域の背景に肌色（または肌色に近い色）の物体の画像が存在すると，顔領域とそれ以外の領域との境界位置の検出が失敗してしまう可能性があるが，肌の色らしさを表すデータを用いることによって，そのような可能性を排除することができ，境界位置の検出精度が向上する。
【００７２】
上述の境界位置が，上述した６４方向のそれぞれの角度位置において検出（決定）される（ステップ48でNO ，ステップ45〜ステップ47）。６４個の境界位置が検出（決定）されることになる。図８(A) に，各角度位置において検出（決定）された境界位置を，×によって示す（分かりやすくするために，図８(A) には，６４個のすべての境界位置を示してはいない）。
【００７３】
境界検出回路11において，６４方向の角度位置においてそれぞれ検出（決定）された６４個の境界位置を表すデータ（座標データ）と，顔近傍領域ｇ１の画像データが個別マスクデータ作成回路12に与えられる（ステップ48でYES）。個別マスクデータ作成回路12は，隣合う境界位置を結ぶことによって規定される領域の外側をマスクした個別マスク画像（図８(B) ）を表す画像データを作成する（ステップ49）。隣合う境界位置を結ぶことによって規定される領域（内側領域）が，顔近傍領域ｇ１に含まれる顔画像についての顔画像領域である。もちろん，決定された境界位置付近の画像部分に，顔領域画像中に含まれるべき肌色が全く含まれていない場合（たとえば，境界位置の検出（決定）に失敗した場合である）には，その境界位置を無視して，顔画像領域を確定させてもよい。
【００７４】
図４(A)，(B)に示す画像の場合，顔近傍領域ｇ１の他に，顔近傍領域ｇ２についても，上述の処理が行われることになる（ステップ50でYES ）。顔近傍領域ｇ２についての個別マスク画像データも作成される。
【００７５】
すべての顔近傍領域についての処理が終了すると（ステップ50でNO ），個別マスク画像データがマスクデータ作成回路13に与えられ，合成されて出力される（ステップ51）。図４(A) ，(B) に示す画像について得られる２つの個別マスクデータによってそれぞれ表される画像の一例が，図９(A) および図９(B) に示されている。最終的にマスクデータ作成回路13から出力されるマスク画像データによって表される画像を，図10に示す。
【００７６】
次に，顔検出回路６によって顔画像が検出されなかった場合について説明する。図11は，色情報を用いた顔領域抽出処理およびマスクデータ作成処理（図２のステップ35の処理の詳細）の一例を示すフローチャートである。
【００７７】
たとえば，図12(A) に示すような画像，すなわち，画像中に顔画像は存在するものの，その顔画像が横向きであるような場合，パターンマッチングによる顔検出処理では顔画像を検出できないことがある。このような場合に，色情報を用いた顔領域抽出処理が行われる。
【００７８】
色情報を用いた顔領域抽出処理では，肌色画素抽出回路21，クラスタリング回路22，円形領域選別回路23，背景画像除去回路24およびマスクデータ作成回路13が用いられる。
【００７９】
顔検出回路６によって顔画像が検出されなかった場合（図２，ステップ33でNO），入力画像データは肌色画素抽出回路21に与えられ，ここで肌色画素領域抽出処理が行われる（図11；ステップ61）。
【００８０】
肌色画素抽出回路21は，入力画像を構成する各画素のそれぞれについて，画素の色が肌色の範囲に含まれるかどうかを判定し，肌色の範囲に含まれる画素領域（肌色画素領域）を入力画像中において区画（抽出）する処理を行う。
【００８１】
肌色画素領域抽出処理については，特開平９−１０１５７９号公報に記載の処理方法を採用することができる。すなわち，入力画像を構成する画素の色相が，楕円体（Ｒ値，Ｇ値，Ｂ値のそれぞれを座標軸とした３次元色座標上において定められる，肌色画素範囲を規定する楕円体）によって定義される肌色の範囲内に含まれるかどうかによって，肌色であるか，それ以外の色であるかが画素ごとに判定され，肌色と判定された画素（一般には複数の画素の集合領域（画素領域）になる）が肌色画素抽出回路21によって区画（抽出）される。
【００８２】
続いて，クラスタリング処理が行われる。クラスタリング処理では，肌色画素抽出回路21によって抽出された肌色画素が，まとまりごとにまとめられる。たとえば，図12(A) に示す画像には，肌色画素を含む画像領域として，人物の横顔の画像領域および人物の右腕の画像領域が含まれている。この場合，図12(B) に示すように，顔画像領域における肌色画素のまとまりＩ1 と，右腕画像領域における肌色画素のまとまりＩ2 とが，クラスタリング回路22によって生成される。図12(B) において，肌色画素のまとまりＩ1 およびＩ2を分かりやすくするために，人物を表す画像において肌色画素のまとまりＩ1 およびＩ2 以外の画素部分は省略されて示されている。
【００８３】
クラスタリングを終えた画像データは，円形領域選別回路23に与えられる。円形領域選別回路23は，クラスタリング処理によってまとめられた肌色画素領域のそれぞれについて，その形状が円形（楕円形を含む）に近い形状であるかどうかを判断する。たとえば，図12(B) に示す２つの肌色画素領域Ｉ1およびＩ2の場合，顔画像領域Ｉ1は円形に近いと判断され，右腕画像領域Ｉ2は円形から離れていると判断される。
【００８４】
円形領域選別回路23によって選別された円形領域（顔画像領域Ｉ1）を除く領域は，背景として取り扱われる。背景画像除去回路24は，背景とされた画像部分を除去する。図12(C) に示す領域（顔画像領域Ｉ1）を表す画像データが，背景画像除去回路24から出力される。
【００８５】
背景画像除去回路24から出力された円形領域（顔画像領域Ｉ1）に基づいて，マスクデータ作成回路13においてマスク画像データが作成される（図13）。
【００８６】
もちろん，色情報を用いた顔画像領域の区画（抽出）の処理としては，上述した特開平９−１０１５７９号公報に記載の処理（画像を構成する各画素の色相が肌色の範囲に含まれるか否かを判断し，原画像を肌色領域と非肌色領域とに分割し，さらに，原画像中のエッジを検出し，原画像をエッジ部分と非エッジ部分とに分類する。そして，肌色領域内に位置しており非エッジ部分と分類された画素からなり，かつエッジ部分と判定された画素で囲まれた領域を顔候補領域として抽出し，人物の顔に特有の特徴量を持つものを人物の顔に相当する領域と判定する），その他の処理を採用してもよい。
【００８７】
このように，マスクデータ作成装置１は，入力画像中の顔画像を検出することができた場合には，その検出結果を利用した顔画像領域抽出処理が行われる。入力画像中に顔画像が含まれているにもかかわらず，顔画像を検出できなかった場合には，色情報を用いた顔画像領域抽出処理が行われる。
【００８８】
図14は，マスクデータ作成装置１の処理の変形例を示すフローチャートである。図２に示すフローチャートと同一の処理には同一の符合を付し，重複した説明を避ける。
【００８９】
図14に示すフローチャートに基づく処理では，一つの入力画像中に，顔検出可能な顔画像と，顔検出ができないような顔画像の両方が含まれている場合に対応できるように，マスクデータ作成装置１が制御される。図15(A) を参照して，画像Ｇ３には，顔検出結果に基づく顔画像領域抽出が可能な顔画像と，顔検出ができない顔画像の両方が含まれている。顔検出できた顔画像（図15(B) の領域ｇ１，ｇ２）については，顔検出結果を利用した顔画像領域抽出処理およびマスクデータ作成処理が行われる（ステップ33ＡでYES ，ステップ34）。なお，顔検出ができなかった場合には，上述したように，色情報を利用した顔画像領域抽出処理およびマスクデータ作成処理のみが行われる（ステップ33ＡでNO，ステップ35）。
【００９０】
次に，抽出された顔画像領域を除く領域について，色情報を利用した顔画像領域抽出処理およびマスクデータ作成処理が行われる（ステップ36，ステップ35）。図16(A) にハッチングで示した部分（すなわち，顔検出結果を利用した顔画像領域抽出処理によって抽出された顔画像部分）が除かれて，その他の領域について，色情報を用いた顔画像領域抽出処理が行われる。図16(B) に示すクラスタリング領域が得られ，このうち，円形（楕円形）に近い形状を持つ領域（すなわち，顔画像領域と判断される領域）が抽出される。
【００９１】
顔検出結果を利用した顔画像領域抽出処理を経て得られたマスクデータと，色情報を利用した顔画像領域抽出処理を経て得られたマスクデータとが統合（合成）されて，出力される（ステップ37）。図17は，図15(A) に示す入力画像に基づいて得られる統合（合成）後のマスクデータによって表される画像例を示す。
【図面の簡単な説明】
【００９２】
【図１】マスクデータ作成装置の電気的構成を示すブロック図である。
【図２】マスクデータ作成装置の処理の流れを示すフローチャートである。
【図３】顔検出結果を利用した顔画像領域抽出処理およびマスクデータ作成処理の流れを示すフローチャートである。
【図４】(A) は入力画像の一例を，(B) は顔近傍領域切出し処理によって，顔画像領域を含む領域が切出された（区画された）様子を，それぞれ示す。
【図５】(A) は顔近傍領域と射影情報作成窓の位置関係を，(B) は射影情報作成窓が回転移動する様子を，それぞれ示す。
【図６】(A) は射影情報作成窓内の画像部分を，(B) は射影情報作成窓内の画像を構成する画素ごとの輝度値が格納されたテーブルおよび輝度値についての射影情報を，それぞれ示す。
【図７】(A) は輝度値についての射影情報を表すグラフを，(B) は肌の色らしさ変換処理後のグラフを，それぞれ示す。
【図８】(A) は顔近傍領域画像と境界位置との関係を，(B) は個別マスク画像を，それぞれ示す。
【図９】(A) および(B) は，個別マスク画像を示す。
【図１０】マスク画像を示す。
【図１１】色情報を利用した顔画像領域抽出処理およびマスクデータ作成処理の流れを示すフローチャートである。
【図１２】(A) は入力画像の一例を，(B) はクラスタリング処理後の画像の一例を，(C) は円形領域選別処理後の画像の一例を，それぞれ示す。
【図１３】マスク画像の一例を示す。
【図１４】マスクデータ作成装置の他の処理の流れを示すフローチャートである。
【図１５】(A) は入力画像の一例を，(B) は顔近傍領域切出し処理によって，顔画像領域を含む領域が切出された（区画された）様子を，それぞれ示す。
【図１６】(A) は顔検出結果を利用した顔画像領域抽出処理によって抽出された顔画像領域をハッチングで示した入力画像を，(B) は色情報を利用した顔画像領域抽出処理における，クラスタリング処理後の画像を，それぞれ示す。
【図１７】マスク画像の一例を示す。
【符号の説明】
【００９３】
１  マスクデータ作成装置
２  入力装置
３  記憶装置
４  入力端子
５  入力端子
６  顔検出回路
７  顔近傍切出し回路
８  顔サイズ正規化回路
９  射影情報作成回路
10  肌の色らしさ変換回路
11  境界検出回路
12  個別マスクデータ作成回路
13  マスクデータ作成回路
20  制御回路
21  肌色画素抽出回路
22  クラスタリング回路
23  円形領域選別回路
24  背景画像除去回路
【図１】
2006065613.tif 000004
【図２】
2006065613.tif 000005
【図３】
2006065613.tif 000006
【図４】
2006065613.tif 000007
【図５】
2006065613.tif 000008
【図６】
2006065613.tif 000009
【図７】
2006065613.tif 000010
【図８】
2006065613.tif 000011
【図９】
2006065613.tif 000012
【図１０】
2006065613.tif 000013
【図１１】
2006065613.tif 000014
【図１２】
2006065613.tif 000015
【図１３】
2006065613.tif 000016
【図１４】
2006065613.tif 000017
【図１５】
2006065613.tif 000018
【図１６】
2006065613.tif 000019
【図１７】
2006065613.tif 000020