(57)【特許請求の範囲】
【請求項１】
与えられたカラー画像から肌色を有する顔を検出する顔検出部と、
該顔検出部により検出された顔に基づいて、該顔に含まれる両目の中心位置および口の中心位置を通る基準線を算出する基準線算出部と、
両目の中心位置、口の中心位置、および顎の位置の統計的な位置関係を示すデータを有するデータベース部と、
前記位置関係を示すデータと前記基準線算出部により算出された基準線から、該基準線上の前記顔の顎の位置である事前位置確率を算出する顎位置推定部と、
前記顔に含まれる鼻と両目の間に設定した顔色彩推定区域内の画素と前記基準線上の各画素との色彩の距離に基づいて、前記基準線上に肌色の画素が存在する肌色率を算出する肌色率算出部と、
前記基準線上の輝度変化率を算出する輝度変化算出部と、
前記顎位置推定部より算出された前記事前位置確率に前記輝度変化算出部により算出された前記輝度変化率を掛け、前記肌色率算出部より算出された前記肌色率で割ることにより作成したデータが最大値となる前記基準線上の位置を顎の位置として算出する顎位置算出部とを備えたことを特徴とする顎位置算出装置。
【請求項２】
前記データベース部は、顔を含む複数のカラー画像における両目の中心位置から口の中心位置までの距離と、前記口の中心距離から顎の位置までの距離の比率から構成される統計的な位置関係を示すデータを有するものであることを特徴とする請求項１記載の顎位置算出装置。
【請求項３】
顔を検出する顔検出部と、
基準線を算出する基準線算出部と、
両目の中心位置、口の中心位置、および顎の位置の統計的な位置関係を示すデータを有するデータベース部と、
前記顔の顎の位置である事前位置確率を算出する顎位置推定部と、
前記基準線上に肌色の画素が存在する肌色率を算出する肌色率算出部と、
前記基準線上の輝度変化率を算出する輝度変化算出部と、
顎の位置を算出する顎位置算出部とを備えた顎位置算出装置の動作方法であって、
前記顔検出部により、与えられたカラー画像から肌色を有する顔を検出するステップと、
前記基準線算出部により、該検出された顔に基づいて、該顔に含まれる両目の中心位置および口の中心位置を通る基準線を算出するステップと、
前記データベース部により、前記位置関係を示すデータを取得するステップと、
前記顎位置推定部により、前記位置関係を示すデータと算出された前記基準線から、該基準線上の前記顔の顎の位置である事前位置確率を算出するステップと、
前記肌色率算出部により、前記顔に含まれる鼻と両目の間に設定した顔色彩推定区域内の画素と前記基準線上の各画素との色彩の距離に基づいて、前記肌色率を算出するステップと、
前記輝度変化算出部により、前記基準線上の輝度変化率を算出するステップと、
前記顎位置算出部により、前記事前位置確率に前記輝度変化率を掛け前記肌色率で割ることにより作成したデータが最大値となる前記基準線上の位置を顎の位置として算出するステップとを有することを特徴とする顎位置算出装置の動作方法。
【請求項４】
コンピュータに、
与えられたカラー画像から肌色を有する顔を検出する機能と、
該検出された顔に基づいて、該顔に含まれる両目の中心位置および口の中心位置を通る基準線を算出する機能と、
両目の中心位置、口の中心位置、および顎の位置の統計的な位置関係のデータを取得する機能と、
前記位置関係を示すデータと算出された前記基準線から、該基準線上の前記顔の顎の位置である事前位置確率を算出する機能と、
前記顔に含まれる鼻と両目の間に設定した顔色彩推定区域内の画素と前記基準線上の各画素との色彩の距離に基づいて、前記基準線上に肌色の画素が存在する肌色率を算出する機能と、
前記基準線上の輝度変化率を算出する機能と、
前記事前位置確率に前記輝度変化率を掛け前記肌色率で割ることにより作成したデータが最大値となる前記基準線上の位置を顎の位置として算出する機能を実行させるための顎位置算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は顎位置算出処理に関し、特にデジタル画像における人物の顎位置を自動検出するに適した顎位置算出装置、それを用いた画像処理装置および顎位置算出方法並びにプログラムに関するものである。
【背景技術】
【０００２】
近年、人物のポートレート撮影等を行う際、デジタルスチルカメラを用いて撮影したデジタル画像を、画像処理して色調・明度などの補正や画像合成などを容易に行うことができるようになってきた。そこで、撮影したデジタル画像が好ましい仕上がりになるように様々な画像処理を施してプリントが行われている。
【０００３】
ところで、ポートレートとしての好ましい構図は経験的に定まっており、人物を被写体としたときには、その構図になるように被写体の顔を基準としてバランスを取るように撮影が行われるが、必ずしも理想的な構図で撮影できるとは限らない。そこで、理想的な構図で撮影されなかったデジタル画像は、被写体の顔を基準としてバランスが取れた構図に収まるように、顔を自動検出し、検出された顔を基準にトリミングした画像をプリントしている。しかしながら、顔の頭頂部および顎位置を正確に検出できない場合、最適なトリミング処理が行われないという問題がある。
【０００４】
このため、画像から顎の位置を正確に検出する手法や、検出された顎位置の情報を用いてトリミングする手法が提案されている。例えば、特許文献１には、画像に含まれる顔の輪郭を抽出し、顎の輪郭に近似する下に凸の二次曲線を求め、顔の顎位置を算出する手法が提案されている。また、特許文献２には、背景画像と被写体画像の差分を求め、被写体画像から人物のマスク画像を生成し、マスク画像から頭頂、顎の位置を検索することにより顔面が所定の位置になるようにトリミング処理を行う手法が提案されている。また、特許文献３には、顔を表す画像のエッジ処理を行い、エッジ処理により得られた各画素値を所定方向に投影してヒストグラムを作成し、顎位置を推定する手法が提案されている。また、特許文献４には、画像に含まれる顔を抽出し、顎と口との間の距離と、眼と口との間の距離との比がほぼ一定であると仮定した値に基づいて、顎位置を算出することで、トリミングする手法が提案されている。
【特許文献１】特開２００５−２０２８４１号公報
【特許文献２】特開２０００−３６０３２号公報
【特許文献３】特開平２００７−７２６２８号公報
【特許文献４】特開２００４−２６４８９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の顔の顎位置の検出を行う画像処理装置には、下記の如き種々の問題がある。特許文献１の手法では、顔の向きが正面でない場合や個人差によって顎形状が特異な場合があり、顎の形状が必ずしも凸の二次曲線とは近似せず、誤検出が生じる場合がある。また、特許文献２の手法では、照明光源の強度や肌の色具合により、画像に表された顔の輪郭と首の境界線が連続的に認識できない場合があり、顔マスクによる抽出処理では安定的な性能が得られない場合がある。また、特許文献３の手法では、顎下のくびにしわや飾り物等の付属物による強い水平方向のエッジが生じる可能性が高く、顔の角度が垂直ではない場合に、誤検出が生じる場合がある。また、特許文献４の手法では、個人差によっては、顎から口までの間の距離および目から口までの間の距離が一定ではない人物の場合に、誤検出が生じる可能性がある。
【０００６】
そこで、本発明は、上記事情に鑑み、顎位置の検出性能をより向上させることが可能な顎位置算出装置、それを用いた画像処理装置および顎位置算出方法並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の顎位置算出装置は、与えられたカラー画像から肌色を有する顔を検出する顔検出部と、顔検出部により検出された顔に基づいて、顔に含まれる両目の中心位置および口の中心位置から基準線を算出する基準線算出部と、両目の中心位置、口の中心位置、および顎の位置の統計的な位置関係を示すデータを有するデータベース部と、位置関係を示すデータと基準線算出部により算出された基準線から顔の顎の位置である率を算出する顎位置推定部と、基準線上に肌色の画素が存在する率を算出する肌色率算出部と、基準線上の輝度変化の率を算出する輝度変化算出部と、顎位置推定部、肌色率算出部および輝度変化算出部により算出されたそれぞれの率を組み合わせた結果から、顎の位置を算出する顎位置算出部とを備えたことを特徴とするものである。
【０００８】
「データベース部」とは、両目の中心位置、口の中心位置、および顎の位置等の統計的な位置関係等を示すデータを有する記憶部である。例えば、顔を含む複数のカラー画像における両目の中心位置から口の中心位置までの距離と、口の中心距離から顎の位置までの距離の比率から構成される統計的な位置関係を示すデータを有するものであってもよい。
【０００９】
本発明の画像処理装置は、本発明の顎位置算出装置と、顎位置算出装置の顔検出部により検出された顔に基づいて、顔の頭頂の位置を算出する頭頂位置算出部と、顎位置算出装置の顎位置算出部により算出された顎の位置と算出された頭頂の位置に基づいて、与えられたカラー画像をトリミングする範囲を決定してトリミングするトリミング部と、を備えたことを特徴とするものである。
【００１０】
本発明の顎位置算出方法は、与えられたカラー画像から肌色を有する顔を検出するステップと、検出された顔に基づいて、顔に含まれる両目の中心位置および口の中心位置から基準線を算出するステップと、両目の中心位置、口の中心位置、および顎の位置の統計的な位置関係を示すデータを取得するステップと、位置関係を示すデータと算出された基準線から顔の顎の位置である率を算出するステップと、基準線上に肌色の画素が存在する率を算出するステップと、基準線上の輝度変化の率を算出するステップと、算出されたそれぞれの率を組み合わせた結果から、顎の位置を算出するステップとを有することを特徴とするものである。
【００１１】
本発明の顎位置算出プログラムは、コンピュータに、与えられたカラー画像から肌色を有する顔を検出する機能と、検出された顔に基づいて、顔に含まれる両目の中心位置および口の中心位置から基準線を算出する機能と、両目の中心位置、口の中心位置、および顎の位置の統計的な位置関係のデータを取得する機能と、位置関係を示すデータと算出された基準線から顔の顎の位置である率を算出する機能と、基準線上に肌色の画素が存在する率を算出する機能と、基準線上の輝度変化の率を算出する機能と、算出されたそれぞれの率を組み合わせた結果から、顎の位置を算出する機能を実行させることを特徴とするものである。
【発明の効果】
【００１２】
本発明の顎位置算出装置、それを用いた画像処理装置および顎位置算出方法並びにプログラムによれば、両目の中心位置、口の中心位置、および顎の位置の統計的な位置関係のデータを取得し、位置関係を示すデータと算出された基準線から顔の顎の位置である率を算出し、基準線上に肌色の画素が存在する率を算出し、基準線上の輝度変化の率を算出し、それぞれの率を組み合わせた結果から、顎の位置を算出することにより、正確に顎位置を検出することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について説明する。図１は本発明の実施形態による顎位置算出装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による顎位置算出装置は、顔を含む画像を表す画像データＳ０の入力を受け付ける画像入力部１と、画像データＳ０により表される画像（以下、画像についても画像データと同一の参照符号を用いるものとする）Ｓ０から顔を検出する顔検出部２と、顔検出部２が検出した顔に含まれる両目の中心位置および口の中心位置から基準線を算出する基準線算出部３と、両目の中心位置、口の中心位置、および顎の位置の統計的な位置関係を示すデータを有するデータベース部４と、位置関係を示すデータと基準線算出部３により算出された基準線から顔の顎の位置である率を算出する顎位置推定部５と、基準線上に肌色の画素が存在する率を算出する肌色率算出部６と、基準線上の輝度変化の率を算出する輝度変化算出部７と、顎位置推定部５、肌色率算出部６および輝度変化算出部７により算出されたそれぞれの率を組み合わせた結果から、画像Ｓ０から顎の位置を算出する顎位置算出部８とを備える。
【００１４】
また、画像Ｓ１は、顎位置算出部８により算出された顎位置を基準に水平線を引いたＬ１を示すものである。顎位置算出装置にモニタ等を接続した場合、水平線Ｌ１を表示することも可能である。
【００１５】
画像入力部１は、メディアに記録された画像Ｓ０をメディアから読み出すメディアドライブや、ネットワーク経由で送信された画像Ｓ０の入力を受け付ける各種インターフェースからなるものである。なお、画像Ｓ０はデジタルカメラ等の撮像装置により取得されたものであってもよく、フイルムや原稿に記録された画像を光電的に読み出すことにより取得されたものであってもよい。
【００１６】
顔検出部２は、画像Ｓ０に表された顔領域を検出する際に顔領域らしさを示す評価値である位置、大きさ、向き、傾き、彩度、色相のうちいずれか一つに基づき顔領域を自動的に検出する処理を行うものである。
【００１７】
例えば、特開２００６−２０２２７６号（以下、参考文献１という）の手法を用いることができる。参考文献１の手法は、顔の追跡は、動きベクトル、特徴点検出等の公知の手法や学習データに対してリサンプリングの際に重みを逐次的に更新していき，できた機械を最後に学習機械に対する重みをつけて足し合わせて統合学習機械をつくる手法であるＡｄａｂｏｏｓｔに基づいたマシンラーニング手法を利用するものであることが考えられる。例えば、平均フレームモデルを実際の顔画像に嵌め込み、平均フレームモデル上の各ランドマークの位置（例えば、両目、口等）を、顔から検出された相対応するランドマークの位置に合致するように移動することによって平均フレームモデルを変形させて顔のフレームモデルを構築するのに際し、マシンラーニング手法により、所定のランドマークであることが分かっている複数のサンプル画像上の点における輝度プロファイルと、該ランドマークではないことが分かっている複数のサンプル画像上の点における輝度プロファイルに対して学習を行って得た識別器および各識別器に対する識別条件を用いて、顔画像から当該ランドマークを示す点の位置を検出する手法である。また、特開２００４−３３４８３６号（以下、参考文献２という）の手法を用いることも可能である。参考文献２の手法は、画像データから一定の大きさの画像データを切り出し、各切出画像データと特徴部分画像データの照合データとを比較して処理対象画像中に特徴部分画像が存在するか否かを検出する画像データの特徴部分抽出方法を使用する手法である。なお、特開２００７−１１９７０号（以下、参考文献３という）の手法のように人物の顔領域以外に、動物の顔等を特定被写体として検出してもよい。
【００１８】
基準線算出部３は、顔検出部２が検出した顔領域に含まれる両目の中心位置および口の中心位置から基準線を算出する。具体的には、顔部品の多数のサンプル画像を用いたマシンラーニング学習により得られた顔部品毎の判別器を用いる手法や、各顔部品のテンプレートを用いたテンプレートマッチングによる手法等により、例えば左右目頭の位置、左右目尻の位置、口の位置、頭頂部の位置の座標を特徴量として取得する。また、左右目頭、左右目尻の位置から両目の位置を算出することにより、両目の位置の座標を算出する。具体的には左右の目頭と目尻との中点を左右の目の位置として算出するものである。
【００１９】
データベース部４は、両目の中心位置、口の中心位置、および顎の位置等の統計的な位置関係等を示すデータを有するものである。例えば、約９５０枚の画像から得られた両目の中心位置、口の中心位置、および顎の位置に関するデータから、両目の中心位置から口の中心位置までの距離と、口の中心距離から顎の位置までの距離の比率から構成される統計的な位置関係を示す事前情報データを有するものである。
【００２０】
顎位置推定部５は、データベース部４の位置関係を示すデータと基準線算出部３により算出された基準線から、基準線の画素毎に顎の位置であろう事前位置確率を算出するものである。
【００２１】
肌色率算出部６は、顔検出部２により検出された顔領域に所定の顔色彩推定区域（例えば、鼻と両目の間付近）を設定し、基準線上の各画素が、顔色彩推定区域からの距離を算出する。顔色彩推定区域からの距離により肌色の画素が存在する率を算出するものである。
【００２２】
輝度変化算出部７は、基準線上の輝度変化の率を算出するものである。
【００２３】
顎位置算出部８は、顎位置推定部５により算出された事前位置確率、肌色率算出部６により算出された肌色の画素が存在する率および輝度変化算出部７により算出された輝度変化の率を組み合わせた結果から、顎の位置を算出する。具体的には、輝度変化の率に事前位置確率を掛け、肌色の画素が存在する率により割ることで、所定のデータを作成し、上記所定のデータにおいて、最大ピーク値を顎位置として算出するものである。
【００２４】
次いで、本実施形態において行われる処理について説明する。図２は本実施形態において行われる処理を示すフローチャートである。なお、ここでは画像Ｓ０に含まれるすべての顔をトリミングする処理について説明する。画像入力部１により画像データＳ０が読み出されることにより装置が処理を開始し、顔検出部２が画像Ｓ０から顔領域を検出し、検出された顔領域を検出範囲として決定する（ステップＳＴ１）。更に、基準線算出部３は、顔検出部２が検出した顔領域に含まれる両目の中心位置および口の中心位置から基準線を算出する。具体的には、図３に示すように両目の中心位置Ｐ１および、口の中心位置Ｐ２を結ぶ線Ｌ２を基準線とする。そして、顎位置推定部５は、データベース部４より両目の中心位置、口の中心位置、および顎の位置に関するデータから、両目の中心位置から口の中心位置までの距離と、口の中心距離から顎の位置までの距離の比率から構成される統計的な位置関係を示す事前情報データを取得する（ステップＳＴ２）。その後、顎位置推定部５は、データベース部４の位置関係を示すデータと基準線算出部３により算出された基準線から、基準線の画素毎に顎の位置であろう事前位置確率を算出する（ステップＳＴ３）。それにより、顎であろう確率が高い線として、顎検出ラインＬ３が算出される。
【００２５】
具体的には、図４において、検出された顔領域Ｆ２を例に、基準線Ｆ６の各画素における事前位置確率のグラフを示す。
【００２６】
一方、肌色率算出部６は、顔検出部２により検出された顔領域の色彩に関する情報を取得する（ステップＳＴ４）。肌色率算出部６は、取得された色彩に関する情報から肌の色彩が最も多い領域を推定する。例えば、鼻と両目の間付近は肌の色彩が多いので、顔色彩推定区域として設定する（ステップＳＴ５）。更に、肌色率算出部６は、基準線算出部３により算出された基準線上の各画素が、顔色彩推定区域からどの程度の距離があるか算出する。顔色彩推定区域からの距離により肌色の画素が存在する率を算出する。その際、顔色彩推定区域から所定以上の距離にある場合、肌の位置ではない蓋然性が高いので、確率を低く算出する。顎である確率が低いからである（ステップＳＴ６）。
【００２７】
具体的には、図６において、検出された顔領域Ｆ３を例に、肌色の画素が存在する率のグラフを示す。上記グラフは、顔色彩推定区域Ｒ１からの距離により基準線Ｆ７の各画素における肌色の画素が存在する率を示すものである。
【００２８】
一方、輝度変化算出部７は、輝度情報（例えば、輝度値）を入手するために、画像入力部１により読み出された画像Ｓ０を取得する（ステップＳＴ７）。その後、輝度変化算出部７は、画像Ｓ０の各ＲＧＢ値から輝度値へと輝度変換を行う（ステップＳＴ８）。更に輝度変化算出部７は、基準線算出部３により算出された基準線上に対応する変換された輝度値の輝度変化の率を算出する（ステップＳＴ９）。
【００２９】
具体的には、図５において、検出された顔領域Ｆ２を例に、輝度変化の率のグラフを示す。上記グラフは、基準線Ｆ６の各画素における輝度変化の率を示すものである。
【００３０】
顎位置算出部８は、図７に示すように、輝度変化算出部７により算出された輝度変化の率に、顎位置推定部５により算出された事前位置確率を掛け、肌色率算出部６により算出された肌色の画素が存在する率により割ることで、所定のデータＴ１を作成する（ステップＳＴ１０）。顎位置算出部８は、上記所定のデータにおいて、最大ピーク値を顎位置として算出する（ステップ１１）。
【００３１】
続いて、本発明の第二の実施の形態について説明する。
【００３２】
図８は本発明の顎位置算出装置を含む第二の実施形態であるトリミング部９を内包する画像処理装置を示す概略ブロック図である。
【００３３】
ここでは、上述した第一の実施形態に係る顎位置算出装置と異なる構成についてのみ記載することとし、上述の実施形態と同様の構成要素には同符号を付して詳細な説明を省略する。
【００３４】
頭頂部算出部９は、顔検出部２により検出された顔領域に基づいて、該顔の頭頂の位置を算出する。具体的には、検出された顔領域に基づいて頭頂部を検出するための検出範囲を設定し、検出範囲における高周波成分を抽出することにより髪領域を検出し、検出された髪領域に基づいて頭頂部の位置を算出する。また、髪領域を検出するに際し、検出範囲の画像部分を輝度画像へと変換し、輝度画像をフィルタ処理により高周波成分を抽出し、高周波成分を強調処理することにより髪領域を設定し、設定された髪領域の最上部を頭頂部の位置として算出する。更には髪領域が検出されたか否かを判断し、髪領域が検出されなかった際に、検出範囲の画像部分から水平輝度勾配を算出することにより輝度変化の率を算出する。データベース部４が、両目の中心位置、口の中心位置、および頭頂の位置の統計的な位置関係を示すデータをも有する場合、位置関係を示すデータと検出された顔領域の両目の中心位置および口の中心位置から頭頂の位置である率を算出し、算出されたそれぞれの率を組み合わせた結果に基づいて、頭頂の位置を算出することも可能でするものである。
【００３５】
トリミング部１０は、画像データＳ０から顎位置算出部８により算出された顎の位置および頭頂部算出部９により算出された頭頂部からトリミングする範囲を決定して、トリミング領域を切り出すものである。
【００３６】
また、画像Ｓ２は、上記トリミングする範囲を決定され、画像Ｓ０からトリミング領域を切り出されたものである。画像処理装置にモニタ等を接続することで、トリミング結果をユーザに確認させることができる。
【００３７】
また、本発明の顎位置算出装置および画像処理装置の機能を実行するためのプログラムをパソコンにインストールし、パソコンにより上記実施形態と同様に顎位置の算出及びトリミングを行うことが可能である。
【００３８】
また、本発明の顎位置算出装置および画像処理装置を撮像装置に組み込むことも可能である。そうすることで、撮像装置に備えられたモニタ等により顎位置の算出結果やトリミング結果をユーザに確認させることができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施形態による顎位置算出装置の構成を示す概略ブロック図
【図２】本実施形態において行われる処理を示すフローチャート
【図３】基準線を示す図
【図４】事前位置確率のグラフを示す図
【図５】輝度変化の率のグラフを示す図
【図６】肌色の画素が存在する率を示す図
【図７】輝度変化の率に事前位置確率を掛け、肌色の画素が存在する率により割って得られたグラフを示す図
【図８】本発明の第二の実施形態による画像処理装置の構成を示す概略ブロック図
【符号の説明】
【００４０】
１    画像入力部
２    顔検出部
３    基準線検出部
４    データベース部
５    顎位置推定部
６    肌色率算出部
７    輝度変化算出部
８    顎位置算出部
９    頭頂位置算出部
１０  トリミング部
【図１】
0004874914.tif 000002
【図２】
0004874914.tif 000003
【図３】
0004874914.tif 000004
【図４】
0004874914.tif 000005
【図５】
0004874914.tif 000006
【図６】
0004874914.tif 000007
【図７】
0004874914.tif 000008
【図８】
0004874914.tif 000009