(57)【要約】【課題】人物の顔画像から顔パーツを自動的に除外する。【解決手段】原画像の色成分に応じて、被験者の唇領域を抽出する（Ｓ２４０）。唇領域よりも上の領域の明度または色成分に応じて、眉領域及び目領域を抽出する（Ｓ２５０）。唇領域よりも上の領域であり、かつ、眉領域及び目領域を除外した領域の明度及び／または色成分に応じて、鼻孔領域を抽出する（Ｓ２６０）。被験者の顔面領域から唇、眉、目及び鼻孔の各領域を除去した肌領域を特定するマスクを生成する（Ｓ２７０）。肌領域の原画像データに応じて、被験者の肌の状態を解析する（Ｓ２８０）。【選択図】図２
2016173716.tif 000002
【特許請求の範囲】
【請求項１】
被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部と、
前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、
前記原画像で正規化されたＧ（緑）成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第１領域を特定する手段と、
前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第２領域を特定する手段と、
前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第３領域を特定する手段と、
前記原画像で、前記顔面領域から前記第１領域〜第３領域のうちの少なくとも一つの領域を除去した領域内の正規化されたＲ（赤）成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第４領域を特定する手段と、
前記顔面領域から前記第１領域〜第４領域のうちの少なくとも一つの領域を除去した肌領域を抽出する手段と、
前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える肌画像解析装置。
【請求項２】
前記顔面領域を特定する手段は、
前記グレースケール画像の画素値の分布に応じて第１の範囲を定め、
前記原画像の画素値を色相に変換した画像である色相画像の画素値の分布に応じて第２の範囲を定め、
前記グレースケール画像の画素値が第１の範囲内であり、かつ、前記色相画像の画素値が第２の範囲内である画素を抽出する、請求項１記載の肌画像解析装置。
【請求項３】
前記顔面領域内の唇を含む第１領域を特定する手段は、
前記原画像の画素値をＧ／（Ｒ＋Ｇ＋Ｂ）に変換した画像であるＧ比率画像の画素値の分布に応じて第３の範囲を定め、
前記Ｇ比率画像成分の画素値が第３の範囲内である画素を含む領域を第１唇候補領域とし、
前記Ｇ比率画像成分の画素値が第３の範囲内である画素を特定してシワ消し処理を適用し、残った画素を含む領域を第２唇候補領域とし、
第１唇候補領域及び第２唇候補領域のいずれか一方を第１領域とする、請求項１または２に記載の肌画像解析装置。
【請求項４】
前記顔面領域内の眉を含む第２領域を特定する手段は、
前記微分画像の画素値の分布に応じて定めた閾値に従って前記微分画像を２値化した画像である微分２値化画像を生成し、
前記微分２値化画像を平滑化した画像である平滑化画像を生成し、
前記平滑化画像に応じて第２領域を定める、請求項１〜３のいずれかに記載の肌画像解析装置。
【請求項５】
前記顔面領域内の眉を含む第２領域を特定する手段は、
前記微分画像の画素値の分布に応じて定めた閾値に従って前記微分画像を２値化した画像である微分２値化画像を生成し、
前記微分２値化画像を平滑化した画像である平滑化画像を生成し、
前記平滑化画像に応じて第３眉候補領域を定め、
前記グレースケール画像の画素値の分布に応じて定めた閾値に従って前記グレースケール画像を２値化した画像であるグレースケール２値化画像を生成し、
前記グレースケール２値化画像に応じて第４眉候補領域を定め、
第３眉候補領域及び第４眉候補領域のいずれか一方を第２領域とする、請求項１〜３のいずれかに記載の肌画像解析装置。
【請求項６】
前記顔面領域内の鼻孔を含む第４領域を特定する手段は、
前記原画像の明度に応じて第４の範囲を定め、
前記原画像の画素値をＲ／（Ｒ＋Ｇ＋Ｂ）に変換した画像であるＲ比率画像の画素値の分布に応じて第５の範囲を定め、
明度が第４の範囲内であり、かつ、前記Ｒ比率画像の画素値が第５の範囲内である画素を含む領域を第４領域とする、請求項１〜５のいずれかに記載の肌画像解析装置。
【請求項７】
前記顔面領域内の鼻孔を含む第４領域を特定する手段は、
明度が第４の範囲内であり、かつ、前記Ｒ比率画像の画素値が第５の範囲内である画素が連結して形成された複数の領域のうち、面積の広さが上位の４つの領域の相互の位置関係に応じて第４領域を特定する、請求項６に記載の肌画像解析装置。
【請求項８】
被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部を備えた肌画像解析装置に実行させるためのコンピュータプログラムであって、
前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、
前記原画像で正規化されたＧ（緑）成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第１領域を特定する手段と、
前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第２領域を特定する手段と、
前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第３領域を特定する手段と、
前記原画像で、前記顔面領域から前記第１領域〜第３領域のうちの少なくとも一つの領域を除去した領域内の正規化されたＲ（赤）成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第４領域を特定する手段と、
前記顔面領域から前記第１領域〜第４領域のうちの少なくとも一つの領域を除去した肌領域を抽出する手段と、
前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を前記肌画像解析装置上に構築するためのコンピュータプログラム。
【請求項９】
被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部を備えた肌画像解析装置が行う肌画像解析方法であって、
顔面領域抽出部が、前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定するステップと、
唇抽出部が、前記原画像で正規化されたＧ（緑）成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第１領域を特定するステップと、
目・眉抽出部が、前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第２領域を特定し、前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第３領域を特定するステップと、
鼻孔抽出部が、前記原画像で、前記顔面領域から前記第１領域〜第３領域のうちの少なくとも一つの領域を除去した領域内の正規化されたＲ（赤）成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第４領域を特定するステップと、
肌解析処理部が、前記顔面領域から前記第１領域〜第４領域のうちの少なくとも一つの領域を除去した肌領域の原画像データに応じて、前記被験者の肌の状態を解析するステップと、を行う方法。
【請求項１０】
被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部と、
前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、
前記原画像で正規化されたＧ（緑）成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第１領域を特定する手段と、
前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第２領域を特定する手段と、
前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第３領域を特定する手段と、
前記原画像で、前記顔面領域から前記第１領域〜第３領域のうちの少なくとも一つの領域を除去した領域内の正規化されたＲ（赤）成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第４領域を特定する手段と、
前記顔面領域から前記第１領域〜第４領域のうちの少なくとも一つの領域を除去した肌領域を抽出する手段と、を備える画像処理装置。
【請求項１１】
被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部を備えた画像処理装置に実行させるためのコンピュータプログラムであって、
前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、
前記原画像で正規化されたＧ（緑）成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第１領域を特定する手段と、
前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第２領域を特定する手段と、
前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第３領域を特定する手段と、
前記原画像で、前記顔面領域から前記第１領域〜第３領域のうちの少なくとも一つの領域を除去した領域内の正規化されたＲ（赤）成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第４領域を特定する手段と、
前記顔面領域から前記第１領域〜第４領域のうちの少なくとも一つの領域を除去した肌領域を抽出する手段と、を前記肌画像解析装置上に構築するためのコンピュータプログラム。
【請求項１２】
被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部を備えた画像処理装置が行う画像処理方法であって、
顔面領域抽出部が、前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定するステップと、
唇抽出部が、前記原画像で正規化されたＧ（緑）成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第１領域を特定するステップと、
目・眉抽出部が、前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第２領域を特定し、前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第３領域を特定するステップと、
鼻孔抽出部が、前記原画像で、前記顔面領域から前記第１領域〜第３領域のうちの少なくとも一つの領域を除去した領域内の正規化されたＲ（赤）成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第４領域を特定するステップと、
マスク生成処理部が、前記顔面領域から前記第１領域〜第４領域のうちの少なくとも一つの領域を除去して肌領域を抽出するマスクを生成するステップと、を行う方法。
【請求項１３】
被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部と、
前記原画像の色成分に応じて、前記被験者の唇を含む唇領域を特定する手段と、
前記唇領域よりも上の領域の明度または色成分に応じて、前記被験者の眉を含む眉領域及び前記被験者の閉じた目を含む目領域を特定する手段と、
前記唇領域よりも上の領域であり、かつ、前記眉領域及び目領域よりも下の領域の明度及び／または色成分に応じて、前記被験者の鼻孔を含む鼻孔領域を特定する手段と、
前記被験者の顔面領域から前記唇、眉、目及び鼻孔の各領域を除去した肌領域を特定する手段と、
前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える肌画像解析装置。
【請求項１４】
被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部を有する肌画像解析装置に実行させるためのコンピュータプログラムであって、
前記原画像の色成分に応じて、前記被験者の唇を含む唇領域を特定する手段と、
前記唇領域よりも上の領域の明度または色成分に応じて、前記被験者の眉を含む眉領域及び前記被験者の閉じた目を含む目領域を特定する手段と、
前記唇領域よりも上の領域であり、かつ、前記眉領域及び目領域よりも下の領域の明度及び／または色成分に応じて、前記被験者の鼻孔を含む鼻孔領域を特定する手段と、
前記被験者の顔面領域から前記唇、眉、目及び鼻孔の各領域を除去した肌領域を特定する手段と、
前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を前記肌画像解析装置上に構築するためのコンピュータプログラム。
【請求項１５】
被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部を有する肌画像解析装置が行う肌画像解析方法であって、
唇領域抽出部が、前記原画像の色成分に応じて、前記被験者の唇を含む唇領域を特定するステップと、
目・眉抽出部が、前記唇領域よりも上の領域の明度または色成分に応じて、前記被験者の眉を含む眉領域及び前記被験者の閉じた目を含む目領域を特定するステップと、
鼻孔抽出部が、前記唇領域よりも上の領域であり、かつ、前記眉領域及び目領域よりも下の領域の明度及び／または色成分に応じて、前記被験者の鼻孔を含む鼻孔領域を特定するステップと、
肌解析処理部が、前記被験者の顔面領域から前記唇、眉、目及び鼻孔の各領域を除去した肌領域の原画像データに応じて、前記被験者の肌の状態を解析するステップと、を行う方法。
【請求項１６】
被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部と、
前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、
前記原画像で正規化されたＧ（緑）成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第１領域を特定する手段と、
前記顔面領域から少なくとも前記第１領域を除去した肌領域を抽出する手段と、
前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える肌画像解析装置。
【請求項１７】
被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部と、
前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、
前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第２領域を特定する手段と、
前記顔面領域から少なくとも前記第２領域を除去した肌領域を抽出する手段と、
前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える肌画像解析装置。
【請求項１８】
被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部と、
前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、
前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第３領域を特定する手段と、
前記顔面領域から少なくとも前記第３領域を除去した肌領域を抽出する手段と、
前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える肌画像解析装置。
【請求項１９】
被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部と、
前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、
前記原画像で、前記顔面領域から明度及び／または正規化されたＲ（赤）成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第４領域を特定する手段と、
前記顔面領域から少なくとも前記第４領域を除去した肌領域を抽出する手段と、
前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える肌画像解析装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に人物の顔画像から顔パーツをマスクして肌解析を行う技術に関する。
【背景技術】
【０００２】
従来、人物の顔を撮影した画像を用いて、肌の状態を解析する装置が知られている（例えば特許文献１）。そして、肌の解析手法として、この特許文献以外にも様々なものが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１３０８０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、一般には、眉、目、鼻孔、唇といったいわゆる顔のパーツ部分は肌解析の対象にはならない。従って、人物の顔画像から自動的に肌の解析を行うときは、顔パーツを自動的に除外する必要がある。
【０００５】
このとき、顔パーツを除外するためのマスクをテンプレートとして用意しておき、顔画像に適用するやり方も考えられる。しかしながら、画像内での顔パーツの位置及び大きさは、撮影条件により変動することもあるとともに、個人差もあることから、テンプレートでは必ずしも正確に顔パーツを除外できない場合もある。
【０００６】
そこで、本発明の目的は、撮影時の条件等に依らず、人物の顔画像から顔パーツを精度良く自動的に除外することである。
【０００７】
本発明の別の目的は、肌画像解析を行うために、人物の顔画像から自動的に肌解析の対象領域を特定することである。
【課題を解決するための手段】
【０００８】
本発明の一つの実施態様に従う肌画像解析装置は、被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部と、前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、前記原画像で正規化されたＧ（緑）成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第１領域を特定する手段と、前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第２領域を特定する手段と、前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第３領域を特定する手段と、前記原画像で、前記顔面領域から前記第１領域〜第３領域のうちの少なくとも一つの領域を除去した領域内の正規化されたＲ（赤）成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第４領域を特定する手段と、前記顔面領域から前記第１領域〜第４領域のうちの少なくとも一つの領域を除去した肌領域を抽出する手段と、前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える。
【０００９】
好適な実施態様では、前記顔面領域を特定する手段は、前記グレースケール画像の画素値の分布に応じて第１の範囲を定め、前記原画像の画素値を色相に変換した画像である色相画像の画素値の分布に応じて第２の範囲を定め、前記グレースケール画像の画素値が第１の範囲内であり、かつ、前記色相画像の画素値が第２の範囲内である画素を抽出するようにしても良い。
【００１０】
好適な実施態様では、前記顔面領域内の唇を含む第１領域を特定する手段は、前記原画像の画素値をＧ／（Ｒ＋Ｇ＋Ｂ）に変換した画像であるＧ比率画像の画素値の分布に応じて第３の範囲を定め、前記Ｇ比率画像の画素値が第３の範囲内である画素を含む領域を第１唇候補領域とし、前記Ｇ比率画像の画素値が第３の範囲内である画素を特定して２値化した画像に対してシワ消し処理を適用し、残った画素を含む領域を第２唇候補領域とし、第１唇候補領域及び第２唇候補領域のいずれか一方を第１領域としても良い。
【００１１】
好適な実施態様では、前記顔面領域内の眉を含む第２領域を特定する手段は、前記微分画像の画素値の分布に応じて定めた閾値に従って前記微分画像を２値化した画像である微分２値化画像を生成し、前記微分２値化画像を平滑化した画像である平滑化画像を生成し、前記平滑化画像に応じて第２領域を定めても良い。
【００１２】
好適な実施態様では、前記顔面領域内の眉を含む第２領域を特定する手段は、前記微分画像の画素値の分布に応じて定めた閾値に従って前記微分画像を２値化した画像である微分２値化画像を生成し、前記微分２値化画像を平滑化した画像である平滑化画像を生成し、前記平滑化画像に応じて第３眉候補領域を定め、前記グレースケール画像の画素値の分布に応じて定めた閾値に従って前記グレースケール画像を２値化した画像であるグレースケール２値化画像を生成し、前記グレースケール２値化画像に応じて第４眉候補領域を定め、第３眉候補領域及び第４眉候補領域のいずれか一方を第２領域としても良い。
【００１３】
好適な実施態様では、前記顔面領域内の鼻孔を含む第４領域を特定する手段は、前記原画像の明度に応じて第４の範囲を定め、前記原画像の画素値をＲ／（Ｒ＋Ｇ＋Ｂ）に変換した画像であるＲ比率画像の画素値の分布に応じて第５の範囲を定め、明度が第４の範囲内であり、かつ、前記Ｒ比率画像の画素値が第５の範囲内である画素を含む領域を第４領域としても良い。
【００１４】
好適な実施態様では、前記顔面領域内の鼻孔を含む第４領域を特定する手段は、明度が第４の範囲内であり、かつ、前記Ｒ比率画像の画素値が第５の範囲内である画素が連結して形成された複数の領域のうち、面積の広さが上位の４つの領域の相互の位置関係に応じて第４領域を特定しても良い。
【００１５】
本発明の一つの実施態様に従う画像処理装置は、被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部と、前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、前記原画像で正規化されたＧ（緑）成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第１領域を特定する手段と、前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第２領域を特定する手段と、前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第３領域を特定する手段と、前記原画像で、前記顔面領域から前記第１領域〜第３領域のうちの少なくとも一つの領域を除去した領域内の正規化されたＲ（赤）成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第４領域を特定する手段と、前記顔面領域から前記第１領域〜第４領域のうちの少なくとも一つの領域を除去した肌領域を抽出する手段と、を備える。
【００１６】
本発明の一つの実施態様に従う肌画像解析装置は、被験者の顔を撮影したＲＧＢ成分を有する原画像の画像データを記憶する記憶部と、前記原画像の色成分に応じて、前記被験者の唇を含む唇領域を特定する手段と、前記唇領域よりも上の領域の明度または色成分に応じて、前記被験者の眉を含む眉領域及び前記被験者の閉じた目を含む目領域を特定する手段と、前記唇領域よりも上の領域であり、かつ、前記眉領域及び目領域よりも下の領域の色成分に応じて、前記被験者の鼻孔を含む鼻孔領域を特定する手段と、前記被験者の顔面領域から前記唇、眉、目及び鼻孔の各領域を除去した肌領域を特定する手段と、前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態にかかる画像処理装置１の全体構成図である。
【図２】本実施形態の画像処理装置１の全体処理手順を示す。
【図３】ステップＳ２３０の顔面領域抽出処理の詳細な処理手順を示すフローチャートである。
【図４】グレースケール画像のヒストグラムの一例と、色相画像のヒストグラムの一例を示す。
【図５】ステップＳ２４０の唇抽出処理の詳細な処理手順を示すフローチャートである。
【図６】目領域及び眉領域を抽出する処理の全体を示すフローチャートである。
【図７】ステップＳ６１１等の目抽出処理の詳細な処理手順を示すフローチャートである。
【図８】ステップＳ６１３等の眉領域抽出処理の詳細な手順を示すフローチャートである。
【図９】ステップＳ８１１の眉・微分画像処理の詳細な手順を示すフローチャートである。
【図１０】ステップＳ８１３の眉・微分画像処理の詳細な手順を示すフローチャートである。
【図１１】ステップＳ２６０の鼻孔抽出処理の詳細な手順を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態に係る画像処理装置について、図面を参照して説明する。本実施形態にかかる画像処理装置は、特に、顔の肌の状態を画像解析する肌画像解析装置である。
【００１９】
図１は、本実施形態にかかる画像処理装置１の全体構成図である。
【００２０】
本画像処理装置１は、画像処理装置本体１０とカメラ５とを備える。
【００２１】
画像処理装置本体１０は、例えば、プロセッサ、メモリ等を有する汎用的なコンピュータシステムにより構成され、以下に説明する個々の構成要素または機能は、例えば、コンピュータシステム上で所定のコンピュータプログラムを実行することにより実現される。
【００２２】
画像処理装置本体１０は、同図に示すように、前処理部１１と、顔面抽出部１３と、顔パーツ抽出部１５と、マスク生成処理部１７と、肌解析処理部１９と、原画像データ記憶部３００と、グレー画像データ記憶部３１１と、色相画像データ記憶部３１２と、Ｇ比率画像データ記憶部３１３と、Ｒ比率画像データ記憶部３１４と、微分画像データ記憶部３１５と、顔面領域データ記憶部３５０と、唇領域データ記憶部３６０と、目・眉領域データ記憶部３７０と、鼻孔領域データ記憶部３８０と、マスク領域データ記憶部３９０とを備える。
【００２３】
原画像データ記憶部３００には、被験者（人物）の顔を含む画像が保存される。原画像データ記憶部３００に保存される原画像の画像データ（以下、原画像データという）は、例えば、カメラ５で撮影された画像のデータでも良いし、カメラ５以外のカメラで撮影された画像のデータであっても良い。
【００２４】
原画像は、例えば、黒い背景で、顔を含む被験者の首から上の部分を正面から撮影した静止画像である。被験者の着ている服が映らないように、黒色の前掛けをつけて撮影された画像でも良い。原画像には、主に被験者の顔面及び頭髪が写っている。原画像は、被験者を左または右斜め前方から撮影した画像でも良い。原画像に写っている被験者の顔の向きが、原画像データ記憶部３００に保存されている原画像データのファイル名で識別できるようにファイル名を定めても良い。原画像は、顔面の肌の露出が多くなるように、前髪を持ち上げた状態で撮影された画像でも良い。
【００２５】
原画像の画素数は、例えば、水平方向（Ｘ方向）及び垂直方向（Ｙ方向）ともに２０００〜５０００画素程度を有する２次元の画像で良い。原画像は、例えば、画素ごとにＲＧＢ（赤、緑、青）の各成分を有するカラー画像である。原画像は、動画像の１フレームであっても良い。
【００２６】
前処理部１１は、原画像データ記憶部３００に保存されている原画像データを種々の方法で加工する。前処理部１１は、グレー画像生成部１１１と、色相画像生成部１１３と、Ｇ比率画像生成部１１５と、Ｒ比率画像生成部１１７と、微分画像生成部１１９とを有する。
【００２７】
グレー画像生成部１１１は、原画像からグレースケール画像を生成する。グレー画像生成部１１１は、原画像データ記憶部３００から原画像データを読み出し、公知のグレースケール変換式を用いて、原画像からグレースケール画像を生成しても良い。グレー画像生成部１１１が生成したグレースケール画像の画像データ（以下、グレースケール画像データという）は、グレー画像データ記憶部３１１に保存される。
【００２８】
色相画像生成部１１３は、原画像から各画素が色相を示す色相画像を生成する。色相画像生成部１１３は、原画像データ記憶部３００から原画像データを読み出し、以下に示すＲＧＢから色相（Ｈ：Ｈｕｅ）への変換式により、原画像から色相画像を生成しても良い。色相画像生成部１１３が生成した色相画像の画像データ（以下、色相画像データという）は色相画像データ記憶部３１２に保存される。
【００２９】
【数１】
2016173716.tif 000003
Ｈ：色相
Ｒ，Ｇ，Ｂはそれぞれ赤、緑及び青の画素値
【００３０】
Ｇ比率画像生成部１１５は、原画像の各画素をＧ（緑）成分で正規化して、Ｇ（緑）成分の比率を示すＧ比率画像を生成する。Ｇ比率画像生成部１１５は、原画像データ記憶部３００から原画像データを読み出し、以下の式（２）に示すＲＧＢからＧ成分比率（Ｇ比率）への変換式を各画素に適用し、原画像からＧ比率画像を生成しても良い。Ｇ比率画像生成部１１５が生成したＧ比率画像の画像データ（以下、Ｇ比率画像データという）はＧ比率画像データ記憶部３１３に保存される。
【００３１】
Ｇ比率＝Ｇ／（Ｒ＋Ｇ＋Ｂ）  ・・・（２）
【００３２】
Ｒ比率画像生成部１１７は、原画像の各画素をＲ（赤）成分で正規化して、Ｒ（赤）成分の比率を示すＲ比率画像を生成する。Ｒ比率画像生成部１１７は、原画像データ記憶部３００から原画像データを読み出し、以下の式（３）に示すＲＧＢからＲ成分比率（Ｒ比率）への変換式を各画素に適用し、原画像からＲ比率画像を生成しても良い。Ｒ比率画像生成部１１７が生成したＲ比率画像の画像データ（以下、Ｒ比率画像データという）はＲ比率画像データ記憶部３１４に保存される。
【００３３】
Ｒ比率＝Ｒ／（Ｒ＋Ｇ＋Ｂ）  ・・・（３）
【００３４】
微分画像生成部１１９は、原画像を微分した微分画像を生成する。微分画像生成部１１９は、原画像データ記憶部３００から原画像データを読み出し、例えば、水平方向または垂直方向へゾーベル（Ｓｏｂｅｌ）フィルタあるいはプレヴィット（Ｐｒｅｗｉｔｔ）フィルタを適用して、原画像から微分画像を生成しても良い。微分画像生成部１１９が生成した微分画像の画像データ（以下、微分画像データという）は微分画像データ記憶部３１５に保存される。
【００３５】
顔面抽出部１３は、原画像に含まれる顔面の領域を抽出する。顔面抽出部１３は、原画像で明度及び色相が所定範囲内の画素を抽出して、被験者の顔面領域として特定しても良い。顔面抽出部１３は、例えば、グレー画像データ記憶部３１１及び色相画像データ記憶部３１２に保存されているグレースケール画像及び色相画像データに応じて顔面領域を特定し、顔面領域を示す顔面領域データを生成する。顔面領域データは顔面領域データ記憶部３５０に保存される。顔面抽出部１３による処理の詳細については後述する。
【００３６】
顔パーツ抽出部１５は、顔面領域に含まれる顔のパーツの領域を抽出する。本実施形態では、顔パーツ抽出部１５は、顔のパーツとして眉、閉じた目（以下、単に目ということもある）、鼻孔、及び唇を抽出する。従って、顔パーツ抽出部１５は、唇抽出部１５１と、目・眉抽出部１５３と、鼻孔抽出部１５５とを有する。
【００３７】
唇抽出部１５１は、顔面領域から色成分に応じて被験者の唇領域を抽出する。唇抽出部１５１は、例えば、原画像のＧ（緑）成分に応じて唇領域を特定しても良いし、色相に応じて唇領域を特定しても良い。唇抽出部１５１は、原画像のＧ（緑）成分の比率が所定範囲内の画素を抽出して唇領域として、唇領域の範囲を示す唇領域データを生成しても良い。唇領域データは、唇領域データ記憶部３６０に保存される。唇抽出部１５１による処理の詳細については後述する。
【００３８】
目・眉抽出部１５３は、顔面領域から明度及び色成分に応じて、被験者の目領域及び眉領域を抽出する。目・眉抽出部１５３は、例えば、原画像を微分した微分画像または原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む眉領域を特定し、眉領域の範囲を示す眉領域データを生成する。また、目・眉抽出部１５３は、例えば、原画像で明度が所定範囲内の画素を抽出して、顔面領域内の閉じた目を含む目領域を特定し、目領域の範囲を示す目領域データを生成する。目領域データ及び眉領域データは、目・眉領域データ記憶部３７０に保存される。目・眉抽出部１５３による処理の詳細については後述する。
【００３９】
鼻孔抽出部１５５は、顔面領域から明度及び／または色成分に応じて被験者の鼻孔領域を抽出する。鼻孔抽出部１５５は、例えば、顔面領域から唇、目及び眉の各領域の全部または一部を除去した領域内でグレースケール画像の画像データに応じた領域を新たに生成し、Ｒ（赤）成分に応じて鼻孔を含む鼻孔領域を特定する。鼻孔抽出部１５５は、原画像のＲ（赤）成分の比率が所定範囲内の画素を抽出して鼻孔領域として、鼻孔領域を示す鼻孔領域データを生成しても良い。あるいは、鼻孔抽出部１５５は、グレースケール画像から抽出した領域で鼻孔領域を特定しても良いし、Ｒ比率画像から抽出した領域で鼻孔領域を特定しても良い。鼻孔領域データは鼻孔領域データ記憶部３８０に保存される。鼻孔抽出部１５５による処理の詳細については後述する。
【００４０】
マスク生成処理部１７は、肌解析処理部１９が行う解析の対象となる肌領域を抽出するためのマスクを生成する。マスク生成処理部１７が生成するマスクは、顔面領域から眉、目、鼻孔及び唇の各パーツの少なくとも一つ以上の領域をマスクする。つまり、マスク生成処理部１７が生成するマスクにより、顔面のパーツの少なくとも一部が取り除かれた肌領域が特定される。マスク生成処理部１７は、眉領域データ、目領域データ、鼻孔領域データ及び唇領域データが示す領域を顔面領域が示す領域から除去したマスクデータを生成する。マスクデータは、マスク領域データ記憶部３９０に保存される。なお、マスク生成処理部１７がマスクをする顔パーツの領域の一部は、本実施形態とは異なる手法で特定された領域を用いても良い。
【００４１】
また、本実施形態では、顔パーツ抽出部１５が、眉、目、鼻孔及び唇の各領域を抽出して、マスク生成処理部１７が各領域をマスクするマスクデータを生成するが、必ずしもすべての領域を同時にマスクしなくても良い。例えば、マスク生成処理部１７は、眉、目、鼻孔及び唇の各領域の一つ以上の領域をマスクするマスクデータを生成しても良い。その場合、顔パーツ抽出部１５は、必要な領域のみを抽出し、必要でない領域の抽出を省略しても良い。
【００４２】
肌解析処理部１９は、肌領域の原画像データに応じて、被験者の肌の状態を解析する。例えば、肌解析処理部１９は、マスク領域データ記憶部３９０に保存されたマスクデータに基づいて肌領域の画素を特定し、その肌領域の画素の原画像データを用いて、肌解析を行う。肌解析の結果は、図示しない出力装置（ディスプレイ、プリンタ等）から所定の形式で出力される。
【００４３】
図２は、本実施形態の画像処理装置１の全体処理手順を示す。
【００４４】
まず、画像処理装置本体１０が原画像データを取り込んで原画像データ記憶部３００に保存する（Ｓ２１０）。
【００４５】
前処理部１１が、以降の処理で必要となる画像を予め生成する（Ｓ２２０）。具体的には、前処理部１１がグレースケール画像、色相画像、Ｇ比率画像、Ｒ比率画像及び微分画像をそれぞれ生成する。なお、これらの画像はステップＳ２３０の処理を開始する前にすべて生成されている必要はない。各画像はステップＳ２３０以降でそれぞれ必要になるときまでに生成されていれば良い。
【００４６】
顔面抽出部１３は、原画像から背景領域及び頭髪等の領域を除去した顔面領域を抽出して、顔面領域データを生成する（Ｓ２３０）。
【００４７】
唇抽出部１５１は、顔面領域から唇領域を抽出して、唇領域データを生成する（Ｓ２４０）。
【００４８】
目・眉抽出部１５３は、顔面領域から目領域及び眉領域を抽出して、目領域データ及び眉領域データを生成する（Ｓ２５０）。
【００４９】
鼻孔抽出部１５５は、顔面領域から鼻孔領域を抽出して、鼻孔領域データを生成する（Ｓ２６０）。
【００５０】
マスク生成処理部１７は、ステップＳ２３０〜２６０までの処理結果に応じて、原画像から肌領域を抽出するためのマスクデータを生成する（Ｓ２７０）。
【００５１】
肌解析処理部１９は、マスクデータにより特定される肌領域について、原画像データに基づいて肌解析処理を行う（Ｓ２８０）。
【００５２】
図３は、ステップＳ２３０の顔面領域抽出処理の詳細な処理手順を示すフローチャートである。
【００５３】
顔面抽出部１３は、グレースケール画像に応じて、それを２値化するための閾値を決定する（Ｓ３１）。例えば、グレースケール画像の画素値の分布に応じて第１の範囲を定める。さらに詳細には、例えば、顔面抽出部１３は、グレースケール画像データをグレー画像データ記憶部３１１から読み込んで、ヒストグラムを生成する。顔面抽出部１３は、このヒストグラムに基づいて、２値化のための閾値を決定しても良い。
【００５４】
図４Ａは、グレースケール画像のヒストグラムの一例を示す。同図に示すヒストグラムは、一つの典型例であり２つのピークを有するが、ピークが３つ以上になる場合もある。各ピークは、暗い方から、主に背景領域（黒）と人の顔領域とに対応する。３つピークが現れる場合は、例えば、被験者の頭部が明るい色（白髪、金髪等の頭髪、及び頭巾等の冠りものをつけているとき等）である場合がある。このときは、背景よりもさらに明るいピークが現れる。そこで、顔面抽出部１３は、最も暗いピークを超えた最初の谷の画素値ａを２値化の閾値としても良い。そして、この閾値を境にグレースケール画像を２値化する。閾値ａよりも大きい画素値の範囲が第１の範囲となる。
【００５５】
図３に戻ると、顔面抽出部１３は、色相画像に応じて、それを２値化するための閾値を決定する（Ｓ３３）。例えば、顔面抽出部１３は、色相画像の画素値の分布に応じて第２の範囲を定める。さらに詳細には、例えば、顔面抽出部１３は、色相画像の画像データを色相画像データ記憶部３１２から読み込んで、ヒストグラムを生成する。このヒストグラムに基づいて、２値化のための閾値を決定する。色相の値は０−３５９までであるが、０−２５５までに変換しても良い。
【００５６】
図４Ｂは、色相画像のヒストグラムの一例を示す。同図に示すヒストグラムは、一つの典型例であり２つのピークを有するが、３つ以上になる場合もある。３つピークが現れる場合は、前記グレースケール画像のヒストグラムと同様の場合である。顔面抽出部１３は、例えば、最大のピークを含む所定の画素値の範囲（下限閾値をｂ、上限閾値をｃ）を定める。画素値ｂ〜ｃの範囲を第２の範囲としても良い。
【００５７】
なお、色相画像のヒストグラムは、すべての画素を対象として生成されたものでも良いし、グレースケール画像において閾値ａ以上の画素値を有する画素を対象にして生成されたものでも良い。
【００５８】
顔面抽出部１３は、グレースケール画像の画素値がａ以上（第１の範囲内）であり、かつ、色相画像の画素値がｂからｃの間（第２の範囲内）の画素を顔面候補領域として特定する（Ｓ３５）。
【００５９】
顔面抽出部１３は、ステップＳ３５で特定された顔面候補領域に対して、例えばスネーク処理等の輪郭修正処理を行って顔面領域を決定する（Ｓ３７）。
【００６０】
図５は、ステップＳ２４０の唇抽出処理の詳細な処理手順を示すフローチャートである。
【００６１】
唇抽出部１５１は、Ｇ比率画像に応じて、それを２値化するための閾値を決定する（Ｓ５１１）。例えば、唇抽出部１５１は、Ｇ比率画像の画素値の分布に応じて第３の範囲を定める。さらに詳細には、例えば、唇抽出部１５１は、Ｇ比率画像の画像データをＧ比率画像データ記憶部３１３から読み込んで、ヒストグラムを生成する。このヒストグラムに基づいて、２値化のための閾値を決定しても良い。さらに、最大のピークのときの画素値ｄを基準として閾値を定めても良い。例えば、画素値ｄの１／２、１／３、１／５、１／１０等の画素値を閾値としても良い。
【００６２】
唇抽出部１５１は、ステップＳ５１１で特定した閾値に基づいてＧ比率画像を２値化する（Ｓ５１３）。ここでは、着目している領域（以下、特徴領域と呼ぶ）を白、その他の領域を黒に２値化する。唇抽出部１５１は、この２値化画像に対してノイズ除去処理を行っても良い。ノイズ除去処理として、唇抽出部１５１は、例えば、２値化画像で孤立している、面積の小さい特徴領域をノイズとし、これを除去するためのフィルタをかけても良い。なお、これ以降に説明する他の処理でも２値化処理を行う場合がある。２値化処理では、特に言及しないときでも上述したノイズ除去処理を実行しても良い。
【００６３】
また、ここではＧ比率画像を用いているが、Ｇ比率画像の代わりに色相画像を用いても良い。色相画像を用いる場合、まず、唇抽出部１５１は、グレースケール画像で所定以上の明度を有する画素を対象として色相画像を生成する。そして、唇抽出部１５１は、色相画像において、所定の色相範囲に属する画素の原画像での空間分布に基づいて（例えば、顔の下側に位置する所定面積の範囲に属する領域等を）唇領域として特定しても良い。
【００６４】
次に、唇抽出部１５１は、この２値化画像に対して二通りの処理を実行する。
【００６５】
まず、唇抽出部１５１は、Ｇ比率画像または色相画像の画素値が第３の範囲内である画素を含む領域を第１唇候補領域としても良い。具体的には、唇抽出部１５１が次に説明するステップＳ５１５及びＳ５１７を行って第１唇候補領域を特定しても良い。
【００６６】
唇抽出部１５１は、顔面領域の縁部分にあるノイズを除去する処理（以下、縁処理という）を行う（Ｓ５１５）。
【００６７】
顔面領域の縁部分では、頭髪や顔の輪郭に沿う影等のノイズの影響により誤抽出が生じやすい。そこで、本実施形態では、顔面領域の輪郭を形成する閉曲線とこの輪郭をわずかに縮小した閉曲線との間の環状領域と、これに繋がる特徴領域を除去する。ただし、ここで除去対象となる特徴領域は、必ずしもノイズでない場合もある。そこで、本実施形態では、以下に説明する他の処理においても、必要に応じて縁処理を実行したり、しなかったりする。
【００６８】
唇抽出部１５１は、縁処理が実行された後の２値化画像で特徴領域とされた領域を第１唇候補領域とする（Ｓ５１７）。
【００６９】
これに対して、唇抽出部１５１は、さらに、ステップＳ５１３で２値化された画像に対してマリオネットライン除去処理（シワ消し処理）を適用し、残った画素を含む領域を第２唇候補領域とする。具体的には、唇抽出部１５１が次に説明するステップＳ５１９〜Ｓ５２３を行って第２唇候補領域を特定する。
【００７０】
唇抽出部１５１は、２値化画像においてマリオネットライン除去処理を行う（Ｓ５１９）。マリオネットラインとは、口の両脇からあごに伸びる２本の線のことである。このマリオネットラインを消去するために、唇抽出部１５１は、例えば、２値化画像の全領域を対象に頭髪やシワ等の細い線を除去するためのフィルタ処理を実行しても良い。なお、これ以降に説明する他の２値化画像に対しても、特に言及しないときでもこの処理をノイズ除去処理として実行しても良い。
【００７１】
唇抽出部１５１は、マリオネットライン除去処理後の２値化画像に対して、ステップＳ５１５と同じ縁処理を適用する（Ｓ５２１）。
【００７２】
唇抽出部１５１は、ステップＳ５２１が実行された後の２値化画像で特徴領域とされた領域を第２唇候補領域とする（Ｓ５２３）。
【００７３】
唇抽出部１５１は、第１唇候補領域の決定と第２唇候補領域の決定の何れを先に実行しても良い。
【００７４】
唇抽出部１５１は、第１唇候補領域及び第２唇候補領域の何れか一方を唇領域として特定する（Ｓ５２５）。ここでは、第１唇候補領域の下端の位置と第２唇候補領域の下端の位置を比較して、より低い位置にある唇候補領域を唇領域として選択するようにしても良い。
【００７５】
唇抽出部１５１は、顔面領域内での唇領域の位置によって顔の向きを判定する（Ｓ５２７）。例えば、唇抽出部１５１は、顔面領域の横幅（Ｘ方向の長さ）を３等分し、唇領域が左側面、右側面、中心の何れの領域に最も多く属しているかによって、顔の向きを判定しても良い。例えば、唇領域が顔の中心に最も多く存在するときは、正面向きであると判定する。なお、この判定結果に応じて、原画像データ記憶部３００に保存されている原画像データのファイル名を決定しても良い。例えば、原画像データのファイル名を顔の向きが識別可能なファイル名としても良い。
【００７６】
図６〜図１０は、目・眉抽出部１５３が行う目領域及び眉領域の抽出を行う目・眉処理のフローチャートである。目・眉抽出部１５３は、唇領域が既に抽出されているときは、唇領域上端よりも下の領域を処理対象外とし、唇領域の上端よりも上の顔面領域を目・眉処理の対象領域として目及び眉領域を抽出する処理を行っても良い。
【００７７】
図６は、目領域及び眉領域を抽出する処理の全体を示すフローチャートである。
【００７８】
目・眉抽出部１５３は、まず、顔面領域の中の閉じた目を抽出する目抽出処理を実行する（Ｓ６１１）。目抽出処理の詳細については後述する。
【００７９】
目・眉抽出部１５３は、目抽出処理の後に眉抽出処理を実行する（Ｓ６１３）。眉抽出処理の詳細については後述する。
【００８０】
目・眉抽出部１５３は、目抽出処理及び眉抽出処理の処理で、目領域及び眉領域が抽出されたか否かを判定する（Ｓ６１５）。
【００８１】
ここで、目領域及び眉領域の両方が抽出されていた場合、眉領域と目領域の相対的な位置関係が正常であるか否かを判定する（Ｓ６２１）。ここで、眉領域が目領域よりも上に位置する場合、相対的な位置関係が正しいので、終了する。一方、眉領域が目領域よりも上に位置する場合、相対的な位置関係が正しくないので、この時点で抽出されている目領域及び眉領域を破棄し、ステップＳ６１１へ戻り再処理を実行する。
【００８２】
このときのように、図６に示す処理では、目抽出処理が複数回実行される可能性がある。目抽出処理の詳細な処理フローは図７に示す通りである。但し、目・眉抽出部１５３は、目抽出処理を実行する回数に応じて、一以上のパラメータを変えて実行する。例えば、目・眉抽出部１５３は、２値化の閾値、ノイズとして除去する特徴領域のサイズ、及び縁処理を適用するか否か等を、処理を実行する回数に応じて変えて行っても良い。これにより、目抽出処理を実行するごとに異なる目領域が抽出されることになる。
【００８３】
また、図６に示す処理では、眉抽出処理も目抽出処理と同様に複数回実行される可能性がある。眉抽出処理の詳細な処理フローは図８〜図１０に示す通りである。但し、目・眉抽出部１５３は、眉抽出処理についても、目抽出処理と同様に実行する回数に応じて、一以上のパラメータを変えて実行する。例えば、目・眉抽出部１５３は、２値化の閾値、ノイズとして除去する特徴領域のサイズ、及び縁処理を適用するか否か等を、処理を実行する回数に応じて変えて行う。これにより、眉抽出処理を実行するごとに異なる眉領域が抽出されることになる。
【００８４】
ステップＳ６１５で眉領域のみが抽出されていたと判定されたときは、目・眉抽出部１５３は、再び目抽出処理を実行する（Ｓ６３１）。その後、目・眉抽出部１５３は、目領域が抽出されたか否かを判定する（Ｓ６３３）。ここでは、目領域が抽出されるまでステップＳ６３１の処理を繰り返す。
【００８５】
ステップＳ６１５で目領域及び眉領域の何れも抽出されていなかったと判定されたときは、目・眉抽出部１５３は、眉抽出処理を実行した後、目抽出処理を実行する（Ｓ６４１、Ｓ６４３）。その後、目・眉抽出部１５３は、ステップＳ６４１及びＳ６４３で眉領域及び目領域が抽出されたか否かを判定する（Ｓ６４５）。ここでは、眉領域と目領域の一方のみを抽出した場合には、眉領域及び目領域の両方が抽出されるまでステップＳ６４１、Ｓ６４３の処理を繰り返す。このとき、眉領域が抽出済みであればステップＳ６４１をスキップしても良いし、目領域が抽出済みであればステップＳ６４３をスキップしても良い。ステップＳ６４５で目領域及び眉領域の何れも抽出されていない場合には、ステップＳ６１１へ戻り再処理を実行する。
【００８６】
ステップＳ６１５で目領域のみが抽出されていたと判定されたときは、目・眉抽出部１５３は、その抽出済みの目領域を破棄して、ステップＳ６４１以降を実行する。
【００８７】
ステップＳ６３３及びＳ６４５終了後、ステップＳ６２１で上述の通り、目と眉の相対的な位置関係の判定を行う。
【００８８】
図７は、ステップＳ６１１等の目抽出処理の詳細な処理手順を示すフローチャートである。目・眉抽出部１５３は、この目処理を実行する際、既に眉領域が抽出されている場合、眉領域を除外した領域あるいは眉領域の下端よりも下の領域を対象領域として、以下の処理を行っても良い。
【００８９】
目・眉抽出部１５３は、グレースケール画像に応じて、それを２値化するための閾値を決定する（Ｓ７１１）。例えば、目・眉抽出部１５３は、グレースケール画像の画素値の分布に応じて画素値の範囲を定める。さらに詳細には、例えば、目・眉抽出部１５３は、グレースケール画像の画像データをグレー画像データ記憶部３１１から読み込んで、顔面領域内の全画素または対象領域の画素についてヒストグラムを生成する。目・眉抽出部１５３は、このヒストグラムに基づいて、２値化のための閾値を決定しても良い。目・眉抽出部１５３は、図７に示す目抽出処理を実行した回数をカウントするカウンタを備えていても良い。目・眉抽出部１５３は、このカウンタのカウント値に応じて、ステップＳ７１１での閾値の決定方法を変えても良い。閾値によって特徴領域が正しく検出できるか否かが変わるからである。
【００９０】
目・眉抽出部１５３は、ステップＳ７１１で定めた閾値に基づいてグレースケール画像を２値化する（Ｓ７１３）。
【００９１】
目・眉抽出部１５３は、ステップＳ７１３で生成した２値化画像に対して縁処理を行う（Ｓ７１５）。目・眉抽出部１５３は、ステップＳ７１５の縁処理も、上述した目抽出処理の実行回数カウンタに応じて省略しても良いし、あるいは、処理の内容を変えても良い（例えば、輪郭に沿った環状領域の幅を広くまたは狭くする、あるいは環状領域のみを消去し、そこに繋がる領域を残す。）。
【００９２】
目・眉抽出部１５３は、２値化画像から閉じた目の領域を抽出する（Ｓ７１７）。例えば、目・眉抽出部１５３は、２値化画像で面積が最も大きい特徴領域と２番目に大きい特徴領域を目領域として抽出しても良い。
【００９３】
目・眉抽出部１５３は、ここで抽出した目領域が正しいか否かを判定する（Ｓ７１９）。目・眉抽出部１５３は、例えば、抽出された２つの領域の相対的な位置関係に基づいて正誤判定するようにしても良い。例えば、目・眉抽出部１５３は、２つの目領域の上下方向の相対的な位置ズレがないか、及び／または２つの目領域が顔面の左右の領域に分かれて存在しているか否かにより正誤判定しても良い。
【００９４】
目・眉抽出部１５３は、ステップＳ７１９の処理で、目領域が顔面領域内で同じ程度の高さであるか否かを判定しても良い。目・眉抽出部１５３は、例えば、いずれか一方の領域を基準領域として、その基準領域の上端または下端が、他方の領域の上端と下端の間に入っているか否かを判定しても良い。目・眉抽出部１５３は、何れの領域を基準領域としたときも、その上端または下端が他方の領域の上端と下端の間に入っていないときは、上下方向の位置ズレが生じているので、相対的な位置関係が正しくない判定しても良い。
【００９５】
また、原画像が被験者を正面から撮影した画像である場合、目・眉抽出部１５３は、ステップＳ７１９の処理で、目領域が顔面領域の左半面と右半面に分かれているか否かを判定しても良い。例えば、目・眉抽出部１５３は、顔領域の中心線を特定し、二つの目領域がその線の左右に分かれて存在していれば、相対的な位置関係が正しいと判定する。
【００９６】
これ以外にも、例えば、目領域の面積、あるいは縦横比が所定の範囲であるか否かを判定しも良い。さらに、既に眉領域が抽出されているときは、目・眉抽出部１５３は、目領域と眉領域との相対的な位置関係も考慮して正誤判定を行っても良い。目・眉抽出部１５３は、ステップＳ７１９では、上記の基準の一つ以上を用いて正誤判定を行っても良い。
【００９７】
正誤判定により２つの目領域の位置関係が正しいと判断されたときは（Ｓ７１９：正）、目・眉抽出部１５３は、２つの領域を目領域として確定する（Ｓ７２１）。
【００９８】
一方、正誤判定により２つの目領域の位置関係が正しくないと判断されたときは（Ｓ７１９：誤）、目・眉抽出部１５３は、抽出されている目領域を破棄して、目領域は未確定とする（Ｓ７２３）。
【００９９】
図８は、ステップＳ６１３等の眉領域抽出処理の詳細な手順を示すフローチャートである。目・眉抽出部１５３は、この眉処理を実行する際、既に目領域が確定している場合には、目領域を除外した領域、あるいは目領域の上端よりも上の領域を対象領域として、以下の処理を行っても良い。
【０１００】
目・眉抽出部１５３は、眉抽出処理として、微分画像を用いて眉・微分画像処理を実行する（Ｓ８１１）。眉・微分画像処理の詳細については後述する。
【０１０１】
目・眉抽出部１５３は、ステップＳ８１１で抽出された眉領域が正しいか否かの判定をする（Ｓ８１２）。この正誤判定は、例えば、ステップＳ７１９の目領域に対して行う正誤判定と同様に、２つの眉領域の上下の位置ズレ、及び／または２つの眉領域が顔面の左右の領域に分かれているか否かについての判定を眉に対して行っても良い。
【０１０２】
正誤判定により２つの眉領域の位置関係が正しくないと判断されたときは（Ｓ８１２：誤）、目・眉抽出部１５３は、抽出されている眉領域を破棄する（Ｓ８１４）。
【０１０３】
正誤判定により２つの眉領域の位置関係が正しいと判断されたときは、これらの眉領域を眉候補領域として有効なものとしたまま（Ｓ８１２：正）、目・眉抽出部１５３が眉抽出処理として、グレースケール画像を用いて眉・グレー画像処理を実行する（Ｓ８１６）。眉・グレー画像処理の詳細については後述する。
【０１０４】
目・眉抽出部１５３は、ステップＳ８１６で抽出された眉領域が正しいか否かの判定をする（Ｓ８１８）。この正誤判定の基準は、例えば、ステップＳ８１２と同様としても良い。
【０１０５】
正誤判定により２つの眉領域の位置関係が正しくないと判断されたときは（Ｓ８１８：誤）、目・眉抽出部１５３は、抽出されている眉領域を破棄する（Ｓ８２０）。
【０１０６】
正誤判定により２つの眉領域の位置関係が正しいと判断されたときは、これらの眉領域を眉候補領域として有効なものとして（Ｓ８１８：正）、目・眉抽出部１５３が眉・微分画像処理と眉・グレー画像処理での処理結果に応じて眉領域を確定する（Ｓ８２２）。例えば、目・眉抽出部１５３は、眉・微分画像処理及び眉・グレー画像処理でそれぞれ眉候補領域が抽出され、かつ有効であるときは、それらのいずれか一方を眉候補として選択しても良い。例えば、目・眉抽出部１５３は、眉候補領域の幅、高さ、面積、アスペクト比等の一つ以上を基準としても良い。眉・微分画像処理と眉・グレー画像処理で抽出された眉領域が何れも破棄されているときは、眉領域を確定せずに終了しても良い。眉・微分画像処理と眉・グレー画像処理のいずれか一方の眉候補領域のみが有効であるときは、それを眉領域として確定しても良い。
【０１０７】
なお、ここでは、眉・微分画像処理を先に行い眉・グレー画像処理を後に行っているが、これらの順序は任意である。つまり、処理の順序を逆にしても良いし、両者を同時に実行しても良い。また、眉・グレー画像処理を行わず、眉・微分画像処理で抽出された眉候補領域をそのまま眉領域としても良いし、眉・微分画像処理を行わず、眉・グレー画像処理で抽出された眉候補領域をそのまま眉領域としても良い。
【０１０８】
図９は、ステップＳ８１１の眉・微分画像処理の詳細な手順を示すフローチャートである。
【０１０９】
目・眉抽出部１５３は、微分画像の画素値の分布に応じて、それを２値化するための閾値を決定する（Ｓ９１１）。さらに詳細には、目・眉抽出部１５３は、微分画像の画像データを微分画像データ記憶部３１５から読み込んで、顔面領域内の全画素または対象領域の画素についてヒストグラムを生成する。このヒストグラムに基づいて、目・眉抽出部１５３は、２値化のための閾値を決定する。
【０１１０】
目・眉抽出部１５３は、図８〜図１０に示す眉抽出処理を実行した回数をカウントするカウンタを備えていても良い。目・眉抽出部１５３は、このカウンタのカウント値に応じて、ステップＳ９１１での閾値の決定方法を変えても良い。閾値によって特徴領域が正しく検出できるか否かが変わるからである。
【０１１１】
目・眉抽出部１５３は、ステップＳ９１１で定めた閾値に従って微分画像を２値化して微分２値化画像を生成する（Ｓ９１３）。
【０１１２】
目・眉抽出部１５３は、微分２値化画像について、縁処理を実行する（Ｓ９１５）。縁処理の具体的な処理内容については上述の通りである。
【０１１３】
なお、目・眉抽出部１５３は、ステップＳ９１５の縁処理も、上述した眉抽出処理の実行回数カウンタに応じて省略しても良いし、あるいは、処理の内容を変えても良い（例えば、輪郭に沿った環状領域の幅を広くまたは狭くする、あるいは環状領域のみを消去し、そこに繋がる領域を残す。）。
【０１１４】
目・眉抽出部１５３は、微分２値化画像を平滑化する（Ｓ９１７）。例えば、目・眉抽出部１５３は、微分２値化画像にガウシアンフィルタを適用しても良い。
【０１１５】
目・眉抽出部１５３は、平滑化後の画像において、眉領域を抽出する（Ｓ９１９）。目・眉抽出部１５３は、例えば平滑化された画像において、最も面積が大きい特徴領域及び２番目に面積の大きい特徴領域を眉領域としても良い。
【０１１６】
微分画像を用いることで、眉毛のエッジ抽出ができるとともに、微分画像をさらに平滑化することで、眉領域としての広がりを抽出できる。さらに、微分画像を用いることで、黒以外の色の眉も抽出できる。
【０１１７】
図１０は、ステップＳ８１６の眉・グレー画像処理の詳細な手順を示すフローチャートである。
【０１１８】
目・眉抽出部１５３は、原画像の明度の分布に応じて、それを２値化するための閾値を決定する（Ｓ１０１１）。例えば、目・眉抽出部１５３は、グレースケール画像の画像データをグレー画像データ記憶部３１１から読み込んで、顔面領域内の全画素または対象領域の画素についてヒストグラムを生成する。このヒストグラムに応じて、２値化のための閾値を決定する。
【０１１９】
目・眉抽出部１５３は、眉抽出処理の実行回数カウンタのカウント値に応じて、ステップＳ１０１１での閾値の決定方法を変えても良い。
【０１２０】
目・眉抽出部１５３は、ステップＳ１０１１で定めた閾値に従ってグレースケール画像を２値化してグレー２値化画像を生成する（Ｓ１０１３）。
【０１２１】
目・眉抽出部１５３は、グレー２値化画像について、縁処理を実行する（Ｓ１０１５）。縁処理の具体的な処理内容については上述の通りである。
【０１２２】
なお、目・眉抽出部１５３は、ステップＳ１０１５の縁処理も、上述した眉抽出処理の実行回数カウンタに応じて省略しても良いし、あるいは、処理の内容を変えても良い（例えば、輪郭に沿った環状領域の幅を広くまたは狭くする、あるいは環状領域のみを消去し、そこに繋がる領域を残す。）。
【０１２３】
目・眉抽出部１５３は、グレー２値化画像において、眉領域を抽出する（Ｓ１０１７）。目・眉抽出部１５３は、例えば、最も面積が大きい特徴領域及び２番目に面積の大きい特徴領域を眉領域としても良い。
【０１２４】
図１１は、ステップＳ２６０の鼻孔抽出処理の詳細な手順を示すフローチャートである。
【０１２５】
鼻孔抽出部１５５は、ステップＳ２５０までの処理で確定した眉、目及び唇の各領域を顔面領域から除外した、鼻孔抽出処理の対象領域を特定する（Ｓ１１１１）。
【０１２６】
鼻孔抽出部１５５は、処理対象領域の原画像の明度の分布に応じて、鼻孔抽出のための閾値を決定する（Ｓ１１１３）。例えば、鼻孔抽出部１５５は、原画像の明度の分布に応じて第４の範囲を定める。さらに詳細には、例えば、鼻孔抽出部１５５は、処理対象領域のグレースケール画像の画像データをグレー画像データ記憶部３１１から読み込んで、ヒストグラムを生成する。鼻孔抽出部１５５は、このヒストグラムに応じて閾値を決定するようにしても良い。この閾値よりも小さい画素値の範囲が第４の範囲である。
【０１２７】
鼻孔抽出部１５５は、処理対象領域のＲ比率画像に応じて、鼻孔抽出のための閾値を決定する（Ｓ１１１５）。例えば、鼻孔抽出部１５５は、Ｒ比率画像の画素値の分布に応じて第５の範囲を定める。さらに詳細には、例えば、鼻孔抽出部１５５は、処理対象領域のＲ比率画像の画像データをＲ比率画像データ記憶部３１４から読み込んで、ヒストグラムを生成する。鼻孔抽出部１５５は、このヒストグラムに応じて閾値を決定しても良い。この閾値よりもＲ比率が高い（大きい）画素値の範囲が第５の範囲である。
【０１２８】
なお、鼻孔抽出部１５５は、図１１に示す鼻孔抽出処理を実行した回数をカウントするカウンタを備えていても良い。鼻孔抽出部１５５は、このカウンタのカウント値に応じて、ステップＳ１１１５での閾値の決定方法を変えても良い。閾値によって特徴領域が正しく検出できるか否かが変わるからである。
【０１２９】
鼻孔抽出部１５５は、ステップＳ１１１３及びＳ１１１５で定めた閾値に基づいて鼻孔候補領域を特定する（Ｓ１１１７）。鼻孔抽出部１５５は、例えば、ステップＳ１１１３で定めた閾値よりも小さい画素値を有する画素であり、かつステップＳ１１１５で定めた閾値よりもＲ比率が高い（大きい）画素を特徴領域として抽出する。そして、抽出された複数の特徴領域のうち、最も面積が大きい特徴領域及び２番目に面積の大きい特徴領域を鼻孔候補領域としても良い。
【０１３０】
鼻孔抽出部１５５は、２つの鼻孔候補領域の相対的な位置関係、及び／または周囲の既に抽出されている他の顔パーツとの相対的な位置関係に応じて、抽出された候補領域が正しいか否かを判定する（Ｓ１１１９）。
【０１３１】
例えば、鼻孔抽出部１５５は、正誤判定として、２つの鼻孔候補領域の上下方向の相対的な位置ズレの有無及び目と鼻孔と口の位置関係を判定しても良い。鼻孔抽出部１５５は、例えば、鼻孔として抽出された領域が顔面領域内で同じ程度の高さであるか否かを判定する。例えば、鼻孔抽出部１５５は、いずれか一方の領域を基準として、その基準領域の上端または下端が、他方の領域の上端と下端の間に入っているか否かを判定する。鼻孔抽出部１５５は、何れの領域を基準領域としたときも、その上端または下端が他方の領域の上端と下端の間に入っていないときは、上下方向の位置ズレが生じていると判定する。また、鼻孔抽出部１５５は、例えば、目領域から鼻孔領域までの距離と鼻孔領域から口領域までの距離が正しい関係であるかを判定しても良い。例えば、鼻孔抽出部１５５は、目領域の下端から鼻孔領域の上端までの距離と鼻孔領域の上端から口領域の上端までの距離を比較し、前者が長い場合に正としても良い。
【０１３２】
正誤判定でこれらの鼻孔候補領域が正しいと判定されたとき（Ｓ１１１９：正）、鼻孔抽出部１５５は、この判定対象とした二つの領域を鼻孔領域として決定する（Ｓ１１３１）。
【０１３３】
正誤判定でこれらの鼻孔候補領域が正しくないと判定されたとき（Ｓ１１１９：誤）、鼻孔抽出部１５５は、２つの鼻孔候補領域の左右方向の相対的な重なりの有無を判定する（Ｓ１１２１）。鼻孔抽出部１５５は、例えば、鼻孔として抽出された領域が顔面領域内の左右方向で位置の重なりがあるか否かを判定する。例えば、鼻孔抽出部１５５は、いずれか一方の領域を基準として、その基準領域の左端または右端が、他方の領域の左端と右端の間に入っているか否かを判定する。鼻孔抽出部１５５は、何れかを基準領域としたとき、その左端または右端が他方の領域の左端と右端の間に入っているときは、左右方向の重なりがあると判定する。
【０１３４】
左右の重なりがないとき（Ｓ１１２１：重なりなし）、何れの領域も鼻孔領域の候補となり得ないと判断して、ステップＳ１１１３に戻る。
【０１３５】
左右の重なりがあるとき（Ｓ１１２１：重なりあり）、上側に位置する一方の領域が鼻孔領域の候補となり得るので、以下の処理でもう一方の候補領域を抽出する。すなわち、まず、鼻孔抽出部１５５は、鼻孔候補領域を再抽出する（Ｓ１１２３）。例えば、鼻孔抽出部１５５は、明度が第４の範囲内であり、かつ、Ｒ比率画像の画素値が第５の範囲内である画素が連結して形成された複数の領域のうち、面積の広さが上位の４つの領域の相互の位置関係に応じて第４領域を特定しても良い。
【０１３６】
さらに詳細には、この再抽出では、鼻孔抽出部１５５は、特徴領域のうち面積が三番目及び四番目に大きい領域を抽出する（面積が最大及び二番目に大きい領域は既にステップＳ１１１７で抽出済み）。そして、ここで抽出した面積が三番目及び四番目に大きい領域について、ステップＳ１１１９と同じ正誤判定を行う（Ｓ１１２５）。
【０１３７】
正誤判定でこれらの鼻孔候補領域の位置関係が正しいと判定されたとき（Ｓ１１２５：正）、鼻孔抽出部１５５は、何れの領域も鼻孔領域の候補となり得ないと判断して、ステップＳ１１１３へ戻ってそれ以降の処理をやり直す。
【０１３８】
正誤判定でこれらの鼻孔候補領域の位置関係が正しくないいと判定されたとき（Ｓ１１２５：誤）、鼻孔抽出部１５５は、面積が三番目及び四番目に大きい領域について、ステップＳ１１２１と同じ左右の重なりの有無を判定する（Ｓ１１２７）。
【０１３９】
左右の重なりがないとき（Ｓ１１２７：重なりなし）、何れの領域も鼻孔領域の候補となり得ないと判断して、ステップＳ１１１３に戻る。
【０１４０】
左右の重なりがあるとき（Ｓ１１２７：重なりあり）、鼻孔抽出部１５５は、改めて鼻孔候補領域を特定する（Ｓ１１２８）。すなわち、ステップＳ１１１９の判定で上側にあると判定された領域、及びステップＳ１１２５の判定で上側にあると判定された領域を鼻孔の候補領域とする。
【０１４１】
鼻孔抽出部１５５は、ステップＳ１１２８で特定された鼻孔候補領域を対象として、ステップＳ１１１９と同じ正誤判定を行う（Ｓ１１２９）。
【０１４２】
ステップＳ１１２９での正誤判定で、ここで対象とした二つの領域の位置関係が正しいと判定されたとき（Ｓ１１２９：正）、鼻孔抽出部１５５は、この判定対象とした二つの領域を鼻孔領域として決定する（Ｓ１１３１）。
【０１４３】
ステップＳ１１２９での正誤判定で、ここで対象とした二つの領域の位置関係が正しくないと判定されたとき（Ｓ１１２９：誤）、鼻孔抽出部１５５は、ステップＳ１１１３へ戻ってそれ以降の処理をやり直す。
【０１４４】
本実施形態によれば、撮影時の条件等に依らず、人物の顔画像から顔パーツを精度良く自動的に除外することができる。
【０１４５】
また、本実施形態によれば、肌画像解析を行うために、人物の顔画像から自動的に肌解析の対象領域を特定することができる。
【０１４６】
上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
【符号の説明】
【０１４７】
１      画像処理装置
５      カメラ
１０       画像処理装置本体
１１    前処理部
１３    顔面抽出部
１５    顔パーツ抽出部
１７    マスク生成処理部
１９    肌解析処理部
１１１  グレー画像生成部
１１３  色相画像生成部
１１５  比率画像生成部
１１７  比率画像生成部
１１９  微分画像生成部
１５１  唇抽出部
１５３  目・眉抽出部
１５５  鼻孔抽出部
３００  原画像データ記憶部
３１１  グレー画像データ記憶部
３１２  色相画像データ記憶部
３１３  比率画像データ記憶部
３１４  比率画像データ記憶部
３１５  微分画像データ記憶部
３５０  顔面領域データ記憶部
３６０  唇領域データ記憶部
３７０  目・眉領域データ記憶部
３８０  鼻孔領域データ記憶部
３９０  マスク領域データ記憶部
【図１】
2016173716.tif 000004
【図２】
2016173716.tif 000005
【図３】
2016173716.tif 000006
【図４】
2016173716.tif 000007
【図５】
2016173716.tif 000008
【図６】
2016173716.tif 000009
【図７】
2016173716.tif 000010
【図８】
2016173716.tif 000011
【図９】
2016173716.tif 000012
【図１０】
2016173716.tif 000013
【図１１】
2016173716.tif 000014