(57)【特許請求の範囲】
【請求項１】
画像中の人物の顔の眉内端点を検出する画像処理装置において、
前記検出すべき眉内端点以外の特徴点を基準特徴点として検出する基準特徴点検出手段と、
前記基準特徴点の位置を基準にして、前記眉内端点を探索するために、眉の一部分のみが含まれる大きさの矩形の探索範囲を決定する探索範囲設定手段と、
前記探索範囲内の探索領域に関して、一または複数の分離度フィルタの分離度値を用いて分離度マップを作成する分離度マップ作成手段と、
前記分離度マップを、前記分離度値に基づいて複数の連結領域に分割する領域分割手段と、
前記各連結領域が前記眉内端点を含む領域であるか否かについて、前記探索領域の左右端のどちらか一方に接し、かつ、上端、下端、及び、前記左右端の他方に接しない前記連結領域を、前記眉内端点を含む連結領域であると判定し、前記眉内端点を含むと判定された前記連結領域の端点の中で、予め決定した基準点に最も近い端点を眉内端点と決定する領域判定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記探索範囲設定手段は、前記基準特徴点を瞳とした場合に、前記探索領域の位置が、前記瞳より顔の内側であって、かつ、前記探索範囲の大きさの最小値と最大値は、前記瞳の中心からの距離によって決定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記領域判定手段において、前記眉内端点を含む前記連結領域が存在しないと判定された場合に、前記基準点を前記眉内端点と推定する端点推定手段をさらに備える
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記分離度フィルタは、円形、楕円形、多角形である
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記分離度フィルタの分離度値が、２領域の輝度値のクラス間分散の和をクラス間分散の和で割った値である
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記分離度フィルタの分離度値が、２領域の輝度値の平均値の差の値である
ことを特徴とする請求項１記載の画像処理装置。
【請求項７】
画像中の人物の顔の眉内端点を検出する画像処理プログラムにおいて、
コンピュータに、
前記検出すべき眉内端点以外の特徴点を基準特徴点として検出する基準特徴点検出機能と、
前記基準特徴点の位置を基準にして、前記眉内端点を探索するために、眉の一部分のみが含まれる大きさの矩形の探索範囲を決定する探索範囲設定機能と、
前記探索範囲内の探索領域に関して、一または複数の分離度フィルタの分離度値を用いて分離度マップを作成する分離度マップ作成機能と、
前記分離度マップを、前記分離度値に基づいて複数の連結領域に分割する領域分割機能と、
前記各連結領域が前記眉内端点を含む領域であるか否かについて、前記探索領域の左右端のとちらか一方に接し、かつ、上端、下端、及び、前記左右端の他方に接しない前記連結領域を、前記眉内端点を含む連結領域であると判定し、前記眉内端点を含むと判定された前記連結領域の端点の中で、予め決定した基準点に最も近い端点を眉内端点と決定する領域判定機能と、
を実現させるための画像処理プログラム。
【請求項８】
前記領域判定機能において、前記眉内端点を含む前記連結領域が存在しないと判定された場合に、前記基準点を前記眉内端点と推定する端点推定機能を前記コンピュータにさらに実現させるための請求項７記載の画像処理プログラム。
【請求項９】
前記分離度フィルタは、円形、楕円形、多角形である
ことを特徴とする請求項７記載の画像処理プログラム。
【請求項１０】
前記分離度フィルタの分離度値が、２領域の輝度値のクラス間分散の和をクラス間分散の和で割った値である
ことを特徴とする請求項７記載の画像処理プログラム。
【請求項１１】
前記分離度フィルタの分離度値が、２領域の輝度値の平均値の差の値である
ことを特徴とする請求項７記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来の眉を検出する技術には、特許文献１に開示されているように、探索領域において画像の２値化により、黒い部分を眉として取り出すものがあったが、照明条件や画質によっては正しく眉が検出できないという問題点があった。
【０００３】
また、良好な画像であったとしても、個人によって眉が薄い場合や、眉毛の色が黒くない場合などに、正しく検出できないという問題点があった。
【０００４】
また、顔特徴点を検出する技術としては、特許文献２に開示されているように、円形分離度フィルタを用いて瞳、鼻孔などの特徴点を検出するものがあったが、検出できる特徴点は円形またはそれに近い形状を示すものに限られるという問題点があった。
【特許文献１】特開２０００‐３１１２４公報
【特許文献２】特許第３２７９９１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、従来技術には眉が薄い場合や、眉毛の色が黒くない場合などに、正しく検出できないという問題があった。また、円形またはそれに近い形状のものしか検出できないという問題点があった。
【０００６】
そこで本発明は、上記従来技術の問題点を解決するためになされたものであって、安定的に人物の眉内端点を検出する画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、画像中の人物の顔の眉内端点を検出する画像処理装置において、前記検出すべき眉内端点以外の特徴点を基準特徴点として検出する基準特徴点検出手段と、前記基準特徴点の位置を基準にして、前記眉内端点を探索するために、眉の一部分のみが含まれる大きさの矩形の探索範囲を決定する探索範囲設定手段と、前記探索範囲内の探索領域に関して、一または複数の分離度フィルタの分離度値を用いて分離度マップを作成する分離度マップ作成手段と、前記分離度マップを、前記分離度値に基づいて複数の連結領域に分割する領域分割手段と、前記各連結領域が前記眉内端点を含む領域であるか否かについて、前記探索領域の左右端のどちらか一方に接し、かつ、上端、下端、及び、前記左右端の他方に接しない前記連結領域を、前記眉内端点を含む連結領域であると判定し、前記眉内端点を含むと判定された前記連結領域の端点の中で、予め決定した基準点に最も近い端点を眉内端点と決定する領域判定手段と、を備えることを特徴とする画像処理装置である。
【発明の効果】
【０００９】
本発明によれば、安定的に人物の眉内端点を検出することが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態に係わる画像処理装置１０について図面に基づいて説明する。
【００１１】
（第１の実施形態）
第１の実施形態に係わる画像処理装置１０について図１から図５に基づいて説明する。本実施形態においては、眉の内側の端点を検出する例を示す。
【００１２】
（１）画像処理装置１０の構成
図１は、画像処理装置１０を示すブロック図である。
【００１３】
画像処理装置１０は、画像を入力する画像入力部１２と、検出すべき特徴点または領域以外の特徴点を検出する基準特徴点検出部１４と、検出された基準特徴点を元に所定の方法で検出すべき特徴点または領域の探索範囲を決定する探索範囲設定部１６と、基準特徴点の位置関係から推定される一つまたは複数の大きさの分離度フィルタの出力を計算する分離度マップ作成部１８と、分離度マップを複数の連結領域に分割する領域分割部２０と、各領域が検出対象であるかまたは特徴点を含む領域であるかどうかを判定する領域判定部２２と、結果を出力する出力部２４を備えている。
【００１４】
各部１２〜２２の機能は、コンピュータに記憶されたプログラムによって実現できる。
【００１５】
（２）画像処理装置１０の動作
次に、図１を用いて画像処理装置１０の動作について説明する。
【００１６】
（２−１）画像入力部１２
まず、画像入力部１２は、対象とする画像を入力する。
【００１７】
（２−２）基準特徴点検出部１４
次に、基準特徴点検出部１４は基準となる特徴点を検出する。本実施形態においては、左右の瞳の中心点を検出するものとする。
【００１８】
瞳を検出する方法としては、例えば、特許文献２で開示されている分離度フィルタとパターン照合を組み合わせた方法を用いる。
【００１９】
（２−３）探索範囲設定部１６
探索範囲設定部１６は、基準特徴点検出部１４で検出された基準特徴点を元に、探索範囲を設定する。図２は設定された探索範囲を示す図である。
【００２０】
図２に示すように、基準特徴点（ここでは瞳）の位置を基準として、予め統計的に取得した眉内端位置の分布を元に決定しておいたパラメータを使用して探索範囲を決定する。まず、両瞳を結ぶ直線が水平だった場合を想定する。
【００２１】
図３は詳細な探索範囲決定法を表わす図である。ここでは左眉を例にして説明するが、右も同様である。探索範囲は図３に示すように、左瞳中心３０１を基準に、パラメータｘmin，ｙmin，ｘmax，ｙmaxで表現される矩形の探索領域３０２を設定する。
【００２２】
各パラメータは正規化されており、例えば両瞳間距離で正規化されている場合には、正規化パラメータに両瞳間距離を乗じたものを用いる。
【００２３】
両瞳を結ぶ直線が水平とは限らないので、両瞳を結ぶ直線と水平線との角度θを算出し、両瞳を結ぶ線分の中点を中心にして、角度−θだけ回転させた画像を用いる。今後の処理はこの回転された空間内につき、探索領域の範囲内でのみ処理を行なうものとし、最後に得られた結果を、両瞳の中点を中心に角度θだけ回転させることにより、元の座標に戻すこととする。
【００２４】
（２−４）分離度マップ作成部１８
分離度マップ作成部１８においては、探索領域内の画像の各画素ｉに対して、円形分離度フィルタの出力値を計算して分離度マップを作成する。分離度値ηは、２つの領域間の分離度合いを表わす指標であり、数１で計算される値である。
【数１】
0004533849.tif 000002
【００２５】
通常は輝度Ｐｉとしては白黒画像における各画素ｉの輝度値を用いる。
【００２６】
領域１、２は、図４に示す円形分離度フィルタにおいて、半径ｒの円の外側（図４の領域１）と内側の（図４の領域２）として、２つの領域の分離度マップを作成する。
【００２７】
こうした形状の分離度フィルタにより、円形を示す形状部分の対象物を抽出することが可能なものであるが、同様に半径ｒの２倍と同じ幅を持つ細長い対象物についても抽出することが可能である。
【００２８】
スケールを表わすパラメータである半径ｒは、両瞳間の距離を基準として所定の係数をかけて算出する。具体的には、瞳間の距離から、標準の顔の大きさがわかり、この顔の大きさから標準的な眉の太さがわかるため、この太さから係数を算出する。
【００２９】
分離度マップの例は図５の５０２に示す通りである。また、眉部分は通常背景となる肌色領域より暗いことが多い。そのため、さらに数２のように、分離度フィルタの２領域の平均値の差を分離度値ηに加えて分離度値η’としてもよい。但し、αは所定の定数である。
【数２】
0004533849.tif 000003
【００３０】
また、この半径ｒは単一である必要はなく、複数用いてもよい。その場合にはその数だけ分離度マップを作成することになる。
【００３１】
（２−５）領域分割部２０
次に、領域分割部２０においては、まず、分離度マップ作成部１８で得られた分離度マップの２値化を行なう。２値化は分離度マップ内の各点の分離度値が、所定の閾値以上ならば値を１に、そうでなければ値を０にする。２値化した画像の例を図５の５０３に示す。
【００３２】
２値は分離度値のみならず、前記分離度フィルタの２領域の平均値の差に対しても閾値を設けて２値化してもよい、その場合は、両方の条件を満たすものを１にそれ以外を０とするものとする。ここでは便宜的に値を０または１に２値化したが、この値自体はこれに限らない。
【００３３】
次に、分離度マップに対してラベリング処理を行なう。ラベリング処理は、値がある（０でない）画素が連結している場合には同じラベルに属するとして、分離度マップ内の値がある画素を複数の連結領域に分割する処理である。例えば次のような４近傍による方法を用いる。
【００３４】
まず、画像上でラベルが付加されていない画素を見つけ、新しいラベルを付加する。
【００３５】
次に、画素に４方向に連結している画素に同じラベルを付加する。画像内にラベルを付加する画像がある限り、この操作を繰り返す。
【００３６】
これにより、分離度マップ内が、２値化の値が「０」の連結領域と２値化の値が「１」の連結領域とに分割される。
【００３７】
（２−６）領域判定部２２
次に領域判定部２２においては、領域分割部２０において分割された各連結領域について、これらの連結領域が、目的とする特徴点（ここでは眉内端）を含むものであるかの判定を行なう。すなわち、ラベリングされた座標値の最大値、最小値を求め、端点を求める。
【００３８】
判定は各連結領域が探索領域の右端に接し、かつ、上端、下端、左端に接しないという条件で行なう。
【００３９】
ここでこの条件を満たした候補のうち、連結領域の左端の点が所定の基準点に最も近いものを選択する。予め統計的に取得した眉内端位置の分布を元に決定しておく。
【００４０】
ここまで左眉内端の場合について述べたが、右の場合は左右を逆にして同様の処理を行なう。
【００４１】
（２−７）出力部２４
出力部２４においては、検出された眉内端点の位置を出力する。
【００４２】
（３）効果
このように、第１の実施形態に係わる画像処理装置１０によれば、円形分離度フィルタを用いることで一定の幅の領域を抽出することにより、照明条件など良好でない画像に対しても安定に眉端点を検出することが可能となる。
【００４３】
（第２の実施形態）
次に本発明の第２の実施形態について図６に基づいて説明する。
【００４４】
図６は、第２の実施形態に係わる画像処理装置１０を示すブロック図である。本実施形態においては、特徴点（眉内端）が検出されなかった場合、あるいは検出された左右の眉内端が所定の条件を満たさない場合について述べる。
【００４５】
本実施形態の画像処理装置１０の構成は、第１の実施形態の画像処理装置１０に端点推定部２６を追加したものであり、これ以外の構成は第１の実施形態と同様である。
【００４６】
領域判定部２２において、所定の条件を満たす領域が存在しない場合には、端点推定部２６において、領域判定部２２において用いた基準点を検出された端点の代わりに用いる。
【００４７】
但し、このようにして推定した点の場合には、信頼度を、実際に条件を満たす領域が存在する場合と比較して低くするものとする。
【００４８】
また、このようにして検出された左右の端点に対して、これらの端点を結ぶ直線と、左右の瞳中心を結ぶ直線との結ぶ角度が所定の角度（例えば、１０度〜２０度）より小さいという条件を満たす場合には双方の端点を検出された点とする。
【００４９】
条件を満たさない場合には、左右で先に述べた信頼度に差がある場合には、信頼度の高い方を活かし、信頼度の低い方に関しては、信頼度が高い方の点を探索領域内において、信頼度が低い側に左右対称となる位置を検出結果とする。信頼度に差がない場合は、基準点からの距離が近い方を信用し、信頼度に差がある場合と同様、逆側について、左右対称となる位置を検出結果とする。
【００５０】
（変更例）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００５１】
上記実施形態では基準特徴点として、左右の瞳中心を用いたが、これに限定されるものではない。例えば、目尻、目頭等の目の端点それぞれ、または目尻目頭の中点等も同様に基準特徴点として用いることができる。
【００５２】
また、領域分割方法として２値化分離度マップをラベリングする方法について述べたが、これに限るものではなく、例えば距離変換を用いる方法、尾根線を求める方法なども考えられる。
【００５４】
また、上記実施形態における円形分離度フィルタに限らず、楕円形、多角形の分離度フィルタを用いてもよい。
【図面の簡単な説明】
【００５５】
【図１】本発明の第１の実施形態に係わる画像処理装置１０の構成を示すブロック図である。
【図２】設定された探索範囲を示す図である。
【図３】設定された探索範囲の詳細を示す図である。
【図４】分離度フィルタの例を示す図である。
【図５】処理結果の例を示す図である。
【図６】第２の実施形態に係わる画像処理装置１０の構成を示すブロック図である。
【符号の説明】
【００５６】
１０    画像処理装置
１２    画像入力部
１４    基準特徴点検出部
１６    探索範囲設定部
１８    分離度マップ作成部
２０    領域分割部
２２    領域判定部
２４    出力部
【図１】
0004533849.tif 000004
【図２】
0004533849.tif 000005
【図３】
0004533849.tif 000006
【図４】
0004533849.tif 000007
【図６】
0004533849.tif 000008
【図５】
0004533849.tif 000009