(57)【要約】      （修正有）【課題】顔画像に対して認識処理をする前に、顔画像の両目の位置を水平方向に傾けて顔画像を正規化する顔画像正規化システムと正規化方法を提供する。【解決手段】顔画像の上に両目を通り、中心が鼻柱に位置するリングを作成し、リングを１度の角度幅のエリアに分割して、分割されたエリア毎の平均輝度値を求め、横軸に角度、縦軸にエリア毎の平均輝度値をとったヒストグラムを作成し、次に、平滑化を極小値位置の数が３以下になるまで行い、極小値位置の数が３以下になったら、０度と３５９度に近い極小値位置に対応する角度を求めて、両角度と０度（真上）と間の角度差をもとめ、該角度差を２で除した角度だけ画像を回転する。【選択図】図１
2009176054.tif 000002
【特許請求の範囲】
【請求項１】
顔を撮像する顔撮像部と、
前記顔撮像部により撮像された顔撮像データにおいて、両目を結ぶ線を求めて、前記両目を結ぶ線が水平方向になるように顔画像を回転する顔画像回転部と、を備えた顔画像正規化システムにおいて、
前記顔画像回転部は鼻柱にリングの中心があり、前記リングは両目を通り、両目の大部分を含む程度のリング幅と半径とを有するリング（以下「特定リング」ともいう）を作成するリング作成部と、
前記特定リングを特定リングの中心を通る半径で、前記半径が前記水平方向となす角度を所定の角度（以下「特定角度」ともいう）ずつ傾けて前記リングを分割して、
前記半径のうち隣り合う半径によって、はさまれた領域を特定単位領域とし、
横軸を前記特定単位領域を構成する１辺と前記水平方向とがなす角度とし、縦軸を前記特定単位領域内の画像の平均輝度値（以下「特定単位領域内輝度値」ともいう)とするヒストグラム（以下「角度輝度値ヒストグラム」ともいう）を作成するヒストグラム作成部と、
前記角度輝度値ヒストグラムにおいて、前記特定単位領域内輝度値が極小値をとる位置（以下「極小値位置」ともいう）の数を求めて、
前記極小値位置の数が４以上である場合には、
前記角度輝度値ヒストグラムを前記極小値位置の数が３以下になるまで平滑化するヒストグラム平滑化部と、
前記極小値位置の数が３以下になった場合には、前記極小値位置が０度に近い極小値位置（以下「左目極小値位置」ともいう）と０度との角度の差（以下「左目角度差」ともいう）と、前記極小値位置が３５９度に近い極小値位置（以下「右目極小値位置」ともいう）と０度との角度の差（以下「右目角度差」ともいう）とを求め、
前記左目角度差と前記右目角度差との角度の差を２で除した角度分だけ、
前記左目角度差と前記右目角度差とを比較して、前記左目角度差が大きい場合には反時計回りに、前記左目角度差が小さい場合には時計回りに、前記顔画像を回転させる回転補正部とを備えて、
顔画像の傾きを補正して水平にする（以下「顔画像正規化」ともいう）ことを特徴とする顔画像正規化システム。
【請求項２】
請求項１に記載の顔画像正規化システムにおいて、横軸の０度近辺と３５９度近辺における特定単位領域内輝度値を最大値にして、平滑化を行うことを特徴とする顔画像正規化システム。
【請求項３】
請求項１または２に記載の顔画像正規化システムにおいて、前記平滑化部は、前記極小値位置の数が４以上である場合には、横軸のＮ度における特定単位領域内輝度値を横軸のＮ−１度における特定単位領域内輝度値と横軸のＮ度の特定単位領域内輝度値と横軸のＮ＋１度の特定単位領域内輝度値の平均輝度値（以下「Ｎ度順方向新平均輝度値」ともいう）とし、
次に、横軸のＮ＋１度における特定単位領域内輝度値を、先に得られた横軸のＮ度における前記Ｎ度新平均輝度値と横軸のＮ＋１度の特定単位領域内輝度値と横軸のＮ＋２度の特定単位領域内輝度値との平均輝度値とし、
Ｎを順次１から３５８まで変化させて、前記角度輝度値ヒストグラムを平滑化（以下「右向き平滑化」ともいう）し、
Ｎが３５８に至ったときには、逆向きに、
横軸のＮ度における特定単位領域内輝度値を横軸のＮ＋１度における特定単位領域内輝度値と横軸のＮ度の特定単位領域内輝度値と横軸のＮ−１度の特定単位領域内輝度値との平均輝度値（以下「Ｎ度逆方向新平均輝度値」ともいう）とし、
横軸のＮ−１度における特定単位領域内輝度値を、横軸のＮ度における先に得られたＮ度逆方向新平均輝度値と横軸のＮ−１度の特定単位領域内輝度値と横軸のＮ−２度の特定単位領域内輝度値との平均輝度値とし、
今度はＮを順次３５８から１まで変化させて、前記角度輝度値ヒストグラムを逆向きに平滑化（以下「左向き平滑化」ともいう）し、
前記逆向きに平均化された角度輝度値ヒストグラムから極小値位置の数を求めて、
前記極小値位置の数が４以上である場合には、再度前記右向き平滑化と左向き平滑化を前記極小値位置の数が３以下になるまで繰り返すことを特徴とする顔画像正規化システム。
【請求項４】
顔を撮像して取得した顔画像において、両目を結ぶ線を求めて、前記両目を結ぶ線が水平方向になるように顔画像を回転する顔画像正規化方法であって、
顔を撮像して前記顔画像を作成する顔撮像ステップと、
前記顔画像の鼻柱にリングの中心があり、前記リングは両目を通り、両目の大部分を含む程度のリング幅と半径とを有するリング（以下「特定リング」ともいう）を作成するリング作成ステップと、
前記特定リングを特定リングの中心を通る半径で、前記半径が前記水平方向となす角度を所定の角度（以下「特定角度」ともいう）ずつ傾けて前記リングを分割して、
前記半径のうち隣り合う半径によって、はさまれた領域を特定単位領域とし、
横軸を前記特定単位領域を構成する１辺と前記水平方向とがなす角度とし、縦軸を前記特定単位領域内の画像の平均輝度値（以下「特定単位領域内輝度値」ともいう)とするヒストグラム（以下「角度輝度値ヒストグラム」ともいう）を作成するヒストグラム作成ステップと、
前記角度輝度値ヒストグラムから極小値位置の数を求める極小値位置数確認ステップと、
前記極小値位置の数が４以上である場合には、前記角度輝度値ヒストグラムを前記極小値位置の数が３以下になるまで平滑化を繰り返す平滑化ステップと、
前記極小値位置の数が３以下になった場合には、前記極小値位置が０度に近い極小値位置（以下「左目極小値位置」ともいう）と０度との角度の差（以下「左目角度差」ともいう）と、前記極小値位置が３５９度に近い極小値位置（以下「右目極小値位置」ともいう）と０度との角度の差（以下「右目角度差」ともいう）とを求め、
前記左目角度差と前記右目角度差との角度の差を２で除した角度分だけ、
前記左目角度差と前記右目角度差とを比較して、前記左目角度差が大きい場合には反時計回りに、前記左目角度差が小さい場合には時計回りに、前記顔画像を回転させる回転ステップと、を有することを特徴とする顔画像正規化方法。
【請求項５】
請求項４に記載の顔画像正規化方法において、横軸の０度近辺と３５９度近辺における特定単位領域内輝度値を最大値にして、平滑化を行うことを特徴とする顔画像正規化方法。
【請求項６】
請求項４または５に記載の顔画像正規化方法において、前記平滑化ステップは、前記極小値位置の数が４以上である場合には、横軸のＮ度における特定単位領域内輝度値を、横軸のＮ−１度における特定単位領域内輝度値と横軸のＮ度の特定単位領域内輝度値と横軸のＮ＋１度の特定単位領域内輝度値の平均輝度値（以下「Ｎ度順方向新平均輝度値」ともいう）とし、
次に、横軸のＮ＋１度における特定単位領域内輝度値を、先に得られた横軸のＮ度における前記Ｎ度新平均輝度値と横軸のＮ＋１度の特定単位領域内輝度値と横軸のＮ＋２度の特定単位領域内輝度値との平均値とし、
Ｎを順次１から３５８まで変化させて、前記角度輝度値ヒストグラムを平滑化（以下「右向き平滑化」ともいう）する右向き平滑化ステップと、
Ｎが３５８に至ったときには、逆向きに、横軸のＮ度における特定単位領域内輝度値を、横軸のＮ＋１度における特定単位領域内輝度値と横軸のＮ度の特定単位領域内輝度値と横軸のＮ−１度の特定単位領域内輝度値との平均輝度値（以下「Ｎ度逆方向新平均輝度値」ともいう）とし、横軸のＮ−１度における特定単位領域内輝度値を、横軸のＮ度における前記Ｎ度逆方向新平均輝度値と横軸のＮ−１度の特定単位領域内輝度値と横軸のＮ−２度の特定単位領域内輝度値との平均輝度値とし、Ｎを順次３５８から１まで変化させて、前記角度輝度値ヒストグラムを逆向きに平滑化（以下「左向き平滑化」ともいう）する左向き平滑化ステップとを、前記極小値位置の数が３以下になるまで繰り返すことを特徴とする顔画像正規化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像を正規化する顔画像正規化システムと正規化方法に関する。
【背景技術】
【０００２】
近年、建物の入退館管理システム等において、入館を許可してもよい人か否かの判断を、顔の特徴により判別するシステムが普及しつつある。人間が他人を認識し判別する場合と同様に、人を顔の特徴により認識し判別することができれば利便性が向上する。また、人を顔の特徴により認識し判別する技術を、ロボットに応用すれば、ロボットの機能が飛躍的に高まり、ロボットに受付業務をさせたり、高度な癒しロボットを実現することが可能となる。顔を認識し判別する技術においては、顔の主要なパーツである、目、鼻、口の位置や形状を把握する必要がある。
【０００３】
【非特許文献１】コンピュータ画像処理  平成17年10月20日発行、株式会社オーム社、著者：田村秀行
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、人の顔を撮像した場合、顔の画像が傾いている場合が多く、そのために、これらの顔の主要なパーツである、目、鼻、口の位置や形状を正しく把握できない。図に基づいて説明する。
【０００５】
図２の（ａ）は水平方向に対して少し傾いた顔の画像である。
【０００６】
図２の（ｂ）は水平方向に対して少し傾いた顔の画像に対して、通常の顔画像正規化システムが目の位置を判断する様子を示す説明図である。
図２の（ａ）において、２０１は右側のまつ毛であり、２０２は左側のまつ毛である。また２０３は右目であり、２０４は左目である。
図２の（ｂ）において、２１３はシステムが右目と認識した位置であり、２１２はシステムが左目と認識した位置である。
通常のシステムは画像のうち輝度値が低い黒い部分を目と認識することが多く、両目は水平の位置にあることを前提としているので、このように２１３を右目と判断すると、その水平の位置にある黒い部分であるまつ毛を左目と認識してしまいがちである。この認識ミスは図２の顔が少し傾いていることに起因している。この認識ミスは画像処理をする前に、顔の傾きを是正すれば、生じないと考えられる。
【０００７】
そこで本発明は、顔画像に対して認識処理をする前に、撮像した顔画像の両目の位置を水平方向に画像を傾けて顔画像を正規化する顔画像正規化システムと正規化方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、顔を撮像する顔撮像部と、前記顔撮像部により撮像された顔撮像データにおいて、両目を結ぶ線を求めて、前記両目を結ぶ線が水平方向になるように顔画像を回転する顔画像回転部と、を備えた顔画像正規化システムであって、
前記顔画像回転部は鼻柱にリングの中心があり、前記リングは両目を通り、両目の大部分を含む程度のリング幅と半径とを有するリング（以下「特定リング」ともいう）を作成するリング作成部と、
前記特定リングを特定リングの中心を通る半径で、前記半径が前記水平方向となす角度を所定の角度（以下「特定角度」ともいう）ずつ傾けて前記リングを分割して、
前記半径のうち隣り合う半径によって、はさまれた領域を特定単位領域とし、
横軸を前記特定単位領域を構成する１辺と前記水平方向とがなす角度とし、縦軸を前記特定単位領域内の画像の平均輝度値（以下「特定単位領域内輝度値」ともいう)とするヒストグラム（以下「角度輝度値ヒストグラム」ともいう）を作成するヒストグラム作成部と、
前記角度輝度値ヒストグラムにおいて、前記特定単位領域内輝度値が極小値をとる位置（以下「極小値位置」もいう）の数を求めて、
前記極小値位置の数が４以上である場合には、
前記角度輝度値ヒストグラムを前記極小値位置の数が３以下になるまで平滑化するヒストグラム平滑化部と、
前記極小値位置の数が３以下になった場合には、前記極小値位置が０度に近い極小値位置（以下「左目極小値位置」ともいう）と０度との角度の差（以下「左目角度差」ともいう）と、前記極小値位置が３５９度に近い極小値位置（以下「右目極小値位置」ともいう）と０度との角度の差（以下「右目角度差」ともいう）とを求め、
前記左目角度差と前記右目角度差との角度の差を２で除した角度分だけ、
前記左目角度差と前記右目角度差とを比較して、前記左目角度差が大きい場合には反時計回りに、前記左目角度差が小さい場合には時計回りに、前記顔画像を回転させる回転補正部とを備えて、
顔画像の傾きを補正して水平にする（以下「顔画像正規化」ともいう）ことを特徴とする。
【０００９】
請求項２に記載の発明は、請求項１に記載の顔画像正規化システムに係り、
横軸の０度近辺と３５９度近辺における特定単位領域内輝度値を最大値にして平滑化を行うことを特徴とする。
【００１０】
請求項３に記載の発明は、請求項１または２に記載の顔画像正規化システムに係り、
前記平滑化部は前記極小値位置の数が４以上である場合には、横軸のＮ度における特定単位領域内輝度値を横軸のＮ−１度における特定単位領域内輝度値と横軸のＮ度の特定単位領域内輝度値と横軸のＮ＋１度の特定単位領域内輝度値の平均輝度値（以下「Ｎ度順方向新平均輝度値」ともいう）とし、
次に、横軸のＮ＋１度における特定単位領域内輝度値を、先に得られた横軸のＮ度における前記Ｎ度新平均輝度値と横軸のＮ＋１度の特定単位領域内輝度値と横軸のＮ＋２度の特定単位領域内輝度値との平均輝度値とし、
Ｎを順次１から３５８まで変化させて、前記角度輝度値ヒストグラムを平滑化（以下「右向き平滑化」ともいう）し、
Ｎが３５８に至ったときには、逆向きに、
横軸のＮ度における特定単位領域内輝度値を横軸のＮ＋１度における特定単位領域内輝度値と横軸のＮ度の特定単位領域内輝度値と横軸のＮ−１度の特定単位領域内輝度値との平均輝度値（以下「Ｎ度逆方向新平均輝度値」ともいう）とし、
横軸のＮ−１度における特定単位領域内輝度値を、横軸のＮ度における先に得られたＮ度逆方向新平均輝度値と横軸のＮ−１度の特定単位領域内輝度値と横軸のＮ−２度の特定単位領域内輝度値との平均輝度値とし、
今度はＮを順次３５８から１まで変化させて、前記角度輝度値ヒストグラムを逆向きに平滑化（以下「左向き平滑化」ともいう）し、
前記逆向きに平均化された角度輝度値ヒストグラムから極小値位置の数を求めて、
前記極小値位置の数が４以上である場合には、再度前記右向き平滑化と左向き平滑化を、前記極小値位置の数が３以下になるまで繰り返すことを特徴とする。
【００１１】
請求項４に記載の発明は、顔を撮像して取得した顔画像において、両目を結ぶ線を求めて、前記両目を結ぶ線が水平方向になるように顔画像を回転する顔画像正規化方法であって、
顔を撮像して前記顔画像を作成する顔撮像ステップと、
前記顔画像の鼻柱にリングの中心があり、前記リングは両目を通り、両目の大部分を含む程度のリング幅と半径とを有するリング（以下「特定リング」ともいう）を作成するリング作成ステップと、
前記特定リングを特定リングの中心を通る半径で、前記半径が前記水平方向となす角度を所定の角度（以下「特定角度」ともいう）ずつ傾けて前記リングを分割して、
前記半径のうち隣り合う半径によって、はさまれた領域を特定単位領域とし、
横軸を前記特定単位領域を構成する１辺と前記水平方向とがなす角度とし、縦軸を前記特定単位領域内の画像の平均輝度値（以下「特定単位領域内輝度値」ともいう)とするヒストグラム（以下「角度輝度値ヒストグラム」ともいう）を作成するヒストグラム作成ステップと、
前記角度輝度値ヒストグラムから極小値位置の数を求める極小値位置数確認ステップと、
前記極小値位置の数が４以上である場合には、前記角度輝度値ヒストグラムを前記極小値位置の数が３以下になるまで平滑化を繰り返す平滑化ステップと、
前記極小値位置の数が３以下になった場合には、前記極小値位置が０度に近い極小値位置（以下「左目極小値位置」ともいう）と０度との角度の差（以下「左目角度差」ともいう）と、前記極小値位置が３５９度に近い極小値位置（以下「右目極小値位置」ともいう）と０度との角度の差（以下「右目角度差」ともいう）とを求め、
前記左目角度差と前記右目角度差との角度の差を２で除した角度分だけ、
前記左目角度差と前記右目角度差とを比較して、前記左目角度差が大きい場合には反時計回りに、前記左目角度差が小さい場合には時計回りに、前記顔画像を回転させる回転ステップと、を有することを特徴とする。
【００１２】
請求項５に記載の発明は、請求項４に記載の顔画像正規化方法に係り、
横軸の０度近辺と３５９度近辺における特定単位領域内輝度値を最大値にして、平滑化を行うことを特徴とする。
【００１３】
請求項６に記載の発明は、請求項４または５に記載の顔画像正規化方法に係り、
前記平滑化ステップは、前記極小値位置の数が４以上である場合には、横軸のＮ度における特定単位領域内輝度値を、横軸のＮ−１度における特定単位領域内輝度値と横軸のＮ度の特定単位領域内輝度値と横軸のＮ＋１度の特定単位領域内輝度値の平均輝度値（以下「Ｎ度順方向新平均輝度値」ともいう）とし、
次に、横軸のＮ＋１度における特定単位領域内輝度値を、先に得られた横軸のＮ度における前記Ｎ度新平均輝度値と横軸のＮ＋１度の特定単位領域内輝度値と横軸のＮ＋２度の特定単位領域内輝度値との平均値とし、
Ｎを順次１から３５８まで変化させて、前記角度輝度値ヒストグラムを平滑化（以下「右向き平滑化」ともいう）する右向き平滑化ステップと、
Ｎが３５８に至ったときには、逆向きに、横軸のＮ度における特定単位領域内輝度値を、横軸のＮ＋１度における特定単位領域内輝度値と横軸のＮ度の特定単位領域内輝度値と横軸のＮ−１度の特定単位領域内輝度値との平均輝度値（以下「Ｎ度逆方向新平均輝度値」ともいう）とし、横軸のＮ−１度における特定単位領域内輝度値を、横軸のＮ度における前記Ｎ度逆方向新平均輝度値と横軸のＮ−１度の特定単位領域内輝度値と横軸のＮ−２度の特定単位領域内輝度値との平均輝度値とし、Ｎを順次３５８から１まで変化させて、前記角度輝度値ヒストグラムを逆向きに平滑化（以下「左向き平滑化」ともいう）する左向き平滑化ステップとを、前記極小値位置の数が３以下になるまで繰り返すことを特徴とする。
【発明の効果】
【００１４】
本発明に係る顔画像正規化システムまたは正規化方法によれば、傾いた顔画像を両目の位置が水平になるように正規化できる。その結果、正規化された顔画像に対して、画像処理をすることが可能となり、画像処理の効率と精度を向上させることができる。なお、顔画像正規化システムまたは正規化方法においては、顔の他の傾き（上下・左右方向）と複合して使用できる。また顔を撮像する際の光に影響されず、また眼鏡の有無や肌の色にも影響されないので、幅広く画像を回転して、正規化することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図を参照しつつ、発明を実施するための最良の形態につき説明する。
【００１６】
（実施の形態１）
図８は本発明に係る顔画像正規化システムの構成を示すブロック図である。
図８において、８０１は顔撮像部であり、顔撮像部８０１は例えばＣＣＤカメラを用いて顔を撮像して顔画像を得る。
９００は顔画像回転部である。
顔画像回転部９００はパソコンとソフトウエアにより構成される。
顔画像回転部９００はリング作成部９０１と、ヒストグラム作成部９０２と、ヒストグラム平滑化部９０３と、回転角度計算・回転部９０４とからなる。
【００１７】
リング作成部９０１は顔画像から目の位置を把握するためのリングを作成する。
図３は顔画像とリングの関係を示す説明図である。
図３において、３０３は右目であり、３０２は左目であり、３０１はリングである。３０４は０度の方向（真上方向）を示す線であり、３０５は特定単位領域である。特定単位領域３０５の角度幅は１度とする。リングの中心は鼻柱の上に置き、リングが両目の大部分を覆うようにリングの位置と幅を定める。リング３０１の中心は顔画像の鼻柱の上にとる。またリング３０１の幅と中心は画像の右目３０３と左目３０２の大半をカバーできるように設定する。
【００１８】
ヒストグラム作成部９０２はリング３０１を角度毎に前記特定単位領域に分割し、各特定単位領域における平均輝度値を求める。角度の取り方は真上方向３０４を０度とし、その１度左側を３５９度とする。前記特定単位領域３０５の角度幅は１度とする。
【００１９】
横軸を角度、縦軸を特定単位領域の平均輝度値として、ヒストグラムを作成する。
【００２０】
図５は横軸を角度、縦軸を特定単位領域の平均輝度値として作成されたヒストグラムである。
図５において、横軸は角度であり、縦軸は特定単位領域３０５の平均輝度値である。角度は真上である０度から始まり３５９度で終わる。
図５の５０１乃至５０８の白い筋は前後の角度位置と比較して、その角度に該当する特定単位領域の平均輝度値が低い位置（極小値位置）である。なお、この図５のヒストグラムにおいては、縦軸の輝度値はＹＵＶ規格の８ビットＹ成分の輝度値を用いれば、真っ黒が最も低い輝度値で「０」、真っ白が最も高い輝度値で「２５５」である。また、図６、図７、図１０、図１１におけるヒストグラムの輝度値も同様である。
【００２１】
ヒストグラム平滑化部９０３はヒストグラムを平滑化して極小値位置の数を減らして、極小値位置の数を３以下にする。
図６（ａ）は平滑化する前のヒストグラムである。
図６（ｂ）は平滑化の後のヒストグラムである。
図６（ａ）において６０１乃至６０７は極小値位置である。
図６（ｂ）において６１３乃至６１５は平滑化の後の極小値位置である。
【００２２】
平滑化は公知の平滑化方法による。重要な点は極小値位置の数が３以下になるまで平滑化を行うことである。
【００２３】
図６（ｂ）は平滑化後のヒストグラムである。極小値位置は６１３と６１４と、６１５の３つとなっている。極小値位置６１３は０度（真上）に近く左目の位置を示すと考えられる。極小値位置６１５は３５９度に近く、右目の位置を示すと考えられる。中央の極小値位置６１４は無視する。
なお、極小値位置が２つになる場合も考えられ、この場合には一方が右目であり、他方が左目と考えられる。
【００２４】
回転角度計算・回転部９０４は次のように画像の回転処理をする。
前記極小値位置の数が３以下になった場合には、前記極小値位置が０度に近い極小値位置（以下「左目極小値位置」ともいう）と０度との角度の差（以下「左目角度差」ともいう）と、前記極小値位置が３５９度に近い極小値位置（以下「右目極小値位置」ともいう）と０度との角度の差（以下「右目角度差」ともいう）とを求め、
前記左目角度差と前記右目角度差との角度の差を２で除した角度分だけ、
前記左目角度差と前記右目角度差とを比較して、前記左目角度差が大きい場合には反時計回りに、前記左目角度差が小さい場合には時計回りに、前記顔画像を回転させる。
その結果、左目の位置と０度（真上方向）との角度差と、右目の位置と０度との角度差とが等しくなり、両目の位置が略水平になる。図に基づいて説明する。
【００２５】
図１（ａ）は回転する前の顔画像と回転角度を求める方法を示す説明図である。
図１（ｂ）は回転した後の顔画像である。
図１（ａ）において、３０４は０度の方向（真上方向）を示す線であり、１０１は左目を通る特定単位領域の方向を示す線であり、Ａは線１０１と０度（真上）を示す線３０４とがなす角度である。Ｂは線１０２と０度（真上）を示す線３０４とがなす角度である。図１の場合、Ａは約２８度である。１０２は右目を通る特定単位領域の方向を示す線であり、Ｂは線１０２と０度（真上）とがなす角度である。図１（ａ）の場合Ｂは約７８度である。
図１（ｂ）において、１１１は回転した後の顔画像において、左目を通る特定単位領域の方向を示す線であり、１１２は回転した後の顔画像において、右目を通る特定単位領域の方向を示す線である。また、ＢＢは線１１２と０度（真上）とがなす角度であり、ＡＡは線１１１と０度（真上）とがなす角度である。
【００２６】
図７は平滑化後のヒストグラム（図６（ｂ））に極小値位置と角度の関係を加えた図である。
図７において、極小値位置６１３は左目の位置と考えられ、極小値位置６１５は右目の位置と考えられ、Ａが約２８度、Ｂが約７８度と考えられる。
【００２７】
したがって、角度Ａと角度Ｂの差は５０度であり、画像を２５度（５０度／２）時計回りに回転する。その結果、画像は図１（ｂ）に示されるように角度ＢＢと角度ＡＡとがともに約５３度となり、右目と左目はほぼ水平方向に位置することとなる。
【００２８】
図４（ａ）は画像にリングをセットした様子を表す図であり、図４（ｂ）は画像の回転後の様子を示す図であり、図４（ｃ）は回転処理を完成した後の様子を表す図である。
【００２９】
なお、平滑化したときに、目の位置に対応する角度に極小値位置が出ない場合がある。この場合にはヒストグラムにおいて角度０度近辺と、３５９度近辺における平均輝度値を最大値（真っ白を意味する）にする（この操作を「端極強調」ともいう）。この操作をした後で、平滑化することにより、極小値位置が見つかる。以下図に基づいて説明する。
【００３０】
図１０は目の位置に極小値位置が出ない場合のヒストグラムと顔画像に関する回転処理の結果を示す説明図である。
図１０（ａ）は端極強調を施していないヒストグラムである。
図１０（ｂ）は端極強調を施していないヒストグラムに対して、平滑化を行った後のヒストグラムである。
図１０（ｃ）は回転処理をする前の顔画像である。
図１０（ｄ）は端極強調を施していないヒストグラムに対して、平滑化を行った後に、画像に回転処理を行った後の顔画像である。
図１０において、１００１はヒストグラムの０度（真上方向）の輝度値であり、１００２はヒストグラムの３５９度の輝度値である。１００３は画像の回転処理を行った後の顔画像である。端極強調を施していないヒストグラムに対して平滑化を行った後に、画像に回転処理を行うと、画像１００３のように正しく正規化できない場合がある。
【００３１】
しかし、ヒストグラムに対して端極強調をした後に、顔画像に対して、回転処理を行うと、端極強調をする前には正規化できない場合であっても正しく正規化できる。
図１１（ａ）は端極強調を行った後のヒストグラムである。
図１１（ｂ）は端極強調を行った後のヒストグラムに対して、平滑化を行った後のヒストグラムである。
図１１（ｃ）は回転処理をする前の顔画像である。
図１１（ｄ）は端極強調を行った後のヒストグラムに対して、平滑化を行った後に、画像に回転処理を行った後の顔画像である。
図１１において、１１０１はヒストグラムの０度（真上方向）の輝度値であり、１１０２はヒストグラムの３５９度の輝度値である。また、１１１１乃至１１１３は極小値位置である。
【００３２】
ここで端極強調とは、具体的にはヒストグラムにおいて、０度（１１０１)近辺と、３５９度（１１０２)近辺のエリアの輝度値を最大値（例えば、ＹＵＶ規格の８ビットＹ成分の輝度値で「２５５」）にすることである。端極強調を行った後のヒストグラムに対して、平滑化を行うと、図１１（ｂ）の極小値位置１１１１、極小値位置１１１２、極小値位置１１１３が得られ、これらの極小値位置に基づいて画像に回転処理を行うと顔画像１１０３のように正しく顔画像を正規化できる。
【００３３】
図９は顔画像正規化方法の概略を示すフローチャートである。
図９において、Ｓ９０１は顔撮像ステップであり、Ｓ９０２は、リング作成ステップであり、Ｓ９０３はヒストグラム作成ステップであり、Ｓ９０４は平滑化ステップであり、Ｓ９０６は極小値位置数確認ステップであり、Ｓ９０７は回転ステップである。
【００３４】
顔撮像ステップＳ９０１においては、ＣＣＤカメラ等により顔を撮像して、顔画像を作成する。
【００３５】
リング作成ステップＳ９０２においては、顔画像の上に目の位置を把握するためのリングを作成する。リングの中心は鼻柱の上に置き、リングが両目の大部分を覆うようにリングの位置と幅を定める。
【００３６】
ヒストグラム作成ステップＳ９０３においてはリング３０１を角度毎に前記特定単位領域に分割し、各特定単位領域における平均輝度値を求める。角度の取り方は真上方向３０４を０度とし、その１度左側を３５９度とする。前記特定単位領域３０５の角度幅は１度とする。横軸を角度、縦軸を平均輝度値として、ヒストグラムを作成する。
【００３７】
平滑化ステップＳ９０４においては、ヒストグラムを平滑化する。平滑化は公知の方法による。
【００３８】
極小値位置数確認ステップＳ９０６においては、平滑化を行ったら極小値位置の数を数え、４以上の場合には再度、平滑化を行い、極小値位置の数が３以下になるまで繰り返す。
【００３９】
回転ステップＳ９０７においては、極小値位置の数が３以下になった場合に画像の回転処理をする。極小値位置の数が３の場合には極小値位置が０度に近い極小値位置（以下「左目極小値位置」ともいう）と０度との角度の差（以下「左目角度差」ともいう）と、極小値位置が３５９度に近い極小値位置（以下「右目極小値位置」ともいう）と０度との角度の差（以下「右目角度差」ともいう）とを求め、
前記左目角度差と前記右目角度差との角度の差を２で除した角度分だけ、
前記左目角度差と前記右目角度差とを比較して、前記左目角度差が大きい場合には反時計回りに、前記左目角度差が小さい場合には時計回りに、前記顔画像を回転させる
その結果、左目の位置と０度（真上方向）との角度差と、右目の位置と０度との角度差とが等しくなり、両目の位置が略水平になる。
【００４０】
なお、平滑化したときに、目の位置に極小値位置が出ない場合がある。この場合にはヒストグラムにおいて角度０度近辺と３５９度近辺の平均輝度値を最大値にする（この操作を「端極強調」ともいう）。この操作をした後で、平滑化することにより、極小値位置が見つかる。
（実施の形態２）
図１２は実施の形態２に係る顔画像正規化方法の概略を示すフローチャートである。
実施の形態２に係る顔画像正規化方法は、平滑化ステップに具体的な平滑化方法を用いたものである。平滑化ステップ以外は実施の形態１に係る平滑化方法（図９）と同じであるので、平滑化ステップについてのみ説明する。
実施の形態２に係る平滑化方法は、右向き平滑化ステップと左向き平滑化ステップとを備える。
【００４１】
右向き平滑化ステップＳ１２０４においては、ヒストグラムを１度から３５９度に向かって右向きに平滑化する。まず、１度と１度の前後の角度（０度と２度）の３つの特定単位領域の平均輝度値を求めて求まった平均輝度値を１度の新平均輝度値とする。次に２度と２度の前後の角度（１度と３度）の特定単位領域の平均輝度値を求めて求まった平均輝度値を２度の新平均輝度値とする。この場合１度の平均輝度値としては、先に求めた新平均輝度値を用いる。順次１度から３５８度に向かって新平均輝度値を求める。３５８度の新平均輝度値は３５７度の新平均輝度値と３５８度の輝度値と３５９度の輝度値の平均輝度値とする。このように輝度値に順次新平均輝度値を用いることによりヒストグラムは平滑化される。
【００４２】
左向き平滑化ステップＳ１２０５においては、右端（３５８度）に至ったら、左方向に向かって同様に平滑化（左向き平滑化）を行う。具体的には、３５８度の新平均輝度値を３５８度と３５８度の前後の角度（３５７度と３５９度」）の特定単位領域の輝度値を求めて求まった平均輝度値を３５８度の新平均輝度値とする。次に３５７度と３５７度の前後の角度（３５６度と３５８度）の輝度値を求めて求まった平均輝度値を３５７度の新平均輝度値とする。この場合３５８度の平均輝度値としては、先に求めた新平均輝度値を用いる。このようにして、順次３５８度から１度に向かって新平均輝度値を求める。
【００４３】
極小値位置数確認ステップＳ９０６においては、１往復したら極小値位置の数を数え、４以上の場合には更に右向き平滑化と左向き平滑化を行い、極小値位置の数が３以下になるまで繰り返す。
【図面の簡単な説明】
【００４４】
【図１】図１（ａ）は回転する前の顔画像と回転角度を求める方法を示す説明図である。図１（ｂ）は回転した後の顔画像である。
【図２】図２の（ａ）は水平方向に対して少し傾いた顔の画像である。            図２の（ｂ）は水平方向に対して少し傾いた顔の画像に対して、通常の顔画像正規化システムが目の位置を判断する様子を示す説明図である。
【図３】顔画像とリングの関係を示す説明図である。
【図４】図４（ａ）は画像にリングをセットした様子を表す図であり、図４（ｂ）は画像の回転後の様子を示す図であり、図４（ｃ）は回転処理を完成した後の様子を表す図である。
【図５】横軸を角度、縦軸を平均輝度値として作成されたヒストグラムである。
【図６】図６（ａ）は平滑化する前のヒストグラムである。図６（ｂ）は平滑化した後のヒストグラムである。
【図７】平滑化後のヒストグラム（図６（ｂ））に極小値位置と角度の関係を加えた図である。
【図８】本発明に係る顔画像正規化システムの構成を示すブロック図である。
【図９】顔画像正規化方法の概略を示すフローチャートである。
【図１０】図１０（ａ）は端極強調を施していないヒストグラムである。図１０（ｂ）は端極強調を施していないヒストグラムに対して、平滑化を行った後のヒストグラムである。図１０（ｃ）は回転処理をする前の顔画像である。図１０（ｄ）は端極強調を施していないヒストグラムに対して、平滑化を行った後に、画像に回転処理を行った後の顔画像である。
【図１１】図１１（ａ）は端極強調を行った後のヒストグラムである。図１１（ｂ）は端極強調を行った後のヒストグラムに対して、平滑化を行った後のヒストグラムである。図１１（ｃ）は回転処理をする前の顔画像である。図１１（ｄ）は端極強調を行った後のヒストグラムに対して、平滑化を行った後に、画像に回転処理を行った後の顔画像である。
【図１２】実施の形態２に係る顔画像正規化方法の概略を示すフローチャートである。
【符号の説明】
【００４５】
１０１      左目を通る特定単位領域の方向を示す線
１０２      右目を通る特定単位領域の方向を示す線
１１１      回転した後の顔画像において、左目を通る特定単位領域の方向を示す線
１１２      回転した後の顔画像において、右目を通る特定単位領域の方向を示す線
３０４      ０度の方向（真上方向）を示す線
Ａ          線１０１と０度（真上）を示す線３０４とがなす角度
Ｂ          線１０２と０度（真上）を示す線３０４とがなす角度
ＡＡ        線１１１と０度（真上）とがなす角度
ＢＢ        線１１２と０度（真上）とがなす角度
【図１】
2009176054.tif 000003
【図２】
2009176054.tif 000004
【図３】
2009176054.tif 000005
【図４】
2009176054.tif 000006
【図５】
2009176054.tif 000007
【図６】
2009176054.tif 000008
【図７】
2009176054.tif 000009
【図８】
2009176054.tif 000010
【図９】
2009176054.tif 000011
【図１０】
2009176054.tif 000012
【図１１】
2009176054.tif 000013
【図１２】
2009176054.tif 000014