(57)【要約】【課題】開眼度を適切に推定可能な開眼度推定装置を提供することを目的とする。【解決手段】開眼度推定装置１Ａでは、開眼度の推定に用いられる探索軸ＳＡが目領域画像ＥＲＩに設定され、目領域画像ＥＲＩの輝度値を探索軸ＳＡと垂直な方向に沿って探索軸ＳＡの方向の位置ごとに積分することにより鉛直方向積分投影ヒストグラムHI(x)が生成される。そして、鉛直方向積分投影ヒストグラムHI(x)が極値をとる探索軸ＳＡの方向の位置における鉛直方向積分投影ヒストグラムHI(x)および目領域画像ＥＲＩのうちの少なくとも１つに関する特徴量に基づいて、目領域画像ＥＲＩに含まれる目の開眼度が推定される。【選択図】図６
2006260397.tif 000002
【特許請求の範囲】
【請求項１】
人物の目の開眼度を推定する開眼度推定装置であって、
開眼度の推定に用いられる第１軸を開眼度の推定対象となる目を含む目領域画像に設定する軸設定手段と、
前記目領域画像の輝度値を前記第１軸と垂直な方向に沿って前記第１軸の方向の異なる位置ごとに積分して、前記第１軸の方向の積分値の分布を表現した関数である第１ヒストグラムを生成する第１ヒストグラム生成手段と、
前記第１ヒストグラムが極値をとる前記第１軸の方向の位置における、前記第１ヒストグラムおよび前記目領域画像のうちの少なくとも１つに関する特徴量を導出する特徴量導出手段と、
前記特徴量に基づいて、前記目領域画像に含まれる目の開眼度を推定する推定手段と、
を備えることを特徴とする開眼度推定装置。
【請求項２】
請求項１に記載の開眼度推定装置において、
前記軸設定手段は、
前記目領域画像の輝度値を第２軸と垂直な方向に沿って前記第２軸の方向の異なる位置ごとに積分して、前記第２軸の方向の積分値の分布を表現した関数である第２ヒストグラムを生成する第２ヒストグラム生成手段と、
前記第２ヒストグラムが極値をとる前記第２軸の方向の位置に基づいて、前記第２軸の方向の前記第１軸の位置を決定する決定手段と、
を備えることを特徴とする開眼度推定装置。
【請求項３】
請求項１または請求項２に記載の開眼度推定装置において、
前記第１軸設定手段は、
開眼度の推定対象の目における瞼の開閉方向と略垂直な慣性主軸を検出し、当該慣性主軸と平行に前記第１軸を設定することを特徴とする開眼度推定装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の開眼度推定装置において、
入力された画像から前記目領域画像を抽出する抽出手段をさらに備え、
入力された複数の画像の各々から抽出した複数の前記目領域画像の各々について目の開眼度を推定し、
最も開いた目を含む画像を特定することを特徴とする開眼度推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、開眼度を推定する開眼度推定装置に関する。
【背景技術】
【０００２】
従来より、人物の顔を撮影した複数の顔画像の中から、最も目の開いた顔画像を人手で選択することが行われている。例えば、運転免許証に掲載される顔画像は、複数の顔画像の中から、最も目の開いた顔画像を人手で選択することにより得られている。しかし、このような人手による選択作業は煩雑であるため、開眼度を自動的に推定して、複数の顔画像の中から、最も目の開いた顔画像を自動的に選択できるようにすることが望まれている。
【０００３】
なお、開眼度を自動的に推定する技術としては、例えば、特許文献１の技術が知られている。特許文献１の技術では、目領域画像の縦方向の連続黒色画素数から開眼度を推定している。
【０００４】
【特許文献１】特開平６−３２１５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の技術は、顔の傾きや眼鏡の影響を受けやすく、開眼度を適切に推定できないという問題がある。
【０００６】
本発明は、この問題を解決するためになされたもので、顔の傾きや眼鏡の影響を排除しつつ、開眼度を適切に推定可能な開眼度推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、請求項１の発明は、人物の目の開眼度を推定する開眼度推定装置であって、開眼度の推定に用いられる第１軸を開眼度の推定対象となる目を含む目領域画像に設定する軸設定手段と、前記目領域画像の輝度値を前記第１軸と垂直な方向に沿って前記第１軸の方向の異なる位置ごとに積分して、前記第１軸の方向の積分値の分布を表現した関数である第１ヒストグラムを生成する第１ヒストグラム生成手段と、前記第１ヒストグラムが極値をとる前記第１軸の方向の位置における、前記第１ヒストグラムおよび前記目領域画像のうちの少なくとも１つに関する特徴量を導出する特徴量導出手段と、前記特徴量に基づいて、前記目領域画像に含まれる目の開眼度を推定する推定手段とを備える。
【０００８】
請求項２の発明は、請求項１に記載の開眼度推定装置において、前記軸設定手段は、前記目領域画像の輝度値を第２軸と垂直な方向に沿って前記第２軸の方向の異なる位置ごとに積分して、前記第２軸の方向の積分値の分布を表現した関数である第２ヒストグラムを生成する第２ヒストグラム生成手段と、前記第２ヒストグラムが極値をとる前記第２軸の方向の位置に基づいて、前記第２軸の方向の前記第１軸の位置を決定する決定手段と、を備える。
【０００９】
請求項３の発明は、請求項１または請求項２に記載の開眼度推定装置において、前記第１軸設定手段は、開眼度の推定対象の目における瞼の開閉方向と略垂直な慣性主軸を検出し、当該慣性主軸と平行に前記第１軸を設定する。
【００１０】
請求項４の発明は、請求項１ないし請求項３のいずれかに記載の開眼度推定装置において、入力された画像から前記目領域画像を抽出する抽出手段をさらに備え、入力された複数の画像の各々から抽出した複数の前記目領域画像の各々について目の開眼度を推定し、最も開いた目を含む画像を特定する。
【発明の効果】
【００１１】
請求項１ないし請求項４の発明によれば、目の開き具合を反映した特徴量に基づいて目の開眼度が推定されるので、顔の傾きや眼鏡の影響を避けて開眼度を高精度に推定可能である。
【００１２】
請求項２の発明によれば、第１軸を適切に設定可能であるので、開眼度をより高精度に推定可能である。
【００１３】
請求項３の発明によれば、目が水平でない場合や顔が傾いている場合にも第１軸を慣性主軸と平行に設定可能であるので、開眼度をより高精度に推定可能である。
【００１４】
請求項４の発明によれば、複数の画像を与えるだけで、最も目が開いている画像を自動的に特定可能である。
【発明を実施するための最良の形態】
【００１５】
本発明の第１実施形態〜第３実施形態に係る開眼度推定装置１Ａ〜１Ｃは、入力画像（顔画像）に含まれる人物の目の開き具合を数値化し開眼度として推定する。以下では、このような開眼度推定装置１Ａ〜１Ｃの構成および動作について説明する。
【００１６】
｛１  第１実施形態｝
＜１．１  ハードウエア構成＞
図１は、本発明の第１実施形態に係る開眼度推定装置１Ａのハードウエア構成を示すブロック図である。
【００１７】
図１に示すように、開眼度推定装置１Ａは、画像入力装置１０と画像処理コンピュータ２０とを備える。画像入力装置１０は、例えば、デジタルカメラやスキャナであり、画像を生成して出力する。画像処理コンピュータ２０は、少なくともＣＰＵ２１およびメモリ２２を備えるコンピュータであり、インストールされた開眼度推定プログラム２３を実行して、与えられた画像から開眼度を推定する。画像入力装置１０と画像処理コンピュータ２０とは、通信可能に接続され、画像入力装置１０から画像処理コンピュータ２０へは、画像処理コンピュータ２０の処理対象となる画像（画像データ）が与えられる。なお、画像が記録された記録媒体を画像処理コンピュータ２０に読み取らせて画像処理コンピュータ２０に画像を与えることや、電気通信回線を経由して画像処理コンピュータ２０に画像を与えることも妨げられない。
【００１８】
＜１．２  画像処理コンピュータの機能的構成＞
図２は、画像処理コンピュータ２０の機能的構成を示すブロック図である。図２に示す顔領域検出部２５、目領域解析部２６および出力部２７は、ＣＰＵ２１およびメモリ２２が協働して開眼度推定プログラム２３を実行することにより実現される機能を示している。もちろん、これらの機能の全部または一部を、専用の画像処理プロセッサによってハードウエア的に実現してもよい。
【００１９】
図２を参照して、顔領域検出部２５は、入力画像の中の顔領域を検出し、顔領域を含む検出枠の情報を目領域解析部２６へ出力する。
【００２０】
目領域解析部２６は、入力された検出枠の中の、開眼度の推定対象となる目を含む目領域に係る画像（以下では、「目領域画像」とも称する）から目の開眼度を推定する。さらに、目領域解析部２６は、複数の入力画像の各々について開眼度を推定し、最も開いた目を含む入力画像を特定する。
【００２１】
出力部２７は、最も開いた目を含む入力画像等の目領域解析部２６の解析結果を、例えば、画像処理コンピュータ２０に設けられたディスプレイに視認可能に表示する。
【００２２】
以下では、上述の顔領域検出部２５および目領域解析部２６のより詳細な構成について説明する。
【００２３】
＜１．２．１  顔領域検出部＞
図３は、顔領域検出部２５の詳細な構成を示すブロック図である。以下では、図３に示す各機能ブロックについて順次説明する。
【００２４】
○ウインドウ切り出し部；
ウインドウ切り出し部２５１は、入力画像の中に矩形のウインドウを設定する。ウインドウ切り出し部２５１は、入力画像の中のウインドウの位置を可変に設定可能であるとともに、望ましくは、入力画像に対するウインドウの相対的な大きさも可変に設定可能である。入力画像に対するウインドウの相対的な大きさの変更は、ウインドウの大きさを変更することにより実現してもよいし、ウインドウの大きさを一定に維持したまま入力画像を拡大または縮小することにより実現してもよい。後者の場合、入力画像のサブサンプリングにより得られる画像ピラミッドに含まれる様々な大きさの画像の中にウインドウを適宜設定することにより、入力画像に対するウインドウの相対的な大きさを変化させることが望ましい。なお、以下の説明では、当該画像ピラミッドを構成する画像の中でウインドウを移動させることにより、画像ピラミッドを構成する画像をウインドウで走査するものとして説明を進める。このように、入力画像に対するウインドウの相対的な大きさを変更可能とすることにより、入力画像に含まれる顔の大きさが変化しても、後述する識別部２５３における識別を適切に実行可能である。
【００２５】
○前処理部；
前処理部２５２は、ウインドウ切り出し部２５１が設定したウインドウに対してマスキング処理を行う。当該マスキング処理では、顔の特徴と無関係の背景が含まれる、ウインドウの縁部の画像情報を除去するマスクがウインドウに対して適用される。さらに、前処理部２５２は、ウインドウの中のマスキングがされていない部分（以下では、「非マスク部分」とも称する）の画像が、人物の顔領域の画像であるか否かの予備判定を行い、非マスク部分の画像が顔領域の画像ではない（非マスク部分の画像が非顔領域の画像である）と判定したウインドウを破棄して以降の処理の対象から除外する。また、前処理部２５２は、予備判定により破棄しなかったウインドウに対して、輝度の正規化を行う。輝度の正規化としては、輝度勾配を補正する平面当てはめ正規化や全ての輝度値に同数の画素を割り当てるようにヒストグラムを変換するヒストグラム平坦化等を行うことができる。
【００２６】
○識別部；
識別部２５３は、非マスク部分の画像が顔領域の画像であるか否かを識別する。より具体的には、識別部２５３は、非マスク部分の画像をベクトル化し、得られたベクトルを、あらかじめ準備されている識別用の特徴空間に射影する。さらに、識別部２５３は、当該ベクトルの射影結果に基づいて、当該ベクトルの基礎となった非マスク部分の画像が顔領域の画像であるか否かを識別し、非マスク部分の画像が顔領域の画像であると識別したウインドウの位置および大きさを後処理部２５４へ出力する。
【００２７】
識別用の特徴空間としては、顔領域の画像であるか否かが既知の多数の画像に係るベクトルに対して主成分分析（ＰＣＡ）を施すことにより得られる主成分空間を用いることができる。したがって、識別用の特徴空間は、顔領域の画像に係るベクトルおよび非顔領域の画像に係るベクトルの射影結果が大きく異なるような部分空間を形成している。また、顔領域の画像であるか否かの識別は、例えば、非マスク部分の画像に係るベクトルの特徴空間までの距離と所定の閾値との大小関係に基づいて行われる。識別部２５３における識別処理のために必要な情報は、識別辞書２５５にあらかじめ格納されている。
【００２８】
○後処理部；
後処理部２５４は、入力されたウインドウの位置および大きさに基づいて検出枠を設定し、設定した検出枠の位置および大きさを目領域解析部２６へ出力する。より具体的には、後処理部２５４は、近傍に他のウインドウが存在しないウインドウについては、位置および大きさが当該ウインドウの位置および大きさと一致する検出枠を設定し、近傍に他のウインドウが存在するウインドウについては、近傍の複数のウインドウを統合する検出枠を設定する。ここで、統合後の検出枠の位置および大きさは、それぞれ、統合前の複数のウインドウの位置および大きさの平均値となっている。なお、相互に重なるような複数の検出枠については、当該検出枠の内部の画像に係るベクトルの、特徴空間までの距離等に基づいて１つの検出枠のみが選択され、残余の検出枠は誤検出として破棄される。
【００２９】
＜１．２．２  目領域解析部＞
図４は、第１実施形態に係る目領域解析部２６の詳細な構成を示すブロック図である。以下では、図４に示す各機能ブロックについて順次説明する。
【００３０】
○目領域設定部；
目領域設定部２６１は、顔領域検出部２５で設定された検出枠の中に、開眼度の推定対象となる目を含む目領域を設定する。例えば、水平（左右）方向をX軸、鉛直（上下）方向をY軸とするXY直交座標系が定義された図５に示すように、左上隅の点ＰＬＵの座標が(x0,y0)であり、一辺の長さがLである正方形の検出枠ＦＲが顔領域検出部２５で設定されている場合、目領域設定部２６１は、中心Ｃ１１の位置（座標）が(x0+L/4,y0+L/4)であり、一辺の長さがL/4であるような右目ＥＹ１を含む正方形の目領域ＡＲ１１と、中心Ｃ１２の位置（座標）が(x0+3L/4,y0+L/4)であり、一辺の長さがL/4であるような左目ＥＹ２を含む正方形の目領域ＡＲ１２とを設定する。これにより、開眼度推定装置１Ａでは、入力画像から目領域画像が抽出されたことになる。目領域ＡＲ１１，ＡＲ１２は、検出枠ＦＲに対する中心Ｃ１１，Ｃ１２の相対な位置および検出枠ＦＲに対する相対的な大きさが一定の領域となっている。
【００３１】
これらの目領域ＡＲ１１，ＡＲ１２を大きくすれば、開眼度の推定対象となる目ＥＹ１，ＥＹ２が目領域ＡＲ１１，ＡＲ１２に含まれる可能性は高くなるが、後述する積分投影ヒストグラムの生成における演算量が増加して開眼度の推定に要する時間が増加する。一方、この目領域を小さくすれば、後述する積分投影ヒストグラムの生成における計算量が減少して開眼度の推定に要する時間が減少するが、開眼度の推定対象となる目ＥＹ１，ＥＹ２が目領域ＡＲ１１，ＡＲ１２に含まれる可能性が低くなる。このため、目領域ＡＲ１１，ＡＲ１２は、開眼度の推定対象となる目ＥＹ１，ＥＹ２が確実に含まれる範囲内で、できる限り小さくすることが望まれる。
【００３２】
○探索軸設定部；
探索軸設定部２６２は、開眼度の推定に用いられる探索軸を目領域画像に設定する。さらに、探索軸設定部２６２は、探索軸に加えて、探索軸の位置の決定に用いられる位置決定軸を目領域画像に設定する。位置決定軸は、探索軸を設定すべき方向と垂直な方向に設定される。探索軸および位置決定軸の設定方向は必ずしも限定されないが、以下では、水平方向をX軸、鉛直方向をY軸とするXY直交座標系が定義された図６に例示すように、座標(x1,y1),(x1,y2),(x2,y2),(x2,y1)[x1<x2,y1<y2]を頂点とする矩形の目領域画像ＥＲＩに、探索軸ＳＡがX軸方向（水平方向）に設定され、位置決定軸ＰＡがY軸方向（垂直方向）に設定されているものとして説明を進める。したがって、以下では、探索軸ＳＡの方向の位置はx座標で表現されるとともに、位置決定軸ＰＡの方向の位置はy座標で表現される。
【００３３】
ここで、図４に戻って説明すると、探索軸設定部２６２は、より詳細には、水平方向積分投影ヒストグラム生成部２６２ａと探索軸位置決定部２６２ｂとを備える。
【００３４】
水平方向積分投影ヒストグラム生成部２６２ａは、目領域画像ＥＲＩの輝度値I(x,y)をX軸方向に沿ってY軸方向の異なる位置ごとに積分して、式（１）に示すような、Y軸方向の積分値の分布を表現した関数である水平方向積分投影ヒストグラムVI(y)を生成する。なお、輝度値I(x,y)は、座標(x,y)における輝度値を示している。
【００３５】
【数１】
2006260397.tif 000003
【００３６】
式（１）から明らかなように、水平方向積分投影ヒストグラムVI(y)は、目領域画像ＥＲＩの全体について輝度値I(x,y)を積分することにより得られている。
【００３７】
探索軸位置決定部２６２ｂは、水平方向積分投影ヒストグラムVI(y)に基づいて、探索軸ＳＡのy座標を決定する。より具体的には、探索軸位置決定部２６２ｂは、水平方向投影ヒストグラムVI(y)が極小値をとるy座標が１つである場合には、当該y座標を探索軸ＳＡのy座標とし、水平方向投影ヒストグラムVI(y)が極小値をとるy座標が複数である場合には、そのうちで最大のy座標を探索軸ＳＡのy座標とする。これは、人の目の中心付近には略円形状を有する黒（または黒類似色）の眼球が存在するため、水平方向積分投影ヒストグラムVI(y)が極小値をとるy座標は、目の中心のy座標に一致する可能性が高いという性質を利用したものである。
【００３８】
○鉛直方向積分投影ヒストグラム生成部；
鉛直方向積分投影ヒストグラム生成部２６３は、目領域画像ＥＲＩの輝度値I(x,y)をY軸方向に沿ってX軸方向の異なる位置ごとに積分して、式（２）に示すような、X軸方向の積分値の分布を表現した関数である鉛直方向積分投影ヒストグラムHI(x)を生成する。
【００３９】
【数２】
2006260397.tif 000004
【００４０】
式（２）から明らかなように、鉛直方向積分投影ヒストグラムHI(x)は、探索軸y=y3からの距離が距離δy3以内の、探索軸y=y3を中心とする帯状のヒストグラム計算領域ＨＣＡの中で輝度値I(x,y)を積分することにより得られている。距離δy3の具体的値は、例えば、L/6程度に設定することが望ましい。
【００４１】
○特徴量計算部；
特徴量計算部２６４は、鉛直方向積分投影ヒストグラムHI(x)に基づいて、目の開き具合を反映した特徴量P1を導出する。より具体的には、特徴量計算部２６４は、鉛直方向積分投影ヒストグラムHI(x)が極小値をとるx座標x3を特定し、式（３）に示すような、当該x座標x3における鉛直方向積分投影ヒストグラムHI(x)の値（極小値）を特徴量P1として導出する。
【００４２】
【数３】
2006260397.tif 000005
【００４３】
○開眼度推定部；
開眼度推定部２６５は、特徴量計算部２６４が導出した特徴量P1に基づいて、目領域画像ＥＲＩに含まれる目の開眼度Pを推定する。なお、第１実施形態では、特徴量P1そのものが開眼度Pとして扱われる。当該開眼度Pは、目の開き具合が大きくなるほど小さな値をとる。
【００４４】
○比較部；
比較部２６６は、複数の入力画像の各々から抽出した目領域画像ＥＲＩの各々について推定された開眼度Pを比較して、最も開いた目を含む（開眼度Pが最小の）入力画像を特定して解析結果として出力する。
【００４５】
＜１．３  動作＞
続いて、開眼度推定装置１Ａの動作について、顔領域検出部２５の動作と目領域解析部２６の動作とに分けて順次説明する。
【００４６】
○顔領域検出部の動作；
図７は、顔領域検出部２５の動作を示すフローチャートである。
【００４７】
図７のステップＳ１０１〜Ｓ１０６は、非マスク部分の画像が顔領域の画像であるようなウインドウの位置および大きさを特定するためのステップ群である。
【００４８】
画像入力装置１０から画像が入力されると、顔領域検出部２５では、最初に、ウインドウ切り出し部２５１により、入力画像の中にウインドウが設定される（ステップＳ１０１）。
【００４９】
続いて、前処理部２５２により、設定されたウインドウに対するマスキング処理が行われ（ステップＳ１０２）、非マスク部分の画像が非顔領域の画像であるウインドウを破棄するための予備判定が行われる（ステップＳ１０３）。ステップＳ１０３において、非マスク部分の画像が非顔領域の画像であると判定された場合、続くステップＳ１０４およびＳ１０５は実行されることなく、ステップＳ１０６への移行が行われる。一方、非マスク部分の画像が非顔領域の画像であると判定されなかった場合、ステップＳ１０４およびＳ１０５が順次実行された後に、ステップＳ１０６への移行が行われる。このように、特徴空間を用いた識別（ステップＳ１０５）に先立って予備判定（ステップＳ１０３）を実行することにより、非マスク部分の画像が非顔領域の画像であることが明らかなウインドウに対して、特徴空間を用いた識別を行う必要がなくなり、画像処理コンピュータ２０の負荷を軽減可能である。なお、負荷の軽減を実現するためには、予備判定は、特徴空間を用いた識別よりも低い負荷で実行可能な処理とする必要がある。このため、予備判定では、例えば、非マスク部分の画像に含まれる肌色の画素の割合と所定の閾値との大小関係に基づく簡便な判定方法等が用いられる。
【００５０】
ステップＳ１０４では、前処理部２５２により、ステップＳ１０３で破棄されなかったウインドウの非マスク部分の画像について輝度の正規化が行われ、ステップＳ１０５では、識別部２５３により、非マスク部分の画像が顔領域の画像であるか否かが特徴空間を用いて識別される。そして、非マスク部分の画像が顔領域の画像であると識別されたウインドウの位置および大きさはメモリ２２に記憶される。
【００５１】
ステップＳ１０６では、入力画像の全体に対するウインドウの走査が完了したか否かによる処理の分岐が行われ、走査が完了した場合、ステップＳ１０７への移行が行われ、走査が完了していない場合、ステップＳ１０１への移行が行われ、ウインドウの位置を変更して、改めてステップＳ１０１〜Ｓ１０６の処理が行われる。
【００５２】
続いて、後処理部２５４により、非マスク部分の画像が顔領域の画像であると識別されたウインドウの位置および大きさに基づいて、検出枠ＦＲの位置と大きさとが決定され（ステップＳ１０７）、決定された検出枠ＦＲの情報が目領域解析部２６へ出力され、（ステップＳ１０８）、しかる後に顔領域検出部２５の動作は終了する。
【００５３】
○目領域解析部の動作；
図８は、目領域解析部２６の動作を示すフローチャートである。
【００５４】
図８に示すように、検出枠ＦＲの情報が顔領域検出部２５から入力されると、目領域解析部２６では、目領域設定部２６１により、検出枠ＦＲの中に目領域ＡＲ１１，ＡＲ１２が設定される（ステップＳ２０１）。
【００５５】
ステップＳ２０１に続くステップＳ２０２およびＳ２０３は、探索軸設定部２６２による探索軸ＳＡの設定が行われるステップ群である。探索軸ＳＡの設定にあたっては、まず、水平方向積分投影ヒストグラム生成部２６２ａにより、水平方向積分投影ヒストグラムVI(y)が生成され（ステップＳ２０２）、探索軸位置決定部２６２ｂにより、水平方向積分投影ヒストグラムVI(y)が極小値をとるy座標に基づいて、探索軸ＳＡのy座標が決定される（ステップＳ２０３）。
【００５６】
続いて、鉛直方向積分投影ヒストグラム生成部２６３により、ヒストグラム計算領域ＨＣＡが設定され（ステップＳ２０４）、ヒストグラム計算領域ＨＣＡの中で輝度値I(x,y)を積分することにより垂直方向積分投影ヒストグラムHI(x)が生成される（ステップＳ２０５）。
【００５７】
さらに、特徴量計算部２６４により、鉛直方向積分投影ヒストグラムHI(x)が極小値をとるx座標x3が特定され（ステップＳ２０６）、当該x座標x3における鉛直方向積分投影ヒストグラムHI(x)の値HI(x3)が特徴量P1として導出される（ステップＳ２０７）。先述したように、この特徴量P1は、開眼度Pともなっている。ステップＳ２０６では、水平方向積分投影ヒストグラムHI(x)が極小値をとるx座標x3は、目の中心のx座標に一致する可能性が高いという性質を利用して、目の中心の位置における鉛直方向積分投影ヒストグラムHI(x)の挙動を特徴量P1として採用していることになる。
【００５８】
このように、開眼度推定装置１Ａでは、目の開き具合を反映した特徴量P1に基づいて目の開眼度Pが推定されるので、顔の傾きや眼鏡の影響を避けて開眼度を高精度に推定可能である。加えて、開眼度推定装置１Ａでは、探索軸ＳＡのy座標が探索軸設定部２６２により可変に設定されるので、探索軸ＳＡを目の中心の位置に適切に設定可能となり、開眼度を高精度に推定可能となっている。
【００５９】
加えて、上述の動作フローにおいては、目の中心の位置の決定と開眼度Pの推定とを別々に行う必要がないので、画像処理コンピュータ２０の負荷を低減可能となっている。また、上述の動作フローにより、目領域画像ＥＲＩが目から若干ずれていても開眼度Pを適切に推定可能であるので、目領域ＡＲ１１，ＡＲ１２の設定を容易に行うことができる。
【００６０】
さらに、開眼度推定装置１Ａでは、比較部２６６により、複数の入力画像の各々から抽出された目領域画像ＥＲＩの各々についての開眼度Pの比較により開眼度Pが最小となる画像が特定されて（ステップＳ２０８）、出力部２７により、解析結果として出力される（ステップＳ２０９）。これにより、開眼度推定装置１Ａでは、複数の画像を与えるだけで、最も目が開いている画像を自動的に特定して出力可能となっている。
【００６１】
｛２  第２実施形態｝
本発明の第２実施形態に係る開眼度推定装置１Ｂは、第１実施形態に係る開眼度推定装置１Ａと類似の構成を有するが、目領域解析部３６の詳細な構成が、第１実施形態の目領域解析部２６と相違している。そこで、以下では、目領域解析部３６の詳細な構成および動作について説明し、開眼度推定装置１Ａと同様の残余の構成および動作についての重複説明は省略する。
【００６２】
＜２．１  目領域解析部の詳細な構成＞
図９は、目領域解析部３６の詳細な構成を示すブロック図である。
【００６３】
図９に示す機能ブロックのうち、探索軸位置決定部３６２ｂ（探索軸設定部３６２）、特徴量計算部３６４、開眼度推定部３６５および比較部３６６は、第１実施形態の探索軸位置決定部２６２ｂ（探索軸設定部２６２）、特徴量計算部２６４、開眼度推定部２６５および比較部２６６と異なる機能を有しており、残余の機能ブロックである目領域設定部３６１および鉛直方向積分投影ヒストグラム生成部３６３は、第１実施形態の対応する機能ブロックである目領域設定部２６１および鉛直方向積分投影ヒストグラム生成部２６３と同様の機能を有している。そこで、以下では、探索軸位置決定部３６２ｂ、特徴量計算部３６４および比較部３６６について順次説明し、残余の機能ブロックについての説明は省略する。
【００６４】
○探索軸位置決定部；
探索軸位置決定部３６２ｂは、探索軸決定部２６２ｂと同様に、水平方向積分投影ヒストグラムVI(y)に基づいて探索軸ＳＡのy座標を決定する。ただし、探索軸位置決定部３６２ｂは、眉や眼鏡の影響をより詳細に考慮して探索軸ＳＡのy座標を決定している点が、探索軸決定部２６２ｂとは異なる。
【００６５】
より具体的には、探索軸位置決定部３６２ｂは、水平方向積分投影ヒストグラムVI(y)の複数の極値の間の関係を考慮して、水平方向積分投影ヒストグラムVI(y)が極値をとるy座標が、眉の位置、目の中心の位置および眼鏡のフレームの位置のいずれに対応しているのかを判定する。
【００６６】
特に、探索軸位置決定部３６２ｂは、図１０に示すように、目領域画像ＥＲＩの上端部近傍の１／４の領域を眉候補領域ＥＢＡとみなして、水平方向投影ヒストグラムVI(y)が最小値（複数の極小値のうちの最小のもの）をとるy座標が眉候補領域ＥＢＡに含まれる場合、当該最小値と他の極小値との関係を調べて、当該y座標が眉の位置に対応している可能性が高いときは他の極小値をとるy座標を探索軸ＳＡのy座標とする。
【００６７】
○特徴量計算部；
特徴量計算部３６４は、鉛直方向積分投影ヒストグラムHI(x)に基づいて、目の開き具合を反映した複数の特徴量P1〜P3を導出する。より具体的には、特徴量計算部３６４は、第１実施形態と同様の特徴量P1に加えて、鉛直方向積分投影ヒストグラムHI(x)が極小値をとるx座標x3における鉛直方向積分投影ヒストグラムHI(x)の凹凸状態の指標値である特徴量P2を式(４)に基づいて計算する。
【００６８】
【数４】
2006260397.tif 000006
【００６９】
加えて、特徴量計算部３６４は、x座標x3における鉛直方向積分投影ヒストグラムHI(x)に関する特徴量P1およびP2に加えて、x座標x3における目領域画像ＥＲＩに関する特徴量P3も導出する。ここで、特徴量P3としては、例えば、図１０に示すヒストグラム計算領域ＨＣＡの中のx=x3における黒色画素数を採用可能である。
【００７０】
○開眼度推定部；
開眼度推定部３６５は、特徴量計算部３６４が導出した特徴量P1〜P3に基づいて、目領域画像ＥＲＩに含まれる目の開眼度Pを推定する。例えば、開眼度推定部３６５は、式（５）に示すように、特徴量P1〜P3を重み定数ωiによって重み付けしてから加算することにより、開眼度Pを推定する。
【００７１】
【数５】
2006260397.tif 000007
【００７２】
式（５）に含まれる重み定数ωiは、例えば、開眼度が既知のN個の目領域画像（サンプル画像）から導出された特徴量Pijを独立変数、サンプル画像の既知の開眼度hj(i=1,2,3;j=1,2,...,N)を従属変数とする重回帰分析を行うことによりあらかじめ決定され、開眼度判定辞書３６７に格納されている。すなわち、重み定数ωiは、式（６）の右辺に示す目的関数Eを最小化するように決定されて、開眼度判定辞書３６７に記憶されている。
【００７３】
【数６】
2006260397.tif 000008
【００７４】
あるいは、式（７）に示すように、重み定数ωiを成分とする重みベクトルΩ、特徴量Pijを成分とする特徴量マトリックスQおよび開眼度hjを成分とする開眼度ベクトルHを定義して、式（８）により重みベクトルΩを算出することにより、重み定数ωiは特定される。但し、Tは行列の転置を表し、-1は逆行列を示している。
【００７５】
【数７】
2006260397.tif 000009
【００７６】
【数８】
2006260397.tif 000010
【００７７】
なお、上述の説明では特徴量の数は３個であったが、特徴量の数が２個または４個以上としても同様に開眼度Pを推定可能である。
【００７８】
○比較部；
比較部３６６は、比較部２６６と同様に、複数の入力画像についての開眼度Pを比較して、複数の入力画像の各々から抽出した複数の目領域画像ＥＲＩの各々について推定された開眼度Pを比較して、最も開いた目を含む（開眼度Pが最大の）入力画像を特定して解析結果として出力する。加えて、比較部３６６は、開眼度Pを所定の閾値と比較して、開眼度Pが閾値より大きい場合のみ比較対象とし、開眼度Pが閾値より大きい入力画像がなければ、出力部２７に当該情報を出力して画像処理コンピュータ２０に設けられたディスプレイ等に警告メッセージを表示させる。
【００７９】
＜２．２  目領域解析部の動作＞
○目領域解析部の動作；
図１１は、目領域解析部３６の動作を示すフローチャートである。
【００８０】
図１１に示すように、検出枠ＦＲの情報が顔領域検出部２５から入力されると、目領域解析部３６では、先述のステップＳ２０１およびＳ２０２と同様の処理がステップＳ３０１およびＳ３０２において行われる。
【００８１】
続くステップＳ３０３は、探索軸位置決定部３６２ｂが探索軸ＳＡのy座標を決定するサブルーチンである。当該サブルーチンについては後述する。
【００８２】
さらに続いて、先述のステップＳ２０４〜Ｓ２０６と同様の処理がステップＳ３０４〜Ｓ３０６において行われる。
【００８３】
ステップＳ３０７では、特徴量計算部３６４により、鉛直方向積分投影ヒストグラムHI(x)が極小値をとるx座標における鉛直方向積分投影ヒストグラムHI(x)に関する特徴量P1,P2および目領域画像ＥＲＩに関する特徴量P3が導出される。
【００８４】
ステップＳ３０８では、開眼度推定部３６５により開眼度Pが推定される。
【００８５】
ステップＳ３０９では、比較部３６６により、開眼度Pと所定の閾値ε4との大小関係が比較される。ステップＳ３０９において、開眼度Pが閾値ε4より大きい場合、換言すれば、目が十分に開いている画像が存在する場合は、ステップＳ３１０への移行が行われ、開眼度Pが閾値ε4より大きい目領域画像ＥＲＩを比較対象として、ステップＳ２０８と同様の比較が行われる。一方、開眼度Pが閾値ε4より小さい場合、換言すれば、目が十分に開いている画像が存在しない場合は、その旨の情報が出力部２７に与えられ、目が十分に開いている画像が存在しないことが操作者に警告報知される（ステップＳ３１２）。これにより、操作者は全ての画像が失敗（目つむり）画像であることを容易に認識可能である。
【００８６】
ステップＳ３１１では、Ｓ２１１と同様の処理が行われる。
【００８７】
このように、開眼度推定装置１Ｂでも、目の開き具合を反映した複数の特徴量P1〜P3に基づいて目の開眼度Pが推定されるので、顔の傾きや眼鏡の影響を避けて開眼度Pを高精度に推定可能である。加えて、開眼度推定装置１Ｂでも、探索軸ＳＡのy座標が探索軸設定部３６２により可変に設定されるので、探索軸ＳＡを目の中心の位置に適切に設定可能となり、開眼度Pを高精度に推定可能となっている。
【００８８】
加えて、開眼度推定装置１Ｂでも、目の中心の位置の決定と開眼度Pの推定とを別々に行う必要がないので、画像処理コンピュータ２０の負荷を低減可能となっている。また、上述の動作フローにより、目領域画像ＥＲＩが目から若干ずれていても開眼度Pを適切に推定可能であるので、目領域ＡＲ１１，ＡＲ１２の設定を容易に行うことができる。
【００８９】
さらに、開眼度推定装置１Ｂでも、複数の画像を与えるだけで、最も目が開いている画像を自動的に特定して出力可能となっている。
【００９０】
○探索軸のy座標決定（サブルーチン）；
続いて、ステップＳ３０３の探索軸ＳＡのy座標決定（サブルーチン）係る動作について、図１２のフローチャートを参照しながら説明する。なお、以下では、目領域画像ＥＲＩの左上隅の点が座標系の原点であるとして説明を進める。
【００９１】
当該サブルーチンにおいては、最初に、最小値をとるy座標y3が特定され、当該y座標y3が、眉候補領域ＥＢＡに含まれるか否かが判定される、すなわち、式（９）の条件式が満たされるか否かが判定される。式（９）の条件式が満たされる場合、y座標y3は眉の位置に対応する可能性が高いので、ステップＳ４０３以降でさらなる判定が行われ、満たされない場合、当該y座標y3を探索軸ＳＡのy座標と決定して（ステップＳ４０８）、サブルーチンを終了する。
【００９２】
【数９】
2006260397.tif 000011
【００９３】
ステップＳ４０３では、y座標y3の下方の幅δbの範囲すなわち区間I=[y3,y3+δb]において水平投影積分ヒストグラムVI(y)が極小値をとるy座標y4が特定され、ステップＳ４０４では、y座標y3およびy座標y4における水平投影積分ヒストグラムVI(y)の値の差と所定の閾値ε1との大小関係が調べられ、式（１０）の条件式が満たされるか否かが判定される。
【００９４】
【数１０】
2006260397.tif 000012
【００９５】
式（１０）の条件式が満たされる場合、y座標y4において水平投影積分ヒストグラムVI(y)が十分に低下することから、y座標y4は目の中心のy座標に対応する可能性が高いと考えられるので、y座標y4を探索軸ＳＡのy座標と決定して（ステップＳ４０９）、サブルーチンを終了する。一方、式（１０）の条件式が満たされない場合、y座標y3およびy座標y4における水平投影積分ヒストグラムVI(y)の値の差と所定の閾値ε2との大小関係が調べられ、式（１１）の条件式が満たされるか否かが判定される。
【００９６】
【数１１】
2006260397.tif 000013
【００９７】
式（１１）の条件式が満たされる場合、y座標y4において水平投影積分ヒストグラムVI(y)が十分に低下しないことから、y座標y4は眼鏡のフレームに対応する位置である、または、ノイズの誤検出である可能性が高いと考えられるので、y座標y3を探索軸ＳＡのy座標と決定して（ステップＳ４０８）、サブルーチンを終了する。一方、式（１１）の条件式が満たされない場合、ステップＳ４０６以降でさらなる判定が行われる。
【００９８】
続いて、y座標y4の下方で水平投影積分ヒストグラムVI(y)が極大値をとるy座標y5が特定され（ステップＳ４０６）、y座標y4およびy座標y5における水平投影積分ヒストグラムVI(y)の値の差と所定の閾値ε3との大小関係が調べられ、式（１２）の条件式が満たされるか否かが判定される。
【００９９】
【数１２】
2006260397.tif 000014
【０１００】
式（１２）の条件式が満たされる場合、y座標y4において水平投影積分ヒストグラムVI(y)が十分に低下しないことから、y座標y4は眼鏡のフレームに対応する位置である可能性が高いと考えられるので、y座標y3を探索軸ＳＡのy座標と決定して（ステップＳ４０８）、サブルーチンを終了する。一方、式（１２）の条件式が満たされる場合、y座標y4において水平投影積分ヒストグラムVI(y)が十分に低下することから、y座標y4は目の中心のy座標に対応する可能性が高いと考えられるので、y座標y4を探索軸ＳＡのy座標と決定して（ステップＳ４０９）、サブルーチンを終了する。
【０１０１】
｛３  第３実施形態｝
本発明の第３実施形態に係る開眼度推定装置１Ｃは、第２実施形態に係る開眼度推定装置１Ｂと類似の構成を有するが、目領域解析部４６の詳細な構成が、第１実施形態の目領域解析部３６と相違している。そこで、以下では、目領域解析部４６の詳細な構成および動作について説明し、開眼度推定装置１Ｂと同様の残余の構成および動作についての重複説明は省略する。
【０１０２】
＜３．１  目領域解析部の詳細な構成＞
図１３は、目領域解析部４６の詳細な構成を示すブロック図である。
【０１０３】
図１３に示すように、目領域解析部４６は、目領域解析部４６と同様の機能ブロック（目領域設定部４６１、探索軸設定部４６２（水平方向積分投影ヒストグラム生成部４６２ａおよび探索軸位置決定部４６２ｂ）、鉛直方向積分投影ヒストグラム生成部４６３、特徴量計算部４６４、開眼度推定部４６５、比較部４６５および開眼度判定辞書４６７）に加え、主軸設定部４６８を備える。
【０１０４】
開眼度検出装置１Ｂでは、探索軸ＳＡが水平方向に設定されたが、開眼度推定装置１Ｃでは、開眼度の推定対象の目における瞼の開閉方向と略垂直な慣性主軸方向に探索軸ＳＡの方向を設定可能であり、主軸設定部４６８は、当該慣性主軸を検出する機能を有している。これにより、目が水平でない場合や顔が傾いている場合にも探索軸ＳＡを慣性主軸と平行に設定可能であるので、開眼度をより高精度に推定可能である。
【０１０５】
＜３．２  目領域解析部の動作＞
図１４は、目領域解析部４６の動作を示すフローチャートである。
【０１０６】
図１４のフローチャートにおけるステップＳ５０１〜Ｓ５１２は、図１１のフローチャートのステップＳ３０１〜Ｓ３１２と同様の処理を行っているが、図１４のフローチャートでは、水平方向積分投影ヒストグラムVI(y)の生成（ステップＳ５０２）に先立って、慣性主軸を検出して、図１５に示すように慣性主軸ＭＡの方向をX軸方向とする処理が行われる（ステップＳ５１３）。なお、慣性主軸ＭＡの検出は、例えば、仮に設定した探索軸ＳＡの方向を変化させながら、鉛直方向積分投影ヒストグラムHI(x)の極小値が最も小さくなる方向を特定することにより行われる。
【０１０７】
このように、開眼度推定装置１Ｃでも、目の開き具合を反映した複数の特徴量P1〜P3に基づいて目の開眼度Pが推定されるので、顔の傾きや眼鏡の影響を避けて開眼度を高精度に推定可能である。加えて、開眼度推定装置１Ｃでも、探索軸ＳＡのy座標が探索軸設定部４６２により可変に設定されるので、探索軸ＳＡを目の中心の位置に適切に設定可能となり、開眼度を高精度に推定可能となっている。
【０１０８】
加えて、開眼度推定装置１Ｃでも、目の中心の位置の決定と開眼度Pの推定とを別々に行う必要がないので、画像処理コンピュータ２０の負荷を低減可能となっている。また、上述の動作フローにより、目領域画像ＥＲＩが目から若干ずれていても開眼度Pを適切に推定可能であるので、目領域ＡＲ１１，ＡＲ１２の設定を容易に行うことができる。
【０１０９】
さらに、開眼度推定装置１Ｃでも、複数の画像を与えるだけで、最も目が開いている画像を自動的に特定して出力可能となっている。
【０１１０】
｛４  変形例｝
第１実施形態〜第３実施形態における水平方向積分投影ヒストグラム生成部２６２ａ（３６２ａ，４６２ａ）および鉛直方向積分投影ヒストグラム投影部２６３（３６３，４６３）は類似の演算を行うので、これらを共通の機能ブロックとして開眼度推定装置１Ａ〜１Ｃを構成してもよい。同様に、探索軸位置決定部２６２ｂ（３６２ｂ，４６２ｂ）および特徴量推定部２６４（３６４，４６４）も類似の演算を行うので、これらを共通の機能ブロックとして開眼度推定装置１Ａ〜１Ｃを構成してもよい。
【図面の簡単な説明】
【０１１１】
【図１】本発明の実施形態に係る開眼度推定装置１Ａ〜１Ｃのハードウエア構成を示すブロック図である。
【図２】画像処理コンピュータ２０の機能的構成を示すブロック図である。
【図３】顔領域検出部２５の構成を示すブロック図である。
【図４】目領域解析部２６の構成を示すブロック図である。
【図５】検出枠ＦＲの中に設定された目領域を例示する図である。
【図６】目領域画像ＥＲＩに設定された探索軸ＳＡを例示する図である。
【図７】顔領域検出部２５の動作を示すフローチャートである。
【図８】目領域解析部２６の動作を示すフローチャートである。
【図９】目領域解析部３６の詳細な構成を示すブロック図である。
【図１０】目領域画像ＥＲＩの中の眉候補領域ＥＢＡを例示する図である。
【図１１】目領域解析部の動作を示すフローチャートである。
【図１２】探索軸ＳＡのy座標決定に係る動作を示すフローチャートである。
【図１３】目領域解析部４６の詳細な構成を示すブロック図である。
【図１４】目領域解析部４６の動作を示すフローチャートである。
【図１５】開眼度の推定対象の目における瞼の開閉方向と略垂直な慣性主軸方向に探索軸ＳＡの方向（x軸方向）が設定された状態を示す図である。
【符号の説明】
【０１１２】
ＦＲ  検出枠
ＡＲ１１，ＡＲ１２  目領域
ＥＲＩ  目領域画像
ＳＡ  探索軸
ＰＡ  位置検出軸
ＨＣＡ  ヒストグラム計算領域
ＥＢＡ  眉候補領域
ＭＡ  慣性主軸
２６２，３６２，４６２  探索軸設定部
２６３，３６３，４６３  鉛直方向積分投影ヒストグラム生成部
２６４，３６４，４６４  特徴量計算部
２６５，３６５，４６５  開眼度推定部
【図１】
2006260397.tif 000015
【図２】
2006260397.tif 000016
【図３】
2006260397.tif 000017
【図４】
2006260397.tif 000018
【図５】
2006260397.tif 000019
【図６】
2006260397.tif 000020
【図７】
2006260397.tif 000021
【図８】
2006260397.tif 000022
【図９】
2006260397.tif 000023
【図１０】
2006260397.tif 000024
【図１１】
2006260397.tif 000025
【図１２】
2006260397.tif 000026
【図１３】
2006260397.tif 000027
【図１４】
2006260397.tif 000028
【図１５】
2006260397.tif 000029