(57)【要約】【課題】誤検出を低減して、目の検出精度の向上を図った顔画像処理装置を提供すること。【解決手段】目頭候補、目尻候補を抽出し、目頭候補、目尻候補が移動したか否かを判定し、移動したと判定された目尻候補／目頭候補を目候補から除外する。このように、人の表情の変化に伴って目尻、目頭は、移動しないという特性を用いて、目を抽出する際の条件を絞ることで、演算負荷を増大することなく、誤判定を低減することができる。そのため、目の位置検出精度を向上させることができる。【選択図】図１０
2009037560.tif 000002
【特許請求の範囲】
【請求項１】
各フレームの顔画像データに基づいて、目頭であると推定された目頭候補、および目尻であると推定された目尻候補を抽出して、前記目頭候補および前記目尻候補を含む複数の目候補を抽出する顔画像処理装置において、
前記目頭候補および前記目尻候補の少なくとも一方が移動したか否かを判定し、前記目頭候補および前記目尻候補の少なくとも一方が移動したと判定された場合に、当該移動したと判定された目頭候補／目尻候補を、目候補から除外することを特徴とする顔画像処理装置。
【請求項２】
前記目尻候補が前記目頭候補を中心とした周方向に移動したか否かを判定し、前記目尻候補が前記目頭候補を中心とした周方向に移動したと判定された場合に、当該移動したと判定された目尻候補を、前記目候補から除外することを特徴とする請求項１記載の顔画像処理装置。
【請求項３】
前記顔画像データに基づいて、顔の左右方向の傾き角度である顔傾き角度の変化が所定量以下であるか否かを判定し、前記顔傾き角度の変化が所定量以下であると判定された場合に、前記目尻候補が前記目頭候補を中心とした周方向に移動したか否かを判定し、前記目尻候補が前記目頭候補を中心とした周方向に移動したと判定された場合に、当該移動したと判定された目尻候補を、前記目候補から除外することを特徴とする請求項２記載の顔画像処理装置。
【請求項４】
前記目頭候補および前記目尻候補の少なくとも一方が左右方向に移動したか否かを判定し、前記目頭候補および前記目尻候補の少なくとも一方が左右方向に移動したと判定された場合に、当該移動したと判定された目頭候補／目尻候補を、前記目候補から除外することを特徴とする請求項１〜３の何れか一項に記載の顔画像処理装置。
【請求項５】
前記目頭候補および目尻候補を結んだ線である目候補線を設定し、
左右の前記目候補線が上下方向に独立して移動したか否かを判定し、前記左右の目候補線が上下方向に独立して移動したと判定された場合に、上下方向への移動量が大きい方の目候補線の目頭候補および目尻候補を、前記目候補から除外することを特徴とする請求項１〜４の何れか一項に記載の顔画像処理装置。
【請求項６】
前記目頭候補および前記目尻候補の互いの間隔が変化したか否かを判定し、前記目頭候補および前記目尻候補の互いの間隔が変化したと判定された場合に、当該互いの間隔が変化したと判定された目頭候補／目尻候補を、前記目候補から除外することを特徴とする請求項１〜５の何れか一項に記載の顔画像処理装置。
【請求項７】
前記目候補から除外された目頭候補／目尻候補を、眉毛であると推定することを特徴とする請求項１〜６の何れか一項に記載の顔画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔を検出する顔画像処理装置に関する。
【背景技術】
【０００２】
従来、このような分野では、カメラを用いて人物の顔を撮像し、撮像された画像データに対して画像処理を行い、目等の顔の特徴点を抽出している（例えば、特許文献１参照）。この特許文献１に記載の技術では、複数の目候補のうち、一定時間以上、開閉変化がない目候補を、眉毛を誤検出したものと判定している。
【特許文献１】特許第２９３６９４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１に記載の従来技術では、例えば眉毛を目候補として誤検出した場合であっても、人の表情変化に伴い眉毛が「へ」の字状に変化した場合には、目の開閉変化であると誤認識する虞がある。
【０００４】
本発明は、このような課題を解決するために成されたものであり、誤検出を低減して、目の検出精度の向上を図った顔画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明による顔画像処理装置は、各フレームの顔画像データに基づいて、目頭であると推定された目頭候補、および目尻であると推定された目尻候補を抽出して、目頭候補および目尻候補を含む複数の目候補を抽出する顔画像処理装置において、目頭候補および目尻候補の少なくとも一方が移動したか否かを判定し、目頭候補および目尻候補の少なくとも一方が移動したと判定された場合に、当該移動したと判定された目頭候補／目尻候補を、目候補から除外することを特徴とする。
【０００６】
このような顔画像処理装置によれば、目頭候補、目尻候補を抽出し、目頭候補、目尻候補が移動したか否かを判定し、移動したと判定された目尻候補／目頭候補を目候補から除外する。このように、人の表情の変化に伴って目尻、目頭は、移動しないという特性を用いて、目を抽出する際の条件を絞ることで、演算負荷を増大することなく、誤判定を低減することができる。したがって、誤検出を低減して、顔の検出精度の向上を図ることができる。例えば、目頭候補、目尻候補の移動量が判定閾値以上である場合に、目頭候補、目尻候補が移動したと判定することができる。なお、ここで言う「判定閾値」は、目頭候補、目尻候補が、目頭、目尻ではないと判定可能な値（移動量）であり、実験等により設定することができる。
【０００７】
また、目尻候補が目頭候補を中心とした周方向に移動したか否かを判定し、目尻候補が目頭候補を中心とした周方向に移動したと判定された場合に、当該移動したと判定された目尻候補を、目候補から除外することが好ましい。
【０００８】
また、顔画像データに基づいて、顔の左右方向の傾き角度である顔傾き角度の変化が所定量以下であるか否かを判定し、顔傾き角度の変化が所定量以下であると判定された場合に、目尻候補が目頭候補を中心とした周方向に移動したか否かを判定し、目尻候補が目頭候補を中心とした周方向に移動したと判定された場合に、当該移動したと判定された目尻候補を、目候補から除外することが好ましい。このように顔傾き角度の変化が所定量以下である場合に、目尻候補、目頭候補が移動したか否かを判定することで、顔傾き角度が変化して、目尻候補、目頭候補が移動したと判定されることを防止することができる。
【０００９】
また、目頭候補および目尻候補の少なくとも一方が左右方向に移動したか否かを判定し、目頭候補および目尻候補の少なくとも一方が左右方向に移動したと判定された場合に、当該移動したと判定された目頭候補／目尻候補を、目候補から除外することが好ましい。眉間にしわを寄せると眉毛は中央による寄ることになるが、このような場合であっても、目は左右方向に移動しない。このような特性を用いて、目を抽出する際の条件を絞ることで、眉毛を目として誤検出することを防止することができる。また、この場合には、顔傾き角度を測定する必要もないため、簡易に判断を行うことが可能となる。
【００１０】
また、目頭候補および目尻候補を結んだ線である目候補線を設定し、左右の目候補線が上下方向に独立して移動したか否かを判定し、左右の目候補線が上下方向に独立して移動したと判定された場合に、上下方向への移動量が大きい方の目候補線の目頭候補および目尻候補を、目候補から除外することが好ましい。人物の眉毛は表情の変化によって、眉毛の上下方向の位置が左右の眉毛で互いに異なる場合があるが、このような場合であっても、目の上下方向の位置が左右の目で互いに異なることはない。このような特性を用いて、目を抽出する際の条件を絞ることで、眉毛を目として誤検出することが防止される。
【００１１】
また、目頭候補および目尻候補の互いの間隔が変化したか否かを判定し、目頭候補および目尻候補の互いの間隔が変化したと判定された場合に、当該互いの間隔が変化したと判定された目頭候補／目尻候補を、目候補から除外することが好ましい。眉毛端部は目頭や目尻に比して薄いため、フレームによって画像処理における検出結果が左右方向に変化する場合があるが、目尻、目頭では、左右方向に変化しない。このような特性を用いて、目を抽出する際の条件を絞ることで、眉毛を目として誤検出することが防止される。
【００１２】
また、目候補から除外された目頭候補／目尻候補を、眉毛であると推定された眉毛候補であると判定することが好ましい。
【発明の効果】
【００１３】
本発明の顔画像処理装置によれば、誤検出を低減して、目の検出精度の向上を図った顔画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において、同一または相当要素には同一の符号を付し、重複する説明は省略する。図１は、本発明の実施形態に係る顔画像処理装置の概略構成図、図２は、撮像された顔画像の一例を示すものであり、輪郭エッジ抽出処理のイメージを示す図、図３は、鼻孔点、目尻候補点、および目頭候補点を示す図、図４は、目候補直線を示す図、図５は、目候補直線の回転移動を示す図、図６は、目候補直線の左右方向への移動を示す図、図７は、目候補直線の上下方向への移動を示す図、図８は、目候補直線の長さ変化を示す図である。
【００１５】
図１に示す顔画像処理装置１０は、車両等に搭載され運転者Ｄの顔画像を検出するものである。この顔画像処理装置１０は、運転者Ｄの顔画像を撮像する顔画像撮像カメラ１２、この顔画像撮像カメラ１２からの画像信号に基づいて画像処理を行う顔画像処理電子制御ユニット（以下、「顔画像処理ＥＣＵ」という）１４を備えている。
【００１６】
顔画像撮像カメラ１２は、例えばコラムカバー１６の上面に設置され、運転者Ｄの顔画像を取得するものである。顔画像撮像カメラ１２は、例えば、近赤外線カメラであり、近赤外線投射装置（不図示）から照射した近赤外線光が物体（運転者Ｄの顔）に反射した反射光を受光することによって、運転者Ｄの顔を撮像する。顔画像撮像カメラ１２では、例えば、毎秒３０フレームの画像を取得することができる。
【００１７】
顔画像処理ＥＣＵ１４は、演算処理を行うＣＰＵ、記憶部となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成され、入力された画像信号について画像処理を行い運転者Ｄの顔画像を検出する。検出された顔画像は、例えば、運転者Ｄの覚醒度判定、脇見判定等に利用される。
【００１８】
顔画像処理ＥＣＵ１４のＣＰＵでは、記憶部に記憶されているプログラムを実行することで、顔輪郭エッジ抽出部、顔向き角度判定部、顔特徴点抽出部、目候補判定処理部、開眼度判定部が構成される。また、記憶部には、ＣＰＵを作動させるためのプログラムのほかに、複数の３次元顔モデルが記憶されている。また、記憶部は、撮像された画像データ、顔特徴点（目候補点）に関するデータを記憶する記憶手段として機能する。
【００１９】
顔輪郭エッジ抽出部は、図２に示すように、入力された画像信号に対してエッジ検出処理を行い、運転者Ｄの顔の輪郭線を示す顔輪郭エッジ１８を抽出する。顔傾き角度判定部は、例えば顔輪郭エッジ１８に基づいて、顔の左右方向の傾き角度を算出し、顔傾き角度が変化しているか否かを判定する。例えば、一定時間内における傾き角度の変化量が判定閾値以下である場合には、顔傾き角度が変化していないと判定する。なお、この判定閾値は、実験等によって求められ、顔の左右方向の傾き角度が変化しているか否かを判定するための判定値である。
【００２０】
顔特徴点抽出部は、入力された画像信号に対して画像処理を行い、例えば、エッジベース手法、パターン認識手法等を用いて、目尻、目頭、鼻孔、口の左右方向の端部等の顔特徴点を抽出する。例えば、図３に示すように、鼻孔の位置であると推定される鼻孔候補点２０，２２、右目の目尻の位置であると推定される目尻候補点（目候補）２４，２６、右目の目頭の位置であると推定される目頭候補点（目候補）２８，３０、左目の目尻の位置であると推定される目尻候補点（目候補）３２，３４、左目の目頭の位置であると推定される目頭候補点（目候補）３６，３８を抽出する。ここでは、眉毛の端部も目尻候補点、目頭候補点として抽出されている。
【００２１】
目候補判定処理部は、検出された顔画像に基づいて、目候補（目尻候補点、目頭候補点）２４〜３８の移動を判定し、目候補の移動の程度、移動方向などに基づいて、目候補であるか否かの判定を行う。この目候補判定処理部は、目候補ではないと推定されるものを複数の目候補から除外して、尤もらしい目候補を目であるとして抽出することが可能であり、目候補直線演算部、目候補直線回転移動判定部、目候補直線左右移動判定部、目候補直線上下移動判定部、目候補直線長さ変化判定部を有している。
【００２２】
目候補直線演算部は、図４に示すように、目尻候補点２４，２６，３２，３４と目頭候補点２８，３０，３６，３８とを結ぶ目候補直線Ｌ１〜Ｌ４を演算する。図４では、目尻候補点２４と目頭候補点２８とを結ぶ直線を目候補直線Ｌ１、目尻候補点２６と目頭候補点３０とを結ぶ直線を目候補直線Ｌ２、目尻候補点３２と目頭候補点３６とを結ぶ直線を目候補直線Ｌ３、目尻候補点３４と目頭候補点３８とを結ぶ直線を目候補直線Ｌ４として、破線で示している。
【００２３】
目候補直線回転移動判定部は、図５に示すように、目候補直線Ｌ１〜Ｌ４が回転移動したか否かを判定し、回転移動したと判定された目候補直線を眉毛候補と判定して目候補から除外する。人間の表情変化により、眉毛は回転移動することがあるが、目尻、目頭は回転移動することがないので、目候補直線が回転移動した場合には、目候補ではなく眉毛候補と判定する。また、顔の左右方向の傾きが変化した場合には、目が顔の相対位置に対して回転移動したと誤判定する虞があるため、顔の左右方向の傾きが変化した場合には、目候補直線が回転移動したか否かの判定を行わないようにする。
【００２４】
目候補直線回転移動判定部は、顔の左右方向の傾き変化がない場合に、目候補直線Ｌ１〜Ｌ４の傾きを測定し、時間経過に伴い目候補直線Ｌ１〜Ｌ４の傾きが所定の角度以上変化した場合には、目候補直線が回転移動したと判定する。なお、上記「所定の角度」とは、実験等によって設定されるものであり、目候補ではない、又は眉毛候補であると判定可能な値である。
【００２５】
図５では、移動前（時間経過前）の目候補直線Ｌ４を仮想線で示している。移動前の目候補直線Ｌ４と移動後（時間経過後）の目候補直線Ｌ４との角度θが所定の角度以上である場合には、目候補直線Ｌ４が回転移動したと判定される。回転移動したと判定された目候補直線Ｌ４は、目候補から除外され、眉毛候補と判定される。すなわち、目候補点３４，３８は、目候補から除外され、眉毛候補点と判定される。そして、目候補から除外されたものについては、開眼度判定は、実行されない。
【００２６】
なお、目候補直線回転移動判定部では、両方の眉毛（目候補直線Ｌ２，Ｌ４）について、回転移動したか否かの判定を行う必要はなく、例えば、目候補直線Ｌ４が眉毛候補であると判定された場合には、顔の上下方向の位置関係に基づいて、目候補直線Ｌ４と同じ高さ位置にある目候補直線Ｌ２を眉毛と判定してもよい。また、目候補直線Ｌ４より高い位置にあるその他の目候補直線を、目候補ではないと判定してもよい。
【００２７】
目候補直線左右移動判定部は、図６に示すように、目候補直線Ｌ１〜Ｌ４が顔の左右方向に平行移動したか否かを判定し、左右方向に平行移動したと判定された目候補直線を眉毛候補と判定して目候補から除外する。なお、平行移動とは、略平行に移動したものを含んでいる。眉間にシワを寄せる場合などの人間の表情変化により、眉毛は中央に寄ることがあるが、目尻、目頭は中央に寄ることがないので、目候補直線が平行移動した場合には、目候補ではなく眉毛候補と判定する。
【００２８】
図６では、上部に目候補直線Ｌ２，Ｌ４の移動前の顔画像を示し、下部に目候補直線Ｌ２，Ｌ４の移動後の顔画像を示している。目候補直線左右移動判定部は、目頭候補点３０，３８間の距離を測定し、時間の経過に伴って目頭候補点３０，３８間の距離が変化している場合には、目候補直線が左右方向に平行移動したと判定する。例えば、時間経過前の目頭候補点３０，３８間の距離Ｅと、時間経過後の目頭候補点３０，３８間の距離Ｆとの差が所定の判定閾値以上である場合には、目候補直線Ｌ２，Ｌ４うち少なくとも一方が左右方向に移動したと判定することができる。なお、鼻孔の位置と目頭候補点／目尻候補点との位置関係に基づいて、目候補直線の平行移動を判定してもよい。
【００２９】
また、時間経過前の目頭候補点２８，３６間の距離Ｇと、時間経過後の目頭候補点２８，３６間の距離Ｈとを比較した場合には、目頭候補点２８，３６間の距離Ｇ，Ｈに差がないので、目候補直線Ｌ１，Ｌ３は、左右方向に平行移動したと判定されない。
【００３０】
目候補直線上下移動判定部は、図７に示すように、左右の目候補直線Ｌ１〜Ｌ４が顔の上下方向に独立して移動したか否かを判定し、上下方向に独立して移動したと判定された目候補直線を眉毛候補と判定して目候補から除外する。人間が驚いた場合の表情変化により、左右の眉毛の高さ位置に差が生じる場合があるが、左右の目尻、目頭が独立して移動することはないので、目候補直線Ｌ１〜Ｌ４が独立して移動した場合には、目候補ではなく眉毛候補と判定する。
【００３１】
図７では、上部に目候補直線Ｌ２，Ｌ４の移動前の顔画像を示し、下部に目候補直線Ｌ２，Ｌ４の移動後の顔画像を示している。図７の下部の顔画像では、移動前の目候補直線Ｌ２，Ｌ４を仮想線で示している。目候補直線上下移動判定部は、目候補直線の高さ位置を測定し、目候補直線の上下方向の移動量を算出する。目候補直線上下移動判定部は、右側の目候補直線の上下方向の移動量Ｉと、左側の目候補直線の上下方向の移動量Ｊとの差が所定の判定閾値Ｋ以上である場合には、左右の目候補直線が上下方向に独立して移動したと判定することができる。なお、判定閾値Ｋは、例えば実験結果等に基づいて算出され、左右の目候補が独立して移動したと判定可能な値である。
【００３２】
目候補直線の高さ位置の測定方法は、例えば目候補直線の中央の位置、目頭の位置、目尻の位置に基づいて、算出することができる。
【００３３】
目候補直線長さ変化判定部は、図８に示すように、目候補直線Ｌ１〜Ｌ４の長さが変化したか否かを判定し、目候補直線の長さが変化したと判定された目候補直線を眉毛候補と判定して目候補から除外する。眉毛の端部は薄いので、顔の表情変化がない場合であっても、画像処理による検出結果が顔の左右方向に変動して検出されることがあるが、目尻、目頭は、特徴（濃淡）がはっきりしているため、顔の左右方向に変動して検出されることがない。目候補直線長さ変化判定部は、目候補直線の長さが変化した場合には、目候補ではなく眉毛候補と判定する。
【００３４】
図８では、上部に目候補直線Ｌ２，Ｌ４の長さ変化前の顔画像を示し、下部に目候補直線Ｌ２，Ｌ４の長さ変化後の顔画像を示している。目候補直線長さ変化判定部は、目候補直線の長さを測定し、時間の経過前後で、目候補直線の長さが変化したか否かを判定する。例えば、時間経過前の右側の目候補直線Ｌ２の長さＭ０と、時間経過後の左側の目候補直線Ｌ２の長さＭ１と差が所定の判定閾値Ｐ以上である場合には、目候補直線の長さが変化したと判定することができる。同様に、時間経過前の左側の目候補直線Ｌ４の長さＮ０と、時間経過後の左側の目候補直線Ｌ４の長さＮ１と差が所定の判定閾値Ｐ以上である場合には、目候補直線の長さが変化したと判定することができる。なお、判定閾値Ｐは、例えば実験結果等に基づいて算出され、目候補直線の長さが変化したと判定可能な値である。
【００３５】
開眼度判定部は、目の位置に基づいて、運転者Ｄの開眼度を判定して、運転者Ｄの覚醒度を判定する。例えば、上瞼の変化に基づいて、覚醒度を判定し、覚醒度が低下していると判定された場合には、運転者に警報音を出力して、警告を発する。
【００３６】
次に、このように構成された顔画像処理装置１０を用いた顔画像検出方法について説明する。図９は、顔画像処理ＥＣＵで実行されるメイン処理の動作手順を示すフローチャート、図１０は、顔画像処理ＥＣＵで実行される目候補判定処理の動作手順を示すフローチャートである。図９に示すメイン処理は、顔画像処理装置１０の起動中において所定のタイミングで繰り返し実行され、各フレーム対して実行される。まず、顔画像処理ＥＣＵ１４は、顔画像撮像カメラ１２から運転者Ｄの顔を撮像した画像信号を入力する（Ｓ１）。
【００３７】
次に、顔画像処理ＥＣＵ１４は、入力された画像信号に基づいて画像処理を行い、フレームごとに顔輪郭エッジ１８を抽出する（Ｓ２）。続いて、顔画像処理ＥＣＵ１４は、検出された顔輪郭エッジ１８に基づいて、運転者Ｄの顔傾き角度を算出する（Ｓ３）。
【００３８】
次に、顔画像処理ＥＣＵ１４は、入力された画像信号に基づいて、鼻孔点候補点２０，２２、目尻候補点２４，２６，３２，３４、目頭候補点２８，３０，３６，３８等の顔特徴点を抽出する（Ｓ４）。
【００３９】
続いて、顔画像処理ＥＣＵ１４は、目候補判定処理を行う（Ｓ５）。この目候補判定処理は、図１０に示すフローチャートに沿って実行される。目候補判定処理では、まず、顔画像処理ＥＣＵ１４は、目尻候補点２４，２６，３２，３４及び目頭候補点２８，３０，３６，３８を結ぶ目候補直線Ｌ１〜Ｌ４を算出する（Ｓ１１）。次に、顔画像処理ＥＣＵ１４は、顔の左右方向の傾き角度が一定時間変化しているか否かを判定する（Ｓ１２）。顔の左右方向の傾き角度の一定時間内の変化量が閾値より小さい場合には、顔の左右方向の傾き角度の変化がないと判定し、ステップ１３に進む。一方、顔の左右方向の傾き角度の一定時間内の変化量が閾値以上である場合には、顔の左右方向の傾き角度の変化があると判定し、目候補判定処理を終了し、図９に示すメイン処理のステップ６に進む。
【００４０】
目候補判定処理のステップ１３では、顔画像処理ＥＣＵ１４は、目候補直線Ｌ１〜Ｌ４の時間変化を探索する。続いて、顔画像処理ＥＣＵ１４は、各目候補直線Ｌ１〜Ｌ４について、目候補直線Ｌ１〜Ｌ４の移動の有無、目候補直線Ｌ１〜Ｌ４の長さ変化の有無を判定する。
【００４１】
ステップ１４では、顔画像処理ＥＣＵ１４は、目候補直線Ｌ１〜Ｌ４が回転移動したか否かを判定する。目候補直線が回転移動したと判定された場合には、ステップ１９に進み、目候補直線が回転移動したと判定されなかった場合には、ステップ１５に進む。例えば、図５に示す顔画像の場合、目候補直線Ｌ４は、回転移動したと判定され、目候補直線Ｌ１，Ｌ３は、回転移動したと判定されない。目候補直線Ｌ４が回転移動したと判定された場合、顔の上下方向の位置関係に基づいて、目候補直線Ｌ２を眉毛候補と判定し、目候補から除外する。
【００４２】
ステップ１５では、顔画像処理ＥＣＵ１４は、目候補直線Ｌ１〜Ｌ４が顔の左右方向に平行移動したか否かを判定する。目候補直線が顔の左右方向に平行移動したと判定された場合には、ステップ１９に進み、目候補直線が顔の左右方向に平行移動したと判定されなかった場合には、ステップ１６に進む。例えば、図６に示す顔画像の場合、目候補直線Ｌ２，Ｌ４は、互いの距離Ｅ，Ｆが変化しているので、顔の左右方向に平行移動したと判定され、目候補直線Ｌ１，Ｌ３は、互いの距離Ｇ，Ｈが変化していないので、顔の左右方向に平行移動したと判定されない。
【００４３】
ステップ１６では、顔画像処理ＥＣＵ１４は、左右の目候補直線Ｌ１〜Ｌ４が顔の上下方向に独立して移動したか否かを判定する。左右の目候補直線が顔の上下方向に独立して移動したと判定された場合には、ステップ１９に進み、左右の目候補直線が顔の上下方向に独立して移動したと判定されなかった場合には、ステップ１７に進む。例えば、図７に示す顔画像の場合、目候補直線Ｌ２，Ｌ４は、右側の目候補直線Ｌ２の上下方向の移動量Ｉと左側の目候補直線Ｌ４の上下方向の移動量Ｊとに差があるので、左右の目候補直線が顔の上下方向に独立して移動したと判定される。一方、目候補直線Ｌ１，Ｌ３は、右側の目候補直線Ｌ１の上下方向の移動量と左側の目候補直線Ｌ３の上下方向の移動量とに差が認められないので、左右の目候補直線が顔の上下方向に独立して移動したと判定されない。
【００４４】
ステップ１７では、顔画像処理ＥＣＵ１４は、目候補直線Ｌ１〜Ｌ４の長さが変化したか否かを判定する。目候補直線の長さが変化したと判定された場合には、ステップ１９に進み、目候補直線の長さが変化したと判定されなかった場合には、ステップ１８に進む。例えば、図８に示す顔画像の場合、目候補直線Ｌ２，Ｌ４は、長さが変化したと判定され、目候補直線Ｌ１，Ｌ３は、長さが変化したと判定されない。
【００４５】
ステップＳ１８では、顔画像処理ＥＣＵ１４は、ステップ１４〜ステップ１７で移動／変化したと判定されなかった目候補直線Ｌ１，Ｌ３を目候補と判定する。
【００４６】
一方ステップ１９では、顔画像処理ＥＣＵは、ステップ１４〜ステップ１７で移動／変化したと判定された目候補直線Ｌ２，Ｌ４を眉毛候補と判定し、続くステップ２０で目候補直線Ｌ２，Ｌ４を目候補から除外する。
【００４７】
顔画像処理ＥＣＵ１４は、図１０に示す目候補判定処理を終了すると、図９のメイン処理に復帰し、目候補と判定された目候補直線Ｌ２，Ｌ４について開眼度を算出する（Ｓ６）。
【００４８】
このような顔画像処理装置１０では、目頭候補点及び目尻候補点を結ぶ目候補直線を算出し、この目候補直線が移動したか否かを判定し、移動したと判定された目候補直線を目候補から除外し、眉毛候補と判定することができる。これにより、表情変化に伴って目尻、目頭は移動しないという特性を用いて、目を抽出する際の条件を絞ることができる。そのため、演算負荷を増大することが防止されると共に、眉毛を目であると誤判定する虞が低減される。したがって、誤検出を低減して、目の位置検出精度を向上させることができる。
【００４９】
以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるものではない。上記実施形態において、目尻候補点及び目頭候補点を結ぶ目候補直線を算出した後に、「目候補直線の移動量」、「目候補直線の移動方向」、「目候補直線の長さの変化の有無」に基づいて、目候補から除外するか否かを判定しているが、目候補直線を算出せずに、「目尻候補点／目頭候補点の移動量」、「目尻候補点／目頭候補点の移動方向」、「目尻候補点と目頭候補点との距離の変化の有無」に基づいて、目候補から除外するか否かの判定を行っても良い。
【００５０】
また、上記実施形態では、顔画像処理装置１０は、目候補直線が回転移動したか否かを判定する目候補直線回転移動判定部、目候補直線が左右方向に移動したか否かを判定する目候補直線左右移動判定部、左右の目候補直線が上下方向に独立して移動したか否かを判定する目候補直線上下移動判定部、目候補直線の長さの変化の有無を判定する目候補直線長さ変化判定部を備える構成としているが、目候補直線回転移動判定部、目候補直線左右移動判定部、目候補直線上下移動判定部、目候補直線長さ変化判定部のうち少なくとも１つを備えていればよい。
【００５１】
また、上記実施形態では、顔の左右方向の傾き角度を算出し、顔の傾き角度が変化していない場合に、目候補直線の移動の判定、目候補直線の長さ変化の判定を行っているが、顔の傾き角度を算出せずに、目候補直線の移動の判定、目候補直線の長さ変化の判定を行ってもよい。なお、この場合には、例えば、鼻孔などを基準位置として、目候補直線の移動の判定、目候補直線の長さ変化の判定を行うことが好ましい。
【００５２】
また、目候補から除外された眉毛候補の位置に基づいて、この眉毛候補と同じ高さ位置にある反対側の目候補直線を眉毛候補と判定してもよい。このような判定を行うことで、一方（例えば右側）の眉毛が髪等によって隠され、その移動、長さ変化が検出できない場合であっても、もう一方（例えば左側）の眉毛の移動、長さ変化に基づいて、目候補から除外するか否かの判定を行うことができる。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施形態に係る顔画像処理装置の概略構成図である。
【図２】撮像された顔画像の一例を示すものであり、輪郭エッジ抽出処理のイメージを示す図である。
【図３】撮像された顔画像の一例を示すものであり、鼻孔点、目尻候補点、および目頭候補点を示す図である。
【図４】撮像された顔画像の一例を示すものであり、目候補直線を示す図である。
【図５】撮像された顔画像の一例を示すものであり、目候補直線の回転移動を示す図である。
【図６】撮像された顔画像の一例を示すものであり、目候補直線の左右方向への移動を示す図である。
【図７】撮像された顔画像の一例を示すものであり、目候補直線の上下方向への移動を示す図である。
【図８】撮像された顔画像の一例を示すものであり、目候補直線の長さ変化を示す図である。
【図９】顔画像処理ＥＣＵで実行されるメイン処理の動作手順を示すフローチャートである。
【図１０】顔画像処理ＥＣＵで実行される目候補判定処理の動作手順を示すフローチャートである。
【符号の説明】
【００５４】
１０…顔画像処理装置、１２…顔画像撮像カメラ、１４…顔画像処理ＥＣＵ、１６…コラムカバー、１８…顔輪郭エッジ、２０，２２…鼻孔候補点、２４，２６，３２，３４…目尻候補点（目候補）、２８，３０，３６，３８…目頭候補点（目候補）、４０，４２…眉毛、Ｄ…運転者、Ｅ〜Ｈ…目頭候補点間の距離、Ｉ，Ｊ…目候補直線の上下方向の移動量、Ｌ１〜Ｌ４…目候補直線、Ｍ０，Ｍ１，Ｎ０，Ｎ１…目候補直線の長さ。
【図１】
2009037560.tif 000003
【図２】
2009037560.tif 000004
【図３】
2009037560.tif 000005
【図４】
2009037560.tif 000006
【図５】
2009037560.tif 000007
【図６】
2009037560.tif 000008
【図７】
2009037560.tif 000009
【図８】
2009037560.tif 000010
【図９】
2009037560.tif 000011
【図１０】
2009037560.tif 000012