(57)【要約】【課題】誤検出を防止して、まぶた曲線の検出精度の向上が図られた眼画像処理装置を提供すること。【解決手段】眼画像に基づいて抽出された横方向エッジと、眼画像に基づいて検出された目頭／目尻との連続性を評価して、顔の横方向に延在する横方向エッジと、目頭／目尻との連続性を評価する。そして、目頭／目尻との連続性を有していない横方向エッジの尤度を低く設定して、目頭／目尻との連続性を有する横方向エッジの尤度を高く設定する。これにより、尤度の低い横方向エッジを眼の輪郭候補から除外して、尤度の高い横方向エッジを選択することで、精度の高いまぶた曲線（眼の輪郭線）を検出することができる。【選択図】図４
2010009234.tif 000002
【特許請求の範囲】
【請求項１】
眼画像を取得する眼画像取得手段と、
前記眼画像に基づいて目頭及び目尻の位置を検出する位置検出手段と、
前記眼画像に基づいて横方向エッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段によって抽出された前記横方向エッジと前記位置検出手段によって検出された前記目頭及び目尻との連続性を評価する連続性評価手段と、
前記連続性評価手段による評価結果に基づいて眼の輪郭を検出する眼検出手段と、を備えることを特徴とする眼画像処理装置。
【請求項２】
眼の輪郭の候補であり前記目頭及び目尻を結ぶ仮想まぶた曲線を設定する仮想まぶた曲線設定手段と、
前記仮想まぶた曲線に対応する前記横方向エッジの複数の抽出点の画素値を取得する画素値取得手段と、を備え、
前記連続性評価手段は、前記画素値の大きさに基づいて、前記仮想まぶた曲線に対応する前記横方向エッジと前記目頭及び目尻との連続性を評価することを特徴とする請求項１記載の眼画像処理装置。
【請求項３】
前記抽出点の画素値と所定の判定基準値とを比較して、前記仮想まぶた曲線が前記眼の輪郭として尤もらしいかを表現する尤度を設定する尤度設定手段を備え、
前記連続性評価手段は、前記尤度設定手段によって設定された前記尤度に基づいて、前記仮想まぶた曲線に対応する前記横方向エッジと前記目頭及び目尻との連続性を評価することを特徴とする請求項２記載の眼画像処理装置。
【請求項４】
前記眼検出手段は、前記エッジ抽出手段によって複数の横方向エッジが抽出された場合に、前記連続性評価手段によって、前記連続性がより高く評価された前記横方向エッジを前記眼の輪郭として検出することを特徴とする請求項１〜３の何れか一項に記載の眼画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転者の顔画像を取得し、取得された顔画像に基づいて画像処理を行う眼画像処理装置に関するものである。
【背景技術】
【０００２】
従来、車両の運転者の顔画像を取得し、取得された顔画像に基づいて画像処理を行い運転者の目を検出する技術が知られている（例えば、特許文献１参照）。この特許文献１に記載の技術では、取得された対象者の眼画像からエッジ抽出によって瞼を検出し、開閉眼の判定を行っている。
【特許文献１】特開２００７−２５７３３２号公報
【特許文献２】特開２００４−３４１９５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら上記従来技術では、対象者が眼鏡を着用している場合に、眼鏡フレームに起因するエッジを瞼に起因するエッジとして誤検出してしまうおそれがあり、まぶた曲線の検出精度の向上が求められている。
【０００４】
本発明は、このような課題を解決するために成されたものであり、誤検出を防止して、まぶた曲線の検出精度の向上が図られた眼画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明による眼画像処理装置は、眼画像を取得する眼画像取得手段と、眼画像に基づいて目頭及び目尻の位置を検出する位置検出手段と、眼画像に基づいて横方向エッジを抽出するエッジ抽出手段と、エッジ抽出手段によって抽出された横方向エッジと位置検出手段によって検出された目頭及び目尻との連続性を評価する連続性評価手段と、連続性評価手段による評価結果に基づいて眼の輪郭を検出する眼検出手段と、を備えることを特徴としている。
【０００６】
このような眼画像処理装置によれば、眼画像に基づいて抽出された横方向エッジと、眼画像に基づいて検出された目頭／目尻との連続性を評価する連続性評価手段を備えるため、顔の横方向に延在する横方向エッジと、目頭／目尻との連続性を評価することができ、目頭／目尻との連続性を有していない横方向エッジの尤度を低く設定し、目頭／目尻との連続性を有する横方向エッジの尤度を高く設定することができる。これにより、尤度の低い横方向エッジを候補から除外して、尤度の高い横方向エッジを選択することで、精度の高いまぶた曲線（眼の輪郭線）を検出することができる。すなわち、目頭／目尻と眼鏡フレームとの間の横方向エッジは、目頭／目尻との連続性が低いため、候補から除外され、眼鏡フレームを誤検出する可能性が低減される。
【０００７】
ここで、眼の輪郭の候補であり目頭及び目尻を結ぶ仮想まぶた曲線を設定する仮想まぶた曲線設定手段と、仮想まぶた曲線に対応する横方向エッジの複数の抽出点（画素点）の画素値を取得する画素値取得手段と、を備え、当該連続性評価手段は、画素値の大きさに基づいて、仮想まぶた曲線に対応する横方向エッジと目頭及び目尻との連続性を評価することが好ましい。これにより、目頭／目尻との連続性が低い横方向エッジを有する仮想まぶた曲線を候補から除外して、目頭／目尻との連続性が高い横方向エッジを有する仮想まぶた曲線を選択することで、より精度の高いまぶた曲線を検出することができる。
【０００８】
また、抽出点の画素値と所定の判定基準値とを比較して、仮想まぶた曲線が眼の輪郭として尤もらしいかを表現する尤度を設定する尤度設定手段を備え、連続性評価手段は、尤度設定手段によって設定された尤度に基づいて、仮想まぶた曲線に対応する横方向エッジと目頭及び目尻との連続性を評価することが好ましい。
【０００９】
また、眼検出手段は、エッジ抽出手段によって複数の横方向エッジが抽出された場合に、連続性評価手段によって、連続性がより高く評価された横方向エッジを眼の輪郭として検出することが好ましい。
【発明の効果】
【００１０】
本発明によれば、横方向エッジと目頭／目尻との連続性を評価することができるため、目頭／目尻との連続性が低い横方向エッジが候補から除外され、誤検出を防止してまぶた曲線の検出精度を向上させることができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において同一または相当要素には同一の符号を付し、重複する説明は省略する。図１は、本発明の実施形態に係る顔画像処理装置を示す構成図である。
【００１２】
図１に示す顔画像処理装置（眼画像処理装置）１０は、車両（以下、「自車両」という）に搭載され運転者Ｄの眼画像を含む顔画像を取得するものである。この顔画像処理装置１０は、運転者Ｄの顔画像を撮像する顔画像撮像カメラ１２、この顔画像撮像カメラ１２からの画像信号に基づいて画像処理を行う顔画像処理電子制御ユニット（以下、「顔画像処理ＥＣＵ」という）１４を備えている。
【００１３】
顔画像撮像カメラ（眼画像撮像手段）１２は、例えばコラムカバー１６の上面に設置され、運転者Ｄの眼画像を含む顔画像を取得する。そして、顔画像撮像カメラ１２によって取得された運転者Ｄの顔画像に関する画像信号は、顔画像処理ＥＣＵ１４に送信される。
【００１４】
顔画像処理ＥＣＵ１４は、演算処理を行うＣＰＵ、記憶部となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成され、入力された画像信号について画像処理を行い運転者Ｄの顔画像を検出する。検出された顔画像は、例えば、運転者Ｄの開眼度判定（覚醒度判定）に利用される。
【００１５】
ここで、本発明の顔画像処理装置１０は、顔の横方向に形成された横方向エッジと、目頭／目尻との連続性を評価し、その連続性の評価が低い横方向エッジを、まぶた曲線（眼の輪郭線）の候補から除外する機能を有している。
【００１６】
顔画像処理ＥＣＵ１４のＣＰＵでは、記憶部に記憶されているプログラムを実行することで、横ソーベルフィルタ画像作成部（エッジ抽出手段）、目頭目尻検出部（位置検出手段）、仮想まぶた曲線設定部、連続性評価部（画素値取得手段、尤度設定手段）、眼検出部が構成される。
【００１７】
顔画像処理ＥＣＵ１４の記憶部には、ＣＰＵを作動させるためのプログラムのほかに、複数の３次元顔モデルが記憶されている。また、記憶部は、撮像された画像データ、顔特徴点に関するデータ、その他連続性評価に関するデータなどを記憶する記憶手段として機能する。
【００１８】
また、顔画像処理ＥＣＵ１４は、運転者Ｄの顔向き角度を検出する。例えば、検出された顔の横幅Ｘ、顔中心位置Ｙとの相対位置関係から顔向き角度を算出する。なお、顔向き角度の算出は、既存の技術であり、そのほかの手法を用いて、顔向き角度を検出しても良い。「顔向き角度」としては、運転者Ｄが車両正面を向いている状態を基準とし、この基準に対する角度が挙げられる。
【００１９】
横ソーベルフィルタ画像作成部は、入力された画像信号（顔画像）に基づいて画像処理を行い、運転者の顔画像の横ソーベルフィルタ画像を作成する。具体的には、横ソーベルフィルタ画像作成部は、運転者の顔画像に基づく濃淡画像にソーベルフィルタ処理を行う。ここでは、濃淡画像の画素値に対し、３×３のフィルタ値を掛け、縦方向と横方向のエッジを強調した画像を作成する。例えば３×３のフィルタの値は、上段左側“１”、上段中央“２”、上段右側“１”、中段左側“０”、中段中央“０”、中段右側“０”、下段左側“−１”、下段中央“−２”、下段右側“−１”である。そして、作成された横ソーベルフィルタ画像に基づいて、横方向エッジ（水平エッジ）が検出される。また、眼周辺の横方向エッジは、眼の輪郭線（上まぶた曲線、下まぶた曲線）候補となる。
【００２０】
目頭目尻検出部は、入力された画像信号に基づいて画像処理を行い、既存技術であるテンプレートマッチング手法を用いて、運転者Ｄの目頭／目尻の位置を検出する。ここでは、記憶部に記憶された３次元顔モデルと比較することにより、目頭／目尻の位置を検出する。
【００２１】
図２は、運転者の顔画像の一例を示すものであり、複数の仮想まぶた曲線を示す概略図である。仮想まぶた曲線設定部は、運転者Ｄの眼画像（横ソーベルフィルタ画像）に基づいて、図２に示すように、眼の輪郭線の候補となる仮想まぶた曲線Ｌ１〜Ｌ４を作成する。ここでは、例えばベジェ曲線等を利用して、探索範囲内において、目頭／目尻を結ぶ複数の仮想まぶた曲線Ｌ１〜Ｌ４を作成する。なお、探索範囲は、過去のデータ等に基づいて、眼近傍に設定される。
【００２２】
図３は、ベジェ曲線を用いた仮想まぶた曲線の作成方法を説明するための概略図である。コンピュータ上で曲線を表現する場合には、少ないパラメータ（制御点）で曲線を表現できるベジェ曲線が有効である。このベジェ曲線とは、Ｎ個の制御点から得られるＮ−１次曲線であり、ここでのアルゴリズムでは、始点（例えば目頭点）ＱＡと終点（例えば目尻点）ＱＣ、これらの始点ＱＡ及び終点ＱＣの中間に存在する中点ＱＢの制御点を有する２次曲線となる。
【００２３】
例えば、図３（Ａ）に示すように、制御点として、始点ＱＡ、中点ＱＢ、終点ＱＣが与えられた場合、まず、制御点を順に結んで得られる線分ＱＡＱＢ、線分ＱＢＱＣをそれぞれ、ｔ：１−ｔの比率で分割し、点ＱＤ、ＱＥを求める。さらに、これらの点ＱＤ，ＱＥを結ぶ線分ＱＤＱＥをｔ：１−ｔの比率に分割する内分点ＱＦを算出し、この内分点ＱＦをベジェ曲線上の点とする。
【００２４】
そして、上記した手順を内分比ｔ（０≦ｔ≦１）の範囲において繰り返すことで、始点ＱＡ、中点ＱＢ、終点ＱＣを制御点とする２次曲線を作成することができる。また、このベジェ曲線の作成方法では内分する回数の増加に合わせて、滑らかな曲線を作成することができ、内分する回数に応じてＣＰＵの演算負荷を調節することができる。ベジェ曲線Ｐ（ｔ）は、Ｐ（ｔ）＝（１−ｔ）２ＱＡ＋２ｔ（１−ｔ）ＱＢ＋ｔ２ＱＣ…（１）によって表現される。
【００２５】
連続性評価部は、抽出された横方向エッジと、目頭／目尻との連続性を評価するものであり、仮想まぶた曲線Ｌ１〜Ｌ４上の抽出点（画素点）の横ソーベルフィルタ画像の画素値の大きさに基づいて、抽出点における横方向エッジと目頭／目尻との連続性を評価するものである。具体的には、横ソーベルフィルタ画像において、値の大きな画素値を有する抽出点が目頭／目尻に連続している場合には、横方向エッジと目頭／目尻との連続性が高いと評価する。
【００２６】
図４は、運転者の顔画像の一例を示すものであり、仮想まぶた曲線上の複数の抽出点を示す概略図である。連続性評価部では、仮想まぶた曲線Ｌ３上に複数の抽出点を設定する。例えば、ベジェ曲線の内分点ＱＦ（図３参照）を抽出点として設定することで、等間隔に設定することができる。連続性評価部では、仮想まぶた曲線Ｌ３上の抽出点における横ソーベルフィルタ画像の画素値と所定の判定基準値（閾値）とを比較して、抽出点Ｑ１〜Ｑ８と目頭ＱＡ／目尻ＱＢとの連続性を評価する。連続性評価部は、抽出点Ｑ１〜Ｑ８の画素値と閾値とを比較して、仮想まぶた曲線Ｌ１〜Ｌ４が眼の輪郭として尤もらしいかを判定し、その尤もらしさの度合いを尤度として設定する。
【００２７】
連続性評価部では、抽出点に横方向エッジが存在しない場合（横方向エッジのエッジ強度が弱い場合）に、尤度を大きく下げるように、閾値が設定されている。そのため、抽出点に横方向エッジがない場合に、積極的に尤度を下げることで、局所的な強いエッジによって仮想まぶた曲線の尤度が上昇することが防止される。
【００２８】
図４に示す仮想まぶた曲線Ｌ３では、抽出点Ｑ３〜Ｑ６は、メガネフレーム１８に起因する横方向エッジにより、エッジ強度が強くなり、高い尤度が設定される。抽出点Ｑ１，Ｑ２，Ｑ７，Ｑ８は、縦方向において、目頭／目尻とメガネフレーム１８との間に存在する抽出点Ｑ１，Ｑ２，Ｑ７，Ｑ８であり、横方向エッジが検出されず、低い尤度が設定される。そして、連続性評価部では、仮想まぶた曲線Ｌ３上の複数の抽出点の尤度を合算して、仮想まぶた曲線Ｌ３の尤度（以下、「曲線尤度」ともいう。）を算出する。すなわち、実際のまぶたに沿って形成された仮想まぶた曲線Ｌ１の抽出点では、まぶたに起因する横方向エッジが検出されるため、仮想まぶた曲線Ｌ１の曲線尤度は、仮想まぶた曲線Ｌ２〜Ｌ４と比較して高く設定される。
【００２９】
眼検出部は、複数の仮想まぶた曲線Ｌ１〜Ｌ４のうち、曲線尤度の低い仮想まぶた曲線を眼の輪郭線の候補から除外し、曲線尤度の高い仮想まぶた曲線を眼の輪郭線として検出する。すなわち、仮想まぶた曲線Ｌ１〜Ｌ４のうち最も曲線尤度の高いＬ１が眼の輪郭線として検出される。
【００３０】
次に、このように構成された顔画像処理装置１０の作用について説明する。図５は、本発明の実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。まず、顔画像処理ＥＣＵ１４では、顔画像撮像カメラ１２から画像信号を入力し、横ソーベルフィルタ画像を作成する（Ｓ１）。
【００３１】
次に、顔画像処理ＥＣＵ１４は、入力された画像信号に基づいて、目頭／目尻のテンプレートマッチング等を行い、運転者の目尻、目頭を検出する（Ｓ２）。続いて、顔画像処理ＥＣＵ１４は、まぶた探索領域を設定する（Ｓ３）と共に、尤度の初期化を行い、「尤度＝０」と設定する（Ｓ４）。
【００３２】
次に、顔画像処理ＥＣＵ１４は、ベジェ曲線を利用して、仮想まぶた曲線Ｌ１〜Ｌ４を作成し、仮想まぶた曲線Ｌ１〜Ｌ４上に複数の抽出点Ｑ１〜Ｑ８を設定する（Ｓ５）。続いて、顔画像処理ＥＣＵ１４は、仮想まぶた曲線Ｌ上の抽出点Ｑにおいて、横ソーベルフィルタ画像値（横方向エッジのエッジ強度）を取得する（Ｓ６）。
【００３３】
次に、顔画像処理ＥＣＵ１４は、画素値＞閾値であるか否かを判定する（Ｓ７）。画素値＞閾値である場合には、ステップ８に進み「尤度＝｜画素値｜」と設定し、画素値＞閾値ではない場合には、ステップ９に進み「尤度＝−｜画素値｜」と設定する。
【００３４】
続くステップ１０では、設定された全ての抽出点Ｑ１〜Ｑ８について尤度の設定が終了したか否かを判定する。全ての抽出点Ｑ１〜Ｑ８について尤度の設定が終了していない場合には、ステップ６〜ステップ１０の処理を繰り返し、全ての抽出点Ｑ１〜Ｑ８について尤度の設定が終了した後に、ステップ１１に進む。ステップ１１では、顔画像処理ＥＣＵ１４は、仮想まぶた曲線Ｌ上の各抽出点Ｑ１〜Ｑ８の尤度を合算して、曲線尤度を算出する。算出された曲線尤度は、記憶部に記憶される。
【００３５】
続くステップ１２では、顔画像処理ＥＣＵ１４は、探索範囲において、全ての仮想まぶた曲線Ｌ１〜Ｌ４の曲線尤度の算出が終了したか否かを判定する。探索範囲において曲線尤度の設定が終了していない場合には、ステップ４〜ステップ１２の処理を繰り返し、作成された分の仮想まぶた曲線Ｌ１〜Ｌ４の曲線尤度の設定が終了した後に、ステップ１３に進む。
【００３６】
ステップ１３では、顔画像処理ＥＣＵ１４は、作成された複数の仮想まぶた曲線Ｌ１〜Ｌ４の曲線尤度に基づいて、曲線尤度の低い仮想まぶた曲線Ｌ１〜Ｌ４を眼の輪郭線の候補から除外し、最も曲線尤度の高い仮想まぶた曲線Ｌ１を眼の輪郭線として検出して処理を終了する。すなわち、最も曲線尤度の高い仮想まぶた曲線は、目頭／目尻との連続性が高い抽出点に起因する曲線であると判定することができる。
【００３７】
このような顔画像処理装置１０によれば、眼画像に基づいて抽出された横方向エッジと、眼画像に基づいて検出された目頭ＱＡ／目尻ＱＣとの連続性を評価する連続性評価部を備えているため、顔の横方向に延在する横方向エッジと、目頭／目尻との連続性を評価することができる。
【００３８】
ここで、眼の輪郭線の候補であり目頭ＱＡ及び目尻ＱＣを結ぶ仮想まぶた曲線Ｌ１〜Ｌ４を設定し、設定された仮想まぶた曲線Ｌ１〜Ｌ４に対応する横方向エッジとして複数の抽出点（画素点）Ｑ１〜Ｑ８の画素値を取得することで、画素値の大きさに基づいて、仮想まぶた曲線に対応する横方向エッジと目頭ＱＡ及び目尻ＱＣとの連続性を評価することができる。これにより、目頭ＱＡ／目尻ＱＣとの連続性が低い横方向エッジを有する仮想まぶた曲線Ｌ２〜Ｌ４を候補から除外して、目頭ＱＡ／目尻ＱＣとの連続性が高い横方向エッジを有する仮想まぶた曲線Ｌ１を選択することで、より精度の高い眼の輪郭線を検出することができる。
【００３９】
また、抽出点Ｑ１〜Ｑ８の画素値と所定の閾値（判定基準値）とを比較して、仮想まぶた曲線Ｌ１〜Ｌ４が眼の輪郭として尤もらしいかを表現する尤度を設定するため、連続性評価手段は、設定された尤度に基づいて、仮想まぶた曲線Ｌ１〜Ｌ４に対応する横方向エッジと目頭ＱＡ及び目尻ＱＣとの連続性を評価することができる。その結果、横方向エッジのエッジ強度が低い抽出点の尤度が低く設定され、眼の輪郭線の検出精度が向上される。
【００４０】
以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるもではない。上記実施形態では、ベジェ曲線を利用して仮想まぶた曲線を設定しているが、その他の方法を用いて、仮想まぶた曲線を設定してもよい。
【００４１】
また、上記実施形態では、仮想まぶた曲線上の抽出点について、目頭／目尻との連続性を評価しているが、仮想まぶた曲線を設定せずに、任意の抽出点について目頭／目尻との連続性を評価して、その評価が少ない抽出点を眼の輪郭線を構成する候補点から除外するようにしてもよい。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施形態に係る顔画像処理装置を示す構成図である。
【図２】運転者の顔画像の一例を示すものであり、複数の仮想まぶた曲線を示す概略図である。
【図３】ベジェ曲線を用いた仮想まぶた曲線の作成方法を説明するための概略図である。
【図４】運転者の顔画像の一例を示すものであり、仮想まぶた曲線上の複数の抽出点を示す概略図である。
【図５】本発明の実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。
【符号の説明】
【００４３】
１０…顔画像処理装置、１２…顔画像撮像カメラ、１４…顔画像処理ＥＣＵ、１６…コラムカバー、１８…メガネフレーム、Ｌ１〜Ｌ４…仮想まぶた曲線、ＱＡ…目頭、ＱＣ…目尻、Ｑ１〜Ｑ８…抽出点。
【図１】
2010009234.tif 000003
【図２】
2010009234.tif 000004
【図３】
2010009234.tif 000005
【図４】
2010009234.tif 000006
【図５】
2010009234.tif 000007