(57)【要約】【課題】プルキニエ像を精度良く検出すること。【解決手段】本発明による画像特徴量検出装置は、光源と、カメラと、前記カメラにより撮像された画像を処理して、人の目の角膜表面における前記光源の反射像（プルキニエ像）を検出する画像処理装置とを備え、前記光源は、互いに異なる方向から人の顔を照明するように配置された第１及び第２の光源を含み、前記画像処理装置は、前記第１の光源を点灯し前記第２の光源を消灯した状態で前記カメラにより撮像された第１の画像と、前記第２の光源を点灯し前記第１の光源を消灯した状態で前記カメラにより撮像された第２の画像とを用いて、前記第１の画像内の所定輝度以上の画素集合と、前記第２の画像内の所定輝度以上の画素集合との位置の差に基づいて、前記プルキニエ像を検出することを特徴とする。【選択図】図３
2010244156.tif 000002
【特許請求の範囲】
【請求項１】
人の顔を照明するように配置された光源と、
人の顔を撮像するように配置されたカメラと、
前記カメラにより撮像された画像を処理して、人の目の角膜表面における前記光源の反射像（以下、「プルキニエ像」という）を検出する画像処理装置とを備え、
前記光源は、互いに異なる方向から人の顔を照明するように配置された第１及び第２の光源を含み、
前記画像処理装置は、前記第１の光源を点灯し前記第２の光源を消灯した状態で前記カメラにより撮像された第１の画像と、前記第２の光源を点灯し前記第１の光源を消灯した状態で前記カメラにより撮像された第２の画像とを用いて、前記第１の画像内の所定輝度以上の画素集合体と、前記第２の画像内の所定輝度以上の画素集合体との位置の差に基づいて、前記プルキニエ像を検出することを特徴とする、画像特徴量検出装置。
【請求項２】
前記位置の差が所定値よりも小さい場合に、前記画素集合体を前記プルキニエ像として検出する、請求項１に記載の画像特徴量検出装置。
【請求項３】
前記画像処理装置は、前記位置の差が所定値よりも小さく、且つ、前記画素集合体を構成する画素数が前記第１及び第２の画像間で略同一である場合に、前記画素集合体を前記プルキニエ像として検出する、請求項１に記載の画像特徴量検出装置。
【請求項４】
前記画像処理装置は、前記位置の差が所定値よりも小さく、前記画素集合体を構成する画素数が前記第１及び第２の画像間で略同一であり、且つ、前記画素集合体を構成する画素数が所定数よりも小さい場合に、前記画素集合体を前記プルキニエ像として検出する、請求項２に記載の画像特徴量検出装置。
【請求項５】
前記画像処理装置は、前記第１の画像内の所定の領域内に前記所定輝度以上の画素集合体が隣接して２つ存在し、且つ、前記第２の画像内の前記所定の領域内に、前記第１の画像内と略同一の位置関係で前記所定輝度以上の画素集合体が２つ対応して存在する場合、前記第１及び第２の画像間でそれぞれ対応する画素集合体同士の前記位置の差を算出し、該位置の差が小さい方の画素集合体を、前記プルキニエ像として検出する、請求項１に記載の画像特徴量検出装置。
【請求項６】
前記画像処理装置は、前記第１の画像内の所定の領域内に前記所定輝度以上の画素集合体が隣接して２つ存在し、且つ、前記第２の画像内の前記所定の領域内に前記所定輝度以上の画素集合体が隣接して２つ存在する場合、前記第１及び第２の画像のそれぞれにおける２つの画素集合体の位置、及び、前記第１及び第２の画像のそれぞれにおける２つの画素集合体のそれぞれを構成する画素数に基づいて、前記第１及び第２の画像における２つの画素集合体のそれぞれを前記第１及び第２の画像間で一対一で対応付け、前記第１及び第２の画像間でそれぞれ対応する画素集合体同士の前記位置の差を算出し、該差が小さい方の画素集合体を、前記プルキニエ像として検出する、請求項１に記載の画像特徴量検出装置。
【請求項７】
前記画像処理装置は、前記第１の画像における前記２つの画素集合体間の離間距離と前記第２の画像における前記２つの画素集合体間の離間距離を比較し、前記第１及び第２の画像のうち、前記離間距離の大きい方の画像を用いて、目の特徴量を検出する、請求項５又は６に記載の画像特徴量検出装置。
【請求項８】
前記カメラは、人の顔を正面から撮像するように配置され、
前記所定の領域は、前記第１の画像の左側領域と右側領域のそれぞれ１つずつ設定されると共に、前記第２の画像の左側領域と右側領域のそれぞれ１つずつ設定され、
前記第１及び第２の画像のそれぞれにおける左側領域と右側領域のそれぞれにおいて、前記２つの画素集合体が存在する場合、前記画像処理装置は、左側領域と右側領域のそれぞれにおいて、前記第１の画像における前記２つの画素集合体間の離間距離と前記第２の画像における前記２つの画素集合体間の離間距離を比較し、左側領域と右側領域のそれぞれにおいて、前記第１及び第２の画像のうち、前記離間距離の大きい方の画像を用いて、目の特徴量を検出する、請求項７に記載の画像特徴量検出装置。
【請求項９】
前記所定の領域は、メガネの枠よりも内側の領域である、請求項５〜８のうちのいずれか１項に記載の画像特徴量検出装置。
【請求項１０】
前記画像処理装置は、前記２つの画素集合体のうち、前記プルキニエ像として検出される画素集合体でない方の画素集合体について、該画素集合体の輝度を、該画素集合体の周辺の領域の輝度を用いて補正する、請求項５又は６に記載の画像特徴量検出装置。
【請求項１１】
車両に搭載される請求項１〜９のうちのいずれか１項に記載の画像特徴量検出装置であって、
前記人は、車両の運転者であり、
前記第１の光源は、左方向から運転者の顔を照明するように配置され、前記第２の光源は、右方向から運転者の顔を照明するように配置される、画像特徴量検出装置。
【請求項１２】
運転者の顔向きに対応付けて前記第１の画像及び第２の画像におけるプルキニエ像の位置とメガネへの光源の移り込み位置の位置を試験的に検出した統計データを記憶する記憶手段を更に備え、
前記画像処理装置は、運転者の顔向きを検出すると共に、該検出結果に応じた前記統計データを補完的に用いて、前記プルキニエ像を検出する、請求項１に記載の画像特徴量検出装置。
【請求項１３】
請求項１１に記載の画像特徴量検出装置と、
前記画像特徴量検出装置により検出されるプルキニエ像に基づいて、運転者の視線方向を算出する、視線方向検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プルキニエ像のような画像特徴量を検出する画像特徴量検出装置及びこれを用いた視線方向検出装置に関する。
【背景技術】
【０００２】
従来から、光源により人を照明したときの当該人の目の角膜表面における当該光源の反射像（プルキニエ像）の位置を算出し、それに基づいて人の視線方向を検出する技術が知られている（例えば、非特許文献１参照）。
【０００３】
また、光源のメガネへの映り込みを低減することを課題とする技術として、左右の照明装置を交互に点灯させ、第１の照明装置のみで照明したときの被写体と、第２の照明装置のみで照明したときの被写体とを撮像し、得られた２つの画像の輝度を比較し、輝度の低い画素を抽出して新しい画像を合成し、該合成した画像に基づいて運転者の視線方向等を検出する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１２３１３７号公報
【非特許文献】
【０００５】
【非特許文献１】大野等による眼球形状モデルに基づく視線測定法（第８回画像センシングシンポジウム、ｐ３０７−３１２，２００２）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１においては、運転者の視線方向の検出方法の具体例の開示がなく、どのような検出方法を使用しているか不明である。しかしながら、ここでは、上記特許文献１において、上記非特許文献１に記載されるようなプルキニエ像に基づいて運転者の視線方向を検出する場合を想定する。この場合、上記特許文献１においては、輝度の低い画素を抽出して新しい画像を合成するので、輝度の低い画素を抽出する際にプルキニエ像が消失する虞がある。
【０００７】
そこで、本発明は、プルキニエ像を精度良く検出することができる画像特徴量検出装置及びこれを用いた視線方向検出装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一局面によれば、人の顔を照明するように配置された光源と、
人の顔を撮像するように配置されたカメラと、
前記カメラにより撮像された画像を処理して、人の目の角膜表面における前記光源の反射像（プルキニエ像）を検出する画像処理装置とを備え、
前記光源は、互いに異なる方向から人の顔を照明するように配置された第１及び第２の光源を含み、
前記画像処理装置は、前記第１の光源を点灯し前記第２の光源を消灯した状態で前記カメラにより撮像された第１の画像と、前記第２の光源を点灯し前記第１の光源を消灯した状態で前記カメラにより撮像された第２の画像とを用いて、前記第１の画像内の所定輝度以上の画素集合と、前記第２の画像内の所定輝度以上の画素集合との位置の差に基づいて、前記プルキニエ像を検出することを特徴とする、画像特徴量検出装置が提供される。
【発明の効果】
【０００９】
本発明によれば、プルキニエ像を精度良く検出することができる画像特徴量検出装置及びこれを用いた視線方向検出装置が得られる。
【図面の簡単な説明】
【００１０】
【図１】本発明による画像特徴量検出装置１の一実施例の主要構成を示す図である。
【図２】本実施例の画像特徴量検出装置１により実行される主要処理の一例を示すフローチャートである。
【図３】図３（Ａ）は左照明顔画像の一例を示し、図３（Ｂ）は右照明顔画像の一例を示す。
【図４】プルキニエ像Ａ１，Ａ３における左照明顔画像と右照明顔画像の間で位置変化と、メガネへの光源２２の映り込み像Ａ２，Ａ４における左照明顔画像と右照明顔画像の間で位置変化とを比較した表図である。
【図５】左照明顔画像と右照明顔画像におけるプルキニエ像Ａ１，Ａ３の画素数と、左照明顔画像と右照明顔画像におけるメガネへの光源２２の映り込み像Ａ２，Ａ４の画素数とを比較した表図である。
【図６】条件１を利用する別の態様のプルキニエ像検出手法の要部を示すフローチャートである。
【図７】メガネへの光源２２の映り込み像が存在する状況下で各種特徴量を検出する方法の一例を示すフローチャートである。
【図８】プルキニエ像以外の特徴量を検出する好ましい方法を示すフローチャートである。
【図９】合成画像の生成態様を示す図である。
【図１０】メガネへの光源２２の映り込み像が存在する状況下で各種特徴量を検出する方法のその他の一例を示すフローチャートである。
【図１１】メガネへの光源２２の映り込み像の輝度の補正態様を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１２】
図１は、本発明による画像特徴量検出装置１の一実施例の主要構成を示す図である。図１には、人とカメラ２０及び光源２２の位置関係が上面視で模式的に示されている。
【００１３】
本実施例の画像特徴量検出装置１は、後述の如く、画像特徴として人の目の角膜表面における光源２２の反射像（プルキニエ像）を検出する。本実施例の画像特徴量検出装置１は、検出したプルキニエ像に基づいて運転者の視線方向を算出する視線方向検出装置としても機能する。
【００１４】
本実施例の画像特徴量検出装置１は、図１に示すように、画像処理装置１０と、カメラ２０と、光源２２とを含む。
【００１５】
画像処理装置１０は、デジタル信号プロセッサのような適切なプロセッサ（コンピューター）により構成されてよい。画像処理装置１０による主要な処理内容の詳細については後述する。画像処理装置１０には、カメラ２０及び光源２２が接続される。画像処理装置１０は、カメラ２０に内蔵される処理装置であってもよいし、カメラ２０の外部の処理装置であってもよいし、これらの処理装置の双方により実現されてもよい。画像特徴量検出装置１は、後述の如く光源２２の点灯状態も制御してもよい。但し、この機能は他のＥＣＵ等により実現されてもよい。
【００１６】
カメラ２０は、例えばＣＣＤ（charge-coupled  device）やＣＭＯＳ(complementary  metal  oxide  semiconductor)等を撮像素子としたセンサアレイを備えるカメラであってよい。カメラ２０は、濃淡画像（例えば２５６階調の濃淡画像）を取得するものであってよい。カメラ２０は、正規の姿勢・位置の運転者の前面（例えば運転者の顔部を前方から）を捕捉可能なように、車両の適切な箇所に設けられる。例えば、カメラ２０は、運転者の顔部を上向きの光軸で捕捉するように、ステアリングコラム又はメータ内に配置される。カメラ２０は、車両走行中にリアルタイムに運転者の顔部の画像（以下、「顔画像」という）を取得し、典型的には３０fps (frame  per  second)のストリーム形式で、画像処理装置１０に供給するものであってよい。
【００１７】
光源２２は、正規の姿勢・位置の運転者を左方向から照明する左側光源２２Ｌと、正規の姿勢・位置の運転者を右方向から照明する右側光源２２Ｒとを含む。左側光源２２Ｌ及び右側光源２２Ｒは、それぞれ、ＬＥＤのような光源であってよい。また、左側光源２２Ｌ及び右側光源２２Ｒは、それぞれ、近赤外光を発生する光源であってよい。また、左側光源２２Ｌ及び右側光源２２Ｒは、それぞれ、点光源であってよいし、或いは、点光源の集合体であってもよい。光源２２は、カメラ２０の両側に一体的に設けられてもよい。
【００１８】
尚、図１に示す例では、左側光源２２Ｌ及び右側光源２２Ｒは、図１に示すように人の中心軸Ｙを中心として左右に対称に位置し、人から略同一の距離だけ離れている（即ち光路長が略同一である）。しかしながら、左側光源２２Ｌ及び右側光源２２Ｒは、人の中心軸Ｙを中心として左右に非対称に位置してもよいし、中心軸Ｙに対して左右のいずれか側に双方が配置されてもよい。また、左側光源２２Ｌ及び右側光源２２Ｒは、互いに対して鉛直方向でオフセットしていてもよい。
【００１９】
図２は、本実施例の画像特徴量検出装置１により実行される主要処理の一例を示すフローチャートである。
【００２０】
ステップ２００では、左側光源２２Ｌが点灯され、右側光源２２Ｒが消灯された状態が形成される。
【００２１】
ステップ２０２では、上記ステップ２００で形成された状態で撮像画像（顔画像）がカメラ２０により取得される。以下、このようにして左側光源２２Ｌが点灯され且つ右側光源２２Ｒが消灯された状態でカメラ２０により撮像された顔画像を、「左照明顔画像」という。このようにしてカメラ２０により取得された左照明顔画像は、画像処理装置１０に入力される。
【００２２】
ステップ２０４では、左側光源２２Ｌが消灯され、右側光源２２Ｒが点灯された状態が形成される。
【００２３】
ステップ２０６では、上記ステップ２０４で形成された状態で撮像画像（顔画像）がカメラ２０により取得される。以下、このようにして左側光源２２Ｌが消灯され且つ右側光源２２Ｒが点灯された状態でカメラ２０により撮像された顔画像を、「右照明顔画像」という。このようにしてカメラ２０により取得された右照明顔画像は、画像処理装置１０に入力される。
【００２４】
尚、左照明顔画像と右照明顔画像の取得順序は逆であってもよい。左照明顔画像と右照明顔画像は、好ましくは、可能な限り短時間の間隔をおいて取得される。これは、左照明顔画像の撮像時と右照明顔画像の撮像時の間に、運転者の視線方向や姿勢等が変化すると、精度良くプルキニエ像を検出することができないためである。
【００２５】
ステップ２０８では、画像処理装置１０において、所定輝度以上の画素集合体が抽出される。所定値は、輝度が高いプルキニエ像を適切に抽出できるような値に設定される。但し、プルキニエ像の輝度は、光源２２の光量やカメラ２０の階調のダイナミックレンジ等に依存し、また、周囲光の影響を受ける場合もあるので、所定値は、試験的に適合された値であってよい。また、所定値は、可変値であってもよい。
【００２６】
ステップ２１０では、画像処理装置１０において、上記ステップ２０８で抽出した所定輝度以上の画素集合体のうちから、プルキニエ像（即ち、プルキニエに係る画素集合体）が特定される。このプルキニエ像検出手法については後述する。
【００２７】
ステップ２１２では、画像処理装置１０において、上記ステップ２０８で検出したプルキニエ像に基づいて運転者の視線方向が算出される。このプルキニエ像に基づく視線方向算出方法は、多種多様であり、例えば非特許文献１に記載されるような手法のような、任意の適切な視線方向算出方法が採用されてもよい。例えば、視線方向が変化すると瞳孔中心とプルキニエ像との距離が変化することを利用して、瞳孔中心とプルキニエ像との距離に基づいて、視線方向を算出してもよい。尚、運転者の視線方向の算出には、他のパラメータとして光源２２の位置が用いられるが、この場合、光源２２の位置は、左側光源２２Ｌ及び右側光源２２Ｒのうちの、プルキニエ像を形成した方の光源位置が用いられる。従って、顔画像の左半分と右半分とで左照明顔画像と右照明顔画像を別々に用いて運転者の視線方向を算出する場合、左照明顔画像に対して左側光源２２Ｌの位置を用い、右照明顔画像に対しては右側光源２２Ｒの位置を用いる。
【００２８】
このようにして算出された視線方向は、任意のアプリケーションに利用されてもよい。例えば、脇見運転を防止するアプリケーションや、視線方向に基づいて運転者の意図する駐車方向や駐車位置を推定するアプリケーション等に利用されてもよい。また、ステップ２１２では、画像処理装置１０において、運転者の開眼状態（上下の瞼間距離等）や顔向きのような、他の特徴量が検出されてもよい。
【００２９】
次に、上記のステップ２１０において適用されてもよいプルキニエ像検出手法の好ましい例について説明する。
【００３０】
図３は、上述の如く取得される左照明顔画像と右照明顔画像の一例を示す図であり、図３（Ａ）は左照明顔画像を示し、図３（Ｂ）は右照明顔画像を示す。図３に示す例では、メガネをかけた運転者の各顔画像が示されている。これは、メガネには、光源２２が映り込むので、メガネへの光源２２の映り込み像とプルキニエ像とを識別するのが困難な条件となるためである。
【００３１】
図３に示すように、運転者がメガネをかけている場合、顔画像には、プルキニエ像Ａ１，Ａ３の他、メガネのレンズには光源２２が映り込むことで、メガネへの光源２２の映り込み像Ａ２，Ａ４が発生する。このようなメガネへの光源２２の映り込み像Ａ２，Ａ４は、プルキニエ像Ａ１，Ａ３と同様に高い輝度値を有し、プルキニエ像Ａ１，Ａ３に隣接して発生するので、上述の図２のステップ２０８で所定輝度以上の画素集合体として抽出される可能性が高い。
【００３２】
ここで、プルキニエ像Ａ１，Ａ３は、眼球の曲率が一般的に比較的大きいことから、左照明顔画像と右照明顔画像の間で位置変化が比較的小さい。他方、かかるメガネへの光源２２の映り込み像Ａ２，Ａ４は、メガネの曲率が一般的に比較的小さいことから、左照明顔画像と右照明顔画像の間で位置変化が比較的大きい。
【００３３】
図４は、プルキニエ像Ａ１，Ａ３における左照明顔画像と右照明顔画像の間で位置変化と、メガネへの光源２２の映り込み像Ａ２，Ａ４における左照明顔画像と右照明顔画像の間で位置変化とを比較した表図である。
【００３４】
図４に示すように、プルキニエ像Ａ１，Ａ３における左照明顔画像と右照明顔画像の間で位置変化（ピクセル差分値）は、それぞれ、１ピクセル及び０ピクセルであるのに対して、メガネへの光源２２の映り込み像Ａ２，Ａ４における左照明顔画像と右照明顔画像の間で位置変化（ピクセル差分値）は、それぞれ、１０ピクセル及び１２ピクセルである。このことから、左照明顔画像と右照明顔画像の間で位置変化（ピクセル差分値）を評価することで、プルキニエ像Ａ１，Ａ３を精度良く検出することができることが分かる。
【００３５】
そこで、本実施例によるプルキニエ像検出手法では、プルキニエ像Ａ１，Ａ３は左照明顔画像と右照明顔画像の間で位置変化（ピクセル差分値）が所定閾値Ｔｈ１よりも小さいことを条件（以下、「条件１」という）として、プルキニエ像Ａ１，Ａ３を検出する。所定閾値Ｔｈ１は、他の条件との兼ね合いで適切に決定されるべき閾値であるが、例えば、図４に示すような試験結果に基づく場合、例えば３−７ピクセルの範囲内の任意の値であってよい。
【００３６】
具体的には、画像処理装置１０は、上述の図２のステップ２０８で抽出した所定輝度以上の画素集合体のそれぞれについて、左照明顔画像と右照明顔画像の間でピクセル差分値を算出する。そして、画像処理装置１０は、算出したピクセル差分値と所定閾値Ｔｈ１とを比較し、ピクセル差分値が所定閾値Ｔｈ１よりも小さい所定輝度以上の画素集合体を、プルキニエ像として検出する。
【００３７】
尚、ピクセル差分値は、画素集合体の中心又は重心位置にあるピクセル同士の差分値であってもよい。或いは、ピクセル差分値は、左照明顔画像における画素集合体を構成する各ピクセルと、右照明顔画像における画素集合体を構成する各ピクセルとの間で全通りの差分値を算出し、それに基づいて算出されてもよい。例えば、ピクセル差分値は、左照明顔画像における画素集合体を構成する各ピクセルと、右照明顔画像における画素集合体を構成する各ピクセルとの間で全通りの差分値を算出し、その平均値又は中央値として算出されてもよいし、その最大値又は最小値として算出されてもよい。以下では、説明の複雑化を防止するために、画像集合体間のピクセル差分値は、画素集合体の中心又は重心位置にあるピクセル同士の差分値とする。
【００３８】
このとき、画像処理装置１０は、所定輝度以上の画素集合体の位置が左照明顔画像と右照明顔画像の間で略同一である画像集合体同士のピクセル差分値のみを算出してもよい。この場合、図３に示す例では、左照明顔画像と右照明顔画像のそれぞれにおける４つの画素集合体Ａ１，Ａ２，Ａ３，Ａ４同士のピクセル差分値のみを算出してもよい。或いは、画像処理装置１０は、所定輝度以上の画素集合体のすべてについて左照明顔画像と右照明顔画像の間で全通りピクセル差分値を算出してもよい。この場合、図３に示す例では、例えば左照明顔画像における画素集合体Ａ１について、右照明顔画像における画素集合体Ａ１，Ａ２，Ａ３，Ａ４との４通りの組み合わせでピクセル差分値を算出し、以下同様に、左照明顔画像における残りの画素集合体Ａ２，Ａ３，Ａ４についてそれぞれ４通りの組み合わせでピクセル差分値を算出し、計１６通りの組み合わせでピクセル差分値を算出してもよい。或いは、中間的な方法として、画像処理装置１０は、各顔画像を左半分の領域と右半分の領域に分け、左半分の領域と右半分の領域のそれぞれの領域において、所定輝度以上の画素集合体のすべてについて左照明顔画像と右照明顔画像の間で全通りピクセル差分値を算出してもよい。この場合、図３に示す例では、例えば左照明顔画像における画素集合体Ａ１について、右照明顔画像における画素集合体Ａ１，Ａ２との２通りの組み合わせでピクセル差分値を算出し、左照明顔画像における画素集合体Ａ２について、右照明顔画像における画素集合体Ａ１，Ａ２との２通りの組み合わせでピクセル差分値を算出し、以下同様に右半分の領域でピクセル差分値を算出し、計８通りの組み合わせでピクセル差分値を算出してもよい。何れの方法であっても、上述の条件１を満たすようなピクセル差分値の画素集合体をプルキニエ像として精度良く検出することができる。
【００３９】
尚、この条件１は、好ましくは、他の条件とのＡＮＤ条件で使用される。例えば、図３（Ａ）にてＹで示すようなメガネの縁（枠）に光源２２が映り込むことで生ずる像についても、所定輝度以上の画素集合体として抽出されうる。このような画素集合体Ｙは、プルキニエ像Ａ１，Ａ３と同様、左照明顔画像と右照明顔画像の間で位置変化（ピクセル差分値）が小さい場合があるが、プルキニエ像Ａ１，Ａ３とは、画素集合体を構成する画素数やその形状が異なる。より具体的には、メガネの枠に光源２２が映り込むことで生ずる画素集合体Ｙは、画素集合体を構成する画素数が、プルキニエ像Ａ１，Ａ３に係る画素集合体を構成する画素数よりも有意に大きい。また、図３に示すように、メガネの枠に光源２２が映り込むことで生ずる画素集合体Ｙの形状は、線状の形状であり、プルキニエ像Ａ１，Ａ３に係る画素集合体の丸に近い形状と大きく異なる。従って、このような相違点を利用して外乱要素（画素集合体Ｙ）を除外する条件を組み込むことで、プルキニエ像を精度良く検出することとしてもよい。或いは、逆の発想で、上述のステップ２０８において、メガネの枠を検出した後、当該メガネの枠より内側の領域内で所定輝度以上の画素集合体を抽出してもよい。
【００４０】
また、後述の図５に示すように、左照明顔画像と右照明顔画像におけるプルキニエ像Ａ１，Ａ３の画素数と、左照明顔画像と右照明顔画像におけるメガネへの光源２２の映り込み像Ａ２，Ａ４の画素数とは、有意に相違する。従って、この特性を利用して、上述の条件１に係るピクセル差分値を取る画素集合体の組み合わせを決定してもよい。この場合、図３に示す例では、画素集合体Ａ１，Ａ２，Ａ３，Ａ４間での正しい対応付けが可能となり、例えば各顔画像を左半分の領域と右半分の領域に分ければ、画素集合体Ａ１，Ａ２，Ａ３，Ａ４の合計４通りの組み合わせでピクセル差分値を算出するだけでよくなる。また、同様の観点から、プルキニエ像Ａ１，Ａ３の画素数が左照明顔画像と右照明顔画像の間で大きく変化しないことを利用して、左照明顔画像と右照明顔画像の間で略同一の画素数を持つ画素集合体のみを抽出して、その中からプルキニエ像を上述の条件１により特定することとしてもよい。
【００４１】
図５は、左照明顔画像と右照明顔画像におけるプルキニエ像Ａ１，Ａ３の画素数と、左照明顔画像と右照明顔画像におけるメガネへの光源２２の映り込み像Ａ２，Ａ４の画素数とを比較した表図である。
【００４２】
図５に示すように、左照明顔画像と右照明顔画像におけるプルキニエ像Ａ１の画素数は、それぞれ、３ピクセル及び４ピクセルであり、左照明顔画像と右照明顔画像におけるプルキニエ像Ａ３の画素数は、それぞれ、４ピクセル及び４ピクセルであるのに対して、左照明顔画像と右照明顔画像におけるメガネへの光源２２の映り込み像Ａ２の画素数は、それぞれ、３０ピクセル及び２５ピクセルであり、左照明顔画像と右照明顔画像におけるメガネへの光源２２の映り込み像Ａ４の画素数は、それぞれ、２９ピクセル及び２３ピクセルである。尚、このような有意な差（即ち、左照明顔画像と右照明顔画像におけるプルキニエ像Ａ１，Ａ３の画素数と、左照明顔画像と右照明顔画像におけるメガネへの光源２２の映り込み像Ａ２，Ａ４の画素数との間の相違）は、主に、眼球とメガネの曲率の相違に起因する。図５から、左照明顔画像と右照明顔画像における所定輝度以上の画素集合体の画素数を評価することで、プルキニエ像Ａ１，Ａ３を精度良く検出することができることが分かる。
【００４３】
そこで、本実施例によるプルキニエ像検出手法では、上述の条件１（及び／又は上述の他の条件）に加えて、所定輝度以上の画素集合体の画素数が所定閾値Ｔｈ２よりも小さいことを条件（以下、「条件２」という）として、プルキニエ像Ａ１，Ａ３を検出することとしてもよい。所定閾値Ｔｈ２は、光源２２の大きさ等に依存して適切に決定されるべき値であるが、例えば、図５に示すような試験結果に基づく場合、７−２２ピクセルの範囲内の任意の値であってよい。
【００４４】
具体的には、画像処理装置１０は、上述の図２のステップ２０８で抽出した所定輝度以上の画素集合体のそれぞれについて、左照明顔画像と右照明顔画像の少なくともいずれか一方で画素数を算出する。そして、画像処理装置１０は、算出した画素数と所定閾値Ｔｈ２とを比較し、画素数が所定閾値Ｔｈ２よりも小さい所定輝度以上の画素集合体であって、上述の条件１を満たす所定輝度以上の画素集合体を、プルキニエ像として検出する。
【００４５】
尚、以上説明したプルキニエ像検出手法は、当然ながら、メガネをかけていない運転者の場合にも適用可能である。この場合は、メガネへの光源２２の映り込み像Ａ２，Ａ４やその他の外乱による像Ｙが存在しないので、プルキニエ像Ａ１，Ａ３に係る画素集合体のみが上記ステップ２０８で抽出されうる。この場合も、当該抽出した画素集合体がプルキニエ像であることを（確認的に）判定又は評価するために、上述の条件１等が利用されればよい。
【００４６】
次に、図６等を用いて、上述の条件１を利用する別の態様のプルキニエ像検出手法について説明する。
【００４７】
図６は、上述の条件１を利用する別の態様のプルキニエ像検出手法の要部を示すフローチャートである。図６に示す処理は、図２に示した処理ルーチンのステップ２１０の処理として実行される。この図６に示すプルキニエ像検出手法は、運転者がメガネをかけている場合に実行される方法に関する。尚、運転者がメガネをかけているか否かは、例えばユーザ情報から判定してもよいし、上述の顔画像に基づく画像認識処理により判定してもよい。
【００４８】
ステップ６００では、左照明顔画像と右照明顔画像のそれぞれにおける所定領域内に抽出された所定輝度以上の２つの画素集合体が選定（特定）される。所定領域は、理想的には、プルキニエ像のみが含まれる領域であるが、上述の如くプルキニエ像の近傍に出現しうるメガネへの光源２２の映り込み像が含まれうる領域である。所定領域は、好ましくは、上述の顔画像に基づく画像認識処理により検出されたメガネの枠内に設定される。但し、所定領域は、顔画像の左半分の領域と右半分の領域のそれぞれであってもよい。この場合、所定領域内には、図３に示したように、プルキニエ像とメガネへの光源２２の映り込み像以外の像として、例えばメガネの枠への光源２２の映り込み像が抽出されうるので、かかるメガネの枠への光源２２の映り込み像を排除するために、所定の条件で２つの画素集合体（プルキニエ像とメガネへの光源２２の映り込み像）を選定することが望ましい。例えば、上述の如く、所定領域内において、画素集合体を構成する画素数やその形状に基づいて、２つの画素集合体（プルキニエ像とメガネへの光源２２の映り込み像）を選定することとしてもよい。
【００４９】
尚、ステップ６００の処理は、顔画像の左領域と右領域のそれぞれで実行されるが（即ち左眼用の所定領域と右眼用の所定領域内でそれぞれ所定輝度以上の２つの画素集合体が選定されるが）、それぞれの処理内容は実質的に同一であるので、ここでは、一方の領域側（顔画像の左領域側）の処理のみについて代表して説明を続ける。
【００５０】
ステップ６０２では、上記ステップ６００で選定された所定輝度以上の２つの画素集合体が左照明顔画像と右照明顔画像の間で対応付けられる。例えば、図３に示した例において、左照明顔画像における画素集合体Ａ１と右照明顔画像における画素集合体Ａ１が対応付けられ、左照明顔画像における画素集合体Ａ２と右照明顔画像における画素集合体Ａ２が対応付けられる。この対応付けには、左照明顔画像及び右照明顔画像のそれぞれにおける画素集合体Ａ１と画素集合体Ａ２の位置、相対位置、画素数の対応関係が考慮されてよい。これは、画素集合体Ａ１と画素集合体Ａ２は、例えば、図３に示したように、左照明顔画像及び右照明顔画像のそれぞれにおいて略同一の位置であり、相対位置関係も略同一である（互いに近接した位置関係である）ためである。また、画素集合体Ａ１と画素集合体Ａ２は、例えば、図５に示したように、画素数が略同一であるためである。従って、画素数の対応関係を考慮する場合、図５に示す例では、左照明顔画像における画素数３ピクセルの画素集合体Ａ１は、右照明顔画像において４ピクセルの画素集合体Ａ１と、右照明顔画像において２５ピクセルの画素集合体Ａ２のうち、画素数が略同一である４ピクセルの画素集合体Ａ１に適切に対応付けられることになる。同様に、左照明顔画像における画素数３０ピクセルの画素集合体Ａ２は、右照明顔画像において４ピクセルの画素集合体Ａ１と、右照明顔画像において２５ピクセルの画素集合体Ａ２のうち、画素数が略同一である２５ピクセルの画素集合体Ａ２に適切に対応付けられることになる。
【００５１】
ステップ６０４では、上記ステップ６０２における対応付け結果に基づいて、対応する画素集合体同士のピクセル差分値が算出される。図３に示した例では、左照明顔画像における画素集合体Ａ１と右照明顔画像における画素集合体Ａ１の間のピクセル差分値（＝１）が算出されると共に、左照明顔画像における画素集合体Ａ２と右照明顔画像における画素集合体Ａ２の間のピクセル差分値（＝１０）が算出される。
【００５２】
ステップ６０６では、上記ステップ６０４で算出されたピクセル差分値に基づいて、ピクセル差分値が小さい方の画素集合体を、プルキニエ像として検出（特定）する。図３に示した例では、画素集合体Ａ１のピクセル差分値の方が、画素集合体Ａ２のピクセル差分値よりも小さいので、画素集合体Ａ１に係るプルキニエ像を精度良く検出することができる。
【００５３】
次に、図７等を用いて、上述のプルキニエ像検出手法において補強的に統計情報を利用する態様について説明する。
【００５４】
統計情報は、予め試験により生成されてもよいし、又は、プルキニエ像検出処理と並列してリアルタイムに生成されてもよい。統計情報は、所定のメモリ（例えば画像処理装置１０内の書き換え可能なメモリ）に記憶される。統計情報は、例えば、左照明顔画像及び右照明顔画像における各像（即ちプルキニエ像や、メガネへの光源２２の映り込み像）の位置や、各像の相対位置（即ち、プルキニエ像と、メガネへの光源２２の映り込み像の間の相対位置）に関する統計情報であってよい。また、これらの位置及び相対位置は、運転者の顔向きや光源２２の位置等に応じて異なるので、統計情報は、運転者の顔向きや光源２２の位置等に対応付けて管理されることが望ましい。
【００５５】
図７は、上述のプルキニエ像検出手法において補強的に統計情報を利用する一例を示すフローチャートである。図７に示す処理は、図２に示した処理ルーチンのステップ２１０の処理の一部として実行される。
【００５６】
ステップ７００では、運転者の顔向きが顔画像に基づいて検出される。顔画像に基づく顔向きの検出方法は多種多様であり、任意の適切な方法が採用されてもよい。
【００５７】
ステップ７０２では、上記ステップ７００で検出した運転者の顔向きが所定範囲内であるか否かが判定される。所定範囲は、統計情報が存在する顔向き範囲に対応してよい。
【００５８】
ステップ７０４では、上記ステップ７００で検出した運転者の顔向きに応じた統計情報を補足的に用いて、プルキニエ像が検出される。統計情報の補足的な使用方法は、例えば、上述の如く検出したプルキニエ像の信頼性を確かめるために用いてもよい。具体的には、検出したプルキニエ像の位置と、統計情報に基づくプルキニエ像の位置との照合を行うことで、検出したプルキニエ像の信頼性を検証してもよい。又は、メガネへの光源２２の映り込み像の位置を検出値と統計情報とで照合してもよい。或いは、プルキニエ像とガネへの光源２２の映り込み像の位置関係（相対位置）を検出値と統計情報とで照合してもよい。或いは、統計情報は、プルキニエ像の候補（上述の画素集合体Ａ１−Ａ４）の探索範囲を決定するために使用されてもよい。例えば、統計情報は、上述の図６のステップ６００の所定領域を設定するために使用されてもよい。また、統計情報は、上述の図６のステップ６０２の対応付けの際に使用されてもよい。例えば、統計情報に基づく位置関係等を利用して画素集合体間が対応付けられてもよい。
【００５９】
次に、図８以降を主に参照して、上述のプルキニエ像以外の特徴量を検出する好ましい方法について説明する。
【００６０】
図８は、メガネへの光源２２の映り込み像が存在する状況下で各種特徴量（例えば眼の瞼や白目の位置等）を検出する処理の一例を示すフローチャートである。図８に示す処理は、上述の図２に示した処理ルーチンのステップ２１２の処理の一部として実行されてよい。
【００６１】
ステップ８００では、左照明顔画像における左半分の領域のプルキニエ像Ａ１とメガネへの光源２２の映り込み像Ａ２の間の離間距離（ピクセル数）が算出されると共に、右照明顔画像における左半分の領域のプルキニエ像Ａ１とメガネへの光源２２の映り込み像Ａ２の間の離間距離が算出される。
【００６２】
ステップ８０２では、左照明顔画像における右半分の領域のプルキニエ像Ａ３とメガネへの光源２２の映り込み像Ａ４の間の離間距離（ピクセル数）が算出されると共に、右照明顔画像における右半分の領域のプルキニエ像Ａ３とメガネへの光源２２の映り込み像Ａ４の間の離間距離が算出される。
【００６３】
ステップ８０４では、左半分の領域と右半分の領域のそれぞれにおいて、左照明顔画像及び左照明顔画像のうちから上記ステップ８００及び８０２で算出した離間距離の大きい方の顔画像が選択され、当該選択された顔画像同士が合成される。
【００６４】
例えば図９（Ａ）に示すような左照明顔画像において、左半分の領域でのプルキニエ像Ａ１とメガネへの光源２２の映り込み像Ａ２の間の離間距離が、１３ピクセルであり、図９（Ｂ）に示すような右照明顔画像において、左半分の領域でのプルキニエ像Ａ１とメガネへの光源２２の映り込み像Ａ２の間の離間距離が、１５ピクセルである場合、離間距離が大きい方の右照明顔画像が左半分の領域で選択される。また、図９（Ａ）に示すような左照明顔画像において、右半分の領域でのプルキニエ像Ａ３とメガネへの光源２２の映り込み像Ａ４の間の離間距離が、１８ピクセルであり、図９（Ｂ）に示すような右照明顔画像において、右半分の領域でのプルキニエ像Ａ３とメガネへの光源２２の映り込み像Ａ４の間の離間距離が、１６ピクセルである場合、離間距離が大きい方の左照明顔画像が右半分の領域で選択される。この結果、図９（Ｃ）に示すように、右照明顔画像の左半分の領域と左照明顔画像の右半分の領域が合成された合成画像が生成される。
【００６５】
ステップ８０６では、上記ステップ８０４で生成された合成画像に基づいて、眼の上瞼及び下瞼の位置のような各種の特徴量が検出される。特徴量の検出方法は多種多様であり、任意の適切な方法が採用されてもよい。例えば瞼の場合、Sobelのエッジ検出アルゴリズムを適用してエッジ抽出処理を行い、探索ウインドウ内の横エッジの強度和を算出し、横エッジの強度和が所定値以上となる位置の探索ウインドウ内の横エッジ（白黒エッジ）を、上瞼や下瞼として認識する。或いは、開眼時の上瞼が一般的に円弧形状であるいう形状的特徴を利用して、上瞼を表すエッジを抽出してもよい。尚、上瞼及び下瞼の位置の検出結果は、典型的には、運転者の開眼／閉眼状態（例えば瞬きの頻度や居眠り）を検出するために使用される。
【００６６】
図８に示す処理によれば、プルキニエ像（及び検出対象の特徴量に関連する像）からメガネへの光源２２の映り込み像までの距離（離間距離）が大きい方の顔画像を選択して各種の特徴量を抽出するので、メガネへの光源２２の映り込み像の影響により特徴量の抽出が困難になるのが防止される。これにより、特徴量の抽出精度が向上する。
【００６７】
尚、図８に示す処理では、左半分の領域と右半分の領域のそれぞれにおいて、左照明顔画像及び左照明顔画像のうちから、プルキニエ像からメガネへの光源２２の映り込み像までの距離が大きい方の顔画像を選択し、それらを合成している。しかしながら、例えば画像処理装置１０がカメラ２０に内蔵された処理装置と外部の画像処理ＥＣＵにより協動して実現される場合等、選択した顔画像を合成せずに画像処理ＥＣＵに取得データを送信することで、カメラ２０に内蔵された処理装置の負荷を低減してもよい。この場合、例えば上述の例では、画像処理ＥＣＵは、右眼側の瞼検出時には取得データの右照明顔画像を用い、左眼側の瞼検出時には取得データの左照明顔画像を用いればよい。
【００６８】
図１０は、メガネへの光源２２の映り込み像が存在する状況下で各種特徴量を検出する処理のその他の一例を示すフローチャートである。図１０に示す処理は、上述の図２に示した処理ルーチンのステップ２１２の処理の一部として実行されてよい。
【００６９】
ステップ１０００では、メガネへの光源２２の映り込み像の周辺の領域の輝度が算出される。尚、上述の図２に示した処理ルーチンの２１０にてプルキニエ像として検出されなかった画素集合体が、メガネへの光源２２の映り込み像と判断されてよい。メガネへの光源２２の映り込み像の周辺の領域の輝度は、周辺の領域内から適切に選択された１つのピクセルの輝度値であってよいし、周辺の領域内の所定数のピクセルの輝度の平均値であってもよい。
【００７０】
ステップ１００２では、メガネへの光源２２の映り込み像の輝度が、上記ステップ１０００で算出された周辺領域の輝度に基づいて、補正される。具体的には、メガネへの光源２２の映り込み像の輝度が、上記ステップ１０００で算出された周辺領域の輝度により置き換えられる。例えば図１１（Ａ）に示すように、メガネへの光源２２の映り込み像Ａ２，Ａ４は、図１１（Ｂ）に示すように、周辺領域の輝度により置き換えられ、高輝度から周辺の輝度へと補正される。
【００７１】
ステップ１００４では、上記ステップ１００２で生成された補正画像に基づいて、眼の瞼のような各種の特徴量が検出される。上述の如く特徴量の検出方法は多種多様であり、任意の適切な方法が採用されてもよい。
【００７２】
図１０に示す処理によれば、メガネへの光源２２の映り込み像を周辺領域の輝度で補正して各種の特徴量を抽出するので、メガネへの光源２２の映り込み像の影響により特徴量の抽出が困難になるのが防止される（例えば、メガネへの光源２２の映り込み像を白目等に誤検出するようなことが防止される）。これにより、特徴量の抽出精度が向上する。
【００７３】
尚、図１０に示す処理は、右照明顔画像及び左照明顔画像のいずれか一方を用いて実行されることができる。この場合、右照明顔画像及び左照明顔画像のいずれかにおいて、所定輝度以上の画素集合体が一定個数以下の画素数である場合は、他方の（即ち高輝度側）の顔画像を使用することが望ましい。
【００７４】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００７５】
例えば、一般的に運転者監視用の画像処理では、初期発見処理にて顔発見処理をした後、トラッキング処理に移行する手法があるが、本実施例は、その初期発見処理及びトラッキング処理に適用されてもよい。
【００７６】
また、上述した実施例において、画像処理に使用される顔画像は、外乱光の影響の少ない映像を取得するために、光源２２をオンしたときのＯＮ画像とオフしたときのＯＦＦ画像の間の差分画像であってもよい。例えば、左照明顔画像は、左側光源２２Ｌが点灯され且つ右側光源２２Ｒが消灯された状態でカメラ２０により撮像された顔画像（ＯＮ画像）と、左側光源２２Ｌ及び右側光源２２Ｒが消灯された状態でカメラ２０により撮像された顔画像（ＯＦＦ画像）との差分画像であってもよい。同様に、右照明顔画像は、左側光源２２Ｌが消灯され且つ右側光源２２Ｒが点灯された状態でカメラ２０により撮像された顔画像（ＯＮ画像）と、左側光源２２Ｌ及び右側光源２２Ｒが消灯された状態でカメラ２０により撮像された顔画像（ＯＦＦ画像）との差分画像であってもよい。
【００７７】
また、上述した実施例では、右照明顔画像及び左照明顔画像がそれぞれ同一（共通）のカメラ２０により取得されているが、右照明顔画像及び左照明顔画像は、それぞれ別々のカメラにより取得されてもよい。この場合、上述のピクセル差分値は、右照明顔画像及び左照明顔画像で共通に存在する所定の基準位置に基づく相対位置に基づいて算出されてもよいし、絶対位置座標に変換してから算出されてもよい。
【００７８】
また、上述した実施例では、プルキニエ像の候補となる画素集合体は、周辺領域との輝度差に基づいて抽出されているが、形状の特徴を利用したパターンマッチングにより抽出されてもよいし、左右両側にある対称性を利用して抽出されてもよい。対称性を利用する場合は、運転者の顔向きが略正面であることが前提条件として検出されてもよい。また、プルキニエ像の形状の特徴や左右両側にある対称性は、上述の条件１等に対する付加条件（ＡＮＤ条件）として利用されてもよい。
【００７９】
また、上述した実施例では、左右方向でオフセットした２つの光源（左側光源２２Ｌ及び右側光源２２Ｒ）が使用されているが、本発明はこれに限定されない。例えば、上下方向にオフセットした２つの光源を、左側光源２２Ｌ及び右側光源２２Ｒの代わりに使用することも可能である。
【００８０】
また、上述した実施例では、運転者を対象としているが、運転者以外の人に対しても適用可能である。
【符号の説明】
【００８１】
１    画像特徴量検出装置
１０    画像処理装置
２０    カメラ
２２    光源
２２Ｌ    左側光源
２２Ｒ    右側光源
【図１】
2010244156.tif 000003
【図２】
2010244156.tif 000004
【図４】
2010244156.tif 000005
【図５】
2010244156.tif 000006
【図６】
2010244156.tif 000007
【図７】
2010244156.tif 000008
【図８】
2010244156.tif 000009
【図１０】
2010244156.tif 000010
【図３】
2010244156.tif 000011
【図９】
2010244156.tif 000012
【図１１】
2010244156.tif 000013