(57)【要約】【課題】本発明は、顔の向きが判定不能になるおそれを低減することができる、顔向き検知装置の提供を目的とする。【解決手段】人の顔を含む顔画像を撮影するカメラ１０と、カメラ１０によって撮影された顔画像に基づいて顔の向きを判定する顔向き判定処理を周期的に行う顔向き検知装置であって、カメラ１０によって現顔向き判定処理で撮影された顔画像に基づいて顔の向きを判定する第１の判定処理を顔向き判定処理毎に繰り返し、カメラ１０によって今回の顔向き判定処理で撮影された第１の顔画像のゲイン値と前記撮影手段によって前回又は前回以前の顔向き判定処理で撮影された第２の顔画像のゲイン値との差分値が所定値以上ある場合には、今回の顔向き判定処理を、第１の顔画像と第２の顔画像とを比較することにより顔の向きを判定する第２の判定処理に変更する、顔向き検知装置。【選択図】図５
2008130030.tif 000002
【特許請求の範囲】
【請求項１】
人の顔を含む顔画像を撮影する撮影手段と、
前記撮影手段によって撮影された顔画像に基づいて顔の向きを判定する顔向き判定処理を周期的に行う判定処理手段と、を備える顔向き検知装置であって、
前記判定処理手段は、
前記撮影手段によって現顔向き判定処理で撮影された顔画像に基づいて顔の向きを判定する第１の判定処理を顔向き判定処理毎に繰り返し、
前記撮影手段によって今回の顔向き判定処理で撮影された第１の顔画像の明るさと前記撮影手段によって前回又は前回以前の顔向き判定処理で撮影された第２の顔画像の明るさとの差分値が所定値以上ある場合には、今回の顔向き判定処理を、前記第１の顔画像と前記第２の顔画像とを比較することにより顔の向きを判定する第２の判定処理に変更する、ことを特徴とする、顔向き検知装置。
【請求項２】
前記第２の判定処理への変更は、前記第１の判定処理が継続不能の場合に行われる、請求項１に記載の顔向き検知装置。
【請求項３】
前記差分値は、前記第１の顔画像の明るさを調整する調整値と前記第２の顔画像の明るさを調整する調整値との差である、請求項１又は２に記載の顔向き検知装置。
【請求項４】
前記調整値は、前記撮影手段のゲイン値である、請求項３に記載の顔向き検知装置。
【請求項５】
前記第１の判定処理は、前記撮影手段によって撮影された顔画像の特徴量の対称性を利用した顔向き判定処理である、請求項１から４のいずれかに記載の顔向き検知装置。
【請求項６】
前記第２の判定処理は、前記第１の顔画像と前記第２の顔画像との間で対比可能な特徴量の相関度が所定値以上高い場合には、前記第１の顔画像と前記第２の顔画像の顔向きは同じであると判定する顔向き判定処理である、請求項１から５のいずれかに記載の顔向き検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の顔を撮影して得られた画像に基づいて、顔の向きを判定する顔向き検知装置に関する。
【背景技術】
【０００２】
従来、所定領域を撮影して得られた画像に基づいて、所定領域中の顔の有無を判定する顔有無判定装置が知られている（例えば、特許文献１参照）。この顔有無判定装置は、入力された画像の各画素の所定方向の輝度変化に基づいて顔の中心線の候補線としての複数の顔中心候補線を設定し、当該顔中心候補線のうち顔の中心線であることが最も確かな顔中心候補線に基づいて、顔の有無を判定するものである。
【特許文献１】特開２００５−１１０９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述の従来技術では、外光が顔の一部のみを照らすなどの運転状況の変化によって、顔画像のデータを一部正しく取得することができない場合には、顔の向きを判定できなくなることも考えられ得る。
【０００４】
そこで、本発明は、顔の向きが判定不能になるおそれを低減することができる、顔向き検知装置の提供を目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の顔向き検知装置は、
人の顔を含む顔画像を撮影する撮影手段と、
前記撮影手段によって撮影された顔画像に基づいて顔の向きを判定する顔向き判定処理を周期的に行う判定処理手段と、を備える顔向き検知装置であって、
前記判定処理手段は、
前記撮影手段によって現顔向き判定処理で撮影された顔画像に基づいて顔の向きを判定する第１の判定処理を顔向き判定処理毎に繰り返し、
前記撮影手段によって今回の顔向き判定処理で撮影された第１の顔画像の明るさと前記撮影手段によって前回又は前回以前の顔向き判定処理で撮影された第２の顔画像の明るさとの差分値が所定値以上ある場合には、今回の顔向き判定処理を、前記第１の顔画像と前記第２の顔画像とを比較することにより顔の向きを判定する第２の判定処理に変更する、ことを特徴としている。
【０００６】
これによって、今回撮影の顔画像の明るさが前回又は前回以前に撮影の顔画像の明るさに比べ大きく変化している場合には、入射される外光などの変化によって今回撮影の顔画像から得られる画像データが正しく取得できていないおそれがあるとして、今回撮影の顔画像に基づいて顔の向きを判定するのではなく、今回撮影の顔画像と前回又は前回以前に撮影の顔画像とを比較することにより顔の向きを判定するように変更することができる。その結果、今回撮影の顔画像から得られる画像データが正しく取得できていなくても、顔の向きが判定できなくなるおそれを低減することができ、顔向きの判定精度を向上させることができる。
【０００７】
ここで、前記第２の判定処理への変更は、前記第１の判定処理が継続不能の場合に行われると好ましい。例えば誤検出や誤動作等によって顔画像の明るさが大きく変化することも考えられ得る。したがって、第１の判定処理が継続不能に陥った上で第２の判定処理への変更を行うことで、第２の判定処理に本来変更する必要のない誤検出等の状況で第２の判定処理に変更されることを防ぐことができる。
【０００８】
また、例えば、前記差分値は、前記第１の顔画像の明るさを調整する調整値と前記第２の顔画像の明るさを調整する調整値との差であってもよく、前記調整値の具体例として前記撮影手段のゲイン値が挙げられる。前記撮影手段は撮影した顔画像の明るさを調整する手段を有するので、より具体的にはカメラにはゲインコントロール機能を有しているので、その調整値に所定値以上の差が生ずれば、今回撮影の顔画像の明るさが前回又は前回以前に撮影の顔画像の明るさに比べ大きく変化しているとみなすことができる。
【０００９】
また、前記第１の判定処理として、前記撮影手段によって撮影された顔画像の特徴量の対称性を利用した顔向き判定処理が挙げられる。入射される外光などの変化によって顔画像の特徴量の対称性は失われやすいので、顔画像の特徴量の対称性を利用した顔向き判定処理を行う場合には本発明は効果的である。また、この対称性を利用した顔向き判定処理が行われる場合には、外光変化に限らず顔の対称性が失われるほど顔をそむけられたときでも効果的である。
【００１０】
また、前記第２の判定処理は、前記第１の顔画像と前記第２の顔画像との間で対比可能な特徴量の相関度が所定値以上高い場合には、前記第１の顔画像と前記第２の顔画像の顔向きは同じであると判定する顔向き判定処理であるとよい。つまり、前記第１の判定処理により顔向き判定が成功している少なくとも前回以前の撮影の顔画像の顔向きと今回撮影の顔画像の顔向きが同じ方向を向いたままの状態であると判断することができる。
【発明の効果】
【００１１】
本発明によれば、顔の向きが判定不能になるおそれを低減することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。図１は、本発明に係る顔向き検知装置の実施形態を示した図である。本実施形態の顔向き検知装置は、車両を運転するドライバーの顔を撮影するカメラ１０と、ドライバーの顔を照明する照明光源２０と、ドライバーの顔の向きを判定するコンピュータ３０とを備えている。なお、カメラ１０は、ドライバーが正面を向いたときにドライバーの顔を正面かつ斜め下から撮影可能な位置に配置されている。カメラ１０をドライバーの顔を正面かつ斜め下から撮影可能な位置に配置したのは、顔の中心線を基準に線対称な部分（目や耳など）があることに基づいて顔の有無を判定する場合、ドライバーの顔を正面かつ斜め下から撮影すると、顔の中心線を基準に線対称な鼻の穴も撮影することができ、判定精度を向上させることができるからである。また、光源２０は、ドライバーの顔画像を安定して撮影できるように、近赤外光を照射する複数のＬＥＤを備える近赤外光照射装置である。
【００１３】
図２は、本実施形態の顔向き検知装置のブロック図である。カメラ１０は、ＣＣＤ（Charge  Coupled  Device）等の撮像素子１１を備える撮影手段であり、夜間など車室内が暗い状況においても顔画像を安定して撮影するためには近赤外光カメラであることがより好ましい。カメラ１０は、光電変換を行う撮像素子１１と、撮像素子１１の出力信号を適正値に補正することができるようにゲインの変更を可能とするゲインコントロール増幅器（ＧＣＡ）１２と、信号処理を行うデジタルシグナルプロセッサ（ＤＳＰ）１３とを備える。
【００１４】
ゲインとは、デジタルカメラのフィルム感度に相当し、撮像素子１１からの映像信号を電気的に増幅する増幅率である。ＧＣＡ１２は、撮像素子１１からの映像信号は被写体が暗いほど小さいため、暗い被写体でも明るい撮像画像となるゲインに調整する。その調節を行う機能をゲインコントロールという。なお、ＧＣＡ１２は、目標明るさになるゲイン値に自動調整するオートゲインコントロール機能を備えてもよい。
【００１５】
ＤＳＰ１３は、撮像素子１１からの実際の映像信号がゲインの調整によって所定の目標明るさとなる撮像画像となるようにＧＣＡ１２を制御する。ＤＳＰ１３は、撮像素子１１による撮像画像、撮像する際に適用したゲイン値、撮像画像のフレームカウンタ等を画像信号としてコンピュータ３０に送信する。ＤＳＰ３は、例えば、３０ｆｐｓ（frame  per  second)のストリーム形式で、コンピュータ３０に画像信号を送信する。
【００１６】
なお、撮像画像の露出はシャッタスピードに応じて変化し、シャッタスピードを遅くすれば通る光が保持されるため暗い場所での撮影も可能となる。したがって、ＤＳＰ１３は、撮像素子１１からの実際の映像信号が所定の目標明るさとなる撮像画像となるようにシャッタスピードを調整してもよい。この場合、ＤＳＰ１３は、撮像する際に適用したシャッタスピードを画像信号としてコンピュータ３０に送信する。
【００１７】
コンピュータ３０は、顔向き判定処理プログラムを記憶するＲＯＭ３１、顔向き判定処理プログラムを処理するＣＰＵ３２、データを一時的に記憶するＲＡＭ３３及び画像入力手段としての入出力（Ｉ／Ｏ）ポート３４を備える。入出力（Ｉ／Ｏ）ポート３４には、光源２０と、カメラ１０から入力された画像信号をデジタルの画像データに変換するＡ／Ｄ（アナログ／デジタル）変換器３５と、Ａ／Ｄ変換器３５によって変換された画像データ等を記憶するメモリ３６とが接続されている。ＣＰＵ３２は、顔向き判定処理の実行を指示する指示信号を受信すると、ＲＯＭ３１から顔向き判定処理プログラムを読み出し、顔向き判定処理の実行を開始する。
【００１８】
顔向き判定処理プログラムが起動すると、カメラ１０からの撮像画像から得られる画像データに基づいて顔向き判定のための所定の画像処理をすることによって、その撮像画像内のドライバーの顔の向きを示す角度などを算出したり顔の有無を判断したりする。
【００１９】
このような顔向き検知装置は、ドライバーの顔に関する画像認識情報を利用する制御に使用することが可能である。例えば、顔向き検知装置は、ＣＡＮ等の車内ＬＡＮを介して、顔の向き等の画像認識処理結果を必要とする他のＥＣＵに当該結果を送信する。他のＥＣＵとは、例えば、衝突回避・衝突軽減システムを制御するＥＣＵ、車線維持支援システムや車線逸脱警報システムを制御するＥＣＵ、車間ＥＣＵ、ブレーキＥＣＵ等である。当該結果を受信したこれらのＥＣＵは、わき見等の非正面である状態の継続時間によって、衝突予防や車線逸脱予防等のための警報タイミングを調整したり、目標車間距離やブレーキアシストの開始時点を調整したりする。例えば、わき見等の非正面である状態の継続時間が長いほど、警報タイミングを前出ししたり目標車間距離を長くしたりブレーキアシストの開始点を早めにしたりすることによって、乗員や歩行者等の安全性を高めることができる。
【００２０】
図３は、顔向き判定処理プログラムの一例を示すフローチャートである。図３に示される顔向き判定処理は、顔画像の特徴量の対称性を利用する顔向き判定処理である。
【００２１】
ドライバーの顔画像がカメラ１０によって撮影され（ステップ１０）、その顔画像から特徴量が抽出される（ステップ１２）。ステップ１２において、特徴量の検出のため、その顔画像に対してエッジ抽出処理が行われる。
【００２２】
エッジ抽出処理は、例えばＳｏｂｅｌのエッジ検出アルゴリズムを適用して実行されてよい。例えば、一般的な３×３のＳｏｂｅｌフィルタを用いて顔画像内の横エッジが抽出される。より具体的には、垂直方向に隣接する画素の輝度値の差を予め設定された閾値と比較し、輝度値の差が閾値を超える画素（横エッジ点）の出力値を１、輝度値の差が閾値を超えない画素の出力値を０とするようにラベリングを行い、顔画像をラベル０、１が付された２値画像に変換する。これにより、横エッジ点が白色で表示された白黒の横エッジ画像が得られる。横エッジ画像上の横エッジ点に基づいて、周知の多種多様な方法で、目、耳、鼻、口などの顔のパーツの位置等の特徴量が抽出され得る。
【００２３】
顔向き判定処理は、顔のパーツが左右対称に配置されていることを利用して顔向きを判定する。つまり、顔のパーツにより得られる横エッジ点も左右に略均等に分布していると考えられる。したがって、左右の横エッジ点の数がほぼ均等になるように顔の中央線を設定し、以降は、該中央線を追跡することで顔の向きを判定する顔向き算出処理を実行することができる。つまり、顔画像内の特徴量に係る横エッジ点の数に対称性がなければ、このような顔向き判定を行うことはできない。
【００２４】
したがって、ステップ１２において抽出された特徴量に基づいて特徴量の対称性チェックが行われ（ステップ１４）、対称性があるか否かが判断される（ステップ１６）。対称性があると判断された場合には（ステップ１６；Ｙｅｓ）、顔向き度（例えば、正面方向からの顔向き角度）を算出する顔向き算出処理が行われ（ステップ１８）、算出された顔向き度が上述の衝突回避システム用ＥＣＵ等のＥＣＵに出力される（ステップ２０）。一方、対称性がないと判断された場合には（ステップ１６；Ｎｏ）、顔向き度の算出ができず顔向きの判定ができないとして、「顔向き不定」を示す情報が上述の衝突回避システム用ＥＣＵ等のＥＣＵに出力される（ステップ２２）。
【００２５】
ところが、図４（ａ）に示されるように外光が顔に部分的に照射されることにより画素の輝度値が変化することによって特徴量を正しく検出できない場合や、図４（ｂ）に示されるようにドライバーが特徴量の対称性が失われるほどに顔を横に向けた場合には、図３に示されるような顔向き判定処理のルーチンでは、顔向き度の算出ができず顔向きの判定ができないとして、上述の衝突回避システム用ＥＣＵ等のＥＣＵに対して、「顔向き不定」を示す情報が顔向き判定処理ルーチンが繰り返される度に出力されることになる。
【００２６】
このような瞬間的な運転状況の変化によって顔向き度の出力が途絶え顔向き不定を示す情報が出力されることは、顔向き検知装置による顔向き判定結果の情報を必要とするシステムの制御性に影響を与えてしまう。例えば、オートクルーズによる走行中にわき見を少しした状況において先行車が急ブレーキをかけた場合、本来ならば通常よりも早いタイミングで警報を出したいが、ドライバーが正面を向いたことにより先行車の走行状態をドライバーが認識している状況で警報が出されることはドライバーにとって煩わしいため、わき見中に日差しが顔に当たることにより顔向き判定が不定となったとしても、その不定判定の瞬間にドライバーが正面を向いている場合が想定されるので、警報を前だしすることができない。
【００２７】
そこで、本実施形態の顔向き検知装置は、顔の一部のみが照らされたり影になったり、顔の対称性が失われるほど一瞬横を向いたりした場合でも、顔の向きが判定不能となりにくい安定した顔向き判定となるように、図５に示されるような顔向き判定処理を行う。
【００２８】
図５は、本実施形態の顔向き検知装置に係る顔向き判定処理プログラムを示すフローチャートである。図５に示される顔向き判定処理のルーチンは所定の周期（例えば、１００ｍｓ周期）で繰り返し実行される。すなわち、図５の示される１フローが、顔向き判定処理の１回分であるとする。ステップ３０からステップ３４までは、上述の図３の内容と同様のため、説明を省略する。
【００２９】
ステップ３２において抽出された特徴量に基づいて特徴量の対称性があると判断された場合には（ステップ３６；Ｙｅｓ）、顔向き判定をするための判定基準として適当であるとして、今回の顔向き判定処理ルーチンのステップ３０においてカメラ１０によって撮影された顔画像の撮影時のゲイン値がメモリ３６に保存されるとともに（ステップ３８）、当該顔画像に係る画像データがメモリ３６に保存される（ステップ４０）。そして、今回の顔向き判定処理ルーチンのステップ４０において保存された顔画像に係る画像データに基づいて（今回の顔向き判定処理ルーチンのステップ３２において抽出された特徴量に係る横エッジ点の対称性に基づいて）、上述のように正面方向からの顔向き角度等の顔向き度を算出する顔向き算出処理が行われ（ステップ４２）、算出された顔向き度が上述の衝突回避システム用ＥＣＵ等のＥＣＵに出力される（ステップ４４）。
【００３０】
一方、対称性がないと判断された場合には（ステップ３６；Ｎｏ）、前回（又は前回以前）の顔向き判定処理ルーチンのステップ３８においてメモリ３６に保存されたゲイン値と今回の顔向き判定処理ルーチンのステップ３０においてカメラ１０によって撮影された顔画像の撮影時のゲイン値とが比較される（ステップ５０）。すなわち、「前回」撮影時のゲイン値がメモリ３６に保存されていない場合、「前回以前の」撮影時にメモリ３６に保存されたゲイン値と今回撮影時のゲイン値とが比較される。前回の顔向き判定処理ルーチンのステップ３６において対称性がないと判断された場合には、顔向き判定をするための判定基準として不適当であるとして、前回撮影時のゲイン値は保存されていないからである。
【００３１】
前回（又は、前回以前）のゲイン値と今回のゲイン値に所定の閾値以上の差があると判断された場合には（ステップ５２；Ｙｅｓ）、顔の一部のみが照らされたり影になったりしたことによって対称性がないと判断された可能性もあるので、前回（又は、前回以前）の顔向き判定処理ルーチンのステップ４０においてメモリ３６に保存された顔画像の特徴量と今回の顔向き判定処理ルーチンのステップ３２において抽出可能な特徴量とが比較される（ステップ５４）。すなわち、対称性がないと判断された場合であっても、今回最低限抽出された特徴量と前回又は前回以前の特徴量とを比較する。
【００３２】
前回（又は、前回以前）の顔画像の特徴量と今回の顔画像の特徴量との相関性が高いと判断された場合には（ステップ５６；Ｙｅｓ）、前回（又は、前回以前）の顔向き判定処理ルーチンの時に顔が向いている方向と同じであるとみなして、前回（又は、前回以前）の顔向き判定処理ルーチンのステップ４０においてメモリ３６に保存された顔画像に基づいて算出された顔向き度と同じ顔向き度が出力される（ステップ５８）。
【００３３】
すなわち、今回撮影時の顔画像から抽出可能な各パーツ（目や口や顔の輪郭などに相当する特徴部）の位置又は向きと、前回又は前回以前の撮影時の顔画像から抽出される同パーツの位置又は向きとのマッチング度合いを比較することにより、ドライバーの現在の顔の向きを判断することができる。今回撮影時の顔画像から抽出可能な特徴部の位置又は向きが、前回又は前回撮影時の顔画像から抽出された特徴部の位置又は向きに対して所定の基準値以内に収まっている場合には、両特徴部の位置又は向きに関する相関性は高いと判断することができる。逆に、所定の基準値を超えている場合には、両特徴部の位置又は向きに関する相関性は低いと判断することができる。
【００３４】
一方、前回（又は、前回以前）のゲイン値と今回のゲイン値に所定の閾値以上の差がないと判断された場合には（ステップ５２；Ｎｏ）、顔の一部のみが照らされたり影になったりした以外の要因によって（例えば顔の対称性が失われるほど一瞬横を向いたことによって）、対称性がないとステップ３６において判断されたとして、顔向きの判定ができないとする「顔向き不定」を示す情報が出力される（ステップ７０）。
【００３５】
若しくは、前回（又は、前回以前）の顔画像の特徴量と今回の顔画像の特徴量の相関性が低いと判断された場合には（ステップ５６；Ｎｏ）、今回最低限抽出された特徴量と前回又は前回以前の特徴量とを比較しても顔向きの判定ができないとして、「顔向き不定」を示す情報が出力される（ステップ７０）。
【００３６】
そして、「顔向き不定」により顔向きの方向が判定不能になるとともにその顔向き方向の継続時間の検出が途絶えるため、前回（又は、前回以前）の顔向き判定処理ルーチンのステップ３８及び４０においてメモリ３６に保存された顔画像に係る画像データとゲイン値は不要となり、メモリ容量削減のためそれらは消去される（ステップ７２）。
【００３７】
したがって、上述の実施形態によれば、顔の一部のみが照らされたり影になったり、顔の対称性が失われるほど一瞬横を向いたりした場合でも、顔の向きがすぐに判定不能になることを防ぐことができる。その結果、顔の向きがどの方向にどれぐらいの時間継続して向けられているのかを検出することを安定的且つ継続的に実行することができるようになる。
【００３８】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００３９】
例えば、顔画像の画像処理に基づいてドライバーの顔の向きを判定する手法は、多種多様であり、任意の適切な手法が利用されてよい。たとえば、現顔向き判定処理で撮影された顔画像に基づいて顔の向きを判定する手法は、上述の顔の対称性に基づく顔向き判定に限らず、正面視の顔の標準画像（テンプレート）を使用した、口や目などの特徴部に関するパターンマッチングによって、顔の向きを判定してもよい。
【図面の簡単な説明】
【００４０】
【図１】本発明に係る顔向き検知装置の実施形態を示した図である。
【図２】本実施形態の顔向き検知装置のブロック図である。
【図３】顔向き判定処理プログラムの一例を示すフローチャートである。
【図４】顔画像の特徴量の対称性が失われる例を示した図である。
【図５】本実施形態の顔向き検知装置に係る顔向き判定処理プログラムを示すフローチャートである。
【符号の説明】
【００４１】
１０  カメラ
１１  撮像素子
１２  ＧＣＡ（Gain  Control  Amplifier）
１３  ＤＳＰ（Digital  Signal  Processor）
２０  光源
３０  コンピュータ
３６  メモリ
【図１】
2008130030.tif 000003
【図２】
2008130030.tif 000004
【図３】
2008130030.tif 000005
【図４】
2008130030.tif 000006
【図５】
2008130030.tif 000007