(57)【要約】【課題】誤判定を低減して、人物の顔を精度良く認識することが可能な顔画像処理装置を提供すること。【解決手段】取得された映像信号に基づいて、画像処理を行い、両方の鼻孔Ｐ１５，Ｐ１６を結んだ線Ａと、口の横方向の両端部Ｐ１７，Ｐ１８を結んだ線Ｂとが互いに平行であることを条件として、運転者Ｄの顔を認識する。このように、顔の構造上の特徴を利用して条件を限定し、演算負荷の増大することなく、誤判定を低減させる。従って、運転者Ｄの顔を精度良く認識することができ、運転者Ｄの顔向き角度を正確に検出することが可能となる。【選択図】図２
2008276406.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像データに基づいて人物の顔を認識する顔画像処理装置において、
両方の鼻孔を結んだ線である第１の線と、口の横方向の両端部を結んだ線である第２の線とが平行であることを条件として、前記顔を認識することを特徴とする顔画像処理装置。
【請求項２】
両方の目を結んだ線である第３の線と、前記第１の線と、前記第２の線とが平行であることを条件として、前記顔を認識することを特徴とする請求項１記載の顔画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像データに基づいて人物の顔を認識する顔画像処理装置に関する。
【背景技術】
【０００２】
従来、顔を撮像する撮像手段を備え、撮像された顔画像を用いて人物の顔の向きを認識する技術が知られている（例えば、特許文献１参照）。特許文献１に記載の技術では、一対の顔部品を抽出し、抽出された顔部品の位置に基づいて、顔の向きを検出している。
【特許文献１】特開平１０−３０７９２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来技術では、抽出された顔部品候補から顔部品を選択する際に、目、鼻、口の相対関係に基づいて、予め設定された３次元顔モデルにもっとも近いものを、正解として顔部品として選択していた。図４は、顔画像撮像カメラによって撮影された顔画像の一例を示すものであり、従来の顔部品の抽出方法を説明するための図である。しかしながら、従来技術では、鼻孔中心Ｐ１の位置に基づいて、鼻を抽出した場合、目候補として眉毛を選択したり、口候補として口ひげを選択したりすることがあった。
【０００４】
図４に示すように、右側の眉毛の両端Ｐ２，Ｐ３を抽出して、右目候補として、誤検出すると共に、口ひげの右端部Ｐ６と口の左端部Ｐ７とを結ぶ線を口として、誤検出することがあった。例えば、点Ｐ１を鼻孔中心、点Ｐ２，Ｐ３間を結ぶ線を右目、点Ｐ４，Ｐ５間を結ぶ線を左目、点Ｐ６，Ｐ７間を結ぶ線を口として検出した場合には、実際に、顔が正面を向いている場合であっても、顔が右に傾いていると誤って認識される場合があった。また、「鼻孔中心の位置」に代えて、「一対の鼻孔の位置」に基づいて、鼻を抽出することで、顔部品の誤判定を防止することが考えられるが、この場合には、演算負荷の増大が問題となってしまう。
【０００５】
本発明は、このような課題を解決するために成されたものであり、誤判定を低減して、人物の顔を精度良く認識することが可能な顔画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明による顔画像処理装置は、撮像された画像データに基づいて人物の顔を認識する顔画像処理装置において、両方の鼻孔を結んだ線である第１の線と、口の横方向の両端部を結んだ線である第２の線とが平行であることを条件として、顔を認識することを特徴としている。
【０００７】
このような顔画像処理装置によれば、両方の鼻孔を結んだ線と、口の横方向の両端部を結んだ線とが平行となることを条件（正解）として、顔を認識する。このように、両方の鼻孔を結んだ線、口の端部を結んだ線は平行であるという、顔の構造上の特徴を用いて、顔を認識する際の条件を絞ることで、演算負荷を増大することなく、誤判定（眉毛、口ひげ等を選択すること）を低減することができる。従って、人物の顔を精度良く認識することができるので、顔向き角度を正確に検出することが可能となる。
【０００８】
また、両方の目を結んだ線である第３の線と、第１の線と、第２の線とが平行であることを条件として、顔を認識することが好ましい。これにより、誤判定を一層低減することができ、顔向き角度の検出精度を向上させることができる。
【発明の効果】
【０００９】
本発明の顔画像処理装置によれば、演算負荷の増大を抑えつつ誤判定を低減し、精度良く顔を認識することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において、同一または相当要素には同一の符号を付し、重複する説明は省略する。本実施形態では、本発明の顔画像処理装置である顔画像処理電子制御ユニット（以下、「顔画像処理ＥＣＵ」という。）の顔向き角度検出装置への適用について説明する。図１は、本発明の実施形態に係る顔画像処理ＥＣＵを備えた顔向き角度検出装置の概略構成図、図２は、顔画像撮像カメラによって撮像された顔画像の一例を示す図であり、直線Ａ〜Ｂを示すものである。
【００１１】
図１に示す顔向き角度検出装置１００は、例えば運転者Ｄの脇見等を検出するものであり、運転者Ｄの顔画像を撮像する顔画像撮像カメラ２、顔画像撮像カメラ２からの映像信号に基づいて画像処理を行う顔画像処理ＥＣＵ３を備えている。顔画像撮像カメラ２は、例えばコラムカバー９の上面に設置され、運転者Ｄの顔画像を取得するものである。
【００１２】
この顔画像処理ＥＣＵ３は、演算処理を行うＣＰＵ、記憶部となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成され、入力された映像信号に基づいて、画像処理を行い運転者Ｄの顔画像を認識し、運転者Ｄの顔向き角度を検出することができる。
【００１３】
ここで、顔画像処理ＥＣＵ３のＣＰＵでは、記憶部に記憶されているプログラムを実行することで、目位置抽出部、鼻位置抽出部、口位置抽出部、直線算出部、適合値算出部、顔向き角度判定部が構成される。また、記憶部には、予め複数の３次元顔モデルが記憶されている。
【００１４】
目位置抽出部は、入力された映像信号から目位置候補点として、図２に示すように、右目の両端部Ｐ１１，Ｐ１２、左目の両端部Ｐ１３，Ｐ１４を抽出する。鼻位置抽出部は、入力された映像信号から鼻位置候補点として、両方の鼻孔Ｐ１５，Ｐ１６を抽出すると共に、両方の鼻孔位置を登録する。口位置抽出部は、入力された映像信号から口位置候補点として、口の横方向の端部Ｐ１７，Ｐ１８を抽出する。
【００１５】
直線算出部は、両方の鼻孔を結んだ線である直線Ａ（第１の線）と、口の横方向の両端部を結んだ線である直線Ｂ（第２の線）と、両方の目を結んだ線である直線Ｃ（第３の線）とを算出する。直線Ａは、鼻位置抽出部により抽出された鼻位置候補点Ｐ１５，Ｐ１６を結ぶものである。直線Ｂは、口位置抽出部により抽出された口位置候補点Ｐ１７，Ｐ１８を結ぶものである。直線Ｃは、目位置抽出部により抽出された目位置候補点Ｐ１１〜Ｐ１４に基づく近似式により設定されるものである。
【００１６】
適合値算出部は、直線Ａ〜Ｃが平行である場合に、記憶部に記憶された３次元モデルを参照し、目位置候補点Ｐ１１〜Ｐ１４、鼻位置候補点Ｐ１５，Ｐ１６、口位置候補点Ｐ１７，Ｐ１８の相対位置が顔の構成として問題ないかを判定するための適合値を算出する。そして、適合値算出部は、適合値が所定の閾値以上の場合に、抽出された目位置候補点Ｐ１１〜Ｐ１４、鼻位置候補点Ｐ１５，Ｐ１６、口位置候補点Ｐ１７，Ｐ１８を正解として、運転者Ｄの顔を認識する。また、目位置候補点、鼻位置候補点、口位置候補点の組合せが複数ある場合には、適合値の最も高い組合せを、正解として、顔部品（目、鼻、口）の組合せを選択する。
【００１７】
顔向き角度判定部は、選択された顔部品の組合せに基づいて、運転者Ｄの顔向き角度を算出する。
【００１８】
次に、顔画像処理ＥＣＵ３で実行される制御処理について図３のフローチャートに沿って説明する。図３は、顔画像処理ＥＣＵで実行される制御処理の動作手順を示すフローチャートである。まず、顔画像処理ＥＣＵ３は、運転者Ｄの顔画像を撮像した顔画像撮像カメラ２からの映像信号を入力する（Ｓ１）。次に、顔画像処理ＥＣＵ３は、入力された映像信号に基づいて画像処理を行い、目位置候補点Ｐ１１〜Ｐ１４を抽出し（Ｓ２）、鼻位置候補点Ｐ１５，Ｐ１６を抽出し（Ｓ３）、口位置候補点Ｐ１７，Ｐ１８を抽出する（Ｓ４）。
【００１９】
次に、顔画像処理ＥＣＵ３は、鼻位置候補点Ｐ１５，Ｐ１６を結ぶ直線Ａ、口位置候補点Ｐ１７，Ｐ１８を結ぶ直線Ｂ、目位置候補点Ｐ１１〜Ｐ１４を結ぶ直線Ｃを算出する（Ｓ５）。続いて、顔画像処理ＥＣＵ３は、目位置候補点Ｐ１１〜Ｐ１４、鼻位置候補点Ｐ１５，Ｐ１６、口位置候補点Ｐ１７，Ｐ１８の相対位置が顔の構成として問題ないかを判定するための適合値を算出する（Ｓ６）。
【００２０】
次に、顔画像処理ＥＣＵ３は、適合値が所定の閾値以上であるか否かを判定する（Ｓ７）。適合値が所定の閾値以上であると判定された場合には、ステップＳ８に進む、適合値が所定の閾値以上であると判定されなかった場合には、ステップＳ１に戻り、ステップＳ１〜Ｓ７の処理を繰り返す。
【００２１】
続いて、ステップＳ８では、顔画像処理ＥＣＵ３は、適合値の最も高い顔部品候補（目位置候補点、鼻位置候補点、口位置候補点）の組合せを、正解の顔部品として選択し、運転者Ｄの顔を認識する。続く、ステップＳ９では、顔画像処理ＥＣＵ３は、選択された顔部品の位置に基づいて、運転者Ｄの顔向き角度を算出する。
【００２２】
このように顔向き角度検出装置１００は、両方の鼻孔を結んだ直線Ａ、口の横方向の両端部を結んだ直線Ｂ、両方の目を結んだ直線Ｃを算出し、直線Ａ〜Ｃが互いに平行であることを条件として、運転者Ｄの顔を認識している。このように、両目の端部を結んだ直線、両方の鼻孔を結んだ直線、口の端部を結んだ直線は平行であるという、顔の構造上の特徴を用いて、顔を認識する際の条件を絞ることで、演算負荷を増大することなく、誤判定（眉毛、口ひげ等を選択すること）を低減することができるので、運転者Ｄの顔を精度良く認識することが可能となる。その結果、運転者Ｄの顔向き角度を精度良く検出することができる。従って、運転者Ｄの脇見を精度良く検出することができる。また、このような顔向き角度検出装置１００を、運転者Ｄの居眠りを検出する覚醒度判定装置に適用してもよい。
【００２３】
以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるものではない。上記実施形態において、両方の鼻孔を結んだ直線Ａ、口の横方向の両端部を結んだ直線Ｂ、両方の目を結んだ直線Ｃが平行であることを条件として、運転者Ｄの顔を認識しているが、少なくとも、直線Ａ，直線Ｂが互いに平行であることを条件の一つとして、運転者Ｄの顔を認識するようにしてもよい。なお、上記「平行」とは、略平行であるものも含んでいる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る顔画像処理ＥＣＵを備えた顔向き角度検出装置の概略構成図である。
【図２】顔画像撮像カメラによって撮像された顔画像の一例を示すものであり、直線Ａ〜Ｃを示す図である。
【図３】顔画像処理ＥＣＵで実行される制御処理の動作手順を示すフローチャートである。
【図４】顔画像撮像カメラによって撮影された顔画像の一例を示すものであり、従来の顔部品の抽出方法を説明するための図である。
【符号の説明】
【００２５】
２…顔画像撮像カメラ、３…顔画像処理ＥＣＵ、１００…顔向き角度検出装置、Ｄ…運転者、Ｐ１１〜Ｐ１４…目位置候補点、Ｐ１５，Ｐ１６…鼻位置候補点、Ｐ１７，Ｐ１８…口位置候補点、Ａ…直線Ａ（第１の線）、Ｂ…直線Ｂ（第２の線）、Ｃ…直線Ｃ（第３の線）。
【図１】
2008276406.tif 000003
【図２】
2008276406.tif 000004
【図３】
2008276406.tif 000005
【図４】
2008276406.tif 000006