(57)【要約】【課題】人物が笑顔であるか否かに応じて当該人物の覚醒状態を正しく判定可能とする人物状態判定装置を提供することを目的とする。【解決手段】人物の顔を撮影して顔画像を取得する撮像手段と、人物が閉眼しているか否かを顔画像にもとづいて推定する閉眼推定手段と、人物が笑っているか否かを顔画像中に含まれる人物の口の画像にもとづいて推定する笑顔推定手段と、人物の眼が開いていると推定した場合、または人物が笑っていると推定し、且つ、人物の眼が閉じていると推定した場合、人物の眼が覚醒していると判定し、人物が笑っていないと推定し、且つ、人物の眼が閉じていると推定した場合、人物が覚醒していないと判定する覚醒判定手段とを備える人物状態判定装置。【選択図】図５
2010009093.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔を撮影して顔画像を取得する撮像手段と、
前記人物が眼を閉じているか否かを前記顔画像にもとづいて推定する閉眼推定手段と、
前記人物が笑っているか否かを前記顔画像中に含まれる前記人物の口の画像にもとづいて推定する笑顔推定手段と、
（ａ）前記人物の眼が開いていると前記閉眼推定手段が推定した場合、または前記人物が笑っていると前記笑顔推定手段が推定した場合には、前記人物が覚醒していると判定し、（ｂ）前記人物が笑っていないと前記笑顔推定手段が推定し、且つ、前記人物の眼が閉じていると前記閉眼推定手段が推定した場合には、前記人物が覚醒していないと判定する覚醒判定手段とを備える人物状態判定装置。
【請求項２】
前記顔画像中で、上唇と下唇との境界線である唇境界線を検出する唇境界線検出手段をさらに備え、
前記笑顔推定手段は、人物が笑っているか否かを前記唇境界線の形状にもとづいて推定する、請求項１に記載の人物状態判定装置。
【請求項３】
前記唇境界線を水平方向にＮ分割（Ｎは２以上の整数）して成る線分のうち、左右両端からＭ番目（Ｍは１以上の整数）に位置する線分対を抽出する線分対抽出手段をさらに備え、
前記笑顔推定手段は、人物が笑っているか否かを前記抽出された線分対にもとづいて推定する、請求項２に記載の人物状態判定装置。
【請求項４】
前記線分対を成す線分を各々直線近似して直線線分とする線分近似手段と、
前記線分対を成す直線線分各々が基準線と成す角度を算出する角度算出手段とを備え、
前記笑顔推定手段は、前記角度にもとづいて前記人物が笑っているか否かを推定する、請求項３に記載の人物状態判定装置。
【請求項５】
前記線分対を成す線分を各々円弧近似して円弧線分とする円弧近似手段と、
前記線分対を成す円弧線分各々の半径または直径を算出する径算出手段とを備え、
前記笑顔推定手段は、前記線分対を成す円弧線分各々の半径または直径にもとづいて前記人物が笑っているか否かを推定する、請求項３に記載の人物状態判定装置。
【請求項６】
前記人物が開眼していると前記閉眼推定手段が推定した場合にのみ、前記唇境界線の形状に関する情報を学習する学習手段をさらに備え、
前記笑顔推定手段は、前記学習した結果にもとづいて前記人物が笑っているか否かを推定する、請求項２に記載の人物状態判定装置。
【請求項７】
前記人物は車両の運転者であり、
前記人物状態判定装置は前記車両に搭載される、請求項１に記載の人物状態判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は人物状態判定装置に関し、より特定的には人物の覚醒状態を判定する人物状態判定装置に関する。
【背景技術】
【０００２】
近年、車両に運転者を撮影するカメラを備え、当該カメラに撮影された運転者の顔画像にもとづいて運転者の状態を検出し、検出された運転者の状態に応じて車両を制御する車両制御システムが開発されている。このようなシステムには、運転者の眼の開閉の状態を検出し、運転者の覚醒状態を判定する装置（以下、覚醒判定装置と呼称する）などが備えられる。
【０００３】
ところで、運転者の眼に直射光が照射された場合、運転者は当該直射光を眩しく感じて眼を細めた状態になる場合がある。運転者が眼を細めた状態になっていると、上記のような覚醒判定装置は、運転者が実際には覚醒しているにも拘わらず覚醒状態でないと誤判定してしまう。
【０００４】
上記の問題を考慮して開発された直射光検出装置が、特許文献１に開示されている。当該直射光検出装置は、カメラにより撮影された画像にもとづいて、運転者の眼の開き具合（引用文献１に記載の眼開度）、および当該眼の近傍の光量を測定する。そして、上記眼開度および光量にもとづいて運転者の眼に直射光が当たっているか否かを判定する。
【０００５】
特許文献１に開示される直射光検出装置によれば、運転者が直射光により眩しさを感じているか否かを判断することが可能である。したがって、上記のような覚醒判定装置で運転者の覚醒状態を判定する際、当該装置が運転者の眼が閉じている状態であると検出していても、運転者の眼に直射光が当たっている場合、すなわち、運転者の眼に当たった直射光が原因で眼を細めていると推定される場合、運転者は覚醒していると判定することができる。
【特許文献１】特開２００６−２５１９２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、運転者が眼を細めた状態になる条件は、運転者の眼に直射光が当たった場合に限らない。例えば、運転者は、笑った場合などには、直射光を浴びていなくても眼を細めた状態となる。そして、運転者が笑って眼を細めている場合、特許文献１の発明を用いたとしても、上記のような覚醒判定装置は、当該運転者が覚醒状態でないと判定することがある。
【０００７】
本発明は上記課題に鑑みてなされたものであり、人物が笑顔であるか否かに応じて当該人物の覚醒状態を正しく判定可能とする人物状態判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上記に鑑みてなされたものであり、第１の発明は、人物の顔を撮影して顔画像を取得する撮像手段と、人物が眼を閉じているか否かを顔画像にもとづいて推定する閉眼推定手段と、人物が笑っているか否かを顔画像中に含まれる人物の口の画像にもとづいて推定する笑顔推定手段と、人物の眼が開いていると推定した場合、または人物が笑っていると推定し、且つ、人物の眼が閉じていると推定した場合、人物の眼が覚醒していると判定し、人物が笑っていないと推定し、且つ、人物の眼が閉じていると推定した場合、人物が覚醒していないと判定する覚醒判定手段とを備える人物状態判定装置である。
【０００９】
第２の発明は、第１の発明において、人物状態判定装置は、顔画像中で、上唇と下唇との境界線である唇境界線を検出する唇境界線検出手段をさらに備え、笑顔推定手段は、人物が笑っているか否かを唇境界線の形状にもとづいて推定する。
【００１０】
第３の発明は、第２の発明において、人物状態判定装置は、唇境界線を水平方向にＮ等分（Ｎは２以上の整数）して成る線分のうち、左右両端からＭ番目（Ｍは１以上の整数）に位置する線分対を抽出する線分対抽出手段をさらに備え、笑顔推定手段は、人物が笑っているか否かを抽出された線分対にもとづいて推定する。
【００１１】
第４の発明は、第３の発明において、人物状態判定装置は、抽出された線分、当該線分対を成す２つの線分各々が水平線と成す角度を算出する角度算出手段と、２つの線分各々が水平線と成す角度の合算値を算出する合算値算出手段とを備え、笑顔推定手段は、合算値が閾値より大きい場合、人物が笑っていると判定する。
【００１２】
第４の発明は、第３の発明において、人物状態判定装置は、線分対を成す線分を各々直線近似して直線線分とする線分近似手段と、線分対を成す直線線分各々が水平線と成す角度を算出する角度算出手段とを備え、笑顔推定手段は、角度にもとづいて人物が笑っていると判定する。
【００１３】
第５の発明は、第３の発明において、人物状態判定装置は、線分対の各線分を円弧に近似し、線分対を成す線分を各々円弧近似して円弧線分とする円弧近似手段と、線分対を成す円弧線分各々の半径または直径を算出する径算出手段とを備え、笑顔推定手段は、角度にもとづいて人物が笑っていると判定する。
【００１４】
第６の発明は、第２の発明において、人物状態判定装置は、閉眼推定手段により人物が開眼していると推定した場合にのみ、唇境界線の形状に関する情報を学習する学習手段をさらに備え、笑顔推定手段は、学習した結果にもとづいて人物が笑っているか否かを推定する。
【００１５】
第７の発明は、第１の発明において、人物は車両の運転者であり、人物状態判定装置は上記車両に搭載される。
【発明の効果】
【００１６】
第１の発明によれば、人物が笑っている場合、当該人物が眼を細めるなどして眼を閉じているか否かを判定し難い状態であっても、当該人物が眼を閉じているか否かを正しく判定することができる。
【００１７】
第２の発明によれば、第１の発明において、人物が笑っているか否かを、当該人物の上唇と下唇との境界線にもとづいて推定することができる。人物の上唇と下唇との境界線は、顔画像中において容易に認識可能であることから、上記第２の発明によれば人物が笑っているか否かを顔画像にもとづいて容易に推定することができる。
【００１８】
第３の発明によれば、第２の発明において、人物が笑っているか否かを、口の端部の形状にもとづいて推定することができる。口の端部の形状は人物が笑っている場合に顕著に変化するため、人物が笑っているか否かを容易に、且つ、正しく推定することができる。
【００１９】
第４の発明によれば、第３の発明において、人物が笑っているか否かを、口の端部の形状にもとづいて簡単な処理で推定することができる。
【００２０】
第５の発明によれば、第３の発明において、人物が笑っているか否かを、口の端部の形状にもとづいて推定することができる。口の端部の形状を円弧に近似すると、口の端部の形状変化が僅かであっても当該円弧の半径または直径が大きく変化するため、当該形状の変化を感度良検出することができる。また、顔画像中において人物の顔がロール方向に傾いている場合であっても、人物が笑っているか否かを正確に推定することができる。
【００２１】
第６の発明によれば、人物が開眼した状態における唇境界線の形状を予め学習し、前記人物が笑っているか否かを当該学習結果にもとづいて推定できるため、人物が笑っているか否かを、より正確に推定することができる。
【００２２】
第７の発明によれば、第１の発明の人物状態判定装置を車両に搭載し、当該車両の運転者の状態を判定することができる。
【発明を実施するための最良の形態】
【００２３】
（第１の実施形態）
以下、本発明の第１の実施形態に係る人物状態判定装置１３２について図１から図１２を参照して説明する。なお、本実施形態では、人物状態判定装置１３２を含む運転者監視システム１が、車両に搭載される例について説明する。運転者監視システム１は、搭載される車両の運転者の顔の画像を撮影し、当該画像にもとづいて運転者の状態を監視するシステムである。人物状態判定装置１３２は、上記の画像にもとづいて、運転者が眼を閉じているか否か、および運転者が笑っているか否かを推定し、各々の推定結果にもとづいて運転者が覚醒しているか否かを判定する。
【００２４】
まず、図１を参照して運転者監視システム１の機能構成について説明する。図１は、人物状態判定装置１３２を含む運転者監視システム１の機能構成を示すブロック図である。
【００２５】
運転者監視システム１は、近赤外照明１１、近赤外カメラ１２、およびＥＣＵ（Electrical  Control  Unit）１３を備える。そしてＥＣＵ１３は顔向き検知マイコン１３１および人物状態判定装置１３２を備える。運転者監視システム１は、ＣＡＮ（Controller  Area  Network）などを介して車両制御システム２に接続される。顔向き検知マイコン１３１および人物状態判定装置１３２は、運転者の状態を示すデータを車両制御システム２へ各々出力する。
【００２６】
近赤外照明１１は、近赤外光を発する照明装置であり、典型的には、近赤外光を発するＬＥＤ（Light  Emitting  Diode）である。近赤外照明１１は、車両内に配置され、近赤外光を運転者に照射する。
【００２７】
近赤外カメラ１２は、請求項に記載の撮像手段の一例である。近赤外カメラ１２は、近赤外領域で高い感度特性を有する撮像装置であり、典型的には、近赤外ＣＣＤカメラである。近赤外領域で高い感度特性を有するカメラを用いることにより、夜間やトンネル内などを走行中で車内が暗い状況でも、近赤外照明１１に照らされた撮像対象を感度良撮像することが可能である。近赤外カメラ１２は、運転者の顔を撮像可能な位置に配置される。近赤外カメラ１２は運転者の顔およびその周囲の画像を撮影し、撮影された画像をＥＣＵ１３へ出力する。なお、以下では、近赤外カメラ１２によって撮影される画像をカメラ画像と呼称する。また、説明のため、カメラ画像中の位置情報を、左下端を原点として、縦方向をＹ座標、横方向をＸ座標とする座標系で表す。
【００２８】
ＥＣＵ１３は、顔向き検知マイコン１３１および人物状態判定装置１３２などの情報処理装置、およびインターフェース回路などを備える処理装置である。ＥＣＵ１３は、カメラ画像を顔向き検知マイコン１３１および人物状態判定装置１３２などの情報処理装置で処理する。ＥＣＵ１３は、上記の処理の結果として得られる運転者の状態を示すデータを車両制御システム２へ出力する。
【００２９】
顔向き検知マイコン１３１は、典型的にはマイクロコンピュータなどの情報処理装置である。顔向き検知マイコン１３１は、カメラ画像中における運転者の顔の向きの角度を検出する。なお、本実施形態では、説明を簡単にするため、顔向き検知マイコン１３１が、運転者の顔の左右方向の角度（以下、顔向き角度αと呼称する）を検出する例について説明する。顔向き検知マイコン１３１は、顔向き角度αを車両制御システム２へ出力する。
【００３０】
人物状態判定装置１３２は、典型的にはマイクロコンピュータなどの情報処理装置である。人物状態判定装置１３２は、後述する処理に用いるデータを記憶するメモリなどの記憶装置を備える。人物状態判定装置１３２は、運転者の眼が閉じているか否かを推定する処理（後述の閉眼推定処理）、および運転者が笑っているか否かを推定する処理（後述の笑顔推定処理）を実行する。そして、人物状態判定装置１３２は、上記の各推定処理の結果にもとづいて運転者が覚醒しているか否かを判定する。人物状態判定装置１３２は、上記判定の結果にもとづいて、運転者が覚醒していることを示す信号（以下、覚醒判定信号と呼称する）、または運転者が覚醒していないことを示す信号（以下、非覚醒判定信号と呼称する）を車両制御システム２へ出力する。
【００３１】
車両制御システム２には、プリクラッシュ制御システムなどの、車両を制御するシステムが含まれる。車両制御システム２は、運転者の疲れ具合などを、入力される顔向き角度α、覚醒判定信号、および非覚醒判定信号などの運転者の状態を示すデータおよび信号にもとづいて判断する。そして、車両制御システム２は、車両と障害物との衝突の危険を報ずる警告や、衝突回避走行の制御などを実行するタイミングを、上記の運転者の疲れ具合に応じて最適に決定する。
【００３２】
次に、図２を参照してＥＣＵ１３が実行する処理について説明する。なお、図２はＥＣＵ１３が実行する処理の一例を示すフローチャートである。
【００３３】
ステップＡ１において、ＥＣＵ１３は、ＩＧ電源がオンであるか否かを判定する。ＥＣＵ１３は、ＩＧ電源がオンであると判断した場合、処理をステップＡ２へ進める。一方、ＥＣＵ１３は、ＩＧ電源がオフであると判断した場合、処理を終了する。
【００３４】
上記ステップＡ１の処理により、ＩＧ電源がオンである間、下記のステップＡ２からステップＡ５の処理が繰り返される。
【００３５】
ステップＡ２において、ＥＣＵ１３は、カメラ画像を取得する。具体的には、ＥＣＵ１３は、近赤外カメラ１２から出力されるカメラ画像を取得し、ＥＣＵ１３が備える記憶装置へ保存する。ＥＣＵ１３は、ステップＡ２の処理を完了すると、処理をステップＡ３へ進める。
【００３６】
ステップＡ３において、ＥＣＵ１３は、顔向き検知処理を実行する。具体的には、ＥＣＵ１３は、上記のステップＡ２において取得したカメラ画像にもとづいて顔向き角度αを検出する処理を、備えられた顔向き検知マイコン１３１に実行させる。
【００３７】
ここで、図３を参照して、顔向き角度αについて説明する。図３はカメラ画像および、当該画像が撮影された時点の運転者の頭部の上面図である。本実施形態では運転者の頭部は頭頂部を上面とする円柱形状を成しているものと見なす。なお、顔は円柱状の頭部の中心線を中心に回転する。顔向き角度αの値は、近赤外カメラ１２に対して正面を向いた状態でα＝０である。そして、顔向き角度αの値は、顔が近赤外カメラ１２に対して正面を向いた状態から右方向を向くほど大きくなる。一方、顔が近赤外カメラ１２に対して正面を向いた状態から左方向を向くほど、顔向き角度αの値は小さくなる。したがって、顔向き角度αの値は、顔が右方向を向くと正の値となり、左方向を向くと負の値となる。
【００３８】
以下、図３を参照して、顔向き検知マイコン１３１が、顔向き角度αを検知する手法の一例について説明する。なお、下記の顔向き検知マイコン１３１が顔向き角度αを検出する手法は一例であり、顔向き角度αを検出する手法は下記の例に限らず、従来の既知の手法を用いて構わない。
【００３９】
顔向き検知マイコン１３１は、カメラ画像中における運転者の顔の左端ＥＬ、および右端ＥＲ、および顔の中心Ｃを検出する。運転者の顔の左端ＥＬは、顔の輪郭の左の端点のＸ座標である。運転者の顔の右端ＥＲは、顔の輪郭の右の端点のＸ座標である。顔の中心Ｃは、運転者の鼻の位置のＸ座標である。顔向き検知マイコン１３１は、カメラ画像中における運転者の顔の輪郭を検出して左端ＥＬおよび右端ＥＲを検出する。また、カメラ画像中の運転者の鼻の位置を検出して顔の中心Ｃを検出する。そして、左端ＥＬから顔の中心Ｃまでの幅ＷＬを算出する。また、右端ＥＲから顔の中心Ｃまでの幅ＷＲを算出する。
【００４０】
顔向き検知マイコン１３１は、上記のようにして算出された幅ＷＬおよび幅ＷＲの値の比にもとづいて顔向き角度αを検出する。図３（ａ）に示すように、顔が近赤外カメラ１２に対して正面を向いている場合、幅ＷＲおよび幅ＷＬは同値である。一方、図３（ｂ）に示すように、顔が右を向いている場合、幅ＷＲに比べ幅ＷＬの方が大きい。すなわち、顔向き角度αの大きさに応じて、幅ＷＲおよび幅ＷＬの値の比率が変化する。そこで、顔向き検知マイコン１３１は、幅ＷＲおよび幅ＷＬの値の比率を、顔向き角度αの値に換算するデータテーブルを予め記憶し、幅ＷＲ、幅ＷＬ、および当該データテーブルにもとづいて顔向き角度αを算出する。
【００４１】
顔向き検知マイコン１３１は、顔向き角度αを検出した場合、顔向き角度αを示すデータを、人物状態判定装置１３２および車両制御システム２へ出力して処理を完了する。そして、ＥＣＵ１３は、顔向き検知マイコン１３１の処理が完了すると、処理をステップＡ４へ進める。
【００４２】
ステップＡ４において、ＥＣＵ１３は、顔向きが検出されたか否かを判定する。具体的には、上記のステップＡ３において、顔向き検知マイコン１３１が顔向き角度αを示すデータを出力したか否かを判定する。ＥＣＵ１３は、顔向きが検出されたと判断した場合、処理をステップＡ５へ進める。一方、ＥＣＵ１３は、顔向きが検出されていないと判断した場合、処理をステップＡ１へ戻す。
【００４３】
ステップＡ５において、ＥＣＵ１３は、覚醒判定処理を実行する。具体的には、ＥＣＵ１３は、後述の図５に示す覚醒判定処理を人物状態判定装置１３２に実行させる。覚醒判定処理の詳細な説明は後述するが、人物状態判定装置１３２は、覚醒判定処理において運転者が覚醒しているか否かを判定し、当該判定の結果にもとづいて覚醒判定信号、または非覚醒判定信号を車両制御システム２へ出力する。人物状態判定装置１３２の覚醒判定処理が完了すると、ＥＣＵ１３は、ステップＡ５の処理を完了し、処理をステップＡ１へ戻す。
【００４４】
上記ステップＡ４およびステップＡ５の処理によれば、ＥＣＵ１３は、運転者の顔の向きが検出された場合にのみ、人物状態判定装置１３２に運転者が覚醒しているか否かを判定させる。
【００４５】
以下、上記に説明したＥＣＵ１３のステップＡ５の処理において人物状態判定装置１３２が実行する処理について図４から図１２を参照して詳細に説明する。
【００４６】
まず、人物状態判定装置１３２が覚醒判定処理において用いる主なデータについて図４を参照して説明する。図４は、人物状態判定装置１３２が覚醒判定処理において用いる主なデータ（以下、処理用データと呼称する）を示す図である。図４に示す処理用データは、人物状態判定装置１３２が有するメモリ等の記憶手段に記憶される。処理用データには、顔幅Ｗ、顔向き角度α、鼻の位置（Ｎｘ，Ｎｙ）、左眼瞼開度ＥＬ、左眼瞼開度の閾値ＥＬｔｈ、右眼瞼開度ＥＲ、右眼瞼開度の閾値ＥＲｔｈ、閉眼フラグ、口探索範囲の中心（Ｍｘ，Ｍｙ）、口探索範囲の横幅ＭＷ、口探索範囲の縦の長さＭＨ、口角情報、笑顔フラグ、タイマーカウント値Ｃ、およびタイマーカウント値の閾値Ｃｔｈが含まれる。
【００４７】
顔幅Ｗは、カメラ画像中の運転者の顔の幅である。人物状態判定装置１３２は、カメラ画像中で顔の輪郭部分を探索して顔幅Ｗを検出する。
【００４８】
顔向き角度αは、上記に説明した運転者の顔の左右方向の角度である。人物状態判定装置１３２は、顔向き検知マイコン１３１から出力される顔向き角度αを取得する。
【００４９】
鼻の位置（Ｎｘ，Ｎｙ）は、カメラ画像中において運転者の鼻の位置を示す座標である。人物状態判定装置１３２は、カメラ画像中で鼻の部分を探索して鼻の位置（Ｎｘ，Ｎｙ）を検出する。詳細は後述するが、人物状態判定装置１３２は、口探索範囲の中心（Ｍｘ，Ｍｙ）を鼻の位置（Ｎｘ，Ｎｙ）にもとづいて設定する。
【００５０】
左眼瞼開度ＥＬは、カメラ画像中における運転者の左眼の上下瞼の間隔である。また、右眼瞼開度ＥＲは、カメラ画像中における運転者の右眼の上下瞼の間隔である。詳細は後述するが、人物状態判定装置１３２はカメラ画像中で両眼の瞼の輪郭を各々検出し、当該輪郭にもとづいて左右の眼の瞼の間隔を各々検出する。左眼瞼開度の閾値ＥＬｔｈは、左眼瞼開度ＥＬの閾値であり、予め定められた定数である。また、右眼瞼開度の閾値ＥＲｔｈは、右眼瞼開度ＥＲの閾値であり、予め定められた定数である。詳細は後述するが、人物状態判定装置１３２は、左眼瞼開度ＥＬの値が左眼瞼開度の閾値ＥＬｔｈ未満であり、且つ右眼瞼開度ＥＲの値が右眼瞼開度の閾値ＥＲｔｈ未満である場合、運転者が眼を閉じていると推定し、閉眼フラグをオンにする。閉眼フラグは運転者が眼を閉じていると推定されたか否かを示すフラグである。なお、閉眼フラグは、当該閉眼フラグがオンである場合、運転者が眼を閉じていることを示し、当該閉眼フラグがオフである場合、運転者が開眼していることを示す。
【００５１】
口探索範囲とは、カメラ画像中で運転者の口を探索する領域である。本実施形態では、口探索範囲が、カメラ画像のＸＹ座標軸と平行な４辺から成る長方形で設定される例について説明する。口探索範囲の中心（Ｍｘ，Ｍｙ）はカメラ画像中における口探索範囲の中心座標である。口探索範囲の横幅ＭＷは、カメラ画像中における口探索範囲のＸ方向の幅である。口探索範囲の縦の長さＭＨは、カメラ画像中における口探索範囲のＹ方向の長さであり、予め定められた定数である。人物状態判定装置１３２は、口探索範囲の中心（Ｍｘ，Ｍｙ）、口探索範囲の横幅ＭＷ、および口探索範囲の縦の長さＭＨにより口探索範囲を設定し、当該口探索範囲２０の領域内で運転者の口を検出する。
【００５２】
口角情報は、人物状態判定装置１３２により検出された口に関する情報である。口角情報の詳細については後述図１１において説明する。人物状態判定装置１３２は、口角情報にもとづいて運転者が笑っているか否かを推定し、笑顔フラグをオンまたはオフに切り替える。笑顔フラグは運転者が笑っていると推定されたか否かを示すフラグである。なお、笑顔フラグは、当該笑顔フラグがオンである場合、運転者が笑っていることを示し、当該笑顔フラグがオフである場合、運転者が笑っていないことを示す。
【００５３】
タイマーカウント値Ｃは、人物状態判定装置１３２が計測した時間を示すカウント値である。タイマーカウント値の閾値Ｃｔｈは、タイマーカウント値Ｃの閾値である。詳細は後述するが、人物状態判定装置１３２は、運転者が閉眼し、且つ、笑っている状態であると推定した場合、当該状態の継続時間を計測してタイマーカウント値Ｃを増加させる。そして、人物状態判定装置１３２は、タイマーカウント値Ｃがタイマーカウント値の閾値Ｃｔｈに達すると、運転者が覚醒していると判定する。
【００５４】
次に、図５を参照して人物状態判定装置１３２が実行する覚醒判定処理について説明する。図５は、人物状態判定装置１３２が実行する覚醒判定処理を示すフローチャートの一例である。
【００５５】
ステップＢ１において、人物状態判定装置１３２は、顔向き角度αを取得する。具体的には、人物状態判定装置１３２は、上記図２のステップＡ３において顔向き検知マイコン１３１が算出した顔向き角度αの値を取得する。ステップＢ１の処理を完了すると、人物状態判定装置１３２は、処理をステップＢ２へ進める。
【００５６】
ステップＢ２において、人物状態判定装置１３２は、カメラ画像中の運転者の顔幅Ｗを検出する。具体的には、例えば公知のソーベルオペレータを用いたエッジ抽出処理によって、カメラ画像中で顔の輪郭部分を探索して顔幅Ｗを検出する。そして、人物状態判定装置１３２は、検出した顔幅Ｗを示すデータを人物状態判定装置１３２が備える記憶装置に記憶する。人物状態判定装置１３２は、ステップＢ２の処理を完了すると、処理をステップＢ３へ進める。
【００５７】
ステップＢ３において、人物状態判定装置１３２は、カメラ画像中で鼻の部分を探索して鼻の位置（Ｎｘ，Ｎｙ）を検出する。具体的には、人物状態判定装置１３２は、鼻孔の位置を検出する。そして、１対の鼻孔の中間位置を鼻の位置（Ｎｘ，Ｎｙ）として検出する。人物状態判定装置１３２は、検出した鼻の位置（Ｎｘ，Ｎｙ）を示すデータを人物状態判定装置１３２が備える記憶装置に記憶する。人物状態判定装置１３２は、ステップＢ３の処理を完了すると、処理をステップＢ４へ進める。
【００５８】
上記ステップＢ３において検出される鼻孔の形状は、眼や口の形状に比べて個人差が小さい。そのため、鼻の位置は眼や口の位置に比べてより正確に検出することができる。一方、眼や口の形状は個人差が大きいため、最適な探索範囲を設定しなければ当該眼や口の位置および形状を正確に検出し難い。したがって、下記のステップＢ４およびステップＢ５の処理では、鼻の位置（Ｎｘ，Ｎｙ）を基準に最適な眼の探索範囲および口探索範囲を設定することによって、運転者の眼や口の形状を正確に検出可能とする。
【００５９】
ステップＢ４において、人物状態判定装置１３２は、閉眼推定処理を実行する。閉眼推定処理とは、図６に示す、運転者が両眼を閉じている状態か否かを推定するサブルーチン処理である。なお、図６は閉眼推定処理のサブルーチンを示すフローチャートの一例である。図６に示す閉眼推定処理の詳細については後述で説明する。人物状態判定装置１３２は、閉眼推定処理を実行し、当該処理において運転者が両眼を閉眼した状態であると推定した場合、閉眼フラグをオンに設定して記憶する。一方、人物状態判定装置１３２は、閉眼推定処理において、運転者が少なくとも左右何れかの眼を開いた状態であると推定した場合、閉眼フラグをオフに設定して記憶する。ステップＢ４の処理を完了すると、人物状態判定装置１３２は、処理をステップＢ５へ進める。
【００６０】
ステップＢ５において、人物状態判定装置１３２は、笑顔推定処理を実行する。笑顔推定処理とは、図７に示す、運転者が笑っている状態か否かを推定するサブルーチン処理である。なお、図７は笑顔推定処理のサブルーチンを示すフローチャートの一例である。図７に示す笑顔推定処理の詳細については後述で説明する。人物状態判定装置１３２は、笑顔推定処理を実行し、当該処理において運転者が笑っている状態であると推定した場合、笑顔フラグをオンに設定して記憶する。一方、人物状態判定装置１３２は、笑顔推定処理において、運転者が笑っていないと推定した場合、笑顔フラグをオフに設定して記憶する。ステップＢ５の処理を完了すると、人物状態判定装置１３２は、処理をステップＢ６へ進める。
【００６１】
ステップＢ６において、人物状態判定装置１３２は、閉眼フラグがオンであるか否かを判定する。具体的には、人物状態判定装置１３２は、ステップＢ４において設定した閉眼フラグの状態を読み出し、オンまたはオフの何れであるかを判定する。閉眼フラグがオンであった場合、すなわち運転者が眼を閉じていると推定した場合、人物状態判定装置１３２は、処理をステップＢ７へ進める。一方、閉眼フラグがオフであった場合、すなわち運転者が眼を開いていると推定した場合、人物状態判定装置１３２は、処理をステップＢ１１へ進める。
【００６２】
ステップＢ７において、人物状態判定装置１３２は、笑顔フラグがオンであるか否かを判定する。具体的には、人物状態判定装置１３２は、ステップＢ５において設定した笑顔フラグの状態を読み出し、オンまたはオフの何れであるかを判定する。笑顔フラグがオンであった場合、すなわち運転者が笑っていると推定した場合、人物状態判定装置１３２は、処理をステップＢ８へ進める。一方、笑顔フラグがオフであった場合、すなわち運転者が笑っていないと推定した場合、人物状態判定装置１３２は、処理をステップＢ１０へ進める。
【００６３】
ステップＢ８において、人物状態判定装置１３２は、タイマーをカウントアップする。具体的には、人物状態判定装置１３２は、記憶しているタイマーカウント値Ｃに、例えば１などの定数を加算し、加算後のタイマーカウント値Ｃを記憶装置に上書きして記憶する。ステップＢ８の処理を完了すると、人物状態判定装置１３２は、処理をステップＢ９へ進める。
【００６４】
ステップＢ９において、人物状態判定装置１３２は、タイマーカウント値Ｃがタイマーカウント値の閾値Ｃｔｈに達したか否かを判定する。具体的には、人物状態判定装置１３２は、記憶装置に記憶したタイマーカウント値Ｃおよびタイマーカウント値の閾値Ｃｔｈを読み出し、各々の値の大きさを比較する。タイマーカウント値Ｃがタイマーカウント値の閾値Ｃｔｈに達している場合、人物状態判定装置１３２は、処理をステップＢ１３へ進める。一方、タイマーカウント値Ｃがタイマーカウント値の閾値Ｃｔｈに達していない場合、人物状態判定装置１３２は、処理をステップＢ１４へ進める。
【００６５】
ステップＢ１０において、人物状態判定装置１３２は、タイマーを初期化する。具体的には、人物状態判定装置１３２は、記憶装置に記憶したタイマーカウント値Ｃの値を初期化する。ステップＢ１０の処理を完了すると、人物状態判定装置１３２は、処理をステップＢ１４へ進める。
【００６６】
ステップＢ１１において、人物状態判定装置１３２は、タイマーを初期化する。具体的には、人物状態判定装置１３２は、ステップＢ１０と同様に、記憶装置に記憶したタイマーカウント値Ｃの値を初期化する。ステップＢ１１の処理を完了すると、人物状態判定装置１３２は、処理をステップＢ１２へ進める。
【００６７】
ステップＢ１２において、人物状態判定装置１３２は、口角度を学習する。詳細は後述するが、口角度は、カメラ画像中の運転者の口の形状に関する情報であり、上記ステップＢ５の処理において算出される。人物状態判定装置１３２は、口角度を学習情報として記憶する。人物状態判定装置１３２は、上述のステップＢ５の処理で運転者が笑顔であるか否かを推定する際に上記学習情報を用いる。ステップＢ１２の処理を完了すると、人物状態判定装置１３２は、処理をステップＢ１３へ進める。
【００６８】
ステップＢ１３において、人物状態判定装置１３２は、覚醒判定信号を出力する。具体的には、人物状態判定装置１３２は、覚醒判定信号を車両制御システム２へ出力する。ステップＢ１３の処理を完了すると、人物状態判定装置１３２は、覚醒判定処理のサブルーチンを完了し、処理を図２に示すフローチャートのステップＡ１へ戻す。
【００６９】
ステップＢ１４において、人物状態判定装置１３２は、非覚醒判定信号を出力する。具体的には、人物状態判定装置１３２は、非覚醒判定信号を車両制御システム２へ出力する。ステップＢ１４の処理を完了すると、人物状態判定装置１３２は、覚醒判定処理のサブルーチンを完了し、処理を図２に示すフローチャートのステップＡ１へ戻す。
【００７０】
上記のステップＢ６からステップＢ１４の処理によれば、閉眼フラグがオン、且つ笑顔フラグがオンである場合、人物状態判定装置１３２は、タイマーにより当該状態の持続時間を計測する。そして、人物状態判定装置１３２は、上記持続時間がタイマーカウント値の閾値Ｃｔｈにより決定される所定の時間に達した場合、覚醒判定信号を出力する。すなわち、人物状態判定装置１３２は、運転者が笑いながら眼を細めていると推定される状態で所定の時間を経過すると、運転者が覚醒していると判定する。また、人物状態判定装置１３２は、閉眼フラグがオフである場合、すなわち、運転者が両眼とも開いた状態であると推定した場合、運転者は覚醒していると判定して覚醒判定信号を出力する。
【００７１】
一方で、閉眼フラグがオンであっても笑顔フラグがオフである場合、すなわち、運転者が眼を閉じ、且つ、笑っていないと推定した場合、人物状態判定装置１３２は、運転者が覚醒していないと判定し、非覚醒判定信号を出力する。また、閉眼フラグがオン、且つ笑顔フラグがオンである場合であっても、タイマーカウントＣがタイマーカウント値の閾値Ｃｔｈに達していない間は、人物状態判定装置１３２は、運転者が覚醒していないと判定し、非覚醒判定信号を出力する。
【００７２】
なお、人物状態判定装置１３２は、閉眼フラグがオフであった場合、口角度を学習する。すなわち、人物状態判定装置１３２は、運転者の眼が開いている状態での口角度を学習する。詳細は後述するが、人物状態判定装置１３２は、上記学習結果にもとづいて運転者が笑っているか否かを判定することによって、運転者が笑っているか否かをより正確に推定することができる。
【００７３】
上記の覚醒判定処理によれば、人物状態判定装置１３２は、運転者が眼を細めて笑っている場合、運転者が覚醒していないと誤判定することを防ぐことができる。
【００７４】
次に、上記に説明した覚醒判定処理のステップＢ４において人物状態判定装置１３２が実行する閉眼推定処理の詳細について図６を参照して説明する。なお、下記の閉眼推定処理は一例であり、人物状態判定装置１３２が運転者が閉眼しているか否かを推定する手法は下記の例に限らず、従来の既知の手法を用いて構わない。
【００７５】
ステップＣ１において、人物状態判定装置１３２は、左眼瞼開度ＥＬを算出する。具体的には、まず、人物状態判定装置１３２は、カメラ画像中で運転者の左眼を検出する。次に、人物状態判定装置１３２は、例えば公知のソーベルオペレータを用いたエッジ抽出処理などによって、左眼の上瞼の輪郭および下瞼の輪郭を検出する。そして、人物状態判定装置１３２は、左眼の上瞼の輪郭から下瞼の輪郭までのＹ方向の距離の最大値を算出し、当該最大値を左眼瞼開度ＥＬとして記憶装置に記憶する（図８参照）。ステップＣ１の処理を完了すると、人物状態判定装置１３２は、処理をステップＣ２へ進める。
【００７６】
ステップＣ２において、人物状態判定装置１３２は、右眼瞼開度ＥＲを算出する。具体的には、人物状態判定装置１３２は、ステップＣ１と同様の方法で右眼瞼開度ＥＲを算出し、記憶装置に記憶する（図８参照）。ステップＣ２の処理を完了すると、人物状態判定装置１３２は、処理をステップＣ３へ進める。
【００７７】
ステップＣ３において、左眼瞼開度ＥＬが閾値ＥＬｔｈ未満であるか否かを判定する。具体的には、人物状態判定装置１３２は、記憶装置に記憶した左眼瞼開度ＥＬおよび左眼瞼開度の閾値ＥＬｔｈを読み出し、各々の値の大きさを比較する。タイマーカウント値Ｃがタイマーカウント値の閾値Ｃｔｈ未満である場合、人物状態判定装置１３２は、処理をステップＣ４へ進める。一方、タイマーカウント値Ｃがタイマーカウント値の閾値Ｃｔｈ以上である場合、人物状態判定装置１３２は、処理をステップＣ６へ進める。
【００７８】
上記ステップＣ３の処理によれば、運転者の左眼が閉じているか否かを推定することができる。
【００７９】
ステップＣ４において、右眼瞼開度ＥＲが閾値ＥＲｔｈ未満であるか否かを判定する。具体的には、人物状態判定装置１３２は、記憶装置に記憶した右眼瞼開度ＥＲおよび右眼瞼開度の閾値ＥＲｔｈを読み出し、各々の値の大きさを比較する。タイマーカウント値Ｃがタイマーカウント値の閾値Ｃｔｈ未満である場合、人物状態判定装置１３２は、処理をステップＣ５へ進める。一方、タイマーカウント値Ｃがタイマーカウント値の閾値Ｃｔｈ以上である場合、人物状態判定装置１３２は、処理をステップＣ６へ進める。
【００８０】
上記ステップＣ４の処理によれば、運転者の右眼が閉じているか否かを推定することができる。
【００８１】
ステップＣ５において、人物状態判定装置１３２は、閉眼フラグをオンにする。具体的には、人物状態判定装置１３２は、閉眼フラグをオンに設定し、当該閉眼フラグの状態を記憶装置に記憶する。ステップＣ５の処理を完了すると、人物状態判定装置１３２は、閉眼推定処理のサブルーチンを完了し、処理を図５に示す覚醒判定処理のステップＢ５へ進める。
【００８２】
ステップＣ６において、人物状態判定装置１３２は、閉眼フラグをオフにする。具体的には、人物状態判定装置１３２は、閉眼フラグをオフに設定し、当該閉眼フラグの状態を記憶装置に記憶する。ステップＣ６の処理を完了すると、人物状態判定装置１３２は、閉眼推定処理のサブルーチンを完了し、処理を図５に示す覚醒判定処理のステップＢ５へ進める。
【００８３】
上記ステップＣ１からＣ６の処理によれば、左眼瞼開度および右眼瞼開度が各々の閾値未満である場合、すなわち左右両眼が閉じていると推定された場合に閉眼フラグがオンとなる。また、左眼瞼開度または右眼瞼開度の何れかが各々閾値以上である場合、すなわち左右両眼の少なくとも何れかが開いていると推定された場合には閉眼フラグがオフとなる。
【００８４】
次に、上記に説明した覚醒判定処理のステップＢ５において人物状態判定装置１３２が実行する笑顔推定処理の詳細について図７を参照して説明する。
【００８５】
ステップＤ１において、人物状態判定装置１３２は、口探索範囲２０を設定する。図８を参照して口探索範囲の設定方法について具体的に説明する。なお、図８は、カメラ画像中で設定された口探索範囲２０を示す図である。
【００８６】
まず、人物状態判定装置１３２は、口探索範囲２０の横幅ＭＷを算出する。カメラ画像中の運転者の口の大きさは、運転者の顔の向きに応じて変化するため、顔向き角度αの値に応じて最適な大きさに変更することが望ましい。そのため、人物状態判定装置１３２は、顔向き角度αの値を口探索範囲２０の横幅ＭＷの値に換算するデータテーブルを予め記憶し、顔向き角度αおよび該データテーブルにもとづいて口探索範囲２０の横幅ＭＷを算出する。
【００８７】
次に、人物状態判定装置１３２は、覚醒判定処理のステップＢ３において検出した鼻の位置（Ｎｘ，Ｎｙ）にもとづいて下式により口探索範囲の中心（Ｍｘ，Ｍｙ）を算出する。
Ｍｘ＝Ｎｘ
Ｍｙ＝Ｎｙ−ΔＭ
なお、ΔＭは予め人物状態判定装置１３２の記憶装置に記憶される定数である。人物の口の位置と鼻の位置との相対的な位置関係は個人差が少ないため、鼻の位置が既知であれば上記のような式で概ねの口の位置を推定することができる。人物状態判定装置１３２は、上記のように求めた口探索範囲の中心（Ｍｘ，Ｍｙ）を中心として、横幅ＭＷおよび縦の長さＭＨの範囲を口探索範囲２０として設定する。人物状態判定装置１３２は、ステップＤ１の処理を完了すると、処理をステップＤ２へ進める。
【００８８】
なお、上記ステップＤ１の処理の説明では、人物状態判定装置１３２が、口探索範囲２０を長方形に設定する例を示したが、上記のような長方形に限らず、口探索範囲２０は運転者の口部分を包含する領域に設定可能であれば他の種々の形状として良い。例えば、人物状態判定装置１３２は、口探索範囲２０を楕円などの形状に設定しても構わない。
【００８９】
ステップＤ２において、人物状態判定装置１３２は、唇境界線を検出する。具体的には、人物状態判定装置１３２は、口探索範囲２０内において、上下方向から、例えば公知のソーベルオペレータを用いたエッジ抽出処理などによって、唇境界線３０を検出する。図９に唇境界線３０を示す。なお、図９は、カメラ画像中における運転者の口の拡大図である。人物状態判定装置１３２は、ステップＤ２の処理を完了すると、処理をステップＤ３へ進める。
【００９０】
ステップＤ３において、人物状態判定装置１３２は、線分対を抽出する。人物状態判定装置１３２が、線分対を抽出する処理について図９および図１０を参照して説明する。まず、人物状態判定装置１３２は、図９に示すように唇境界線３０をＮ等分（Ｎは整数）する。なお、本実施形態では、一例としてＮ＝８の場合、すなわち、唇境界線を８等分する例について説明する。次に、人物状態判定装置１３２は、図１０に示すようにＮ等分された唇境界線を各々直線近似する。なお、図１０は直線近似された唇境界線を示す図である。ここで、説明のため、直線近似して得られた線分を、各々、画像の左から順に線分３１から線分３８として符号を付す。上記の処理により得られた線分３１〜３８は、唇境界線３０の両端からＭ番目（Ｍは整数）の線分同士を１組の線分対として後述の処理において処理される。例えば、Ｍ＝１番目の線分対をＰ１とすると、線分対Ｐ１は線分３１および線分３８により構成され、Ｍ＝２番目の線分対をＰ２とすると、線分対Ｐ２は線分３２および線分３７により構成される。上記のステップＤ３の処理を完了すると、人物状態判定装置１３２は、処理をステップＤ４へ進める。
【００９１】
人物状態判定装置１３２は、下記ステップＤ４からステップＤ６の処理により、指定された複数の線分対毎に、運転者が笑っているか否かを仮に推定し、当該結果を示すフラグ（笑顔仮フラグ）を設定する。そして、人物状態判定装置１３２は、後述ステップＤ７の処理において、線分対毎に設定した笑顔仮フラグを総合的に判断して、最終的に運転者が笑っているか否かを推定し、笑顔推定フラグを設定する。
【００９２】
ステップＤ４において、人物状態判定装置１３２は、指定線分対のうち１つの線分対を選択する。指定線分対とは、後述のステップＤ５以後の処理において運転者が笑っているか否かの仮の推定を行う対象となる線分対である。人物状態判定装置１３２は、どの線分対を指定線分対とするか決定するため、指定番号Ｑを予め記憶する。上記指定番号Ｑは、上述ステップＤ３の説明におけるＭに相当し、例えば、人物状態判定装置１３２が、指定番号Ｑとして１および２を予め記憶している場合、唇境界線の両端から１番目の線分対Ｐ１および２番目の線分対Ｐ２が指定線分対となる。人物状態判定装置１３２は、上記のようにして定められる指定線分対から１つを選択する。以下、本ステップＤ４において選択された指定線分対を選択線分対と呼称する。ステップＤ４の処理を完了すると、人物状態判定装置１３２は、処理をステップＤ５へ進める。
【００９３】
上記ステップＤ３およびステップＤ４の処理によれば、人物状態判定装置１３２は、近赤外カメラ１２と運転者の顔との拒理が変化して、カメラ画像中に映る運転者の口の大きさが変化した場合であっても、唇境界線の所定の箇所を線分対として抽出し、選択することができる。
【００９４】
ステップＤ５において、人物状態判定装置１３２は、笑顔仮フラグ設定処理を実行する。笑顔仮フラグ設定処理は、運転者が笑っているか否かを選択線分対にもとづいて仮に推定する処理である。ここで、図１１および図１２を参照して、笑顔仮フラグ設定処理について説明する。なお、図１１は笑顔仮フラグ設定処理において処理される口角情報のデータを示す図である。また、図１２は、笑顔仮フラグ設定処理のサブルーチンを示すフローチャートの一例である。
【００９５】
まず、図１１を参照して、笑顔仮フラグ設定処理において処理される口角情報のデータについて説明する。人物状態判定装置１３２は、口角情報として、指定線分対毎に、左口角度θＬ、右口角度θＲ、学習情報、合算値Σθ、合算値の閾値Σθｔｈ、平均左口角度ＡθＬ、平均右口角度ＡθＲ、左口角上位偏差σθＬ、右口角上位偏差σθＲ、および笑顔仮フラグを記憶し、処理する。
【００９６】
左口角度θＬは、線分対を成す線分のうち運転者から見て左側の線分と水平線とが成す角度である。線分対Ｐ１の左口角度θＬをθＬ＿Ｐ１とすると、図１０に示すように、左口角度θＬ＿Ｐ１は、線分３８と水平線が成す角度である。一方、右口角度θＲは、線分対を成す線分のうち運転者から見て右側の線分と水平線とが成す角度である。したがって、右口角度θＲをθＲ＿Ｐ１とすると、図１０に示すように、右口角度θＲ＿Ｐ１は、線分３１と水平線が成す角度である。運転者が笑顔である場合、唇境界線が湾曲し、左口角度θＬおよび右口角度θＲの値は大きくなる。なお、上記覚醒判定処理のステップＢ１２において説明した口角度とは、上記左口角度θＬおよび右口角度θＲの総称である。上記の通り、口角度は運転者が笑っているか否かに応じてその大きさが変化するため、口角度を用いて運転者が笑っているか否かを推定することができる。
【００９７】
合算値Σθは当該線分対の最新の左口角度θＬおよび右口角度θＲの値を合算した合算値であり、下式で表せる。
Σθ＝θＬ＋θＲ
運転者が笑顔である場合、左口角度θＬおよび右口角度θＲの値は大きくなるため、合算値Σθは大きくなる。
【００９８】
学習情報は、上記覚醒判定処理のステップＢ１２において記憶された複数の口角度のデータ群の総称である。人物状態判定装置１３２は、口角度を、新しく算出した順に定められた数だけ学習情報として記憶装置に記憶する。なお、本実施形態では、人物状態判定装置１３２が左口角度θＬおよび右口角度θＲを最新３つまで記憶するものとして説明する。学習情報として記憶された左口角度の値を、新しく記憶された順にθＬ１、θＬ２、およびθＬ３とする。同様に、学習情報として記憶された右口角度の値を、新しく記憶された順にθＲ１、θＲ２、およびθＲ３とする。口角度を学習情報として記憶する処理は、人物状態判定装置１３２により、上記覚醒判定処理のステップＢ１２において実行される。このとき、人物状態判定装置１３２は、３つまで口角度のデータを記憶するため、記憶されている学習情報のうち最も古い口角度のデータを最新の口角度のデータで上書きする。
【００９９】
平均左口角度ＡθＬは、学習情報として記憶された選択線分対の左口角度θＬの平均値である。また、平均右口角度ＡθＲは、学習情報として記憶された選択線分対の右口角度θＲの平均値である。
【０１００】
左口角上位偏差σθＬは、学習情報として記憶された選択線分対の左口角度θＬのうち、平均左口角度ＡθＬより大きな値を有する左口角度θＬの標準偏差である。また、右口角上位偏差σθＲは、学習情報として記憶された選択線分対の右口角度θＲのうち、平均右口角度ＡθＲより大きな値を有する右口角度θＲの標準偏差である。
【０１０１】
合算値の閾値Σθｔｈは、合算値Σθの閾値である。詳細は後述するが、合算値の閾値Σθｔｈは、記憶されている口角度にもとづいて算出される。人物状態判定装置１３２は、合算値Σθの値が合算値の閾値Σθｔｈ以上であるか否かに応じて、笑顔仮フラグをオンまたはオフに設定する。
【０１０２】
笑顔仮フラグは、選択線分対にもとづいて運転者が笑っているか否かを仮に推定した結果を示すフラグである。笑顔仮フラグがオンである場合、当該選択線分対にもとづいて運転者が笑っていると推定されたことが示される。一方、笑顔仮フラグがオフである場合、当該選択線分対にもとづいて運転者が笑っていないと推定されたことが示される。詳細は後述するが、人物状態判定装置１３２は、選択線分対の合算値Σθおよび合算値の閾値Σθｔｈにもとづいて笑顔仮フラグをオンまたはオフに設定する。
【０１０３】
次に、図１２を参照して笑顔仮フラグ設定処理のサブルーチンについて説明する。
【０１０４】
ステップＥ１において、人物状態判定装置１３２は、口角度を算出する。具体的には、人物状態判定装置１３２は、選択線分対の口角度、すなわち左口角度θＬおよび右口角度θＲを算出して記憶装置に記憶する。例えば、人物状態判定装置１３２は、線分対Ｐ１を選択線分対として選択している場合、左口角度θＬ＿Ｐ１および右口角度θＲ＿Ｐ１を算出して記憶する。ステップＥ１の処理を完了すると、人物状態判定装置１３２は、処理をステップＥ２へ進める。
【０１０５】
ステップＥ２において、人物状態判定装置１３２は、口角度の合算値を算出する。具体的には、人物状態判定装置１３２は、ステップＥ１において算出した最新の左口角度θＬおよび右口角度θＲの値を読み出し、当該値にもとづいて上述の式から合算値Σθを算出して記憶する。ステップＥ２の処理を完了すると、人物状態判定装置１３２は、処理をステップＥ３へ進める。
【０１０６】
ステップＥ３において、人物状態判定装置１３２は、合算値の閾値Σθｔｈを算出する。具体的には、まず、人物状態判定装置１３２は、学習情報として記憶した左口角度にもとづいて平均左口角度ＡθＬを算出する。次に、人物状態判定装置１３２は、算出した平均左口角度ＡθＬにもとづいて左口角上位偏差σθＬを算出する。同様に、人物状態判定装置１３２は、平均右口角度ＡθＲおよび右口角上位偏差σθＲを算出する。次に、人物状態判定装置１３２は、下式により合算値の閾値Σθｔｈを算出して記憶する。
Σθｔｈ＝３（σθＬ＋σθＲ）×ε
なお、上式中εは予め定められた係数である。ステップＥ３の処理を完了すると、人物状態判定装置１３２は、処理をステップＥ４へ進める。
【０１０７】
上記ステップＥ３および覚醒判定処理のステップＢ１２の処理によれば、人物状態判定装置１３２は、運転者が開眼した状態における口の形状を予め学習し、当該学習した学習情報にもとづいて合算値の閾値Σθｔｈを算出することができる。
【０１０８】
ステップＥ４において、人物状態判定装置１３２は、合算値Σθが合算値の閾値Σθｔｈ以上であるか否かを判定する。具体的には、人物状態判定装置１３２は、記憶装置から合算値Σθおよび合算値の閾値Σθｔｈの値を読み出し、各々の大小を比較する。人物状態判定装置１３２は、合算値Σθが合算値の閾値Σθｔｈ以上である場合、処理をステップＥ５へ進める。一方、人物状態判定装置１３２は、合算値Σθが合算値の閾値Σθｔｈ未満である場合、処理をステップＥ６へ進める。
【０１０９】
ステップＥ５において、人物状態判定装置１３２は、選択線分対の笑顔仮フラグをオンにする。具体的には、人物状態判定装置１３２は、選択線分対の笑顔仮フラグをオンに設定し、当該設定を記憶装置に記憶する。ステップＥ５の処理を完了すると、人物状態判定装置１３２は、笑顔仮フラグ設定処理を完了して、処理を図７に示す笑顔推定処理のステップＤ６へ進める。
【０１１０】
ステップＥ６において、人物状態判定装置１３２は、選択線分対の笑顔仮フラグをオフにする。具体的には、人物状態判定装置１３２は、選択線分対の笑顔仮フラグをオフに設定し、当該設定を記憶装置に記憶する。ステップＥ６の処理を完了すると、人物状態判定装置１３２は、笑顔仮フラグ設定処理を完了して、処理を図７に示す笑顔推定処理のステップＤ６へ進める。
【０１１１】
上記ステップＥ４からステップＥ６の処理により、人物状態判定装置１３２は、合算値Σθが合算値の閾値Σθｔｈ以上である場合、笑顔仮フラグをオンに設定する。一方、人物状態判定装置１３２は、合算値Σθが合算値の閾値Σθｔｈ未満である場合、笑顔仮フラグをオフに設定する。
【０１１２】
ステップＥ４からステップＥ６の処理によれば、人物状態判定装置１３２は、学習結果を反映した合算値の閾値Σθｔｈにもとづいて人物が笑っているか否かを判定することができる。したがって、人物状態判定装置１３２は、運転者の通常の状態での口の形状と、運転者が笑っている状態での口の形状との差異を識別し易くなり、運転者が笑っているか否かをより正確に推定することができる。
【０１１３】
以上に説明した笑顔仮フラグ設定処理によれば、人物状態判定装置１３２は、運転者が眼を閉じていない状態、すなわち笑っていない状態での当該線分対の口角度の学習結果にもとづいて運転者が笑っているかいないかを仮に推定して、笑顔仮フラグを設定することができる。
【０１１４】
なお、上記の笑顔仮フラグ設定処理において、唇境界線の端部を指定線分対として指定すれば、口の端部形状に応じて運転者が笑っているか否かを仮に推定することができる。口の端部の形状は運転者が笑っている場合に顕著に変化するため、上記の笑顔仮フラグ設定処理によれば、運転者が笑っているか否かを正確に判定することができる。
【０１１５】
図７のフローチャートの説明に戻り、ステップＤ６において、人物状態判定装置１３２は、全ての指定線分対を選択したか否かを判定する。人物状態判定装置１３２は、全ての指定線分対を選択した場合、処理をステップＤ７に進める。一方、人物状態判定装置１３２は、全ての指定線分対を選択していない場合、処理をステップＤ４に戻し、未選択の指定線分対を選択する。なお、最終的に全ての指定線分対について各々笑顔仮フラグを設定可能であれば、人物状態判定装置１３２が指定線分対を選択する順序は、予め定めていても良いし、ランダムに決定しても構わない。
【０１１６】
ステップＤ７において、人物状態判定装置１３２は、全ての笑顔仮フラグがオンであるか否かを判定する。人物状態判定装置１３２は、全ての笑顔仮フラグがオンである場合、処理をステップＤ８へ進める。一方、人物状態判定装置１３２は、指定線分対の笑顔仮フラグの何れかがオフである場合、処理をステップＤ８へ進める。
【０１１７】
ステップＤ８において、人物状態判定装置１３２は、笑顔フラグをオンに設定する。人物状態判定装置１３２は、ステップＤ８の処理を完了すると、笑顔推定処理を完了し、処理を覚醒判定処理のステップＢ６へ進める。
【０１１８】
ステップＤ９において、人物状態判定装置１３２は、笑顔フラグをオフに設定する。人物状態判定装置１３２は、ステップＤ９の処理を完了すると、笑顔推定処理を完了し、処理を覚醒判定処理のステップＢ６へ進める。
【０１１９】
上記ステップＤ７からステップＤ９の処理によれば、人物状態判定装置１３２は、全ての笑顔仮フラグがオンである場合、笑顔フラグをオンに設定し、指定線分対の笑顔仮フラグの何れかがオフである場合、笑顔フラグをオフに設定する。
【０１２０】
以上に説明した笑顔推定処理によれば、人物状態判定装置１３２は、運転者の線分対を抽出し、当該線分対毎に、すなわち口の部分的な形状毎に運転者が笑っているか否かを仮に推定することにより、運転者が笑っているか否かを正確に推定することができる。
【０１２１】
なお、上記第１の実施形態では、笑顔推定処理のステップＤ４の処理において、人物状態判定装置１３２が、指定線分対として２組の線分対を用いる例を示したが、人物状態判定装置１３２が処理する指定線分対の数は上記に限らず、１組以上の線分対を指定線分対として用いれば良い。
【０１２２】
また、上記第１の実施形態では、人物状態判定装置１３２が学習情報として記憶する口角度の数を３つとした例を示したが、記憶する口角度のデータ数は上記に限らず、より多くのデータを記憶しても良いし、より少ないデータを記憶しても構わない。また、合算値の閾値Σθｔｈを学習情報から算出せず、予め定めた固定値とするならば、覚醒判定処理のステップＢ１２の処理を省略し、学習情報を記憶しないようにしても良い。
【０１２３】
また、上記第１の実施形態では、笑顔仮フラグ設定処理のステップＥ１において、人物状態判定装置１３２が、水平線と線分とが成す角度を口角度として算出する例を示したが、水平線に限らず画像中において予め定めた基準線と線分とが成す角度を口角度としても構わない。
【０１２４】
また、上記第１の実施形態では、笑顔仮フラグ設定処理のステップＥ３において、人物状態判定装置１３２が、学習情報のうち、平均より大きな角度の標準偏差にもとづいて合算値の閾値Σθｔｈを算出する例を示したが、合算値の閾値Σθｔｈの決定方法は上記に限らない。例えば、合算値の閾値Σθｔｈは、人物状態判定装置１３２により他のパラメータにもとづいて算出しても構わないし、実験的に求めた固定値を予め記憶しておいても構わない。
【０１２５】
（第２の実施形態）
上記第１の実施形態の笑顔推定処理のステップＤ３では、人物状態判定装置１３２が、Ｎ等分した唇境界線を直線近似して線分対を抽出する例について説明したが、人物状態判定装置１３２は、Ｎ等分した境界線を円弧に近似して円弧対を抽出し、当該円弧対にもとづいて運転者が笑っているか否かを推定しても構わない。以下、人物状態判定装置１３２が、Ｎ等分した境界線を円弧に近似して円弧対を抽出し、当該円弧対にもとづいて運転者が笑っているか否かを推定する処理について図１３および図１４を参照して説明する。なお、第２の実施形態に係る人物状態判定装置１３２および人物状態判定装置１３２を含む運転者監視システムの構成については、第１の実施形態に係る構成と同様であるため、説明を省略する。
【０１２６】
第２の実施形態に係る人物状態判定装置１３２が実行する処理は、笑顔推定処理のステップＤ３からステップＤ５の処理が異なるのみで、他の処理は上記第１の実施形態の処理と同様である。以下、第２の実施形態に係る人物状態判定装置１３２が実行する処理のうち、第１の実施形態と異なる処理について説明する。
【０１２７】
ステップＤ３において、人物状態判定装置１３２は、円弧対を抽出する。人物状態判定装置１３２が、線分対を抽出する処理について図１３を参照して説明する。なお、図１３は、円弧近似された唇境界線を示す図である。図１３は、運転者が笑っていない状態の唇境界線を円弧近似した様子を示す。まず、人物状態判定装置１３２は、図１３に示すように唇境界線３０をＮ等分（Ｎは整数）する。なお、第２の実施形態では、一例としてＮ＝４の場合、すなわち、唇境界線を４等分する例について説明する。次に、人物状態判定装置１３２は、図１３（ａ）に示すようにＮ等分された唇境界線を各々円弧に近似する。ここで、説明のため、円弧近似して得られた円弧を、各々、画像の左から順に円弧４１から円弧４４として符号を付す。上記の処理により得られた円弧４１から円弧４４は、唇境界線３０の両端からＭ番目（Ｍは整数）の円弧同士を１組の円弧対として処理される。例えば、Ｍ＝１番目の円弧対をＰａ１とすると、円弧対Ｐａ１は円弧４１および円弧４４により構成され、Ｍ＝２番目の円弧対をＰａ２とすると、円弧対Ｐａ２は円弧４２および円弧４３により構成される。上記のステップＤ３の処理を完了すると、人物状態判定装置１３２は、処理をステップＤ４へ進める。
【０１２８】
ステップＤ４において、人物状態判定装置１３２は、指定円弧対から１対を選択する。指定円弧対は、後述のステップＤ５以後の処理において運転者が笑っているか否かの仮の推定を行う対象となる円弧対である。人物状態判定装置１３２は、どの円弧対を指定円弧対とするか決定するため、予め指定番号Ｑを予め記憶する。上記指定番号Ｑは、上述ステップＤ３の説明におけるＭに相当し、例えば、人物状態判定装置１３２が、指定番号Ｑとして１および２を予め記憶している場合、唇境界線の両端から１番目の円弧対Ｐａ１および２番目の円弧対Ｐａ２が指定円弧対となる。人物状態判定装置１３２は、上記のようにして定められる指定円弧対から１つを選択する。以下、本ステップＤ４において選択された指定円弧対を選択円弧対と呼称し、以下、人物状態判定装置１３２が、円弧対Ｐａ１を選択した例について説明する。ステップＤ４の処理を完了すると、人物状態判定装置１３２は、処理をステップＤ５へ進める。
【０１２９】
ステップＤ５において、人物状態判定装置１３２は、笑顔仮フラグ設定処理を実行する。以下、第２の実施形態に係る笑顔仮フラグ設定処理について説明する。
【０１３０】
まず、第２の実施形態に係る笑顔仮フラグ設定処理において処理されるデータについて説明する。人物状態判定装置１３２は、指定円弧対毎に、左円弧径ＲＬ、右円弧径ＲＲ、学習情報、合算値ΣＲ、合算値の閾値ΣＲｔｈ、平均左円弧径ＡＲＬ、平均右円弧径ＡＲＲ、左円弧径上位偏差σＲＬ、右円弧径上位偏差σＲＲ、および笑顔仮フラグを記憶し、処理する。
【０１３１】
第２の実施形態に係る人物状態判定装置１３２は、口角度の代わりに左円弧径ＲＬおよび右円弧径ＲＲを用いて笑顔仮フラグを設定する。左円弧径ＲＬは、円弧対を成す線分のうち運転者から見て左側の円弧の半径である。一方、右円弧径ＲＲは、円弧対を成す線分のうち運転者から見て右側の円弧の半径である。左円弧径ＲＬおよび左円弧径ＲＬを総称して円弧径と呼称する。
【０１３２】
図１３に示すように、円弧対Ｐａ１の左円弧径をＲＬ＿Ｐａ１とし、円弧対Ｐａ１の右円弧径をＲＲ＿Ｐａ１とする。ここで、運転者が笑った場合、図１４に示すように円弧径が変化する。なお、図１４は、運転者が笑った状態の唇境界線を円弧近似した様子を示す図である。運転者が笑顔である場合、唇境界線が湾曲するため、図１３に示す左円弧径ＲＬ＿Ｐａ１に比べ、図１４に示す左円弧径ＲＬ＿Ｐａ１は小さくなる。同様に、図１３に示す右円弧径ＲＲ＿Ｐａ１に比べ、図１４に示す右円弧径ＲＲ＿Ｐａ１は小さくなる。上記の通り、円弧径は運転者が笑っているか否かに応じてその大きさが変化するため、円弧径を用いて運転者が笑っているか否かを推定することができる。
【０１３３】
合算値ΣＲは当該円弧対の最新の左円弧径ＲＬおよび右円弧径ＲＲの値を合算した合算値であり、下式で表せる。
ΣＲ＝ＲＬ＋ＲＲ
運転者が笑顔である場合、左円弧径ＲＬおよび右円弧径ＲＲの値は大きくなるため、合算値ΣＲは大きくなる。
【０１３４】
次に、第２の実施形態に係る笑顔仮フラグ設定処理のサブルーチンについて説明する。
【０１３５】
ステップＥ１において、人物状態判定装置１３２は、円弧径を算出する。具体的には、人物状態判定装置１３２は、選択円弧対の円弧径、すなわち左円弧径ＲＬおよび右円弧径ＲＲを算出して記憶装置に記憶する。例えば、人物状態判定装置１３２は、線分対Ｐ１を選択線分対として選択している場合、左円弧径ＲＬ＿Ｐａ１および右円弧径ＲＲ＿Ｐ１を算出して記憶する。ステップＥ１の処理を完了すると、人物状態判定装置１３２は、処理をステップＥ２へ進める。
【０１３６】
ステップＥ２において、人物状態判定装置１３２は、円弧径の合算値を算出する。具体的には、人物状態判定装置１３２は、ステップＥ１において算出した最新の左円弧径ＲＬおよび右円弧径ＲＲの値を読み出し、当該値にもとづいて上述の式から合算値ΣＲを算出して記憶する。ステップＥ２の処理を完了すると、人物状態判定装置１３２は、処理をステップＥ３へ進める。
【０１３７】
ステップＥ３において、人物状態判定装置１３２は、合算値の閾値ΣＲｔｈを算出する。人物状態判定装置１３２は、第１の実施形態と同様にして予め円弧径を学習しておき、合算値の閾値ΣＲｔｈを算出する。ステップＥ３の処理を完了すると、人物状態判定装置１３２は、処理をステップＥ４へ進める。
【０１３８】
ステップＥ４において、人物状態判定装置１３２は、合算値ΣＲが合算値の閾値ΣＲｔｈ以下であるか否かを判定する。具体的には、人物状態判定装置１３２は、記憶装置から合算値ΣＲおよび合算値の閾値ΣＲｔｈの値を読み出し、各々の大小を比較する。人物状態判定装置１３２は、合算値ΣＲが合算値の閾値ΣＲｔｈ以下である場合、処理をステップＥ５へ進める。一方、人物状態判定装置１３２は、合算値ΣＲが合算値の閾値ΣＲｔｈより大きい場合、処理をステップＥ６へ進める。
【０１３９】
ステップＥ５、およびステップＥ６の処理は第１の実施形態と同様であるので説明を省略する。
【０１４０】
上記ステップＥ４からステップＥ６の処理により、人物状態判定装置１３２は、合算値ΣＲが合算値の閾値ΣＲｔｈ以下である場合、笑顔仮フラグをオンに設定する。一方、人物状態判定装置１３２は、合算値ΣＲが合算値の閾値ΣＲｔｈより大きい場合、笑顔仮フラグをオフに設定する。上記のように口角度の代わりに円弧径を用いた場合も、第１の実施形態と同様に運転者が笑っているか否かを仮に推定して、笑顔仮フラグを設定することができる。
【０１４１】
なお、上記第２の実施形態では、人物状態判定装置１３２が、合算値ΣＲが合算値の閾値ΣＲｔｈより大きいか否かに応じて笑顔仮フラグを設定する例について説明したが、笑顔仮フラグを設定する方法は上記に限らない。例えば、下記２式の条件の少なくとも何れかが満たされた場合に笑顔仮フラグをオンとし、下記の２式の何れも満たされない場合、笑顔仮フラグをオフとしても良い。
ＲＬ≦Ｒｔｈ−ρ
ＲＲ≦Ｒｔｈ−τ
なお、上式のρおよびτは予め定められた定数である。上記のように笑顔仮フラグを設定することにより、円弧対のうち一方の円弧の円弧径が大きな値で、且つ他方の円弧の円弧径が小さな値となる場合、すなわち、運転者が一方の口端を上げて笑っている場合であっても、人物状態判定装置１３２は、運転者が笑っているか否かを正確に判定することができる。
【０１４２】
なお、上記第２の実施形態では、人物状態判定装置１３２が、円弧の半径にもとづいて笑顔仮フラグを設定する例について説明したが、円弧の半径を用いる代わりに円弧の直径を用いても構わない。
【０１４３】
また、上記の第１の実施形態、および第２の実施形態では、笑顔推定処理のステップＤ３の処理において、人物状態判定装置１３２が、唇境界線を８等分する例について説明したが、ステップＤの処理において唇境界線を分割する数は上記に限らず、２以上に分割すれば良い。また、人物状態判定装置１３２は、唇境界線を必ずしも等間隔に分割する必要はなく、唇境界線を分割する間隔を部分的に変更しても構わない。さらに言えば、人物状態判定装置１３２は、唇境界線のうち両端から一定の距離までを切り取って上記の線分対として抽出するなどしても構わない。
【０１４４】
また、上記の第１の実施形態、および第２の実施形態では、笑顔推定処理のステップＤ７からステップＤ９の処理において、人物状態判定装置１３２が、全ての笑顔仮フラグがオンである場合に笑顔フラグをオンとし、笑顔仮フラグの何れかがオフである場合に笑顔フラグをオフとする例について説明したが、笑顔フラグの設定方法は上記に限らない。例えば、人物状態判定装置１３２は、笑顔仮フラグの総数のうち７割以上のフラグがオンである場合に笑顔フラグをオンとしても良い。
【０１４５】
また、上記の第１の実施形態、および第２の実施形態では、覚醒判定処理のステップＢ６からステップＢ１４の処理において、人物状態判定装置１３２が、運転者が笑いながら眼を細めていると推定される状態で所定の時間を経過すると、運転者が覚醒していると判定する例について説明したが、人物状態判定装置１３２は、所定時間の経過を待たずに運転者が覚醒しているか否かを判定しても構わない。例えば、ステップＢ８、ステップＢ９、ステップＢ１０、ステップＢ１１の処理を省略しても構わない。
【０１４６】
また、上記の第１の実施形態、および第２の実施形態では、覚醒判定処理のステップＢ６からステップＢ１４の処理において、人物状態判定装置１３２が、運転者が閉眼していると推定し、且つ、笑っていると推定された状態（以下、笑顔覚醒状態と呼称する）が一定時間継続した場合、運転者が覚醒していると判定する例について説明したが、人物状態判定装置１３２は、運転者が笑顔覚醒状態である頻度を算出し、当該頻度にもとづいて運転者が覚醒しているか否かを判定しても構わない。
【０１４７】
例えば、人物状態判定装置１３２は、周期的に覚醒状態か否かの判定を行うものとする。人物状態判定装置１３２は、１周期の時間内において、運転者が笑顔覚醒状態であった時間の合計値を上記頻度として算出する。そして、人物状態判定装置１３２は、当該頻度が予め定めた閾値に達した場合、運転者が覚醒していると判定し、当該頻度が閾値に達していない場合、運転者が覚醒していないと判定する。
【０１４８】
また、上記の第１の実施形態、および第２の実施形態では、図２のステップＡ５の覚醒判定処理において、人物状態判定装置１３２が顔向き角度αに応じて運転者の眼や口の探索範囲を設定する例について説明したが、人物状態判定装置１３２は当該探索範囲を必ずしも顔向き角度αに応じて変更しなくても構わない。人物状態判定装置１３２が顔向き角度αに応じて上記探索範囲を変更しない場合、ステップＡ３の処理は省略しても構わない。
【０１４９】
また、上記の第１の実施形態、および第２の実施形態では、人物状態判定装置１３２が車両の運転者の状態を判定する例について示したが、人物状態判定装置１３２が状態を判定する対象は車両の運転者に限らない。例えば、運転者以外の乗員の状態を判定しても構わないし、航空機等の操縦者の状態を判定するように本発明を適用しても構わない。
【産業上の利用可能性】
【０１５０】
本発明に係る人物状態判定装置は、人物が笑顔であるか否かに応じて当該人物の覚醒状態を正しく判定可能とする人物状態判定装置などとして有用である。
【図面の簡単な説明】
【０１５１】
【図１】人物状態判定装置１３２を含む運転者監視システム１の機能構成を示すブロック図
【図２】ＥＣＵ１３が実行する処理の一例を示すフローチャート
【図３】カメラ画像および、当該画像が撮影された時点の運転者の頭部の上面図
【図４】人物状態判定装置１３２が覚醒判定処理において用いる主なデータを示す図
【図５】人物状態判定装置１３２が実行する覚醒判定処理を示すフローチャートの一例
【図６】閉眼推定処理のサブルーチンを示すフローチャートの一例
【図７】笑顔推定処理のサブルーチンを示すフローチャートの一例
【図８】は、カメラ画像中で設定された口探索範囲２０を示す図
【図９】カメラ画像中における運転者の口の拡大図
【図１０】直線近似された唇境界線を示す図
【図１１】笑顔仮フラグ設定処理において処理される口角情報のデータを示す図
【図１２】笑顔仮フラグ設定処理のサブルーチンを示すフローチャートの一例
【図１３】運転者が笑っていない状態の唇境界線を円弧近似した様子を示す図
【図１４】運転者が笑った状態の唇境界線を円弧近似した様子を示す図
【符号の説明】
【０１５２】
１        運転者監視システム
２        車両制御システム
１１      近赤外照明
１２      近赤外カメラ
１３      ＥＣＵ
２０      口探索範囲
３０      唇境界線
３１、３２、３３、３４、３５、３６、３７、３８    線分
４１、４２、４３、４４    円弧
１３１    顔向き検知マイコン
１３２    人物状態判定装置
【図１】
2010009093.tif 000003
【図２】
2010009093.tif 000004
【図３】
2010009093.tif 000005
【図４】
2010009093.tif 000006
【図５】
2010009093.tif 000007
【図６】
2010009093.tif 000008
【図７】
2010009093.tif 000009
【図８】
2010009093.tif 000010
【図９】
2010009093.tif 000011
【図１０】
2010009093.tif 000012
【図１１】
2010009093.tif 000013
【図１２】
2010009093.tif 000014
【図１３】
2010009093.tif 000015
【図１４】
2010009093.tif 000016