(57)【特許請求の範囲】
【請求項１】
対象人物の顔画像を取得する取得手段と、
前記取得手段により取得された顔画像の中から顔の特徴点を複数抽出する抽出手段と、
前記対象人物の平常時の顔画像から抽出された複数の特徴点の位置関係に応じた特徴量パラメータにしたがって対象人物の顔の表情を推定する推定手段と、
前記推定手段により推定された運転者の顔の表情に基づいて運転者が車両の運転に対し肯定的又は否定的であるか否かを判定する判定手段と、
前記判定手段の判定結果を運転者に提示する提示手段と、
を備え、
前記抽出手段は、前記対象人物の目、口、及び眉に対応する位置を前記特徴点として抽出し、
前記推定手段は、目の縦横比、目と口端間の縦方向距離、及び目と眉間の縦方向距離を少なくとも含む複数の特徴量パラメータを算出し、目の縦横比の特徴量パラメータの平常時からの変化量と、目と口端間の縦方向距離の特徴量パラメータの平常時からの変化量と、目と眉間の縦方向距離の特徴量パラメータの平常時からの変化量との要素を含み、複数の特徴量パラメータの平常時からの変化量を要素とする特徴ベクトルを定義し、表情を示すクラス毎にラベリングされた特徴ベクトル群の領域を特徴空間内に形成した表情モデルに基づいて定義された特徴ベクトルを特徴空間にマッピングし、特徴ベクトルがどのクラスに属するのかを判定することにより、対象人物の顔の表情を推定し、
前記判定手段は、特徴ベクトルの各要素と、特徴ベクトルの各要素毎に予め設定された重み付け係数とを対応する各要素毎に乗算し、得られた各要素毎の乗算値を積算した値と予め設定された閾値との大小を比較し、比較結果に応じて運転者が車両の運転に対し肯定的又は否定的であるか否かを判定し、特徴ベクトルにおける目と口端間の縦方向距離の特徴パラメータの要素に対応した重み付け係数の値を大きくする設定と、特徴ベクトルにおける目の縦横比の特徴量パラメータの要素に対応する重み付け係数、ならびに特徴ベクトルにおける目と眉の間の縦方向距離の特徴量パラメータの要素に対応する重み付け係数の値を負値にする設定との少なくともいずれか一方の設定を行う
ことを特徴とする車両制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の乗員の表情に応じた車両制御等の処理に適用して好適な、対象人物の顔の表情を推定する技術に関する。
【背景技術】
【０００２】
従来より、カメラにより撮像された対象人物の実写顔画像と予め記憶されている表情毎の顔画像データとを照合し、実写顔画像に最も類似している顔画像データを特定することにより、対象人物の顔の表情を判定する技術が知られている（特許文献１参照）。
【特許文献１】特開２００１−４３３４５号公報（請求項１参照）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来技術では、実写顔画像と照合される表情毎の顔画像データは複数の顔画像を表情毎に平均化することにより生成されるが、目、鼻等の形状は対象人物によって大きく異なる。このため従来技術によれば、実写顔画像と顔画像データの照合精度（類似度）が低下し、対象人物の顔の表情を誤って判定することがある。
【０００４】
本発明は、このような課題を解決するためになされたものであり、その目的は、対象人物の顔の表情を精度高く判定可能な表情推定技術を提供することにある。
【課題を解決するための手段】
【０００５】
本発明は、目の縦横比、目と口端間の縦方向距離、及び目と眉間の縦方向距離を少なくとも含む複数の特徴量パラメータを算出し、目の縦横比の特徴量パラメータの平常時からの変化量と、目と口端間の縦方向距離の特徴量パラメータの平常時からの変化量と、目と眉間の縦方向距離の特徴量パラメータの平常時からの変化量との要素を含み、複数の特徴量パラメータの平常時からの変化量を要素とする特徴ベクトルを定義し、表情を示すクラス毎にラベリングされた特徴ベクトル群の領域を特徴空間内に形成した表情モデルに基づいて定義された特徴ベクトルを特徴空間にマッピングし、特徴ベクトルがどのクラスに属するのかを判定することにより、対象人物の顔の表情を推定し、特徴ベクトルの各要素と、特徴ベクトルの各要素毎に予め設定された重み付け係数とを対応する各要素毎に乗算し、得られた各要素毎の乗算値を積算した値と予め設定された閾値との大小を比較し、比較結果に応じて運転者が車両の運転に対し肯定的又は否定的であるか否かを判定し、特徴ベクトルにおける目と口端間の縦方向距離の特徴パラメータの要素に対応した重み付け係数の値を大きくする設定と、特徴ベクトルにおける目の縦横比の特徴量パラメータの要素に対応する重み付け係数、ならびに特徴ベクトルにおける目と眉の間の縦方向距離の特徴量パラメータの要素に対応する重み付け係数の値を負値にする設定との少なくともいずれか一方の設定を行う。
【発明の効果】
【０００６】
本発明によれば、対象人物ごとに異なる特徴点の形状に依存することなく、対象人物の顔の表情を推定するため、対象人物の顔の表情を精度高く判定することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して、本発明の実施形態となる表情推定装置の構成及びその動作について説明する。
【０００８】
〔表情推定装置の構成〕
始めに、図１乃至図３を参照して、本発明の実施形態となる表情推定装置の構成について説明する。
【０００９】
本発明の実施形態となる表情推定装置１は、図示しない車両に搭載され、図１に示すように、車両の運転者（乗員）２の顔に向けて照明光Ｌを照射する照明器具３と、照明光Ｌによって照明された運転者２の顔を含む映像Ｇを撮影する撮像装置４と、撮像装置４によって撮影された映像Ｇから運転者２の顔の表情とその強度（度合い）を示す信号を生成，出力するマイクロコンピュータ５とを主な構成要素として備える。
【００１０】
マイクロコンピュータ５は、ＣＰＵ（Central Processing Unit）等の演算処理部と各種データを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶部６を備え、記憶部６内に予め記憶されたコンピュータプログラムを演算処理部が実行することにより、顔画像取得部７，特徴点出力部８，表情推定部９，及び表情信号出力部１０として機能する。また特徴点出力部８は図２に示すように顔特徴検出部１１と顔特徴点追跡部１２を備え、表情推定部９は図３に示すように顔特徴点正規化部２１，特徴計算部２２，表情クラス分け部２３，及び表情強度計算部２４を備える。マイクロコンピュータ５内のこれら各部の機能（動作）の詳細については後述する。
【００１１】
照明器具３は、出来る限り影ができないように運転者２の顔に照明光Ｌを照射する。照明光Ｌとしては、運転者２に眩しさを感じさせないようにするために可視光よりも近赤外光を用いることが望ましい。撮像装置４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いた小型のものにより構成され、撮影された映像Ｇをフレーム単位で時系列的に順次出力する。照明器具３及び撮像装置４は、表情推定装置１専用に備えられたものである必要はなく、他の用途のために予め車室内に設けられている場合にはそれを代用してもよい。
【００１２】
〔表情推定処理〕
このような構成を有する表情推定装置１は、以下に示す表情推定処理を実行することにより運転者２の顔の表情を推定する。以下、図４乃至図１９を参照して、この表情推定処理を実行する際の表情推定装置１の動作について説明する。なお本実施形態の表情推定処理は、特徴点検出処理，特徴点追跡処理，特徴点正規化処理，特徴計算処理，表情クラス分け処理，及び表情強度計算処理に大別される。そこで以下では本実施形態の表情推定処理をこれらの処理に分けて順に説明する。
【００１３】
〔特徴点検出処理〕
始めに、図４に示すフローチャートを参照して、運転者２の顔画像から運転者の顔の特徴点を複数検出する特徴点検出処理を実行する際の表情推定装置１の動作について説明する。
【００１４】
図４に示すフローチャートは、車両のイグニッションスイッチがオフ状態からオン状態に切り換えられ、表情推定装置１に電力が供給されたタイミングで開始となり、特徴点検出処理はステップＳ１の処理に進む。なおこの特徴点検出処理は各フレームの顔画像毎に繰り返し実行される。
【００１５】
ステップＳ１の処理では、顔画像取得部７が、撮像装置４を介して運転者２の顔を含む映像Ｇを取得し、取得した映像Ｇの中から運転者２の顔画像（縦２４０画素×横３２０画素）をフレーム画像毎に抽出する。そして顔特徴検出部１１が、顔画像取得部７により抽出された運転者２の顔画像を構成する画素の濃度分布に基づいて、図５（ａ）に示すような横エッジ画像を検出する。この横エッジ画像は、顔画像の縦の各列について画素濃度の極小値（眉，瞳等の黒い部分，図５（ａ）に示す白色領域）を抽出することにより検出できる。これにより、ステップＳ１の処理は完了し、特徴点検出処理はステップＳ２の処理に進む。
【００１６】
ステップＳ２の処理では、特徴点検出部１１が、図５（ｂ）に示すようにステップＳ１の処理により検出された横エッジ画像からノイズ成分を除去する。ノイズ成分は、濃度の極小値を示す画素のうち、濃度変化が設定値未満の画素と８近傍（上下，左右，各斜め方向の各上下）に濃度の極小値を示す画素がない画素（独立点）とをエッジ画像から削除することにより除去できる。これにより、ステップＳ２の処理は完了し、特徴点検出処理はステップＳ３の処理に進む。
【００１７】
ステップＳ３の処理では、特徴点検出部１１が、ノイズ成分が除去されたエッジ画像を構成する各画素の８近傍での連接状態を分析することにより、傾きが所定値以上のエッジ画像を削除する。また特徴点検出部１１は、横方向への繋がり長さが所定値以上のエッジ画像については、濃度変化が最も小さい画素を削除することにより、横方向への繋がり長さが所定値以下の複数のエッジ画像に分割する。そして特徴点検出部１１は、図５（ｃ）に示すようなこれらの処理後の各エッジ画像を運転者２の顔の特徴点（以下、顔特徴点と略記）の候補として設定する。なお本明細書中において“顔特徴点”とは運転者２の顔の表情を特徴付ける目，鼻，口，眉等を意味する。これにより、ステップＳ３の処理は完了し、特徴点検出処理はステップＳ４の処理に進む。
【００１８】
ステップＳ４の処理では、特徴点検出部１１が、ステップＳ３の処理により設定された顔特徴点の候補数が所定値以下であるか否かを判別する。判別の結果、顔特徴点の候補数が所定値未満である場合、特徴点検出部１１は、ステップＳ１０の処理として顔特徴点を精度高く検出できないと判断し、一連の特徴点検出処理を終了する。一方、顔特徴点の候補数が所定値未満でない場合には、特徴点検出部１１は特徴点検出処理をステップＳ５の処理に進める。
【００１９】
ステップＳ５の処理では、特徴点検出部１１が、各顔特徴点を識別できるように図６（ａ）に示すように各顔特徴点に対し固有の番号（ラベル）を付与することにより顔特徴点のラベリングを行う。これにより、ステップＳ５の処理は完了し、特徴点検出処理はステップＳ６の処理に進む。
【００２０】
ステップＳ６の処理では、特徴点検出部１１が、図６（ｂ）に示すように、ラベリングされた顔特徴点の全ての組み合わせと、記憶部６に予め記憶されている顔特徴点（ノード）と顔特徴点間の位置関係（ブランチ）を示すデータとを照合する。具体的には特徴点検出部１１は、３つの顔特徴点の組み合わせを作成し、図７に示すような運転者２の右目の位置を示す顔特徴点EyeRを基準位置とする３つの顔特徴点の位置関係に近似する位置関係を有する顔特徴点の組み合わせが作成した組み合わせの中にあるか否かを照合する。なお、各顔特徴点は一定の距離範囲を有し、照合処理は顔特徴点の距離範囲内に記憶部６に記憶されている顔特徴点が何個存在するか計数することにより行う。これにより、ステップＳ６の処理は完了し、特徴点検出処理はステップＳ７の処理に進む。
【００２１】
ステップＳ７の処理では、特徴点検出部１１が、照合数が所定値以上であるか否かを判別する。判別の結果、照合数が所定値以上でない場合、特徴点検出部１１は、ステップＳ１０の処理として顔特徴点を精度高く検出できないと判断し、一連の特徴点検出処理を終了する。一方、照合数が所定値以上である場合には、特徴点検出部１１は特徴点検出処理をステップＳ８の処理に進める。
【００２２】
ステップＳ８の処理では、特徴点検出部１１が、図６（ｃ）に示すように、ラベリングされた顔特徴点の組み合わせのうち、記憶部６に記憶されている顔特徴点間の位置関係を示すデータに一致又は最も近似している組み合わせ（図６（ｃ）中、直線により結ばれた顔特徴点の組み合わせ）を選択する。これにより、ステップＳ８の処理は完了し、特徴点検出処理はステップＳ９の処理に進む。
【００２３】
ステップＳ９の処理では、特徴点検出部１１が、ステップＳ８の処理により選択された顔特徴点の組み合わせについて、記憶部６に記憶されている顔特徴点間の位置関係を示すデータとの一致度合いを示す評価値を算出し、算出された評価値が最小評価値未満であるか否かを判別する。そして判別の結果、評価値が最小評価値未満である場合、特徴点検出部１１は、ステップＳ１０の処理として顔特徴点を精度高く検出できないと判断し、一連の特徴点検出処理を終了する。一方、評価値が最小評価値未満でない場合には、特徴点検出部１１はステップＳ１１の処理として顔特徴点を検出できたと判断し、一連の顔特徴点検出処理を終了する。なお各顔特徴点間には重み付けの係数が予め設定されており、顔特徴点の重み付けの係数を積算した値を評価値とする。また重み付けの係数は、距離関係が重要な顔特徴点間ほど大きく設定され、逆に距離関係の重要性が低い顔特徴点間ほど小さく設定されている。具体的には、右目と左目間の重み付けの係数をＡ，鼻と顎間の重み付けの係数をＢとした場合、距離関係の重要度が相対的に高い係数Ａの方が距離関係の重要度が相対的に低い係数Ｂよりも大きな値に設定される。
【００２４】
この一連の特徴点検出処理によれば、例えば図８に示すように、右目(EyeR），左目(EyeL)，右眉(BrowR)，左眉(BrowL)，右鼻孔(NoseR)，左鼻孔(NoseL)，口又は唇(Lip)，顎(Chin)，右上眼鏡フレーム(GlasUR)，左上眼鏡フレーム(GlasUL)，右下眼鏡フレーム(GlasBR)，左下眼鏡フレーム(GlasBL)，眼鏡フレーム(GlasC)という１３個の顔特徴点を運転者２の顔画像から検出することができる。なお運転者２の鼻の位置については、右鼻孔の位置と左鼻孔の位置の中点位置としてもよい。以下では鼻の位置を単一として運転者２の顔特徴点の数を合計１２点として説明する。
【００２５】
〔特徴点追跡処理〕
次に、図９に示すフローチャートを参照して、前回の顔画像から検出された顔特徴点の今回の顔画像内における位置（座標値）を検出する特徴点追跡処理を実行する際の表情推定装置１の動作について説明する。
【００２６】
図９に示すフローチャートは、上記ステップＳ１１の処理において顔特徴点を検出できたと判断された後に顔画像取得部７から顔画像のデータが入力されたタイミングで開始となり、特徴点追跡処理はステップＳ２１の処理に進む。
【００２７】
ステップＳ２１の処理では、顔特徴点追跡部１２が、各顔特徴点を検出する際に基準点として利用する顔特徴点（以下、基準特徴点と略記）が今回の顔画像について設定されているか否かを判別することにより、この処理が最初の処理ステップであるか否かを判別する。判別の結果、この処理が最初の処理ステップである場合、顔特徴点追跡部１２は特徴点追跡処理をステップＳ２４の処理に進める。一方、この処理が最初の処理ステップではない場合には、顔特徴点追跡部１２は特徴点追跡処理をステップＳ２２の処理に進める。
【００２８】
ステップＳ２２の処理では、顔特徴点追跡部１２が、顔特徴点の中に左目に対応する顔特徴点EyeLがあるか否かを判別する。なおこの処理の詳細については右目に対応する顔特徴点の検出方法を例として後述する。判別の結果、左目に対応する顔特徴点EyeLがない場合、顔特徴点追跡部１２は、ステップＳ２７の処理として顔特徴点の追跡処理が失敗したと判断した後、一連の特徴点追跡処理を終了する。一方、左目に対応する顔特徴点EyeLがある場合には、顔特徴点追跡部１２は特徴点追跡処理をステップＳ２３の処理に進める。なお本実施形態では、左目及び右目に対応する顔特徴点EyeL, EyeRが検出されない場合に特徴点追跡処理を終了したが、左目及び右目に対応する顔特徴点EyeL, EyeRにその他の顔特徴点を検出対象として加えても良い。
【００２９】
ステップＳ２３の処理では、顔特徴点追跡部１２が、左目EyeLに対応する顔特徴点を基準特徴点に設定する。これにより、ステップＳ２３の処理は完了し、特徴点追跡処理はステップＳ２６の処理に進む。
【００３０】
ステップＳ２４の処理では、顔特徴点追跡部１２が、図１１（ａ）に示すように、特徴点検出処理又は前回の特徴点追跡処理により検出された右目に対応する顔特徴点EyeRの近傍領域Ｒ０から右目に対応する顔特徴点を探索し、右目に対応する顔特徴点EyeRがあるか否かを判別する。判別の結果、右目に対応する顔特徴点EyeRがない場合、顔特徴点追跡部１２は特徴点追跡処理をステップＳ２１の処理に戻す。一方、右目に対応する顔特徴点EyeRがある場合には、顔特徴点追跡部１２は特徴点追跡処理をステップＳ２５の処理に進める。
【００３１】
ステップＳ２５の処理では、顔特徴点追跡部１２が、右目に対応する顔特徴点EyeRを基準特徴点に設定する。これにより、ステップＳ２５の処理は完了し、特徴点追跡処理はステップＳ２６の処理に進む。
【００３２】
ステップＳ２６の処理では、顔特徴点追跡部１２が、設定された基準特徴点に基づいて基準特徴点として設定された顔特徴点以外の顔特徴点（次の顔特徴点）を検出する。具体的には、顔特徴点追跡部１２は、図１１（ｂ）に示すように、前回の顔特徴点追跡処理により基準顔特徴点として検出された前回基準特徴点とこの前回基準特徴点に隣接して前回検出された他の前回顔特徴点（例えば左目）との間の距離（重心位置間の距離）等の相対的な位置関係を算出し、その算出された相対的な位置関係がそのまま今回既に検出された座標値が既知の基準特徴点EyeRと検出対象となっている隣接した座標値が不明の他の顔特徴点との位置関係に対応すると仮定し、隣接した他の顔特徴点が存在するであろうと推定される位置の近傍範囲を探索範囲Ｒ１として設定する。そして顔特徴点追跡部１２は、設定された探索範囲Ｒ１内で他の顔特徴点を探索する。このような処理によれば、他の顔特徴点の探索範囲を狭い範囲に絞ることができるので、検出処理時間を短縮できると同時に検出対象でないノイズ等を顔特徴点として誤って検出することを抑制できる。そして他の顔特徴点が検出できた場合、顔特徴点追跡部１２は一連の顔特徴点追跡処理を終了する。一方、他の顔特徴点が検出できない場合には、顔特徴点追跡部１２は顔特徴点追跡処理をステップＳ２８の処理に進める。
【００３３】
ステップＳ２８の処理では、顔特徴点追跡部１２が、前回の基準特徴点の座標値と現在設定されている基準特徴点の座標値を用いて基準特徴点の移動量を算出し、前回の顔特徴点の座標値を算出された移動量だけ移動させた座標値を顔特徴点の座標値として算出する。これにより、ステップＳ２８の処理は完了し、一連の特徴点追跡処理は終了する。
【００３４】
この特徴点追跡処理によれば、右目に対応する顔特徴点EyeRを基準特徴点に設定した場合には図１１（ａ）に示すような顔特徴点の座標値（位置関係）の情報が得られ、左目に対応する顔特徴点EyeLを基準特徴点に設定した場合には図１１（ｂ）に示すような顔特徴点の座標値（位置関係）の情報が得られる。なお図１１（ａ），（ｂ）は本実施形態における顔画像の大きさを１０分の１の大きさに縮小した状態の座標値を示す。また本実施形態において基準特徴点となる右目に対応する顔特徴点EyeRの座標は、図１２に示すように、右目付近の濃淡画像信号に対し各画素列（縦方向）の画素列に反った濃淡信号値（画素値）の分布を調べ、淡（白）→濃（黒）と変化する点（濃度の立ち上がりエッジ部，図中○記号で表記）と濃（黒）→淡（白）と変化する点（濃度の立ち下がりエッジ部，図中×記号で表記）を検出し、立ち上がりエッジ部の横方向に反った連続状態（繋がり状態）を調べることにより右目の左端ELと右端ERを検出し、立ち上がりエッジ部のうち縦方向の最も上方にあるエッジ部の画素点を目の上端EUとし、この上端EUが属する画素列中における立ち下がりエッジ部の画素点を目の下端EBとし、目の上端EUと下端EBの中点を顔特徴点EyeRとしての右目の座標（代表位置）とする。
【００３５】
〔特徴点正規化処理〕
次に、図１２に示すフローチャートを参照して、特徴点正規化処理を実行する際の表情推定装置１の動作について説明する。
【００３６】
図１２に示すフローチャートは、初回の特徴点検出処理又は特徴点追跡処理が終了する度毎に開始となり、特徴点正規化処理はステップＳ３１の処理に進む。
【００３７】
ステップＳ３１の処理では、顔特徴点正規化部２１が、左右の目に対応する顔特徴点の座標中心位置を重心位置（ｘ，ｙ）として算出する。これにより、ステップＳ３１の処理は完了し、特徴点正規化処理はステップＳ３２の処理に進む。
【００３８】
ステップＳ３２の処理では、顔特徴点正規化部２１が、左右の目に対応する顔特徴点を結ぶ直線を定義し、定義された直線の水平軸に対する傾き角度θを算出する。これにより、ステップＳ３の処理は完了し、特徴点正規化処理はステップＳ３２の処理に進む。
【００３９】
ステップＳ３３の処理では、顔特徴点正規化部２１が、左右の目に対応する顔特徴点を結ぶ直線が水平になるようにステップＳ１の処理により算出された重心位置（ｘ，ｙ）を中心として各顔特徴点を傾き角度−θだけ回転移動させる。これにより、ステップＳ３３の処理は完了し、特徴点正規化処理はステップＳ３４の処理に進む。
【００４０】
ステップＳ３４の処理では、顔特徴点正規化部２１が、左右の目のうち一方の目の目尻と重心位置（ｘ，ｙ）間の水平方向距離が単位長さ１になるように顔特徴点の座標値を変換する。これにより、ステップＳ３４の処理は完了し、一連の特徴点検出処理は終了する。
【００４１】
この特徴点正規化処理によれば、複数の顔画像間で向きや傾き又は長さ等の空間的な位置関係を統一することができるので、複数の顔画像間で個人差（顔立ち自体の差異や姿勢の差に基づく差異等）が生じても、顔特徴点の位置関係を容易に比較することができると共に、個人差により誤検出を抑制できる。
【００４２】
〔特徴計算処理〕
次に、図１５を参照して、正規化された顔特徴点の位置情報に基づいて顔画像毎に運転者２の顔の特徴を計算する特徴計算処理を実行する際の表情推定装置１の動作について説明する。
【００４３】
特徴計算処理では、始めに特徴計算部２２が、図１５に示すように正規化された顔特徴点の座標値に基づいて顔特徴点間の距離や向き，方向，顔特徴点付近での濃度変化等を特徴量パラメータとして算出する。本実施形態では、特徴計算部２２は、目の縦横比ａ１，目と口端の間の縦方向距離ａ２，目と眉の間の縦方向距離ａ３等のｎ個の特徴量パラメータを算出し、特徴量Ｐ｛ａ１，ａ２，ａ３，…，ａｎ｝を得る。次に特徴計算部２２は、運転者２の特徴量パラメータの平均値（平常時の運転者の表情を示す特徴量パラメータ）を算出し、平均特徴量Ｑ｛ａ１ＡＶ，ａ２ＡＶ，ａ３ＡＶ，…，ａｎＡＶ｝を得る。運転者２の特徴量パラメータの平均値は、直近の一定時間内の各特徴量パラメータの平均値を算出したり、直近の一定時間内の各特徴量パラメータの度数分布から最頻度の値を抽出したりすることにより算出できる。そして最後に特徴計算部２２は、特徴量Ｐ｛ａ１，ａ２，ａ３，…，ａｎ｝と平均特徴量Ｑ｛ａ１ＡＶ，ａ２ＡＶ，ａ３ＡＶ，…，ａｎＡＶ｝の各特徴量パラメータの差分値を特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝として算出する。特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝の各要素は０〜１の間の実数値に正規化されている。このように特徴計算処理では、運転者２の平常時の表情からの顔特徴点の位置変化量を特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝として算出する。
【００４４】
〔表情クラス分け処理〕
次に、図１６を参照して、特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝を用いて運転者２の顔の表情を顔画像毎に判定する表情クラス分け処理を実行する際の表情推定装置１の動作について説明する。
【００４５】
表情クラス分け処理では、始めに表情クラス分け部２３が、喜び（Happy），怒り（Anger），驚き（Surprise）等の各表情を示す表情クラス毎にラベリングされた特徴ベクトル群の領域を特徴空間（原点は平均特徴量）内に形成した表情モデルを記憶部６から読み出し、読み出された表情モデルを利用して特徴計算処理により算出された特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝を特徴空間にマッピングする。そして最後に表情クラス分け部２３は、特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝と各表情クラスの位置関係を求め、特徴ベクトルがどの表情クラスに属するのかを判定することにより、特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝により表される運転者２の顔の表情を特定する。
【００４６】
具体的には図１６に示す例では、特徴ベクトルＸ１は表情クラスＡに属するので、表情クラス分け部２３は運転者２の表情は表情クラスＡが示す表情であると判定する。また同様に、特徴ベクトルＸ２は表情クラスＢに属するので、表情クラス分け部２３は運転者２の表情は表情クラスＢが示す表情であると判定する。一方、特徴ベクトルＸ３はどの表情クラスにも属さないので特徴ベクトルＸ３のクラスは該当無しとなるが、この場合表情クラス分け部２３は、特徴ベクトルＸの終点位置と各表情クラスＡ，Ｂの中心位置Ａｃ，Ｂｃとの各距離の比に基づいて各表情クラスへの帰属割合を算出し、特徴ベクトルＸが属する表情クラスを決定することが望ましい。
【００４７】
〔表情強度計算処理〕
次に、図１７，１８を参照して、特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝とその特徴ベクトルが属する表情クラスの情報を用いて運転者２の顔の表情の強度（度合い）を顔画像毎に判定する表情強度計算処理を実行する際の表情推定装置１の動作について説明する。
【００４８】
表情強度計算処理では、始めに表情強度計算部２４が、記憶部６に予め記憶されている図１７に示すような特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝の各要素の重み付け係数（特徴重み）Ｗとオフセット値Offsetを表情クラス毎に示すテーブルを参照して、表情クラス分け処理により判定された表情クラスに対応する各要素の重み付け係数Ｗとオフセット値Offsetを決定する。次に、表情強度計算部２４は、特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝の各要素に対応する重み付け係数Ｗを乗算した後、得られた乗算値とオフセット値Offsetを加算することにより運転者の顔の表情２の強度（０〜１の値）を算出する。そして最後に表情強度計算部２４は、特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝が属する表情クラスが示す表情とその強度の情報を出力する。例えば出力先が車室内の表示画面に各種情報を表示する表示制御部である場合、表示制御部は図１９に示すように１軸の棒グラフで運転者２の表情とその強度を表示画面上に表示する。これにより運転者２は自身の現在の状態を視覚的に認識することができる。
【００４９】
なお、例えば出力先が車両の走行状態を制御する車両制御装置である場合には、車両制御装置は出力情報に基づいて例えば表示装置，空調装置，乗員が着座しているシートの状態，車両の走行状態等を制御して運転者２の状態が肯定的側（詳しくは後述）になるように車両制御を行っても良い。
【００５０】
表情の強度は０．５を中心として１に近い方が車両の運転に対して肯定的（Positive）、０に近い方が車両の運転に対して否定的（Negative）となるように設定されている。車両の運転に対して肯定的とは、運転者２が、運転においていらいらや不安，心配，退屈，眠気を感じでなく、車両の運転を積極的に楽しんでいる，車両状態が完全に制御できている、又はリラックスしている状態を示す。この場合、運転者２の表情は活き活きとしており、場合によっては微笑みや幸せ（Happy）に似た表情を見せる。例えば幸せの表情では、運転者２の口の端が上がり、目尻が下がるので、特徴量パラメータの一つである目と口端の間の縦方向距離ａ２は短くなる傾向にある。そこで縦方向距離ａ２に対応する重み付け係数ｗ２の値を大きく設定することにより、表情の強度が０．５以上、すなわち運転者２が車両の運転に対し肯定的と判定されるように設定されている。
【００５１】
一方、車両の運転に対して否定的とは、運転者２が周囲環境や技量等によって車両を思った通りに制御できない状態を示し、運転者はいらいらや不安，心配，退屈，眠気を感じる。また急激な周囲環境の変化のために運転者２が驚き（Surprise）や硬直により車両を制御できていない状態である場合もある。そして例えば驚きの表情では、運転者２は目を大きく見開き、眉が上に上がり、場合によっては口が開くために、特徴量パラメータである目の縦横比ａ１と目と眉の間の縦方向距離ａ３が大きくなる傾向にある。そこで縦横比ａ１及び縦方向距離ａ３に対応する重み付け係数ｗ１，ｗ３の値を負値に設定することにより、表情の強度が０．５以下、すなわち運転者２が所領の運転に対し否定的と判定されるように設定されている。
【００５２】
本発明の実施形態となる表情推定装置１によれば、撮像装置４が、運転者２の顔画像を撮像し、特徴点出力部８が、撮像装置４により撮像された顔画像の中から顔の特徴点を複数抽出し、表情推定部９が、対象人物の平常時の顔画像から抽出された複数の特徴点の位置から抽出された特徴点の位置への特徴点の変化に応じて、対象人物の顔の表情を推定するので、運転者毎に異なる目や鼻等の形状に基づいて運転者の顔の表情を推定するのではなく、形状に依存しない目や鼻等の位置関係に基づいて運転者の顔の表情を推定することができるので、運転者の顔の表情を精度高く判定できる。
【００５３】
また、特徴点検出処理において、特に目の縦横比、目と口端間の縦方向距離、及び目と眉間の縦方向距離に対して重み付けを大きくすることで、目、口及び眉以外に対して検出される特徴点の影響を受けにくくすることができる。
【００５４】
〔実験例〕
最後に、従来の表情推定装置を用いて運転者２の表情を推定した実験結果と本発明の実施形態となる表情推定装置１を用いて運転者２の表情を推定した実験結果とをそれぞれ図２０，２１に示す。図２０に示すように、従来の表情推定装置によれば、運転者は実際にはSleepyと表記されているタイミングにおいてのみ眠そうな表情を表しているのにも係わらず、その他のタイミングにおいても眠そうな表情と誤って判定しまう誤判定（破線の枠内で示すプロット）が頻繁に生じている。すなわち認識した表情クラスと正しい表情クラスとが一致しないタイミングが多い。これに対して、本発明の実施形態となる表情推定装置１によれば、図２１に示すように、ほぼ運転者が実際に眠そうな表情を表しているタイミングにおいてのみ眠そうな表情であると判定している。すなわち認識した表情クラスと正しい表情クラスの一致精度が高いという結果が得られた。  以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論である。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施形態となる表情推定装置の構成を示すブロック図である。
【図２】図１に示す特徴点出力部の内部構成を示すブロック図である。
【図３】図１に示す表情推定部の内部構成を示すブロック図である。
【図４】本発明の実施形態となる特徴点検出処理の流れを示すフローチャート図である。
【図５】（ａ）顔画像から検出されたエッジ画像，（ｂ）ノイズ成分が除去されたエッジ画像，及び顔特徴点の候補を示す図である。
【図６】（ａ）ラベリング処理後の顔特徴点，（ｂ）照合処理後の顔特徴点，及び（ｃ）選択処理後の顔特徴点を示す図である。
【図７】照合処理を説明するための顔特徴点の組み合わせを示す模式図である。
【図８】特徴点検出処理により得られた顔特徴点の一例を示す図である。
【図９】本発明の実施形態となる特徴点追跡処理の流れを示すフローチャート図である。
【図１０】（ａ）基準特徴点の追跡方法，及び（ａ）基準特徴点を利用して他の顔特徴点を追跡する方法を説明するための模式図である。
【図１１】右目の位置を示す基準特徴点EyeRと他の顔特徴点の位置関係を示す模式図である。
【図１２】（ａ）右目の位置を示す特徴点EyeRを基準特徴点とした時の顔特徴点の位置、（ｂ）左目の位置を示す顔特徴点EyeLを基準特徴点とした時の顔特徴点の位置を示す図である。
【図１３】本発明の実施形態となる特徴点正規化処理の流れを示すフローチャート図である。
【図１４】図１３に示す正規化処理後の顔特徴点の座標の一例を示す図である。
【図１５】本発明の実施形態となる特徴計算処理を説明するための模式図である。
【図１６】本発明の実施形態となる表情クラス分け処理を説明するための特徴空間を示す模式図である。
【図１７】特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝の各要素の重み付け係数Ｗとオフセット値Offsetを表情クラス毎に示すテーブルの一例である。
【図１８】本発明の実施形態となる表情強度計算処理を説明するための模式図である。
【図１９】図１８に示す表情強度計算処理により出力される運転者の表情とその強度の一例を示す図である。
【図２０】従来の表情推定装置により推定された運転者の表情の遷移状態を示す図である。
【図２１】本発明の実施形態となる表情推定装置により推定された運転者の表情の遷移状態を示す図である。
【符号の説明】
【００５６】
１：表情推定装置
２：運転者
３：照明器具
４：撮像装置
５：マイクロコンピュータ
６：記憶部
７：顔画像取得部
８：特徴点出力部
９：表情推定部
１０：表情信号出力部
１１：顔特徴検出部
１２：顔特徴点追跡部１２
２１：顔特徴点正規化部
２２：特徴計算部
２３：表情クラス分け部
２４：表情強度計算部
【図１】
0005092663.tif 000002
【図２】
0005092663.tif 000003
【図３】
0005092663.tif 000004
【図４】
0005092663.tif 000005
【図９】
0005092663.tif 000006
【図１０】
0005092663.tif 000007
【図１１】
0005092663.tif 000008
【図１６】
0005092663.tif 000009
【図１７】
0005092663.tif 000010
【図５】
0005092663.tif 000011
【図６】
0005092663.tif 000012
【図７】
0005092663.tif 000013
【図８】
0005092663.tif 000014
【図１２】
0005092663.tif 000015
【図１３】
0005092663.tif 000016
【図１４】
0005092663.tif 000017
【図１５】
0005092663.tif 000018
【図１８】
0005092663.tif 000019
【図１９】
0005092663.tif 000020
【図２０】
0005092663.tif 000021
【図２１】
0005092663.tif 000022