(57)【要約】【課題】ドライバによる感情の変化を検出し、車両の運転特性に反映させて、ドライバによる運転が不安定になることを未然に防止し、車両の安全性を大きく向上させる。【解決手段】特徴量抽出部４は１６個の特徴量（Ｖ１〜Ｖ１６）を抽出し、表情抽出部５は各特徴量（Ｖ１〜Ｖ１６）が予め設定した条件を満足する場合に、怒り、及び、悲しみの表情を抽出する。表情判定部６は表情抽出部５で怒り或いは悲しみの表情が抽出されている場合は制御出力部７に信号出力して、制御出力部７は警報ランプ１１を点灯させる。また、制御出力部７は、電子制御スロットル装置８に対し、得られているスロットル開度に対し、１よりも小さな定数を乗算して出力させる。また、制御出力部７は、芳香剤用ファンモータを駆動させて芳香剤を拡散させる。更に、制御出力部７は、オーディオ装置１０に信号を出力することで音楽ソフトを自動的に演奏させる。【選択図】図１
2006069358.tif 000002
【特許請求の範囲】
【請求項１】
ドライバの表情を認識する表情認識手段と、
上記表情認識手段で認識した表情から、ドライバの感情変化を抽出する表情抽出手段と、
上記表情の変化を抽出した際に、ドライバが操作する制御アクチュエータとドライバに対して影響を与える車載装置の少なくとも一方に信号を出力する制御出力手段と、
を備えたことを特徴とする車両の運転支援装置。
【請求項２】
上記表情抽出手段は、ドライバの表情変化のうち、怒りと悲しみの少なくとも一方の表情を抽出することを特徴とする請求項１記載の車両の運転支援装置。
【請求項３】
上記ドライバが操作する制御アクチュエータは、少なくともアクセルペダルの踏み込み量に応じてスロットル開度を設定する電子制御スロットル装置であって、該電子制御スロットル装置は上記制御出力手段からの入力信号があった場合には、アクセルペダルの踏み込み量とスロットル開度の関係の出力特性を変更することを特徴とする請求項１又は請求項２記載の車両の運転支援装置。
【請求項４】
上記アクセルペダルの踏み込み量とスロットル開度の関係の出力特性の変更は、通常のアクセルペダルの踏み込み量で設定するスロットル開度の値を小さくなる方向に補正することを特徴とする請求項３記載の車両の運転支援装置。
【請求項５】
上記アクセルペダルの踏み込み量とスロットル開度の関係の出力特性の変更は、アクセルペダルの踏み込み量で設定するスロットル開度の値の出力タイミングを、通常時より遅らせることを特徴とする請求項３又は請求項４記載の車両の運転支援装置。
【請求項６】
上記ドライバに対して影響を与える車載装置は、音楽を演奏するオーディオ装置と、芳香剤を拡散させる芳香剤拡散装置と、ドライバに対して警報を行う警報装置の少なくとも何れかであることを特徴とする請求項１乃至請求項５の何れか一つに記載の車両の運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、ドライバの感情を検出して車両のより安定した運転を促進する車両の運転支援装置に関する。
【背景技術】
【０００２】
近年、車両においては、ドライバの運転状態を認識して、より積極的に安定した運転を行うように支援する運転支援装置が開発されている。
【０００３】
例えば、特開平９−４４８００号公報では、ドライバの顔画像から、瞼が一定時間以上閉じた状態等を検出し、ドライバの覚醒低下を判断して、自動的に休憩施設情報を提供する車載情報システムが開示されている。
【特許文献１】特開平９−４４８００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、ドライバの運転が不安定になる要素としては、上述の特許文献１で開示するような覚醒低下以外にも、様々な感情の変化（例えば、怒りや悲しみ等）がある。従って、これらの感情の変化を検出して車両の運転特性に反映させれば、ドライバによる運転が不安定になることが未然に防止され、車両の安全性を大きく向上させることができる。
【０００５】
本発明は上記事情に鑑みてなされたもので、ドライバによる感情の変化を検出して車両の運転特性に反映させることにより、ドライバによる運転が不安定になることが未然に防止され、車両の安全性を大きく向上させることが可能な車両の運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、ドライバの表情を認識する表情認識手段と、上記表情認識手段で認識した表情から、ドライバの感情変化を抽出する表情抽出手段と、上記表情の変化を抽出した際に、ドライバが操作する制御アクチュエータとドライバに対して影響を与える車載装置の少なくとも一方に信号を出力する制御出力手段とを備えたことを特徴としている。
【発明の効果】
【０００７】
本発明による車両の運転支援装置によれば、ドライバによる感情の変化を検出して車両の運転特性に反映させることにより、ドライバによる運転が不安定になることが未然に防止され、車両の安全性を大きく向上させることが可能となる。
【発明を実施するための最良の形態】
【０００８】
以下、図面に基づいて本発明の実施の形態を説明する。  
図１〜図３は本発明の実施の一形態を示し、図１は車両の運転支援装置の概略を示す機能ブロック図、図２は運転支援制御のフローチャート、図３は表情抽出の概要と判断の説明図である。
【０００９】
図１において、符号１は車両の運転支援装置を示し、この運転支援装置１は、インストルメントパネルのコンビネーションメータ内にドライバに向けて配設したＣＣＤカメラ２と、このＣＣＤカメラ２で撮像した画像をリアルタイムで処理する画像処理部３と、この画像処理部３からの画像信号を後述の如く処理して特徴量を抽出する特徴量抽出部４と、特徴量抽出部４からの特徴量の変化を基に怒りと悲しみの表情を抽出する表情抽出部５と、表情抽出部５で怒りと悲しみの表情が抽出されているか否か判定する表情判定部６と、表情判定部６による判定の結果に応じて電子制御スロットル装置８、芳香剤用ファンモータ駆動部９、オーディオ装置１０、及び、警報ランプ１１に信号を出力する制御出力部７とを有して主要に構成されている。
【００１０】
本実施の形態による車両の運転支援装置１は、表情の検出を、例えば、「下田，國弘，吉川：動的顔画像からのリアルタイム表情認識システムの試作；ヒューマンインターフェース学会論文誌，Vol.1，No.2，pp.19-28(1999)」に基づき抽出するようになっている。
【００１１】
従って、特徴量抽出部４は、EkmanとFriesenによって提案された組織的な表情記述法であるFacial Action Coding System（FACS）における、解剖学的に独立し、且つ、視覚的に識別可能な表情動作の最小単位であるAction Unit（AU）をよく表し、また、画像処理により容易に抽出できるように、図３に示すように、１６個の特徴量（Ｖ１〜Ｖ１６）を抽出するものである。
【００１２】
具体的には、特徴量を算出するための特徴点として、右眉、左眉について各３点、右目、左目、口について各４点の計１８点の特徴点（Ｐ１〜Ｐ１８）を選び、右目の右端の特徴点Ｐ７と左目の左端の特徴点Ｐ１３とを結ぶ直線をｘ軸とし、右目の右端の特徴点Ｐ７を原点とするｙ軸を定めて、この座標系に各特徴量（Ｖ１〜Ｖ１６）を求める。このように本実施の形態においては、ＣＣＤカメラ２、画像処理部３、特徴量抽出部４により表情認識手段が構成されている。
【００１３】
表情抽出部５は、特徴量抽出部４で定めた各特徴量（Ｖ１〜Ｖ１６）が、以下の条件を全て満足する場合に、怒り、及び、悲しみの感情を表現する表情を抽出する。  
・怒りの表情の抽出  
特徴量Ｖ２〜Ｖ７減少、特徴量Ｖ１変化無し、特徴量Ｖ８，Ｖ１０増加、特徴量Ｖ４，Ｖ５，Ｖ９，Ｖ１１減少、特徴量Ｖ１６増加、特徴量Ｖ１３，Ｖ１５減少、特徴量Ｖ１２，Ｖ１４変化無し
・悲しみの表情の抽出  
特徴量Ｖ４，Ｖ５増加、特徴量Ｖ１，Ｖ３，Ｖ６減少、特徴量Ｖ２，Ｖ７変化無し、特徴量Ｖ４，Ｖ５増加、特徴量Ｖ１２，Ｖ１４増加、特徴量Ｖ１３，Ｖ１５，Ｖ１６変化無し
【００１４】
尚、これら怒り、悲しみの表情が抽出されてから、設定時間（例えば、５秒）経過した場合に、ドライバが怒り、悲しみの状態にあると判断する。逆に、これら怒り、悲しみの表情が無くなってから、設定時間（例えば、５秒）経過した場合に、ドライバが怒り、悲しみの状態ではなくなったと判断する。このように、表情抽出部５は表情抽出手段として設けられている。
【００１５】
表情判定部６は、表情抽出部５で怒り或いは悲しみの表情が抽出されているか否か判定し、判定結果を制御出力部７に出力する。
【００１６】
制御出力部７は、表情判定部６から、怒り或いは悲しみの表情が抽出されているとの信号が入力された場合、電子制御スロットル装置８、芳香剤用ファンモータ駆動部９、オーディオ装置１０、及び、警報ランプ１１に作動信号を出力する。
【００１７】
ここで、電子制御スロットル装置８は、少なくともアクセルペダルの踏み込み量θacに応じて、予め設定しておいたマップを参照、或いは、予め設定しておいた数式を基にスロットル開度θth（θac）を設定する、公知のものである。そして、制御出力部７は、表情判定部６から、怒り或いは悲しみの表情が抽出されているとの信号が入力された場合、得られているスロットル開度θth（θac）に対し、例えば、１よりも小さな定数（例えば、０．５）を乗算して出力させるようにする。このため、ドライバは怒り或いは悲しみの状態にある場合には、多くの踏み込みを行っても車両が急に加速することが防止され、走行安定性が確保されるようになっている。尚、スロットル開度θth（θac）に対し乗算する定数は、経時的に可変しても（次第に１に近づける）ようにしても良く、また、怒りの場合と悲しみの場合とで、別の値に設定しても良い。
【００１８】
また、制御出力部７は、表情判定部６から、怒り或いは悲しみの表情が抽出されているとの信号が入力された場合、設定されたスロットル開度θth（θac）をフィルタ等を通じて出力させ、遅れを生じさせるようになっている。このため、ドライバが感情によりアクセルペダルを急に踏み込む場合であっても、それがスロットル開度に直ぐに影響することが防止できるようになっている。
【００１９】
また、制御出力部７は、表情判定部６から、怒り或いは悲しみの表情が抽出されているとの信号が入力された場合、図示しないブロアユニット内に予め配設しておいた芳香剤を、芳香剤用ファンモータ駆動部９に駆動信号を出力することで芳香剤の開口部近傍に設けた芳香剤用ファンモータ（図示せず）を駆動させることにより、拡散させ、ドライバの鎮静を促すようになっている。
【００２０】
更に、制御出力部７は、表情判定部６から、怒り或いは悲しみの表情が抽出されているとの信号が入力された場合、オーディオ装置１０に信号を出力することで、予めドライバがオートチェンジャー等にセットしておいたＣＤ−ＲＯＭの音楽ソフトを自動的に演奏する。
【００２１】
また、制御出力部７は、表情判定部６から、怒り或いは悲しみの表情が抽出されているとの信号が入力された場合、インストルメントパネルのコンビネーションメータ内に設けた警報ランプ１１を点灯させ、ドライバに冷静な運転を促すようになっている。
【００２２】
このように本実施の形態では、表情判定部６及び制御出力部７により制御出力手段が構成されている。
【００２３】
次に、上述の車両の運転支援装置１で実行される運転支援制御を、図２のフローチャートで説明する。  
まず、ステップ（以下、「Ｓ」と略称）１０１で、画像処理部３は、ＣＣＤカメラ２からの画像を処理し、Ｓ１０２に進んで、特徴量抽出部４は、前述の１６個の特徴量（Ｖ１〜Ｖ１６）を抽出する。
【００２４】
次いで、Ｓ１０３に進み、表情抽出部５は、Ｓ１０２で定めた各特徴量（Ｖ１〜Ｖ１６）が、前述の各条件を満足する場合に、怒り、及び、悲しみの表情を抽出する。
【００２５】
そして、Ｓ１０４に進み、表情判定部６は、Ｓ１０３で怒り或いは悲しみの表情が抽出されているか否か判定し、抽出されていない場合はそのままプログラムを抜け、抽出されている場合にはＳ１０５に進む。
【００２６】
Ｓ１０５に進むと、制御出力部７は、インストルメントパネルのコンビネーションメータ内に設けた警報ランプ１１を点灯させ、ドライバに冷静な運転を促す。
【００２７】
次に、Ｓ１０６に進んで、制御出力部７は、電子制御スロットル装置８に対し、得られているスロットル開度θth（θac）に対し、例えば、１よりも小さな定数（例えば、０．５）を乗算して出力させるようにする。このため、ドライバは怒り或いは悲しみの状態にある場合には、多くの踏み込みを行っても車両が急に加速することが防止され、走行安定性が確保されるようになっている。
【００２８】
次いで、Ｓ１０７に進み、制御出力部７は、芳香剤用ファンモータ駆動部９に駆動信号を出力して芳香剤の開口部近傍に設けた芳香剤用ファンモータを駆動させることにより、芳香剤を拡散させ、ドライバの鎮静を促す。
【００２９】
次に、Ｓ１０８に進み、制御出力部７は、オーディオ装置１０に信号を出力することで、予めドライバがオートチェンジャー等にセットしておいたＣＤ−ＲＯＭの音楽ソフトを自動的に演奏させ、プログラムを抜ける。尚、Ｓ１０５〜Ｓ１０８の順番は、これに限定されるものでは無い。
【００３０】
このように本発明の実施の形態によれば、ドライバの表情、特に、怒り或いは悲しみの感情を検出して、ドライバが怒り或いは悲しみの状態にある場合には、急加速を防止したり、沈静化を図り、或いは、冷静な運転を促すようになっているので、ドライバによる運転が不安定になることが未然に防止され、車両の安全性を大きく向上させることが可能となっている。
【００３１】
尚、ドライバの表情については、怒り或いは悲しみの感情に限定されず、ドライバの感情に対して冷静な運転を促す必要があると判断される感情についても、表情から検出し車両制御に反映させる構成とすることも可能である。
【００３２】
また、本実施の形態では、ドライバの怒り或いは悲しみを、「下田，國弘，吉川：動的顔画像からのリアルタイム表情認識システムの試作；ヒューマンインターフェース学会論文誌，Vol.1，No.2，pp.19-28(1999)」に基づき抽出するようになっているが、他の手法により抽出するようにしても良い。
【図面の簡単な説明】
【００３３】
【図１】車両の運転支援装置の概略を示す機能ブロック図
【図２】運転支援制御のフローチャート
【図３】表情抽出の概要と判断の説明図
【符号の説明】
【００３４】
１    運転支援装置
２    ＣＣＤカメラ（表情認識手段）
３    画像処理部（表情認識手段）
４    特徴量抽出部（表情認識手段）
５    表情抽出部（表情抽出手段）
６    表情判定部（制御出力手段）
７    制御出力部（制御出力手段）
８    電子制御スロットル装置
９    芳香剤用ファンモータ駆動部
１０    オーディオ装置
１１    警報ランプ
代理人    弁理士    伊  藤    進
【図１】
2006069358.tif 000003
【図２】
2006069358.tif 000004
【図３】
2006069358.tif 000005