(57)【要約】【課題】運転者の漫然運転状態をより確実に検出することができる運転状態検出装置を提供する。【解決手段】運転状態検出装置１は、車室内での音を検出する集音マイク１３と、運転者が発声した音声と車室の内部で検出される音響との同調度合いを解析する同調度合い解析部１５と、解析された同調度合いに基づいて漫然運転を検出する漫然度計測部１６と、を備える。これにより、運転者の他に同乗者が居なくて会話がない場合でも、運転者が発声した音声と車室の内部で検出される音響との同調度合いに基づいて漫然運転が検出される。この結果、運転者の漫然度は高いか低いかに関する漫然運転状態をより確実に検出することが可能になる。【選択図】図１
2010241371.tif 000002
【特許請求の範囲】
【請求項１】
運転者が発声した音声と車室の内部で検出される音響との同調度合いに基づいて漫然運転を検出する同調度検出手段を備えることを特徴とする運転状態検出装置。
【請求項２】
運転者の口の開閉動作に周期性があるか否かに基づいて漫然運転を検出する周期性検出手段を備えることを特徴とする運転状態検出装置。
【請求項３】
運転者がガムを噛んでいるか否かに基づいて漫然運転を検出するガム検出手段を備えることを特徴とする運転状態検出装置。
【請求項４】
前記ガム検出手段により漫然運転が検出された場合に、前記運転者が運転する自車両の走行を制御する制御手段を備えることを特徴とする請求項３に記載の運転状態検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の運転状態を検出する運転状態検出装置に関する。
【背景技術】
【０００２】
従来、運転者が会話に夢中になって漫然運転を行なうのを防止する装置が提案されている。例えば、下記の特許文献１には、運転者が発声した音声を検出し、この音声に基づく運転者の会話の継続時間から漫然運転か否かを判定して、漫然運転と判定されたとき警報を行う漫然運転防止装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１９２６５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の特許文献１に記載の発明では、運転者の会話の継続時間から漫然運転か否かを判定している。ここで、運転者の他に同乗者が居ない場合において、会話がないため、運転者の漫然運転状態をより確実に検出することができるようにする改善を行う余地がある。
【０００５】
そこで本発明は、運転者の漫然運転状態をより確実に検出することができる運転状態検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
発明者は、上記した目的を達成するため鋭意検討し、運転者の漫然運転状態をより確実に検出することができる運転状態検出装置を発明した。
【０００７】
即ち、本発明に係る運転状態検出装置は、運転者が発声した音声と車室の内部で検出される音響との同調度合いに基づいて漫然運転を検出する同調度検出手段を備えることを特徴とする。
【０００８】
本発明に係る運転状態検出装置は、運転者が発声した音声と車室の内部で検出される音響との同調度合いに基づいて漫然運転を検出する。このため、運転者の他に同乗者が居なくて会話がない場合でも、運転者が発声した音声と車室の内部で検出される音響との同調度合いに基づいて漫然運転が検出される。この結果、運転者の漫然運転状態をより確実に検出することが可能になる。
【０００９】
また、本発明に係る運転状態検出装置は、運転者の口の開閉動作に周期性があるか否かに基づいて漫然運転を検出する周期性検出手段を備えることを特徴とする。
【００１０】
本発明に係る運転状態検出装置は、運転者の口の開閉動作に周期性があるか否かに基づいて漫然運転を検出する。このため、運転者の他に同乗者が居なくて会話がない場合でも、運転者の口の開閉動作に周期性があるか否かに基づいて漫然運転が検出される。この結果、運転者の漫然運転状態をより確実に検出することが可能になる。
【００１１】
また、本発明に係る運転状態検出装置は、運転者がガムを噛んでいるか否かに基づいて漫然運転を検出するガム検出手段を備えることを特徴とする。
【００１２】
本発明に係る運転状態検出装置は、運転者がガムを噛んでいるか否かに基づいて漫然運転を検出する。このため、運転者の他に同乗者が居なくて会話がない場合でも、運転者がガムを噛んでいるか否かに基づいて漫然運転が検出される。この結果、運転者の漫然運転状態をより確実に検出することが可能になる。
【００１３】
また、運転状態検出装置は、ガム検出手段により漫然運転が検出された場合に、運転者が運転する自車両の走行を制御する制御手段を備えるのも好ましい。
【００１４】
この構成によれば、ガム検出手段により漫然運転が検出された場合に、運転者が運転する自車両の走行が制御手段により制御される。このため、運転者が漫然運転を行なっても、自車両の走行を適切に制御して安全に走行させることができる。
【発明の効果】
【００１５】
本発明によれば、運転者の漫然運転状態をより確実に検出することができる運転状態検出装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】第一実施形態に係る運転状態検出装置の構成概略図である。
【図２】集音マイクにより検出される音の第一例を説明するためのグラフである。
【図３】集音マイクにより検出される音の第二例を説明するためのグラフである。
【図４】運転状態検出装置で実行される運転状態検出処理の流れを示すフローチャートである。
【図５】第二実施形態に係る運転状態検出装置の構成概略図である。
【図６】鼻下から顎先端までの距離の時間変化の一例と、顎関節の動きの時間変化の一例とを説明するためのグラフである。
【図７】顎関節の動きの時間変化のグラフを得るための詳細な方法の一例を説明するための説明図である。
【図８】運転状態検出装置で実行される運転状態検出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照しながら本発明の好適な実施形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明を省略する。
【００１８】
（１）第一実施形態
まず、図１を用いて、本発明の第一実施形態に係る運転状態検出装置の構成について説明する。図１は、第一実施形態に係る運転状態検出装置１の構成概略図である。運転状態検出装置１は、自動車等の車両（以下、自車両という。）に取り付けられて、自車両を運転するドライバー（運転者）が漫然運転をしているか否かを検出するための集中度計測システム装置である。運転状態検出装置１は、シート圧センサ１１、モード変更部１２、集音マイク１３（音声収集手段）、オーディオ１４（音響収集手段）、同調度合い解析部１５（同調度合い解析手段）、及び漫然度計測部１６（同調度検出手段）を備えている。
【００１９】
なお、モード変更部１２、同調度合い解析部１５、及び漫然度計測部１６による機能は、例えば、自車両の内部に搭載された電子制御装置であるＥＣＵ（図示せず）により実現される。ＥＣＵは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（RandomAccess Memory）等からなるマイクロコンピュータを主要構成部品とするユニットである。
【００２０】
シート圧センサ１１は、自車両の車室内の各座席シートに設けられ、各座席シートにかかる圧力を測定することにより、車室内の乗員数を検知するためのセンサである。これにより、シート圧センサ１１は、ドライバーの他に同乗者が居るか否かを検知することができる。
【００２１】
モード変更部１２は、シート圧センサ１１がドライバーの他に同乗者が居ることを検知した場合に、通常のモードから、車室内での会話時間を計測する動作モードに、運転状態検出装置１を切り替える設定部分である。車室内での会話時間の計測は、例えば、従来用いられている技術及び集音マイク１３を用いて行なわれる。この会話時間が長ければ長いほど、漫然度計測部１６によって後述の漫然度は高いと判定される。なお、通常のモードとは、車室内での音響メロディに対するドライバーのハモリの一致度を計測する一致度計測モードである。
【００２２】
集音マイク１３は、車室内での音や会話を検出して電気信号に変えるマイクである。車室内での音には、ドライバーが発声した音声（鼻歌、歌唱、掛け声、笑い声、相槌、怒声等による音声も含む）や、車室内におけるロードノイズ（即ち、自車両が車道を走行する際の騒音や車外からの音声）や、オーディオ１４が発する音響や、会話音声等が含まれる。集音マイク１３により検出される音の一例については後述する。
【００２３】
オーディオ１４は、音楽メロディやラジオ放送やテレビ放送等のマルチメディアの音響を、ドライバーに対して再生するための装置である。オーディオ１４は、ドライバーに対して再生される音響の音量の時間変化を検出することができ、検出された音響をデータとして格納する音源ＤＢ（即ち、ジュークボックスのような音源データベース）を有している。また、オーディオ１４は、ドライバーに対して漫然運転を止めさせるための警告といった情報の提供を行なうこともできる。
【００２４】
同調度合い解析部１５は、集音マイク１３が検出した音声と、オーディオ１４が検出した音響の時間変化との同調度合い（即ち、ハモリの一致度を示す相関値）を計測して解析する演算部分である。音声と音響との相関値を計算するための音声と音響の一例については後述する。
【００２５】
漫然度計測部１６は、モード変更部１２により計測された会話時間や、同調度合い解析部１５による同調度合いの解析結果に基づいて、ドライバーの漫然度を計測して漫然運転を検出する計測部分である。漫然度は、ドライバーが漫然運転をしている場合の漫然の度合いを示す数値指標であり、例えば、漫然運転をしている度合いが大きい場合に、これに対応して漫然度も大きく示される。
【００２６】
次に、図２を用いて、集音マイク１３により検出される音の第一例について説明する。図２は、集音マイク１３により検出される音の第一例を説明するためのグラフである。
【００２７】
図２（ａ）に、集音マイク１３により検出された音の時間変化のグラフが示されている。縦軸Ｓは信号の大きさを示し、横軸Ｔは経過時間を示している。検出された音が大きいほどグラフの上側に振れる一方、検出された音が小さいほどグラフの下側に振れる。
【００２８】
また、図２（ｂ）に、集音マイク１３により検出されたロードノイズの時間変化のグラフが示されている。縦軸Ｓは信号の大きさを示し、横軸Ｔは経過時間を示している。検出された音が大きいほどグラフの上側に振れる一方、検出された音が小さいほどグラフの下側に振れる。
【００２９】
また、図２（ｃ）に、図２（ａ）に示された音から、図２（ｂ）に示されたロードノイズが、同調度合い解析部１５によって差し引かれた演算結果の時間変化のグラフが示されている。縦軸Ｓは信号の大きさを示し、横軸Ｔは経過時間を示している。破線で示された曲線Ｓａは、ドライバーに対して再生される音響として、オーディオ１４により検知されたオーディオ音源の時間変化を示している。また、実線で示された曲線Ｓｂは、ドライバーが発生した音声として、集音マイク１３により検知された音声音源の時間変化を示している。
【００３０】
ここで、同調度合い解析部１５が、所定時間Ｔｃ内で示される一定区間Ｚ内における曲線Ｓａと曲線Ｓｂとの相関値を計算する演算を行なって、この相関値を求める。なお、同調度合い解析部１５は、複数の一定区間ごとの平均相関値を計算する演算を行なって、この平均相関値を指標として用いてもよい。また、相関値を計算する代わりに、カラオケ装置等で採用されている、歌の上手さを示す指標（例えば、どの程度、音程やリズムが取れているかを示す指標）を計算してもよい。
【００３１】
次に、図３を用いて、集音マイク１３により検出される音の第二例について説明する。図３は、集音マイク１３により検出される音の第二例を説明するためのグラフである。
【００３２】
図３に、同調度合い解析部１５によって、集音マイク１３により検出された音からロードノイズが差し引かれた演算結果の時間変化のグラフが示されている。縦軸Ｓは信号の大きさを示し、横軸Ｔは経過時間を示している。実線で示された曲線Ｓｂは、ドライバーが発生した音声として、集音マイク１３により検知された音声音源の時間変化を示している。ここで、同調度合い解析部１５は、先の尖ったピーキーなピーク信号Ｐを検出すると、このピーク信号Ｐを叱責発言や怒鳴り声や舌打ちや（周辺車両や交通環境に対する）イライラ運転（即ち、イライラ度合いの高い状態）時の音声等として特定する音声認識解析を行なう。このとき、漫然度計測部１６が、漫然度は低い（即ち、ドライバーは覚醒状態である）と判断する。
【００３３】
次に、図４を用いて、運転状態検出装置１で実行される運転状態検出処理（運転状態検出方法）の流れについて、説明する。図４は、運転状態検出装置１で実行される運転状態検出処理の流れを示すフローチャートである。
【００３４】
まず、シート圧センサ１１が、自車両の車室内の各座席シートにかかる圧力を測定することにより、車室内の乗員数を検知する（ステップＳ０１）。そして、シート圧センサ１１が、ドライバーの他に同乗者が居るか否か、即ち、ドライバーのみ乗車しているか否かを判定する（ステップＳ０２）。ドライバーのみ乗車していると判定された場合は、後述のステップＳ０３に移行する。一方、ドライバーの他に同乗者が居ると判定された場合は、後述のステップＳ１１に移行する。
【００３５】
ステップＳ１１では、モード変更部１２が、車室内での会話時間を計測する動作モードに運転状態検出装置１を切り替える。車室内での会話時間の計測は、例えば、従来用いられている技術及び集音マイク１３を用いて行なわれる。そして、漫然度計測部１６が、モード変更部１２により計測された会話時間に基づいて、ドライバーの漫然度を計測して、一定値以上の漫然度が計測されたか否かを判定する（ステップＳ１２）。一定値以上の漫然度は計測されなかったと判定された場合は、一連の処理が終了する。一方、一定値以上の漫然度が計測されたと判定された場合は、後述のステップＳ０９に移行する。
【００３６】
ステップＳ０３では、集音マイク１３が、車室内での音（例えば、ドライバーの音声等）を検出して収集する。そして、同調度合い解析部１５が、検出した音から、車室内におけるロードノイズ（即ち、自車両が車道を走行する際の騒音）を除去する音声信号解析処理を行う（ステップＳ０４）。次に、同調度合い解析部１５が、ロードノイズ以外の音声が存在するか否かを判定する（ステップＳ０５）。ロードノイズ以外の音声は存在しないと判定された場合は、一連の処理が終了する。一方、ロードノイズ以外の音声が存在すると判定された場合は、後述のステップＳ０６に移行する。
【００３７】
ステップＳ０６では、オーディオ１４が、ドライバーに対して再生される音響の音量の時間変化を検出し、オーディオが再生中であるか否かを判定する。オーディオは再生中でないと判定された場合、後述のステップＳ２１に移行する。一方、オーディオが再生中であると判定された場合、後述のステップＳ０７に移行する。
【００３８】
ステップＳ０７では、同調度合い解析部１５が、集音マイク１３によって検出された音声（鼻歌、歌唱、掛け声、笑い声、相槌、怒声等による音声も含む）と、オーディオ１４によって検出された音響音源信号の時間変化とを比較して同調度合い（即ち、前述の相関値）を計測して解析する。そして、同調度合い解析部１５が、一定値以上の同調度合いが計測されたか否かを判定する（ステップＳ０８）。一定値以上の同調度合いは計測されなかったと判定された場合、後述のステップＳ２４に移行する。一方、一定値以上の同調度合いが計測されたと判定された場合、後述のステップＳ０９に移行する。
【００３９】
ステップＳ０９では、オーディオ１４が、計測された漫然度に応じて、ドライバーに対して漫然運転を止めさせるための警告といった注意喚起情報の提供を行なう。なお、ステップＳ０９の時点で漫然度が未だ計測されていない場合は、漫然度計測部１６が、同調度合い解析部１５により計測された同調度合いに基づいて、ドライバーの漫然度を計測し、この後で、前述の注意喚起情報の提供が行なわれる。例えば、漫然度が、一定値よりも高い所定度数以上である場合には、オーディオ１４が、再生中の音響を停止し、漫然運転を止めさせるための警告を通常の再生時よりも大きい音量で行なう。
【００４０】
また、漫然度が、一定値よりも高い所定度数未満である場合には、オーディオ１４は、再生中の音響を停止することなく、漫然運転をしていないか確認させるための注意を通常の再生時と同じ音量で行なう。なお、ステップＳ０９では、オーディオ１４が漫然度に応じて情報の提供を行なう代わりに、運転席を振動させる振動手段等を用いて自車両を制御することによって、注意を促す態様とすることもできる。そして、一連の処理が終了する。
【００４１】
ステップＳ２１では、同調度合い解析部１５が、ロードノイズ以外の、先の尖ったピーキーな信号（例えば、サイレン等による信号も含む）も集音マイク１３が検出しなかったか否かを判定する。ロードノイズ以外のピーキーな信号も検出されなかったと判定された場合、後述のステップＳ２４に移行する。一方、ロードノイズ以外のピーキーな信号が検出されたと判定された場合、後述のステップＳ２２に移行する。
【００４２】
ステップＳ２２では、同調度合い解析部１５が、集音マイク１３によって検出された音声信号は、オーディオ１４が有する音源ＤＢ中に存在するか否かを判定するために、この音声信号と音源ＤＢ中の音源とを照合する。そして、同調度合い解析部１５が、この音声信号と同調する音源が音源ＤＢ中に存在するか否かを判定する（ステップＳ２３）。この音声信号と同調する音源が音源ＤＢ中に存在すると判定された場合は、前述のステップＳ０８に移行する。一方、この音声信号と同調する音源が音源ＤＢ中に存在しないと判定された場合は、前述のステップＳ２４に移行する。
【００４３】
ステップＳ２４では、漫然度計測部１６が、ドライバーの漫然度は低いと判断する。そして、一連の処理が終了する。
【００４４】
上記したように、運転状態検出装置１では、ドライバーが発声した音声と車室の内部で検出される音響との同調度合いに基づいて漫然運転を検出する。このため、ドライバーの他に同乗者が居なくて（ステップＳ０２におけるＹＥＳ）会話がない場合でも、ドライバーが発声した音声と車室の内部で検出される音響との同調度合いに基づいて（ステップＳ０７）、ドライバーが運転に集中していない漫然度は高いか低いか（即ち、運転への集中度が音響によって阻害されているか否か）に関する漫然運転状態をより確実に検出することが可能になる（ステップＳ０８）。
【００４５】
また、ドライバーの他に同乗者が居る場合に、通常のモードから、車室内での会話時間を計測する動作モードに切り替わることにより、漫然運転状態を検出するための運転状態検出装置１の利用が可能な条件の範囲を拡大して最適化することが可能になる。この結果、漫然運転状態をより確実に検出することが可能になる。
【００４６】
また、イライラ度合いの高い状態であるか否かを、同調度合い解析部１５によって特定することが可能になる。
【００４７】
（２）第二実施形態
次に、図５を用いて、本発明の第二実施形態に係る運転状態検出装置の構成について説明する。図５は、第二実施形態に係る運転状態検出装置２の構成概略図である。運転状態検出装置２は、運転状態検出装置１同様に、自車両を運転するドライバーが漫然運転をしているか否かを検出するための装置である。運転状態検出装置２は、顔撮影カメラ２１（撮影手段）及び漫然度計測部２２（周期性検出手段、ガム検出手段、制御手段）を備えている。
【００４８】
なお、漫然度計測部２２による機能は、例えば、自車両の内部に搭載された電子制御装置であるＥＣＵ（図示せず）により実現される。
【００４９】
顔撮影カメラ２１は、例えばコラムカバーの上面に設置され、ドライバーの顔画像（特に、顔下半分の画像）に関する画像信号を取得して電気信号に変える監視装置である。
【００５０】
漫然度計測部２２は、顔撮影カメラ２１が取得した画像信号に基づいて顔のパーツ（例えば顔の輪郭、鼻、口、耳等）を認識してドライバーの口の開閉動作を検知し、検知した口の開閉動作に周期性があるか否か（即ち、ドライバーがガムを噛んでいるか否か）に基づいて、ドライバーの漫然度を計測して漫然運転を検出する計測部分である。漫然度は、ドライバーが漫然運転をしている場合の漫然の度合いを示す数値指標であり、例えば、漫然運転をしている度合いが大きい場合に、これに対応して漫然度も大きく示される。
【００５１】
より詳しくは、漫然度計測部２２は、鼻下から顎先端までの距離の時間変化に周期性がある場合に、ドライバーはガムを噛んでいる状態であると推測した上で、ドライバーの漫然度は低い（即ち、ドライバーは覚醒状態又は覚醒しようとしている状態である）と判断する。漫然度計測部２２は、漫然運転を検出した場合に、ドライバーが運転する自車両の走行の制御や、ドライバーに対して注意を喚起するための警報等を実施する。漫然度計測部２２は、唇開閉計測部２３、鼻下計測部２４、及びあご関節動き検出部２５を有している。
【００５２】
唇開閉計測部２３は、顔撮影カメラ２１が取得した画像信号に基づいて画像解析処理を行い、ドライバーの口の開閉動作の時間変化（即ち、唇の開口度の時間変化）を検出する計測部分である。
【００５３】
鼻下計測部２４は、顔撮影カメラ２１が取得した画像信号に基づいて画像解析処理を行い、ドライバーの鼻下から顎先端までの距離の時間変化を検出する計測部分である。鼻下計測部２４により計測される鼻下から顎先端までの距離の時間変化については後述する。
【００５４】
あご関節動き検出部２５は、顔撮影カメラ２１が取得した画像信号に基づいて画像解析処理を行い、ドライバーの顎関節の動きの時間変化を検出する検出部分である。あご関節動き検出部２５は、画像信号における顔の耳下（即ち、顎関節）エリアをメッシュ状に区切り、各メッシュ（即ち、最小の一区画）における各点の時間ごとの移動量を計測することによって、顎関節の動きの時間変化を検出する。この移動量の計測は、各メッシュ別にテンプレートマッチングを実施することによって行なわれる。あご関節動き検出部２５により検出される顎関節の動きの時間変化については後述する。
【００５５】
そして、漫然度計測部２２は、唇開閉計測部２３により検出された口の開閉動作の時間変化と、鼻下計測部２４により検出された鼻下から顎先端までの距離の時間変化と、あご関節動き検出部２５により検出された顎関節の動きの時間変化とに基づいて、ドライバーの口の開閉動作に周期性があるか否かを判定する。
【００５６】
次に、図６を用いて、鼻下から顎先端までの距離の時間変化の一例と、顎関節の動きの時間変化の一例について説明する。図６は、鼻下から顎先端までの距離の時間変化の一例と、顎関節の動きの時間変化の一例とを説明するためのグラフである。
【００５７】
図６（ａ）に、鼻下計測部２４により計測される鼻下から顎先端までの距離の時間変化のグラフが示されている。縦軸Ｄは鼻下から顎先端までの長さ（即ち、距離）を示し、横軸Ｔは経過時間を示している。ここでは、ドライバーがガムを噛んでいるとし、このため鼻下から顎先端までの距離の時間変化に周期性があることが示されている。より詳しくは、鼻下から顎先端までの長さがＤａである状態と、このＤａよりも長いＤｂである状態とが所定時間ごとに繰り返されていることが示されている。即ち、Ｄａで示される長さが、ガムを噛み締めた時の長さであり、Ｄｂで示される長さが、咀嚼の際の最長ストローク長さである。
【００５８】
図６（ｂ）に、あご関節動き検出部２５により検出される顎関節の動きの時間変化のグラフが示されている。縦軸Ｖはメッシュにおける各点の時間ごとの移動距離及び方向を示し、横軸Ｔは経過時間を示している。ここでは、ドライバーがガムを噛んでいるとし、このため顎関節の動きの時間変化に周期性があることが示されている。
【００５９】
次に、図７を用いて、図６（ｂ）に示されている顎関節の動きの時間変化のグラフを得る際の詳細な方法の一例について説明する。図７は、顎関節の動きの時間変化のグラフを得るための詳細な方法の一例を説明するための説明図である。
【００６０】
図７（ａ）に、あご関節動き検出部２５が、画像信号における顔Ｆの耳下（即ち、顎関節）エリアＥをメッシュ状に区切った場合の一例が示されている。そして、あご関節動き検出部２５が、各メッシュにおける各点の時間ごとの移動距離及び方向を計測することによって、顎関節の動きの時間変化を検出する。この移動距離及び方向の計測は、各メッシュ別にテンプレートマッチングを実施することによって行なわれる。
【００６１】
図７（ｂ）に、図７（ａ）に示された各メッシュのうち一のメッシュＭ（即ち、最小の一区画）における一の点である角点Ｃ０の時間ごとの移動距離及び方向の一例が示されている。まず、時刻Ｔ０では略正方形の形状であるメッシュＭが、所定時間経過後の時刻Ｔ１では略長方形の形状であるメッシュＲ１に縦長変形する。このとき、メッシュＭの角点Ｃ０は図７（ｂ）における左上方向にメッシュＲ１の角点Ｃ１となって移動している。
【００６２】
ここで、更に所定時間経過後の時刻Ｔ２では、メッシュＲ１が形状変わらずメッシュＲ２となって図７（ｂ）における右方向に平行移動する。このとき、メッシュＲ１の角点Ｃ１は図７（ｂ）における右方向にメッシュＲ２の角点Ｃ２となって移動している。結果的に、メッシュＭの角点Ｃ０は図７（ｂ）における右上方向にメッシュＲ２の角点Ｃ２となって移動している。ここで、更に所定時間経過後の時刻Ｔ３では、メッシュＲ２がメッシュＭに横長変形して戻る。このため、変形後（即ち、時刻Ｔ３）のメッシュＭの角点Ｃ０が、変形前（即ち、時刻Ｔ０）のメッシュＭの角点Ｃ０と一致している。メッシュＭは、この一連の動きを所定時間ごとに繰り返す。このように、ドライバーがガムを噛んでいる場合、顎関節の動きの時間変化には周期性がある。なお、通常は、各メッシュが有する四つの角点に関して上記したような移動距離及び方向の計測が行なわれる。
【００６３】
次に、図８を用いて、運転状態検出装置２で実行される運転状態検出処理（運転状態検出方法）の流れについて、説明する。図８は、運転状態検出装置２で実行される運転状態検出処理の流れを示すフローチャートである。
【００６４】
まず、顔撮影カメラ２１が、ドライバーの顔画像に関する画像信号を取得する（ステップＳ３１）。そして、漫然度計測部２２が、顔撮影カメラ２１が取得した画像信号に基づいて、顔のパーツ（例えば顔の輪郭、鼻、口、耳等）を検知する（ステップＳ３２）。
【００６５】
次に、漫然度計測部２２が、顔撮影カメラ２１が検知した顔のパーツに基づいて、目の検知は不可能であるか否かを判定する（ステップＳ３３）。ドライバーがサングラスを装着しているといった場合のように目の検知は不可能であると判定された場合、後述のステップＳ３４に移行する。一方、目の検知は可能であると判定された場合、後述のステップＳ４１に移行する。
【００６６】
ステップＳ４１では、漫然度計測部２２が、顔撮影カメラ２１が検知した目に基づいて視線の挙動を検知し、検知した視線に基づく漫然度を推定する。そして、一連の処理が終了する。通常は、ここまでの一連の処理が行われる。
【００６７】
ステップＳ３４では、唇開閉計測部２３が、ドライバーの唇の開口度を計測して、口の開閉動作の時間変化（即ち、唇の開口度の時間変化）を検出する。そして、唇開閉計測部２３が、検出された口の開閉動作の時間変化に基づいて、ドライバーの唇は閉じられた状態か否かを判定する（ステップＳ３５）。ドライバーの唇は閉じられた状態であると判定された場合には、後述のステップＳ３６に移行する。一方、ドライバーの唇は閉じられておらず開かれた状態であると判定された場合には、後述のステップＳ５１に移行する。
【００６８】
ステップＳ５１では、唇開閉計測部２３が、唇の開閉は周期的に変化しているか否かを判定する。唇の開閉は周期的に変化していると判定された場合は、後述のステップＳ３６に移行する。一方、唇の開閉は周期的に変化していないと判定された場合は、後述のステップＳ５２に移行する。なお、唇開閉計測部２３は、唇の開閉は周期的に変化しているか否かを判定する構成の代わりに、集音マイク及び発話認識処理技術を用いて会話音声の出力が検出されたか否かを判定する構成としてもよい。この構成を用いる場合、会話音声が検出されなかったと判定された場合は、後述のステップＳ３６に移行する。一方、会話音声が検出されたと判定された場合は、後述のステップＳ５２に移行する。
【００６９】
ステップＳ５２では、漫然度計測部２２が、ドライバーの漫然度は計測不可能であると判定する。そして、一連の処理が終了する。
【００７０】
ステップＳ３６では、鼻下計測部２４が、ドライバーの鼻下から顎先端までの距離を計測して、鼻下から顎先端までの距離の時間変化を検出する。そして、漫然度計測部２２が、検出されたこの距離の時間変化に基づいて、この距離に周期的な変化があるか否かを判定する（ステップＳ３７）。この距離に周期的な変化があると判定された場合には、後述のステップＳ３８に移行する。一方、この距離に周期的な変化がないと判定された場合には、後述のステップＳ６１に移行する。
【００７１】
ステップＳ３８では、漫然度計測部２２が、ドライバーはガムを噛んでいる状態であると推測した上で、ドライバーの漫然度は低い（即ち、ドライバーは覚醒状態又は覚醒しようとしている状態である）と判断する。そして、一連の処理が終了する。
【００７２】
ステップＳ６１では、あご関節動き検出部２５が、画像信号における顔の耳下（即ち、顎関節）エリアをメッシュ状に区切り、各メッシュにおける各点の時間ごとの移動量を計測する。そして、あご関節動き検出部２５が、各メッシュにおける各点の移動は周期的に変化しているか否かを判定する（ステップＳ６２）。各メッシュにおける各点の移動は周期的に変化していると判定された場合は、前述のステップＳ３８に移行する。一方、各メッシュにおける各点の移動は周期的に変化していないと判定された場合は、前述のステップＳ５２に移行する。
【００７３】
上記したように、運転状態検出装置２では、ドライバーの口の開閉動作に周期性があるか否かに基づいて漫然運転を検出する。このため、運転者の他に同乗者が居なくて会話がない場合でも、ドライバーの口の開閉動作に周期性があるか（即ち、ドライバーがガムを噛んでいるか）否か（ステップＳ３７及びステップＳ６２）に基づいて、ドライバーが運転に集中していない漫然度は高いか低いかに関する漫然運転状態をより確実に検出することが可能になる（ステップＳ３８）。
【００７４】
また、ドライバーがサングラスを装着しているといった場合のように目の検知は不可能である（即ち、視線挙動のロスト発生）と判定された場合（ステップＳ３３のＹＥＳ）、漫然運転状態を検出するための代替ロジックとして、鼻下から顎先端までの距離の時間変化に基づいて（ステップＳ３６，ステップＳ３７）漫然度が計測される。このため、視線挙動とガムを噛む挙動との両方を検知して対応することが可能なハイブリッドな運転状態推定システムとしての運転状態検出装置２は、より長い期間、ドライバーの漫然運転状態をより正確に検出することができる。
【００７５】
また、ドライバーの漫然運転が検出された場合に、漫然度計測部２２が、自車両の走行を制御する。このため、ドライバーが漫然運転を行なっても、自車両の走行を適切に制御して安全に走行させることができる。
【００７６】
また、ドライバーはガムを噛んでいる状態であると漫然度計測部２２によって推測された上で、ドライバーの漫然度は低い（即ち、ドライバーは覚醒状態又は覚醒しようとしている状態である）と漫然度計測部２２によって判断され、一連の処理が終了する。このため、漫然度が低いにも関わらず走行制御や警報といったアクチュエーションを実施してドライバーがこの実施タイミングについて煩わしさを感じることを、防ぐことができる。この結果、ドライバーにとっての、運転状態検出装置２が実施するアクチュエーションの適切な実施タイミングに対する受容性を高めることが可能になる。
【００７７】
（３）変形例
上記の実施例では、運転状態検出装置１及び運転状態検出装置２は別個の装置である構成としたが、少なくとも何れか一方の装置の構成が含まれていれば装置の構成は特に限定されず、例えば、運転状態検出装置１及び運転状態検出装置２を一体化した装置の構成としてもよい。運転状態検出装置１及び運転状態検出装置２を一体化した装置の構成とすることにより、例えば、集音マイク１３により車室内での音を検出できない場合に、顔撮影カメラ２１によりドライバーの口の開閉動作に基づいて漫然度を計測することができる。
【産業上の利用可能性】
【００７８】
本発明によれば、運転者の漫然運転状態をより確実に検出することができる運転状態検出装置を提供することができる。
【符号の説明】
【００７９】
１，２…運転状態検出装置、１１…シート圧センサ、１２…モード変更部、１３…集音マイク、１４…オーディオ、１５…同調度合い解析部、１６…漫然度計測部、２１…顔撮影カメラ、２２…漫然度計測部、２３…唇開閉計測部、２４…鼻下計測部、２５…あご関節動き検出部、Ｃ０，Ｃ１，Ｃ２…角点、Ｅ…耳下エリア、Ｆ…顔、Ｍ，Ｒ１，Ｒ２…メッシュ、Ｐ…ピーク信号、Ｓａ，Ｓｂ…曲線、Ｔｃ…所定時間、Ｚ…一定区間。
【図１】
2010241371.tif 000003
【図２】
2010241371.tif 000004
【図３】
2010241371.tif 000005
【図４】
2010241371.tif 000006
【図５】
2010241371.tif 000007
【図６】
2010241371.tif 000008
【図７】
2010241371.tif 000009
【図８】
2010241371.tif 000010