(57)【要約】【課題】運転者の周囲環境への適応状態を精度良く推定すること。【解決手段】自車両の周囲環境における運転シーンの変化と、運転者の生体における変化との相関を取り、その相関に基づいて、運転者の運転適応状態を推定するため、自車両の周囲環境に基づかない運転者の生体変化の影響を抑制することができる。したがって、運転者の周囲環境への適応状態を精度良く推定することができる。【選択図】図１
2007275115.tif 000002
【特許請求の範囲】
【請求項１】
自車両の周囲環境を撮像する撮像手段と、
前記撮像手段の撮像画像に基づいて、運転シーンの変化を検出する運転シーン変化検出手段と、
運転者の生体における変化を検出する生体変化検出手段と、
前記運転シーン変化検出手段が検出した運転シーンの変化と、前記生体変化検出手段が検出した生体における変化との相関に基づいて、前記周囲環境に対する運転者の適応状態を推定する運転適応状態推定手段と、
を備えることを特徴とする運転適応状態推定装置。
【請求項２】
前記運転シーン変化検出手段は、前記撮像手段が撮像した画像の複雑度を算出し、算出した複雑度の変化に基づいて、運転シーンの変化を検出することを特徴とする請求項１記載の運転適応状態推定装置。
【請求項３】
前記運転シーン変化検出手段は、前記撮像手段が撮像した画像における、フラクタル次元の変化、画素値分布の変化及びフレーム間での画素移動量の変化のうちの少なくとも１つに基づいて、運転シーンの変化を検出することを特徴とする請求項１又は２に記載の運転適応状態推定装置。
【請求項４】
前記生体変化検出手段は、運転者の生体信号を検出する生体信号検出手段を備え、
前記生体信号検出手段が検出した生体信号におけるゆらぎを算出し、算出した生体信号のゆらぎに基づいて、運転者の生体における変化を検出することを特徴とする請求項１〜３の何れか１項に記載の運転適応状態推定装置。
【請求項５】
前記生体信号検出手段は、運転者の脈波、心電図のＲ波、発汗量及び瞳孔面積のうちの少なくとも１つの値を検出することを特徴とする請求項１〜４の何れか１項に記載の運転適応状態推定装置。
【請求項６】
前記生体変化検出手段は、前記生体信号検出手段が検出した生体信号のリアプノフ指数を算出し、算出したリアプノフ指数の変化に基づいて、運転者の生体における変化を検出することを特徴とする請求項１〜５の何れか１項に記載の運転適応状態推定装置。
【請求項７】
前記運転適応状態推定手段は、前記運転シーン変化検出手段が検出した運転シーンの単位時間当たりの変化回数が多いほど、前記周囲環境に対して運転者が適応していない度合いを高く推定することを特徴とする請求項１〜６の何れか１項に記載の運転適応状態推定装置。
【請求項８】
自車両の周囲環境における運転シーンの変化と、運転者の生体における変化との相関に基づいて、前記周囲環境への運転者の適応状態を推定することを特徴とする運転適応状態推定装置。
【請求項９】
自車両の周囲環境を撮像する撮像手段と、
前記撮像手段の撮像画像に基づいて、運転シーンの変化を検出する運転シーン変化検出手段と、
運転者の生体における変化を検出する生体変化検出手段と、
前記運転シーン変化検出手段が検出した運転シーンの変化と、前記生体変化検出手段が検出した生体における変化との相関に基づいて、前記周囲環境に対する運転者の適応状態を推定する運転適応状態推定手段と、
前記運転適応状態推定手段の前記推定結果に基づいて、車載装置の制御を行う制御手段と、
を備えることを特徴とする自動車。
【請求項１０】
自車両の周囲環境における運転シーンの変化を検出する運転シーン変化ステップと、運転者の生体における変化を検出する生体変化検出ステップと、前記運転シーン変化ステップにおいて検出された自車両の周囲環境における運転シーンの変化と、前記生体変化検出ステップにおいて検出された運転者の生体における変化との相関に基づいて、前記周囲環境への運転者の適応状態を推定する運転適応状態推定ステップと、を含むことを特徴とする運転適応状態推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周囲環境への運転者の適応状態を推定する運転適応状態推定装置、自動車及び運転適応状態推定方法に関する。
【背景技術】
【０００２】
従来、運転支援等のために、心電あるいは脈波といった生体信号を用いて運転者の状態を推定する技術が提案されている。
例えば、特許文献１には、運転者の生体信号を検出し、その検出した生体信号からカオス解析に基づく指標を算出し、その算出した値に基づいて、運転者の心身状態を推定する手法が開示されている。
【０００３】
生体信号を用いることにより、運転者の身体を直接的に監視して、運転者の状態が周囲環境に適応できるものであるか否かを判定することが可能となる。
【特許文献１】特開平９−３０８６１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、運転者の生体信号は、運転者の外的環境の変化の他に、運転者の思考やその時の運転者の心身状態に敏感に左右されてしまう。
そのため、運転者の生体信号は、必ずしも運転者の周囲環境への適応状態と対応していない場合があり、運転者の状態を誤判定させる可能性がある。
このように、運転者の生体信号を用いて運転者の状態を推定する従来の技術においては、運転者の周囲環境への適応状態を精度良く推定することが困難であった。
本発明の課題は、運転者の周囲環境への適応状態を精度良く推定することである。
【課題を解決するための手段】
【０００５】
前記課題を解決するために、本発明は、
自車両の周囲環境における運転シーンの変化と、運転者の生体における変化との相関に基づいて、前記周囲環境への運転者の適応状態を推定することを特徴とする運転適応状態推定装置である。
また、本発明は、
自車両の周囲環境を撮像する撮像手段と、前記撮像手段の撮像画像に基づいて、運転シーンの変化を検出する運転シーン変化検出手段と、運転者の生体における変化を検出する生体変化検出手段と、前記運転シーン変化検出手段が検出した運転シーンの変化と、前記生体変化検出手段が検出した生体における変化との相関に基づいて、前記周囲環境に対する運転者の適応状態を推定する運転適応状態推定手段と、前記運転適応状態推定手段の前記推定結果に基づいて、車載装置の制御を行う制御手段と、を備えることを特徴とする自動車である。
【０００６】
また、本発明は、
自車両の周囲環境における運転シーンの変化を検出する運転シーン変化ステップと、運転者の生体における変化を検出する生体変化検出ステップと、前記運転シーン変化ステップにおいて検出された自車両の周囲環境における運転シーンの変化と、前記生体変化検出ステップにおいて検出された運転者の生体における変化との相関に基づいて、前記周囲環境への運転者の適応状態を推定する運転適応状態推定ステップと、を含むことを特徴とする運転適応状態推定方法である。
【発明の効果】
【０００７】
本発明係る運転適応状態推定装置によれば、自車両の周囲環境における運転シーンの変化と、運転者の生体における変化との相関を取り、その相関に基づいて、運転者の運転適応状態を推定するため、自車両の周囲環境に基づかない運転者の生体変化の影響を抑制することができる。したがって、運転者の周囲環境への適応状態を精度良く推定することができる。
【０００８】
また、本発明に係る自動車によれば、撮像手段が撮像した自車両の周囲環境の撮像画像から、運転シーン変化検出手段が運転シーンの変化を検出し、生体変化検出手段が検出した生体変化との相関に基づいて、運転適応状態推定手段が、周囲環境に対する運転者の適応状態を推定する。そして、その推定結果に基づいて、制御手段が車載機器の制御を行う。したがって、運転者が視認している自車両の周囲環境に基づいて検出された運転シーンの変化と、それに対する運転者の反応とを対応づけて運転適応状態が推定され、その推定結果によって車載機器が制御されるため、運転者の周囲環境への適応状態を精度良く推定することができると共に、運転者における実際の運転適応状態に、より適合した車載機器の制御を行うことが可能な自動車とできる。
【０００９】
また、本発明に係る運転適応状態推定方法によれば、運転者の生体変化に加え、自車両の周囲環境における運転シーンの変化が検出され、それらの相関を基に、周囲環境に対する運転者の適応状態が推定される。したがって、自車両の周囲環境に基づかない運転者の生体変化の影響を抑制することができ、運転者の周囲環境への適応状態を精度良く推定することが可能な運転適応状態推定方法とできる。
【発明を実施するための最良の形態】
【００１０】
本発明を実施するための最良の形態（以下、実施形態という。）を図面を参照しながら詳細に説明する。
（第１の実施形態）
第１の実施形態は、本発明を適用した車両である。
（構成）
図１は、第１の実施形態の車両の構成を示す。
図１に示すように、車両は、運転適応推定装置として、動画入力部１、運転シーン変化検出部２、生体信号測定部３、運転負担検出部４及び運転不適応状態判定部５を備えている。
動画入力部１は、自車両の周囲環境を撮像するために、自動車の各方向に取り付けたＣＣＤ（Charge Coupled Device）カメラを備えており、各ＣＣＤカメラにより運転中の走行環境を動画像として取り込む。動画入力部１は、取り込んだ動画像を運転シーン変化検出部２に出力する。
【００１１】
運転シーン変化検出部２は、入力された動画像から所定時間（サンプリング時間Ｔ、例えば５秒）で画像（静止画像）を抽出して、当該所定時間おきに抽出した画像の複雑さを評価する。ここで、画像の複雑さの評価を、例えばフラクタル次元で行う。そして、運転シーン変化検出部２は、今回のフラクタル次元と１つ前の時間（前回）のフラクタル次元とを比べて、その変化（差分）が大きければ、今回のフラクタル次元を算出した時刻を運転シーンの複雑さが変化した時刻として、当該時刻に運転シーンが変化したと判定する。
【００１２】
ここで、今回のフラクタル次元と１つ前の時間（前回）のフラクタル次元との差分値は、動画像の各画像フレーム間の特徴の差異であり、又は動画像の各画像フレーム間の複雑さの差異となる。
また、例えば、運転シーンの変化として、自車両が追越すシーン、自車両が追越されるシーン、前方車両との車間距離が急に狭くなるシーン、自車両の前方に歩行者や障害物が急に出現するシーン、自車両が右左折するシーン、自車両がトンネル内に入るシーン等が挙げられる。
【００１３】
図２は、その具体的な処理手順を示す。
図２に示すように、処理を開始すると、先ずステップＳ１において、運転シーン変化検出部２には動画像が入力される。
続いてステップＳ２において、運転シーン変化検出部２は、前記ステップＳ１で入力されてくる動画像から、所定時間（サンプリング時間Ｔ）おきに画像を抽出する。
続いてステップＳ３において、運転シーン変化検出部２は、その抽出した画像をグレースケールに変換する。
続いてステップＳ４において、運転シーン変化検出部２は、所定時間（サンプリング時間Ｔ）のサンプリングで得た任意時刻ｔにおける画像の座標（Ｘ，Ｙ）と濃淡Ｚにより、３Ｄフラクタル次元Ｄｔを算出する。
【００１４】
続いてステップＳ５において、運転シーン変化検出部２は、今回のフラクタル次元Ｄｔと１つ前の時間（前回）のフラクタル次元Ｄｔ−１との差分値の絶対値（｜Ｄｔ−Ｄｔ−１｜）が所定の閾値よりも大きいか否かを判定する。ここで、所定の閾値は実験値又は経験値である。そして、運転シーン変化検出部２は、前記差分値（｜Ｄｔ−Ｄｔ−１｜）が所定の閾値よりも大きい場合（｜Ｄｔ−Ｄｔ−１｜＞閾値）、ステップＳ６に進み、前記差分値（｜Ｄｔ−Ｄｔ−１｜）が所定の閾値以下の場合（｜Ｄｔ−Ｄｔ−１｜≦閾値）、前記ステップＳ１から再び処理を開始する。
【００１５】
ステップＳ６では、運転シーン変化検出部２は、運転シーンが変化したと判定する。そして、当該図２に示す処理を終了する（前記ステップＳ１から再び処理を開始する）。
運転シーン変化検出部２は、運転シーンの変化の判定結果を運転不適応状態判定部５に出力する。
生体信号測定部３は、生体信号として、脈波（信号）を取り込むように構成されている。具体的には、生体信号測定部３は、ハンドル等に光学式ダイオードを取り付けて、手のひらから運転者の脈波を取り込む。生体信号測定部３は、取り込んだ脈波（信号）を運転負担検出部４に出力する。
運転負担検出部４は、入力された脈波（信号）に基づいて、メンタルワークロード（心的負担）の指標となるリアプノフ指数の時系列データを作成する。
【００１６】
図３は、その具体的な処理手順を示す。
図３に示すように、処理を開始すると、先ずステップＳ２１において、運転負担検出部４には脈波が入力される。
続いてステップＳ２２において、運転負担検出部４は、前記ステップＳ２１で入力されてくる脈波から、所定時間（サンプリング時間Ｔ）内の脈波を抽出する。すなわち、運転負担検出部４は、所定時間のウインドウＷ（抽出区間）を定め、そのウインドウＷ内の脈波を抽出する（切り出す）。
続いてステップＳ２３において、運転負担検出部４は、前記ステップＳ２２で抽出した脈波からアトラクタを構成する。
【００１７】
続いてステップＳ２４において、運転負担検出部４は、前記ステップＳ２３で構成したアトラクタに基づいて、脈波ゆらぎの指標であるリアプノフ指数を算出する。
続いてステップＳ２５において、運転負担検出部４は、リアプノフ指数の変動を示す時系列（時系列データ）を作成する。ここで、運転者のメンタルワークロードとの関係では、一般的には、運転者のメンタルワークロードが大きくなるほど、リアプノフ指数も大きくなる。
【００１８】
続いてステップＳ２６において、運転負担検出部４は、運転負担検出部４は、時間間隔（サンプリング時間Ｔ又はウインドウＷ）を、微小時間（一定時間）だけ時間軸方向（ε時間方向）にスライドさせる。そして、運転負担検出部４は、前記ステップＳ２２から再び処理を開始することで、そのスライドさせた時間間隔（サンプリング時間Ｔ又はウインドウＷ）内の脈波を抽出する。
【００１９】
以上の図３の処理を繰り返すことで、運転負担検出部４は、脈波を抽出する時間間隔（サンプリング時間Ｔ）を、微小時間だけ時間軸方向にスライドさせていき、リアプノフ指数の時系列（時系列データ）を作成していく。
運転負担検出部４は、作成したリアプノフ指数の時系列を運転不適応状態判定部５に出力する。
【００２０】
運転不適応状態判定部５は、運転シーン変化検出部２からの運転シーンの変化の判定結果と、運転負担検出部４からのリアプノフ指数の時系列とに基づいて、周囲環境に対して運転者が不適応状態にあるか否かを判定（推定）する。ここで、運転不適応状態判定部５は、運転シーンの変化にともない、リアプノフ指数が上昇していれば（運転者に心的負担がある、又は運転者が運転負担を感じていると推定すれば）、周囲環境に対して運転者が適応状態（運転適応状態）にあると判定（推定）し、運転シーンの変化があるのにもかかわらず、リアプノフ指数に一定の変化がなければ（運転者に心的負担がない、運転者が運転負担を感じていないと推定すれば）、周囲環境に対して運転者が不適応状態（運転不適応状態）にあると判定（推定）する。
【００２１】
（動作）
次に動作を説明する。
図４は、前述の構成による運転適応推定装置としての一連の動作を示す。
自車両が走行中、動画入力部１が、自車両の走行環境（運転シーン）を撮像し（ステップＳ４１）、続いて、運転シーン変化検出部２が、前記図２を用いて説明したように、動画入力部１が取り込んだ走行環境の動画像に基づいて、運転シーンの変化を検出する（ステップＳ４２）。
一方、生体信号測定部３が、脈波を取り込み（ステップＳ４３）、続いて、運転負担検出部４が、前記図３を用いて説明したように、生体信号測定部３が取り込んだ脈波に基づいて、リアプノフ指数の時系列を作成する（ステップＳ４４）。
【００２２】
そして、運転不適応状態判定部５が、運転シーン変化検出部２の検出結果（運転シーンの変化）と、運転負担検出部４の検出結果（リアプノフ指数の時系列）とに基づいて、運転不適応状態を判定する。ここで、運転不適応状態判定部５は、運転シーンの変化があった場合に、生体信号に、ある一定の変化がある場合（リアプノフ指数が変化する場合）、運転適応状態にあると判定し（ステップＳ４５の判定で“Ｙｅｓ”の場合、ステップＳ４６）、そうでない場合、すなわち例えば、運転シーンの変化があるのにもかかわらず、生体信号に変化がない場合や生体信号に一定の変化があるが、運転シーンに変化がない場合、運転不適応状態にあると判定する（ステップＳ４５の判定で“Ｎｏ”の場合、ステップＳ４７）。
そして、例えば、運転者の適応状態に基づいて、自車両の車載装置を制御することとして、自車両を走行制御し、又は車載機器を制御する。例えば、運転不適応状態にある場合、運転中の注意力が低下しているとして、制動制御やスピーカ等により運転者に注意を喚起する。
【００２３】
ここで、図５〜図１０を用いて、一連の動作を説明する。
運転シーン変化検出部２には、動画像が入力されており、動画像から所定時間おきに画像（静止画像）を抽出している。
図５及び図６は、動画像から所定時間おきに抽出した画像の例を示す。
図５に示すように、先行車両との車間距離が短くなるような場合、動画像から、同図（ａ）の静止画像を抽出して、さらに所定時間後に同図（ｂ）の静止画像を抽出することができる。また、図６に示すように、自車両が交差点を右折して通過中に、自車両前方に歩行者が現れるような場合、動画像から、同図（ａ）の静止画像を抽出して、さらに所定時間後に同図（ｂ）の静止画像を抽出することができる。
【００２４】
運転シーン変化検出部２は、このように動画像から所定時間おきに画像を抽出し、その抽出した画像のフラクタル次元を算出する。図７は、その算出したフラクタル次元の今回値と前回値との差分値ΔＤ（＝Ｄｔ−Ｄｔ−１）を時系列で示したものである。
例えば、先行車両との車間距離が短くなったとして前記図５（ａ）から図５（ｂ）に画像が変化する場合には、画像の複雑度が変化しているから、その画像間のフラクタル次元の差分値ΔＤは、図７中のＢ１点やＣ１点に示すように大きな値になる。また、交差点を通過中に、自車両前方を通過する歩行者が現れたとして前記図６（ａ）から図６（ｂ）に画像が変化する場合には、画像の複雑度が変化しているから、その画像間のフラクタル次元の差分値ΔＤは、図７中のＤ１点に示すように大きな値になる。なお、割り込み車両が現れて、入力画像が変化する場合、その入力画像間のフラクタル次元の差分値は、図７中のＡ１点に示すように大きな値になる。
そして、運転シーン変化検出部２は、画像間のフラクタル次元の差分値ΔＤが閾値よりも大きい場合、運転シーンが変化したと判定する。
【００２５】
図８は、運転負担検出部４が作成するリアプノフ指数の時系列を示す。
例えば、前記図５（ａ）から図５（ｂ）への変化として示すように、先行車両との車間距離が短くなった場合、運転負担検出部４では、図８中のＢ２やＣ２の値として示すリアプノフ指数が得られ、前記図６（ａ）から図６（ｂ）への変化として示すように、交差点を通過中に、自車両前方を通過する歩行者が現れた場合、運転負担検出部４では、図８中のＤ２の値として示すリアプノフ指数が得られ、割り込み車両が現れた場合、運転負担検出部４では、図８中のＤ２の値として示すリアプノフ指数が得られる。なお、割り込み車両が現れた場合、運転負担検出部４では、図８中のＡ２の値として示すリアプノフ指数が得られる。
【００２６】
図９及び図１０は、運転シーン変化検出部２が検出した画像間のフラクタル次元の差分値ΔＤ（＝｜Ｄｔ−Ｄｔ−１｜）の時系列と、運転負担検出部４が作成するリアプノフ指数の時系列とに基づく判定手順を示す。
図９に示すように、画像間のフラクタル次元の差分値ΔＤが大きくなる点（ΔＤ＞閾値）Ｅ１を得た時刻と同時刻又は略同時刻に、生体信号λが変化（リアプノフ指数が変化）する点Ｅ２を得た場合、当該画像間のフラクタル次元の差分値ΔＤの変化と、当該生体信号λの変化とが対応するとして、運転適応状態にあると判定する。
【００２７】
同様に、その後、再び画像間のフラクタル次元の差分値ΔＤが大きくなる点（ΔＤ＞閾値）Ｆ１を得た時刻と同時刻又は略同時刻に、生体信号λが変化（リアプノフ指数が変化）する点Ｆ２を得た場合、当該画像間のフラクタル次元の差分値ΔＤの変化と、当該生体信号λの変化とが対応するとして、運転適応状態にあると判定する。
一方、図１０に示すように、画像間のフラクタル次元の差分値ΔＤが大きくなる点（ΔＤ＞閾値）Ｅ１，Ｆ１を得た時刻と同時刻又は略同時刻に、生体信号λが変化（リアプノフ指数が変化）する点を得ることができない場合、当該画像間のフラクタル次元の差分値ΔＤの変化に対応する生体信号λの変化がないとして、運転不適応状態にあると判定する。
【００２８】
（作用）
次に作用を説明する。
車の運転操作は、随時変化する環境の変化を運転者が視覚的に刺激として受け入れて、その刺激を認知及び判断し、運転者がその認知及び判断した環境変化に対応して行動をとるフィードバックループ系により実現されている。
また、環境へ適応しようとする運転者の認知及び判断は、運転者のメンタルワークロード（心的負担）となるから、運転者の生体内部のダイナミクスへ影響を与え、脈波のリアプノフ指数等を変化させる。
【００２９】
しかしながら、運転中のメンタルワークロードは、環境の変化だけではなく、その時の心身状態や思考等の運転以外の多数の要因により、生体に影響を及ぼす。そのため、生体信号は、運転に係わる要因により変化するだけでなく、その他の要因によっても敏感に反応するため、生体信号に基づいて、走行環境に対する運転者の適応状態を推定することは困難である。
【００３０】
これに対して、前述のように、生体信号の変化（リアプノフ指数の変化）を検出するタイミングを、運転シーンが変化していることを条件とすることで、すなわち、運転シーンの変化に生体信号が反応していることを条件とすることで、生体信号が変化するタイミングを運転シーンが変化するタイミングでフィルターすることができる。これにより、運転シーンの変化にともない生体信号の示すリアプノフ指数も変化している場合、運転シーンの変化に合わせて運転者が適切にメンタルワークロードを高めて運転操作をしているとして、運転適応状態にあると判定し、運転シーンが変化しているのにもかかわらず、生体信号が変化していない場合、運転者がメンタルワークロードを高めた運転操作をしていないとして、運転不適応状態にあると判定している。これにより、運転者の運転適応状態を精度よく推定できる。すなわち、運転シーンの変化と生体信号の変化との相関が高い場合には、周囲環境に運転者が反応していると言えるから、運転者の運転適応状態を精度良く推定できる。
【００３１】
また、撮像した動画像の各画像間の特徴の差異に基づいて、運転シーンの変化を検出している。一般的に、走行シーンが変化した場合、動画像の各画像間で特徴の差異が発生する。このようなことから、運転シーンの変化を容易に検出できる。
具体的には、動画像の各画像間の複雑さの差異に基づいて、運転シーンの変化を検出している。より具体的には、各画像間の複雑さの差異として、各画像間のフラクタル次元を得ている。一般的に、運転シーンが変化した場合、動画像の各画像間の複雑さに差異が発生する。このようなことから、運転シーンの変化を容易に検出できる。さらに、一般的に、運転シーンが変化した場合、動画像の各画像間のフラクタル次元に差異が発生する。このようなことから、運転シーンの変化を容易に検出できる。
【００３２】
また、生体信号が変化する場合、運転者に心的負担があると判定している。具体的には、生体信号として運転者の脈波を検出し、その脈波をリアプノフ指数として定量化し、その定量化したリアプノフ指数に基づいて、運転者の心的負担の有無を判定している。一般的に、運転者に心的負担がある場合、生体信号が変化する。このようなことから、運転者の心的負担を容易に判定できる。そして、一般的に、運転者に心的負担がある場合、生体信号の指標となるリアプノフ指数も変化する。このようなことから、運転者の心的負担を容易に判定できる。
【００３３】
なお、前記第１の実施形態の説明において、動画入力部１は、自車両の周囲環境を撮像する撮像手段を実現しており、運転シーン変化検出部２は、前記撮像手段の撮像画像に基づいて、運転シーンの変化を検出する運転シーン変化検出手段を実現しており、生体信号測定部３は、運転者の生体信号を検出する生体信号検出手段を実現しており、生体信号測定部３および運転負担検出部４は、運転者の生体における変化を検出する生体変化検出手段を実現しており、運転不適応状態判定部５は、前記運転シーン変化検出手段が検出した運転シーンの変化と、前記生体変化検出手段が検出した生体における変化との相関に基づいて、前記周囲環境に対する運転者の適応状態を推定する運転適応状態推定手段を実現している。
【００３４】
（効果）
（１）撮像手段が自車両の周囲環境を撮像し、その撮像画像に基づいて運転シーン変化検出手段が運転シーンの変化を検出する。また、生体変化検出手段が運転者の生体における変化を検出し、運転適応状態推定手段が、運転シーンの変化と運転者の生体における変化の相関を基に、周囲環境に対する運転者の適応状態を推定する。したがって、自車両の周囲環境の変化と運転者の生体変化とを対応付けて運転者の適応状態を推定できるため、運転シーンの変化に対して適確に運転者が反応しているか否かを検出することができ、運転者の周囲環境への適応状態を精度良く推定することができる。
【００３５】
（２）運転シーン変化検出手段が、撮像手段が撮像した画像から複雑度を算出し、その複雑度の変化を基に運転シーンの変化を検出するので、撮像画像の内容全体を適確に反映させて運転シーンの変化が検出できる。したがって、運転シーンの変化を高精度に検出することができる。
（３）撮像手段が撮像した画像におけるフラクタル次元の変化に基づいて、運転シーンの変化が検出されるので、画像に含まれる数値的な特性を演算することで、簡単かつ高精度に運転シーンの変化を検出することができる。
【００３６】
（４）生体変化検出手段は、生体信号検出手段によって検出した生体信号のゆらぎを算出し、そのゆらぎに基づいて、運転者の生体における変化を検出するので、生体信号の局所的な変化でなく、一定期間における変化の傾向を参照することができる。そのため、運転者の生体における変化を適確に検出することができる。
（５）生体信号検出手段が運転者の脈波を検出するため、ハンドルに取り付けたセンサ等、簡単な装置によって生体信号を検出することができる。
【００３７】
（６）生体変化検出手段が、生体信号のリアプノフ指数を算出して運転者の生体における変化を検出するので、時間的に種々変化する生体信号から、適確に運転者の生体における変化を検出することができる。
（７）自車両の周囲環境における運転シーンの変化と、運転者の生体における変化との相関を取り、その相関に基づいて、運転者の運転適応状態を推定するため、自車両の周囲環境に基づかない運転者の生体変化の影響を抑制することができる。したがって、運転者の周囲環境への適応状態を精度良く推定することができる。
【００３８】
（８）撮像手段が撮像した自車両の周囲環境の撮像画像から、運転シーン変化検出手段が運転シーンの変化を検出し、生体変化検出手段が検出した生体変化との相関に基づいて、運転適応状態推定手段が、周囲環境に対する運転者の適応状態を推定する。そして、その推定結果に基づいて、制御手段が車載機器の制御を行う。したがって、運転者が視認している自車両の周囲環境に基づいて検出された運転シーンの変化と、それに対する運転者の反応とを対応づけて運転適応状態が推定され、その推定結果によって車載機器が制御されるため、運転者の周囲環境への適応状態を精度良く推定することができると共に、運転者における実際の運転適応状態に、より適合した車載機器の制御を行うことが可能な自動車とできる。
【００３９】
（９）運転者の生体変化に加え、自車両の周囲環境における運転シーンの変化が検出され、それらの相関を基に、周囲環境に対する運転者の適応状態が推定される。したがって、自車両の周囲環境に基づかない運転者の生体変化の影響を抑制することができ、運転者の周囲環境への適応状態を精度良く推定することが可能な運転適応状態推定方法とできる。
【００４０】
（第２の実施形態）
次に第２の実施形態を説明する。
第２の実施形態は、本発明を適用した車両である。
（構成）
前記第１の実施形態では、生体信号として脈波を測定し、その測定した脈波に基づいて処理を行っている。これに対して、第２の実施形態では、生体信号として心電図を測定し、その測定した心電図に基づいて処理を行う。
【００４１】
図１１は、第２の実施形態における運転負担検出部４による心電図に基づく処理手順を示す。
図１１に示すように、処理を開始すると、先ずステップＳ６１において、運転負担検出部４には心電図が入力される。この場合、生体信号測定部３は、生体信号として、心電図を測定するように構成されている。具体的には、生体信号測定部３は、ハンドル等に電極を取り付けて、その電極を運転者が両手で握ることで第Ｉ誘導の心電図を測定する。そして、生体信号測定部３は、その測定した心電図を運転負担検出部４に出力している。
続いてステップＳ６２において、運転負担検出部４は、前記ステップＳ６１で入力された心電図中のＲ波を検出する。ここで、Ｒ波は、心電図中でスパイク状に現れる、最も鋭敏な波形である。
【００４２】
続いてステップＳ６３において、運転負担検出部４は、心電図中のいわゆるＲＲ間隔に基づいて、毎分の心拍数に換算した瞬時心拍数を算出する。すなわち、運転負担検出部４は、心電図測定から心臓のｎ回目の拍動によるＲ波の時刻をＲｎとして、また、前回のＲ波の時刻をＲｎ−１として、そのＲ波（時刻Ｒｎ）のときの瞬時心拍数Ｈｎを下記（１）式により算出する。
Ｈｎ＝６０／（Ｒｎ−Ｒｎ−１）  ・・・（１）
ここで、数値「６０」は６０秒を意味する。また、（Ｒｎ−Ｒｎ−１）は、ＲＲ間隔となる。
これにより、一般的には、メンタルワークロード（心的負担）が大きい場合には、ＲＲ間隔（Ｒｎ−Ｒｎ−１）が短くなるので、この（１）式によれば、瞬時心拍数Ｈｎが多くなる。
【００４３】
続いてステップＳ６４において、運転負担検出部４は、Ｈｎ，Ｒｎを軸とする座標平面上に前記ステップＳ６３で算出した（Ｈｎ，Ｒｎ）をプロットしていき、任意点数（任意プロット数）に関しスプライン補間する（スプライン関数を算出する）。
続いてステップＳ６５において、運転負担検出部４は、前記ステップＳ６４で得たスプライン関数において、一定のサンプリング時間で得た値を、補間した心拍数として定める。
【００４４】
続いてステップＳ６６において、運転負担検出部４は、瞬間心拍数時系列（時系列データ）を作成する。すなわち、心電図中からＲ波を次々に検出していき（前記ステップＳ６２）、各Ｒ波検出時の時刻Ｒｎに基づいて、前記（１）式により瞬時心拍数Ｈｎを得ていくとともに（前記ステップＳ６３）、それにより得られる各値（Ｈｎ，Ｒｎ）をスプライン補間していく（前記ステップＳ６４）。そして、運転負担検出部４は、スプライン関数から一定のサンプリング時間で得た値を時系列データとする瞬間心拍数時系列を作成する（前記ステップＳ６５、ステップＳ６６）。
【００４５】
（動作）
次に動作を説明する。
特に、第２の実施形態では、自車両が走行中、生体信号測定部３が、心電図を測定し、運転負担検出部４では、その測定した心電図に基づいて、瞬間心拍数時系列を作成している。そして、第２の実施形態では、前記第１の実施形態と同様に、運転不適応状態判定部５が、運転シーン変化検出部２の検出結果（運転シーンの変化）と、運転負担検出部４の検出結果（瞬間心拍数時系列）とに基づいて、運転不適応状態を判定する。ここで、運転不適応状態判定部５は、運転シーンの変化があった場合に、生体信号に、ある一定の変化がある場合（瞬間心拍数が変化する場合）、運転適応状態にあると判定し、そうでない場合、すなわち例えば、運転シーンの変化があるのにもかかわらず、生体信号に変化がない場合や生体信号に一定の変化があるが、運転シーンに変化がない場合、運転不適応状態にあると判定する。
【００４６】
（作用）
次に作用を説明する。
一般的にメンタルワークロードが高くなると、生体信号である瞬間心拍数が多くなる。そのような瞬間心拍数の変化を検出するタイミングを、運転シーンが変化していることを条件とすることで、すなわち、運転シーンの変化に生体信号が反応していることを条件とすることで、生体信号が変化するタイミングを運転シーンが変化するタイミングでフィルターすることができる。これにより、運転シーンの変化にともない、生体信号である瞬間心拍数も変化している場合、運転者が適切にメンタルワークロードを高めて運転操作をしているとして、運転適応状態にあると判定し、運転シーンが変化しているのにもかかわらず、瞬間心拍数が変化していない場合、運転者がメンタルワークロードを高めた運転操作をしていないとして、運転不適応状態にあると判定している。これにより、運転者の運転適応状態を精度よく推定できる。また、心電図のＲ波に基づいて運転者の心的負担を判定することで、運転者の心的負担を容易に判定できる。
（効果）
（１）生体信号検出手段は、生体信号として運転者の心電図のＲ波を検出する。これにより、ハンドルに取り付けたセンサ等、簡単な装置によって生体信号を検出することができる。
【００４７】
（第３の実施形態）
次に第３の実施形態を説明する。
第３の実施形態は、本発明を適用した車両である。
第３の実施形態では、生体信号として発汗量を測定し、その測定した発汗量に基づいて処理を行う。
図１２は、第３の実施形態における運転負担検出部４による心電図に基づく処理手順を示す。
図１２に示すように、処理を開始すると、先ずステップＳ８１において、運転負担検出部４には発汗量（データ）が入力される。この場合、生体信号測定部３は、生体信号として、発汗量を測定するように構成されている。具体的には、生体信号測定部３は、ハンドル等に取り付けた発汗量センサにより発汗量を測定する。そして、生体信号測定部３は、その測定した発汗量を運転負担検出部４に出力している。ここで、メンタルワークロード（心的負担）が大きくなるほど、発汗量は増加する。
【００４８】
続いてステップＳ８２において、運転負担検出部４は、前記ステップＳ８１で入力された発汗量を所定時間（サンプリング時間Ｔ）間隔でサンプリングする。
続いてステップＳ８３において、運転負担検出部４は、前記ステップＳ８２で所定時間でサンプリングした発汗量から、発汗量時系列（時系列データ）を作成する。
【００４９】
（動作）
次に動作を説明する。
特に、第３の実施形態では、自車両が走行中、生体信号測定部３が、発汗量を測定し、運転負担検出部４では、その測定した発汗量に基づいて、発汗量時系列を作成している。そして、第３の実施形態では、前記第１の実施形態と同様に、運転不適応状態判定部５が、運転シーン変化検出部２の検出結果（運転シーンの変化）と、運転負担検出部４の検出結果（発汗量時系列）とに基づいて、運転不適応状態を判定する。ここで、運転不適応状態判定部５は、運転シーンの変化があった場合に、生体信号に、ある一定の変化がある場合（発汗量が変化する場合）、運転適応状態にあると判定し、そうでない場合、すなわち例えば、運転シーンの変化があるのにもかかわらず、生体信号に変化がない場合や生体信号に一定の変化があるが、運転シーンに変化がない場合、運転不適応状態にあると判定する。
【００５０】
（作用）
次に作用を説明する。
一般的にメンタルワークロードが高くなると、生体信号である発汗量が多くなる。そのような発汗量の変化を検出するタイミングを、運転シーンが変化していることを条件とすることで、すなわち、運転シーンの変化に生体信号が反応していることを条件とすることで、生体信号が変化するタイミングを運転シーンが変化するタイミングでフィルターすることができる。これにより、運転シーンの変化にともない、生体信号である発汗量も変化している場合、運転者が適切にメンタルワークロードを高めて運転操作をしているとして、運転適応状態にあると判定し、運転シーンが変化しているのにもかかわらず、発汗量が変化していない場合、運転者がメンタルワークロードを高めた運転操作をしていないとして、運転不適応状態にあると判定している。これにより、運転者の運転適応状態を精度よく推定できる。また、運転者の発汗量に基づいて運転の心的負担を判定することで、運転者の心的負担を容易に判定できる。
（効果）
（１）生体信号検出手段は、生体信号として運転者の発汗量を検出する。これにより、ハンドルに取り付けたセンサ等、簡単な装置によって生体信号を検出することができる。
【００５１】
（第４の実施形態）
次に第４の実施形態を説明する。
第４の実施形態は、本発明を適用した車両である。
（構成）
第４の実施形態では、生体信号として瞳孔面積を測定し、その測定した瞳孔面積に基づいて処理を行う。
図１３は、第４の実施形態における運転負担検出部４による瞳孔面積に基づく処理手順を示す。
図１３に示すように、処理を開始すると、先ずステップＳ１０１において、運転負担検出部４には瞳孔面積（データ）が入力される。この場合、生体信号測定部３は、生体信号として、瞳孔面積を測定するように構成されている。具体的には、生体信号測定部３は、車室内で運転者の前方に設置したアイカメラにより瞳孔面積を測定する。そして、生体信号測定部３は、その測定した瞳孔面積を運転負担検出部４に出力している。ここで、メンタルワークロード（心的負担）が大きくなるほど、瞳孔面積は増加する。
【００５２】
続いてステップＳ１０２において、運転負担検出部４は、前記ステップＳ１０１で入力された瞳孔面積を所定時間（サンプリング時間Ｔ）でサンプリングする。
続いてステップＳ８３において、運転負担検出部４は、前記ステップＳ１０２で所定時間でサンプリングした瞳孔面積から、瞳孔面積時系列（時系列データ）を作成する。
【００５３】
（動作）
次に動作を説明する。
特に、第４の実施形態では、自車両が走行中、生体信号測定部３が、瞳孔面積を測定し、運転負担検出部４では、その測定した瞳孔面積に基づいて、瞳孔面積時系列を作成している。そして、第４の実施形態では、前記第１の実施形態と同様に、運転不適応状態判定部５が、運転シーン変化検出部２の検出結果（運転シーンの変化）と、運転負担検出部４の検出結果（瞳孔面積時系列）とに基づいて、運転不適応状態を判定する。ここで、運転不適応状態判定部５は、運転シーンの変化があった場合に、生体信号に、ある一定の変化がある場合（瞳孔面積が変化する場合）、運転適応状態にあると判定し、そうでない場合、すなわち例えば、運転シーンの変化があるのにもかかわらず、生体信号に変化がない場合や生体信号に一定の変化があるが、運転シーンに変化がない場合、運転不適応状態にあると判定する。
【００５４】
（作用）
次に作用を説明する。
一般的にメンタルワークロードが高くなると、生体信号である瞳孔面積が大きくなる。そのような瞳孔面積の変化を検出するタイミングを、運転シーンが変化していることを条件とすることで、すなわち、運転シーンの変化に生体信号が反応していることを条件とすることで、生体信号が変化するタイミングを運転シーンが変化するタイミングでフィルターすることができる。これにより、運転シーンの変化にともない、生体信号である瞳孔面積も変化している場合、運転者が適切にメンタルワークロードを高めて運転操作をしているとして、運転適応状態にあると判定し、運転シーンが変化しているのにもかかわらず、瞳孔面積が変化していない場合、運転者がメンタルワークロードを高めた運転操作をしていないとして、運転不適応状態にあると判定している。これにより、運転者の運転適応状態を精度よく推定できる。また、運転者の瞳孔面積に基づいて運転の心的負担を判定することで、運転者の心的負担を容易に判定できる。
（効果）
（１）生体信号検出手段は、生体信号として運転者の瞳孔面積を検出する。これにより、車室内で運転者の前方に設置したアイカメラ等、簡単な装置によって生体信号を検出することができる。
【００５５】
（第５の実施形態）
次に第５の実施形態を説明する。
第５の実施形態は、本発明を適用した車両である。
（構成）
前記第１〜第４の実施形態では、画像間のフラクタル次元に基づいて、運転シーンの変化を判定している。これに対して、第５の実施形態では、各画像間の画像濃度に基づいて、運転シーンの変化を判定する。
図１４は、第５の実施形態における運転シーン変化検出部２による運転シーン変化の判定処理の処理手順を示す。
図１４に示すように、処理を開始すると、前記第１の実施形態等と同様に、先ずステップＳ１２１において、運転シーン変化検出部２には動画像が入力され、続くステップＳ１２２において、運転シーン変化検出部２は、前記ステップＳ１２１で入力されてくる動画像から、所定時間（サンプリング時間Ｔ）おきの画像を抽出する。
【００５６】
続いてステップＳ１２３において、運転シーン変化検出部２は、その抽出した画像濃度の標準偏差Ｓを算出する。
続いてステップＳ１２４において、運転シーン変化検出部２は、今回の画像濃度の標準偏差Ｓｔと１つ前の時間（前回）の画像濃度の標準偏差Ｓｔ−１との差分値の絶対値（｜Ｓｔ−Ｓｔ−１｜）が所定の閾値よりも大きいか否かを判定する。ここで、所定の閾値は、実験値又は経験値である。そして、運転シーン変化検出部２は、前記差分値（｜Ｓｔ−Ｓｔ−１｜）が所定の閾値よりも大きい場合（｜Ｓｔ−Ｓｔ−１｜＞閾値）、ステップＳ１２５に進み、前記差分値（｜Ｓｔ−Ｓｔ−１｜）が所定の閾値以下の場合（｜Ｓｔ−Ｓｔ−１｜≦閾値）、前記ステップＳ１２１から再び処理を開始する。
ステップＳ１２５では、前記第１の実施形態等の同様に、運転シーン変化検出部２は、運転シーンが変化したと判定する。そして、当該図１４に示す処理を終了する（前記ステップＳ１２１から再び処理を開始する）。
【００５７】
（動作）
次に動作を説明する。
特に、第５の実施形態では、自車両が走行中、運転シーン変化検出部２が、動画入力部１が取り込んだ動画像に基づいて、画像間の濃度に基づいて、運転シーンの変化を検出する。そして、第５の実施形態では、前記第１〜４の実施形態のように、運転負担検出部４が、脈波、心電図（Ｒ波）、発汗量又は瞳孔面積の時系列（時系列データ）を作成する。そして、運転不適応状態判定部５が、運転シーン変化検出部２の検出結果（運転シーンの変化）と、運転負担検出部４の検出結果（リアプノフ指数の時系列、瞬間心拍数時系列等）とに基づいて、運転不適応状態を判定する。ここで、運転不適応状態判定部５は、運転シーンの変化があった場合に、生体信号に、ある一定の変化がある場合（リアプノフ指数や瞬間心拍数等が変化する場合）、運転適応状態にあると判定し、そうでない場合、すなわち例えば、運転シーンの変化があるのにもかかわらず、生体信号に変化がない場合や生体信号に一定の変化があるが、運転シーンに変化がない場合、運転不適応状態にあると判定する。
【００５８】
（作用）
次に作用を説明する。
画像間の濃度の標準偏差に基づいて、運転シーンの変化を判定しており、例えば、画像間の濃度の標準偏差の差分値が大きくなっている場合、運転シーンが変化している可能性が高いと判定している。そして、そのように運転シーンが変化している場合を、生体信号の変化（リアプノフ指数や瞬間心拍数等が変化する場合）を検出するタイミングの条件にすることで、すなわち、運転シーンの変化に生体信号が反応していることを条件とすることで、生体信号が変化するタイミングを運転シーンが変化するタイミングでフィルターすることができる。これにより、運転シーンの変化にともない、生体信号も変化している場合、運転者が適切にメンタルワークロードを高めて運転操作をしているとして、運転適応状態にあると判定し、運転シーンが変化しているのにもかかわらず、生体信号が変化していない場合、運転者がメンタルワークロードを高めた運転操作をしていないとして、運転不適応状態にあると判定している。これにより、運転者の運転適応状態を精度よく推定できる。
また、動画像の各画像間の複雑さの差異として、各画像間の濃度の差異、具体的には濃度の標準偏差の差異を検出している。一般的に、運転シーンが変化した場合、動画像の各画像間の濃度に差異が発生する。このようなことから、運転シーンの変化を容易に検出できる。
【００５９】
（効果）
（１）撮像手段が撮像した画像における画素値分布の変化（各画像間における濃度の標準偏差の差異）に基づいて、運転シーンの変化が検出されるので、画像に含まれる数値的な特性を演算することで、簡単かつ高精度に運転シーンの変化を検出することができる。
【００６０】
（第６の実施形態）
次に第６の実施形態を説明する。
（構成）
第６の実施形態は、本発明を適用した車両である。
第６の実施形態では、画像間のピクセルの速度ベクトルに基づいて、運転シーンの変化を判定する。
図１５は、第６の実施形態における運転シーン変化検出部２による運転シーン変化の判定処理の処理手順を示す。
図１５に示すように、処理を開始すると、前記第１の実施形態等と同様に、先ずステップＳ１４１において、運転シーン変化検出部２には動画像が入力され、続くステップＳ１４２において、運転シーン変化検出部２は、前記ステップＳ１４１で入力されてくる動画像から、所定時間（サンプリング時間Ｔ）おきの画像を抽出する。
【００６１】
続いてステップＳ１４３において、運転シーン変化検出部２は、画像間のピクセルの速度ベクトルを算出する。すなわち、運転シーン変化検出部２は、今回の画像のピクセル位置と１つ前の時間（前回）の画像における当該ピクセルに対応するピクセル位置とから速度ベクトルを算出し、その速度ベクトルの算出を１画像中の全てのピクセルについて行う。
【００６２】
続いてステップＳ１４４において、運転シーン変化検出部２は、速度ベクトルのスカラー値が所定の閾値よりも大きいか否かを判定する。ここで、所定の閾値は、実験値又は経験地である。そして、運転シーン変化検出部２は、速度ベクトルのスカラー値が所定の閾値よりも大きい場合（スカラー値＞閾値）、ステップＳ１４５に進み、速度ベクトルのスカラー値が所定の閾値以下の場合（スカラー値≦閾値）、前記ステップＳ１４１から再び処理を開始する。例えば、全てのピクセルのうちの少なくとも１のピクセルの速度ベクトルのスカラー値が所定の閾値よりも大きい場合、ステップＳ１４５に進む。
ステップＳ１４５では、前記第１の実施形態等の同様に、運転シーン変化検出部２は、運転シーンが変化したと判定する。そして、当該図１５に示す処理を終了する（前記ステップＳ１４１から再び処理を開始する）。
【００６３】
（動作）
次に動作を説明する。
特に、第６の実施形態では、自車両が走行中、運転シーン変化検出部２が、動画入力部１が取り込んだ動画像に基づいて、画像間のピクセルの速度ベクトルに基づいて、運転シーンの変化を検出する。そして、第６の実施形態では、運転負担検出部４が、前記第１〜４の実施形態のように、脈波、心電図（Ｒ波）、発汗量又は瞳孔面積から時系列（時系列データ）を作成する。そして、運転不適応状態判定部５が、運転シーン変化検出部２の検出結果（運転シーンの変化）と、運転負担検出部４の検出結果（リアプノフ指数の時系列、瞬間心拍数時系列等）とに基づいて、運転不適応状態を判定する。ここで、運転不適応状態判定部５は、運転シーンの変化があった場合に、生体信号に、ある一定の変化がある場合（リアプノフ指数や瞬間心拍数等が変化する場合）、運転適応状態にあると判定し、そうでない場合、すなわち例えば、運転シーンの変化があるのにもかかわらず、生体信号に変化がない場合や生体信号に一定の変化があるが、運転シーンに変化がない場合、運転不適応状態にあると判定する。
【００６４】
（作用）
次に作用を説明する。
画像間のピクセルの速度ベクトルに基づいて、運転シーンの変化を判定しており、例えば、画像間のピクセルの速度ベクトルのスカラー値が大きくなっている場合、運転シーンが変化している可能性が高いと判定している。そして、そのように運転シーンが変化している場合を、生体信号の変化（リアプノフ指数や瞬間心拍数等が変化する場合）を検出するタイミングの条件にすることで、すなわち、運転シーンの変化に生体信号が反応していることを条件とすることで、生体信号が変化するタイミングを運転シーンが変化するタイミングでフィルターすることができる。これにより、運転シーンの変化にともない、生体信号も変化している場合、運転者が適切にメンタルワークロードを高めて運転操作をしているとして、運転適応状態にある判定し、運転シーンが変化しているのにもかかわらず、生体信号が変化していない場合、運転者がメンタルワークロードを高めた運転操作をしていないとして、運転不適応状態にあると判定する。これにより、運転者の運転適応状態を精度よく推定できる。
また、動画像の各画像間のピクセルの変位（変位割合）である速度ベクトルに基づいて、運転シーンの変化を検出している。一般的に、運転シーンが変化した場合、動画像の各画像間のピクセルの速度ベクトルが大きくなる。このようなことから、運転シーンの変化を容易に検出できる。
【００６５】
（効果）
（１）撮像手段が撮像した画像におけるフレーム間での画素移動量の変化（各画像間のピクセルの速度ベクトル）に基づいて、運転シーンの変化が検出されるので、画像に含まれる数値的な特性を演算することで、簡単かつ高精度に運転シーンの変化を検出することができる。
【００６６】
（第７の実施形態）
次に第７の実施形態を説明する。
第７の実施形態は、本発明を適用した車両である。
（構成）
第７の実施形態では、運転シーンの変化の回数と生体信号の変化の回数とに基づいて、運転不適応状態にあるか否かを判定している。
図１６は、その判定処理の処理手順を示す。
図１６に示すように、先ずステップＳ１６１において、動画入力部１が、自車両の周囲環境を撮像する。
続いてステップＳ１６２において、運転シーン変化検出部２が、動画入力部１が取り込んだ動画像に基づいて、運転シーンの変化を検出する。例えば、前記第１〜第６の実施形態と同様に、画像間のフラクタル次元の差異、画像間の画像濃度の差異又は画像間のピクセルの速度ベクトル（スカラー値）に基づいて、運転シーンの変化を判定する。
【００６７】
続いてステップＳ１６３において、所定時間内における、前記ステップＳ１６２において運転シーンが変化していると判定した回数（運転シーンの変化回数ｐ）を計数する。例えば、運転シーン変化検出部２が計数する。
続いてステップＳ１６４において、生体信号測定部３が生体信号を取り込む。例えば、前記第１〜第４の実施形態と同様に、脈波、心電図（Ｒ波）、発汗量又は瞳孔面積を取り込む。
【００６８】
続いてステップＳ１６５において、前記ステップＳ１６４で取り込んだ生体信号の変化を検出し、所定時間（前記ステップＳ１６３と同じ時間）内における、その生体信号の変化の回数ｑを計数する。例えば、運転負担検出部４が計数する。
続いてステップＳ１６６において、前記ステップＳ１６３で計数した運転シーンの変化回数ｐと前記ステップＳ１６５で計数した生体信号の変化回数ｑとの比率ｑ／ｐが１未満か否かを判定する。例えば、運転不適応状態判定部５が判定する。
【００６９】
ここで、前記比率ｑ／ｐが１未満の場合（ｑ／ｐ＜１）、ステップＳ１６７に進み、前記比率ｑ／ｐが１以上の場合（ｑ／ｐ≧１）、ステップＳ１７０に進む。
ステップＳ１７０では、運転不適応状態判定部５が運転適応状態にあると判定する。そして、当該図１６に示す処理を終了する（前記ステップＳ１６１から再び処理を開始する）。
【００７０】
一方、ステップＳ１６７では、運転不適応状態判定部５が、運転シーンの変化回数ｐが所定の閾値よりも大きいか否かを判定する。ここで、所定の閾値は、実験値又は経験値である。そして、運転不適応状態判定部５は、運転シーンの変化回数ｐが所定の閾値よりも大きい場合（ｐ＞閾値）、ステップＳ１６８に進み、運転シーンの変化回数ｐが所定の閾値以下の場合（ｐ≦閾値）、ステップＳ１６９に進む。
【００７１】
ステップＳ１６８では、運転不適応状態判定部５が、運転不適応状態であり、その状態が高い状態にあると判定する。そして、当該図１６に示す処理を終了する（前記ステップＳ１６１から再び処理を開始する）。
また、ステップＳ１６９では、運転不適応状態判定部５が、運転不適応状態であるが、その状態が低い状態にあると判定する。そして、当該図１６に示す処理を終了する（前記ステップＳ１６１から再び処理を開始する）。
【００７２】
（動作）
次に動作を説明する。
自車両が走行中、先ず、動画入力部１は、自車両の走行環境（運転シーン）を撮像し（前記ステップＳ１６１）、続いて、運転シーン変化検出部２は、動画入力部１が取り込んだ動画像に基づいて、運転シーンの変化を検出するとともに（前記ステップＳ１６２）、所定時間内における運転シーンの変化回数ｐを計数する（前記ステップＳ１６３）。
一方、生体信号測定部３は、脈波を取り込み（前記ステップＳ１６４）、続いて、運転負担検出部４は、生体信号測定部３が取り込んだ生体信号に基づいて、所定時間内における生体信号の変化回数ｑを計数する（前記ステップＳ１６５）。
【００７３】
そして、運転不適応状態判定部５は、運転シーンの変化回数ｐと生体信号の変化回数ｑとの比率ｑ／ｐに基づいて、運転不適応状態を判定する。ここで、運転不適応状態判定部５は、前記比率ｑ／ｐが１以上の場合、運転適応状態にあると判定し（前記ステップＳ１６６の判定で“Ｎｏ”の場合、ステップＳ１７０）、前記比率ｑ／ｐが１未満でかつ、運転シーンの変化回数ｐが所定の閾値よりも大きい場合、高い運転不適応状態にあると判定し（前記ステップＳ１６６の判定で“Ｙｅｓ”の場合、ステップＳ１６７の判定で“Ｙｅｓ”の場合、ステップＳ１６８）、前記比率ｑ／ｐが１未満でかつ、運転シーンの変化回数ｐが所定の閾値以下の場合、低い運転不適応状態にあると判定する（前記ステップＳ１６６の判定で“Ｙｅｓ”の場合、ステップＳ１６７の判定で“Ｎｏ”の場合、ステップＳ１６９）。
【００７４】
そして、例えば、運転者の適応状態に基づいて、自車両の車載装置を制御するこことして、自車両を走行制御し、又は車載機器を制御する。例えば、低い運転不適応状態にある場合、運転中の注意力が低下しているとして、制動制御やスピーカ等により運転者に注意を喚起し、高い運転不適応状態にある場合、運転中の注意力がさらに低下しているとして、制動制御やスピーカ等により運転者にさらに強く注意を喚起する。
【００７５】
（作用）
次に作用を説明する。
特に、第７の実施形態では、運転不適応状態判定部５が、運転シーンの変化回数ｐと生体信号の変化回数ｑとの比率ｑ／ｐに基づいて、運転不適応状態を判定している。具体的には、運転不適応状態判定部５は、前記比率ｑ／ｐが１以上の場合、運転適応状態にあると判定し、前記比率ｑ／ｐが１未満でかつ、運転シーンの変化回数ｐが所定の閾値よりも大きい場合、高い運転不適応状態にあると判定し、前記比率ｑ／ｐが１未満でかつ、運転シーンの変化回数ｐが所定の閾値以下の場合、低い運転不適応状態にあると判定している。
【００７６】
ここで、運転シーンの変化と生体信号の変化との相関から、運転シーンの変化の回数ｐに比べて、生体信号の変化の回数ｑが多くなる場合（前記比率ｑ／ｐが１よりも大きくなる場合）、周囲環境に対する運転者の適応度合いが高いと言え、その反対に、運転シーンの変化の回数ｐに比べて、生体信号の変化の回数ｑが少なくなる場合（前記比率ｑ／ｐが１よりも小さく場合）、周囲環境に対する運転者の適応度合いが低いと言える。周囲環境に対する運転者の適応度合いが低い場合において、運転シーンの変化の回数ｐが多くなるほど、その適応度合いはさらに低い状態になっていると言える。このように、運転者の運転適応状態に応じて、運転シーンの変化の回数と運転者の心的負担の変化の回数を示す生体信号の変化の回数との相関が変化することを利用することで、周囲環境に対する運転者の適応状態を精度良く推定できる。
【００７７】
また、ここで、運転シーンが変化する事物としては、前述のように、自車両が追越すシーン、自車両が追越されるシーン、先行車両との車間距離が急に狭くなるシーン、自車両前方に歩行者や障害物が急に出現するシーン、自車両が右左折するシーン、自車両がトンネル内に入るシーン等が挙げられる。これら運転シーンの変化がある場合に、運転不適応状態である場合、特に運転中の注意力が低下していると考えられる。例えば、市街地では、このような運転シーンの変化は多く出現する。すなわち、運転シーンの変化の回数ｐが多くなる。
【００７８】
このように、周囲環境に対する運転者の適応度合いが低い場合において、運転シーンの変化が多く出現するほど、運転中の注意力は、より低下していると判断できる。
このようなことから、周囲環境に対する運転者の適応度合いが低い場合、制動制御やスピーカ等により運転者に注意を喚起すると共に、運転シーンの変化の出現回数に応じて、制動制御やスピーカ等により運転者に注意を喚起する度合い（注意喚起の回数や音量等）を高める制御を行う。
【００７９】
（効果）
（１）運転適応状態推定手段は、前記運転シーン変化検出手段が検出した運転シーンの単位時間当たりの変化回数が多いほど、前記周囲環境に対して運転者が適応していない度合いを高く推定するので、周囲環境に応じた運転適応状態を推定することができる。
【図面の簡単な説明】
【００８０】
【図１】本発明の第１の実施形態の車両、特に運転適応推定装置の構成を示すブロック図である。
【図２】前記運転適応推定装置の運転シーン変化検出部の処理手順を示すフローチャートである。
【図３】前記運転適応推定装置の運転負担検出部の処理手順を示すフローチャートである。
【図４】前記運転適応推定装置の一連の動作を示すフローチャートである。
【図５】前記運転シーン変化検出部が動画像から抽出する画像（静止画像）の例を示す図である。
【図６】前記運転シーン変化検出部が動画像から抽出する画像（静止画像）の他の例を示す図である。
【図７】フラクタル次元の今回値と前回値との差分値を時系列的に示す特性図である。
【図８】リアプノフ指数の時系列を示す特性図である。
【図９】画像間のフラクタル次元の差分値ΔＤの時系列とリアプノフ指数の時系列とに基づいて、運転適応状態にあると判定する場合の説明に使用した図である。
【図１０】画像間のフラクタル次元の差分値ΔＤの時系列とリアプノフ指数の時系列とに基づいて、運転不適応状態にあると判定する場合の説明に使用した図である。
【図１１】本発明の第２の実施形態における運転負担検出部の処理手順を示すフローチャートである。
【図１２】本発明の第３の実施形態における運転負担検出部の処理手順を示すフローチャートである。
【図１３】本発明の第４の実施形態における運転負担検出部の処理手順を示すフローチャートである。
【図１４】本発明の第５の実施形態における運転シーン変化検出部の処理手順を示すフローチャートである。
【図１５】本発明の第６の実施形態における運転シーン変化検出部の処理手順を示すフローチャートである。
【図１６】本発明の第７の実施形態における運転適応推定装置の一連の動作を示すフローチャートである。
【符号の説明】
【００８１】
１  動画入力部、２  運転シーン変化検出部、３  生体信号測定部、４  運転負担検出部、５  運転不適応状態判定部
【図１】
2007275115.tif 000003
【図２】
2007275115.tif 000004
【図３】
2007275115.tif 000005
【図４】
2007275115.tif 000006
【図５】
2007275115.tif 000007
【図６】
2007275115.tif 000008
【図７】
2007275115.tif 000009
【図８】
2007275115.tif 000010
【図９】
2007275115.tif 000011
【図１０】
2007275115.tif 000012
【図１１】
2007275115.tif 000013
【図１２】
2007275115.tif 000014
【図１３】
2007275115.tif 000015
【図１４】
2007275115.tif 000016
【図１５】
2007275115.tif 000017
【図１６】
2007275115.tif 000018