(57)【要約】【課題】運転者の意識状態を精度良く判定し、それに応じて運転者による移動体の運転操作を適切に支援できるようにする。【解決手段】光プローブ１を用いて運転者の脳の活動状態を計測すると共に、カメラ２及び画像処理部３を用いて運転者の視認状態を計測する。そして、これらの計測結果に基づき、意識状態判定部４で運転者の意識状態を判定し、その判定結果に応じて、出力制御部５が運転操作を支援するための各種動作を制御する。【選択図】図１
2005253590.tif 000002
【特許請求の範囲】
【請求項１】
移動体の運転操作を支援するための運転支援装置であって、
運転者の脳の活動状態を複数の脳内部位毎に各々計測する脳活動計測手段と、
運転者の視認状態を計測する視認状態計測手段と、
前記脳活動計測手段の計測結果と、前記視認状態計測手段の計測結果とに基づいて、運転者の意識状態を判定する意識状態判定手段と、
前記意識状態判定手段の判定結果に応じて、運転操作を支援するための動作を制御する支援動作制御手段とを備えることを特徴とする運転支援装置。
【請求項２】
前記脳活動計測手段として、近赤外光を用いて運転者の脳表面の血流量を計測する光プローブを用いることを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記視認状態計測手段として、運転者の顔付近の画像を撮像する撮像手段、及びこの撮像手段により撮像された画像を解析する画像処理手段を用いることを特徴とする請求項１又は２に記載の運転支援装置。
【請求項４】
前記意識状態判定手段は、
運転者が閉眼状態で、後頭部及び前頭部の活動が低下している安静状態を基準とし、
運転者が開眼状態で、後頭部の活動が活発且つ前頭部の活動が活発な場合に、運転者が積極的運転状態にあると判定し、
運転者が開眼状態で、後頭部の活動が低下且つ前頭部の活動が低下している場合に、運転者が居眠り状態にあると判定し、
運転者が開眼状態で、後頭部の活動が低下且つ前頭部の活動が活発な場合に、運転者の意識が運転から離れた意識のわき見状態にあると判定し、
運転者が開眼状態で、後頭部の活動が活発且つ前頭部の活動が低下している場合に、運転者の意識が運転に集中できない意識力低下状態にあると判定することを特徴とする請求項１乃至３の何れか１項に記載の運転支援装置。
【請求項５】
前記脳活動計測手段の装着状態を検出する装着状態検出手段を更に備え、
前記意識状態判定手段が、前記脳活動計測手段の計測結果を前記装着状態検出手段の検出結果を用いて補正すると共に、この補正した前記脳活動計測手段の計測結果と、前記視認状態計測手段の計測結果とに基づいて、運転者の意識状態を判定することを特徴とする請求項１乃至４の何れか１項に記載の運転支援装置。
【請求項６】
前記装着状態検出手段として、運転者の顔付近の画像を撮像する撮像手段、及びこの撮像手段により撮像された画像を解析する画像処理手段を用いることを特徴とする請求項５に記載の運転支援装置。
【請求項７】
移動体の現在の状態を表す移動体情報を取得する移動体情報取得手段と、
移動体周辺の状況を表す周辺情報を取得する周辺情報取得手段とを更に備え、
前記支援動作制御手段が、前記意識状態判定手段の判定結果と、前記移動体情報取得手段により取得された移動体情報、及び前記周辺情報取得手段により取得された周辺情報とに基づいて、運転操作を支援するための動作を制御することを特徴とする請求項１乃至６の何れか１項に記載の運転支援装置。
【請求項８】
運転者に運転操作を支援するための各種情報を伝達する情報伝達手段を備え、
前記支援動作制御手段が、前記意識状態判定手段の判定結果に応じて、前記情報伝達手段の動作を制御することを特徴とする請求項１乃至７の何れか１項に記載の運転支援装置。
【請求項９】
前記情報伝達手段として、情報を音声として出力する音声出力手段、情報を文字或いは画像として表示する表示手段、情報を移動体のフロントガラスに投影表示するヘッドアップディスプレイ、移動体のシートやシートベルトの振動により情報を伝える振動伝達手段のうちの少なくとも何れかを用いることを特徴とする請求項８に記載の運転支援装置。
【請求項１０】
前記支援動作制御手段が、前記意識状態判定手段の判定結果に応じて、移動体を運転するための操作手段の動作を制御することを特徴とする請求項１乃至９の何れか１項に記載の運転支援装置。
【請求項１１】
前記操作手段が、移動体のステアリング、アクセルペダル、ブレーキペダルの少なくとも何れかであることを特徴とする請求項１０に記載の運転支援装置。
【請求項１２】
移動体の運転操作を支援するための運転支援装置であって、
運転者の脳の活動状態を複数の脳内部位毎に各々計測する脳活動計測手段と、
運転者の脳へ送られる血流量の変化を計測する血流量変化計測手段と、
前記血流量変化計測手段の計測結果を用いて前記脳活動計測手段の計測結果を補正する脳活動計測結果補正手段と、
前記脳活動計測結果補正手段で補正された前記脳活動計測手段の計測結果に基づいて、運転者の意識状態を判定する意識状態判定手段と、
前記意識状態判定手段の判定結果に応じて、運転操作を支援するための動作を制御する支援動作制御手段とを備えることを特徴とする運転支援装置。
【請求項１３】
前記脳活動計測手段として、近赤外光を用いて運転者の脳表面の血流量を計測する光プローブを用いることを特徴とする請求項１２に記載の運転支援装置。
【請求項１４】
前記血流量変化計測手段として、運転者の首部付近に装着されるドップラー式血流計を用いることを特徴とする請求項１２又は１３に記載の運転支援装置。
【請求項１５】
前記ドップラー式血流計は、長尺状のセンサ部を有し、当該センサ部の長手方向が運転者の首部の動脈が延びる方向と直交するように、運転者の首部付近に装着されることを特徴とする請求項１４に記載の運転支援装置。
【請求項１６】
前記ドップラー式血流計は、直線状に並ぶ複数のセンサ部を有し、これら複数のセンサ部が並ぶ方向が運転者の首部の動脈が延びる方向と直交するように、運転者の首部付近に装着されることを特徴とする請求項１４に記載の運転支援装置。
【請求項１７】
前記血流量変化計測手段は、運転者の運転姿勢の変化を検出すると共に、この運転者の運転姿勢の変化と血流量変化との関係から、運転者の脳へ送られる血流量の変化を推定することを特徴とする請求項１２又は１３に記載の運転支援装置。
【請求項１８】
前記血流量変化計測手段は、運転者の運転姿勢を検出するための手段として、運転者の顔を含む上半身部の画像を撮像する撮像手段、及びこの撮像手段により撮像された画像を解析する画像処理手段を用いることを特徴とする請求項１７に記載の運転支援装置。
【請求項１９】
移動体の現在の状態を表す移動体情報を取得する移動体情報取得手段と、
移動体周辺の状況を表す周辺情報を取得する周辺情報取得手段とを更に備え、
前記支援動作制御手段が、前記意識状態判定手段の判定結果と、前記移動体情報取得手段により取得された移動体情報、及び前記周辺情報取得手段により取得された周辺情報とに基づいて、運転操作を支援するための動作を制御することを特徴とする請求項１２乃至１８の何れか１項に記載の運転支援装置。
【請求項２０】
運転者に運転操作を支援するための各種情報を伝達する情報伝達手段を備え、
前記支援動作制御手段が、前記意識状態判定手段の判定結果に応じて、前記情報伝達手段の動作を制御することを特徴とする請求項１２乃至１９の何れか１項に記載の運転支援装置。
【請求項２１】
前記情報伝達手段として、情報を音声として出力する音声出力手段、情報を文字或いは画像として表示する表示手段、情報を移動体のフロントガラスに投影表示するヘッドアップディスプレイ、移動体のシートやシートベルトの振動により情報を伝える振動伝達手段のうちの少なくとも何れかを用いることを特徴とする請求項２０に記載の運転支援装置。
【請求項２２】
前記支援動作制御手段が、前記意識状態判定手段の判定結果に応じて、移動体を運転するための操作手段の動作を制御することを特徴とする請求項１２乃至２１の何れか１項に記載の運転支援装置。
【請求項２３】
前記操作手段が、移動体のステアリング、アクセルペダル、ブレーキペダルの少なくとも何れかであることを特徴とする請求項２２に記載の運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両等の移動体の運転操作を支援するための運転支援装置に関する。
【背景技術】
【０００２】
近年、車両のインテリジェント化が進められる中で、例えば、音声出力や画像表示等によって各種情報を運転者に伝達したり、ステアリングやアクセルペダル、ブレーキペダル等の操作を自動制御して車両を自律的に走行させる、或いは運転者の運転操作を補助するといったような、運転者による運転操作を支援するための様々な技術の研究開発が盛んに行われている。
【０００３】
このような車両等の移動体の運転操作を適切に支援するためには、運転者の状態、特に運転者の意識状態がどのような状態にあるのかを的確に把握することが重要であり、その手法の１つとして、光プローブを用いて運転者の脳の活動状態を計測し、それに応じて運転者の意識状態を判定する試みがなされている（例えば、特許文献１参照。）。
【０００４】
特許文献１には、光プローブを用いて、車両の運転者や同乗者の脈、呼吸、脳活動等の生体情報をモニタし、その生体情報に基づいて運転者や同乗者の意識状態、身体状態を判定し、必要に応じて運転者や同乗者への警告、環境コントロール、車両の動作制御、外部への通報等を行う技術が開示されている。
【特許文献１】特開２００２−２２４０９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
人の意識は脳の活動によって形成されるものであるので、上述した特許文献１にて開示されるように、移動体の運転者の意識状態を判定する手法として、運転者の脳の活動状態を計測して、それに基づいて意識状態を判定するという手法は、正しい方向のアプローチであると考えられる。
【０００６】
しかしながら、運転者の意識状態を脳の活動状態から一意に特定することは難しく、脳の活動状態の計測結果だけでは、運転者の意識状態を高精度に判定できない場合が多い。また、実際には、脳の活動状態を計測する際に様々な外乱要因の影響を受けるために、脳の活動状態を正確に計測すること自体が困難な場合が多い。このため、従来の技術では、運転者の意識状態の判定精度が満足のいくものとはなっておらず、必ずしも運転者の意識状態を適切に反映した最適な運転支援が行われていないのが現状である。
【０００７】
そこで、本発明は、運転者の意識状態を精度良く判定し、それに応じて運転者による移動体の運転操作を適切に支援することができる運転支援装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
運転者の意識状態を精度良く判定するためには、運転者の脳の活動状態以外の他の追加情報を取得して、この追加情報と脳活動状態の計測結果とを総合的に判断して運転者の意識状態を判定することが有効と考えられる。ここで、特に運転操作を行っている運転者の意識状態は、その視認状態と強く関連性を持つことから、追加情報として運転者の視認状態を計測して、脳の活動状態の計測結果と視認状態の計測結果とに基づいて運転者の意識状態を判定するようにすれば、運転者の意識状態を精度良く判定できると考えられる。
【０００９】
本発明に係る運転支援装置は、以上のような知見に基づいて創案されたものであって、脳活動計測手段、視認状態計測手段、意識状態判定手段、支援動作制御手段の各手段を備えて構成される。そして、脳活動計測手段で運転者の脳の活動状態を複数の脳内部位毎に計測すると共に、視認状態計測手段で運転者の視認状態を計測し、これらの計測結果に基づいて意識状態判定手段で運転者の意識状態を判定する。そして、意識状態判定手段の判定結果に応じて、支援動作制御手段が運転操作を支援するための動作を制御する。
【００１０】
また、運転者の意識状態を精度良く判定するためには、運転者の脳の活動状態以外の他の追加情報を取得して、この追加情報で脳活動状態の計測結果を補正し、補正した脳活動状態の計測結果に基づいて、運転者の意識状態を判定することも有効と考えられる。ここで、運転操作を行っている運転者は、運転操作に伴って顔や身体を動かす機会が多く、この顔や身体の移動に伴う脳への血流量の変化が脳活動状態の計測結果に影響を及ぼすことが想定されるので、追加情報として運転者の脳への血流量の変化を計測し、この血流量変化の計測結果を用いて脳の活動状態の計測結果を補正して、それに基づいて運転者の意識状態を判定するようにすれば、運転者の意識状態を精度良く判定できるものと考えられる。
【００１１】
本発明に係る他の運転支援装置は、以上のような知見に基づいて創案されたものであって、脳活動計測手段、血流量変化計測手段、脳活動計測結果補正手段、意識状態判定手段、支援動作制御手段の各手段を備えて構成される。そして、脳活動計測手段で運転者の脳の活動状態を複数の脳内部位毎に計測すると共に、血流量変化計測手段で運転者の脳へ送られる血流量の変化を計測し、脳活動計測結果補正手段で脳活動計測手段の計測結果を血流量変化計測手段の計測結果を用いて補正し、意識状態判定手段が、補正後の脳活動計測結果に基づき運転者の意識状態を判定する。そして、意識状態判定手段の判定結果に応じて、支援動作制御手段が運転操作を支援するための動作を制御する。
【発明の効果】
【００１２】
本発明によれば、運転者の意識状態を精度良く判定して、それに応じて運転操作を支援するための動作を適切に制御できるので、運転者の運転操作を最適な状態で支援することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を適用した運転支援装置の具体的な実施形態について、図面を参照しながら説明する。なお、ここでは、車両に搭載されて運転者による車両の運転操作を支援する車両用運転支援装置に本発明を適用した例を説明するが、本発明は、このような車両用の運転支援装置に限らず、各種移動体の運転操作を支援するための運転支援装置に広く適用可能である。
【００１４】
（第１の実施形態）
図１は、本発明を適用した車両用運転支援装置の一構成例を示す全体構成図である。この車両用運転支援装置は、運転者の脳の活動状態を複数の脳内部位毎に各々計測する手段として光プローブ１、運転者の視認状態を計測する手段としてカメラ２及び画像処理部３、運転者の意識状態を判定する手段として意識状態判定部４、運転操作を支援するための動作を制御する手段として出力制御部５をそれぞれ備えている。
【００１５】
光プローブ１は、近赤外光を用いて運転者の脳表面の血流量を計測するものである。この光プローブ１は、運転者の頭部に装着されるセンサ部１ａと脳活動計測制御部１ｂとを有し、脳活動計測制御部１ｂの制御のもとでセンサ部１ａから運転者の頭部に、波長が８００ｎｍ程度の近赤外光を照射する。センサ部１ａから運転者の頭部に照射される近赤外光は、運転者の頭部頭蓋骨を透過して脳表面で散乱し、その散乱光がセンサ部１ａで受光される。そして、このセンサ部１ａで受光された散乱光強度に基づき、脳活動計測制御部１ｂで、運転者の計測対象となる脳内部位における脳表面の血流量が計測され、運転者の脳の活動状態が計測される。
【００１６】
光プローブ１のセンサ部１ａで受光される散乱光の強度は、運転者の脳表面のヘモグロビン量に応じて変化し、ヘモグロビン量が多い場合は血流量が多い。したがって、光プローブ１のセンサ部１ａで受光される散乱光の強度から、運転者の脳表面の血流量を判定することができる。ここで、酸化ヘモグロビン、還元ヘモグロビンの反射係数は、使用する光の波長によって異なるので、より高い計測精度を得るためには、複数の波長を用いて血流量を計測することが望ましい。この種の光プローブ１を用いて血流量を計測する場合、現在では２種類の波長の光を用いるのが主流となっている。
【００１７】
光プローブ１のセンサ部１ａで受光される散乱光強度の情報は、脳活動計測制御部１ｂに送られる。そして、脳活動計測制御部１ｂでは、運転者の計測対象となる脳内部位に対応して配置された複数のセンサ部１ａからの情報を処理し、各センサ部１ａ毎に散乱光の波長分離、強度計測、位置同定を行って、運転者の脳内部位毎の血流量の計測、それに基づく脳の活動状態の計測を行う。この光プローブ１の脳活動計測制御部１ｂでの計測結果は、意識状態判定部４へと送られる。
【００１８】
人の脳では各種機能が３次元的にマッピングされており、各脳内部位毎にその部位が主体的に働く機能がある程度判明している。そして、各脳内部位の機能が働いているかどうかは、その脳内部位の血流量を計測することで判定でき、血流量が増加した場合には、その脳内部位の機能が働いていることが分かる。例えば、左脳側頭部の言語中枢部では、言語を聞いて認識したときや発話した時に血流量の増加が見られる。したがって、以上のように、光プローブ１を用いて運転者の脳内部位の血流量を計測することで、運転者の脳の活動状態をリアルタイムにモニタリングすることができる。
【００１９】
車両を運転中の運転者は、特に視覚機能の働きと認知判断機能の働きが重要で、その状態で運転者の意識状態を詳細に分類することができる。したがって、ここでは、視覚野のある後頭部、ワーキングメモリ機能のある前頭部の脳機能の活動状態を計測する。そのために、光プローブ１のセンサ部１ａは、少なくとも運転者の頭部前後に各１個づつ、計２個が配置される。また、計測精度向上のために、運転者の頭部前後それぞれに複数個のセンサ部１ａを配置するようにしてもよい。
【００２０】
光プローブ１のセンサ部１ａは、センサ保持部材６に保持されて、運転者の頭部に装着される。センサ保持部材６は、光プローブ１のセンサ部１ａを運転者の頭部に接触させた状態で保持するものであり、例えば帽子の形状に形成されている。近年では、車両を運転する運転者の中にも帽子を着用する人が多く、特に高齢の男性では帽子を着用する人が目立って多い。このような社会情勢を考慮すると、センサ保持部材６を帽子形状としてそれに光プローブ１のセンサ部１ａを保持させ、運転時にはこの帽子形状のセンサ保持部材６を着用させるようにすることで、運転者がセンサ部１ａを頭部に装着することの抵抗感を緩和できると考えられる。
【００２１】
本発明を適用した車両用運転支援装置では、運転者の意識状態に応じて運転操作を支援するための動作を制御するようにしているが、上述したような光プローブ１を用いた脳活動状態の計測結果だけでは、運転者の意識状態を一意に判定することが困難である。そこで、本実施形態の車両用運転支援装置では、追加情報として運転者の視認状態を計測し、この運転者の視認状態を脳活動状態と対応させて運転者の意識状態を判定するようにしている。これを実現するため、本実施形態の車両用運転支援装置は、運転者の視認状態を計測する手段として、カメラ２及び画像処理部３を備えている。
【００２２】
カメラ２は、運転者の顔及び眼付近の画像を撮像し、そのデータを画像処理部３へと送る。画像処理部３では、カメラ２で撮像された画像のデータを解析し、運転者の視認状態を計測する。具体的には、画像処理部３は、カメラ２で撮像された画像から推定される運転者の視線方向から視対象を判定し、また、視線移動範囲や視線移動頻度、瞬目、開閉眼状態等を判定する。この画像処理部３での処理結果は、意識状態判定部４へと送られる。
【００２３】
以上のようなカメラ２及び画像処理部３には、運転者の視認状態を計測する機能の他、光プローブ１の装着状態を検出する装着状態検出手段としての機能を持たせるようにしてもよい。すなわち、カメラ２は運転者の顔付近の画像を撮像するので、この画像を画像処理部３で解析することで、運転者がセンサ保持部材６を着用している状況や、センサ保持部材６に保持されて運転者の頭部に装着されている光プローブ１のセンサ部１ａの位置等を逐次確認することができる。そして、センサ部１ａに位置ずれが生じている場合には、各センサ部１ａの位置ずれ量に応じて、意識状態判定部４で光プローブ１による脳活動状態の計測結果を補正し、補正した脳活動状態の計測結果を用いて運転者の意識状態を判定することで、意識状態判定精度の向上を図ることが可能となる。また、センサ部１ａに位置ずれが生じている場合に、音声やモニタ表示で「センサ位置ずれ発生。装具の被り直しをお願いします」等の指示を出すようにしてもよく、これにより、脳活動状態の計測ミスを低減することができる。
【００２４】
また、カメラ２はワイヤレスの無線通信で画像処理部３に接続されるようにして、光プローブ１のセンサ部１ａと共に、センサ保持部材６に取り付けるようにしてもよい。この場合には、カメラ２が、運転者の顔や眼付近の画像と合わせて、運転者の顔が向いている方向の画像も同時に撮像するようにすれば、この画像を画像処理部３で解析することで、運転者の視認位置を同定するデータとすることができる。
【００２５】
意識状態判定部４は、光プローブ１の脳活動計測制御部１ｂから送られる運転者の脳活動状態の計測結果と、画像処理部４から送られる運転者の視認状態の計測結果とに基づいて、運転者の意識状態を判定するものである。運転者の脳の活動状態と視認状態とに基づいて意識状態を判定するロジックとしては様々なものが考えられるが、ここでは簡便な手法として、図２に示すように、運転者の眼の開閉眼状態と、運転者の前頭部及び後頭部の脳の活動状態とにより、運転者の意識状態を４種類の状態で判定する手法を例に挙げて、意識状態判定部４における判定処理について具体的に説明する。
【００２６】
まず、車両の運転開始前に、運転者の意識状態を判定する基準となる安静状態のときの脳の活動状態を計測しておく。具体的には、例えば音声やモニタ表示で「これより安静状態を計測します。眼を閉じリラックスしてください。」といったアナウンスを行い、運転者が安静状態となっている間（例えば、開始音を出力してから終了音を出力するまでの間）に数秒間、安静状態のときの運転者の前頭部及び後頭部の脳活動状態を光プローブ１を用いて計測する。この場合、計測時にＢＧＭ等を流して、運転者の前頭部が積極的に活動することを抑えることが望ましい。また、安静状態のときの脳活動状態の計測に合わせて、カメラ２で運転者の顔付近の画像を撮像し、これを画像処理部３で解析して、運転者の閉眼状態を確認しておく。以上のような安静状態時での計測は、最初の設定時に１回のみ行ってその計測結果を記憶させておき、その後は記憶させた計測結果を用いるようにしてもよいが、運転者の意識状態を精度良く判定するには、車両の運転開始前に毎回行うことが望ましい。
【００２７】
意識状態判定部４では、以上のように計測した運転者の安静状態のときの脳活動状態や閉眼状態を基準とし、実際に運転者が車両を運転している際に光プローブ１を用いて計測される前頭部及び後頭部の活動状態や、カメラ２及び画像処理部３を用いて計測される開閉眼状態に基づいて、運転者の意識状態が、図２に示すような４つの状態、すなわち積極的運転状態（状態１）、居眠り状態（状態２）、意識のわき見状態（状態３）、意識力低下状態（状態４）のうちの何れの状態になっているかを判定する。
【００２８】
運転者が積極的な運転状態（状態１）にあるときは、眼もよく動き視覚野のある後頭部も活発に活動し、認知判断の活動を反映する前頭部も活発に活動する。したがって、後頭部も前頭部も共に血流量の増減を頻繁に繰り返す。
【００２９】
しかしながら、疲労がたまって居眠り状態（状態２）になると、視覚情報は後頭部に到達せず、後頭部の血流量が低下したままとなる。また、前頭部の認知判断も行われず、同様に前頭部の血流量も低下したままの状態となる。このときは、開眼状態であることを確認しておく必要がある。
【００３０】
次に、運転中に携帯電話機で通話している場合等においては、意識は働いているものの、視覚情報がうまく視覚野のある後頭部に到達しなくなることが予想される。すなわち、この場合は、頭の中が運転以外のことでいっぱいになり、視覚情報処理がうまく活動しない、いわゆる「意識のわき見」の状態（状態３）となる。このときは、前頭部は活動して血流量の増減があるものの、後頭部の血流は低下したままの状態となる。この場合にも、開眼状態であることを確認しておく必要がある。
【００３１】
また、うつ病などでやる気が低下している場合には、眼はある程度働いて後頭部が活動しているものの、前頭部の活動は低下する。すなわち、この場合には、運転に意識を集中できず、意識力が低下した状態（状態４）となる。老人性痴呆等のような脳機能が低下している場合も、同様の傾向にある。このときは、後頭部の血流の増減はあるものの前頭部の血流量は低下したままの状態となる。
【００３２】
したがって、意識状態判定部４は、実際に運転者が車両を運転している際に光プローブ１を用いて計測される前頭部及び後頭部の活動状態や、カメラ２及び画像処理部３を用いて計測される開閉眼状態を、安静状態のときの脳活動状態や閉眼状態と比較して、上述した状態１〜状態４の何れに当てはまるかを判断することで、運転者の意識状態を判定することができる。そして、意識状態判定部４での判定の結果は、出力制御部５へと送られる。
【００３３】
なお、ここでは、運転者の意識状態を判定する簡便な手法を例に挙げて説明したが、運転者の脳の活動状態を更に細かな部位毎に計測してその情報を用いたり、また、運転者の視認状態を更に細かに分析してその情報を用いることによって、運転者の意識状態をより詳細に判定することも可能である。例えば、上述したように、カメラ２で撮像した画像を画像処理部３で画像処理して運転者の視認対象を同定した場合には、その反応信号を視覚野等における脳活動から取得して視認対象に対する視認レベルを算出し、前頭部の活動を見ながら運転者の意識レベルを判定するといったことも可能になる。
【００３４】
出力制御部５は、意識状態判定部４の判定結果に応じて、運転操作を支援するための動作を制御するものである。運転者の運転操作を支援するための動作としては、各種の情報を運転者に伝達する情報伝達手段の動作や、車両を運転するための操作手段の動作が挙げられ、出力制御部５は、これら情報伝達手段や操作手段の動作を制御して、運転者の意識状態に合わせて最適な情報の提示や警告が行われるようにしたり、場合によっては車両の挙動自体を自律的に制御することで、運転者の運転操作を支援する。
【００３５】
情報伝達手段としては、例えば、運転者に視覚情報を提示・報知するモニタ７や、運転者に警報音や音声による聴覚情報を提示するスピーカ８、車両のシートやシートベルトの振動により情報を触覚的に伝達する振動発生装置９、車両のフロントガラスに視覚情報を投影表示するヘッドアップディスプレイ（ＨＵＤ）１０等が挙げられる。また、操作手段としては、車両の進行方向を制御する操舵操作を行うためのステアリング１１や、車両の加速操作や減速操作を行うためのアクセルペダル１２及びブレーキペダル１３等が挙げられる。
【００３６】
運転者の意識状態に応じて以上のような情報伝達手段や操作手段の動作を制御する場合、実際の車両運転中における様々なシーンで適切な動作制御を行うためには、運転者の意識状態だけでなく、現在の車両の状態や周辺環境等の様々な状況も把握しておくことが望まれる。そこで、本実施形態の車両用運転支援装置では、出力制御部５に、車両の現在の状態を表す車両情報を取得する手段としての車両制御部１４や、車両周辺の状況を表す周辺情報を取得する手段としてのナビゲーション装置１５が接続され、これら車両制御部１４やナビゲーション装置１５から出力制御部５に車両情報や周辺情報が送られるようになっている。そして、出力制御部５は、意識状態判定部４での判定結果に加えて、車両制御部１４やナビゲーション装置１５から送られる情報を考慮して、上述した各種情報伝達手段や操作手段の動作を制御するようにしている。
【００３７】
車両制御部１４には、舵角センサ１６によって検出される操舵角、すなわちステアリング１１の操作量を示す信号や、アクセルペダル１２の開度を示す信号、ブレーキペダル１３の開度を示す信号が入力される。また、車両制御部１４には、車速センサ１７によって検出される車両の走行速度を示す信号や、シフトノブ１８からのシフト位置を示す信号が入力される。そして、車両制御部１４は、これら取得した信号、すなわち車両の現在の状態を示す車両情報を出力制御部５へと送る。
【００３８】
また、車両制御部１４は、車両の現在の状態を表す車両情報を取得して出力制御部５に送る機能に加えて、出力制御部５の制御指令に応じて、ステアリング１１やアクセルペダル１２、ブレーキペダル１３等の操作手段の操作を実行する機能も有している。
【００３９】
ナビゲーション装置１５は、ＧＰＳ（Global Positioning System）や通信機器、各種情報が格納された記録媒体等を利用して、車両の現在位置を示す緯度経度の情報やその周辺の道路の情報、交通情報等を取得して、これら取得した情報、すなわち車両周辺の状況を表す周辺情報を出力制御部５へと送る。なお、車両周辺の状況を表す周辺情報を取得する手段としては、以上のようなナビゲーション装置１５の代わりに、例えばＧＰＳ機能付きの携帯電話機や、衛生ラジオ放送や地上波デジタル放送などを受信する機能を有する通信機器等を用いるようにしてもよい。
【００４０】
出力制御部５では、以上のような車両制御部１４から送られる車両情報や、ナビゲーション装置１５から送られる周辺情報を用いることで、例えば、現在車両が高速道路上を走行中である、或いは渋滞にはまっている、或いは狭い道路をゆっくりと走行している、或いは駐車場での車庫入れ中であるといったような現在の車両の運転状況を、きめ細かく且つ精度良く推定することができると共に、将来の運転状況も予測することもできる。そして、このような車両の運転状況から、現在の運転状況が緊迫状況なのか、或いはそれほど切羽詰まっておらず余裕のある状況であるのかといったことも的確に把握でき、情報提示や車両挙動制御の必要性、最適な情報提示の強度やタイミング等を把握することができる。
【００４１】
ここで、運転者の意識状態を上述した状態１〜状態４の４つの類型で判定する場合を例に挙げて、出力制御部５の制御に基づいて実行される運転支援動作の具体例について、以下に説明する。
【００４２】
意識状態判定部４により運転者の意識状態が状態１であると判定された場合には、車両の運転操作を行う上で良好な意識状態にあるので、その状態が継続できるように余計な支援動作は極力行わず、運転者の運転操作を邪魔しないようにする。
【００４３】
意識状態判定部４により運転者の意識状態が状態２であると判定された場合には、運転者を居眠りから覚醒させる必要があるが、モニタ７やヘッドアップディスプレイ１０による視覚情報の提示だけでは短時間で十分な効果が見込めないため、スピーカ８により警告音や音声等の聴覚情報を提示したり、振動発生装置９により車両のシートやシートベルトを振動させて、運転者を覚醒させる。このときの音量や周波数などは、運転者の個人特性に合わせて可変とすることが望ましく、例えば運転者が高齢者の場合は聴覚機能が低下していることが想定されるので、スピーカ８の音量を大きくしたり、４ＫＨｚ以上の周波数は避けて提示するとよい。
【００４４】
意識状態判定部４により運転者の意識状態が状態３であると判定された場合には、運転操作以外に向いている運転者の意識を運転操作に戻すように、視覚情報の提示と聴覚情報の提示の双方を行う。視覚情報の提示としては、例えば、ナビゲーション装置１５等で取得される周辺情報を用いて運転者の視点をどこに向ければよいかを割り出し、ヘッドアップディスプレイ１０を用いて、その位置に対応するフロントガラス上の位置に文字や画像等の視覚情報を表示させる。また、これと同時に、スピーカ８により警告音や音声を出力させて、前方視認するように運転者を促す。また、運転者が車両搭載機器、例えばオーディオ装置やナビゲーション装置１５等を操作している場合には、それらの機器の電源を落として、強制停止させるようにしてもよい。
【００４５】
意識状態判定部４により運転者の意識状態が状態４であると判定された場合には、情報の提示だけでは十分な対応が取れない可能性が高いため、必要に応じて車両制御部１４を介して、ステアリング１１やアクセルペダル１２、ブレーキペダル１３等を自動制御して、車両を減速させて路肩に停車させるといったように、車両の挙動自体を制御する。また、ステアリング１１やアクセルペダル１２、ブレーキペダル１３の荷重−ストローク特性を可変させたりすることで運転者の運転操作を補助し、同様な車両挙動が得られるように制御してもよい。また、車両に通信機器が搭載されている場合には、警察や病院への通報を行うようにしてもよい。
【００４６】
以上説明したように、本実施形態の車両用運転支援装置によれば、光プローブ１を用いて車両の運転者の脳活動状態を計測すると共に、カメラ２及び画像処理部３を用いて運転者の視認状態を計測し、これらの計測結果に基づいて意識状態判定部４で運転者の意識状態を判定するようにしているので、運転者の意識状態を精度良く判定することができ、特に、車両運転中の運転者の意識状態として発生頻度が高い「意識のわき見」等の状態を的確に判定することができる。そして、この意識状態判定部４の判定結果に応じて出力制御部５が情報伝達手段や操作手段の動作を制御するようにしているので、運転者の意識状態に合わせた適切な情報の提示や警告、車両挙動の制御等を行うことができ、運転者の運転操作を最適な状態で支援することができる。
【００４７】
また、本実施形態の車両用運転支援装置によれば、車両制御部１４で車両の現在の状態を表す車両情報を取得すると共に、ナビゲーション装置１５で車両周辺の状況を表す周辺情報を取得し、出力制御部５が、意識状態判定部４での判定結果に加えて、車両制御部１４やナビゲーション装置１５で取得された車両情報や周辺情報も考慮して、情報伝達手段や操作手段の動作を制御するようにしているので、実際の車両運転中における様々なシーンで適切な動作制御を行って、運転者の運転操作を最適な状態で支援することができる。
【００４８】
また、本実施形態の車両用運転支援装置では、カメラ２及び画像処理部３を用いて光プローブ１の装着状態も検出し、その検出結果に応じて光プローブ１による脳活動状態の計測結果を補正し、補正した脳活動状態の計測結果を用いて運転者の意識状態を判定するようにすれば、意識状態の判定精度を更に向上させることが可能となる。
【００４９】
（第２の実施形態）
次に、本発明を適用した車両用運転支援装置の第２の実施形態について、図３を参照しながら説明する。本実施形態の車両用運転支援装置は、上述した第１の実施形態の構成に加えて、運転者の脳へ送られる血流量の変化を計測する手段と、この血流量変化の計測結果を用いて上述した光プローブ１による運転者の脳活動状態の計測結果を補正する手段とを備えたものである。その他の構成及び各部の処理内容は上述した第１の実施形態と同様であるので、以下、第１の実施形態と同様のものについては同一の符号を付して重複した説明を省略し、本実施形態に特徴的な部分についてのみ説明する。
【００５０】
車両運転中の運転者は、運転操作や視認行動に伴って顔や身体を動かす機会が多く、このような顔や身体の移動は運転者の脳への血流量変化として現れることになる。そして、この脳への血流量の変化は、光プローブ１を用いた運転者の脳活動状態の計測結果にノイズとして重畳されるため、より高精度な計測結果を得るためには、この血流量変化によるノイズを除去することが望まれる。
【００５１】
そこで、本実施形態の車両用運転支援装置では、上述した第１の実施形態の構成に加えて、運転者の脳へ送られる血流量の変化を計測する手段としてドップラー式血流計２１を備えると共に、このドップラー式血流計２１による血流量変化の計測結果を用いて光プローブ１の計測結果を補正する手段として脳活動計測結果補正部２２を備えている。
【００５２】
ドップラー式血流計２１は、光や超音波のドップラー現象を利用して血液流量を計測するものである。このドップラー式血流計２１は、運転者の首部に装着されるセンサ部２１ａと計測制御部２１ｂとを有し、計測制御部２１ｂによりセンサ部２１ａの動作を制御し、センサ部２１ａからの信号を計測制御部２１ｂで演算処理して、運転者の脳への血流量変化を計測する。
【００５３】
人間における脳への血流ルートとしては、例えば脳底動脈や内頚動脈、外頚動脈等が挙げられる。ここでは、計測のしやすさや、左右の外頚動脈が側頭葉への血液供給源であること等を考慮して、ドップラー式血流計２１で運転者の首部の左右外頚動脈を計測するようにしている。但し、脳への血流量変化の計測は、脳への血流量が計測できれば血管位置や動脈・静脈の区別なくあらゆる形態での計測が可能である。また、血管を流れる血流量の計測には、ドップラー式血流計２１の他、例えば針による侵襲型血流計等を用いることも考えられるが、ここではセンサ部２１ａの装着しやすさ、負担軽減等を考慮して、ドップラー式血流計２１を用いている。
【００５４】
ドップラー式血流計２１は、センサ部２１ａを以上のように運転者の左右外頚動脈付近に接触配置させるため、ネックバンドのような伸縮性のある素材にセンサ部２１ａを取り付け、わずかな圧力がかかった状態で首部に接触させるようにしている。このとき、超音波を用いて血流量を計測する場合には、運転者の首部の皮膚とセンサ部２１ａとの界面にゼリー等を介して超音波の伝播を良好なものとすることが望ましい。
【００５５】
車両の運転中には、運転者はいろいろなものを視認しようとして首を動かすため、極端に首を回した場合には、運転者首部の動脈位置とドップラー式血流計２１のセンサ部２１ａの位置との間にずれが生じてしまうことも想定される。このような場合を考慮して、ドップラー式血流計２１は、センサ部２１ａを長尺状とし、その長手方向が運転者首部の動脈が延びる方向と直交するように、運転者の首部に装着することが望ましい。これにより、運転者が首を回すことでセンサ部２１ａが多少位置ずれした場合であっても、脳への血流量変化を適切に計測することが可能となる。また、センサ部２１ａを長尺状にする代わりに複数のセンサ部２１ａを直線状に並べ、これら複数のセンサ部２１ａが並ぶ方向が運転者首部の動脈が延びる方向と直交するように配置しても、同様の効果を得ることができる。
【００５６】
計測制御部２１ｂでは、センサ部２１ａからの信号を演算処理して、運転者の脳への血流量変化を計測する。具体的には、例えば複数のセンサ部２１ａから信号が送られてくる場合には、計測制御部２１ｂはこれらの信号を演算処理して最も大きい値を運転者の脳へ送られる血流量とし、その変化を血流量変化として計測する。また、単独のセンサ部２１ａが用いられている場合には、このセンサ部２１ａからの信号を増幅、ノイズ除去等の処理を行って得られた値を運転者の脳への血流量とし、その変化を血流量変化として計測する。このドップラー式血流計２１の計測制御部２１ｂでの演算処理によって得られた運転者の脳への血流量変化の計測結果は、脳活動計測結果補正部２２へと送られる。
【００５７】
脳活動計測結果補正部２２は、ドップラー式血流計２１によって計測された血流量変化、すなわち運転者の脳へと送られる血流量の変化に基づいて、光プローブ１により計測された運転者の脳活動状態の計測結果を補正するものである。例えば運転者が首を右に傾けた場合、右外頚動脈が圧迫されて脳へと送られる血流量が減少することになる。そして、この血流量の減少による影響は、光プローブ１の脳活動計測制御部１ｂでの計測結果、すなわち運転者の脳活動状態の計測結果にノイズとなって重畳されることになる。そこで、このような場合には、脳活動計測結果補正部２２が、ドップラー式血流計２１の計測制御部２１ｂでの演算処理によって計測される血流量の減少度合いに応じて、光プローブ１の脳活動計測制御部１ｂでの計測結果を補正し、血流量変化によるノイズを除去する。
【００５８】
以上のように、本実施形態の車両用運転支援装置では、光プローブ１で計測された運転者の脳活動状態の計測結果が、脳活動計測結果補正部２２によりドップラー式血流計２１で計測された運転者の脳への血流量変化の計測結果に応じて補正された後に、意識状態判定部４へと送られることになる。そして、意識状態判定部４において、補正後の運転者の脳活動状態の計測結果と、画像処理部４から送られる運転者の視認状態の計測結果とに基づいて、運転者の意識状態が判定され、その判定結果と車両制御部１４から送られる車両情報及びナビゲーション装置１５から送られる周辺情報とに基づいて、出力制御部５により、情報伝達手段としてのモニタ７、スピーカ８、振動発生装置９、ヘッドアップディスプレイ１０の動作や、操作手段としてのステアリング１１、アクセルペダル１２、ブレーキペダル１３の動作が制御される。なお、意識状態判定部４が運転者の意識状態を判定する処理や、出力制御部５が情報伝達手段や操作手段の動作を制御する処理の概要は、上述した第１の実施形態と同様である。
【００５９】
以上説明したように、本実施形態の車両用運転支援装置によれば、ドップラー式血流計２１を用いて運転者の脳への血流量変化を計測し、その計測結果に応じて光プローブ１を用いた運転者の脳活動状態の計測結果を補正して、補正した脳活動状態の計測結果に応じて運転者の意識状態を判定するようにしているので、運転者の意識状態を更に精度良く判定することができる。そして、その判定結果に応じて情報伝達手段や操作手段の動作を制御することで、運転者の意識状態に合わせた情報の提示や警告、車両挙動の制御等を更に適切に行うことができ、運転者の運転操作を最適な状態で支援することができる。
【００６０】
なお、以上説明した例では、運転者の脳への血流量変化に応じて補正した脳活動状態の計測結果の他に、運転者の視認状態の計測結果を用いて運転者の意識状態を判定するようにしているが、運転者の脳活動状態が詳細に計測されて、運転者の脳への血流量変化に応じた補正によってその計測結果の信頼性が十分に確保できる場合には、この補正後の脳活動状態の計測結果のみから運転者の意識状態を精度良く判定することも可能である。この場合には、カメラ２や画像処理部３を不要とすることができ、その分、コストの低減を図ることができる。
【００６１】
（第３の実施形態）
次に、本発明を適用した車両用運転支援装置の第３の実施形態について、図４を参照しながら説明する。本実施形態の車両用運転支援装置は、上述した第２の実施形態の変形例に相当するものであり、運転者の脳へ送られる血流量の変化に応じて光プローブ１による運転者の脳活動状態の計測結果を補正する点は第２の実施形態と同様であるが、運転者の脳への血流量変化をドップラー式血流計２１を用いて直接計測する代わりに、運転者の運転姿勢を検出してその運転姿勢から脳への血流量変化を推定するようにしたものである。その他の構成及び各部の処理内容は上述した第１及び第２の実施形態と同様であるので、以下、第１及び第２の実施形態と同様のものについては同一の符号を付して重複した説明を省略し、本実施形態に特徴的な部分についてのみ説明する。
【００６２】
車両運転中の運転者は、上述したように、運転操作や視認行動に伴って顔や身体を動かす機会が多く、このような運転姿勢の変化は運転者の脳への血流量変化として現れることになる。ここで、運転中に運転者がとり得る運転姿勢はある程度限られているので、予め運転中にとり得る運転姿勢をパターン化して、それぞれの運転姿勢のときの脳への血流量変化を求めて対応表或いは関係式として記憶させておけば、実際の運転中に運転者の運転姿勢を検出することによって、その運転姿勢からそのときの脳への血流量変化を推定することができる。
【００６３】
このような観点から、本実施形態の車両用運転支援装置では、カメラ２及び画像処理部３を用いて運転者の運転姿勢を検出し、検出した運転者の運転姿勢から、血流量変化推定部３１で運転者の脳への血流量変化を推定するようにしている。なお、ここではカメラ２及び画像処理部３を用いて運転者の運転姿勢を検出する例について説明するが、運転者の運転姿勢を検出する手段としては、カメラ２及び画像処理部３の他に、シート面やヘッドレストの荷重変化を検出する荷重センサ等を用いるようにしてもよい。
【００６４】
本実施形態の車両用運転支援装置において、カメラ２は、運転者の顔を含む上半身部の画像を撮像してそのデータを画像処理部３へと送る。画像処理部３では、カメラ２で撮像された画像のデータを解析して、上述した第１及び第２の実施形態と同様の手法で運転者の視認状態を計測し、また、これと同時に運転者の運転姿勢を検出する。具体的には、画像処理部３では、カメラ２で撮像された画像を解析することで、例えば運転者の首振り角度や運転者の前後左右の首傾斜角度等を、運転者の運転姿勢として検出する。この画像処理部３での解析処理により検出された運転者の運転姿勢を示す情報は、血流量変化推定部３１へと送られる。
【００６５】
血流量変化推定部３１では、画像処理部３から運転者の運転姿勢を示す情報が送られると、予め記憶されている対応表或いは関係式を用いて、この運転姿勢に対応した脳への血流量の変化を推定する。ここで、運転者の運転姿勢から血流量変化を推定するために用いる対応表或いは関係式は、予め実験等によって作成され、血流量変化推定部３１に記憶されている。具体的には、代表的な被験者を用いて、車両の運転中にとり得る首振り角度や前後左右の首傾斜角度をサンプリングし、サンプリングした各姿勢における脳への血流量変化を計測する。そして、その結果をルックアップテーブルのような対応表としたり、実験値から近似した関係式を立てて、運転姿勢と血流量変化との関係を数値化する。そして、このような実験等で求めた対応表や関係式を、血流量変化推定部３１に記憶させておく。
【００６６】
なお、運転姿勢と血流量変化との関係性の精度を高めるために、被験者の種類別、例えば性別や年齢別等にそれぞれ対応表や関係式を求めてそれぞれ血流量変化推定部３１に記憶させておくようにしてもよい。また、運転者本人の特性を対応表や関係式に反映させるようにしてもよい。
【００６７】
血流量変化推定部３１で推定された運転者の脳への血流量変化の推定結果は、脳活動計測結果補正部２２へと送られる。そして、脳活動計測結果補正部２２において、運転者の脳へと送られる血流量の変化に応じて光プローブ１により計測された運転者の脳活動状態の計測結果が補正され、意識状態判定部４において、補正後の運転者の脳活動状態の計測結果と、画像処理部４から送られる運転者の視認状態の計測結果とに基づいて、運転者の意識状態が判定される。そして、その判定結果と車両制御部１４から送られる車両情報及びナビゲーション装置１５から送られる周辺情報とに基づいて、出力制御部５により、情報伝達手段としてのモニタ７、スピーカ８、振動発生装置９、ヘッドアップディスプレイ１０の動作や、操作手段としてのステアリング１１、アクセルペダル１２、ブレーキペダル１３の動作が制御される。なお、意識状態判定部４が運転者の意識状態を判定する処理や、出力制御部５が情報伝達手段や操作手段の動作を制御する処理の概要は、上述した第１及び第２の実施形態と同様である。
【００６８】
以上説明したように、本実施形態の車両用運転支援装置によれば、カメラ２及び画像処理部３を用いて運転者の運転姿勢を検出し、この検出した運転姿勢に対応した脳への血流量変化を血流量変化推定部３１で推定して、その推定結果に応じて光プローブ１を用いた運転者の脳活動状態の計測結果を補正し、補正した脳活動状態の計測結果に応じて運転者の意識状態を判定するようにしているので、運転者の意識状態を更に精度良く判定することができる。そして、その判定結果に応じて情報伝達手段や操作手段の動作を制御することで、運転者の意識状態に合わせた情報の提示や警告、車両挙動の制御等を更に適切に行うことができ、運転者の運転操作を最適な状態で支援することができる。
【００６９】
また、本実施形態の車両用運転支援装置では、カメラ２及び画像処理部３を用いて運転者の運転姿勢を検出し、この検出した運転姿勢に対応した脳への血流量変化を血流量変化推定部３１で推定するようにしており、運転者は、ドップラー式血流計２１のように血流量変化を直接計測する手段を装着する必要がないので、運転者に負担をかけることなく、光プローブ１を用いた脳活動状態の計測結果を適切に補正することができる。
【図面の簡単な説明】
【００７０】
【図１】第１の実施形態の車両用運転支援装置を示す全体構成図である。
【図２】運転者の意識状態判定ロジックの一例を示すロジック表である。
【図３】第２の実施形態の車両用運転支援装置を示す全体構成図である。
【図４】第３の実施形態の車両用運転支援装置を示す全体構成図である。
【符号の説明】
【００７１】
１  光プローブ
２  カメラ
３  画像処理部
４  意識状態判定部
５  出力制御部
１４  車両制御部
１５  ナビゲーション装置
２１  ドップラー式血流計
２２  脳活動計測結果補正部
３１  血流量変化推定部
【図１】
2005253590.tif 000003
【図２】
2005253590.tif 000004
【図３】
2005253590.tif 000005
【図４】
2005253590.tif 000006