(57)【要約】【課題】運転者の眼の状態に基づいて運転者の状態を高精度に検出する運転者状態検出装置を提供することを課題とする。【解決手段】運転者状態検出装置であって、縞模様の不可視光を運転者の眼球の水晶体を含む領域に照射する照射手段と、不可視光によって運転者の眼球の水晶体を含む領域を撮像する撮像手段と、撮像手段で撮像した画像から運転者の水晶体に映っている縞模様を検出する縞模様検出手段と、縞模様検出手段で検出した縞模様の変化に基づいて運転者の水晶体の厚さを推定する厚さ推定手段と、厚さ推定手段で推定した水晶体の厚さの変化に基づいて運転者の状態を判定する運転者状態判定手段とを備えることを特徴とする。【選択図】図４
2010026657.tif 000002
【特許請求の範囲】
【請求項１】
縞模様の不可視光を運転者の眼球の水晶体を含む領域に照射する照射手段と、
不可視光によって運転者の眼球の水晶体を含む領域を撮像する撮像手段と、
前記撮像手段で撮像した画像から運転者の水晶体に映っている縞模様を検出する縞模様検出手段と、
前記縞模様検出手段で検出した縞模様の変化に基づいて運転者の水晶体の厚さを推定する厚さ推定手段と、
前記厚さ推定手段で推定した水晶体の厚さの変化に基づいて運転者の状態を判定する運転者状態判定手段と
を備えることを特徴とする運転者状態検出装置。
【請求項２】
前記照射手段は、格子状の縞模様の不可視光を照射することを特徴とする請求項１に記載する運転者状態検出装置。
【請求項３】
前記運転者状態判定手段は、水晶体の厚さが変化した頻度に基づいて運転者の状態を判定することを特徴とする請求項１又は請求項２に記載する運転者状態検出装置。
【請求項４】
前記運転者状態判定手段は、運転者が漫然状態か否かを判定することを特徴とする請求項１〜請求項３のいずれか１項に記載する運転者状態検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者状態検出装置に関する。
【背景技術】
【０００２】
運転支援装置などに利用するために、運転者の漫然状態、居眠り状態などの運転者の状態を検出する装置が各種提案されている。特許文献１に記載の装置では、運転者の瞳孔径を検出し、瞳孔径の変化率に基づいて漫然状態か否かを判定する。
【特許文献１】特開２００２−３６７１００号公報
【特許文献２】特開平１１−２１３１６４号公報
【特許文献３】特表２００５−５３２８３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
瞳孔は、入ってくる光の量によって径が変化する。また、車両の運転者は、走行中に変化する環境下で光の変化を受ける。そのため、環境光量などの外乱の影響によって、運転者の瞳孔径は、運転者の状態に関係なく変化する場合がある。その結果、運転者の瞳孔径の変化から漫然状態か否かを精度良く判定できない場合がある。
【０００４】
そこで、本発明は、運転者の眼の状態に基づいて運転者の状態を高精度に検出する運転者状態検出装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
本発明に係る運転者状態検出装置は、縞模様の不可視光を運転者の眼球の水晶体を含む領域に照射する照射手段と、不可視光によって運転者の眼球の水晶体を含む領域を撮像する撮像手段と、撮像手段で撮像した画像から運転者の水晶体に映っている縞模様を検出する縞模様検出手段と、縞模様検出手段で検出した縞模様の変化に基づいて運転者の水晶体の厚さを推定する厚さ推定手段と、厚さ推定手段で推定した水晶体の厚さの変化に基づいて運転者の状態を判定する運転者状態判定手段とを備えることを特徴とする。
【０００６】
この運転者状態検出装置では、照射手段により運転者の眼球の水晶体を含む領域に縞模様の不可視光を照射する。そして、運転者状態検出装置では、撮像手段によりその縞模様の不可視光が照射されている水晶体を含む領域を不可視光によって撮像し、水晶体を含む画像を取得する。さらに、運転者状態検出装置では、縞模様検出手段によりその画像から水晶体に映っている縞模様を検出する。水晶体に映っている縞模様は、水晶体の曲面（曲率）に応じて歪み、模様が変化する。また、水晶体は、視覚対象物に応じて焦点距離を変えるために、視覚対象物までの距離に応じて厚さが変化し（伸縮し）、その厚さに応じて曲率が変化する。このように、水晶体の厚さは、視覚対象物までの距離に依存しており、環境光などの影響を受け難い。そこで、運転者状態検出装置では、厚さ推定手段によりその水晶体の状態に応じて変化している縞模様に基づいて水晶体の厚さを推定する。そして、運転者状態検出装置では、運転者状態判定手段により水晶体の厚さの変化に基づいて運転者の状態を判定する。運転者が平常状態の場合、周辺の様々な物体から運転に必要な情報を取得するために、視覚対象物を時々刻々と変えるので、それに応じて水晶体の厚さも頻繁に変化する。しかし、運転者の意識状態が低下してくると、視覚対象物を変える頻度が少なくなるので、水晶体の厚さの変化も少なくなる。このように、運転者状態検出装置では、水晶体の厚さの変化を利用することにより、運転者の状態を高精度に検出することができる。
【０００７】
縞模様としては、例えば、格子状の縞模様、縦方向の縞模様、横方向の縞模様がある。運転者の状態としては、例えば、平常状態と漫然状態、意識が低下した状態、居眠り直前状態とがある。本発明で用いる水晶体の厚さは、水晶体の厚さ自体の他に、厚さに応じて変化する他のパラメータ（例えば、曲率）も含む概念とする。
【０００８】
本発明の上記運転者状態検出装置では、照射手段は、格子状の縞模様の不可視光を照射すると好適である。
【０００９】
この運転者状態検出装置では、照射手段により運転者の眼球の水晶体を含む領域に格子状の縞模様の不可視光を照射する。そして、運転者状態検出装置では、縞模様検出手段により撮像画像から水晶体に映っている格子状の縞模様を検出し、厚さ推定手段によりその検出した格子状の縞模様の変化に基づいて運転者の水晶体の厚さを推定する。格子状の縞模様の場合、水晶体の厚さ（曲率）の変化に応じて縦方向の縞模様が歪むとともに横方向の縞模様が歪むので、この２つの方向の縞模様の変化が得られる。このように、運転者状態検出装置では、格子状の縞模様を用いることにより、２つの方向の縞模様の変化に基づいて水晶体の厚さをより高精度に推定できる。
【００１０】
本発明の上記運転者状態検出装置では、運転者状態判定手段は、水晶体の厚さが変化した頻度に基づいて運転者の状態を判定する構成としてもよい。
【００１１】
上記したように視覚対象物までの距離に応じて水晶体の厚さが変化するので、運転者が視覚対象物を変える毎に水晶体の厚さが変化（伸縮）する。したがって、運転者が視覚対象物を変えた回数が多いと水晶体の厚さの変化回数も多くなり、運転者が視覚対象物を変えた回数が少なくなると水晶体の厚さの変化回数も少なくなる。そこで、運転者状態検出装置では、運転者状態判定手段により水晶体の厚さが変化した頻度に基づいて運転者の状態を判定することにより、運転者の状態を高精度に検出することができる。
【００１２】
本発明の上記運転者状態検出装置では、運転者状態判定手段は、運転者が漫然状態か否かを判定する構成としてもよい。
【００１３】
運転者は漫然状態になると、視覚対象物を変える回数が少なくなり、水晶体の厚さの変化回数も少なくなる。したがって、この運転者状態検出装置では、水晶体の厚さの変化を用いることにより、運転者が漫然状態か否かを精度良く判定できる。
【発明の効果】
【００１４】
本発明は、水晶体の厚さの変化を利用することにより、運転者の状態を高精度に検出することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、本発明に係る運転者状態検出装置の実施の形態を説明する。
【００１６】
本実施の形態では、本発明に係る運転者状態検出装置を、車両に搭載される漫然運転判定装置に適用する。本発明に係る漫然運転判定装置は、運転者の眼球の水晶体の厚さの伸縮頻度を利用して漫然状態か否かを判定し、その判定結果を運転支援装置などに提供する。
【００１７】
水晶体は、外から入ってくる光を屈折させて網膜上に焦点を合わせるための凸状のレンズであり、チン氏帯を介して毛様筋が繋がっている。近くのものを見る場合、毛様筋が収縮し、チン氏帯が弛むことにより、水晶体の厚さが厚くなる（曲率が大きくなる）。また、遠くのものを見る場合、毛様筋が弛緩し、チン氏帯が引っ張られることにより、水晶体の厚さが薄くなる（曲率が小さくなる）。このように、人は、見る物体までの距離に応じて、水晶体の厚さを無意識に伸縮させて焦点距離を調節している。水晶体の厚さは、一般に、通常時には３．６ｍｍ程度であり、最大時には４．０ｍｍ程度である。また、水晶体を正面から見たときの直径は、一般に、９〜１０ｍｍ程度である。
【００１８】
車両の運転者は、通常運転時（平常状態の場合）には安全確認のために、視覚対象物（例えば、他車両、歩行者、自転車、信号機、交通標識、各種計器、バックミラー、サイドミラー）を絶えず変えている。したがって、運転者は、視覚対象物に応じた焦点距離に調節するために、水晶体の厚さを絶えず変化させている。しかし、運転者は、漫然状態になると、視覚対象物を意識的に変えなくなるので、水晶体の厚さの変化も少なくなる。
【００１９】
図１〜図３を参照して、漫然運転判定装置１について説明する。図１は、本実施の形態に係る漫然運転判定装置の構成図である。図２は、図１の漫然運転判定装置における動作の概要図である。図３は、水晶体の厚さの時間変化の一例を示すグラフである。
【００２０】
漫然運転判定装置１は、運転者の水晶体の厚さを推定し、水晶体の厚さの伸縮頻度に基づいて運転者が平常状態かあるいは漫然状態かを判定する。特に、漫然運転判定装置１では、水晶体に格子縞の近赤外線を照射し、その格子縞の変化具合から水晶体の厚さを推定する。そのために、漫然運転判定装置１は、近赤外線照射器２、偏光フィルム３、カメラ４及びＥＣＵ[Electronic Control Unit]５を備えている。
【００２１】
なお、本実施の形態では、近赤外線照射器２及び偏光フィルム３が特許請求の範囲に記載する照射手段に相当し、カメラ４が特許請求の範囲に記載する撮像手段に相当し、ＥＣＵ５における各処理が特許請求の範囲に記載する縞模様検出手段、厚さ推定手段、運転者状態判定手段に相当する。
【００２２】
近赤外線照射器２は、近赤外線を照射する照射器である。近赤外線照射器２は、インストルメントパネルやステアリングコラムなどに、運転者の眼球の水晶体周辺に向けて照射する向きで取り付けられる。近赤外線照射器２は、漫然運転判定装置１の作動中、運転者の水晶体周辺に向けて近赤外線を照射する。このように近赤外線照射器２によって運転者に水晶体周辺に近赤外線を照射し、カメラ４で運転者の水晶体周辺を撮像することにより、運転者の水晶体周辺だけの画像を取得することができる。近赤外線は、人に無害である。また、近赤外線は、不可視光であるので、運転者の運転に支障を及ぼさない。
【００２３】
なお、運転者によって水晶体が存在する位置（特に、高さ位置）が異なるので、運転者の顔（特に、眼）の位置を検出し、その検出した位置に応じて近赤外線照射器２の照射方向を変更できるようにするとよい。また、水晶体は小さいので、水晶体周辺のみに近赤外線を照射するのではなく、少なくとも水晶体を含むある程度広い領域（例えば、顔全体程度）に近赤外線を照射するようにしてもよい。
【００２４】
偏光フィルム３は、近赤外線照射器２から照射された近赤外線を格子状の縞模様に偏光フィルタリングする偏光フィルムである。この格子状の縞模様は、格子を形成する複数本の縦線及び横線の線間隔が同一であり、この線間隔が水晶体の直径よりも十分に狭い間隔（例えば、直径の数分の１〜数十分の１の間隔）である。偏光フィルム３は、近赤外線照射器２から照射された近赤外線が通過する任意の位置に配置され、近赤外線照射器２内に設けられてもよいしあるいは近赤外線照射器２と別体で設けられてもよい。偏光フィルム３では、近赤外線が入射すると偏光フィルタリングし、格子縞の近赤外線Ｃを出射する（図２参照）。
【００２５】
カメラ４は、運転者の水晶体周辺の画像を取得するためのカメラである。カメラ４は、インストルメントパネルやステアリングコラムなどに、運転者の水晶体周辺の方向に向けて取り付けられる。カメラ４は、近赤外線カメラであり、近赤外線（特に、近赤外線照射器２からの近赤外線）を取り込み、その近赤外線の輝度に応じた近赤外線画像を生成する。カメラ４では、一定時間毎（例えば、１／３０秒毎）に、運転者の水晶体Ｌ周辺を撮像し、撮像した近赤外線画像Ｉを画像信号としてＥＣＵ５に送信する（図２参照）。
【００２６】
なお、運転者によって水晶体が存在する位置が異なるので、運転者の顔（特に、眼）の位置を検出し、その検出した位置に応じてカメラ４の撮像方向を変更できるようにするとよい。また、水晶体は小さいので、カメラ４で運転者の顔周辺を撮像し、顔画像から眼領域（特に、水晶体周辺）を抽出するようにしてもよい。
【００２７】
ＥＣＵ５は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[ReadOnly Memory]、ＲＡＭ[Random Access Memory]及び画像処理装置などからなり、漫然運転判定装置１を統括制御する。ＥＣＵ５では、漫然運転判定装置１が起動されると近赤外線照射器２及びカメラ４を起動し、一定時間毎にカメラ４から画像信号を受信する。そして、ＥＣＵ５では、一定時間毎の撮像画像に基づいて運転者が漫然状態か否かを判定し、その判定結果を運転支援装置に出力する。
【００２８】
具体的には、撮像画像が入力される毎に、ＥＣＵ５では、入力された撮像画像Ｉに対してレンズ歪みを補正するとともに画像の傾きを台形補正し、補正を施した撮像画像Ｉ’を取得する（図２参照）。レンズ歪みは、カメラ４の特性（特に、カメラのレンズの曲面）に応じて発生する。画像の傾きは、運転者の水晶体（顔）の位置とカメラ４との位置関係に応じて発生する。補正後の撮像画像Ｉ’は、レンズ歪みがなくかつ水晶体Ｌを真正面から撮像した画像に相当する。なお、更に前処理として、撮像画像から格子模様を検知し易くするために、撮像画像に対してノイズ除去やフィルタリングなどを行ってよい。
【００２９】
ＥＣＵ５では、補正後の撮像画像Ｉ’中の格子模様Ｓをトレースし、格子模様Ｓを抽出する（図２参照）。この格子模様Ｓは、水晶体Ｌに映っている部分では水晶体Ｌの曲面に沿って歪んでおり、照射時の直線で構成される格子模様から曲線で構成される格子模様となっている。
【００３０】
ＥＣＵ５では、抽出した格子模様Ｓからその各曲線の曲率や各曲線間の間隔（縦線間隔、横線間隔）を算出する。さらに、ＥＣＵ５では、格子模様Ｓの曲率や線間隔に基づいて水晶体Ｌの曲率を算出し、水晶体Ｌの曲率に基づいて水晶体Ｌの厚さを算出する。そして、ＥＣＵ５では、その算出した水晶体Ｌの厚さを時系列で記憶する。
【００３１】
ＥＣＵ５では、現時刻から過去の所定時間内の水晶体Ｌの厚さの時系列データを読み出す。所定時間は、運転者による視覚対象物の時々刻々の変化に応じた水晶体の厚さの伸縮回数を十分に取得可能な時間であり、実験などによって予め設定される。そして、ＥＣＵ５では、所定時間内の水晶体Ｌの厚さの時系列データから、所定時間内での水晶体Ｌの厚さが伸縮（変化）する頻度を求める。
【００３２】
ＥＣＵ５では、所定時間内での水晶体Ｌの厚さの伸縮頻度が閾値より多いか否かを判定する。閾値は、運転者が平常状態のときの所定時間内での水晶体Ｌの厚さの伸縮頻度（特に、平常状態のときの最低レベルの頻度）であり、運転者が平常状態かあるいは漫然状態かを判定するための閾値である。閾値は、過去に収集された運転者が平常状態のときの水晶体の厚さの時系列データから求められた値でもよいし、運転開始後の運転者が平常状態のときの直前の値でもよいし、あるいは、多数の運転者から収集された運転者が平常状態のときの水晶体の厚さの時系列データから予め求められた一般的な値でもよい。この一般的な値は、閾値の初期値になる。この初期値に対して運転者から収集したデータを用いて学習し、運転者特有の閾値にするとよい。
【００３３】
ＥＣＵ５では、所定時間内での水晶体Ｌの厚さの伸縮頻度が閾値以上の場合（すなわち、運転者が視覚対象物を頻繁に変えている場合）、運転者が平常状態と判定する。一方、ＥＣＵ５では、所定時間内での水晶体Ｌの厚さの伸縮頻度が閾値未満の場合（すなわち、運転者が視覚対象物を余り変えてない場合）、運転者が漫然状態と判定する。
【００３４】
図３には、運転者の水晶体の厚さの時間変化の一例を示している。符号Ｔで示す時間帯では、その前後の時間帯に比べて、水晶体の厚さが変化する回数が明らかに少ない。したがって、この時間帯Ｔでは、運転者が視覚対象物（焦点対象）を切り替えた回数が減少しており、運転者がぼんやりとしている漫然状態であると推測できる。
【００３５】
図１〜図３を参照して、漫然運転判定装置１における動作を図４のフローチャートに沿って説明する。図４は、図１の漫然運転判定装置における動作の流れを示すフローチャートである。
【００３６】
漫然運転判定装置１が作動中、近赤外線照射器２では、運転者の眼球の水晶体周辺に向けて近赤外線を照射する（Ｓ１）。偏光フィルム３では、この照射された近赤外線を偏光フィルタリングして格子模様の近赤外線とする（Ｓ１）。この格子模様の近赤外線は、運転者の眼球の水晶体周辺に到達する。
【００３７】
カメラ４では、一定時間毎に、近赤外線によって運転者の眼球の水晶体周辺を撮像し、その画像信号をＥＣＵ５に送信する（Ｓ２）。ＥＣＵ５では、一定時間毎に、画像信号を受信し、近赤外線の撮像画像を取得する。
【００３８】
ＥＣＵ５では、撮像画像のレンズ歪みを補正し（Ｓ３）、撮像画像の傾きを台形補正する（Ｓ４）。ＥＣＵ５では、補正した撮像画像から水晶体表面に映った格子模様を抽出する（Ｓ５）。ＥＣＵ５では、抽出した格子模様の曲率や線間隔に基づいて水晶体の厚さを推定し、その水晶体の厚さを時系列で記憶する（Ｓ６）。
【００３９】
ＥＣＵ５では、現時刻から過去の所定時間内の水晶体の厚さの時系列データから水晶体の厚さの伸縮頻度をカウントする（Ｓ７）。
【００４０】
ＥＣＵ５では、水晶体の厚さの伸縮頻度が閾値以上か否かを判定する（Ｓ８）。Ｓ８にて水晶体の厚さの伸縮頻度が閾値以上と判定した場合、ＥＣＵ５では、運転者が平常状態（通常運転状態）と判定する（Ｓ９）。一方、Ｓ８にて水晶体の厚さの伸縮頻度が閾値未満と判定した場合、ＥＣＵ５では、運転者が漫然状態（漫然運転状態）と判定する（Ｓ１０）。そして、ＥＣＵ５では、その判定結果を運転支援装置に出力する。
【００４１】
この漫然運転判定装置１によれば、水晶体の厚さの変化（伸縮頻度）に基づいて判定することにより、運転者が漫然状態か否かを高精度に判定することができる。ちなみに、水晶体の厚さは、視覚対象物までの距離に依存して変化するので、環境光などの影響を受け難い。また、水晶体の厚さの伸縮頻度を用いることにより運転者が視覚対象物を頻繁に変化させているかを的確に判定できるので、漫然状態かあるいは平常状態かを精度良く判別できる。
【００４２】
漫然運転判定装置１では、格子状の縞模様を用いることにより、縦方向と横方向の２方向の縞模様に基づいて水晶体の厚さをより高精度に推定できる。
【００４３】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【００４４】
例えば、本実施の形態では運転者の漫然状態を判定する漫然運転判定装置に適用したが、意識の低下状態、覚醒度（居眠り直前状態）などの他の運転者の状態を検出する装置に適用してもよいし、あるいは、運転支援装置における運転者状態検出機能として適用してもよい。
【００４５】
また、本実施の形態では縞模様として格子状の縞模様を適用したが、縦方向の縞模様のみ、横方向の縞模様のみなどの他の縞模様でも適用可能である。
【００４６】
また、本実施の形態では不可視光として近赤外線を適用したが、人に害を与えるものなければ、他の不可視光でもよい。
【００４７】
また、本実施の形態では水晶体の厚さの伸縮頻度と閾値とを比較することによって漫然状態か否かを判定する構成としたが、水晶体の厚さの変化周期、水晶体の曲率の変化頻度などの他の水晶体の厚さの変化情報を用いてもよい、判定方法についても他の方法を用いてもよい。
【図面の簡単な説明】
【００４８】
【図１】本実施の形態に係る漫然運転判定装置の構成図である。
【図２】図１の漫然運転判定装置における動作の概要図である。
【図３】水晶体の厚さの時間変化の一例を示すグラフである。
【図４】図１の漫然運転判定装置における動作の流れを示すフローチャートである。
【符号の説明】
【００４９】
１…漫然運転判定装置、２…近赤外線照射器、３…偏光フィルム、４…カメラ、５…ＥＣＵ
【図１】
2010026657.tif 000003
【図２】
2010026657.tif 000004
【図３】
2010026657.tif 000005
【図４】
2010026657.tif 000006