(57)【要約】【課題】運転者の顔の向きを精度よく判定可能な視線方向判定装置を提供すること。【解決手段】シート３，５、６の着座者の視線方向を判定する視線方向判定装置１において、着座者の頭部とヘッドレスト５との間の頭部距離を検出する頭部距離検出手段３０と、頭部距離検出手段３０により検出された頭部距離に基づき着座者の視線方向を判定する視線方向判定手段２０と、を有することを特徴とする。【選択図】図２
2007280352.tif 000002
【特許請求の範囲】
【請求項１】
シートの着座者の視線方向を判定する視線方向判定装置において、
前記着座者の頭部とヘッドレストとの間の頭部距離を検出する頭部距離検出手段と、
前記頭部距離検出手段により検出された頭部距離に基づき前記着座者の視線方向を判定する視線方向判定手段と、
を有することを特徴とする視線方向判定装置。
【請求項２】
前記着座者の肩部とシートバックとの間の肩部距離を検出する肩部距離検出手段を有し、
前記視線方向判定手段は、前記肩部距離検出手段により検出された肩部距離に基づき前記着座者の視線方向を判定する、
ことを特徴とする請求項１記載の視線方向判定装置。
【請求項３】
前記視線方向判定手段は、
車幅方向右側の頭部距離が車幅方向左側の頭部距離よりも大きい場合、前記着座者の視線方向が左側を向いていると判定し、
車幅方向左側の頭部距離が車幅方向右側の頭部距離よりも大きい場合、前記着座者の視線方向が右側を向いていると判定する、
ことを特徴とする請求項１記載の視線方向判定装置。
【請求項４】
前記視線方向判定手段は、
車幅方向右側の肩部距離が車幅方向左側の肩部距離よりも大きい場合、前記着座者の視線方向が左側を向いていると判定し、
車幅方向左側の肩部距離が車幅方向右側の肩部距離よりも大きい場合、前記着座者の視線方向が右側を向いていると判定する、
ことを特徴とする請求項１記載の視線方向判定装置。
【請求項５】
前記視線方向判定手段は、
前記頭部距離検出手段により検出された頭部距離が大きくなり、前記肩部距離検出手段により検出された肩部距離の変化がない場合、前記着座者の視線方向が下側を向いていると判定し、
前記頭部距離検出手段により検出された頭部距離が小さくなり、前記肩部距離検出手段により検出された肩部距離の変化がない場合、前記着座者の視線方向が上側を向いていると判定する、
ことを特徴とする請求項２記載の視線方向判定装置。
【請求項６】
前記視線方向判定手段は、
前記頭部距離検出手段により検出された頭部距離及び前記肩部距離検出手段により検出された肩部距離が共に大きくなった場合、前記着座者の視線方向がインストルメントパネルを向いていると判定する、
ことを特徴とする請求項２記載の視線方向判定装置。
【請求項７】
シートの着座者の視線方向を判定する視線方向判定装置において、
前記着座者の頭部の位置に応じて静電容量の値が変化するヘッドレストに設けられた静電容量センサと、
前記静電容量センサにより検出された静電容量の値に基づき、前記着座者の第１視線方向を判定する視線方向判定手段と、
を有することを特徴とする視線方向判定装置。
【請求項８】
前記静電容量センサの値に基づき前記ヘッドレストを前方向へ移動させるヘッドレスト駆動機構と、
後方から接近する後方車両を検出する衝突検知手段と、
前記衝突検知手段が検出した後方車両との衝突予測に基づき、前記ヘッドレスト駆動機構を作動させる制御部と、
前記着座者の顔画像を撮影する撮影手段と、
前記顔画像の対称性から運転者の第２視線方向を検出する画像処理手段と、を有し、
前記視線方向判定手段は、第２視線方向が所定以上の場合、前記第１視線方向を前記着座者の視線方向と判定する、
ことを特徴とする請求項７記載の視線方向判定装置。
【請求項９】
前記着座者の顔画像を撮影する撮影手段と、
前記顔画像の対称性から運転者の第２視線方向を検出する画像処理手段と、を有し、
前記視線方向判定手段は、
第２視線方向が所定以上横向き、かつ、第１視線方向が所定以上横向きの場合、前記着座者が所定以上に横を向いていると判定し、
第２視線方向が所定より横向きでなく、かつ、第１視線方向が所定以上横向きの場合、前記着座者が所定以上に横を向いていると判定し、
第２視線方向が所定以上横向き、かつ、第１視線方向が所定より横向きでない場合、前記画像処理手段に所定より横向きでない第２視線方向をフィードバックする、
ことを特徴とする請求項７記載の視線方向判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の乗員の視線方向を判定する視線方向判定装置に関する。
【背景技術】
【０００２】
運転者の顔をカメラで撮影し、撮影により得られた画像データを処理することで運転者の顔向きを検出して運転者の脇見運転など行動を監視する運転支援の方法が提案されている。人の顔は、目や鼻などの決まった部位が決まった位置に配置されるため、画像データを利用する方法では、撮影された運転者の顔の画像からテンプレートマッチングにより目や鼻などの位置を検出する（例えば、特許文献１参照。）。そして、目や鼻の間の距離の変化に基づき顔の向きを検出する。
【０００３】
特許文献１の顔の向きの検出方法では、運転者が正面を向いた状態の画像を基にして運転者の顔の様々な方向の顔モデル群を生成しておき、以降は、顔モデル群の顔画像を循環的に入力し、撮影される画像から顔モデル群と最もよく一致する顔モデルを選択することで、運転者の顔向き方向を検出する。
【特許文献１】特開２００３−３０８５３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１記載の顔向き方向の検出のようにカメラにより運転者の顔を撮影して、目、鼻等の顔の部位に基づいて顔の向きを検出する場合、顔の全体が撮影されないと顔の向きを精度よく検出できないことがある。例えば、運転者が帽子をかぶっている場合、前髪が長い場合、又は、サングラスをかけている場合等では、顔の向きを検出しにくい。
【０００５】
また、運転者が左右に大きく顔を向けて９０度近く横を向いてしまうと顔向き方向を検出することができない。また、運転者の体格やシートポジション、ステアリングポジションによって、カメラと顔の位置関係が変化するため、運転者とカメラとが適切な位置関係にないと顔の向きを正しく検出できない場合がある。
【０００６】
さらに、カメラにより運転者を撮影する場合、夜間でも撮影を可能としたり画像解析装置を必要とするため、撮影装置がコスト高となるという問題もある。
【０００７】
本発明は、上記課題に鑑み、運転者の顔の向きを精度よく判定可能な視線方向判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題に鑑み、本発明は、シートの着座者の視線方向を判定する視線方向判定装置において、着座者の頭部とヘッドレストとの間の頭部距離を検出する頭部距離検出手段（例えば、距離センサ５０）と、頭部距離検出手段により検出された頭部距離に基づき前記着座者の視線方向を判定する視線方向判定手段と、を有することを特徴とする。
【０００９】
本発明によれば、運転者の顔の向きを精度よく判定可能な視線方向判定装置を提供することができる。カメラにより撮影した顔の画像を用いずに視線方向を判定するので、運転者の髪型等に影響されずに安定して視線方向を判定することができる。
【００１０】
また、本発明の一形態において、着座者の肩部とシートバックとの間の肩部距離を検出する肩部距離検出手段（例えば、距離センサ３０）を有し、視線方向判定手段は、肩部距離検出手段により検出された肩部距離に基づき前記着座者の視線方向を判定する、ことを特徴とする。
【００１１】
本発明によれば、肩部とシートバックとの距離を検出することで、大きな視線移動を検出できる。
【００１２】
また、本発明は、シートの着座者の視線方向を判定する視線方向判定装置において、着座者の頭部の位置に応じて静電容量の値が変化するヘッドレストに設けられた静電容量センサと、静電容量センサにより検出された静電容量の値に基づき、着座者の第１視線方向（例えば、静電視線方向）を判定する視線方向判定手段と、を有することを特徴とする。
【００１３】
本発明によれば、カメラにより撮影した顔の画像を用いずに視線方向を判定するので、運転者の髪型等に影響されずに安定して視線方向を判定することができる。また、顔の画像では検出の困難な比較的大きく視線を横に向けた場合でも視線方向を判定できる。また、後方衝突時に運転者の頸部を保護する装置を備えていれば、新たな部品を追加することなく、又は、そのような装置を備えていなくても静電容量センサをヘッドレストに追加するだけで構成できるので、カメラを用いて視線方向を検出するよりもコストを低減できる。
【００１４】
また、本発明の一形態において、静電容量センサの値に基づきヘッドレストを前方向へ移動させるヘッドレスト駆動機構と、後方から接近する後方車両を検出する衝突検知手段と、衝突検知手段が検出した後方車両との衝突予測に基づき、ヘッドレスト駆動機構を作動させる制御部と、着座者の顔画像を撮影する撮影手段と、顔画像の対称性から運転者の第２視線方向（例えば、画像視線方向）を検出する画像処理手段と、を有し、視線方向判定手段は、第２視線方向が所定以上の場合、第１視線方向を着座者の視線方向と判定する、ことを特徴とする。
【００１５】
本発明によれば、画像視線方向が検出できる場合は、分解能や精度に優れた画像視線方向を視線方向として決定でき、顔画像では検出困難な視線方向になると、静電視線方向を視線方向として決定するので正面方向から大きく横を向いた場合まで視線方向を確実に検出できる。
【発明の効果】
【００１６】
運転者の顔の向きを精度よく判定可能な視線方向判定装置を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を実施するための最良の形態を、図面を参照しながら実施例を挙げて説明する。本実施の形態の視線方向判定装置は、運転席のヘッドレスト及びシートバック（以下、単にシートという場合がある）に運転者との距離を測定する距離センサを設け、検出された運転者とシートとの距離に基づき運転者の視線方向を判定する。以下では運転席を対象に説明するが、他の着座シートにも同様に適用できる。また、視線方向とは厳密には眼球が向いている方向を言うが、本実施形態では顔が向いた方向を視線方向と称する。
【００１８】
図１は距離センサが内設されたシートの斜視図を示す。シートクッション６は車床に設置され、シートクッション６の後方端部に揺動可能なシートバック３が設けられている。また、シートバック３の上側にはシートバック３に略平行に上下動するヘッドレスト５が設けられている。
【００１９】
シートクッション６の内部には、運転者の着座を検出する着座スイッチ９が配置されている。また、シートバック３及びヘッドレスト５は表面に凹部を有しそこに距離センサ３０及び５０が配置される。着座スイッチ９は例えば圧電素子で構成されるが、距離センサ３０又は５０により兼用してもよい。
【００２０】
距離センサ５０はヘッドレスト５の車幅方向に略一列に複数並設されている。同様に、距離センサ３０はシートバック３の車幅方向に略一列に複数併設されている。なお、距離センサ３０又は５０の配置は図１に限られるものではなく、ヘッドレスト５とシートバック３にそれぞれ２列に配置してもよいし、シート全面に配置してもよい。
【００２１】
距離センサ３０及び５０は超音波の発信部と受信部とを備え、発信部から送信された超音波が障害物に反射して受信部で受信されるまでの時間に応じて、障害物までの距離を検出する。距離センサ３０及び５０は、それぞれが独立に障害物までの距離を検出する。なお、距離センサ３０及び５０は、光（レーザ）センサにより構成してもよい。
【００２２】
図２（ａ）は運転者２が着座した状態のシートの側面図を、図２（ｂ）は平面図をそれぞれ示す。図２（ａ）に示すように、ヘッドレスト５に設けられた距離センサ５０は運転者２の頭部までの距離を計測し、シートバック３に設けられた距離センサ３０は運転者２の肩部までの距離を検出する。
【００２３】
運転者２の後頭部の形状は略円弧状である。したがって、図２（ｂ）に示すように運転者２の頭部が正面方向を向いている場合、車幅方向の略中央で最も運転者２の頭部との距離が小さくなり、中央から右又は左に離れるにつれて運転者２の頭部との距離が大きくなる。
【００２４】
運転者２の頭部が左右いずれかを向けば、中央より右及び左の距離センサ５０が検出する距離が変動して、運転者２が右又は左に視線移動したことが検出される。
【００２５】
また、運転者２の肩部の形状は、平面視、略直方体としてよい。したがって、運転者２の肩部が正面方向を向いている場合、シートバック３から運転者２の肩部までの距離は、略均一となる。
【００２６】
運転者２の肩部が左右いずれかを向けば、中央より右及び左の距離センサ３０が検出する距離が変動して、運転者２の肩部が右又は左を向いていることが検出される。
【００２７】
なお、シートバック３に設けられた距離センサ３０は圧電素子で構成してもよい、圧電素子の場合、肩部とシートバック３との距離を検出することは困難であるが、運転者２の背部のどの部分がシートバック３に触れているかにより肩部の向きを検出できる。圧電素子は超音波センサと比較しても低コストであるので、バックシート３の全面に配置してもよい。
【００２８】
ところで、運転者２の体型は様々であるが、ヘッドレスト５の距離センサ５０が運転者２の頭部と対向して頭部との距離を正確に測定できることが好ましい。このため、本実施の形態のシートは、後述するように、頭部との距離を計測しながらヘッドレスト５の位置を決定する駆動装置（モータ）１４をシートバック３の内部に備える。
【実施例１】
【００２９】
図３は視線方向判定装置１の機能ブロック図を示す。視線方向判定装置１は視線方向ＥＣＵ１１により制御される。視線方向ＥＣＵ１１にはヘッドレスト５の距離センサ５０、シートバック３の距離センサ３０、警報装置１２及び駆動回路１３が接続されている。
【００３０】
視線方向ＥＣＵ１１は、プログラムを実行するＣＰＵ、プログラム実行の作業領域となり又は一時的にデータを記憶するＲＡＭ、イグニションオフしてもデータを保持するＥＥＰＲＯＭ（Electronically  Erasable  and  Programmable  Read  Only  Memory）、データの入力や他のＥＣＵとのインターフェイスとなる入出力インターフェイス、他のＥＣＵと通信する通信コントローラ、及び、プログラムを記憶するＲＯＭ等がバスにより接続されたマイコンにより構成される。ＣＰＵがプログラムを実行することで、運転者２の頭部とヘッドレスト５の距離及び肩部とシートバック３との距離に基づき視線方向を判定する視線方向判定手段２０を実現する。
【００３１】
視線方向判定手段２０は、ヘッドレスト５の距離センサ５０、シートバック３の距離センサ３０が検出した距離に基づき運転者２の様々な視線方向を判定する。図４（ａ）は運転者２が正面方向を向いている場合に距離センサ５０が検出する距離を示す。簡単のために、ヘッドレスト５には３つの距離センサ５０ａ、５０ｂ、５０ｃを示した。
【００３２】
視線方向判定手段２０は距離センサ５０が検出する頭部との距離に基づき運転者２の頭部の向きを示す平面ｈを仮定する。運転者２が正面を向いている場合、距離センサ５０ｂにより検出される距離Ｌｂ０が最も小さくなり、左右の距離センサ５０ａ、５０ｃにより検出される距離Ｌａ０、Ｌｃ０が同程度となる。
【００３３】
したがって、距離センサ５０ａ、５０ｂ、５０ｃが検出する距離が図４（ａ）のように正面方向を向いていることを示す場合、平面ｈの法線は正面を向いた状態となり、運転者２の視線方向も正面を向いているとして判定する。
【００３４】
図４（ｂ）は運転者２が右方向を向いている場合に距離センサ５０が検出する距離を示す図である。運転者２が右方向を向いているため、距離センサ５０ｃが検出する距離ＬｃはＬｃ０よりも短くなり、距離センサ５０ａが検出する距離ＬａはＬａ０よりも長くなり、距離センサ５０ｂが検出する距離ＬｂはＬｂａ０よりも長くなっている。
【００３５】
したがって、視線方向判定手段２０は、距離センサ５０ａ、５０ｂ、５０ｃが検出する距離が図４（ｂ）のように右向きであることを示す場合、平面ｈの法線は右方向を向いた状態として扱い、運転者２の視線方向も右方向を向いていると判定する。また、視線方向判定手段２０は距離Ｌｃが小さいほど又は距離Ｌａが大きいほど運転者２の視線は大きく右方向を向いていると判定する。
【００３６】
また、視線方向判定手段２０が、予め、運転者２の視線方向と距離Ｌａ、Ｌｂ、Ｌｃとの関係を保持している場合、視線方向判定手段２０は、距離Ｌａ、Ｌｂ、Ｌｃに基づき運転者２の視線方向を精度よく検出することができる。
【００３７】
同様にして、シートバック３の距離センサ３０により、運転者２の肩部の向きを示す平面ｂを仮定し、平面ｂの法線の方向により肩部の向きを判定できる。
【００３８】
車両を走行中、運転者２は小さな視線移動であれば頭部のみを動かし、大きな視線移動であれば頭部と共に肩部を動かして視線方向に向けるので、小さな視線移動は頭部の距離から判定し、大きな視線移動は頭部の距離及び肩部の距離から判定できる。
【００３９】
図４（ｃ）は視線移動が小さい場合の平面ｈ及び平面ｂの向きを示す。図４（ｃ）では頭部の向きを示す平面ｈの法線が正面に対しθの角度となっているが、肩部の向きを示す平面ｂの法線は正面と略平行のままである。このように、小さな視線移動であれば頭部までの距離により判定できる。
【００４０】
また、図４（ｄ）は頭部及び肩部が９０度右方向を向いている場合の平面ｈ及び平面ｂの向きを示す。肩部が９０度右方向を向いている場合、略中央の距離センサ３０が最も小さい距離を検出し、中央より左又は右の距離センサ３０は障害物を検出しない状態となる。距離センサ３０がこのような距離を検出する場合、視線方向判定手段２０は平面ｂの法線が正面に対し９０度右を向いたものとして扱う。このように、視線方向判定装置１は視線方向が９０度右又は左方向を向いても視線方向を判定できる。
【００４１】
また、運転者２が９０度以上、視線方向を向けた場合（後ろ方向を向いた場合）、図４（ｄ）の状態から徐々に、中央より左及び右の距離センサ３０が肩部を検出し始める。したがって、図４（ｄ）に至るまでの距離センサ３０のそれぞれが検出する距離の遷移を利用することで、９０度以上の視線方向を検出できる。
【００４２】
運転者２が下方向又は上方向を向いた場合について説明する。図５（ａ）は、運転者２が下方向を向いた場合のシートに対する頭部及び肩部の関係を示す。運転者２が下を向くと、運転者２の頭部はシートから離れる方向に移動する。したがって、視線方向判定手段２０は、ヘッドレスト５の距離センサ５０が検出する距離が、車幅方向の全体に渡って大きくなった場合、運転者２が下方向を向いていると判定する。また、検出される距離が大きければ下向き角度も大きいものとして検出する。
【００４３】
なお、単に下方向を向く場合、運転者２は首を中心に頭部のみを下方向に向けるため、シートバック３の距離センサ３０は距離の変化を検出しない。
【００４４】
図５（ｂ）は、運転者２が正面方向を向いている場合における、頭部の向きを示す平面ｈと肩部の向きを示す平面ｂの側面視を示す。図５（ｂ）に示すように、運転者２が正面方向を向いている場合、平面ｈ及び平面ｂの法線は共に正面方向を向いている。
【００４５】
図５（ｃ）は運転者２が下方向を向いている場合における、頭部の向きを示す平面ｈと肩部の向きを示す平面ｂの側面視を示す。下方向を向いている場合、頭部の向きを示す平面ｈの法線が下方向を向いている。
【００４６】
運転者２が上を向くと、運転者２の頭部及び肩部はシートに近づく方向に移動する。したがって、視線方向判定手段２０は、ヘッドレスト５の距離センサ５０が検出する距離が、車幅方向の全体に渡って小さくなった場合、運転者２が上方向を向いていると判定する。また、検出される距離が小さければ上向き角度も大きいものとして検出する。
【００４７】
なお、単に上方向を向く場合、運転者２は首を中心に頭部のみを上方向に向けるため、シートバック３の距離センサ３０は距離の変化を検出しない。
【００４８】
図５（ｄ）は運転者２が上方向を向いている場合における、頭部の向きを示す平面ｈと肩部の向きを示す平面ｂの側面視を示す。上方向を向いている場合、頭部の向きを示す平面ｈの法線が上方向を向いている。
【００４９】
また、運転者２がインストルメントパネルのボタン類を操作する場合、運転者２の身体はシートバック３から離れる場合が多い。したがって、視線方向判定手段２０は、ヘッドレスト５の距離センサ５０及びシートバック３の距離センサ３０が検出する距離が、車幅方向の全体に渡って大きくなる場合、運転者２がインストルメントパネルのボタン類を操作していると検出する。
【００５０】
図５（ｅ）は運転者２がインストルメントパネルを操作している場合における、頭部の向きを示す平面ｈと肩部の向きを示す平面ｂの側面視を示す。インストルメントパネルを操作している場合、頭部の向きを示す平面ｈの法線が下方向を向くと共に肩部の向きを示す平面ｂがシートバック３から離れる。
【００５１】
なお、運転者２の視線方向として左右方向及び上下方向をそれぞれ別個に説明したが、運転者２が右上方向や左下方向等に向いた場合、ヘッドレスト５の距離センサ５０及びシートバック３の距離センサ３０が検出する頭部及び肩部との距離に基づき検出できる。
【００５２】
例えば、運転者２がセンターコンソールのスイッチ類やナビ画面を視認するため左下方向を向いた場合、車幅方向のヘッドレスト５の距離センサ５０が全体的に大きな距離を検出すると共に、車幅方向右側の距離センサ５０ｃが検出する距離がより大きくなり、左側の距離センサ５０ａが検出する距離がより小さくなる。
【００５３】
図３に戻り、駆動回路１３及びモータＭ１４について説明する。シートバック３の内部にはヘッドレスト５を支持する支持部材が延設されている。モータＭ１４は支持部材の端部に噛号する減速機を駆動するモータである。視線方向ＥＣＵ１１は、ヘッドレスト５の距離センサ５０が検出する頭部との距離に基づき、モータＭ１４を駆動してヘッドレスト５を上下動させる信号を駆動回路１３に送出する。駆動回路１３は視線方向ＥＣＵ１１の制御に従いモータＭ１４を駆動する。
【００５４】
ヘッドレスト５は運転者２の頭部に対し適切な位置にあることが好ましいので、視線方向判定手段２０は車両の走行を開始する前にヘッドレスト５を上下に駆動する。したがって、視線方向ＥＣＵ１１は運転者２が座席に着座したことを検出すると、頭部との距離を計測しながらヘッドレスト５を上下動させ、例えば距離が最小となる位置でヘッドレスト５を停止する。なお、ヘッドレスト５の停止位置は、頭部の向きを検出できる位置であればよい。このように、自動的にヘッドレスト５の位置を最適に決定することで、運転者２の体型によらず視線方向を精度よく検出することができる。
【００５５】
また、走行中に運転者２の頭部の位置がずれてきたような場合、自動的にヘッドレスト５の位置を上下に移動させてもよいし、警報を吹鳴し運転者２の姿勢を正すよう促してもよい。
【００５６】
警報装置１２は、予め記憶する音源データにより音源ＩＣを駆動してメッセージを出力したり、予め記憶するＷａｖｅデータ等の音楽データを再生してスピーカから出力する装置である。視線方向判定手段２０は、運転者２の視線方向が適切でない場合や注意を促すべきと判定した場合などに警報を吹鳴して運転者２に注意を呼びかける。
【００５７】
視線方向に基づく警報吹鳴の処理手順について図６のフローチャート図に基づき説明する。図６の処理は、例えばイグニッションスイッチがオンとなった状態からスタートする。
【００５８】
視線方向判定手段２０はまず運転者２が着座しているか否かを判定する（Ｓ１１）。着座しているか否かの判定は、着座スイッチ９の検出値を利用してもよいし、距離センサ３０又は５０により運転者２（障害物）が検出されるか否かに基づいてもよい。
【００５９】
運転者２が着座していることが検出された場合、運転者２のシートポジションが決定されたか否か判定する（Ｓ１２）。シートポジションとはシートバック３のリクライニング角度やシートクッション６のスライドポジションである。シートポジションは通常シートベルトを締める前に決定されるので、例えばシートベルトが締められたら運転者２のシートポジションが決定されたものと判定する。
【００６０】
運転者２のシートポジションが決定されたら、ついで、視線方向ＥＣＵ１１はヘッドレスト５の位置を調整する（Ｓ１３）。すなわち、ヘッドレスト５に設けられた距離センサ５０が検出する運転者２の頭部との距離が最小になる位置にヘッドレスト５を駆動する。
【００６１】
ヘッドレスト５の位置が決定されたら、視線方向判定手段２０は継続的に運転者２の視線方向を検出する（Ｓ１４）。
・中央より右側の距離センサ（距離センサ３０又は５０のいずれであってもよい）により検出される距離が縮小し、中央より左側の距離センサにより検出される距離が増大した場合、視線方向判定手段２０は運転者２が右側を向いていると判定する。また、距離の縮小量又は増大量に応じてどのくらい右側を向いているか判定する。
・中央より右側の距離センサ（距離センサ３０又は５０のいずれであってもよい）により検出される距離が増大し、中央より左側の距離センサにより検出される距離が縮小した場合、視線方向判定手段２０は運転者２が左側を向いていると判定する。また、距離の縮小量又は増大量に応じてどのくらい左側を向いているか判定する。
・距離センサ５０が検出する距離が全体的に増大し、距離センサ３０が検出する距離が変化しない場合、視線方向判定手段２０は運転者２が下側を向いていると判定する。また、距離の増大量に応じてどのくらい下側を向いているか判定する。
・距離センサ５０が検出する距離が全体的に減少し、距離センサ３０が検出する距離が変化しない場合、視線方向判定手段２０は運転者２が上側を向いていると判定する。また、距離の縮小量に応じてどのくらい上側を向いているか判定する。
・シートバック３の距離センサ３０において左側と右側に大きな距離の差が検出された場合、視線方向判定手段２０は運転者２が９０度近く側方又は後方を向いていると判定する。
・距離センサ５０が検出する距離及び距離センサ３０が検出する距離が共に増大した場合、視線方向判定手段２０は運転者２がインストルメントパネルを操作していると判定する。
【００６２】
ついで、視線方向判定手段２０は所定時間以上、運転者２の視線方向が変化していないか否かを判定する（Ｓ１５）。所定時間、視線の移動がない場合、注意力が低下していたり、漫然運転に陥っている可能性があるので、警報装置１２を制御して警報を吹鳴したり音楽を鳴らすなど運転者２の注意を喚起する（Ｓ１６）。これにより、安全性を向上させることができる。特に高齢者は漫然運転に陥りやすい傾向があるとされているので、視線方向の移動が少ない場合に注意を促すことで高齢者の運転を適切に支援できる。以上で図６のフローチャート図に基づく処理は終了する。
【００６３】
本実施例の視線方向判定装置１は、カメラにより撮影した顔の画像を用いずに視線方向を判定するので、運転者２の髪型等に影響されずに安定して視線方向を判定することができる。また、視線方向を検出できるようにヘッドレスト５が自動的に駆動されるので、運転者２の体型やドライバポジションに影響されずに視線方向を判定できる。また、肩部の距離を計測することで９０度以上の視線移動を検出できる。また、距離センサ３０、５０を超音波センサにより、また、距離センサ３０を圧電素子で構成することで、カメラを用いて視線方向を検出するよりもコストを低減できる。
【００６４】
なお、本実施例の視線方向判定装置１により判定された視線方向は、運転支援や車載装置の制御に利用することができる。例えば、カーブや右左折走行時に運転者２の視線方向を判定してＡＦＳ（Adaptive  Front-lighting  System  ヘッドランプコントロールシステム）装置の照明軸角度を制御することができる。
【００６５】
また、車両にはナビゲーション装置、ステアリングセンサ及びヨーレートセンサが搭載されているので、ステアリングが操舵されたり車両のヨーレートが所定以上になることで、車両が右左折走行等していることが検出できる。右左折走行時、運転者２は進行方向を視認して安全確認すべきであるが、視線判定ＥＣＵ１１が検出した視線方向が車両の走行方向と大きく異なっているような場合、警報装置１２から警報やメッセージを出力することで安全確認を促し事故を低減することが期待される。
【実施例２】
【００６６】
本実施例では視線方向の検出を学習する視線方向判定装置について説明する。図７は視線方向判定装置１の機能ブロック図を示す。なお、図７において図３と同一部分には同一の符号を付しその説明は省略する。図７の視線方向判定装置１は、ナビＥＣＵ１５とＡＦＳ装置１９が視線方向ＥＣＵ１１とが接続されている点で異なる。
【００６７】
ナビＥＣＵ１５はＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）／ＩＮＳ（Ｉｎｅｒｔｉａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓｙｓｔｅｍ）装置２と接続されている。ＧＰＳ／ＩＮＳ装置１６は、ＧＰＳ衛星から送信される電波並びに検出される車速及び走行方向に基づき車両の走行位置を検出する。ナビＥＣＵ１５は道路地図を格納した地図データベースを保持しており、現在の走行位置や進行方向前方の道路形状を地図データベースから認識している。
【００６８】
ナビＥＣＵ１５には表示装置１７及び入力装置１８が接続されている。入力装置１８は、押下式のキーボード、ボタン、リモコン、十字キー、タッチパネル等で運転者２からの操作を入力する。マイクを備え運転者２の発する音声を音声認識回路で認識して操作を入力してもよい。表示装置１７は、液晶や有機ＥＬ、ＨＵＤ（Head  Up  Display）等であり、道路地図や交通情報、目的地までのルートを表示する。
【００６９】
また、ＡＦＳ装置１９は、カーブや右左折走行時に、視線方向ＥＣＵ１１により判定された運転者２の視線方向に基づきヘッドライトの照明軸角度を制御する。
【００７０】
ナビＥＣＵ１５と視線方向ＥＣＵ１１は、例えばＣＡＮ（Ｃｏｎｔｏｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）プロトコルによるＥＣＵ間通信を行い、視線方向ＥＣＵ１１は車両の走行方向を把握しており、また、目的地が入力されている場合、車両が走行する道路の道路形状を認識できる。
【００７１】
このように、視線判定ＥＣＵ１１が車両の走行位置及び道路形状を認識できる場合、視線判定ＥＣＵ１１はシートからの頭部や肩部の距離に基づき視線方向を学習し、徐々にその精度を向上させることができる。
【００７２】
図８は視線判定ＥＣＵ１１が視線方向を判定しながら学習を繰り返す処理手順を示すフローチャート図である。図８の処理手順ではすでに車両が走行中であるものとする。
【００７３】
視線判定ＥＣＵ１１は、走行中、例えば定期的に車両が直線を走行しているか否かを判定する（Ｓ２１）。直線を走行しているか否かは、ステアリングセンサによりステアリング操作が検出されるか否か、又は、ヨーレートセンサにより車両の回転角速度が検出されるか否かに基づき判定できる。したがって、単に直線走行時の視線方向を学習する場合、ナビＥＣＵ１５と接続されていなくてもよいが、ナビＥＣＵ１５により現在走行している道路形状が直線であることが確認されればより短時間に学習を開始することができる。
【００７４】
直線を走行している場合（Ｓ２１のＹｅｓ）、視線方向判定手段２０は視線方向を検出し、直線を走行している（視線方向が正面を向いている）場合の視線方向として、平面ｈ及び平面ｂの法線の角度を学習する（Ｓ２２）。すなわち、正面を向いていることが確かな状態で運転者２の頭部及び肩部とシートの距離と、視線方向を結びつけて学習することができるので、学習が進むにつれて、検出される距離に基づき正面方向の視線方向をより精度よく判定することが可能となる。なお、直線を走行していない場合は学習しない。
【００７５】
ついで、視線方向判定手段２０は車両がカーブ又は交差点を走行しているか否かを判定する（Ｓ２３）。ナビＥＣＵ１５はカーブ又は交差点を走行するか否かを判定し、また、地図データベースにはカーブの半径Ｒや交差点の角度が格納されているので、これらの情報を視線方向ＥＣＵ１１に送出する。
【００７６】
カーブ又は交差点を走行する場合（Ｓ２３のＹｅｓ）、視線方向判定手段２０は視線方向を検出し、その時の平面ｈ及び平面ｂの法線の角度をカーブの半径Ｒや交差点の角度に対応づけて学習する（Ｓ２４）。すなわち、半径Ｒのカーブや所定角度の交差点を走行中の運転者２の頭部及び肩部とシートの距離と、視線方向を結びつけて学習することができるので、学習が進むにつれて、検出される距離に基づき右方向又は左方向の視線方向をより精度よく判定することが可能となる。精度よく視線方向が判定できれば、ＡＦＳ装置１９はより正確に運転者の視線方向を照射できる。
【００７７】
なお、カーブや交差点の走行時はステアリングセンサによりステアリング操作が検出され、また、ヨーレートセンサにより車両の回転角速度が検出されるので、操舵角やヨーレートの値を視線方向に対応づけて学習することができる。走行中に検出される操舵角やヨーレートに対し、検出される視線方向と学習した視線方向とが大きく異なる場合に警報を吹鳴すれば、より適切な警報が可能となる。
【００７８】
また、走行中の視線方向として、カーナビシステムなど車載装置の操作ボタンを操作した場合の視線方向を学習してもよい。
【００７９】
以上のように本実施例の視線方向判定装置１は、学習により運転者２の視線方向を精度よく検出することができる。運転者２の視線方向が学習されれば、運転者２が脇見運転した場合や漫然運転したような場合に精度よくこれを検出して警報を吹鳴できるので、安全性が向上する。
【実施例３】
【００８０】
実施例１及び２ではヘッドレスト５に距離センサ５０を配設して、ヘッドレスト５から運転者の頭部までの距離により視線方向を検出したが、本実施例ではヘッドレスト５に静電容量センサ１００を設け、静電容量の変化を利用して視線方向を検出する。
【００８１】
図９（ａ）は静電容量センサ１００を備えたヘッドレスト５の側面図を、図９（ｂ）は平面図をそれぞれ示す。なお、図９において図２と同一構成部分には同一の符号を付しその説明は省略する。
【００８２】
本実施例のヘッドレスト５は、前方側の可動部５ａと後方側の固定部５ｂとにより構成されていて、内部に可動部５ａの駆動機構１１０を備える。駆動機構１１０を作動させることにより、可動部５ａを固定部５ｂに対して車両の前後方向へ往復移動させ、可動部５ａを移動させることにより運転者２の頭部とヘッドレスト５との間の距離を制御することができる。
【００８３】
ヘッドレスト５の表皮内側に、可撓性を有する薄板状の静電容量センサ１００が内設されており、静電容量センサ１００は運転者２の頭部との相対位置（距離）を非接触状態で検知する。例えば、後方から他車両が異常接近することが検出されると、駆動機構１１０は静電容量センサ１００により運転者２の頭部との距離を測定しながら可動部５ａを車両前方へ駆動して、頭部の直前で停止するように可動部５ａを駆動する。結果として、後方衝突時における運転者２の頸部にかかる負担を和らげることができる。
【００８４】
ところで、静電容量センサ１００が検出する静電容量は、運転者２が顔を左又は右に向けた場合にも変化するものである。したがって、静電容量をモニタすることで運転者の視線方向を検出することができる。
【００８５】
図１０は本実施例の視線方向判定装置１の機能ブロック図を示す。駆動機構１１０にヘッドレスト５の可動部５ａの駆動指示信号を送出するＰＣＳ（Pre−Crash Safety）ヘッドレスト制御ＥＣＵ１０１及び視線方向判定手段２０を有する衝突判断ＥＣＵ１０２がＣＡＮにより接続され、また、ＣＡＮを介して後方レーダ１０３、インストルメントパネルに設けられたコンビネーションパネルの点灯を各機器の作動状態や警告状態に応じて制御するメータＥＣＵ１０４及び警報音を吹鳴したり車両の制動を制御するブレーキＥＣＵ１０５が接続されている。
【００８６】
なお、ＰＣＳヘッドレスト制御ＥＣＵ１０１及び衝突判断ＥＣＵ１０２は、プログラムを実行するＣＰＵ、プログラム実行の作業領域となり又は一時的にデータを記憶するＲＡＭ、イグニションオフしてもデータを保持するＥＥＰＲＯＭ、データの入力や他のＥＣＵとのインターフェイスとなる入出力インターフェイス、他のＥＣＵと通信する通信コントローラ、及び、プログラムを記憶するＲＯＭ等がバスにより接続されたマイコンにより構成される。ＣＰＵがプログラムを実行することで、視線方向判定手段２０が実現される。
【００８７】
後方レーダセンサ１０３は、ミリ波レーダセンサやレーザレーダセンサであり、レーダを発信して立体物に反射したレーダを受信する。後方レーダセンサ１０３は自車両のトランク周辺に配置されていて、後方から接近する他車両との距離及び相対速度（以下、後方車両情報という）を、発信したレーダが受信されるまでの時間やレーダの周波数変化等に基づき検出する。
【００８８】
後方車両情報は衝突判断ＥＣＵ１０２に送出され、衝突判断ＥＣＵ１０２は後方車両の衝突の可能性を判断し、衝突の可能性が高いと判断した場合には、衝突の数秒前にＰＣＳヘッドレスト制御ＥＣＵ１０１にヘッドレスト駆動指示信号を送出する。
【００８９】
ＰＣＳヘッドレスト制御ＥＣＵ１０１は駆動機構１１０にヘッドレスト駆動指示信号を送出し、起動機構１１０は上述のように静電容量センサ１００により頭部との距離を測定しながら、頭部の直前まで可動部５ａを駆動する。なお、ヘッドレスト駆動指示信号は、後方車両情報に基づきＰＣＳヘッドレスト制御ＥＣＵ１０１が生成してもよい。
【００９０】
また、静電容量センサ１００は、所定のサイクル時間毎に検出した静電容量の値（以下、静電容量情報という）を衝突判断ＥＣＵ１０２に送出している。衝突判断ＥＣＵ１０２は静電容量の変化及び絶対値に基づき、運転者の視線方向を判断する。
【００９１】
図１１は静電容量情報に基づく視線方向の検出を説明するための図である。図１１（ａ）は運転者２が正面方向を向いている状態を、同様に図１１（ｂ）は斜め右方向を、図１１（ｃ）は右真横方向を、図１１（ｄ）は斜め左方向を、図１１（ｅ）は左真横方向を向いている状態をそれぞれ示す。
【００９２】
静電容量センサ１００は、原理的に電荷を検出するものであって非接触の対象物との距離が短いほど多くの電荷を蓄えるものである。したがって、ヘッドレスト５に対する頭部の最近接位置は同じでも運転者２の視線方向が変わり頭部のヘッドレスト５に対する射影面積が変われば、距離が変化した場合と同様に静電容量の変化となって現れる。
【００９３】
例えば、図１１（ａ）から（ｂ）、ついで（ｃ）のように運転者の視線方向が変わった場合、射影面積が増えるので静電容量は徐々に大きくなると共に横を向くほど急激に大きくなる。図１１（ｅ）は視線方向と静電容量の関係の一例を示す図である。衝突判断ＥＣＵ１０２は、静電容量の傾き及び絶対値を検出し、これらに基づき運転者のおよその視線方向を検出することができる。なお、静電容量の信号の取り出し方は設計事項であるので、必ずしも図１１の変化を示すものでなくてもよく、顔向きの変化を検出できるものであればよい。
【００９４】
ところで、運転者２の頭部は左右に対称なので、右を向いた場合も左を向いた場合も静電容量の変化は同程度である。したがって、静電容量の傾き及び絶対値だけでは左右のどちらを向いたのかを判別することが困難であるが、運転者は操舵方向を向くことが多いと考えられるため、例えば、ステアリング操舵角やウィンカ操作などにより左右のいずれを向いているかを判別することができる。また、静電容量センサ１００の構造を中央で分離された別体構造にして、左半分と右半分のそれぞれの静電容量情報により左右のいずれを向いているかを判別してもよい。
【００９５】
図１０に戻り、衝突判断ＥＣＵ１０２は、運転者が所定以上の時間横方向を向いていると判断した場合、衝突判断ＥＣＵ１０２はメータＥＣＵ１０４やブレーキＥＣＵ１０５に警報信号を送出する。これにより、メータＥＣＵ１０４はインストルメントパネルに警告灯を点灯したり、ブレーキＥＣＵ１０５は警報音や警告メッセージを出力するので、運転者に横向き状態が所定時間以上継続していることを気づかせ、脇見運転や漫然運転を防止することができる。
【００９６】
図１２は、視線方向に基づく警報吹鳴の処理手順を示すフローチャート図である。なお図１２において図６と同一ステップには同じ符号を付しその説明は簡単に行う。
【００９７】
視線方向判定手段２０は、着座スイッチ９の検出値等に基づき、運転者２が着座しているか否かを判定する（Ｓ１１）。運転者２が着座していることが検出された場合、運転者２のシートポジションが決定されたか否か判定する（Ｓ１２）。
【００９８】
運転者２のシートポジションが決定されたら、ついで、ＰＣＳヘッドレスト制御ＥＣＵ１０１はモータ１４を制御してヘッドレスト５の位置を調整する（Ｓ１３０）。本実施例では、静電容量センサ１００が検出する静電容量が最大となる上下方向の位置にヘッドレスト５を駆動する。この位置調整はヘッドレスト５の上下方向の位置を調整するものであるので、可動部５ａは駆動されない。
【００９９】
ヘッドレスト５の位置が決定されたら、視線方向判定手段２０は継続的に運転者２の視線方向を検出する（Ｓ１４０）。視線方向判定手段２０は、静電容量情報を監視して運転者の視線方向を検出する。
【０１００】
ついで、視線方向判定手段２０は所定時間以上、運転者２の視線方向が変化していないか否かを判定する（Ｓ１５）。所定時間、視線方向に変化がない場合、注意力が低下していたり、漫然運転に陥っている可能性があるので警報信号を送出し、警報を吹鳴したり音声を出力するなど運転者２の注意を喚起する（Ｓ１６）。これにより、安全性を向上させることができる。特に高齢者は漫然運転に陥りやすい傾向があるとされているので、視線方向の移動が少ない場合に注意を促すことで高齢者の運転を適切に支援できる。
【０１０１】
また、視線方向判定手段２０は運転者２の視線方向を検出している間、運転者の視線方向が所定以上になりそれが所定時間以上継続した場合は警報信号を送出し、運転者に脇見運転の注意を促す。なお、自車両の右左折時や後退時には運転者の視線方向は所定以上になるので、視線方向判定手段２０はステアリング操舵等を検出して、不要な警報信号の送出を防止している。
【０１０２】
また、例えば、交差点を右折又は左折する場合、運転者２が顔を進行方向に向けて安全確認したか否かを判定することができ、安全確認が検出されない場合には注意を促すなどすることで事故を低減することが期待される。
【０１０３】
本実施例の視線方向判定装置１によれば、カメラにより撮影した顔の画像を用いずに視線方向を判定するので、運転者２の髪型等に影響されずに安定して視線方向を判定することができる。また、顔の画像では検出の困難な比較的大きく視線を横に向けた場合でも視線方向を判定できる。また、後方衝突時に運転者２の頸部を保護する装置を備えていれば、新たな部品を追加することなく、又は、そのような装置を備えていなくても静電容量センサ１００をヘッドレスト５に追加するだけで構成できるので、カメラを用いて視線方向を検出するよりもコストを低減できる。
【実施例４】
【０１０４】
実施例１〜３では運転者の顔の画像（以下、顔画像という）を用いずに視線方向を判定したが、顔画像か検出した視線方向と実施例１又は３の視線方向判定装置１を組み合わせることで視線方向の検出精度を向上することができる。本実施例では、静電容量センサ１００を利用した視線方向の判定に顔画像による視線方向の検出を加えて視線方向を精度よく判定する視線方向判定装置１について説明する。
【０１０５】
なお、本実施例では区別のため、静電容量により検出した視線方向を静電視線方向と、顔画像により検出した視線方向を画像視線方向と、それぞれ称する。
【０１０６】
図１３は、静電容量センサ１００を備えたヘッドレスト５及び顔検出カメラ２００の側面図を示す。顔検出カメラ２００は、運転者２の顔を正面やや下方から臨む位置、例えば、ステアリングコラム上やメータパネル３内に配置される。顔検出カメラ２００は、例えば、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）やＣＣＤ（Charge  Coupled  Device）の光電変換素子を有し、入射した光をその強度に応じて光電変換して、蓄積した電荷を電圧として読み出し、さらに増幅してＡ／Ｄ変換した後、所定の輝度階調（例えば、２５６階調）のデジタル画像（顔画像）を出力する。
【０１０７】
図１４は、視線方向判定装置１の機能ブロック図である。なお、図１４において図９と同一構成部分には同一の符号を付しその説明は省略する。図１４では、顔検出カメラ２００により撮影された顔画像を解析して視線方向を検出する顔画像処理ＥＣＵ１０６が接続される。顔画像処理ＥＣＵ１０６は、他のＥＣＵと同様に、ＣＰＵ、ＲＡＭ、ＥＥＰＲＯＭ、入出力インターフェイス、通信コントローラ及びＲＯＭ等がバスにより接続されたマイコンにより構成される。
【０１０８】
顔画像処理ＥＣＵ１０６による視線方向の検出について説明する。図１５（ａ）は顔画像の一例を示す。顔画像処理ＥＣＵ１０６は顔画像の両端位置及び中心線を検出して視線方向を検出する。
【０１０９】
まず、顔画像処理ＥＣＵ１０６は顔画像のエッジ情報を取得する。エッジ情報は横方向でも縦方向でもよいがここでは横方向のエッジ情報を用いる。顔画像処理ＥＣＵ１０６は、水平方向に隣接する画素の輝度値の差を予め設定された閾値と比較し、輝度値の差が閾値を超える画素（横エッジ点）の出力値を１、輝度値の差が閾値を超えない画素の出力値を０とするようにラべリングを行い、顔画像をラベル０、１が付された２値画像に変換する。これにより、図１５（ｂ）に示すように、横エッジ点が白色で表示された白黒の横エッジ画像が得られる。
【０１１０】
顔画像処理ＥＣＵ１０６は横エッジ画像を用いて顔の両端位置と顔中心線を検出する。
まず、得られた横エッジ画像を用いて顔の中心線候補を選択する。
【０１１１】
図１５（ｃ）は中心線候補の選択を説明するための図である。横エッジ画像の縦横のサイズをＹ１、Ｘ１として、縦横のサイズが各々Ｙ１、２Ｋ＋１（＜Ｘ１）のウインドウ（斜線を付した矩形部分）２１０を想定する。横エッジ画像の左下端をＸＹ座標の原点（０，０）とすると、ウインドウ２１０を横エッジ画像の左端に設定した場合には、ウインドウ２１０の横方向の線分を２等分する線はＸ＝Ｋの直線（顔中心候補線）になる。
【０１１２】
そして、顔の中心線である確からしさを表す値として、横エッジ画像のＸ＝Ｋの直線を基準にした線対称性を示す値を算出する。Ｘ＝Ｋの直線に対して線対称な座標位置の両方に横エッジ点が存在する場合には予め設定した点数を加算する。例えば、画素ａと画素ｂのように、Ｘ＝Ｋの直線から左右にそれぞれ距離Ｋ１離れた位置に存在する画素の各々が共に横エッジ点になる場合には、点数が加算される。一方、線対称な座標位置の両方に横エッジ点が存在しない場合には、すなわち、片方のみに存在する場合及び両方共に存在しない場合には、点数を加算しない。この演算をウインドウ２１０内の総ての画素に対して実施して獲得した点数の総和は、Ｘ＝Ｋの直線の顔の中心線の確からしさの度合を表している。得点が大きいほど、その直線に対するエッジ部分の対称性が高く、横エッジ画像の中心線である可能性が高いことになる。
【０１１３】
ウインドウ２１０を横エッジ画像の右端まで右方向に少しずつ移動させながら、各ウインドウ位置により定まる直線について得点（確からしさを表す値）を求める。顔画像処理ＥＣＵ１０６は、最も得点が大きい直線を顔の中心線候補として選択する。
【０１１４】
なお、最も得点の高い中心線候補が得られてもそこに顔が存在しなければならないので、中心線候補での得点を予め設定された閾値と比較して、閾値より大きい場合には顔が存在すると判定し、閾値よりも小さい場合には顔が存在しないと判定する。
【０１１５】
このようにして得られた中心線候補を得たら、ついで顔画像の両端位置を検出する。図１５（ｄ）に示すように、横エッジ画像のエッジをＸ軸に投影したヒストグラムを生成する。顔画像において顔が占める領域は背景に比べ明るく撮影される場合が多いため、顔の両端位置の垂直方向に横エッジ点が連続したり、両端位置よりも外側では横エッジ点が極端に減少する。このため、図１５（ｄ）のヒストグラムのように、顔の両端位置でピーク値を有する。そこで、顔画像処理ＥＣＵ１０６はピーク値に対して閾値を設定し、閾値を上回った位置を顔の両端位置とする。
【０１１６】
続いて顔画像による視線方向の検出について説明する。図１６（ａ）は斜め左方向を向いた顔画像の一例を、図１６（ｂ）は視線方向の円筒モデルの平面図をそれぞれ示す。なお、図１６（ａ）では眼の位置、鼻孔位置及びあご位置に水平方向に検出線が描画されている。眼の位置や鼻孔位置は、中心線から同程度の距離にある左右対称な黒画素の連続領域として周知の画像処理により検出される。
【０１１７】
顔画像処理ＥＣＵ１０６は、図１６（ｂ）のように平面視の頭部を円筒モデルに適用して中心線に対する両端位置の比率から視線方向を算出する。中心線に対する両端位置の比率は計算上は無段階に算出可能であるので、顔画像から算出される視線方向は高い分解能を持って視線方向を検出できる。
【０１１８】
しかしながら、一方、顔画像による視線方向の検出は、中心線に対する両端位置の比率を利用するため中心線に対し左右両方のエッジ情報が得られる必要があり、正面方向を基準にして視線方向が右又は左に大きくなる（以下、視線方向が略正面方向でないことを単に「視線方向が横向きになる」という）視線方向を検出することが困難になる。
【０１１９】
図１７（ａ）は視線方向が大きく横を向いている顔画像の一例を示す。ここでは運転者２が大きく右方向を向いているため顔の右半分が撮影されていないが、このように視線方向が大きく横向きになる場合は視線方向を検出することが困難になる。
【０１２０】
また、視線方向を算出するには上記のようにエッジ情報を利用しているため、正面方向を向いていても顔画像が適切に撮影されないと視線方向を検出することが困難になる。図１７（ｂ）は運転者の顔に右側から直射光が侵入している状態の顔画像を、図１７（ｃ）はそのエッジ情報を所定の閾値で２値化したエッジ画像を示す。
【０１２１】
図１７（ｂ）に示すように直射が顔に当たる場合、光によるエッジが通常と異なる部分に発生する場合があり、運転者２が正面を向いているのに視線方向が大きく横向きであると検出されたり、大きく横方向を向いているのに視線方向が正面を向いていると検出されたり、また、顔画像の顔部分や視線方向が検出不能となる場合がある。例えば、図１７（ｃ）では運転者２の顔画像の左端にエッジが検出されず、リアドアのウィンドウのエッジ（図では○で示した）が検出されている。このような顔画像では、ウィンドウエッジと顔の右端のエッジを顔の両端位置と判定してしまい、顔部分や視線方向法を正しく検出できないおそれがある。
【０１２２】
そこで、本実施例では顔画像により検出される画像視線方向を、静電容量センサ１００が検出する静電容量の変化に応じて静電視線方向により補完する。例えば、視線方向判定手段２０は、顔画像処理ＥＣＵ１０６より送出される画像視線方向が所定以上横向きとなった場合には、静電容量センサ１００より送出される静電視線方向を運転者２の視線方向として検出する。
【０１２３】
図１８は、視線方向判定手段２０が静電視線方向と画像視線方向により視線方向を検出する処理手順のフローチャート図を示す。図１８の処理は脇見運転や漫然運転を防止するものであるので例えば徐行速度程度になるとスタートする。
【０１２４】
まず、視線方向判定手段２０は、所定のサイクル時間毎に画像視線方向と静電容量情報を取得する（Ｓ２０１）。画像視線方向と静電容量情報のサイクル時間が異なる場合、それぞれのサイクル時間で取得する。視線方向判定手段２０は、静電容量情報に基づき静電視線方向を検出する。
【０１２５】
視線方向判定手段２０は、画像視線方向が所定以上に横向きか否かを判定する（Ｓ２０２）。この所定の値は顔画像の中心線及び両端位置が検出可能な程度の視線方向（正面方向に対し約６０度以上）である。
【０１２６】
画像視線方向が所定以上に横向きの場合（ステップＳ２０２のＹｅｓ）、視線方向判定手段２０は静電視線方向を視線方向と決定する（Ｓ２０３）。また、画像視線方向が所定以上に横向きでない場合（ステップＳ２０２のＮｏ）、視線方向判定手段２０は画像視線方向を視線方向と決定する（Ｓ２０４）。
【０１２７】
したがって、画像視線方向が大きく横向きでない場合は、分解能や精度に優れた画像視線方向を視線方向として決定でき、顔画像では検出困難なほどに大きく横向きになると、静電視線方向を視線方向として決定するので正面方向から横向きまで視線方向を確実に検出できる。すなわち、互いの特性を補完して運転者の視線方向を精度よく検出することができる。
【０１２８】
また、図１８のように画像視線方向が所定以上に横向きか否かにより静電視線方向を利用するだけでなく、画像視線方向に関わらず静電視線方向を利用すれば運転者の視線方向をさらに精度よく検出することができる。
【０１２９】
図１９は静電視線方向の向きと画像視線方向の向きの関係に応じた視線方向判定手段２０の処理内容の一例を示す。図１９では、所定以上に横向きの静電視線方向又は画像視線方向が検出された状態を「１」それ以外を「０」と表している。所定の値は顔画像の中心線及び両端位置が検出可能な程度の視線方向である。
ａ．静電視線方向による検出結果が「１」、かつ、画像視線方向による検出結果が「１」の場合、いずれも視線方向が大きく横向きであるという検出結果であるので、視線方向判定手段２０は視線方向が所定以上に横向きであると判定する。このように、顔画像では検出精度が低下する視線方向が大きく横向きの場合、静電容量情報を利用することで確実に横方向を向いていることを検出できる。
ｂ．静電視線方向による検出結果が「１」、かつ、画像視線方向による検出結果が「０」の場合、双方の判定結果が異なるので、視線方向判定手段２０は、再度、顔画像による視線方向を検出する。再検出後もなお画像視線方向の検出結果が「０」の場合、運転者２の視線方向が所定以上に横向きであるか、又は、光の影響などで顔画像が適切に撮影されないため顔画像では視線方向が適切に検出されないものと判断する。顔画像による検出が困難になる大きな横向きの視線方向の場合、静電容量情報を利用することで確実に大きく顔を横に向けていることを検出できる。
ｃ．静電視線方向による検出結果が「０」、かつ、画像視線方向による検出結果が「１」の場合、双方の判定結果が異なるので、再度、顔画像による視線方向を検出する。再検出後もなお画像視線方向の検出結果が「１」の場合、光の影響などにより運転者２の顔又は視線方向を適切に検出していないと判断して、視線方向判定手段２０は運転者が正面を向いていると顔画像処理ＥＣＵ１０６にフィードバックする。これにより顔画像処理ＥＣＵ１０６は、少なくとも大きく横方向を向いていないとして画像処理を初期状態からやり直すなど適切な画像視線方向を検出しやすくなる。また、顔画像では視線方向が横を向いていると誤認識する場合でも、静電容量情報を利用することで正面を向いていると判定できるので、誤警報を防止できる。
ｄ．静電視線方向による検出結果が「０」、かつ、画像視線方向による検出結果が「０」の場合、いずれも視線方向はそれほど横を向いていないという検出結果であるので、視線方向判定手段２０はそのまま検出を継続する。
【０１３０】
したがって、視線方向が横向きであっても又は正面方向であっても、画像視線方向を静電視線方向により検証することで運転者２の視線方向をさらに精度よく検出することができる。
【０１３１】
なお、本実施例の視線方向判定装置１により、漫然運転、脇見運転及び安全確認の有無を検出する手順は実施例１又は３と同様であるので説明は省略するが、光の影響により画像視線方向が視線方向を適切に検出しない場合でも、静電容量情報は継続的に取得されるので、漫然運転や脇見運転の検出、安全確認の有無を確実に判定することができる。
【０１３２】
本実施例によれば、画像視線方向と静電視線方向の互いの特性を補完したり、画像視線方向を静電視線方向により検証することで、運転者２の視線方向を精度よく検出することができる。
【図面の簡単な説明】
【０１３３】
【図１】距離センサが内設されたシートの斜視図である。
【図２】運転者が着座した状態のシートの平面図及び側面図である。
【図３】視線方向判定装置の機能ブロック図である。
【図４】平面視における距離と視線方向の関係を示す図である。
【図５】側面視における距離と視線方向の関係を示す図である。
【図６】視線方向判定装置の起動及び視線方向に基づく警報吹鳴の処理手順を示すフローチャート図である。
【図７】実施例２における視線方向判定装置の機能ブロック図である。
【図８】視線方向判定装置が視線方向を判定しながら学習を繰り返す処理手順を示すフローチャート図である。
【図９】静電容量センサを備えたヘッドレストを示す図である。
【図１０】実施例３の視線方向判定装置の機能ブロック図である。
【図１１】静電容量情報に基づく視線方向の検出を説明するための図である。
【図１２】視線方向に基づく警報吹鳴の処理手順を示すフローチャート図である。
【図１３】静電容量センサを備えたヘッドレスト及び顔検出カメラの側面図である。
【図１４】実施例４の視線方向判定装置の機能ブロック図である。
【図１５】顔画像の中心線及び両端位置の検出を説明するための図である。
【図１６】顔画像による視線方向の検出を説明するための図である。
【図１７】顔画像による視線方向の検出が困難な顔画像の一例である。
【図１８】視線方向検出手段が静電視線方向と画像視線方向により視線方向を検出する処理手順のフローチャート図である。
【図１９】静電視線方向の大きさと画像視線方向の大きさの関係に応じた視線方向判定手段の処理内容の一例を示す図である。
【符号の説明】
【０１３４】
１      視線方向判定装置
２      運転者
３      シートバック
５      ヘッドレスト
５ａ    可動部
５ｂ    固定部
６      シートクッション
９      着座スイッチ
１１    視線方向ＥＣＵ
１２    警報装置
１３    駆動回路
１４    モータ
２０    視線方向判定手段
３０、５０  距離センサ
１００  静電容量センサ
１１０  駆動機構
１０１  ＰＣＳヘッドレスト制御ＥＣＵ
１０２  衝突判断ＥＣＵ
１０３  後方レーダセンサ
１０４  メータＥＣＵ
１０５  ブレーキＥＣＵ
１０６  顔画像処理ＥＣＵ
２００  顔検出カメラ
【図１】
2007280352.tif 000003
【図２】
2007280352.tif 000004
【図３】
2007280352.tif 000005
【図４】
2007280352.tif 000006
【図５】
2007280352.tif 000007
【図６】
2007280352.tif 000008
【図７】
2007280352.tif 000009
【図８】
2007280352.tif 000010
【図９】
2007280352.tif 000011
【図１０】
2007280352.tif 000012
【図１１】
2007280352.tif 000013
【図１２】
2007280352.tif 000014
【図１３】
2007280352.tif 000015
【図１４】
2007280352.tif 000016
【図１５】
2007280352.tif 000017
【図１６】
2007280352.tif 000018
【図１８】
2007280352.tif 000019
【図１９】
2007280352.tif 000020
【図１７】
2007280352.tif 000021