(57)【要約】【課題】運転中におけるドライバの頭部運動及び眼球運動より、脇見又は漫然状態を検出するドライバ状態検出装置及びドライバ状態報知装置を提供する。【解決手段】ＣＰＵ７が、頭部及び眼球が正面に向いていないと判定されたとき、前庭動眼反射運動及び半規管頚反射運動の何れも検出されない場合、脇見と判定し、その旨を報知する。また、ＣＰＵ７は、頭部及び眼球が正面に向いていると判定された場合でも、輻輳角を検出し、輻輳角が閾値より大きい場合、脇見と判定しその旨を報知する。【選択図】図１１
2014016702.tif 000002
【特許請求の範囲】
【請求項１】
ドライバの顔を撮影する撮影手段と、
前記撮影手段で撮影した画像からドライバの頭部の動きを検出する頭部検出手段と、
前記撮影手段で撮影した画像からドライバの眼球の動きを検出する眼球検出手段と、
前記頭部検出手段が検出した頭部の動き及び前記眼球検出手段が検出した眼球の動きに基づいて前庭動眼反射運動を検出する前庭動眼反射運動検出手段と、
前記頭部検出手段が検出した頭部の動き及び前記眼球検出手段が検出した眼球の動きに基づいて半規管頚反射運動を検出する半規管頚反射運動検出手段と、
前記頭部検出手段が検出した頭部の動き及び前記眼球検出手段が検出した眼球の動きに基づいて前記ドライバの頭部及び眼球が正面に向いているか否かを判定する正面判定手段と、
前記正面判定手段により頭部及び眼球が正面に向いていないと判定されたとき、前記前庭動眼反射運動検出手段及び前記半規管頚反射運動検出手段を動作させて、前記前庭動眼反射運動及び前記半規管頚反射運動の何れも検出されない場合、脇見と判定する脇見判定手段と、
を備えたことを特徴とするドライバ状態検出装置。
【請求項２】
前記撮影手段で撮影した画像から前記眼球の輻輳角を検出する輻輳角検出手段をさらに備え、
前記脇見判定手段が、前記正面判定手段により頭部及び眼球が正面に向いていると判定されたとき、前記輻輳角検出手段が検出した輻輳角が閾値以下でなければ、脇見と判定する
ことを特徴とする請求項１に記載のドライバ状態検出装置。
【請求項３】
ドライバの顔を撮影する撮影手段と、
前記撮影手段で撮影した画像からドライバの頭部の動きを検出する頭部検出手段と、
前記撮影手段で撮影した画像からドライバの眼球の動きを検出する眼球検出手段と、
前記撮影手段で撮影した画像から前記眼球の輻輳角を検出する輻輳角検出手段と、
前記頭部検出手段が検出した頭部の動き及び前記眼球検出手段が検出した眼球の動きに基づいて前記ドライバの頭部及び眼球が正面に向いているか否かを判定する正面判定手段と、
前記正面判定手段により頭部及び眼球が正面に向いていると判定されたとき、前記輻輳角が閾値以下でなければ、脇見と判定する脇見判定手段と、
を備えたことを特徴とするドライバ状態検出装置。
【請求項４】
単位時間当たりの前記眼球の角速度分布が所定範囲内のときに漫然状態と判定する漫然状態判定手段を
さらに備えたことを特徴とする請求項１〜３何れか１項に記載のドライバ状態検出装置。
【請求項５】
請求項１〜４何れか１項に記載のドライバ状態検出装置と、
前記脇見判定手段による脇見の判定が脇見判定時間以上継続したときドライバに脇見を報知する報知手段と、
を備えたことを特徴とする請求項１〜４何れか１項に記載のドライバ状態報知装置。
【請求項６】
車両の速度を検出する速度検出手段を備え、
前記報知手段が、前記検出した速度が速くなるに従って前記脇見判定時間を短く設定する
ことを特徴とする請求項５に記載のドライバ状態報知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドライバ状態検出装置及びドライバ状態報知装置に係り、特に、ドライバの脇見や漫然運転を検出するドライバ状態検出装置及びドライバの脇見や漫然運転を報知するドライバ状態報知装置に関するものである。
【背景技術】
【０００２】
年齢層を問わずもっとも多い交通事故の原因は脇見運転と漫然運転である（参考：政府の統計の窓口ホームページhttp://www.e-stat.go.jp/）。このような状況において、ドライバ状態を検出する技術として覚醒状態、特に眠気・居眠り状態を検出する技術が提案されている（特許文献１〜３）。しかし、ドライバの眠気・居眠り状態検出のみでは将来において交通事故を減らすことができない、という問題があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１４２４１０号公報
【特許文献２】特開２０１０−１２８６６９号公報
【特許文献３】特開２００８−１６７８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
そこで、本発明では、運転中におけるドライバの頭部運動及び眼球運動より、脇見又は漫然状態を検出するドライバ状態検出装置及びドライバ状態報知装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決するための請求項１記載の発明は、ドライバの顔を撮影する撮影手段と、前記撮影手段で撮影した画像からドライバの頭部の動きを検出する頭部検出手段と、前記撮影手段で撮影した画像からドライバの眼球の動きを検出する眼球検出手段と、前記頭部検出手段が検出した頭部の動き及び前記眼球検出手段が検出した眼球の動きに基づいて前庭動眼反射運動を検出する前庭動眼反射運動検出手段と、前記頭部検出手段が検出した頭部の動き及び前記眼球検出手段が検出した眼球の動きに基づいて半規管頚反射運動を検出する半規管頚反射運動検出手段と、前記頭部検出手段が検出した頭部の動き及び前記眼球検出手段が検出した眼球の動きに基づいて前記ドライバの頭部及び眼球が正面に向いているか否かを判定する正面判定手段と、前記正面判定手段により頭部及び眼球が正面に向いていないと判定されたとき、前記前庭動眼反射運動検出手段及び前記半規管頚反射運動検出手段を動作させて、前記前庭動眼反射運動及び前記半規管頚反射運動の何れも検出されない場合、脇見と判定する脇見判定手段と、を備えたことを特徴とするドライバ状態検出装置に存する。
【０００６】
請求項２記載の発明は、前記撮影手段で撮影した画像から前記眼球の輻輳角を検出する輻輳角検出手段をさらに備え、前記脇見判定手段が、前記正面判定手段により頭部及び眼球が正面に向いていると判定されたとき、前記輻輳角検出手段が検出した輻輳角が閾値以下でなければ、脇見と判定することを特徴とする請求項１に記載のドライバ状態検出装置に存する。
【０００７】
請求項３記載の発明は、ドライバの顔を撮影する撮影手段と、前記撮影手段で撮影した画像からドライバの頭部の動きを検出する頭部検出手段と、前記撮影手段で撮影した画像からドライバの眼球の動きを検出する眼球検出手段と、前記撮影手段で撮影した画像から前記眼球の輻輳角を検出する輻輳角検出手段と、前記頭部検出手段が検出した頭部の動き及び前記眼球検出手段が検出した眼球の動きに基づいて前記ドライバの頭部及び眼球が正面に向いているか否かを判定する正面判定手段と、前記正面判定手段により頭部及び眼球が正面に向いていると判定されたとき、前記輻輳角が閾値以下でなければ、脇見と判定する脇見判定手段と、を備えたことを特徴とするドライバ状態検出装置に存する。
【０００８】
請求項４記載の発明は、単位時間当たりの前記眼球の角速度が所定値以下のときに漫然状態と判定する漫然状態判定手段をさらに備えたことを特徴とする請求項１〜３何れか１項に記載のドライバ状態検出装置に存する。
【０００９】
請求項５記載の発明は、請求項１〜４何れか１項に記載のドライバ状態検出装置と、前記脇見判定手段による脇見の判定が脇見判定時間以上継続したときドライバに脇見を報知する報知手段と、を備えたことを特徴とする請求項１〜４何れか１項に記載のドライバ状態報知装置に存する。
【００１０】
請求項６記載の発明は、車両の速度を検出する速度検出手段を備え、前記報知手段が、前記検出した速度が速くなるに従って前記脇見判定時間を短く設定することを特徴とする請求項５に記載のドライバ状態報知装置に存する。
【発明の効果】
【００１１】
以上説明したように請求項１記載の発明によれば、脇見判定手段が、正面判定手段により頭部及び眼球が正面に向いていないと判定されたとき、前庭動眼反射運動や半規管頚反射運動が検出されなければ、脇見と判定する。従って、頭部及び眼球の動きに基づいて脇見を判定できる。しかも、頭部を左右、上下に向けても視線が正面に向いている場合は、前庭動眼反射運動や半規管頚反射運動が検出されるため、これが脇見として判定されることがなく、正確に脇見を判定することができる。
【００１２】
請求項２及び３記載の発明によれば、脇見判定手段が、正面判定手段により頭部及び眼球が正面に向いていると判定されたときであっても、輻輳角が閾値以下でなければ、脇見と判定するので、頭部及び視線を正面に向けた状態であっても輻輳角が大きく近くを見ている場合も、脇見と判定することができる。
【００１３】
請求項４記載の発明によれば、脇見に加えて漫然状態を判定することができる。
【００１４】
ドライバは運転中はあらゆる場所を視認しながら運転を行っているが、請求項５記載の発明によれば、報知手段が、脇見判定手段による脇見の判定が脇見判定時間以上継続したときドライバに脇見を報知するので、例えばミラー確認や車速確認のため計器を見ただけで報知されることを防止し、無駄なドライバへの報知を低減させることができる。
【００１５】
請求項６記載の発明によれば、報知手段が、検出した車両の速度が速くなるに従って脇見判定時間を短く設定する。これにより、車両の速度が低いときは頭部の運動変化が比較的大きいため脇見判定時間を長くし、車両の速度が速いときは頭部の運動変化が比較的小さくなるため脇見判定時間を短くすることができ、無駄なドライバの報知を低減させることができる。
【図面の簡単な説明】
【００１６】
【図１】ドライバ状態検出装置を組み込んだヘッドアップディスプレイ（以下ＨＵＤ）の一実施形態を示す構成図である。
【図２】図１に示すＨＵＤの電気構成図である。
【図３】図１に示すＨＵＤのＣＰＵが行う処理の全体の流れを示すフローチャートである。
【図４】図３に示すドライバ検出処理におけるＣＰＵの処理手順を示すフローチャートである。
【図５】図４に示す虚像表示位置制御処理におけるＣＰＵの処理手順を示すフローチャートである。
【図６】アイポイント算出について説明するためのアイポイントと虚像の表示位置との関係を示す図である。
【図７】図１に示すＨＵＤによって表示される虚像の可視範囲と虚像の表示範囲との関係を示す図である。
【図８】アイポイント算出値及び非球面ミラーの制御値のタイムチャートである。
【図９】図１に示すＨＵＤが表示する虚像の表示例を示す図である。
【図１０】虚像の表示位置を説明するための図である。
【図１１】図４に示すドライバ状態判定処理におけるＣＰＵの処理手順を示すフローチャートである。
【図１２】図１１に示すドライバ状態解析におけるＣＰＵの処理手順を示すフローチャートである。
【図１３】頭部及び眼球の角速度の算出方法を説明するための図である。
【図１４】前庭動眼反射が生じているときの頭部、右目及び左目のヨー方向の角速度のタイムチャートである。
【図１５】半規管頚反射が生じているときの頭部、右目及び左目のピッチ方向の角速度のタイムチャートである。
【図１６】輻輳拡散運動が生じているときの頭部、右目及び左目のヨー方向の角速度のタイムチャートである。
【図１７】輻輳角を説明するための図である。
【図１８】ドライバの視線の移動を説明するための図である。
【図１９】第２実施形態における脇見の報知について説明するための頭部、右目及び左目のヨー方向の角速度のタイムチャートである。
【図２０】視認範囲に設定したエリアを説明するための説明図である。
【図２１】図１に示すＨＵＤが表示する虚像の表示例を示す図である。
【図２２】（Ａ）は通常状態における頭部及び眼球の分布を示すグラフであり、（Ｂ）は漫然状態における頭部及び眼球の分布を示すグラフである。
【図２３】第８実施形態におけるドライバ状態判定処理でのＣＰＵの処理手順を示すフローチャートである
【発明を実施するための形態】
【００１７】
第１実施形態
以下、本発明のドライバ状態検出装置を組み込んだヘッドアップディスプレイ（以下ＨＵＤ）について図１及び図２を参照して説明する。図１及び図２に示すように、ＨＵＤ１は、ドライバ２の顔を撮影する撮影手段としてのカメラ３と、表示光を照射する照射装置としてのディスプレイ４と、表示光を反射する反射板としての非球面ミラー５と、非球面ミラー５の傾きを調整するためのモータ６と、ＨＵＤ１全体の制御を司るＣＰＵ７と、を備えている。
【００１８】
カメラ３は、図１に示すように、ドライバ２の顔を撮影するように車両のインパネ８上に搭載されていて、ドライバ２の顔を撮影した画像をＣＰＵ７に出力している。
【００１９】
ディスプレイ４及び非球面ミラー５などは、ＨＵＤ筐体９内に収容された状態でインパネ８内に収容されている。非球面ミラー５は、傾きが調整可能に支持されていて、モータ６の駆動力により傾きを調整することができる。ディスプレイ４は、例えば周知の液晶表示装置から構成され、表示光を非球面ミラー５に向けて照射している。非球面ミラー５は、ディスプレイ４から照射された表示光を車両のウインドシールド１３に向けて反射する。
【００２０】
非球面ミラー５で反射された表示光は、表示光路１０に沿って進みウインドシールド１３で反射してドライバ２のアイポイント１１に届く。これにより、ドライバ２は、ウインドシールド１３の外側にディスプレイ４に表示された表示像の虚像１２を視認する。
【００２１】
ＣＰＵ７は、カメラ３が撮影した画像の画像処理を行ってドライバ２の眼球の位置、眼球の回転角度（眼球の動き）、頭部の回転角度（頭部の動き）を検出するドライバ検出部７１と、ドライバ検出部７１からの検出結果に応じてディスプレイ４や非球面ミラー５を制御するＨＵＤ制御部７２と、を備えている。
【００２２】
ドライバ検出部７１は、カメラ３が撮影した画像から周知の顔検出技術を用いて顔面領域を抽出する顔検出部７１Ａと、顔検出部７１Ａにより抽出された顔面領域から周知の眼球検出技術を用いて眼球領域を抽出する眼球検出部７１Ｂと、眼球検出部７１Ｂにより抽出された眼球領域に基づいて眼球位置（アイポイント１１）を算出する眼球位置算出部７１Ｃと、眼球検出部７１Ｂにより抽出された眼球領域から黒目領域を抽出して視線を検出する視線検出部７１Ｄと、視線検出部７１Ｄにより抽出された黒目領域に基づいて眼球の回転角を算出する眼球検出手段としての眼球回転角算出部７１Ｅと、顔検出部７１Ａにより抽出された顔領域から頭部の回転角を算出する頭部検出手段としての頭部回転角算出部７１Ｆと、を備えている。
【００２３】
ＨＵＤ制御部７２は、眼球位置算出部７１Ｃにより算出された眼球位置から表示光路１０を算出する表示光路算出部７２Ａと、モータ６を制御して、表示光路算出部７２Ａにより算出された表示光路１０で反射するように非球面ミラー５を傾ける表示像位置制御部７２Ｂと、眼球回転角及び頭部回転角からドライバ２の状態を判定するドライバ状態判定部７２Ｃと、ディスプレイ４を制御する画像表示部７２Ｄと、を備えている。
【００２４】
次に、上述した構成のＨＵＤ１の動作の概要について説明する。まず、ＣＰＵ７は、ドライバ検出部７１として機能し、イグニッションボタンのオンに応じてドライバ検出処理を行う。ドライバ検出処理は、カメラ３が撮影した画像の画像処理を行ってドライバ２の顔検出、眼球検出、視線検出、頭部回転角度の算出、アイポイント１１の算出、眼球回転角度の算出などを繰り返し行い、メモリに保存する処理である。
【００２５】
また、ＣＰＵ７は、表示像位置制御部７２Ｂとして機能し、ドライバ検出処理により算出されたドライバ２のアイポイント１１で虚像１２が見えるように、非球面ミラー５を制御する虚像表示位置制御処理を行う。さらに、ＣＰＵ７は、ドライバ状態判定部７２Ｃとして機能し、ドライバ検出処理により算出された頭部回転角度、眼球回転角度に基づいて脇見を判定するドライバ状態判定処理を行う。
【００２６】
次に、上記概略で説明したＨＵＤ１の動作の詳細について説明する。まず全体の流れを図３を参照して説明する。ドライバ２が、イグニッションボタンをオンにすると、ＣＰＵ７は、初期化処理を行う（ステップＳ１）。初期化処理とは、非球面ミラー５の位置や各種検出値を初期値にすることである。その後、ＣＰＵ７は、イグニッションボタンがオンであれば（ステップＳ２でＮ）、上述したドライバ検出処理を行う（ステップＳ３）。ドライバ検出処理は、ドライバ２がイグニッションボタンをオフにするまでの間、繰り返し行われる。そのとき、イグニッションボタンをオンしてから所定時間以上経過しても顔検出、眼球検出、視線検出による検出結果が記憶できなかったときは、ＣＰＵ７は、顔検出、眼球検出、視線検出による初期状態が記憶できなかったとして（ステップＳ４でＮ）、ドライバ２にドライバ状態判定ができないことを表示、もしくは警告音でドライバ２に知らせ（ステップＳ５）、処理を終了する。
【００２７】
次に、ステップＳ３のドライバ検出処理の詳細について図４を参照して説明する。カメラ３からドライバ２の画像が入ると、ＣＰＵ７は、顔検出部７１Ａとして機能し、カメラ３が撮影した画像からドライバ２の顔面領域を抽出する顔検出を始める（ステップＳ３１）。このカメラ３は、赤外線照射ＬＥＤと赤外撮像素子を一体として構成され、赤外線をドライバ２の顔に照射して夜でもドライバ２の顔が適切に撮影できるように設けられている。ＣＰＵ７は、顔検出ができるまで顔検出を続け、顔検出ができると（ステップＳ３２でＹ）、頭部回転角算出部７１Ｆとして機能し、抽出した顔面領域から頭部回転角を算出し（ステップＳ３３）、メモリへ保存した後、ステップＳ３２へ戻り、顔検出、頭部角度算出を繰り返す。
【００２８】
また、ＣＰＵ７は、顔検出ができると（ステップＳ３２でＹ）、眼球検出部７１Ｂとして機能し、頭部回転角の算出と並列に、カメラ３が撮影した画像から眼球領域を抽出する眼球検出を行う（ステップＳ３４）。眼球検出ができていないときは（ステップＳ３５でＮ）、ＣＰＵ７は、再びステップＳ３２まで戻り、顔検出ができていないときは再び顔検出を行う。顔検出ができているときは眼球検出を繰り返し、眼球検出ができると（ステップＳ３５でＹ）、ＣＰＵ７は、抽出した眼球領域に基づいてアイポイント１１を算出し（ステップＳ３６）、メモリへ保存した後、ステップＳ３５へ戻り、眼球検出、アイポイント算出を繰り返し、メモリを更新し続ける。なお、ＣＰＵ７は、算出されたアイポイント１１に基づいて非球面ミラー５の位置を制御して、虚像１２の位置を制御する虚像表示位置制御処理をドライバ検出処理と並列に行う。
【００２９】
ここで、ドライバ検出処理の続きを説明する前に、上述した虚像表示位置制御処理について図５及び図６を参照して説明する。まずはじめにＨＵＤ１の像を観察することになるドライバ２のアイポイント１１は通常側面視で楕円となる範囲に分布することが知られている。図６において、楕円上の２本の線は、例えば内側が９５％、外側が９９％のドライバ２のアイポイント１１の分布する範囲である。極めて特殊な運転姿勢や体格により、この範囲を外れたアイポイント１１を除き、たいていのドライバ２（例えば９９％）のアイポイント１１から視認可能なように車内のすべてのＨＵＤ１は設計される。
【００３０】
しかし、一般的なＨＵＤ１（十分な視距離を確保したもの）は非常に狭い範囲に可視角が限定されるため、虚像１２の位置が固定のままではアイポイント１１の存在範囲を網羅するようには設計できない。そこで、通常は虚像１２の上下位置をドライバ２が自分のアイポイント１１で見える位置に手動調整する必要がある。
【００３１】
本実施形態では、ドライバ検出処理によりドライバ２のアイポイント１１を自動算出し、それに最適な位置に虚像１２を自動で動かすことで、どのような体格、運転姿勢においても、必ず虚像１２が見えるようにしている。ただし、運転に不適切な極端な姿勢を除く。
【００３２】
次に、虚像表示位置制御処理の詳細を説明する。図６において、アイポイント存在範囲の中心Ｏ（以下、アイポイントセンタＯ）にドライバ２の眼がある場合を考える。この際の虚像１２の理想位置はインパネ８開口やＨＵＤ筐体９の構造物に遮蔽されない可視範囲の中央である。このアイポイントセンタＯに眼があるとき、カメラ３からは所定の仰角ａ1の位置に眼の画像が検出される。
【００３３】
ここで、一般的なアイポイント１１の位置について説明する。図６においてＡで表した位置Ａ0、Ａ1、Ａ2…Ａn、Ａfの位置はカメラ３から同じ仰角ａ2で観察される。この一群のアイポイント１１はＨＵＤ１の光軸として見ると最遠点Ａfではやや高く、最近点Ａnではやや低くなる。アイポイント１１が存在する確率は中央付近ほど大きいため、カメラ３とアイポイントセンタＯを結んだ直線Ｌ１の法線Ｌ２上に投影した位置Ａ0を一群のアイポイント１１の代表点とする。つまり、ＣＰＵ７は、ドライバ２のアイポイント１１としてカメラ３からの仰角ａが観測される群の虚像１２位置の制御は実際のアイポイント１１がＡn〜Ａf間のいずれにあっても、空間上のアイポイント１１が代表点Ａ0とし、代表点Ａ0に対応した位置で非球面ミラー５を制御する。
【００３４】
よって、カメラ３からの眼球の仰角ａと、これに対応するアイポイント１１の代表点Ａ0と、の対応テーブルが図示しないメモリに予め記録されていて、ＣＰＵ７は、ステップＳ３６のアイポイント算出において、眼球領域から眼球の仰角ａを求め、対応テーブルから求めた仰角ａに対応するアイポイント１１の代表点Ａ0をアイポイント１１として算出して、メモリに保存している。
【００３５】
そして、虚像表示位置制御処理において、ＣＰＵ７は、図５に示すように、ドライバ検出処理により算出された代表点Ａ0をアイポイント１１として取得し（ステップＳ４１）、代表点Ａ0にアイポイント１１があるものとして表示光路１０を算出し（ステップＳ４２）、その表示光路１０で反射するように非球面ミラー５を傾けるようにモータ６を制御して（ステップＳ４３）、処理を終了する。この虚像表示位置制御処理は、アイポイント１１が算出される毎に実行される。
【００３６】
次に、上記ステップＳ４３でのモータ６の制御の詳細について説明する。通常、ＨＵＤ１においては、図７に示すように、虚像１２の可視範囲をめいいっぱい表示範囲として使用することはなく、可視範囲と表示範囲にはマージンが設けられている。このマージンは振動等による眼の一時的な移動時に像が欠けないための余裕代となる。
【００３７】
図７において、虚像１２がアイポイント１１の代表点Ａ0の最適位置に制御された場合の表示範囲上端と可視範囲上限との差分をＤとする。図６に示すように、位置Ａの線上（仰角ａ2）にアイポイント１１が存在する場合、ＣＰＵ７は代表点Ａ0基準で非球面ミラー５の制御を行うが、最も虚像１２が高く観測されるＡf点における虚像１２上端との差分をＣとするとＤはＣより大きくなる範囲に光学系余裕または虚像１２の大きさを設計することにより仰角ａ2で代表されるアイポイント１１群から虚像１２は常に視認可能となる。なお、上記マージンはＤからＤ−Ｃに減少するため、Ｄ−Ｃを設計上の必要マージンとして確保することでＡf点においても像の良好な視認性が確保される。
【００３８】
そして、図８に示すように、ＣＰＵ７は、前回、非球面ミラー５の調整を行ったときに算出されたアイポイント１１と今回、算出されたアイポイント１１との変動量を算出し、算出した変動量がＤ／２を越えると越えた時点で算出されたアイポイント１１に応じて非球面ミラー５の傾きを調整するように制御する。言い換えると、アイポイント１１の変動量がＤ／２以下の間は、非球面ミラー５の調整は行わない。
【００３９】
つまり、虚像１２とカメラ３の可視範囲の設計をアイポイント存在範囲の最端点２箇所からの視認余裕を適正に設計することにより、２次元情報のみで虚像１２の位置を常に見える範囲に保つ制御が可能となる。
【００４０】
また、アイポイント１１を特定する方法として、特開２０１１−１４９９４２、特開２００８−０９６１６２等に代表されるのように眼球位置の距離情報を抽出する手段と用いて、アイポイント１１を特定することもできる。
【００４１】
また、ＣＰＵ７は、図７に示す例では、ナビゲーション情報や車速を表示していたが、図９（Ａ）及び図９（Ｂ）に示すように、ドライバ２が運転中に視線を向けるべき推奨位置を示す虚像１２を表示するようにしてもよい。虚像１２としては、ドライバ２の前方視界を妨げない大きさであればよく、例えば図９（Ａ）に示すように円状のマークを表示しても良いし、図９（Ｂ）に示すように車幅を示す線状のマークを表示しても良い。これらマークは、ディスプレイ４の中央に表示すればよい。
【００４２】
なお、ＨＵＤ１の虚像１２の表示位置、表示サイズは、式（１）および式（２）で表すことができる（図１０）。
虚像１２の表示高さＨ＝（（Ｌ−Ｌ0）／Ｌ）×Ｈeye…式（１）
ディスプレイ４での表示像の大きさＳ＝（Ｌ0／Ｌ）×Ｓ0…式（２）
Ｈeyeはアイポイント１１の高さ、Ｌ0は虚像１２からアイポイント１１までの距離、Ｌは位置からアイポイント１１までの距離、Ｓ0は虚像１２が表示される面での大きさを示す。
【００４３】
次に、話を図４に示すドライバ検出処理に戻して、眼球検出後の動作について説明する。ＣＰＵ７は、眼球検出後、アイポイント算出に並列して視線検出を行う（ステップＳ３７）。ＣＰＵ７は、視線検出ができていないときは（ステップＳ３８でＮ）、ステップＳ３５に戻る。ステップＳ３５において眼球検出ができていないと判定したときは、ステップＳ３２に戻り、ステップＳ３５において眼球検出ができていると判定したときは再び視線検出を行う。この処理を繰り返し、視線検出ができると（ステップＳ３８でＹ）、ＣＰＵ７はそのときの眼球回転角（視線方向）を算出し、メモリへ保存する（ステップＳ３９）。視線検出ができている間はこの眼球回転角を算出し、メモリを更新し続ける。
【００４４】
以上により算出した頭部回転角と眼球回転角を用いてＣＰＵ７は、ドライバ状態判定処理を行う。このドライバ状態判定処理について図１１及び図１２を参照して説明する。ドライバ状態判定処理においてＣＰＵ７は、はじめにドライバ状態解析を行う（ステップＳ５１）。ドライバ状態解析において、ＣＰＵ７は、図１２に示すように、上記で算出した頭部回転角および眼球回転角の値を取得し（ステップＳ５１１、Ｓ５１４）、取得した頭部回転角および眼球回転角の解析を行う（ステップＳ５１３、Ｓ５１６）。このとき、ＣＰＵ７は、頭部回転角もしくは眼球回転角のどちらか１つでも取得できない場合は（ステップＳ５１２でＮ又はＳ５１５でＮ）、ドライバ状態判定ができないことを情報表示もしくは警告音にてドライバ２に伝える（ステップＳ５１７）。
【００４５】
なお、頭部回転角および眼球回転角の解析では、図１３〜図１６に示すように、頭部及び眼球のピッチ方向（pitch：左右を軸とした回転）、ロー方向（roll：前後を軸にした回転）、ヨー方向（yaw：上下を軸とした回転）の角速度をそれぞれ求める。
【００４６】
ここで、頭部回転角および眼球回転角から角速度ωを算出する方法について図１３を参照して説明する。同図に示すように、前回算出された頭部回転角および眼球回転角のベクトルａから新しく算出された頭部回転角および眼球回転角のベクトルｂに移動したとき、そのときの角速度ωは式（３）で表すことができる。
角速度ω＝θAV／ｔ…式（３）
ここで、θAVは前回算出されたベクトルａから新しく検出されたベクトルｂに移動した角度、tは算出されたベクトルａから新しく検出されたベクトルｂに移動したときに要する時間である。
【００４７】
次に、頭部回転角と眼球回転角からドライバ２が脇見していることを判定する方法について図１４〜図１６および表１〜６を用いて説明する。
【表１】
2014016702.tif 000003
【表２】
2014016702.tif 000004
【表３】
2014016702.tif 000005
【表４】
2014016702.tif 000006
【表５】
2014016702.tif 000007
【表６】
2014016702.tif 000008
【００４８】
ＣＰＵ７は、ステップＳ５１での解析結果を用いて、ドライバ２の初期状態、前庭動眼反射、半規管反射、輻輳角を検出することによりドライバ状態の判定を行う。ドライバ状態の解析が終わると、図１１に示すように、ＣＰＵ７は、正面判定手段として働き、まずドライバ２が初期状態に近いか否かを判定する（ステップＳ５２）。ここで、ドライバ２の初期状態とは、虚像１２を視認している状態（表１のドライバ状態Ｄ１１および表４のドライバ状態Ｄ４１）である。例えば、イグニッションボタンのオンに応じて虚像１２を表示し、ドライバ２に虚像１２を視認するように促したときに検出された頭部及び眼球の位置を初期状態として設定することが考えられる。このとき、ドライバ２は正常な運転姿勢であると推定できる。また、虚像１２よりも遠方を視認している状態（表１：ドライバ状態Ｄ１３）、虚像１２よりも近方を視認している状態（表１：ドライバ状態Ｄ１４）も初期状態と近い判定する。
【００４９】
ＣＰＵ７は、ドライバ２の初期状態に近くないと判定する、つまり頭部及び眼球が正面に向いていないと判定すると（ステップＳ５２でＮ）、前庭動眼反射運動検出手段として働き、ドライバ状態の解析結果から前庭動眼反射運動が検出できるか否かを判定する（ステップＳ５３）。前庭動眼反射運動とは、図１４に示す通り頭を左右に動かすと頭の動きを打ち消す方向に眼球運動が生じる動きのことであり、虚像１２付近を視認している状態（表２：ドライバ状態Ｄ２５、もしくは表３：Ｄ３２）であると推定できる。
【００５０】
ＣＰＵ７は、頭部及び眼球のヨー方向の角速度が互いに逆向きのとき、前庭動眼反射運動を検出する。前庭動眼反射運動が検出されると（ステップＳ５３でＹ）、ＣＰＵ７は、報知することなく処理を終了する。これに対して、前庭動眼反射運動が検出できなければ（ステップＳ５３でＮ）、ＣＰＵ７は、次に半規管頚反射運動検出手段として働き、ドライバ状態の解析結果から半規管頚反射運動が検出できるか否かを判定する（ステップＳ５４）。
【００５１】
半規管頚動反射とは、図１５に示す通り頭を上下に動かすと頭の動きを打ち消す方向に眼球運動が生じる動きのことであり、虚像１２付近を視認している状態（表５：ドライバ状態Ｄ５、もしくは表６：ドライバ状態Ｄ６２）であると推定できる。ＣＰＵ７は、頭部及び眼球のピッチ方向の角速度が互いに逆向きのとき、半規管頚反射運動を検出する。半規管頚動反射運動が検出されると（ステップＳ５４でＹ）、ＣＰＵ７は、報知することなく処理を終了する。これに対して、半規管頚動反射運動が検出できなければ（ステップＳ５４でＮ）、ＣＰＵ７は、脇見判定手段、報知手段として働き、脇見と判定してドライバ２に対して注意喚起（情報表示もしくは警報音等）する（ステップＳ５５）。
【００５２】
一方、ＣＰＵ７が、ドライバ２の初期状態に近いと判定する、つまり頭部及び眼球が正面に向いていると判定すると（ステップＳ５２でＹ）、輻輳角検出手段として働き輻輳角の算出を行う（ステップＳ５６）。ここで、輻輳角の算出について説明する前に、輻輳開散運動について説明する。輻輳開散運動とは、図１６に示す通り近くを見るときに生じる両方の眼が内側に動く輻輳運動（表１：ドライバ状態Ｄ１４）と、遠くを見るときに生じる眼が外側に動く開散運動（表１：ドライバ状態Ｄ１３）と、に分けることができる。ドライバ２の初期状態Ｄ１１における右目と左目のなす角である輻輳角を閾値とすると、算出した輻輳角が閾値よりも大きく輻輳運動を検出したときは虚像１２より手前（インパネ８等）を視認していると推定できる。また、算出した輻輳角が閾値以下であり、ドライバ２の初期状態および開散運動を検出したときは虚像１２付近を視認もしくは表示像より遠くを視認している状態であると推定できる。
【００５３】
そこで、ＣＰＵ７は、算出した輻輳角が閾値より大きければ（ステップＳ５７でＮ）、脇見判定、報知手段として働き、脇見と判定してドライバ２に対して注意喚起する（ステップＳ５８）。一方、ＣＰＵ７は、算出した輻輳角が閾値以下であれば（ステップＳ５７でＹ）、報知することなく処理を終了する。なお、このときの輻輳角θCは図１７に示すように右目の視線ベクトル、左目の視線ベクトルの内積より式（４）で表すことができる。
【数１】
2014016702.tif 000009
【００５４】
上述した実施形態によれば、ドライバ２が初期状態にないときは頭部及び眼球が正面に向いていないと判定し、このときドライバ２の頭部運動及び眼球運動により前庭動眼反射運動もしくは半規管頚反射運動を検出したときはドライバ２は前方視界を視認していると判定できるため、上述以外の状態の場合（前庭動眼運動及び半規管頚反射運動の何れも検出されない場合）、ドライバ２が脇見していると判定し、ドライバ２に対して注意喚起する。従って、頭部及び眼球の動きに基づいて脇見を判定できる。しかも、頭部を左右、上下に向けても視線が正面に向いている場合は、前庭動眼反射運動や半規管頚反射運動が検出されるため、これが脇見として判定されることがなく、正確に脇見を判定することができる。
【００５５】
また、上述した実施形態によれば、ドライバ２が初期状態にあり頭部及び眼球が正面に向いていると判定したときであっても、輻輳角が閾値より大きいときは正面近方を脇見していると判定し、ドライバ２に注意喚起することができる。
【００５６】
第２実施形態
ところで、図１８及び図１９に示す通りドライバ２は運転中においてあらゆる場所を視認しながら運転を行っている。そのため、上述した実施形態では非常に短い間に脇見したときにおいてもドライバ２に注意喚起する。このような誤判定が多くなるとドライバ２の不信感を招き、実用に耐えられない。そのため、ドライバ２の脇見と判定したときにある決められた脇見判定時間以上継続して脇見と判定されたとき、ドライバ２に注意喚起することも考えられる。これにより、無駄なドライバ２への注意喚起を低減させることができる。
【００５７】
第３実施形態
また、ドライバ２は運転中において、前方視界だけでなく、後方確認ミラー（ルームミラー、左右サイドミラー）や車体状態や車速確認のための計器など運転に必要な情報を取得するため、これらを確認する必要ある。上述した第１実施形態では、このような場合においても脇見したと判定し、ドライバ２に注意喚起する。このような誤判定が多くなるとドライバ２の不信感を招き、実用に耐えられない。そのため、図２０に示す運転中に視認すべきドライバ２の視認範囲を分割し、分割されたエリアＡａ〜Ａｄに対して上記脇見判定時間を割り当ててドライバ２の脇見を判定する。詳しくは、エリアＡａ〜Ａｄと、当該エリアＡａ〜Ａｄに対応した時間と、を記録手段としてのメモリに予め記憶しておく。そして、ＣＰＵ７は、脇見と判定したとき、エリア検出手段として働き、ドライバ検出処理により検出された頭部及び眼球の回転角度からドライバ２が視認しているエリアＡａ〜Ａｄを検出し、メモリから検出したエリアＡａ〜Ａｄに対応する時間を求め、求めた時間を上記脇見判定時間として設定する。これにより、無駄なドライバ２への注意喚起を低減させることができる。
【００５８】
また、脇見判定時間の設定としては、低車速時においては頭部運動の変化が比較的大きいため、脇見判定時間を長くし、高車速時においては頭部運動の変化が比較的小さくなるため、脇見判定時間を短く設定することも考えられる。詳しく説明すると、ＣＰＵ７が、速度検出手段として働き、走行センサの出力から車両の速度を検出し、検出した速度が速くなるに従って脇見判定時間を短く設定する。これにより、無駄なドライバ２への注意喚起を低減させることができる。なお。上記では乗車時、停車速時、高車速時のみ記載したが、中車速時などの段階を設けてもよい。
【００５９】
第４実施形態
ところで、ドライバ２がカーブに侵入してからカーブを抜けようとする間のほとんどの時間において、タンジェントポイント（視点を通る直線とカーブ内側との接点）を注視することが知られている（M.F. Land and D. N. Lee, "Where we look when we steer", pp.742-744, vol.369, Nature, 30th June 1994）。進行方向を撮影する車載カメラよりカーブに差し掛かることを検出したときに限り、進行方向を撮影する車載カメラから映像からカーブ内側エッジを検出し、図２１に示すようにドライバ２が運転中に視線を向けるべき位置であるタンジェントポイントへ表示位置を変える。これにより、ドライバ２がこのタンジェントポイントへの表示を視認していれば、カーブに差し掛かる際におけるドライバ２の運転負荷を低減し、運転制御安定化をもたらすことができる。タンジェントポイントを視認していない場合はドライバ２へ注意喚起する。
【００６０】
第５実施形態
また、上述した実施形態においては、図９に示すように、常時、ドライバ２が運転中に視線を向けるべき位置（推奨位置）にドライバ２の前方視界を妨げない大きさで表示していた。しかしながら、本発明はこれに限ったものではない。前方視界における表示サイズの大きさに対する煩わしさの感じ方には個人差があり、運転を阻害する恐れがある。そのため、通常走行中においては、ドライバ２が運転中に視線を向けるべき位置への表示を消灯し、脇見を報知するときにのみ表示することが考えられる。これにより、通常走行時における表示の煩わしさを低減する。
【００６１】
第６実施形態
また、上述した第１実施形態では、非球面ミラー５の制御についてアイポイント１１の変化量が制御判定値（第１実施形態ではＤ／２）を超える毎に、そのときのアイポイント１１に応じた位置に非球面ミラー５の傾きを調整し直していた。しかしながら、本発明はこれに限ったものではない。例えば、乗車時及び停車速時においては頭部変化が大きいため、上記制御判定値を小さくしてアイポイント算出値に対して敏感に追従させ（移動平均時間間隔を短くする）、高車速時においては頭部変化が小さくなるため、上記制御判定値を大きくしてアイポイント算出値に対して鈍感に追従させる（移動平均時間間隔を長くする）ことも考えられる。なお、上記では乗車時、停車速時、高車速時のみ記載したが、中車速時などの段階を設けてもよい。
【００６２】
第７実施形態
表示像位置制御において、例えば、乗車時においてドライバ２の乗車時の初期状態（ドライビング姿勢）に対してのアイポイント算出値を基に、ドライバ２が運転中に視線を向けるべき位置を決定することも考えられる。これにより、運転姿勢が崩れたときにも注意喚起することができる。
【００６３】
第８実施形態
また、上述した第１実施形態では、脇見を判定しその旨を報知していたが、本発明はこれに限ったものではない。ドライバ２は運転中に前方視界における視認対象を素早くみつけるため、目が無意識のうちに細かく動いている。そのため、運転中においてドライバ２は前方視界から危険を予測し、危険対象物を素早くみつけようと集中しているため眼球運動は0.1秒から1秒付近の短い停留時間で素早く動く回数が多く、さらに眼球は0.1°程度で細かく揺らいでいる（図１８）。この眼球運動の動きが鈍く動く回数が減り、さらにこの細かな揺らぎが減ってきたとき、つまり眼球運動が0.1秒から1秒付近の短い停留時間が減少し、1秒以上あるような長い停留時間が増加したとき、ドライバ２は漫然状態で運転していると推定できる。
【００６４】
通常の運転中において、ドライバ２は運転に集中しているため、頭部運動と眼球運動の関係は図２２（Ａ）に示す通り、広い範囲に頭部および眼球運動の分布が広がる。しかし、ドライバ２が漫然状態のときは眼球運動が鈍く動く回数が減るため、頭部運動と眼球運動の関係は図２２（Ｂ）に示す通り、眼球運動の角速度が低下し、ある単位時間内において±1.0[deg/sec]付近に眼球の角速度の分布が集まる。これを用いたドライバ状態判定処理の流れを図２３に示す。なお、図２３において、図１１について上述した第１実施形態で既に説明したドライバ状態判定処理と同等のステップについては同一符号を付してその詳細な説明を省略する。
【００６５】
同図に示すように、ＣＰＵ７は、ドライバ状態の解析を行った後（ステップＳ５１）、漫然状態判定手段として働き、図２２に示すように単位時間当たりの眼球の角速度分布を求めた、求めた角速度分布が±1.0[deg/sec]内（＝所定範囲内）のとき（ステップＳ５９でＹ）、漫然状態と判定してドライバ２に対して注意喚起する（ステップＳ６０）。角速度分布が±1.0[deg/sec]よりも大きいときは（ステップＳ５９でＮ）、ステップＳ５２に進み、以降第１実施形態と同様であるため詳細な説明は省略する。
【００６６】
これにより、頭部運動と眼球運動より、ドライバ２の脇見に加え、漫然状態を検出することができる。なお、上記では漫然状態の判定基準を±1.0[deg/sec]付近の分布としたが、個人差があるため判定基準をきつく（例えば±2.0[deg/sec]）設定してもよい。
【００６７】
なお、上述した実施形態において、ドライバ状態判定でドライバが運転できる状態でないと判定したときに、ドライバへ注意喚起する方法は、視覚的伝達手段（情報提示）、聴覚的伝達手段（警告音）、体性感覚伝達手段（ステアリング、シート、シートベルトを振動）であってもよい。
【００６８】
また、前述した実施形態は本発明の代表的な形態を示したに過ぎず、本発明は、実施形態に限定されるものではない。即ち、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。
【符号の説明】
【００６９】
２  ドライバ
３  カメラ（撮影手段）
４  ディスプレイ（照射装置）
５  非球面ミラー（反射板）
７  ＣＰＵ（頭部検出手段、眼球検出手段、前庭動眼反射運動検出手段、半規管頚反射検出手段、正面判定手段、脇見判定手段、輻輳角検出手段、漫然状態判定手段、報知手段、速度検出手段）
【図１】
2014016702.tif 000010
【図２】
2014016702.tif 000011
【図３】
2014016702.tif 000012
【図４】
2014016702.tif 000013
【図５】
2014016702.tif 000014
【図６】
2014016702.tif 000015
【図７】
2014016702.tif 000016
【図８】
2014016702.tif 000017
【図９】
2014016702.tif 000018
【図１０】
2014016702.tif 000019
【図１１】
2014016702.tif 000020
【図１２】
2014016702.tif 000021
【図１３】
2014016702.tif 000022
【図１４】
2014016702.tif 000023
【図１５】
2014016702.tif 000024
【図１６】
2014016702.tif 000025
【図１７】
2014016702.tif 000026
【図１８】
2014016702.tif 000027
【図１９】
2014016702.tif 000028
【図２０】
2014016702.tif 000029
【図２１】
2014016702.tif 000030
【図２２】
2014016702.tif 000031
【図２３】
2014016702.tif 000032