(57)【要約】【課題】ドライバが車両を操舵している場合において、ドライバの状態を安定して検知することができるドライバ監視装置、車両、ドライバ監視方法およびプログラムを提供する。【解決手段】ドライバ監視装置１は、車室内のドライバの状態を撮像する撮像装置２１と、ドライバに向けて赤外線を照射する複数の赤外線照射部２２と、撮像装置２１が撮像した画像に基づいてドライバの状態を判断する制御部３０とを備える。そして、制御部３０は、さらに、一部の赤外線照射部２２とドライバとの間に遮蔽物１０が存在している場合に、他の赤外線照射部２２から赤外線をドライバに照射させる。【選択図】図５
2018120377.tif 000002
【特許請求の範囲】
【請求項１】
車室内のドライバの状態を撮像する撮像装置と、
前記ドライバに向けて赤外線を照射する複数の赤外線照射部と、
前記撮像装置が撮像した画像に基づいて前記ドライバの状態を判断する制御部とを備え、
前記制御部は、さらに、赤外線を照射している一部の前記赤外線照射部と前記ドライバとの間に遮蔽物が存在している場合に、他の前記赤外線照射部から赤外線を前記ドライバに照射させる
ドライバ監視装置。
【請求項２】
前記複数の赤外線照射部のうちの一部が赤外線を照射する場合において、前記制御部は、赤外線を照射している一部の前記赤外線照射部と前記ドライバとの間に前記遮蔽物が存在している場合に、赤外線を照射している一部の前記赤外線照射部を、赤外線を照射していない他の前記赤外線照射部に切換えて、他の前記赤外線照射部から赤外線を前記ドライバに向けて照射させる
請求項１に記載のドライバ監視装置。
【請求項３】
前記制御部は、赤外線を照射している前記赤外線照射部と前記ドライバとの間に前記遮蔽物が存在しているか否かを判断する判断部を有する
請求項１又は２に記載のドライバ監視装置。
【請求項４】
さらに、ステアリングの舵角を検知する舵角検知部を備え、
前記制御部は、前記舵角検知部で検知された角度に応じて前記複数の赤外線照射部を制御する
請求項１〜３のいずれか１項に記載のドライバ監視装置。
【請求項５】
前記撮像装置は、複数設けられ、
前記制御部は、前記赤外線照射部が前記ドライバに赤外線を照射している際に連動して、各々の前記撮像装置に前記ドライバを撮像させる
請求項１〜４のいずれか１項に記載のドライバ監視装置。
【請求項６】
前記撮像装置は、複数設けられ、
さらに、前記舵角検知部が検知した角度に応じて、撮像する前記撮像装置を他の前記撮像装置に切換える撮像装置切換部を備える
請求項４に記載のドライバ監視装置。
【請求項７】
前記赤外線照射部及び前記撮像装置は、ステアリングコラムに配置されている
請求項１〜６のいずれか１項に記載のドライバ監視装置。
【請求項８】
さらに、前記赤外線照射部及び前記撮像装置が動作していることを示す情報を表示する表示部を備える
請求項１〜７のいずれか１項に記載のドライバ監視装置。
【請求項９】
請求項１〜８のいずれか１項に記載の前記ドライバ監視装置を備える
車両。
【請求項１０】
車室内のドライバの状態を撮像する撮像ステップと、
赤外線照射部がドライバに向けて赤外線を照射する赤外線照射ステップと、
一部の前記赤外線照射部と前記ドライバとの間に遮蔽物が存在している場合に、他の前記赤外線照射部から赤外線を前記ドライバに照射させる制御ステップとを含む
ドライバ監視方法。
【請求項１１】
請求項１０に記載のドライバ監視方法をコンピュータに実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドライバ監視装置、車両、ドライバ監視方法およびプログラムに関し、特に、車両を操舵するドライバの状態を検知するドライバ監視装置、ドライバ監視装置を搭載した車両、ドライバ監視方法およびドライバ監視方法を実行するプログラムに関する。
【背景技術】
【０００２】
従来、車両内のドライバの顔を撮影し、ドライバの顔動作等からドライバの状態（挙動）を検知するドライバモニタリング装置（ドライバ監視装置の一例）の技術が知られている（例えば、特許文献１参照）。ドライバモニタリング装置は、ドライバの顔の向き、ドライバの視線の方向等といったドライバの動作の状態を検出するカメラ（撮像装置の一例）と、ドライバに近赤外光（赤外線の一例）を照射する投光器（赤外線照射部）とを備える。このドライバモニタリング装置は、車両のインストゥルメントパネルのうち、ドライバの正面に近い位置に取り付けられている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−９７３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ドライバモニタリング装置を例えばドライバの正面に配置することにより、ドライバが車両を操舵する際に、ドライバの手およびステアリングスポーク等によって、赤外線照射部が照射する赤外線が遮蔽されてしまう場合がある。この場合、ドライバの顔の向き、ドライバの視線の方向等を検出することができなくなる。
【０００５】
本開示は、ドライバが車両を操舵している場合において、ドライバの状態を安定して検知することができるドライバ監視装置、車両、ドライバ監視方法およびプログラムに関する。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様に係るドライバ監視装置は、車室内のドライバの状態を撮像する撮像装置と、前記ドライバに向けて赤外線を照射する複数の赤外線照射部と、前記撮像装置が撮像した画像に基づいて前記ドライバの状態を判断する制御部とを備え、前記制御部は、さらに、赤外線を照射している一部の前記赤外線照射部と前記ドライバとの間に遮蔽物が存在している場合に、他の前記赤外線照射部から赤外線を前記ドライバに照射させる。
【０００７】
上記目的を達成するため、本発明の一態様に係る車両は、前記ドライバ監視装置を備える。
【０００８】
上記目的を達成するため、本発明の一態様に係るドライバ監視方法は、車室内のドライバの状態を撮像する撮像ステップと、赤外線照射部がドライバに向けて赤外線を照射する赤外線照射ステップと、一部の前記赤外線照射部と前記ドライバとの間に遮蔽物が存在している場合に、他の前記赤外線照射部から赤外線を前記ドライバに照射させる制御ステップとを含む。
【０００９】
上記目的を達成するため、本発明の一態様に係るプログラムは、ドライバ監視方法をコンピュータに実行させる。
【００１０】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１１】
本発明によれば、ドライバが車両を操舵している場合において、ドライバの状態を安定して検知することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施の形態に係るドライバ監視装置が車両に用いられる場合を示す模式図である。
【図２】図２は、実施の形態に係るドライバ監視装置が車両のステアリングコラムに配置されている状態を示す図である。
【図３】図３は、実施の形態に係るドライバ監視装置を示すブロック図である。
【図４】図４は、実施の形態に係るドライバ監視装置の動作の状態を示すイメージ図である。
【図５】図５は、実施の形態に係るドライバ監視装置の動作を示すフローチャートである。
【図６】図６は、ステアリングが、通常状態の場合、左操舵状態の場合、右操舵状態の場合における実施の形態に係るドライバ監視装置の動作の状態を示す模式図である。
【図７】図７は、実施の形態の変形例に係るドライバ監視装置を示すブロック図である。
【図８】図８は、実施の形態の変形例に係るドライバ監視装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
（本発明の基礎となった知見）
従来、ドライバの脇見、居眠り等を危険な状態を是正するために、車両内のドライバの顔を撮影し、ドライバの顔動作等からドライバの状態を検知するドライバ監視装置（ドライバモニタリングカメラとも言う）の車両への搭載が進んでいる。
【００１４】
通常、ドライバ監視装置は、ドライバの状態を検知するため、ドライバの顔に対して正面、かつ、ドライバを見上げる位置に設けることが望ましい。これは、ドライバが上下左右方向に向けられる顔の向き、視線の方向等を安定して精度よく検出する必要があるためである。また、ドライバの瞼やまつ毛の影響を受けることなくドライバの眼の状態を安定して検出する必要がある。
【００１５】
また、ドライバ監視装置では、赤外線をドライバに照射し、撮像装置を用いてその反射光を画像として取得する。これは、夜間でもドライバの顔等の状態を検知する必要があることと、ドライバの視線を精度よく検知するために、角膜反射法によりドライバの眼の基準点なるプルキニエ像が検出されるように赤外線を照射する必要がある。
【００１６】
ここで、プルキニエ像は、赤外線照射部が照射した赤外線が、人の眼の角膜表面で反射した場合に映る輝点像である。このプルキニエ像と瞳孔の中心との所定方向の相対的な位置関係に基づいてドライバの視線を導くことができる。具体的には、眼球の向きが変化すると、眼球内に映るプルキニエ像の位置が眼球の向きに対応して移動する。そして、赤外線照射部が眼球に赤外線を照射し、撮像装置が捉える眼球の画像から、瞳孔の中心点と角膜反射点であるプルキニエ像の位置座標とを求めることでドライバの視線を検出する。
【００１７】
このような観点から、ドライバの状態を安定的、かつ、精度よく検知するためには、赤外線照射部および撮像装置を、車両のステアリングコラム又はその周辺に配置する必要がある。
【００１８】
しかしながら、ドライバモニタリング装置をドライバの正面に配置すれば、ドライバがステアリングを操舵することで、ドライバの手およびステアリングのスポーク等によって、赤外線照射部が照射する赤外線が遮蔽されてしまう場合がある。この場合、ドライバの顔の向き、ドライバの視線の方向等を検出することができなくなる。
【００１９】
そこで、ドライバが車両を操舵している場合において、ドライバの状態を安定して検知することができるドライバ監視装置、車両、ドライバ監視方法およびプログラムが求められている。
【００２０】
本開示の一態様に係るドライバ監視装置は、車室内のドライバの状態を撮像する撮像装置と、前記ドライバに向けて赤外線を照射する複数の赤外線照射部と、前記撮像装置が撮像した画像に基づいて前記ドライバの状態を判断する制御部とを備え、前記制御部は、さらに、赤外線を照射している一部の前記赤外線照射部と前記ドライバとの間に遮蔽物が存在している場合に、他の前記赤外線照射部から赤外線を前記ドライバに照射させる。
【００２１】
このように、赤外線を照射している一部の赤外線照射部とドライバとの間に遮蔽物が存在している場合に、制御部が他の赤外線照射部から赤外線をドライバに照射させるため、ドライバが車両を操舵することで、ドライバの手およびステアリングのスポーク等によって、赤外線照射部が照射する赤外線が遮蔽されたとしても、ドライバの状態を検知することができる。
【００２２】
したがって、ドライバが車両を操舵している場合において、ドライバの状態を安定して検知することができる。
【００２３】
また、本開示の一態様に係る車両は、ドライバ監視装置を備える。また、本開示の一態様に係るドライバ監視方法は、車室内のドライバの状態を撮像する撮像ステップと、赤外線照射部がドライバに向けて赤外線を照射する赤外線照射ステップと、一部の前記赤外線照射部と前記ドライバとの間に遮蔽物が存在している場合に、他の前記赤外線照射部から赤外線を前記ドライバに照射させる制御ステップとを含む。また、本開示の一態様に係るプログラムは、ドライバ監視方法をコンピュータに実行させる。
【００２４】
これらにおいても、同様の作用効果を奏する。
【００２５】
また、本開示の一態様に係るドライバ監視装置における、前記複数の赤外線照射部のうちの一部が赤外線を照射する場合において、前記制御部は、赤外線を照射している一部の前記赤外線照射部と前記ドライバとの間に前記遮蔽物が存在している場合に、赤外線を照射している一部の前記赤外線照射部を、赤外線を照射していない他の前記赤外線照射部に切換えて、他の前記赤外線照射部から赤外線を前記ドライバに向けて照射させる。
【００２６】
このように、赤外線が遮蔽物により遮蔽されたとしても、赤外線を照射していない他の赤外線照射部から赤外線をドライバに向けて照射するように制御部が切換えるため、赤外線をドライバに向けて照射することができる。このため、赤外線照射部が照射する赤外線が遮蔽されたとしても、ドライバの状態をより確実に検知することができる。
【００２７】
また、本開示の一態様に係るドライバ監視装置において、前記制御部は、赤外線を照射している前記赤外線照射部と前記ドライバとの間に前記遮蔽物が存在しているか否かを判断する判断部を有する。
【００２８】
このように、赤外線を照射している赤外線照射部とドライバとの間に遮蔽物が存在しているか否かを判断部が判断するため、ドライバ監視装置を具体化することができる。
【００２９】
また、本開示の一態様に係るドライバ監視装置は、さらに、ステアリングの舵角を検知する舵角検知部を備え、前記制御部は、前記舵角検知部で検知された角度に応じて前記複数の赤外線照射部を制御する。
【００３０】
このように、舵角検知部で検知された角度に応じて制御部が複数の赤外線照射部を制御するため、より確実にドライバに赤外線を照射することができる。
【００３１】
また、本開示の一態様に係るドライバ監視装置において、前記撮像装置は、複数設けられ、前記制御部は、前記赤外線照射部が前記ドライバに赤外線を照射している際に連動して、各々の前記撮像装置に前記ドライバを撮像させる。
【００３２】
このように、赤外線照射部がドライバに赤外線を照射している際に、撮像装置がドライバを撮像するため、ドライバの状態をより確実に検知することができる。
【００３３】
また、本開示の一態様に係るドライバ監視装置において、前記撮像装置は、複数設けられ、さらに、前記舵角検知部が検知した角度に応じて、撮像する前記撮像装置を他の前記撮像装置に切換える撮像装置切換部を備える。
【００３４】
このように、撮像装置が遮蔽物によりドライバを撮像することができなくなっても、舵角検知部が検知した角度に応じて、撮像している撮像装置を他の撮像装置が撮像するように撮像装置切換部が切換えるため、ドライバの状態をより確実に撮像することができる。
【００３５】
また、本開示の一態様に係るドライバ監視装置において、前記赤外線照射部及び前記撮像装置は、ステアリングコラムに配置されている。
【００３６】
このように、赤外線照射部及び撮像装置がステアリングコラムに配置されているため、ドライバの正面に赤外線を照射したり、ドライバを正面から撮像したりすることができる。
【００３７】
また、本開示の一態様に係るドライバ監視装置は、さらに、前記赤外線照射部及び前記撮像装置が動作していることを示す情報を表示する表示部を備える。
【００３８】
これによれば、ドライバは、表示部が赤外線照射部及び撮像装置が動作していることを表示部により確認することができるため、ドライバが安心感を得ることができる。
【００３９】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する実施の形態は一例であり、本発明はこれらの実施の形態により限定されるものではない。つまり、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４０】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【００４１】
（実施の形態）
［構成］
まず、本実施の形態に係るドライバ監視装置１の構成について図１〜図４を用いて説明する。
【００４２】
図１は、実施の形態に係るドライバ監視装置１が車両２に用いられる場合を示す模式図である。図２は、実施の形態に係るドライバ監視装置１が車両２のステアリングコラム１５に配置されている状態を示す図である。図３は、実施の形態に係るドライバ監視装置１を示すブロック図である。図４は、実施の形態に係るドライバ監視装置１の動作の状態を示すイメージ図である。図４のハッチング部分は、赤外線を表している。
【００４３】
本実施の形態に係るドライバ監視装置１は、車両２を操舵するドライバの状態を検知する装置であり、車両２に搭載されている。ドライバの状態とは、ドライバが通常の操舵を行うに際し、ドライバが正常な状態、ドライバが脇見の状態、ドライバが居眠りの状態等である。
【００４４】
図１および図２に示すように、ドライバ監視装置１は、矩形状をなしており、車両２の車室内に設けられている。具体的には、ドライバ監視装置１は、ドライバに赤外線を照射し、かつ、ドライバの状態を撮像することができるように、車両２のステアリングコラム１５又はその周辺に配置されている。本実施の形態では、ドライバ監視装置１は、ステアリングコラム１５の上側に配置されている。
【００４５】
図３に示すように、ドライバ監視装置１は、撮像装置２１と、複数の赤外線照射部２２と、制御部３０と、ドライバ状態検知部４０と、舵角検知部５１と、照射切換部２３と、表示部２４とを備える。
【００４６】
撮像装置２１は、車室内のドライバの状態を撮像する装置であり、例えば単眼カメラである。撮像装置２１は、撮像した画像を、後述するドライバ状態検知部４０の顔検出部４１に送信する。撮像装置２１は、ドライバ状態検知部４０を有していてもよい。
【００４７】
撮像装置２１は、赤外線の光軸がドライバの顔（座席のヘッドレスト）と交差するように設けられている。具体的には、撮像装置２１は、車両２の座席に着座したドライバの顔を正面から撮像することができるように配置されている。撮像装置２１の撮影範囲は、ドライバが座席に着座した際に、通常の場合にドライバの顔が位置するであろう空間領域である。本実施の形態では、撮像装置２１は、図１に示すように、ドライバ監視装置１におけるドライバと向かい合う面の中央部分に設けられている。つまり、本実施の形態では、撮像装置２１は、ステアリング１４のステアリングスポーク１１が移動しても、ステアリングスポーク１１に遮られない位置に配置されている。
【００４８】
図３に示すように、赤外線照射部２２は、ドライバに向けて赤外線を照射する装置である。赤外線照射部２２は複数設けられているが、本実施の形態では２つの赤外線照射部２２が設けられている。赤外線照射部２２は、例えば、赤外線を照射するＬＥＤを用いてもよい。
【００４９】
赤外線照射部２２は、赤外線の光軸がドライバの顔（座席のヘッドレスト）と交差するように設けられている。具体的には、図４に示すように、撮像装置２１は、車両２の座席に着座したドライバ３の顔の正面に赤外線を照射することができるように配置されている。本実施の形態では、赤外線照射部２２は、ドライバ監視装置１におけるドライバ３と向かい合う面において、撮像装置２１の両側に配置されている。
【００５０】
この赤外線照射部２２が照射した赤外線では、撮像装置２１によって撮像される顔の撮像画像が、夜間などの外部の環境に大きく影響され難くなり、撮像画像が鮮明になる。赤外線照射部２２の照射範囲は、ドライバ３が座席に着座した際に、ドライバ３の顔が通常の場合、位置するであろう空間領域である。
【００５１】
なお、赤外線照射部２２は、制御部３０の制御に基づいて、撮像装置２１による撮像のタイミングに合わせて赤外線を照射してもよく、ドライバ監視装置１の作動中、常時赤外線を照射し続けてもよい。
【００５２】
図３に示すように、制御部３０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等を有するマイコン等から構成されている。そして、ＣＰＵがＲＯＭから読み出したプログラムをＲＡＭに読み出して実行し、その実行の際に、必要に応じてフラッシュメモリ、撮像装置２１等から情報を取得し、必要に応じて、信号を出力する。
【００５３】
制御部３０は、撮像装置２１が撮像した画像に基づいてドライバの状態を判断する装置であり、撮像装置２１、赤外線照射部２２等の動作を制御する装置でもある。また、制御部３０は、赤外線を照射している一部の赤外線照射部２２とドライバとの間に遮蔽物１０が存在している場合に、他の赤外線照射部２２から赤外線をドライバに照射させる。ここで、一部の赤外線照射部２２とは、複数の赤外線照射部２２の内の一部という意味である。ここで、他の赤外線照射部２２とは、複数の赤外線照射部２２の内の赤外線を照射していない赤外線照射部２２を意味する。
【００５４】
制御部３０は、撮像装置制御部３１と、照射制御部３２と、判断部３３とを有する。
【００５５】
撮像装置制御部３１は、撮像装置２１が撮像するタイミング等の動作を制御する装置である。
【００５６】
照射制御部３２は、点灯および消灯させる複数の赤外線照射部２２を、照射切換部２３を介して制御する装置である。
【００５７】
ドライバ状態検知部４０は、撮像装置２１が撮像した撮像画像を受信し、撮像画像からドライバの顔の状態に関する情報に基づいて、ドライバの顔の向き、ドライバの視線の方向、ドライバの瞼の状態等を検知する装置である。
【００５８】
ドライバ状態検知部４０は、顔検出部４１と、視線検出部４２とを有する。
【００５９】
顔検出部４１は、撮像装置２１が撮像した撮像画像から、ドライバの顔特徴点の位置を特定する。ここで、顔特徴点とは、目頭、瞳孔、目尻、鼻腔、口、耳等の顔の器官における特徴的な点である。顔検出部４１は、ドライバの顔特徴点に関する情報を制御部３０および視線検出部４２に送信する。
【００６０】
視線検出部４２は、顔検出部４１が撮像画像から特定したドライバの顔特徴点に基づいて、ドライバの視線を特定するプルキニエ像を検出する。視線検出部４２は、ドライバの瞳孔から検出したプルキニエ像に基づいて、ドライバの視線の方向を検出する。視線検出部４２は、検出したドライバの視線や瞼に関する情報を判断部３３に送信する。
【００６１】
舵角検知部５１は、ステアリング１４の舵角を検知することができる装置であり、検知した舵角に関する情報を判断部３３に送信する。
【００６２】
判断部３３は、赤外線を照射している赤外線照射部２２とドライバとの間に遮蔽物１０が存在しているか否かを判断する。具体的には、判断部３３は、舵角検知部５１から受信した舵角に関する情報に基づいて、赤外線照射部２２とドライバとの間に遮蔽物１０が存在しているか否かを判断する。つまり、判断部３３は、舵角が所定の角度以上あれば、ステアリング１４のステアリングスポーク１１により赤外線照射部２２とドライバとの間が遮蔽されると判断する。この所定の角度は、予め設定されている値であり、制御部３０が舵角検知部５１で検知された角度に応じて複数の赤外線照射部２２を制御する場合の一例である。
【００６３】
制御部３０の判断部３３は、赤外線を照射している一部の赤外線照射部２２とドライバとの間に遮蔽物１０が存在していると判断した場合に、この判断結果に関する情報を制御部３０の照射制御部３２に送信する。この場合、制御部３０の照射制御部３２は、判断部３３から受信した判断結果に基づいて、赤外線を照射している赤外線照射部２２を他の赤外線照射部２２から赤外線を照射させるために、照射切換部２３を制御する。つまり、遮蔽物１０で遮蔽された赤外線照射部２２を遮蔽物１０で遮蔽されていない赤外線照射部２２に照射切換部２３が切換える。
【００６４】
また、判断部３３は、視線検出部４２からドライバの視線や瞼に関する情報を受信すると、この情報からドライバの状態を判断する。具体的には、ドライバが眠気を催している状態であるか否か、ドライバが居眠り運転をしている状態であるか否か、ドライバが脇見運転をしている状態であるか否か等のドライバの状態を判断する。判断部３３は、ドライバの状態の結果に基づいてドライバに警告又はドライバを覚醒させる等の措置を行う図示しない報知部に送信する。報知部は、例えば、カーナビゲーション、スピーカ、メータなどである。
【００６５】
複数の赤外線照射部２２のうちの一部が赤外線を照射する場合において、赤外線を照射している一部の赤外線照射部２２とドライバとの間に遮蔽物１０が存在している場合に、制御部３０は、赤外線を照射している一部の赤外線照射部２２を、赤外線を照射していない他の赤外線照射部２２に切換えて、他の赤外線照射部２２から赤外線をドライバに向けて照射させる。つまり、照射切換部２３は、複数ある赤外線照射部２２のうち、赤外線を照射している赤外線照射部２２を、赤外線を照射していない他の赤外線照射部２２から赤外線を照射するように切換える。この場合に、制御部３０は、照射する赤外線が遮蔽物１０により遮蔽されている赤外線照射部２２の動作を停止させる。つまり、照射切換部２３は、赤外線を照射している赤外線照射部２２を停止し、赤外線を照射していない他の赤外線照射部２２から赤外線を照射するように切換える。
【００６６】
表示部２４は、制御部３０に接続されており、赤外線照射部２２及び撮像装置２１が動作していることを示す情報を表示する。表示部２４は、例えばランプ、モニタ等でもよい。表示部２４は、赤外線照射部２２及び撮像装置２１が動作している場合には、例えばランプの点灯などで表示してもよい。
【００６７】
次に、ドライバ監視装置１の動作について、図５及び図６を用いて説明する。なお、ドライバ監視装置１を備えた車両２、ドライバ監視方法およびプログラムにおいても同様の動作である。
【００６８】
図５は、実施の形態に係るドライバ監視装置１の動作を示すフローチャートである。図６は、ステアリング１４が、通常状態の場合、左操舵状態の場合、右操舵状態の場合における実施の形態に係るドライバ監視装置１の動作の状態を示す模式図である。本実施の形態では、撮像装置２１が単眼カメラの場合である。
【００６９】
ここでは、ドライバが車両２を操舵している場合に、ドライバ監視装置１が起動している場合を想定している。
【００７０】
図５に示すように、まず、照射制御部３２は、一方の赤外線照射部２２から赤外線を照射させる。ここでは、図６の通常の状態のように、一方の赤外線照射部２２がドライバに赤外線を照射する（Ｓ１：赤外線照射ステップの一例）。
【００７１】
次に、舵角検知部５１は、ステアリング１４の舵角を検知すると、この舵角から舵角に関する情報を生成して判断部３３に送信する（Ｓ２）。例えば、図６の左操舵状態および右操舵状態である。
【００７２】
次に、判断部３３は、ドライバに赤外線を照射している一方の赤外線照射部２２とドライバとの間に遮蔽物１０が存在しているか否かを判断する（Ｓ３）。具体的には、判断部３３は、舵角検知部５１が検知した角度に応じて判断する。例えば、判断部３３がステアリング１４の舵角に関する情報に基づいて、ステアリング１４が通常状態、左操舵状態、右操舵状態のいずれであるかを判断し、それぞれの状態に応じて赤外線照射部２２を切換える。
【００７３】
判断部３３がこの赤外線照射部２２とドライバとの間に遮蔽物１０が存在していると判断した場合（Ｓ３ではＹＥＳ）、遮蔽物１０により赤外線が遮られていると考えられるため、判断部３３が判断結果に関する情報を制御部３０の照射制御部３２に送信する（Ｓ４）。
【００７４】
次に、照射切換部２３は、赤外線を照射している赤外線照射部２２を他の赤外線照射部２２に切換える（Ｓ５：制御ステップの一例）。つまり、照射制御部３２は、判断結果に関する情報に基づいて、一方の赤外線照射部２２（一部の赤外線照射部２２の一例）から他方の赤外線照射部２２（他の赤外線照射部２２の一例）に切換えさせるように照射切換部２３を制御する。具体的には、照射切換部２３は、一方の赤外線照射部２２からの赤外線の照射を停止させるとともに、赤外線を照射していない他方の赤外線照射部２２から赤外線を照射させる。こうして、遮蔽されていない赤外線照射部２２から赤外線がドライバに照射される。
【００７５】
次に、撮像装置制御部３１は、撮像装置２１にドライバを撮像させる（Ｓ６：撮像ステップの一例）。撮像装置２１は、撮像した画像をドライバ状態検知部４０の顔検出部４１に送信する。
【００７６】
次に、撮像装置２１が撮像した画像に基づいて、顔検出部４１がドライバの顔を検出し（Ｓ７）、顔検出部４１がドライバの顔特徴点の位置を特定する。顔検出部４１は、ドライバの顔特徴点に関する情報をドライバ状態検知部４０の視線検出部４２と判断部３３とに送信する。
【００７７】
次に、撮像装置２１が撮像した画像に基づいて、視線検出部４２がドライバの視線を検出し（Ｓ８）、ドライバの視線の方向が特定される。そして、このフローは、ステップＳ２に戻り同様の動作を繰り返す。なお、視線検出部４２がドライバの視線の方向に関する情報を判断部３３に送信し、判断部３３がこの情報に基づいてドライバの状態を判断する。
【００７８】
一方、判断部３３が一方の赤外線照射部２２とドライバとの間に遮蔽物１０が存在していないと判断した場合（Ｓ３ではＮＯ）、赤外線がステアリングスポーク１１に遮られていないと考えられるため、ステップＳ６に進み同様の動作を繰り返す。
【００７９】
なお、ステップＳ３のように赤外線照射部２２とドライバとの間に遮蔽物１０が存在しているか否かの判断を、各ステップにおいて、逐一判断してもよい。
【００８０】
このような、ドライバ監視装置１、車両２、ドライバ監視方法およびプログラムでは、赤外線を照射している赤外線照射部２２が遮蔽物１０で赤外線が遮蔽されても、赤外線を照射していない他の赤外線照射部２２に切換えることで、ドライバの視線の向きを検知することができる。
【００８１】
［作用効果］
次に、本実施の形態におけるドライバ監視装置１、車両２、ドライバ監視方法およびプログラムの作用効果について説明する。
【００８２】
上述したように、本実施の形態に係るドライバ監視装置１は、車室内のドライバの状態を撮像する撮像装置２１と、ドライバに向けて赤外線を照射する複数の赤外線照射部２２と、撮像装置２１が撮像した画像に基づいてドライバの状態を判断する制御部３０とを備える。そして、制御部３０は、さらに、一部の赤外線照射部２２とドライバとの間に遮蔽物１０が存在している場合に、他の赤外線照射部２２から赤外線をドライバに照射させる。
【００８３】
このように、赤外線を照射している一部の赤外線照射部２２とドライバとの間に遮蔽物１０が存在している場合に、制御部３０が他の赤外線照射部２２から赤外線をドライバに照射させるため、ドライバが車両２を操舵することで、ドライバの手およびステアリング１４のスポーク等によって、赤外線照射部２２が照射する赤外線が遮蔽されたとしても、ドライバの状態を検知することができる。
【００８４】
したがって、ドライバが車両２を操舵している場合において、ドライバの状態を安定して検知することができる。
【００８５】
また、本実施の形態に係る車両２は、ドライバ監視装置１を備える。また、本実施の形態に係るドライバ監視方法は、車室内のドライバの状態を撮像する撮像ステップと、ドライバに向けて赤外線を照射する赤外線照射ステップと、一部の赤外線照射部２２とドライバとの間に遮蔽物１０が存在している場合に、他の赤外線照射部２２から赤外線をドライバに照射させる制御ステップとを含む。また、本実施の形態に係るプログラムは、ドライバ監視方法をコンピュータに実行させる。
【００８６】
これらにおいても、同様の作用効果を奏する。
【００８７】
また、本実施の形態に係るドライバ監視装置１における、複数の赤外線照射部２２のうちの一部が赤外線を照射する場合において、制御部３０は、赤外線を照射している一部の赤外線照射部２２とドライバとの間に遮蔽物１０が存在している場合に、赤外線を照射している一部の赤外線照射部２２を、赤外線を照射していない他の赤外線照射部２２に切換えて、他の赤外線照射部２２から赤外線をドライバに向けて照射させる。
【００８８】
このように、赤外線が遮蔽物１０により遮蔽されたとしても、赤外線を照射している他の赤外線照射部２２から赤外線を照射していない他の赤外線照射部２２に切換えるため、他の赤外線照射部２２から赤外線をドライバに向けて照射させることができる。このため、赤外線照射部２２が照射する赤外線が遮蔽されたとしても、ドライバの状態をより確実に検知することができる。
【００８９】
また、本実施の形態に係るドライバ監視装置１において、制御部３０は、赤外線を照射している赤外線照射部２２とドライバとの間に遮蔽物１０が存在しているか否かを判断する判断部３３を有する。
【００９０】
このように、赤外線を照射している赤外線照射部２２とドライバとの間に遮蔽物１０が存在しているか否かを判断部３３が判断するため、ドライバ監視装置１を具体化することができる。
【００９１】
また、本実施の形態に係るドライバ監視装置１は、さらに、ステアリング１４の舵角を検知する舵角検知部５１を備える。そして、制御部３０は、舵角検知部５１で検知された角度に応じて複数の赤外線照射部２２を制御する。
【００９２】
このように、舵角検知部５１で検知された角度に応じて制御部３０が赤外線照射部２２を制御するため、より確実にドライバに赤外線を照射することができる。
【００９３】
また、本実施の形態に係るドライバ監視装置１において、赤外線照射部２２及び撮像装置２１は、ステアリングコラム１５に配置されている。
【００９４】
このように、赤外線照射部２２及び撮像装置２１がステアリングコラム１５に配置されているため、ドライバの正面に赤外線を照射したり、ドライバを正面から撮像したりすることができる。
【００９５】
特に、複数の赤外線照射部２２からドライバの眼に赤外線が照射されれば、ドライバを撮像する画像の輝度が変化してしまい、この輝度の変化が外部からの影響であるか、赤外線照射部２２からの影響であるかの判断が困難となる。しかし、舵角検知部５１で検知された角度に応じて複数の赤外線照射部２２を制御すれば、制御部３０の判断が容易となり、制御部３０の複雑化を抑制することができる。
【００９６】
また、本実施の形態に係るドライバ監視装置１は、さらに、赤外線照射部２２及び撮像装置２１が動作していることを示す情報を表示する表示部２４を備える。
【００９７】
これによれば、ドライバは、表示部２４が赤外線照射部２２及び撮像装置２１が動作していることを表示部２４により確認することができるため、ドライバが安心感を得ることができる。
【００９８】
（実施の形態の変形例）
本変形例では、ドライバ監視装置１００について図７を用いて説明する。
【００９９】
図７は、本変形例に係るドライバ監視装置１００を示すブロック図である。
【０１００】
本変形例では、複数の撮像装置２１を用いている点および複数の撮像装置２１を切換える撮像装置切換部１２５が設けられている点で実施の形態と相違する。
【０１０１】
本変形例において、ドライバ監視装置１００、車両２、ドライバ監視方法およびプログラムにおける他の構成は、実施の形態のドライバ監視装置１、車両２、ドライバ監視方法およびプログラムと同様であり、特に言及する場合を除き、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。
【０１０２】
図７に示すように、ドライバ監視装置１００は、複数の赤外線照射部２２、制御部３０、ドライバ状態検知部４０、舵角検知部５１、判断部３３、照射切換部２３および表示部２４の他に、複数の撮像装置２１と、撮像装置切換部１２５とを備える。
【０１０３】
本変形例では、ドライバ監視装置１００に２つの撮像装置２１が設けられている。各々の撮像装置２１は、撮像装置切換部１２５に接続されている。なお撮像装置２１は、ドライバ状態検知部４０と撮像装置切換部１２５とを有していてもよい。
【０１０４】
制御部３０の撮像装置制御部３１は、赤外線照射部２２がドライバに赤外線を照射している際に連動して、ドライバを撮像させるように各々の撮像装置２１を制御する。
【０１０５】
撮像装置切換部１２５は、舵角検知部５１が検知した角度に応じて、撮像する撮像装置２１を他の撮像装置２１に切換える。具体的には、制御部３０は、判断部３３がドライバと撮像装置２１との間に遮蔽物１０が存在していると判断した場合に、撮像している撮像装置２１を停止し、撮像していない他の撮像装置２１が撮像するように切換える撮像装置切換部１２５を制御する。つまり、撮像装置切換部１２５が一方の撮像装置２１を他方の撮像装置２１に切換える。
【０１０６】
次に、ドライバ監視装置１００の動作について、図８を用いて説明する。なお、車両２、ドライバ監視方法およびプログラムにおいても同様の動作である。
【０１０７】
図８は、本変形例に係るドライバ監視装置１００の動作を示すフローチャートである。
【０１０８】
ここでは、ドライバが車両２を操舵している場合に、ドライバ監視装置１００が起動している場合を想定している。本変形例では、撮像装置２１の一例である単眼カメラが２台の場合である。
【０１０９】
図８に示すように、まず、一方の赤外線照射部２２が赤外線を照射して（Ｓ１）、判断部３３がステアリング１４の舵角に関する情報に基づいて一方の赤外線照射部２２とドライバとの間に遮蔽物１０が存在しているか否かの判断を行う（Ｓ２、Ｓ３）。判断部３３が判断結果に関する情報を照射制御部３２に送信し（Ｓ４）、照射制御部３２によって照射切換部２３が一方の赤外線照射部２２を他方の赤外線照射部２２に切換える（Ｓ５）。
【０１１０】
次に、判断部３３は、撮像装置２１とドライバとの間に、遮蔽物１０が存在しているか否かを判断する（Ｓ１１）。具体的には、判断部３３は、舵角検知部５１が検知した角度に応じて判断する。例えば、判断部３３がステアリング１４の舵角に関する情報に基づいて、ステアリング１４が図６における通常状態、左操舵状態、右操舵状態のいずれであるかを判断し、それぞれの状態に応じて一方の撮像装置２１を他方の撮像装置２１に切換えるか否かの判断を行う。
【０１１１】
判断部３３がこの撮像装置２１とドライバとの間に遮蔽物１０が存在していると判断した場合（Ｓ１１ではＹＥＳ）、遮蔽物１０により赤外線が遮られていると考えられるため、判断部３３が判断結果に関する情報を制御部３０の撮像装置制御部３１に送信する（Ｓ１２）。
【０１１２】
次に、撮像装置切換部１２５は、ドライバを撮像している一方の撮像装置２１を停止するとともに、ドライバを撮像していない他方の撮像装置２１がドライバを撮像させるように切換える（Ｓ１３）。つまり、照射制御部３２は、判断結果に関する情報に基づいて、一方の撮像装置２１を他方の撮像装置２１に切換えるように撮像装置切換部１２５を制御する。こうして、遮蔽されていない撮像装置２１がドライバを撮像することができる。
【０１１３】
次に、撮像装置２１がドライバを撮像した画像を顔検出部４１に送信し（Ｓ６）、顔検出部４１がドライバの顔を検出し（Ｓ７）、視線検出部４２がドライバの視線を検出（Ｓ８）する。そして、このフローは、ステップＳ２に戻り同様の動作を繰り返す。
【０１１４】
一方、判断部３３がこの撮像装置２１とドライバとの間に遮蔽物１０が存在していないと判断した場合（Ｓ１１ではＮＯ）も、同様にステップＳ６〜Ｓ８を経てステップＳ２に戻り同様の動作を繰り返す。
【０１１５】
［作用効果］
次に、本変形例におけるドライバ監視装置１００の作用効果について説明する。
【０１１６】
上述したように、本変形例に係るドライバ監視装置１００において、撮像装置２１は、複数設けられる。そして、制御部３０は、赤外線照射部２２がドライバに赤外線を照射している際に連動して、各々の撮像装置２１にドライバを撮像させる。
【０１１７】
このように、赤外線照射部２２がドライバに赤外線を照射している際に連動して、撮像装置２１がドライバを撮像するため、ドライバの状態をより確実に検知することができる。
【０１１８】
また、本変形例に係るドライバ監視装置１００において、撮像装置２１は、複数設けられる。さらに、舵角検知部５１が検知した角度に応じて、撮像する撮像装置２１を他の撮像装置２１に切換える撮像装置切換部１２５を備える。
【０１１９】
このように、撮像装置２１が遮蔽物１０によりドライバを撮像することができなくなっても、舵角検知部５１が検知した角度に応じて、撮像している撮像装置２１を他の撮像装置２１に撮像させるように切換えるため、ドライバの状態をより確実に撮像することができる。
【０１２０】
この本変形例における作用効果は、実施の形態と同様の作用効果であり、同一の作用効果については詳細な説明を省略する。
【０１２１】
（その他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態および実施の形態の変形例を説明した。しかしながら、実施の形態および実施の形態の変形例における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０１２２】
例えば、上記実施の形態において、図６に示すように、例えば撮像装置２１がステレオカメラであってもよい。この場合、図６のステレオカメラの場合で示すように、ドライバ監視装置２００では、左操舵状態および右操舵状態のように、遮蔽物１０のステアリングスポーク１１に遮断されても、撮像装置２１の切換えを行わずに、一方の赤外線照射部２２を他方の赤外線照射部２２に切換える。
【０１２３】
また、上記実施の形態において、１つの赤外線照射部２２から赤外線をドライバに照射することが好ましい。照射した赤外線が遮蔽物１０により遮蔽された赤外線照射部２２については、制御部３０が赤外線照射部２２の動作を停止させるため、複数の赤外線照射部２２からドライバの眼に赤外線が照射されれば、複数のプルキニエ像が表れてしまうこともない。複数のプルキニエ像がドライバの眼に現れなければ、制御部３０がいずれのプルキニエ像を用いるかの判断を行うこともない。このため、制御部３０が複雑化することを抑制することができる。
【０１２４】
また、本発明に係る実施の形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現され得る。
【０１２５】
上述した機能をプログラムにより実現するコンピュータは、キーボードやマウス、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、プロセッサまたはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ハードディスク装置やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの記憶装置、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。
【０１２６】
そして、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。
【０１２７】
そして、プロセッサまたはＣＰＵが、記憶装置に記憶されたプログラムをＲＡＭにコピーし、そのプログラムに含まれる命令をＲＡＭから順次読み出して実行することにより、上記各装置の機能が実現される。
【産業上の利用可能性】
【０１２８】
本発明に係るドライバ監視装置、ドライバ監視方法およびプログラムは、車両に用いられる。
【符号の説明】
【０１２９】
１、１００、２００  ドライバ監視装置
２  車両
３  ドライバ
１０  遮蔽物
１１  ステアリングスポーク（遮蔽物）
１４  ステアリング
１５  ステアリングコラム
２１  撮像装置
２２  赤外線照射部
２４  表示部
３０  制御部
３３  判断部
５１  舵角検知部
１２５  撮像装置切換部
【図１】
2018120377.tif 000003
【図２】
2018120377.tif 000004
【図３】
2018120377.tif 000005
【図４】
2018120377.tif 000006
【図５】
2018120377.tif 000007
【図６】
2018120377.tif 000008
【図７】
2018120377.tif 000009
【図８】
2018120377.tif 000010