(57)【要約】【課題】外乱光に起因するドライバの状態検出精度の低下を軽減する。【解決手段】本実施形態に係る運転者監視装置は、ドライバの顔を撮影する撮影手段と、ドライバの顔に光を照射する照射手段と、照射手段が照射する光量を第１の光量と第２の光量に制御する光量制御手段と、第１の光量の光が照射されたドライバの顔を撮影した一の画像の画像情報と、第２の光量の光が照射されたドライバの顔を撮影した他の画像の画像情報とを比較し、対応する画素の輝度の差分情報に基づいて差分画像を作成する差分画像作成手段と、差分画像作成手段により作成された差分画像から、ドライバの眼を検出する検出手段と、ドライバの眼の画像に基づいて、ドライバの状態を検出する状態検出手段と、を備える。【選択図】図５
2019046141.tif 000002
【特許請求の範囲】
【請求項１】
ドライバの顔を撮影する撮影手段と、
前記ドライバの顔に光を照射する照射手段と、
前記照射手段が照射する光量を第１の光量と第２の光量に制御する光量制御手段と、
前記第１の光量の光が照射された前記ドライバの顔を撮影した一の画像の画像情報と、前記第２の光量の光が照射された前記ドライバの顔を撮影した他の画像の画像情報とを比較し、対応する画素の輝度の差分情報に基づいて差分画像を作成する差分画像作成手段と、
前記差分画像作成手段により作成された差分画像から、前記ドライバの眼を検出する検出手段と、
前記ドライバの眼の画像に基づいて、前記ドライバの状態を検出する状態検出手段と、
を備える運転者監視装置。
【請求項２】
前記第１の光量もしくは前記第２の光量の何れかの光量がゼロである、
請求項１に記載の運転者監視装置。
【請求項３】
前記差分画像作成手段が作成した差分画像の輝度を補正する補正手段を備え、
前記検出手段は、前記補正手段により補正された差分画像から、前記ドライバの眼を検出する、
請求項１または２に記載の運転者監視装置。
【請求項４】
前記光量制御手段は、前記撮影手段の撮影タイミングに同期させて前記照射手段が照射する光量を前記第１の光量と前記第２の光量に制御する、
請求項１から３の何れか一項に記載の運転者監視装置。
【請求項５】
前記差分画像作成手段は、前記撮影手段から取得した画像情報の輝度から前記撮影手段が自動補正した輝度の補正量を差し引いて、自動輝度補正前の画像情報を作成する輝度補正部を備え、
前記差分画像作成手段は、自動輝度補正前の画像情報に基づいて差分画像情報を作成する、
請求項１から４の何れか一項に記載の運転者監視装置。
【請求項６】
前記ドライバの顔の照度に基づいて前記検出手段に供給する画像情報を切り替える画像切替手段を備え、
前記画像切替手段は、
前記ドライバの顔の照度が所定の閾値照度よりも低いと判定した場合、前記差分画像作成手段が作成した差分画像に基づく画像情報を前記検出手段に供給し、
前記ドライバの顔の照度が所定の閾値照度よりも高いと判定した場合、前記撮影手段から取得した画像情報を前記検出手段に供給し、
前記検出手段は、供給された画像情報に基づいて、前記ドライバの眼を検出する、
請求項１から５の何れか一項に記載の運転者監視装置。
【請求項７】
前記状態検出手段は、前記ドライバの顔の向きを検出する、
請求項１から６の何れか一項に記載の運転者監視装置。
【請求項８】
前記状態検出手段は、前記ドライバの眼の開閉状態を検出する、
請求項１から７の何れか一項に記載の運転者監視装置。
【請求項９】
ドライバの顔に照射する光量を変えてドライバの顔を複数撮影する撮影工程と、
第１の光量の光が照射された前記ドライバの顔を撮影した一の画像の画像情報と、第２の光量の光が照射された前記ドライバの顔を撮影した他の画像の画像情報とを比較し、対応する画素の輝度の差分情報に基づいて差分画像を作成する差分画像作成工程と、
前記差分画像から、前記ドライバの眼を検出する検出工程と、
前記ドライバの眼の画像に基づいて、前記ドライバの状態を検出する状態検出工程と、
を含む運転者監視方法。
【請求項１０】
コンピュータを、
ドライバの顔を撮影する撮影手段、
前記ドライバの顔に光を照射する照射手段、
前記照射手段が照射する光量を第１の光量と第２の光量に制御する光量制御手段、
前記第１の光量の光が照射された前記ドライバの顔を撮影した一の画像の画像情報と、前記第２の光量の光が照射された前記ドライバの顔を撮影した他の画像の画像情報とを比較し、対応する画素の輝度の差分情報に基づいて差分画像を作成する差分画像作成手段、
前記差分画像作成手段により作成された差分画像から、前記ドライバの眼を検出する検出手段、
前記ドライバの眼の画像に基づいて、前記ドライバの状態を検出する状態検出手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者監視装置、運転者監視方法、及びプログラムに関する。
【背景技術】
【０００２】
交通事故の原因は種々考えられるが、ドライバの集中力が低下することに起因する人為的なエラーも、交通事故の原因の１つである。人為的なエラーは、ドライバが、会話や車載機器の操作など、運転以外の行動をしたり、疲労や眠気などによって、運転に対する集中力が低下したときなどに、発生する頻度が高くなる。
【０００３】
疲労や眠気などによる集中力の低下は、ドライバ自身での予防が困難である。そのため、居眠りなどに代表されるドライバの状態を検出するための技術が種々提案されている。例えば、撮影したドライバの顔画像を解析してドライバの状態を推定する技術が知られている。しかしながら、従来の車内カメラによる認識技術では、街灯等の外乱光（照明変動）によって、ドライバの状態検出の精度が低下する場合があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４７２８４３２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上述の事情の下になされたもので、外乱光に起因するドライバの状態検出精度の低下を軽減することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本実施形態に係る運転者監視装置は、ドライバの顔を撮影する撮影手段と、ドライバの顔に光を照射する照射手段と、照射手段が照射する光量を第１の光量と第２の光量に制御する光量制御手段と、第１の光量の光が照射されたドライバの顔を撮影した一の画像の画像情報と、第２の光量の光が照射されたドライバの顔を撮影した他の画像の画像情報とを比較し、対応する画素の輝度の差分情報に基づいて差分画像を作成する差分画像作成手段と、差分画像作成手段により作成された差分画像から、ドライバの眼を検出する検出手段と、ドライバの眼の画像に基づいて、ドライバの状態を検出する状態検出手段と、を備える。
【図面の簡単な説明】
【０００７】
【図１】実施形態１に係る運転者監視装置のブロック図である。
【図２】実施形態１に係る撮影装置の配置を示す図である。
【図３】撮影タイミングについて説明するための図である。
【図４】撮影装置によって撮影された画像を示す図である。
【図５】実施形態１に係る制御装置のブロック図である。
【図６】拡張補正について説明するための図である。
【図７】ＣＰＵによって実行される一連の処理を示すフローチャートである。
【図８】ＣＰＵによって実行される一連の画像処理を示すフローチャートである。
【図９】ＣＰＵによって実行される一連の状態検出処理を示すフローチャートである。
【図１０】実施形態２に係る制御装置のブロック図である。
【図１１】実施形態２に係る画像切替部について説明するための図である。
【発明を実施するための形態】
【０００８】
（実施形態１）
本実施形態に係る運転者監視装置は、ドライバの顔向き、目の開閉状態等に基づいて、車両を運転するドライバの状態を監視するための装置である。以下、本実施形態を、図面を参照しつつ説明する。
【０００９】
図１は、本実施形態に係る運転者監視装置１０のブロック図である。この運転者監視装置１０は、図１に示されるように、制御装置２０、照射装置３０、撮影装置３１、音声出力装置３２を備えている。
【００１０】
照射装置３０は、可視光領域外である近赤外線領域の光をドライバの顔に照射する。照射装置３０は、例えば、近赤外線ＬＥＤを備えている。この照射装置３０は、図２に示されるように、例えばバックミラー、ハンドルコラム、ダッシュボードなどに設置される。
【００１１】
照射装置３０は、後述する制御装置２０による制御に基づいて、照射する光量を第１の光量と第２の光量に時間Ｔごとに周期的に変化させる。例えば、撮影装置３１が３０フレーム／秒で画像を撮影する場合、照射装置３０は、照射する光量を１秒間に３０回変化させる。光量が変化するまでの期間に複数フレームの画像を撮影してもよいが、ドライバの状態検出速度を早くするためには、撮影装置３１の撮影速度に合わせて、照射する光量を変化させることが望ましい。
【００１２】
図３は、照射装置３０が照射する光量の時間変化と撮影タイミングを示す図である。横軸は時間であり、縦軸は光量である。図３は、例えば第２の光量がゼロの場合を表している。つまり、制御装置２０が照射装置３０をＴ時間ごとに周期的にオン・オフ制御する場合を示している。オン期間は所定の光量の光を照射する期間であり、オフ期間は光を照射しない期間である。光量を変化するタイミングは、撮影装置３１の撮影タイミングと同期させる。図３では、照射装置３０が光を照射している期間に撮影するタイミングをＢ１，Ｂ２，Ｂ３，Ｂ４で表している。また、図３では、照射装置３０が光を照射していない期間に撮影するタイミングをＤ１，Ｄ２，Ｄ３で表している。つまり、撮影装置３１は、照射装置３０が光を照射している期間に１フレームの画像を撮影し、次の光を照射していない期間に１フレームの画像を撮影する。
【００１３】
撮影装置３１は、例えば、ＣＣＤ（Charge Coupled Device）カメラを有する撮影装置である。この撮影装置３１は、図２に示されるように、例えばハンドルコラムやダッシュボードなどに設置され、ドライバ６０の顔を撮影する。図４は、撮影装置３１によって撮影されたドライバの画像Ｐを示す図である。図４を参照するとわかるように、撮影装置３１は、図２に示すシート６１に着座するドライバ６０の顔が、視野中心に位置するように、設置位置及び視野角が調整されている。この撮影装置３１は、ドライバ６０の顔を例えば３０フレーム／秒で順次撮影し、撮影により取得した画像Ｐの画像情報ＰＤを制御装置２０に順次出力する。
【００１４】
図１に戻り、音声出力装置３２は、制御装置２０からの指示に基づいて、ドライバ６０に対して音声を出力する。この音声出力装置３２は、音声を出力するための増幅器やスピーカを備えている。例えば、制御装置２０がドライバの集中力が低下していると判断した場合、音声出力装置３２は、「危険です」、「注意してください」等の音声を出力する。
【００１５】
制御装置２０は、物理的には、図１に示すように、ＣＰＵ（Central Processing Unit）２１、主記憶部２２、補助記憶部２３、表示部２４、入力部２５、及びインタフェース部２６を有するコンピュータである。
【００１６】
ＣＰＵ２１は、補助記憶部２３に記憶されているプログラムに従って、後述する処理を実行する。
【００１７】
主記憶部２２は、ＲＡＭ（Random Access Memory）等を有している。主記憶部２２は、ＣＰＵ２１の作業領域として用いられる。
【００１８】
補助記憶部２３は、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを有している。補助記憶部２３は、ＣＰＵ２１が実行するプログラム、及び各種パラメータなどを記憶している。また、補助記憶部２３は、撮影装置３１から出力される画像情報ＰＤ、及びＣＰＵ２１による処理結果などを順次記憶する。
【００１９】
表示部２４は、ＬＣＤ（Liquid Crystal Display）などの表示ユニットを有している。表示部２４は、ＣＰＵ２１の処理結果等を表示する。
【００２０】
入力部２５は、入力キーや、タッチパネル等のポインティングデバイスを有している。入力部２５を介して入力されたオペレータの指示は、システムバス２７を経由してＣＰＵ２１に通知される。
【００２１】
インタフェース部２６は、シリアルインターフェイスや、パラレルインタフェースを有している。照射装置３０、撮影装置３１、及び音声出力装置３２は、インタフェース部２６を介して、システムバス２７に接続されている。
【００２２】
制御装置２０は、機能的には、図５に示すように、光量制御部５１、輝度補正部５２、差分画像作成部５３、拡張補正部５４、顔検出部５５、状態検出部５６を備える。
【００２３】
光量制御部５１は、照射装置３０が照射する光量を第１の光量と第２の光量に制御する。光量制御部５１は、図３に示すように、撮影装置３１の撮影タイミングに同期して照射装置３０が照射する光量が変化するように照射装置３０を制御する。この同期方法は、撮影装置３１の撮影タイミングに照射装置３０の光量を切り替えるタイミングを同期させてもよいし、照射装置３０の光量を切り替えるタイミングに撮影装置３１の撮影タイミングを同期させてもよい。
【００２４】
輝度補正部５２は、撮影装置３１が自動で輝度補正をしている場合、撮影装置３１から取得した画像情報の輝度から撮影装置３１が自動補正した輝度の補正量を差し引いて、自動輝度補正前の画像情報ＰＤ２を作成する。撮影装置３１が出力する画像情報ＰＤの輝度が０から２５５で表されているとする。例えば、撮影した画像の画素の輝度の中で、最も高い輝度の値が低い場合（例えば、３０以下である場合）、画素間の輝度差が小さいので不明瞭な画像となる。そこで、最も高い輝度の値（例えば、３０）が例えば２５５になるように輝度を自動で補正している撮影装置が多い。このように自動的に輝度補正された画像情報ＰＤを使用した場合、図３に示すＢ１のタイミングで撮影した画像の画像情報ＰＤとＤ１のタイミングで撮影した画像の画像情報ＰＤとの輝度差から差分画像情報Ｓ１を作成しても、照射装置３０が照射した光のみに基づく画像にはならない。つまり、外乱光を排除した画像にはならない。
【００２５】
そこで、輝度補正部５２は、撮影装置３１から取得した画像情報の輝度から撮影装置３１が自動補正した輝度の補正量を差し引いて、自動輝度補正前の画像情報ＰＤ２を作成する。輝度補正部５２は、撮影装置３１が自動補正した輝度の補正量を撮影装置３１から取得する。例えば、輝度補正部５２は、撮影装置３１の露光時間等から補正した輝度の補正量を推定することもできる。
【００２６】
差分画像作成部５３は、第１の光量の光が照射されたドライバの顔を撮影した一の画像の画像情報と、第２の光量の光が照射されたドライバの顔を撮影した他の画像の画像情報とを比較し、対応する画素の輝度の差分情報に基づいて差分画像を作成する。具体的には、差分画像作成部５３は、図３に示すＢ１のタイミングで撮影した画像の画像情報ＰＤに示される各画素の輝度から、Ｄ１のタイミングで撮影した画像の画像情報ＰＤに示される各画素の輝度を減じて、対応する画素ごとの輝度の差を求め、差分画像情報Ｓ１を作成する。差分画像作成部５３は、図３に示すＢ２のタイミングで撮影した画像の画像情報ＰＤとＤ２のタイミングで撮影した画像の画像情報ＰＤとを比較して、画素ごとの輝度の差を求め、差分画像情報Ｓ１を作成する。以下同様である。
【００２７】
ケース１として、Ｂ１のタイミングとＤ１のタイミングで同じ外乱光が当たっている場合を考える。この場合、差分画像作成部５３の処理により、外乱光の影響を完全に排除することができる。
【００２８】
ケース２として、Ｂ１のタイミングでは外乱光がなく、Ｄ１のタイミングのみに外乱光が当たった場合を考える。時速３６ｋｍ／ｓで走行時に３０フレーム／秒で撮影する場合、約３０ｃｍ移動するごとに１画像を撮影することになる。約３０ｃｍの移動でも外乱光が大きく変化する場合もある。外乱光が当たった部分の画像の画素の輝度は高くなる。したがって、外乱光が当たった部分の画素は、差分画像情報Ｓ１の値が負の値となる。差分画像作成部５３は、差分画像情報Ｓ１の負の値となった画素の輝度を「０」とする。外乱光がドライバの顔以外に当たった場合、ドライバの顔の背景部分の輝度が「０」となる。したがって、ドライバの顔部分の抽出精度を高めることができる。
【００２９】
ケース３として、Ｂ１のタイミングのみに外乱光があり、Ｄ１のタイミングでは外乱光がなかった場合を考える。この場合は、差分画像情報Ｓ１から外乱光の影響を排除することは出来ない。しかし、ケース１からケース３の発生確率を考慮すると、多くの確率で外乱光を排除することができる。
【００３０】
拡張補正部５４は、差分画像作成部５３が作成した差分画像の輝度を補正する。具体的には、拡張補正部５４は、差分画像作成部５３が作成した差分画像情報Ｓ１をヒストグラム拡張により輝度補正する。ヒストグラム拡張とは、例えば、画像の中の画素の中で最も低い輝度を０に、最も高い輝度を２５５に補正し、中間レベルの輝度を比例配分で変換補正する処理である。差分画像情報Ｓ１の輝度分布は、輝度の低い領域に集中している場合もある。つまり、差分画像情報Ｓ１に含まれる画素の輝度の頻度解析を行うと、図６（ａ）に示すように、最低輝度と最高輝度との差が少ない場合がある。このように、最低輝度と最高輝度との差が少ない画像は、メリハリが少なく不明瞭である。拡張補正部５４は、図６（ａ）に示す最も高い輝度を例えば輝度２５５となるように拡張補正を行う。図６（ｂ）は、図６（ａ）を拡張補正した輝度分布である。この補正により、画素間の輝度差を大きくすることができ、顔部と背景部、眼、鼻、口等とを区別しやすいメリハリのある画像を形成することができる。
【００３１】
顔検出部５５は、拡張補正後の差分画像情報Ｓ２からドライバ６０の眼、鼻、口、および顔向き、目の開閉状態を検出する。詳細は後述する。
【００３２】
状態検出部５６は、検出したドライバ６０の眼、鼻、口、および顔向き、目の開閉状態等の画像に基づいて、ドライバの状態を検出する。具体的には、顔の向き、目の開閉状態からドライバの集中力の低下を推定する。
【００３３】
上述のように構成される制御装置２０は、ドライバ６０を監視し、ドライバ６０の集中力が低下していると判定した場合などには、当該ドライバ６０に対してアラームを出力する。以下、本実施形態に係る運転者監視装置１０の動作について、図面を参照しつつ説明する。
【００３４】
図７のフローチャートは、ＣＰＵ２１によって実行されるプログラムの一連の監視処理アルゴリズムに対応している。図７のフローチャートに示される一連の監視処理は、例えば車両のイグニッションスイッチがオンになると実行される。
【００３５】
ＣＰＵ２１は、撮影装置３１から順次送信される画像情報ＰＤを受信すると、差分画像情報Ｓ２を作成する画像処理を行う（ステップＳ１０）。具体的には、図８に示すように、輝度補正部５２において、輝度補正により、撮影装置３１による自動輝度補正前の画像情報ＰＤ２を作成する（ステップＳ１１）。次に、差分画像作成部５３において、照射装置３０が光を照射している期間に撮影した画像の画像情報ＰＤ２と照射装置３０が光を照射していない期間に撮影した画像の画像情報ＰＤ２との差分画像情報Ｓ１を作成する（ステップＳ１２）。さらに、拡張補正部５４において、差分画像情報Ｓ１のヒストグラム拡張補正を行い、差分画像情報Ｓ２を作成する（ステップＳ１３）。ステップＳ１３の処理が終了すると、ＣＰＵ２１は、処理を図７に示すステップＳ２０に遷移させる。
【００３６】
次に、ＣＰＵ２１は、差分画像情報Ｓ２によって規定される画像Ｐからドライバの状態検出処理を行う（ステップＳ２０）。状態検出処理については、図９を参照して説明する。
【００３７】
図９のフローチャートは、状態検出処理において、ＣＰＵ２１によって実行される一連の処理を示す。状態検出処理では、まず、ＣＰＵ２１は、差分画像情報Ｓ２により表される画像Ｐから、ドライバの頭部を検出するための頭部検出処理を実行する（ステップＳ１０１）。頭部検出処理では、例えば、頭部を構成する画素の輝度や、画像Ｐに写るドライバの頭部と背景との境界を示すエッジ、及び頭部と顔との境界を示すエッジなどの特徴量に基づいて、ドライバの頭部の検出が行われる。例えば、ＣＰＵ２１は、画像Ｐから検出された各エッジについて、当該エッジが頭部の輪郭である度合を示す尤度を算出し、尤度が閾値を超える場合に、画像Ｐに頭部が存在すると判断する。なお、頭部の検出は、テンプレートを用いて行ってもよい。
【００３８】
頭部検出処理を終えると、ＣＰＵ２１は、画像Ｐからドライバの顔の輪郭を検出するための顔輪郭検出処理を行う（ステップＳ１０２）。顔輪郭検出処理では、例えば、顔を構成する画素の輝度や、画像Ｐに写るドライバの顔と背景との境界を示すエッジなどの特徴量に基づいて、ドライバの顔の輪郭の検出が行われる。例えば、ＣＰＵ２１は、画像Ｐから検出された各エッジについて、当該エッジが顔の輪郭である度合を示す尤度を算出し、尤度が閾値を超える場合に、画像Ｐに顔の輪郭が存在すると判断する。なお、顔の検出は、テンプレートを用いて行ってもよい。
【００３９】
顔輪郭検出処理を終えると、ＣＰＵ２１は、画像Ｐからドライバの眼を検出するための眼検出処理を行う（ステップＳ１０３）。眼検出処理では、例えば、眼を構成する画素の輝度や、画像Ｐに写るドライバの眼と顔との境界を示すエッジなどの特徴量に基づいて、ドライバの眼の検出が行われる。例えば、ＣＰＵ２１は、画像Ｐから検出された各エッジについて、当該エッジが眼を構成する瞼や光彩の輪郭である度合を示す尤度を算出し、各エッジについての尤度の合計が閾値を超える場合に、画像Ｐに眼の画像が存在すると判断する。
【００４０】
なお、ＣＰＵ２１は、眼のテンプレートを用いて、画像Ｐからドライバの眼を検出することとしてもよい。この場合、ＣＰＵ２１は、眼を検出するためのテンプレートを、画像Ｐの上面で移動させながら、正規化相互相関を示す相関値を尤度として算出する。そして、ＣＰＵ２１は、尤度が  閾値以上で、かつ、尤度が最も大きくなったときのテンプレートの位置に眼の画像が存在すると判断する。
【００４１】
次に、ＣＰＵ２１は、画像Ｐからドライバの鼻を検出するための鼻検出処理を行う（ステップＳ１０４）。鼻検出処理では、例えば、鼻を構成する画素の輝度や、画像Ｐに写るドライバの鼻と顔との境界を示すエッジなどの特徴量に基づいて、ドライバの鼻の検出が行われる。なお、鼻の検出は、眼の検出と同様に、テンプレートを用いて行ってもよい。
【００４２】
鼻検出処理を終えると、ＣＰＵ２１は、画像Ｐからドライバの口を検出するための口検出処理を行う（ステップＳ１０５）。口検出処理では、例えば、口を構成する画素の輝度や、画像Ｐに写るドライバの口と顔との境界を示すエッジなどの特徴量に基づいて、ドライバの口の検出が行われる。なお、口の検出は、眼の検出と同様に、テンプレートを用いて行ってもよい。
【００４３】
頭部検出処理、顔輪郭検出処理、眼検出処理、鼻検出処理、口検出処理では、表１を参照するとわかるように、カウンタ値ｎ１の値に基づいた検出パラメータ、或いはテンプレートを用いて処理が実行される。例えば、カウンタ値ｎ１が０である場合には、正面を向いた顔の画像に最適化された検出パラメータ、或いはテンプレートを用いた頭部、顔の輪郭、眼、鼻、口の検出が行われる。カウンタ値ｎ１が１である場合には、斜め左を向いた顔の画像に最適化された検出パラメータ、或いはテンプレートを用いた頭部、顔の輪郭、眼、鼻、口の検出が行われる。カウンタ値ｎ１が２である場合には、斜め右を向いた顔の画像に最適化された検出パラメータ、或いはテンプレートを用いた頭部、顔の輪郭、眼、鼻、口の検出が行われる。カウンタ値ｎ１が３である場合には、左を向いた顔の画像に最適化された検出パラメータ、或いはテンプレートを用いた頭部、顔の輪郭、眼、鼻、口の検出が行われる。カウンタ値ｎ１が４である場合には、右を向いた顔の画像に最適化された検出パラメータ、或いはテンプレートを用いた頭部、顔の輪郭、眼、鼻、口の検出が行われる。
【００４４】
上記の検出処理では、表１に示される検出パラメータあるいはテンプレートの特徴量と画像Ｐから抽出した特徴量とに基づいて尤度を求め、求めた尤度が所定の閾値以上であるか否かによって、頭部、顔の輪郭、眼、鼻、口を検出したか否かを判断する。
【００４５】
【表１】
2019046141.tif 000003
【００４６】
次に、ＣＰＵ２１は、画像Ｐからカウンタ値ｎ１で規定された顔が検出されたか否かを判断する（ステップＳ１０６）。例えば、カウンタ値ｎ１が０である場合には、上記のステップＳ２０１からステップＳ２０５の処理において、正面を向いた顔の画像に最適化された検出パラメータ、或いはテンプレートを用いた頭部、顔の輪郭、眼、鼻、口の検出が行われる。画像Ｐから、正面を向いた顔の画像に最適化された検出パラメータに該当する頭部、顔の輪郭、眼、鼻、口のいずれかが検出されなかった場合、画像Ｐから正面を向いた顔が検出されなかったと判断される。一方、画像Ｐから、検出パラメータに該当する頭部、顔の輪郭、眼、鼻、口が検出された場合には、画像Ｐから正面を向いた顔が検出されたと判断される。また、カウンタ値ｎ１が１である場合には、左斜め向むきの顔の画像に最適化された検出パラメータ、或いはテンプレートを用いた頭部、顔の輪郭、眼、鼻、口の検出が行われる。カウンタ値ｎ１がその他の値である場合も同様である。
【００４７】
ＣＰＵ２１は、カウンタ値ｎ１に示される検出パラメータで規定される顔が検出されたと判断した場合には（ステップＳ１０６：Ｎｏ）、検出数を示すカウンタ値ｍの値を１繰り上げる（ステップＳ１０７）。該当する顔を検出した履歴を残すためである。
【００４８】
ＣＰＵ２１は、画像Ｐから該当する顔が検出されなかったと判断した場合（ステップＳ１０６：Ｙｅｓ）、或いはステップＳ２０７の処理を終えた場合には、カウンタ値ｎ１の値を１繰り上げる（ステップＳ１０８）。次に、ＣＰＵ２１は、カウンタ値ｎ１の値が４より大きいか否かを判断する（ステップＳ１０９）。画像Ｐについて、表１に示される５通りの検出パラメータ或いはテンプレートを用いた処理が終わっていない場合には（ステップＳ１０９：Ｎｏ）、ＣＰＵ２１は、次の検出パラメータ、或いはテンプレートを用いて、ステップＳ１０１〜Ｓ１０９の処理を繰り返し実行する。
【００４９】
一方、表１に示される５通りの検出パラメータ或いはテンプレートを用いた５通りの比較処理が終わっている場合には（ステップＳ１０９：Ｙｅｓ）、ＣＰＵ２１は、カウンタ値ｎ１をリセットして、検出数を示すカウンタ値ｍが０より大きいか否かを判断する（ステップＳ１１０）。画像Ｐから１回も顔が検出されなかったと判断された場合（ｍ＝０の場合）には（ステップＳ１１０：Ｎｏ）、ＣＰＵ２１は、カウンタ値ｍをリセットして状態検出処理を終了し、処理をステップＳ１０に遷移させる。そして、次の画像情報ＰＤについて、ステップＳ１０、ステップＳ２０の処理を実行する。
【００５０】
一方、画像Ｐから１回でも顔が検出されたと判断した場合（ｍ＞０の場合）には（ステップＳ１１０：Ｙｅｓ）、カウンタ値ｍをリセットして、カウンタ値ｎ１の最大尤度の選択を行う（ステップＳ１１１）。最大尤度の選択では、カウンタ値ｎ１の値ごとに、各処理（ステップＳ１０１〜Ｓ１０５）における尤度の合計を求める。
【００５１】
例えば、各処理（ステップＳ１０１〜Ｓ１０５）における頭部，顔の輪郭、眼、鼻、口についての尤度をそれぞれＬＨ１，ＬＨ２，ＬＨ３，ＬＨ４，ＬＨ５とすると、任意のカウンタ値ｎ１に対応する尤度ＬＨｎ１は、ＬＨ１〜ＬＨ５の和で示される（ＬＨｎ１＝ＬＨ１＋ＬＨ２＋ＬＨ３＋ＬＨ４＋ＬＨ５）。そこで、ＣＰＵ２１は、カウンタ値ｎ１の値（０〜４）ごとに、尤度ＬＨｎ１を演算する。そして、最も尤度ＬＨｎ１が大きいカウンタ値ｎ１の値を選択する。
【００５２】
次に、ＣＰＵ２１は、尤度に基づく選択結果にしたがって、ドライバの顔の向きの判定を行う（ステップＳ１１２）。具体的には、ＣＰＵ２１は、表１を参照するとわかるように、カウンタ値ｎ１が０のときの尤度が最も大きかったときには、ドライバは正面を向いていると判定する。また、カウンタ値ｎ１が１のときの尤度が最も大きかったときには、ドライバは斜め左を向いていると判定する。カウンタ値ｎ１が２のときの尤度が最も大きかったときには、ドライバは斜め右を向いていると判定する。カウンタ値ｎ１が３のときの尤度が最も大きかったときには、ドライバは左を向いていると判定する。カウンタ値ｎ１が４のときの尤度が最も大きかったときには、ドライバは右を向いていると判定する。
【００５３】
ＣＰＵ２１は、ドライバが正面以外を向いていると判定した場合には、音声出力装置３２を駆動して、ドライバに対して「正面を見てください」等のアラームを発報する。
【００５４】
次に、ＣＰＵ２１は、画像Ｐを用いて、ドライバの瞼の開閉の判定を行う（ステップＳ１１３）。瞼の開閉の判定は、例えば、眼の上瞼を示すエッジと、眼の下瞼のエッジとの距離と、閾値との比較により行う。ＣＰＵ２１は、ドライバの瞼が閉じていると判断した場合、もしくは、瞼の開閉回数が少ないと判定した場合には、音声出力装置３２を駆動して、ドライバに対して「危険です」、「起きてください」等のアラームを発報する。なお、眼が１個しか検出されていないときは、瞼の開閉判定を実施しない。
【００５５】
ＣＰＵ２１は、ステップＳ１１３の処理が終了すると処理をステップＳ１０に遷移させる。そして、次の画像情報ＰＤについて、ステップＳ１０、ステップＳ２０の処理を実行する。
【００５６】
（変形例１）
上記の説明では、表１に示される５通りの検出パラメータ或いはテンプレートと比較することにより、ドライバの顔の向きと瞳の開閉状態とからドライバの状態を判断する技術について説明した。しかし、ドライバの状態（集中力の低下）を判断する方法はこれに限定する必要はない。例えば、ドライバの視線方向を検出することにより、車の進行方向の状況に対するドライバの集中力の低下を判断することもできる。具体的には、顔検出部５５が検出した瞳の中心位置、瞳の半径、眼球の中心点を利用して公知の技術に基づいて視線方向を求めることができる。
【００５７】
（実施形態２）
実施形態２に係る運転者監視装置１０の制御装置２０ｂは、図１０に示すように、画像切替部５７を備え、ドライバの顔に当たっている外光の光量によって顔検出部５５に供給する画像情報を切り替える点で実施形態１に係る運転者監視装置１０の制御装置２０と異なる。
【００５８】
ドライバの顔に当たっている外光の光量が多い場合、撮影した画像の画像情報ＰＤの平均輝度は高くなる。この状況で、照射装置３０から光を照射した状態で撮影した画像情報ＰＤの輝度と、光を照射しない状態で撮影した画像情報ＰＤの輝度とを比較すると、輝度の差は小さい。この場合、両者の差分画像情報Ｓ１の輝度分布は、図１１に実線で示すように、輝度のきわめて低い領域に集中した分布になる。これを図１１に点線で示すようにヒストグラム拡張すると、差分画像情報Ｓ１に含まれているノイズ成分が強調されすぎて画像解析の精度低下を招く場合がある。また、ドライバの顔に当たっている外光の光量が多い場合、撮影装置３１から取得した画像情報ＰＤに基づいて顔検出、状態検出を行っても、ドライバの状態検出精度の低下を招く恐れは低い。
【００５９】
画像切替部５７は、ドライバの顔に当たっている外光の光量に基づいて、顔検出部５５に供給する画像情報を切り替える。具体的には、画像切替部５７は、ドライバの顔に当たっている外光の光量が閾値未満である場合には、実施形態１で説明したように、輝度補正部５２、差分画像作成部５３及び拡張補正部５４で作成した差分画像情報Ｓ２を顔検出部５５に供給する。一方、画像切替部５７は、ドライバの顔に当たっている外光の光量が閾値以上である場合には、撮影装置３１から取得した画像情報ＰＤを顔検出部５５にそのまま供給する。撮影装置３１から取得した画像情報ＰＤは、照射装置３０が光を照射している期間の画像情報でも光を照射していない期間の画像情報でもよい。両者の輝度差が小さいからである。
【００６０】
画像切替部５７は、ドライバの顔に当たっている外光の光量を撮影装置３１から取得した露光時間に基づいて推定する。ドライバの顔に当たっている外光の光量が多いほど、撮影装置３１の露光時間が短くなることを利用している。もしくは、画像切替部５７は、図示しない照度センサからドライバの顔部分の照度を取得し、その照度に基づいてドライバの顔に当たっている外光の光量を推定してもよい。
【００６１】
以上に説明したように、本実施形態に係る運転者監視装置１０は、光量制御部５１を備え、照射装置３０の照射する異なる光量下で画像を撮影する。そして、差分画像作成部５３は、異なる光量下で撮影した画像の輝度差に基づいて差分画像情報Ｓ１を作成する。これにより、外乱光の影響を排除した画像情報を作成している。そして、顔検出部５５は、この差分画像情報Ｓ１に基づいてドライバの眼等を検出し、状態検出部５６はドライバの状態を検出する。これにより、本実施形態に係る運転者監視装置１０は、外乱光に起因するドライバの状態検出精度の低下を軽減することができる。
【００６２】
また、本実施形態に係る運転者監視装置１０は、拡張補正部５４を設けて、差分画像情報Ｓ１の輝度の変化を増幅した差分画像情報Ｓ２を作成している。これにより、ドライバの状態検出精度の一層の向上を図ることができる。
【００６３】
また、本実施形態に係る運転者監視装置１０は、光量制御部５１を備え、撮影装置３１の撮影タイミングに同期して照射する光量が変化するように照射装置３０を制御する。これにより、撮影装置３１の撮影能力に応じた差分画像情報Ｓ１を作成することができ、時間経過に伴うドライバの動きに起因する状態検出精度の低下を防止するとともに、運転者監視装置１０の応答速度を速めることができる。
【００６４】
また、本実施形態に係る運転者監視装置１０は、輝度補正部５２を備える。これにより、撮影装置３１が自動輝度補正をした場合でも、外乱光の影響を排除し、ドライバの状態を正確に検出することができる。
【００６５】
また、実施形態２に係る運転者監視装置１０は、画像切替部５７を備える。これにより、ドライバの顔に当たっている外光の光量が多い場合でも、ドライバの状態検出精度の低下を軽減することができる。
【００６６】
なお、上記の説明では、輝度補正部５２が補正する輝度を撮影装置３１から取得する説明をした。しかし、輝度補正の方法はこれに限定する必要はない。輝度補正の方法は、撮影装置３１の補正特性に合わせて変更してもよい。例えば、照度センサからドライバの顔部分の照度を取得し、その照度に基づいてドライバの顔に当たっている外光の光量を推定する。そして、被写体に当たっている光量に対する撮影装置３１の輝度補正特性を予め記憶部に格納しておき、テーブル引きで補正量を求めるようにしてもよい。
【００６７】
また、上記の説明では、照射装置３０が近赤外光を照射する説明をしたが、照射する光は近赤外光に限定する必要はない。外乱光の影響を排除する目的であれば、例えば、可視光、紫外光であってもよい。ただし、ドライバの眼に光を照射するので、眼に害がなく、運転の妨げにならない周波数帯域の光を選択する必要がある。
【００６８】
また、図４を用いた説明では、照射装置３０をオン・オフ制御する説明したが、照射装置３０の照射する光量を増減するように制御してもよい。例えば、照射をオフした後で再度照射を開始した場合の照射装置３０の応答特性が遅い場合には、オン・オフ制御よりも光量の増減制御の方が好ましい。
【００６９】
また、図４を用いた説明では、照射装置３０が照射する光量を変化させるごとに撮影装置３１が１フレームの画像を撮影する説明をした。しかし、光量の切り替えタイミングと撮影タイミングとの関係はこれに限定する必要はない。例えば、光量を切り替えるごとに複数枚（例えば、２枚とか４枚）の画像を撮影するようにしてもよい。撮影装置３１の撮影速度が、画像解析精度に基づく要求撮影速度以上である場合に有効である。この場合、複数枚の差分画像情報Ｓ２の輝度を統計処理する。統計処理の方法はさまざまであるが、例えば、かけ離れた輝度情報を排除するとか、輝度の平均をとる処理を行う。これにより、Ｓ／Ｎの改善を図ることができ、解析精度を向上することができる。
【００７０】
また、ステップＳ１０の画像処理に対してステップＳ２０の状態検出処理の処理時間が長い場合、差分画像情報Ｓ２を選択的に使用するようにしてもよい。また、このような場合、複数の差分画像情報Ｓ２を統計処理してから顔検出部５５に供給するようにしてもよい。統計処理することにより画像解析精度の向上を期待できるからである。
【００７１】
また、差分画像情報Ｓ１は、図３に示すＢ１のタイミングで撮影した画像情報ＰＤとＤ１のタイミングで撮影した画像情報ＰＤとの差分画像情報だけでなく、Ｄ１のタイミングで撮影した画像情報ＰＤとＢ２のタイミングで撮影した画像情報ＰＤとの差分画像情報を作成してもよい。これにより、２倍の差分画像情報を作成することができる。また、この処理によって、実施形態１で説明したケース３の場合でも、Ｄ１のタイミングで撮影した画像情報ＰＤとＢ２のタイミングで撮影した画像情報ＰＤとの差分画像情報として、外乱光の影響を排除した差分画像情報を得ることができる。
【００７２】
また、図６を用いた説明では、取得した差分画像情報Ｓ１の輝度の最大値を２５５にする説明をしたが、例えば上限輝度を２００程度に抑えるようにしてもよい。特に、顔検出部５５が検出した瞳孔から視線推定を行う場合、瞳孔部がハレーションを起こさないように補正する必要がある。周囲の照度が低い場合、瞳孔の輝度が高くなる場合がある。このような場合、瞳孔の画像の輝度を増幅しすぎると、瞳孔部分がハレーション状態となって正確な画像解析ができなくなる場合があるからである。
【００７３】
また、図９に示すフローチャートを用いた説明では、顔検出部５５が検出したドライバ６０の眼、鼻、口、および顔向き、目の開閉状態から状態検出部５６がドライバの状態を検出する説明をした。しかし、ドライバの状態の検出方法はこれに限定する必要はない。例えば、耳の検出を追加してもよい。また、鼻、口の検出を削除するようにしてもよい。
【００７４】
また、図９に示すフローチャートを用いた説明では、フレームごとにドライバの状態を判断して警告等を行う説明をしたが、警告すべきと判断した画像が複数フレーム連続した場合に随時警告をするようにしてもよい。
【００７５】
上記実施形態では、状態検出部５６による検出結果に応じて音声出力装置３２を動作させることとした。これに限らず、検出結果を外部機器へ出力することとしてもよい。例えば、シート６１を振動させてドライバの注意を喚起するようにしてもよい。
【００７６】
以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施しうるものであり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７７】
１０  運転者監視装置
２０，２０ｂ  制御装置
２１  ＣＰＵ
２２  主記憶部
２３  補助記憶部
２４  表示部
２５  入力部
２６  インタフェース部
２７  システムバス
３０  照射装置
３１  撮影装置
３２  音声出力装置
５１  光量制御部
５２  輝度補正部
５３  差分画像作成部
５４  拡張補正部
５５  顔検出部
５６  状態検出部
５７  画像切替部
６０  ドライバ
６１  シート
Ｐ  画像
ＰＤ  画像情報
ＰＤ２  輝度補正後の画像情報
Ｓ１  差分画像情報
Ｓ２  拡張補正後の差分画像情報
【図１】
2019046141.tif 000004
【図２】
2019046141.tif 000005
【図３】
2019046141.tif 000006
【図４】
2019046141.tif 000007
【図５】
2019046141.tif 000008
【図６】
2019046141.tif 000009
【図７】
2019046141.tif 000010
【図８】
2019046141.tif 000011
【図９】
2019046141.tif 000012
【図１０】
2019046141.tif 000013
【図１１】
2019046141.tif 000014