(57)【特許請求の範囲】
【請求項１】
撮像した顔画像を用いて眼の開閉状態を検出する顔画像処理装置において、
前記顔画像に基づいて、眼の開き度合いを表す開度値を検出する開度検出部と、
前記開度検出部が検出した開度値に基づいて、瞬目の特徴量を算出する瞬目特徴量算出部と、
前記瞬目特徴量算出部が算出した瞬目の特徴量に基づいて、瞬目が周期性瞬目か否かを判定する周期性瞬目判定部と、
前記開度検出部が検出した開度値を入力値として、眼の開閉速度に相当する周波数の成分を減衰させると共に遅延させるフィルタ処理を行い、フィルタ値を出力するローパスフィルタ部と、
を備え、
前記瞬目特徴量算出部が算出する瞬目の特徴量は、
前記開度検出部が眼が閉じ始めたと検出した時から眼が開き終わったと検出した時までを示す開閉時間と、
前記開度検出部が検出した瞬目の間隔または両眼の瞬目のいずれか一方または両方と、
を含み、
前記瞬目特徴量算出部は、前記開度検出部が検出した開度値と前記ローパスフィルタ部が出力したフィルタ値との差に基づいて前記開閉時間を算出することを特徴とする、
顔画像処理装置。
【請求項２】
前記瞬目特徴量算出部が算出する瞬目の特徴量は、前記開度検出部が眼が閉じ始めたと検出した時から眼が閉じ終わったと検出した時までを示す閉時間を含み、該閉時間が所定時間継続することを特徴とする請求項１に記載の顔画像処理装置。
【請求項３】
眼の開閉状態を判定するための閉眼判定閾値を更新する閉眼判定閾値更新部をさらに備え、
前記閉眼判定閾値更新部は、前記周期性瞬目判定部が瞬目が周期性瞬目であると判定した時から所定時間前の間に前記開度検出部が検出した開度値の最大値と最小値に基づいて、前記閉眼判定閾値を更新することを特徴とする請求項１または２に記載の顔画像処理装置。
【請求項４】
請求項１乃至３のいずれかに記載の画像処理装置と、
前記画像処理装置から発光の指示を受ける照明部と、
前記発光の指示と同期を取り、前記照明部が照射する顔の画像を撮像する撮像部と、
を備える顔画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像処理装置および顔画像処理システムに関し、特に人の眼を撮像した顔画像に基づいて顔画像を処理する顔画像処理装置および顔画像処理システムに関する。
【背景技術】
【０００２】
従来から、顔の撮像画像に基づいて眼の開閉状態を検出し、生体の状態を判別する装置等が知られている。例えば、特許文献１は、眼の開閉判断の基準値を精度良く設定できる居眠り運転警報装置を開示する。この居眠り運転警報装置は、顔画像の縦方向の画素列の濃度を検出すると共に、その画素列における濃度の高まりとその変化状態によりポイントを抽出する。そして、居眠り運転警報装置は、隣接する画素列方向に近接したポイントを連結して顔の横方向への連続データを抽出し、連続データの中から眼を選択し、その眼を含む縦方向への濃度の高まりとその変化状態よりポイントを抽出し、上記抽出ポイントでの濃度変化状態から眼の開度を検出する。そして、居眠り運転警報装置は、所定の基準値を用いて眼の開閉状態を判定し、必要な場合警報を発する。
【０００３】
また、特許文献２は、閉眼を判断するための閾値を個人差や環境の影響に依らず精度良く安定して設定することができる開閉眼モニタ装置を開示する。この開閉眼モニタ装置は、ＣＣＤカメラの画像データから検出した開度を出力し、開度の時系列データから複数の極小値を抽出すると共に開度の大きさ順に並べ替えた後に、隣り合う極小値の開度差が最大の部分で複数の極小値を開眼候補群と閉眼候補群とに分離し、開眼候補群の最小開度と開眼候補群の標準偏差との差、または閉眼候補群の最大開度と開眼候補群の標準偏差との和を閉眼閾値として設定する。
【０００４】
また、特許文献３は、被撮影者と撮像カメラとの距離が変化したり、顔の向きが変化したりしても、長時間安定して正しく目の開閉を判定する顔画像処理装置を開示する。この顔画像処理装置は、撮像された顔画像から目画像を抽出し、目の開閉度を評価し、開から閉に判定する開閉閾値を設定する。また、この顔画像処理装置は、ふせ目閾値等により、まばたきか又はふせ目であるかを判定し、目の開又は閉の判定を行う。
【０００５】
また、特許文献４は、計測対象者の瞬目動作に基づいて計測対象者の生体状態を信頼性高く判定するための瞬目計測装置を開示する。この瞬目計測装置は、撮像された眼の画像に基づいて、瞼の位置変化に基づいて算出する閉眼速度や閉眼期間に基づいて瞬目動作に関する瞬目特徴量を算出し、この瞬目特徴量に基づいて瞬目動作の種類を判別する。この瞬目計測装置によれば、この瞬目特徴量に基づいて、例えば計測対象者の疲労状態や覚醒状態等の生体状態を判定することが可能となる。しかも、自然瞬目動作と随意瞬目動作などの瞬目動作の種類を判別することで、瞬目動作の種類に応じた適切な瞬目特徴量の評価が可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−１９９７０３号公報
【特許文献２】特開２００４−０４１４８５号公報
【特許文献３】特開平１１−２８５０２６号公報
【特許文献４】特開２０１０−２５４０８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
人の眼の開閉状態には個人差があり、また一個人においても状況によって差が生じる場合がある。たとえば、眼が開いている状態の時の黒目の大きさは、個人差や状況差が有るし、眼を閉じている状態であっても、瞼が少し開き、黒目が見える場合もある。したがって、眼の開閉を判定するための閾値を固定とすると、眼の開閉状態の判定を誤る可能性がある。眼の開閉状態の判定のための閾値を個人ごとに設定する場合であっても、眠たい時や眩しくて眼を細めている場合にデータを取得すると、正確に眼の開閉状態の判定をすることはできない。また、これを回避するために、データを多く取得しようとすると、時間もかかり、メモリ容量も増加する。
そこで、本発明は、周期性瞬目時のデータを用いることで、個人差や状況差による影響を低減した眼の開閉状態を判定する顔画像処理装置およびシステムを提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、撮像した顔画像を用いて眼の開閉状態を検出する顔画像処理装置において、顔画像に基づいて、眼の開き度合いを表す開度値を検出する開度検出部と、開度検出部が検出した開度値に基づいて、瞬目の特徴量を算出する瞬目特徴量算出部と、瞬目特徴量算出部が算出した瞬目の特徴量に基づいて、瞬目が周期性瞬目か否かを判定する周期性瞬目判定部と、開度検出部が検出した開度値を入力値として、眼の開閉速度に相当する周波数の成分を減衰させると共に遅延させるフィルタ処理を行い、フィルタ値を出力するローパスフィルタ部と、を備え、瞬目特徴量算出部が算出する瞬目の特徴量は、開度検出部が眼が閉じつつあると検出した時から眼が開きつつあると検出した時までを示す開閉時間と、開度検出部が検出した瞬目の間隔または両眼の瞬目のいずれか一方または両方と、を含み、瞬目特徴量算出部は、開度検出部が検出した開度値とローパスフィルタ部が出力したフィルタ値との差に基づいて開閉時間を算出することを特徴とする顔画像処理装置が提供される。
これによれば、周期性瞬目時のデータを用いることで個人差等による影響を低減した顔画像処理装置を提供することができる。また、これによれば、簡便な構成により眼の閉眼判定を正確に行うことが可能となる。
【０００９】
さらに、瞬目特徴量算出部が算出する瞬目の特徴量は、開度検出部が眼が閉じ始めたと検出した時から眼が閉じ終わったと検出した時までを示す閉時間を含み、その閉時間が所定時間継続することを特徴としてもよい。
これによれば、閾値を超えたか否かだけでなく、閾値を継続的に超えている時間を特徴量とすることで、ノイズの影響を低減し、より正確に周期性瞬目を検出することができる。
【００１１】
さらに、眼の開閉状態を判定するための閉眼判定閾値を更新する閉眼判定閾値更新部をさらに備え、閉眼判定閾値更新部は、周期性瞬目判定部が瞬目が周期性瞬目であると判定した時から所定時間前の間に開度検出部が検出した開度値の最大値と最小値に基づいて、閉眼判定閾値を更新することを特徴としてもよい。
これによれば、周期性瞬目時の眼の開度値を用いて閉眼判定閾値を算出し更新するので、普段の眼の開き度合いに基づいて閾値を設定することができ、より正確に眼の開閉状態を判定できる。
【００１２】
上記課題を解決するために、上記の画像処理装置と、画像処理装置から発光の指示を受ける照明部と、発光の指示と同期を取り、照明部が照射する顔の画像を撮像する撮像部と、を備える顔画像処理システムが提供される。
これによれば、周期性瞬目時のデータを用いることで個人差等による影響を低減した顔画像処理システムを提供することができる。また、周期性瞬目時のデータを用いることで、周期性瞬目が２回発生するより少し長い時間のデータを用いればよいので、少ないデータ量で迅速に処理ができる顔画像処理システムを提供することができる。
【発明の効果】
【００１３】
本発明によれば、周期性瞬目時のデータを用いることで、個人差や状況差による影響を低減した眼の開閉状態を判定する顔画像処理装置およびシステムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る第一実施例の顔画像処理装置の外観図。
【図２】本発明に係る第一実施例の顔画像処理装置を車両に設けた場合の、（Ａ）上方から見た場合の説明図、（Ｂ）側方からみた場合の説明図。
【図３】本発明に係る第一実施例の顔画像処理装置のブロック図。
【図４】本発明に係る第一実施例の顔画像処理装置における撮像のタイミングチャート。
【図５】本発明に係る第一実施例の顔画像処理装置における全体的な動作を示すフローチャート。
【図６】本発明に係る第一実施例の顔画像処理装置における周期性瞬目の判定処理の方法を示すフローチャート。
【図７】本発明に係る第一実施例の顔画像処理装置における閉眼判定の閾値更新処理の方法を示すフローチャート。
【図８】眼の開度値を説明する説明図、（Ａ）差分画像、（Ｂ）差分画像を微分処理した画像、（Ｃ）微分処理した画像を画素で示した図。
【図９】眼の開度値の変化であるまばたきを説明する説明図。
【図１０】眼の周期性瞬目の特徴を説明する説明図（その１）。
【図１１】眼の周期性瞬目の特徴を説明する説明図（その２）。
【図１２】眼の周期性瞬目における両眼の開度値の変化を示す実測データ図。
【図１３】眼の周期性瞬目の特徴を説明する説明図（その３）。
【図１４】本発明に係る第一実施例の顔画像処理装置におけるローパスフィルタ部の特性図。
【図１５】本発明に係る第一実施例の顔画像処理装置におけるローパスフィルタ部を使用した場合の、眼の周期性瞬目における実測した開度値とフィルタ値の関係を示す説明図。
【図１６】眼の周期性瞬目における実測した開度値とフィルタ値の関係を示す模式図（その１）。
【図１７】眼の周期性瞬目における実測した開度値とフィルタ値の関係を示す模式図（その２）。
【図１８】本発明に係る第一実施例の顔画像処理装置におけるローパスフィルタ部を使用した場合の、眼の周期性瞬目における実測した開度値の最大値と最小値を示す説明図。
【図１９】本発明に係る第一実施例の変形例の顔画像処理装置における周期性瞬目の判定処理の方法を示すフローチャート。
【発明を実施するための形態】
【００１５】
以下では、図面を参照しながら、本発明に係る実施例について説明する。
＜第一実施例＞
図１〜図４を参照し、本実施例における顔画像処理装置１００および顔画像処理装置１００を含む顔画像処理システム１を説明する。顔画像処理システム１は、後述する顔画像処理装置１００と、顔画像処理装置１００から発光の指示を受ける照明部Ｌ０と、その発光の指示と同期を取り、照明部Ｌ０が照射する顔の画像を撮像する撮像部Ｃ０とを備える。顔画像処理システム１は、車両を運転する運転者ＤＲの顔を撮像して運転者ＤＲの運転状態を検出するために、運転者ＤＲの前方正面から顔に向けて光を照射し、撮像するように設けられている。顔画像処理システム１は、ほぼ立方体の同じ面に照明部Ｌ０と撮像部Ｃ０を備えて、その面を運転者ＤＲに向けるようにして、ハンドルＷＬの奥のたとえばハンドル軸部や、インパネ部分やバックミラーなどに配置され、運転者ＤＲが運転中の顔に光を照射し、撮像する。
【００１６】
照明部Ｌ０は、顔を撮像する撮像部Ｃ０の周りを囲むように円環状に配置された複数の発光器Ｌ２と、発光器Ｌ２が発光する光を偏光する照明部偏光子Ｌ１とを有する。本実施例の発光器Ｌ２は、昼間だけでなく夜間の暗い時であっても暗視できる赤外線を発光する発光ダイオードが用いられる。照明部偏光子Ｌ１は、所定の方向に偏光面を有する偏光子である。偏光子は、自然光の中から所定の方向に偏光面を有し、透過光を偏光させる、典型的には偏光板である。照明部Ｌ０は、照明部偏光子Ｌ１を通して発光器Ｌ２が発光する赤外線を外部へ照射する。
【００１７】
撮像部Ｃ０は、レンズを備え赤外線を撮像できるＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラの撮像器Ｃ２と、照明部偏光子Ｌ１の偏光方向と直交する方向に偏光する撮像部偏光子Ｃ１と、可視光を遮断する可視光フィルタＣ３とを有する。したがって、撮像器Ｃ２は、受光して撮像する際撮像部偏光子Ｃ１と可視光フィルタＣ３を通して外部から受光する。すなわち、撮像器Ｃ２は、発光器Ｌ２が偏光して照射した赤外線の反射光を偏光して受光すると共に、自然光の反射光を偏光して赤外線を受光する。
【００１８】
図４に示すように、後述する顔画像処理装置１００の制御部７０は、照明部Ｌ０の発光器Ｌ２に赤外線を発光させ、運転者ＤＲの顔に照射している間に、撮像部Ｃ０に運転者ＤＲの顔を撮像させて第１画像を取得し記憶する。そして、制御部７０は、引き続いて、照明部Ｌ０の発光器Ｌ２の発光を止めた後に、撮像部Ｃ０に運転者ＤＲの顔を自然光のみで撮像させて第２画像を取得し記憶する。第１画像と第２画像を記憶した後、顔画像処理装置１００は、その２つの画像を基に差分画像を生成する。
【００１９】
差分の画像を得るのは、第１画像および第２画像に共通する光すなわち赤外線を照射している際にも存する自然光による反射光によって得られた画像部分を相殺でき精細な画像が得られる点で好ましい。たとえば、所定値以上の大きさで暗い画素が丸くかたまっているものや瞼と瞳の形状をテンプレートとして使用し、この差分画像の中からそのテンプレートとを比較して、合致した部分を眼であると検出する。
【００２０】
なお、本実施例の顔画像処理システム１は、照明部偏光子Ｌ１、撮像部偏光子Ｃ１や可視光フィルタＣ３を有するが、これらは、生成する差分画像から精細な眼（瞼と瞳）の画像を得るために用いているので選択的な構成要件である。たとえば、より精細な画像を撮像できる撮像器があれば、これらは不要であり、必須の構成要件は撮像器Ｃ２と顔画像処理装置１００であると言える。
【００２１】
顔画像処理装置１００は、撮像部Ｃ０が撮像した顔画像を用いて眼の開閉状態を検出する装置である。顔画像処理装置１００は、開度検出部１０と、瞬目特徴量算出部２０と、周期性瞬目判定部３０と、ローパスフィルタ部４０と、閉眼判定閾値更新部５０と、閉眼判定部６０と、制御部７０と、記憶部８０と、外部出力部９０とを備える。なお、記憶部８０は、開度検出部１０やローパスフィルタ部４０の出力値を記憶するたとえば半導体メモリであり、その他の構成要素は、その制御ロジックを含むマイコンである。
【００２２】
開度検出部１０は、撮像部Ｃ０が撮像した顔画像に基づいて、眼の開き度合いを表す開度値を検出する。図８を参照して、開度検出部１０が検出する開度値について説明する。撮像部Ｃ０が撮像して生成した差分画像は階調を有するが（（Ａ）の眼の画像）、眼の開き度合いは瞼の位置または瞳の縦方向の長さとして表されるので、それがより明確になるように（Ａ）の眼の画像を２値化処理または微分処理を行うことによりエッジを抽出する（（Ｂ）の眼の画像）。なお、この段階で上述したテンプレートを使用した眼の検出を行ってもよい。このようにして検出した上瞼と下瞼の間の瞳の縦方向の長さである画素数を検出することができるが（（Ｃ）の眼の画像）、この画素数を開度値と言う。なお、この例では、開度値は６である。すなわち、開度値は、撮像された画像から計測される、黒目部分の縦方向の画素の数であり、検出時の眼の開き度合いに応じて変化する値であり、眼を見開いている時は大きな値であり、眼を瞑っている時は小さな値である。
【００２３】
図９に示すように、開度値は、眼のまばたきにより変化する。本図における点は、撮像された一連の画像（動画）のコマごとの開度値を示す。通常、ＣＣＤカメラの撮像器Ｃ２は、１秒当たり１５コマとか３０コマの画像（動画）を撮像することができるが、開度検出部１０は、その１コマごとの開度値を検出する。人の眼のまばたきは、眼を開いている開度値の大きな状態から眼を閉じた開度値の小さな状態になり、直後に眼を開いている開度の大きな状態になり、本図に示すように、概ねＶ字状の開度値の軌跡を取る。
【００２４】
瞬目特徴量算出部２０は、開度検出部１０が検出した開度値に基づいて、瞬目の特徴量を算出する。瞬目特徴量算出部２０が算出する瞬目の特徴量とは、開度検出部１０が眼が閉じつつあると検出した時から眼が開きつつあると検出した時までを示す開閉時間、開度検出部１０が検出した瞬目の間隔、開度検出部１０が検出した両眼の瞬目、開度検出部１０が眼が閉じ始めたと検出した時から眼が閉じ終わったと検出した時までを示す閉時間などである。
【００２５】
開度検出部１０が眼が閉じ始めたと検出する時とは、図９に示すように、瞼を開いていて開度値がＰ１からＰ７までのようにある程度一定の値で推移している状態から、明らかに開度値が小さくなったＰ８のような状態を言う。また、開度検出部１０が眼が開き始めたと検出する時とは、瞼を閉じつつあり開度値がＰ８からＰ１１までのように小さくなり続けている状態から明らかに開度値が大きくなったＰ１２のような状態を言う。また、眼が開き終わったと検出する時とは、瞼を開きつつあり開度値がＰ１２からＰ１６までのように大きくなり続けている状態から開度値がＰ１７からＰ２１までのようにある程度一定の値で推移している状態を言う。したがって、開度検出部１０が眼が閉じ始めたと検出した時から眼が開き終わったと検出した時までを示す開閉時間とは、Ｐ１６の時間からＰ８の時間を引いた時間である。
【００２６】
また、開度検出部１０が眼が閉じ終わったと検出する時とは、瞼を閉じつつあり開度値がＰ８からＰ１１までのように小さくなり続けている状態から明らかに開度値が大きくなったＰ１２の一つ前のＰ１１のような状態を言う。したがって、開度検出部１０が眼が閉じ始めたと検出した時から眼が閉じ終わったと検出した時までを示す閉時間とは、Ｐ１１の時間からＰ８の時間を引いた時間である。なお、眼が閉じつつあるとは、眼が閉じ始めた時から眼が閉じ終わった時までをいい、眼が開きつつあるとは、眼が開き始めた時から眼が開き終わった時までを言う。
【００２７】
また、開度検出部１０が検出する瞬目の間隔とは、連続して複数のまばたきが起こる場合、それぞれのまばたきの間隔を言う。この間隔は、眼が閉じ始めたＰ８から次のまばたきのＰ８までの時間の間隔でもよいし、眼が開き始めたＰ１２から次のまばたきのＰ１２までの時間の間隔でもよい。また、開度検出部１０が検出する両眼の瞬目とは、左右の眼が同時にまばたきを行うことをいう。たとえば、左右の眼が閉じ始めたＰ８の時間がほぼ同時あることを言う。
【００２８】
周期性瞬目判定部３０は、瞬目特徴量算出部２０が算出した瞬目の特徴量に基づいて、瞬目が周期性瞬目か否かを判定する。瞬目が周期性瞬目であるか否かは、図１０に示すような判定基準に基づく。周期性瞬目とは、人が角膜の湿潤のために無意識に行うまばたきのことであり、ウィンクなどの随意的な瞬きでもなく、眩しさや異物に対しての反射的な瞬きでもない。したがって、周期性瞬目時の眼の開き度合いと閉じ度合いは、その個人の普段の状態におけるものと見なすことができる。周期性瞬目の特徴とは、そのような人が無意識に行うまばたきの特徴を言う。瞬目における周期性瞬目の特徴は、開度検出部１０が眼が閉じ始めたと検出した時から眼が開き終わったと検出した時までを示す開閉時間が概ね３００ｍｓ以下であるということである。人が意識的に遅いまたは速いまばたきを行う場合は、開閉時間が概ね１００ｍｓから３００ｍｓの範囲には収まらない場合が多い。
【００２９】
周期性瞬目の別の特徴は、左右の両眼のまばたきが同時に発生するということである。人が無意識に片目だけまばたきをすることはほとんどなく、無意識のまばたきは両眼で発生する。さらに、周期性瞬目の別の特徴は、まばたきの周期が３〜４秒（１５〜２０回／分）と一定しているということである。図１１に示すように、疲れ目の際にたびたびするまばたき（群発瞬目）は、３〜４秒より短い間隔で不定期に発生するので、３〜４秒の一定の周期で発生するまばたきは、周期性瞬目と認められることが多い。
【００３０】
図１２は、実際に周期性瞬目の開度値を計測したデータを示す。周期性瞬目の開度値の変化は、上述したように概ねＶ字状の軌跡を取り、左右の両眼において同時に同様な軌跡を取り、そのまばたきの時間（開閉時間）は、概ね１００ｍｓ〜３００ｍｓで一定していることが分かる。このような周期性瞬目の特徴を複数組み合わせることで、さらに周期性瞬目の検出を正確に行うことができる。
【００３１】
たとえば、開度検出部１０が眼が閉じ始めたと検出した時から眼が開き始めたと検出した時までを示す開閉時間が概ね１００ｍｓ〜３００ｍｓで一定していることと、開度検出部１０が検出した瞬目の間隔（周期）が３〜４秒（１５〜２０回／分）と一定していることが両方成立した場合に、周期性瞬目判定部３０は、瞬目が周期性瞬目であると判定してもよい。
【００３２】
また、開閉時間が概ね１００ｍｓ〜３００ｍｓで一定していることと、開度検出部１０が両眼が同時に瞬目したことが両方成立した場合に、周期性瞬目判定部３０は、瞬目が周期性瞬目であると判定してもよい。また、開度検出部１０が検出した瞬目の間隔（周期）が３〜４秒（１５〜２０回／分）と一定していることと、開度検出部１０が両眼が同時に瞬目したことが両方成立した場合に、周期性瞬目判定部３０は、瞬目が周期性瞬目であると判定してもよい。また、開閉時間が概ね１００ｍｓ〜３００ｍｓで一定していることと、開度検出部１０が検出した瞬目の間隔（周期）が３〜４秒（１５〜２０回／分）と一定していることと、開度検出部１０が両眼が同時に瞬目したことがすべて成立した場合に、周期性瞬目判定部３０は、瞬目が周期性瞬目であると判定してもよい。
【００３３】
また、従来技術では、正確に眼の開閉状態の判定をするためにデータを多く・長く取得する必要があるが、周期性瞬目に着目する本発明では、図１３に示すように、データを多く・長く取得する必要はない。たとえば、本図（Ａ）に示すような場合、瞬目Ａの次に瞬目Ｂが間隔３〜４秒をおいて発生したが、瞬目Ｂの次に瞬目Ｃが間隔３〜４秒の前に発生しているため、この一連の瞬目Ａ〜Ｃの瞬目Ｂは、周期性瞬目ではないと判定できる。また、本図（Ｂ）に示すような場合、瞬目Ａの次に瞬目Ｂが間隔３〜４秒の前に発生しているため、瞬目Ｂの次に瞬目Ｃが間隔３〜４秒をおいて発生したが、この一連の瞬目Ａ〜Ｃにおける瞬目Ｂは、瞬目Ｃの時点では、周期性瞬目とは判定できない。
【００３４】
一方、本図（Ｃ）に示すような場合は、瞬目Ａの次に瞬目Ｂが間隔３〜４秒をおいて発生し、瞬目Ｂの次に瞬目Ｃが間隔３〜４秒をおいて発生しているため、この一連の瞬目Ａ〜Ｃにおける少なくとも瞬目Ｂは、周期性瞬目と判定できる。このように、一定の周期で発生する特徴のある周期性瞬目時のデータを用いることで、周期性瞬目が２回発生するより少し長い時間、すなわち６〜８秒より少し長い時間である長くとも１０秒程度のデータを取得して用いればよいので、少ないデータ量で迅速に処理ができる。
【００３５】
顔画像処理装置１００および顔画像処理システム１は、撮像部Ｃ０が撮像した顔画像に基づいて、眼の開き度合いを表す開度値を検出する開度検出部１０と、開度検出部１０が検出した開度値に基づいて、瞬目の特徴量を算出する瞬目特徴量算出部２０と、瞬目特徴量算出部２０が算出した瞬目の特徴量に基づいて、瞬目が周期性瞬目か否かを判定する周期性瞬目判定部３０と、を備える。そして、その特徴量は、開度検出部１０が眼が閉じ始めたと検出した時から眼が開き始めたと検出した時までを示す開閉時間と、開度検出部１０が検出した瞬目の間隔または両眼の瞬目のいずれか一方または両方とを含む。これによれば、周期性瞬目時のデータを用いることで個人差等による影響を低減した顔画像処理装置１００および顔画像処理システム１を提供することができる。また、周期性瞬目時のデータを用いることで、周期性瞬目が２回発生するより少し長い時間のデータを用いればよいので、少ないデータ量で迅速に処理ができる顔画像処理装置１００および顔画像処理システム１を提供することができる。
【００３６】
なお、瞬目の特徴量である開閉時間、間隔、および瞬目が両眼で発生したことなどを検出するためには、開度検出部１０がどのように眼が閉じ始めた／閉じ終わったと検出するのか、およびどのように眼が開き始めた／開き終わったと検出するのかが重要となる。図９で説明したように、Ｐ１からＰ７までを瞼を開いていて開度値がある程度一定の値で推移している状態と判断し、Ｐ７からＰ８になった時に開度値が小さくなったと判断するためには、Ｐ７からＰ８の開度値の変化が、それ以前のＰ１からＰ７にはない大きな開度値の変化があったと判断していることになる。これは、Ｐ７からＰ８の開度値の変化が所定の閾値を超えたことにより、瞼を開いている状態から閉じつつある状態に移行したと判断している。
【００３７】
図１２に示すように、継続的に離散的に変化する開度値においては、閾値の値をどうするかで、どこから眼が閉じ始めたのか、どこで眼が閉じ終わったのか、どこから眼が開き始めたのか、どこで眼が開き終わったのかなどの判定が異なってくる。したがって、計測上のノイズを排除しより正確なかかる判定を行うためには、開度値の変化が一時点において所定の閾値を超えたことで判定するよりも、継続的な開度値の変化が生じることから判定することが好ましい。例えば、眼の開度値が閾値よりも小さい状態が継続している時間も、眼が閉じ始めているか否かを判定する場合の要件に追加することで、ノイズの影響を低減し、より正確に周期性瞬目を検出することができる。
【００３８】
顔画像処理装置１００は、さらにローパスフィルタ部４０を備える。ローパスフィルタ部４０は、図１４に示すように、遮断周波数より低い周波数成分を通過し、遮断周波数より高い周波数成分を逓減させ通過させない特性を備えるフィルタである。ローパスフィルタ部４０の遮断周波数が眼の開閉速度に相当する周波数近傍であるか、ローパスフィルタ部４０の遷移域が眼の開閉速度に相当する周波数を含むようにフィルタ特性を定める（たとえば、遮断周波数が３Ｈｚ程度であり、その時定数は、１／（２π＊３Ｈｚ）程度）ことが好ましい。なお、ローパスフィルタ部４０の時定数は、周期性瞬目における眼の開閉速度に対応した値を実験的に決定するかシミュレーションによって決定する。また、眼の開閉速度は、瞼を開いている状態の時の開度値（上瞼と下瞼の間の瞳の縦方向の長さである画素数）と瞼を閉じている状態の時の開度値との差を２倍した値を、眼が閉じ始めた時から眼が開き終わった時までの開閉時間（概ね１００ｍｓ〜３００ｍｓ）で割った値である。
【００３９】
また、ローパスフィルタ部４０の遅延に関わる特性の一つである立ち上がり時間は、眼が閉じ始めた時から眼が開き終わった時までの開閉時間の半分程度の時間（たとえば、０．１秒程度）であることが好ましい。ローパスフィルタ部４０がこのような特性値を備えることで、開閉速度に相当する周波数の成分を減衰させると共に遅延させるフィルタ処理を行い、以下に説明するようなフィルタ値を用いて、開閉時間等を算出することができる。
【００４０】
図１５は、図１２に示した左眼の実測値である開度値（実線）と、その実測値の開度値をローパスフィルタ部４０に入力値として与えた際ローパスフィルタ部４０が出力したフィルタ値（点線）を示す。フィルタ値は、ローパスフィルタ部４０が高周波成分を遮断するので、実測した開度値よりも上下変動が少なくなだらかな曲線なる。また、フィルタ値は、ローパスフィルタ部４０が瞼の開閉速度に相当する周波数成分を減衰させてかつ立ち上りを遅延させるので、開度値自体に比べて、まばたきのＶ字形状における谷が浅くなると共にやや右へシフトして現れる。そうすると、フィルタ値は、眼が閉じている最中（開度値が小さくなっている最中）は同時刻の実測値の開度値よりも大きくなり、眼が開いている最中（開度値が大きくなっている最中）は同時刻の実測値の開度値より小さくなる。
【００４１】
たとえば、仮に図１５に示す矢印線（Ｄ１〜Ｄ６）の長さ（ほぼＹ軸の１目盛）に相当する開度値の差を、眼を閉じ始めた時、眼を閉じ終わった時、眼を開き始めた時、眼を開き終わった時などを検出するための閾値とする。Ｄ１以前には、実測値の開度値とフィルタ値との差においてその閾値以上の差がある時はない。眼が閉じている状態からＤ１において初めてその閾値以上の差が生ずるので、Ｄ１が眼を閉じ始めた時と判定することができる。Ｄ１以降実測値の開度値とフィルタ値との差は大きくなり、Ｄ２においてその差は小さくなるが閾値以上の差がある。その後Ｄ３まで実測値の開度値とフィルタ値との差は、閾値以上であることを継続している。そして、Ｄ３の時点で実測値の開度値とフィルタ値との差が閾値より小さくなった。したがって、Ｄ３以前では閾値以上であった差がＤ３以降は閾値以下になったことを以って、Ｄ３が眼を閉じ終わった時と判定することができる。
【００４２】
また、本図の場合、上述した閉時間で判定した場合であっても、閉時間はＤ２を含むＤ１〜Ｄ３の間で所定時間継続したということができるので、眼が閉じ始めてから眼が閉じ終わったと検出した時までの閉時間が所定時間継続した場合にのみ、開度値の変化が所定の閾値を超えた時を眼が閉じ始められた時と判定してもよい。
【００４３】
眼が閉じ終わった後、眼が開いている最中にはフィルタ値は、逆に実測値の開度値より小さくなる。実測値の開度値とフィルタ値との差が閾値以上になるのはＤ４の時点なので、Ｄ４が眼が開き始めた時と認定することができる。また、眼が開き始めた時から、まばたきの一連のＶ字形状における実測値の開度値とフィルタ値との差が最後に閾値以上であったＤ６を、眼が開き終わった時と認定することができる。
【００４４】
図１６は、実測値の開度値とフィルタ値を模式化したものである。本図に示す例では、眼を閉じつつあることを判定する閾値と、眼を開きつつあることを判定する閾値は異なる大きさであってもよい。たとえば、フィルタ値は、瞼の開閉速度に相当する周波数成分を減衰させてかつ立ち上りを遅延させるので、実測値との差が徐々に大きくなっていく場合が多い。そうすると、眼を閉じつつある最中には、フィルタ値から実測値の開度値を引いた差が、閾値Ａより大きくとなった時を眼を閉じつつある時と判定し、眼を開きつつある最中には、実測値の開度値からフィルタ値を引いた差が、閾値Ｂより大きくなった時を眼が開きつつある時と判定することができる。そうすると、両者の差が閾値Ａより大きくとなった時から閾値Ｂより大きくなった時を計測することにより、開閉時間を計測することが可能となる。
【００４５】
たとえば、図１７（Ａ）に示すように、フィルタ値から実測値の開度値を引いた差が閾値Ａより大きくとなった時であっても、眼を暫く閉じている場合には、閾値Ａより大きくとなった時から閾値Ｂより大きくなった時までの時間である開閉時間が長くなり、それが周期性瞬目とされる所定時間以上（たとえば３００ｍｓ以上）であった場合は、この瞬目は周期性瞬目と判定されない。
【００４６】
また、図１７（Ｂ）に示すように、ゆっくりと眼を閉じたような場合は、フィルタ値から実測値の開度値を引いた差が閾値Ａより大きくなることがないので、眼を閉じつつある状態にあると判定しないために、瞬目と判定されることがない。
【００４７】
このように、顔画像処理装置１００は、開度検出部１０が検出した実測値としての開度値を入力値として、眼の開閉速度に相当する周波数の成分を減衰させると共に遅延させるフィルタ処理を行い、フィルタ値を出力するローパスフィルタ部４０を備えることが好ましい。そして、その瞬目特徴量算出部２０は、開度検出部１０が検出した開度値とローパスフィルタ部４０が出力したフィルタ値との差に基づいて開閉時間を算出する。これによれば、顔画像処理装置１００は、ローパスフィルタという簡便な構成を付加することにより眼の閉眼判定を正確に行うことが可能となる。
【００４８】
顔画像処理装置１００は、さらに閉眼判定閾値更新部５０を備える。閉眼判定閾値更新部５０は、眼の開閉状態を判定するための閉眼判定閾値を更新する。閉眼判定閾値は、上述したように、眼が閉じ始めたことを判定する閾値、眼が閉じ終わったことを判定する閾値、眼が閉じつつあることを判定する閾値などである。かかる閾値を、生じた瞬目が周期性瞬目であると判定した時の直近の瞬目の開度値に基づいて変更してゆくことは、より正確な眼の開閉状態を判定することができることになる。
【００４９】
図１８は、開度検出部１０が、周期性瞬目と判定された瞬目において、たとえば眼が開き始めたと判定された時（図１５におけるＤ４）から過去の所定時間内（たとえば１秒以内）に検出された開度値の最大値と最小値を検出することを示す。かかる直近の開度値の最大値、すなわち上瞼と下瞼の間の瞳の縦方向の長さである画素数の最大値を、瞼を開いている状態の時の開度値と設定し直す。また、かかる直近の開度値の最小値、すなわち上瞼と下瞼の間の瞳の縦方向の長さである画素数の最小値を、瞼を閉じている状態の時の開度値と設定し直す。これらの最大値と最小値の開度値から、それらの値の間のいずれかの値を、眼が閉じ始めたことを判定する閾値、眼が閉じ終わったことを判定する閾値、または眼が閉じつつあることを判定する閾値とすることにより、より正確な眼の開閉状態を判定することができる。
【００５０】
すなわち、個人毎の眼の大きさのばらつきは言うまでもなく、一個人においても、その時の身体の状態や顔と撮像部Ｃ０までの距離によって、開度値（画素数）は変化するので、逐次最新の周期性瞬目の開度値に基づいた閉眼判定を行うことにより、より正確な眼の開閉状態を判定することができる。なお、図１８に示した最大値と最小値は１点の値であるが、たとえば、上位または下位の何個かのデータの平均値や、その平均値に標準偏差を用いて幅を持った値の最大値と最小値にしてもよい。
【００５１】
このように、顔画像処理装置１００は、眼の開閉状態を判定するための閉眼判定閾値を更新する閉眼判定閾値更新部５０を備えることが好ましい。そして、閉眼判定閾値更新部５０は、周期性瞬目判定部３０が瞬目が周期性瞬目であると判定した時から所定時間前の間に開度検出部１０が検出した開度値の最大値と最小値に基づいて、閉眼判定閾値を更新する。これによれば、顔画像処理装置１００は、周期性瞬目時の眼の開度値を用いて閉眼判定閾値を算出し更新するので、普段の眼の開き度合いに基づいて閾値を設定することができ、より正確に眼の開閉状態を判定できる。
【００５２】
記憶部８０は、開度検出部１０が出力した開度値やローパスフィルタ部４０が出力したフィルタ値をその都度記憶し、過去のそれらのデータを必要とする瞬目特徴量算出部２０、閉眼判定閾値更新部５０に提供する。また、記憶部８０は、後述する閉眼の判定を行う閉眼判定部６０にもデータを提供する。制御部７０は、照明部Ｌ０の発光と撮像部Ｃ０の撮像を制御すると共に、顔画像処理装置１００が出力する結果を使用する外部機構（たとえば、居眠り警報装置）に出力する外部出力部９０を通して、外部機構に閉眼判定部６０が行った判定の結果を出力することを制御する。
【００５３】
図５〜図７を参照して、ローパスフィルタ部４０と閉眼判定閾値更新部５０も備える顔画像処理装置１００における動作を説明する。なお、フローチャートにおけるＳはステップを意味する。顔画像処理装置１００は、たとえば、顔画像処理装置１００が取り付けられる車両のイグニションスイッチがオンされた時に開始される。顔画像処理装置１００は、Ｓ１００において、主に開度検出部１０、瞬目特徴量算出部２０、周期性瞬目判定部３０、ローパスフィルタ部４０が機能する、周期性瞬目の判定処理を行う。顔画像処理装置１００は、Ｓ１０において、周期性瞬目の判定処理が終了するまで待ち続ける。なお、後述するように、Ｓ１００の周期性瞬目の判定処理は、瞬目が周期性瞬目であると判定した場合にのみ、終了する。
【００５４】
顔画像処理装置１００は、周期性瞬目の判定処理が終了した場合には、Ｓ３００において、主に閉眼判定閾値更新部５０が機能する、閉眼判定の閾値の更新処理を行う。顔画像処理装置１００の制御部７０は、閉眼判定の閾値の更新処理を行った後、Ｓ１２において、撮像部Ｃ０に撮像させ、差分画像を生成する。顔画像処理装置１００の開度検出部１０は、Ｓ１４において、生成した画像を基に、両眼の開度値を取得する。
【００５５】
閉眼判定部６０は、Ｓ１６において、開度検出部１０が検出した開度値と、閉眼判定閾値更新部５０が更新した最新の閉眼判定の閾値とを比較する。開度値が閉眼判定閾値より小さい場合すなわち眼が閉じている判定された場合、閉眼判定部６０は、Ｓ１８において、閉眼状態が所定時間以上継続しているか否かを検査する。閉眼状態が所定時間以上継続していない場合は再度撮像から繰り返されるが、閉眼状態が所定時間以上継続した場合は、外部出力部９０は、Ｓ２０において、外部機構である居眠り警報装置にその旨を出力する。
【００５６】
Ｓ１６において開度値が閉眼判定閾値以上である場合すなわち眼が開いている判定された場合、外部出力部９０は、Ｓ２２において、外部機構に居眠り警報を停止する旨を出力する。閉眼判定部６０は、Ｓ２４において、Ｓ１８で使用する所定時間である閉眼の継続時間をリセットする。Ｓ２４の終了時にＳ１００に戻るようなフローでも良い。この場合には、閉眼判定の閾値の更新が頻繁に実行されることになる。これ以外にも、閾値の更新の頻度は所望の頻度となるようなフローとしても構わない。
【００５７】
周期性瞬目の判定処理の詳細は、図６に示される。顔画像処理装置１００は、Ｓ１１０において、上述したように撮像部Ｃ０に第１画像と第２画像を撮像させ、その２つの画像を基に差分画像を生成する。開度検出部１０は、Ｓ１２０において、上述したように差分画像から両眼の開度値を取得して、記憶部８０に記憶する。ローパスフィルタ部４０は、Ｓ１３０において、上述したように開度検出部１０が検出した開度値をローパスフィルタ処理し、記憶部８０に記憶する。
【００５８】
顔画像処理装置１００は、Ｓ１４０において、上述したように眼が閉じつつある状態にあるか否かを検査する。なお、本実施例では、本ステップで閉じつつある状態にあるか否かを検査する対象は、右眼か左眼かのいずれかである。たとえば、右眼が検査対象である場合、右眼が閉じつつある状態にない場合は、上記Ｓ１１０〜Ｓ１３０を繰り返す。
【００５９】
右眼が閉じつつある状態にあった場合は、顔画像処理装置１００は、Ｓ１５０において、上述したように撮像部Ｃ０に第１画像と第２画像を撮像させ、その２つの画像を基に差分画像を生成する。開度検出部１０は、Ｓ１６０において、上述したように差分画像から両眼の開度値を取得して、記憶部８０に記憶する。ローパスフィルタ部４０は、Ｓ１７０において、上述したように開度検出部１０が検出した開度値をフィルタ処理し、記憶部８０に記憶する。
【００６０】
顔画像処理装置１００は、Ｓ１８０において、上述したように眼が開きつつある状態にあるか否かを検査する。なお、本ステップで開きつつある状態にあるか否かを検査する対象は、Ｓ１４０の検査対象と同じ眼の右眼である。右眼が開きつつある状態にない場合は、上記Ｓ１５０〜Ｓ１７０を繰り返す。
【００６１】
右眼が開きつつある状態にある場合、瞬目特徴量算出部２０は、Ｓ１９０において、開度検出部１０が眼が閉じつつあると検出した時から眼が開きつつあると検出した時までを示す開閉時間が、第１所定時間内（概ね１００ｍｓ〜３００ｍｓ）か否かを検査する。当該開閉時間が第１所定時間内になかった場合、Ｓ１１０に戻り、顔画像の撮像から行う。当該開閉時間が第１所定時間内にあった場合、瞬目特徴量算出部２０は、Ｓ２００において、現在対象の顔画像は瞬目であると判定する。
【００６２】
周期性瞬目判定部３０は、Ｓ２１０において、瞬目と判定された顔画像は１回目であるか否かを検査する。１回目であった場合は、Ｓ１１０に戻り、顔画像の撮像から行う。１回目ではなかった場合、周期性瞬目判定部３０は、Ｓ２２０において、１回目の瞬目と今回の瞬目との発生間隔が、第２所定時間内（概ね３〜４秒）であるか否かを検査する。当該発生間隔が第２所定時間内になかった場合、Ｓ１１０に戻り、顔画像の撮像から行う。当該発生間隔が第２所定時間内にあった場合、周期性瞬目判定部３０は、Ｓ２３０において、一連の瞬目は周期性瞬目であると判定する。
【００６３】
なお、本図に示すフローチャートは、周期性瞬目の判定基準に、瞬目の開閉時間と間隔を用いた例であり、これに限定されないことは言うまでもなく、周期性瞬目の判定基準に、瞬目の開閉時間と両眼の瞬目を用いてもよい。
【００６４】
閉眼判定の閾値の更新処理の詳細は、図７に示される。閉眼判定閾値更新部５０は、Ｓ３１０において、上述したように直近の１秒間における左眼と右眼の開度値の最大値と最小値を取得する。閉眼判定閾値更新部５０は、Ｓ３２０において、左眼の開眼状態値（周期性瞬目時に計測した開度値の内の最大値を用い、所定の計算式にて算出した値）を、（測定した左眼の開度値の最大値）×０．２５＋（前回の左眼の開眼状態値）×０．７５として設定する。なお、初回は、「前回の開眼状態値」は、たとえば人の平均的な値などのデフォルト値を用いることができる（他のステップ同様）。
【００６５】
また、閉眼判定閾値更新部５０は、Ｓ３３０において、左眼の閉眼状態値（周期性瞬目時に計測した開度値の内の最小値を用い、所定の計算式にて算出した値）を、（測定した左眼の開度値の最小値）×０．２５＋（前回の左眼の閉眼状態値）×０．７５として設定する。
【００６６】
閉眼判定閾値更新部５０は、Ｓ３４０において、右眼の開眼状態値（周期性瞬目時に計測した開度値の内の最大値を用い、所定の計算式にて算出した値）を、（測定した右眼の開度値の最大値）×０．２５＋（前回の右眼の開眼状態値）×０．７５として設定する。また、閉眼判定閾値更新部５０は、Ｓ３５０において、右眼の閉眼状態値（周期性瞬目時に計測した開度値の内の最小値を用い、所定の計算式にて算出した値）を、（測定した右眼の開度値の最小値）×０．２５＋（前回の右眼の閉眼状態値）×０．７５として設定する。
【００６７】
このように、閉眼判定閾値更新部５０は、直近に検出した開度値の最大値と最小値の１／４を既存の最大値と最小値に反映させていくことで、閾値の安定性を確保すると共に、直近の眼の開き度合いに基づいて閾値を設定することができるので、より正確に眼の開閉状態を判定できる。
【００６８】
＜第１実施例の変形例＞
図１９を参照し、周期性瞬目の判定処理の変形例を説明する。顔画像処理装置１００は、Ｓ４１０において、撮像部Ｃ０に第１画像と第２画像を撮像させ、その２つの画像を基に差分画像を生成する。開度検出部１０は、Ｓ４２０において、差分画像から両眼の開度値を取得して、記憶部８０に記憶する。ローパスフィルタ部４０は、Ｓ４３０において、上述したように開度検出部１０が検出した開度値をフィルタ処理し、記憶部８０に記憶する。
【００６９】
顔画像処理装置１００は、Ｓ４４０において、両眼が閉じつつある状態にあるか否かを検査する。すなわち、本変形例では、周期性瞬目の特徴量として、両眼の瞬目も用いる。両眼が閉じつつある状態にない場合は、上記Ｓ４１０〜Ｓ４３０を繰り返す。両眼が閉じつつある状態にあった場合は、顔画像処理装置１００は、Ｓ４５０において、撮像部Ｃ０に第１画像と第２画像を撮像させ、その２つの画像を基に差分画像を生成する。開度検出部１０は、Ｓ４６０において、差分画像から両眼の開度値を取得して、記憶部８０に記憶する。ローパスフィルタ部４０は、Ｓ４７０において、開度検出部１０が検出した開度値をフィルタ処理し、記憶部８０に記憶する。
【００７０】
顔画像処理装置１００は、Ｓ４８０において、両眼が開きつつある状態にあるか否かを検査する。両眼が開きつつある状態にない場合は、上記Ｓ４５０〜Ｓ４７０を繰り返す。両眼が開きつつある状態にある場合、瞬目特徴量算出部２０は、Ｓ４９０において、開度検出部１０が両眼が閉じつつあると検出した時から両眼が開きつつあると検出した時までを示す開閉時間が、第１所定時間内（概ね１００ｍｓ〜３００ｍｓ）か否かを検査する。当該開閉時間が第１所定時間内になかった場合、Ｓ４１０に戻り、顔画像の撮像から行う。当該開閉時間が第１所定時間内にあった場合、瞬目特徴量算出部２０は、Ｓ５００において、現在対象の顔画像は瞬目であると判定する。
【００７１】
周期性瞬目判定部３０は、Ｓ５１０において、瞬目と判定された顔画像は１回目であるか否かを検査する。１回目であった場合は、Ｓ４１０に戻り、顔画像の撮像から行う。１回目ではなかった場合、周期性瞬目判定部３０は、Ｓ５２０において、１回目の瞬目と今回の瞬目との発生間隔が、第２所定時間内（概ね３〜４秒）であるか否かを検査する。当該発生間隔が第２所定時間内になかった場合、Ｓ４１０に戻り、顔画像の撮像から行う。当該発生間隔が第２所定時間内にあった場合、周期性瞬目判定部３０は、Ｓ５３０において、一連の瞬目は周期性瞬目であると判定する。
【００７２】
なお、本発明は、例示した実施例に限定するものではなく、特許請求の範囲の各項に記載された内容から逸脱しない範囲の構成による実施が可能である。すなわち、本発明は、主に特定の実施形態に関して特に図示され、かつ説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施形態に対し、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。
【符号の説明】
【００７３】
１        顔画像処理システム
１００    顔画像処理装置
１０      開度検出部
２０      瞬目特徴量算出部
３０      周期性瞬目判定部
４０      ローパスフィルタ部
５０      閉眼判定閾値更新部
６０      閉眼判定部
７０      制御部
８０      記憶部
９０      外部出力部
Ｌ０      第１照明部
Ｌ１      第１偏光子
Ｌ２      第１発光器
Ｃ０      撮像部
Ｃ１      第２偏光子
Ｃ２      撮像器
Ｃ３      可視光フィルタ
ＤＲ      運転者
ＷＬ      ハンドル
【図１】
0006638523.tif 000002
【図２】
0006638523.tif 000003
【図３】
0006638523.tif 000004
【図４】
0006638523.tif 000005
【図５】
0006638523.tif 000006
【図６】
0006638523.tif 000007
【図７】
0006638523.tif 000008
【図８】
0006638523.tif 000009
【図９】
0006638523.tif 000010
【図１０】
0006638523.tif 000011
【図１１】
0006638523.tif 000012
【図１２】
0006638523.tif 000013
【図１３】
0006638523.tif 000014
【図１４】
0006638523.tif 000015
【図１５】
0006638523.tif 000016
【図１６】
0006638523.tif 000017
【図１７】
0006638523.tif 000018
【図１８】
0006638523.tif 000019
【図１９】
0006638523.tif 000020