(57)【要約】【課題】車載カメラで車両運転者を監視撮影するカメラシステムにおいて、顔領域検出や眼の瞬き検出を精度良く行える顔状況判定処理装置を提供する。【解決手段】入力画像データをメモリ１８に格納するメモリ制御部２と、メモリから読み出された画像データを顔領域検出用に縮小リサイズするリサイズ処理部５と、リサイズ画像データに基づいて顔領域検出を行って顔領域情報を生成する顔領域検出部６と、動画フレーム更新において画像データまたはリサイズ画像データにおいて基本ブロック単位の動きベクトルを検出して動きベクトル情報を生成する動きベクトル検出部４と、基本ブロック単位の動きベクトル情報から特定部位についてのフレーム単位の動きベクトルの変化を抽出し特定部位動き情報として出力する特定部位動き情報演算手段（１７）と、顔領域情報と特定部位動き情報とに基づいて顔状況の判定を行う顔状況判定処理手段（１７）を備える。【選択図】図１
2008171108.tif 000002
【特許請求の範囲】
【請求項１】
２次元イメージセンサより入力されてくる画像データをメモリに格納するメモリ制御部と、
前記メモリ制御部を介して前記メモリから読み出された前記画像データに対して顔領域検出の規定サイズに縮小リサイズし、リサイズ画像データを前記メモリに格納するリサイズ処理部と、
前記メモリ制御部を介して前記メモリから読み出された前記リサイズ画像データに基づいて顔領域検出を行って顔領域情報を生成する顔領域検出部と、
動画フレーム更新の処理において、前記メモリ制御部を介して前記メモリから読み出された前記画像データまたは前記リサイズ画像データにおいて基本ブロック単位の動きベクトルを検出して動きベクトル情報を生成する動きベクトル検出部と、
前記顔領域検出部による前記顔領域情報が示す顔領域内の特定部位について、前記動きベクトル検出部による前記基本ブロック単位の動きベクトル情報から、前記特定部位についてのフレーム単位の動きベクトルの変化を抽出し特定部位動き情報として出力する特定部位動き情報演算手段と、
前記顔領域検出部による前記顔領域情報と前記特定部位動き情報演算手段による前記特定部位動き情報とに基づいて顔状況の判定を行う顔状況判定処理手段とを備えた顔状況判定処理装置。
【請求項２】
前記２次元イメージセンサによる撮像信号として、カラー情報配列ＲＧＢのベイヤー配列における４画素の配置を基本配置とする信号と、カラー情報配列が水平方向にＲＧＢの３画素の配置を基本配置とする信号を対象とし、前記リサイズ処理部はローパスフィルタ処理により色キャリア情報と高周波情報を除去する請求項１に記載の顔状況判定処理装置。
【請求項３】
前記リサイズ処理部は、元画像における顔領域のトリミング処理または部分拡大処理により前記動きベクトル検出部における動きベクトル抽出用の画像データを生成する請求項１または請求項２に記載の顔状況判定処理装置。
【請求項４】
前記特定部位動き情報演算手段は、前記リサイズ処理部におけるリサイズ比率を利用して前記顔領域内の前記特定部位の推定を行う請求項１から請求項３までのいずれかに記載の顔状況判定処理装置。
【請求項５】
前記特定部位は、両目を含む両目エリア、鼻と頬を含む鼻頬エリア、口を含む口エリアのいずれかまたはすべてである請求項１から請求項４までのいずれかに記載の顔状況判定処理装置。
【請求項６】
前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の動き情報の値が所定の閾値以上であれば眼が瞬いていると判断する請求項５に記載の顔状況判定処理装置。
【請求項７】
前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の動き情報の値が所定の閾値以上のときのパルス数をカウントすることにより、単位時間当たりの眼の瞬き回数情報を抽出する請求項６に記載の顔状況判定処理装置。
【請求項８】
前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の動き情報の絶対値の単位時間当たりの積算値についてフレーム単位の変化量に着目し、その積算値についてのフレーム単位の変化量が減少してきた場合は、眼の瞬きの速度が落ちてきていると判断する請求項５に記載の顔状況判定処理装置。
【請求項９】
前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記口エリアでの時間軸上の動きベクトル情報の値が不定期に変化しているときは、被写体人物が話しをしていると判断する請求項５に記載の顔状況判定処理装置。
【請求項１０】
前記顔状況判定処理手段は、前記フレーム内の顔領域が固定位置にあると判断する場合に、前記鼻頬エリアでの時間軸上の動き情報の値を用いる代わりに、前記顔領域検出部による前記顔領域情報の変動量が所定の閾値以下にあるときに、前記顔領域が固定位置にあると判断する請求項６から請求項９までのいずれかに記載の顔状況判定処理装置。
【請求項１１】
前記顔状況判定処理手段は、前記眼の瞬きの回数が減ってきていると判断したときに、さらに、前記単位時間当たりの積算値についてのフレーム単位の変化量が減少して眼の瞬きの速度が落ちてきていると判断したときは、被写体人物が居眠り状態にあると推定する請求項７に記載の顔状況判定処理装置。
【請求項１２】
前記顔状況判定処理手段は、前記眼の瞬きの回数が減ってきていると判断したときに、さらに、前記口エリアでの時間軸上の動き情報の絶対値の単位時間当たりの積算値が減少して口数が少なくなってきていると判断したときは、被写体人物が居眠り状態にあると推定する請求項７に記載の顔状況判定処理装置。
【請求項１３】
請求項１から請求項１２までのいずれかに記載の顔状況判定処理装置を搭載している撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両事故を未然に防ぐフェイルセーフのための画像処理技術の一環として、車載カメラで車両運転者を監視撮影し、運転中の居眠りなどを検出する顔状況判定処理装置および撮像装置に関する。
【背景技術】
【０００２】
近年、車両事故を未然に防ぐために車両運転者を監視するカメラの技術が具体化してきている。これには、デジタルカメラの高速化と高画質化の技術向上が寄与している。
【０００３】
運転者等の眼の状態を検出する画像処理装置として、例えば特許文献１に記載されたものがある。その基本構成を図５に示す。図５において、３１は運転者の顔部分を照射する赤外ストロボ、３２は運転者の顔部分を撮影するＴＶカメラ、３３は赤外ストロボ３１の発光とＴＶカメラ３２の画像入力のタイミングを合わせるタイミング指令回路、３４はＴＶカメラ３２が撮影した入力画像をデジタル量に変換するＡ／Ｄ変換器、３５は画像データを格納する画像メモリ、３６は画像メモリ３５から読み出した画像データにおいて眼球の存在位置領域を規定する眼球存在位置規定回路、３７は眼球存在位置規定回路３６で規定された領域において画像メモリ３５内の画像データを処理して眼の虹彩部分を検出する虹彩検出回路、３８は虹彩検出結果から運転者の居眠りやわき見の有無等の状態を判定する居眠りわき見判定回路である。この装置においては、運転者の顔の画像データをＡ／Ｄ変換器３４において２値化し、眼球存在位置規定回路３６によって画像データの水平・垂直方向への白画素または黒画素の連続性で顔幅検出および運転者の眼の位置の検出を行う。さらに、虹彩検出回路３７によって眼の虹彩部を検出し、居眠りわき見判定回路３８において虹彩の検出結果から運転者の開眼、閉眼（眼の開閉状態）の判定を通じて運転者の居眠りや脇見などの状態を判別する。この技術は、居眠り運転や脇見運転の警報に利用される。
【特許文献１】特開平４−１７４３０９号公報（第３−９頁、第１−１２図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来の画像処理装置は、撮像した画像において顔がまっすぐになっていることを前提としている。しかし、実際の運転においては、長時間同じ姿勢をとった結果、疲れや眠気等が進むと、顔の位置や角度が変化し、その結果、顔幅検出や眼の位置検出の精度が劣化するという問題がある。
【０００５】
本発明は、このような事情に鑑みて創作したものであり、顔領域検出や眼の瞬き検出を精度良く行える顔状況判定処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明による顔状況判定処理装置は、
２次元イメージセンサより入力されてくる画像データをメモリに格納するメモリ制御部と、
前記メモリ制御部を介して前記メモリから読み出された前記画像データに対して顔領域検出の規定サイズに縮小リサイズし、リサイズ画像データを前記メモリに格納するリサイズ処理部と、
前記メモリ制御部を介して前記メモリから読み出された前記リサイズ画像データに基づいて顔領域検出を行って顔領域情報を生成する顔領域検出部と、
動画フレーム更新の処理において、前記メモリ制御部を介して前記メモリから読み出された前記画像データまたは前記リサイズ画像データにおいて基本ブロック単位の動きベクトルを検出して動きベクトル情報を生成する動きベクトル検出部と、
前記顔領域検出部による前記顔領域情報が示す顔領域内の特定部位について、前記動きベクトル検出部による前記基本ブロック単位の動きベクトル情報から、前記特定部位についてのフレーム単位の動きベクトルの変化を抽出し特定部位動き情報として出力する特定部位動き情報演算手段と、
前記顔領域検出部による前記顔領域情報と前記特定部位動き情報演算手段による前記特定部位動き情報とに基づいて顔状況の判定を行う顔状況判定処理手段とを備えたものである。
【０００７】
この構成においては、フレームごとに顔領域と特定部位（眼や口）の動きベクトルとを同時に検出し、顔状況判定処理手段が顔領域情報と特定部位動き情報とに基づいて顔状況の判定を行うので、特定部位の状況を精度良く判定することが可能となる。その結果、居眠り状態の判定を安定良く行う上で有利な展開が期待される。
【０００８】
上記構成の顔状況判定処理装置において、前記２次元イメージセンサによる撮像信号として、カラー情報配列ＲＧＢのベイヤー配列における４画素の配置を基本配置とする信号と、カラー情報配列が水平方向にＲＧＢの３画素の配置を基本配置とする信号を対象とし、前記リサイズ処理部はローパスフィルタ処理により色キャリア情報と高周波情報を除去するという態様がある。
【０００９】
また、上記の構成の顔状況判定処理装置において、前記リサイズ処理部は、元画像における顔領域のトリミング処理または部分拡大処理により前記動きベクトル検出部における動きベクトル抽出用の画像データを生成するという態様がある。動きベクトル検出部が基本ブロック単位の動きベクトルを抽出する際に、顔領域の大きさを基本ブロック処理のサイズに対して十分大きなサイズにすることが可能となる。
【００１０】
また、上記の構成の顔状況判定処理装置において、前記特定部位動き情報演算手段は、前記リサイズ処理部におけるリサイズ比率を利用して前記顔領域内の前記特定部位の推定を行うという態様がある。
【００１１】
また、上記の構成の顔状況判定処理装置において、前記特定部位は、両目を含む両目エリア、鼻と頬を含む鼻頬エリア、口を含む口エリアのいずれかまたはすべてであるという態様がある。
【００１２】
また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の動き情報の値が所定の閾値以上であれば眼が瞬いていると判断するという態様がある。
【００１３】
また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の動き情報の値が所定の閾値以上のときのパルス数をカウントすることにより、単位時間当たりの眼の瞬き回数情報を抽出するという態様がある。
【００１４】
また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の動き情報の絶対値の単位時間当たりの積算値についてフレーム単位の変化量に着目し、その積算値についてのフレーム単位の変化量が減少してきた場合は、眼の瞬きの速度が落ちてきていると判断するという態様がある。
【００１５】
また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記口エリアでの時間軸上の動きベクトル情報の値が不定期に変化しているときは、被写体人物が話しをしていると判断するという態様がある。
【００１６】
また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記フレーム内の顔領域が固定位置にあると判断する場合に、前記鼻頬エリアでの時間軸上の動き情報の値を用いる代わりに、前記顔領域検出部による前記顔領域情報の変動量が所定の閾値以下にあるときに、前記顔領域が固定位置にあると判断するという態様がある。
【００１７】
また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記眼の瞬きの回数が減ってきていると判断したときに、さらに、前記単位時間当たりの積算値についてのフレーム単位の変化量が減少して眼の瞬きの速度が落ちてきていると判断したときは、被写体人物が居眠り状態にあると推定するという態様がある。
【００１８】
また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記眼の瞬きの回数が減ってきていると判断したときに、さらに、前記口エリアでの時間軸上の動き情報の絶対値の単位時間当たりの積算値が減少して口数が少なくなってきていると判断したときは、被写体人物が居眠り状態にあると推定するという態様がある。
【００１９】
本発明による撮像装置は、上記のいずれかの顔状況判定処理装置を搭載したものである。
【発明の効果】
【００２０】
本発明によれば、車載カメラで車両運転者を監視撮影しながら顔領域と特定部位（眼や口）の動きベクトルとを同時に検出し、目の動きや口の動きなどの判断を通じて運転中の居眠りなどを安定して検出することができ、事故を未然に防ぐフェイルセーフ技術として利用できる車両運転者の監視カメラシステムを提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明にかかわる顔状況判定処理装置の実施の形態を図面を用いて詳細に説明する。
【００２２】
図１は本発明の実施の形態における顔状況判定処理装置の構成を示すブロック図、図２は撮像装置の構成を示すブロック図である。
【００２３】
まず図２に基づいて撮像装置を説明する。図２において、１１は撮影レンズを含むレンズユニット、１２は２次元のイメージセンサ、１３はイメージセンサ１２の駆動パルスを発生するタイミングジェネレータ（ＴＧ）、１４はイメージセンサ１２から出力される撮像映像信号のノイズを除去し、ゲインをコントロールするＣＤＳ／ＡＧＣ回路、１５はアナログの映像信号をデジタルの画像データに変換するＡ／Ｄ変換器（ＡＤＣ）、１６は所定のプログラムが実行されることによって各種の処理（顔領域検出、動き検出処理を含む）を実行するＤＳＰ（デジタル信号処理回路）、１７は制御プログラムにより撮像装置の全体のシステム動作を制御するＣＰＵ（マイクロコンピュータ）、１８は画像データおよび各種データを保存するメモリ、１９は表示装置、２０は記録媒体である。本発明の実施の形態における顔状況判定処理装置は、ＤＳＰ１６とＣＰＵ１７とで構成される。
【００２４】
次に、上記のように構成された撮像装置の動作について説明する。
【００２５】
まず代表的な撮像記録動作として、撮像光がレンズユニット１１におけるレンズを介してイメージセンサ１２に入射すると、被写体像はフォトダイオードなどにより電気信号に変換され、タイミングジェネレータ１３からの駆動パルスに同期する垂直駆動および水平駆動により、アナログ連続信号である撮像映像信号がイメージセンサ１２から出力される。イメージセンサ１２から出力された撮像映像信号は、ＣＤＳ／ＡＧＣ回路１４のサンプルホールド回路（ＣＤＳ）によって１／ｆノイズが適切に低減された後、自動ゲインコントロールされ、Ａ／Ｄ変換器１５に入力されて、デジタルの画像データ（ＲＧＢデータ）に変換される。得られた画像データはＤＳＰ１６に入力され、メモリ１８を介して、輝度信号処理、色分離、カラーマトリクス処理、リサイズ処理、動きベクトル検出処理を含むデータ圧縮処理、顔領域検出処理などの各種の処理が行われる。上記の処理を１シーケンス処理とする。そして、動画出力として連続的に出力されるフレームデータに対して、上記の各処理の並列処理が行われる。生成された画像データは表示装置１９に表示されるとともに、記録操作によって記録媒体２０に記録される。
【００２６】
記録データを再生する場合は、記録媒体２０から画像データを読み出し、圧縮データの場合は伸張処理を行い、表示サイズにリサイズした後、表示装置１９に出力する。
【００２７】
ＤＳＰ１６の詳細を示す図１において、１はＡ／Ｄ変換器１５からＤＳＰ１６に取り込まれた画像データに対して黒レベル調整、ゲイン調整などの前処理を行う前処理部、２は各処理部とメモリ１８との間で画像データの書き込み・読み出しを制御するメモリ制御部、３はメモリ制御部２を介してメモリ１８から読み出された画像データに対して輝度信号処理、色信号処理を行い、輝度データと色差データ（またはＲＧＢデータ）としてメモリ１８に書き戻す画像データ処理部、４は輝度データと色差データの動画圧縮とその逆動作としての伸張を行うとともに、基本ブロック単位で動きベクトル情報を出力する圧縮伸張・動きベクトル検出部である。動きベクトルの検出は、動画圧縮処理の内部機能として実行される。５はメモリ制御部２を介してメモリ１８から読み出された元画像データ（輝度データと色差データ（またはＲＧＢデータ））に対して水平垂直方向のリサイズ処理とゲイン調整を行い、処理後のリサイズ画像データをメモリ１８に書き戻すリサイズ処理部である。６はメモリ１８から読み出された画像データから顔領域検出を行う顔領域検出部、７はメモリ制御部２から受け取った表示処理用の画像データを表示装置１９に転送する表示処理部である。ＣＰＵ１７は、顔領域検出部６による顔領域情報が示す顔領域内の特定部位について、圧縮伸張・動きベクトル検出部４による基本ブロック単位の動きベクトル情報から、特定部位についてのフレーム単位の動きベクトルの変化を抽出し特定部位動き情報として出力する特定部位動き情報演算手段と、顔領域検出部６による顔領域情報と前記の特定部位動き情報演算手段による特定部位動き情報とに基づいて顔状況の判定を行う顔状況判定処理手段とを構成している。
【００２８】
次に、上記のように構成された本実施の形態の顔状況判定処理装置の動作を説明する。
【００２９】
ＤＳＰ１６に取り込まれた画像データは、前処理部１の前処理によって黒レベル調整、ゲイン調整などの前処理がなされ、次いで、メモリ制御部２を介してメモリ１８に書き込まれる。画像データ処理部３は、メモリ１８に書き込まれた画像データをメモリ制御部２を介して読み出し、輝度信号処理、色信号処理を行い、輝度データと色差データ（またはＲＧＢデータ）としてメモリ制御部２を介してメモリ１８に書き戻す。
【００３０】
リサイズ処理部５は、メモリ制御部２を介してメモリ１８から元画像データを読み出し、水平と垂直方向にリサイズ処理し、得られたリサイズ済みの画像データをメモリ１８に書き戻す。
【００３１】
そして、顔領域検出部６は、メモリ１８からメモリ制御部２を介して顔領域検出用のリサイズ画像データを読み出し、顔領域、大きさ、傾きなどの情報を検出する。また、並行処理にて、圧縮伸張・動きベクトル検出部４は、メモリ制御部２を介してメモリ１８からリサイズ画像データまたはリサイズ前のフル画像データを周期的に読み出し、入力される動画フレームデータの圧縮を行った後、メモリ１８に書き戻すことにより、圧縮画像データをメモリ空間内に格納する。その際、動画圧縮の中間処理として動きベクトル検出が行われるが、この動きベクトル検出の結果得られた基本ブロック単位の動きベクトルも合わせて出力する。得られた動きベクトルは、メモリ制御部２を介してメモリ１８に格納される場合と、圧縮伸張・動きベクトル検出部４の内部のレジスタに格納される場合がある。
【００３２】
上記の各処理部は、ＣＰＵ１７で実行される制御プログラムにより、フレーム単位のシーケンス動作を行う。
【００３３】
なお、リサイズ処理部５は、表示処理用に画像データを生成する場合には、画像データの全面に対して表示処理に最適なサイズとなるように水平・垂直ともにリサイズ処理を実施し、得られた表示処理用の画像データを表示処理部７に出力する。
【００３４】
上記の過程において、ＣＰＵ１７による顔状況判定処理は次のように行われる。
【００３５】
ＣＰＵ１７は、所定の制御プログラムを実行することによって、圧縮伸張・動きベクトル検出部４による基本ブロック単位の動きベクトル情報から、顔の眼、鼻、口、頬などの特定部位についてのフレーム単位の動きベクトルの変化を抽出し特定部位動き情報を生成するとともに、顔領域検出部６による顔領域情報と前記特定部位動き情報演算手段による特定部位動き情報とに基づいて居眠り等の顔状況の判定を行う。これらは、ＣＰＵ１７による特定部位動き情報演算手段と顔状況判定処理手段の機能である。詳しくは次のとおりである。
【００３６】
ＣＰＵ１７は、顔領域検出部６によって得られた顔領域、大きさ、傾きなどの情報を入力し、リサイズ処理部５におけるリサイズ比率より推定して元画像上の顔の眼、鼻、口、頬などの特定部位を割り出し、さらにその特定部位について圧縮伸張・動きベクトル検出部４による基本ブロック単位の動きベクトル情報をメモリ１８または圧縮伸張・動きベクトル検出部４のレジスタより読み出し、特定部位についてのフレーム単位の動きベクトルの変化を抽出し、特定部位動き情報を生成する（特定部位動き情報演算手段）。そして、顔領域検出部６による顔領域情報と前記の特定部位動き情報演算手段による特定部位動き情報とに基づいて居眠り等の顔状況の判定を行う（顔状況判定処理手段）。
【００３７】
上記のシーケンス動作により、例えば図３（ａ）に示すような画像データが得られたとする。そして、この画像データについて、顔領域検出部６の顔領域検出処理により顔領域情報Ａ０が得られたとする。さらに、図３（ｂ）に示すようにＣＰＵ１７における推定演算により顔領域情報Ａ０を基に両目を含む両目エリアＡ１、鼻と頬を含む鼻頬エリアＡ２、口を含む口エリアＡ３を生成する。このときの推定演算には、リサイズ処理部５におけるリサイズ比率が用いられる。圧縮伸張・動きベクトル検出部４は、両目エリアＡ１、鼻頬エリアＡ２、口エリアＡ３の画像部分に対して、図３（ｃ）の元画像内のＢで示す基本ブロック単位で動きベクトル情報を抽出する。さらに、ＣＰＵ１７による特定部位動き情報演算手段は、抽出された動きベクトル情報から特定部位についてのフレーム単位の動きベクトルの変化を抽出し、特定部位動き情報を生成する。そして、ＣＰＵ１７による顔状況判定処理手段は、顔領域検出部６による顔領域情報と前記の特定部位動き情報とに基づいて、顔領域情報Ａ０の変動量が所定の閾値以下にあるときに、フレーム内の顔領域が固定位置にあると判断する。さらに、ＣＰＵ１７による顔状況判定処理手段は、顔領域が固定位置にあると判断したときに、図４に示すように、両目エリアＡ１での時間軸上の動き情報の値が所定の閾値以上であれば、眼が瞬いていると判断する。
【００３８】
あるいは加えて、そのときの両目エリアＡ１での時間軸上の動き情報の値が所定の閾値以上のときのパルス数をカウントすることにより、単位時間当たりの眼の瞬きの回数情報を抽出する。
【００３９】
あるいは加えて、そのときの両目エリアＡ１での時間軸上の動き情報の絶対値の単位時間当たりの積算値に着目し、その積算値が過去履歴の積算値より減少した場合は、眼の瞬きの回数が減ってきていると判断する。
【００４０】
あるいは加えて、そのときの前記の単位時間当たりの積算値についてフレーム単位の変化量に着目し、その積算値についてのフレーム単位の変化量が減少してきた場合は、眼の瞬きの速度が落ちてきていると判断する。
【００４１】
あるいは加えて、そのときの口エリアＡ３での時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの口エリアＡ３での時間軸上の動き情報の値が不定期に変化しているときは、被写体人物が話しをしていると判断する。
【００４２】
あるいは加えて、そのときの口エリアＡ３での時間軸上の動き情報の値が不定期に変化しているときに、口エリアＡ３での時間軸上の動き情報の絶対値の単位時間当たりの積算値に着目し、前記積算値が過去履歴の積算値より減少した場合は、口数が少なくなってきていると判断する。
【００４３】
そして、ＣＰＵ１７による顔状況判定処理手段は、眼の瞬きの回数が減ってきていると同時に眼の瞬きの速度が落ちてきているとの判断と口数が少なくなってきているとの判断のいずれか一方または組み合わせに基づいて、人物が居眠り状態にあると推定する。
【００４４】
上記のように本実施の形態によれば、任意の１つの画像に対して顔領域の検出と顔領域内の特定部位（眼や口）の動きベクトル検出を同時に行えるように構成し、特定部位の状況を精度良く判定することができ、その結果として、運転中の居眠りなどを安定して検出することができる。また、実際の運転において、長時間同じ姿勢をとった結果、疲れや眠気等が進んで、顔が傾くようなことがあっても、顔領域の検出と眼の瞬きや口の動きを精度良く検出することができる。
【産業上の利用可能性】
【００４５】
本発明の顔状況判定処理装置は、車載カメラなどで車両運転者を監視撮影しながら顔領域検出処理と同時処理にて目の動きや口の動きの変化を推定することにより、運転中の居眠りなどを安定して検出することができ、事故を未然に防ぐフェイルセーフ技術として利用できる車両運転者の監視カメラシステム用に有用である。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態における顔状況判定処理装置の構成を示すブロック図
【図２】本発明の実施の形態における撮像装置の構成を示すブロック図
【図３】本発明の車両運転者を想定した人物の画像に対する顔の分割エリア概念図
【図４】本発明の実施の形態における顔状況判定処理装置の動作を示す波形図
【図５】従来の技術における顔状況判定処理装置の構成を示すブロック図
【符号の説明】
【００４７】
１  前処理部
２  メモリ制御部
３  画像データ処理部
４  圧縮伸張・動きベクトル検出部
５  リサイズ処理部
６  顔領域検出部
７  表示処理部
１１  レンズユニット
１２  イメージセンサ
１３  タイミングジェネレータ
１４  ＣＤＳ／ＡＧＣ回路
１５  Ａ／Ｄ変換器
１６  ＤＳＰ（デジタル信号処理回路）
１７  ＣＰＵ（特定部位動き情報演算手段、顔状況判定処理手段）
１８  メモリ
１９  表示装置
２０  記録媒体
【図１】
2008171108.tif 000003
【図２】
2008171108.tif 000004
【図３】
2008171108.tif 000005
【図４】
2008171108.tif 000006
【図５】
2008171108.tif 000007