(57)【特許請求の範囲】
【請求項１】
一連のフレームを含む顔の動画像から瞬きを検出するための瞬き検出装置であって、
前記一連のフレームにおける前記顔の両目の位置を追跡するための目の位置の追跡手段と、
前記一連のフレームにおいて、前記顔の上まぶたのエッジを検出するためのまぶた検出手段と、
先行するフレームの顔画像において、前記目の位置の追跡手段により特定された目の位置により定められる所定の基準線から、前記まぶた検出手段により検出された上まぶたのエッジまでの第１の距離を算出するための第１の距離算出手段と、
前記先行するフレームの顔画像における前記所定の基準線と所定の関係にある新たな基準線を、前記先行するフレームに後続するフレームの顔画像において、前記目の位置の追跡手段により特定された目の位置に基づいて特定するための基準線特定手段と、
前記後続するフレームの顔画像において、前記新たな基準線から、前記まぶた検出手段により検出された上まぶたのエッジまでの第２の距離を算出するための第２の距離算出手段と、
前記第１及び第２の距離算出手段によって算出された距離の差に基づいて、瞬きの発生を検出するための瞬き検出手段とを含み、
前記基準線特定手段は、
前記先行するフレームの顔画像における両目の位置と所定の関係にある基準点を含む、規定形状の領域を基準パターンとして抽出し保存するための基準パターン抽出手段と、
前記基準パターン抽出手段により抽出された基準パターンをテンプレートとする、前記後続するフレームに対するテンプレートマッチングにより、前記先行するフレームの前記基準点の、前記後続するフレーム内での位置を推定するためのテンプレートマッチング手段と、
前記テンプレートマッチング手段によって前記後続するフレーム内で推定された前記基準点の位置を通り、前記後続するフレーム内の両目の中心を結ぶ直線に平行な線を、前記新たな基準線として特定するための手段とを含む、瞬き検出装置。
【請求項２】
前記第１の距離算出手段は、前記先行するフレームにおいて前記目の位置の追跡手段によって特定された両目の位置に基づき、当該両目の位置を結ぶ線と、前記まぶた検出手段により検出された上まぶたのエッジとの間の距離を計算するための手段を含む、請求項１に記載の瞬き検出装置。
【請求項３】
前記基準パターン抽出手段は、前記先行するフレームの顔画像における両目の位置を結ぶ線分の中点位置を基準点とし、当該基準点を含む前記規定形状の領域を基準パターンとして抽出し保存するための手段を含む、請求項１又は請求項２に記載の瞬き検出装置。
【請求項４】
前記距離を計算するための手段は、前記先行するフレームにおいて前記目の位置の追跡手段によって特定された両目の位置に基づき、当該両目の位置を結ぶ線と、前記まぶた検出手段により検出された上まぶたのエッジの中の所定点との間の距離を計算するための手段を含み、
前記第２の距離算出手段は、前記新たな基準線と、前記後続するフレームにおいて前記まぶた検出手段により検出された上まぶたのエッジの中の、前記所定点に対応する点との距離を計算するための手段を含む、請求項２に記載の瞬き検出装置。
【請求項５】
前記上まぶたのエッジの中の所定点とは、両目の位置を結ぶ線と、上まぶたのエッジとの間の距離の最大値を与える点である、請求項４に記載の瞬き検出装置。
【請求項６】
動画を一連のフレームとして処理する機能を有するコンピュータによって実行されると、当該コンピュータを請求項１〜請求項５のいずれかに記載の瞬き検出装置として動作させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は人間の瞬きを検出する技術に関し、特に人間の顔画像中のまぶたの位置から瞬きの状態を安定して検出する技術に関する。
【背景技術】
【０００２】
近年の交通量の増大により、自動車に関連する問題、特に交通事故に関連する問題が注目されている。自動車を安全に運行するためには、自動車の運転を自動化するという方向と、自動車を運転している人間（ドライバ）が、安全に運転できる様に支援する、という方向とがある。自動車の運転を自動化する技術の研究も行なわれているが、様々な理由から実用化には至っていない。一方、自動車のドライバを支援するための装置についても様々なものが提案されており、それらはドライバを支援するものであるため、自動車の運転を自動化する技術に比して実用化の可能性が高い。
【０００３】
ドライバを支援するために必要な情報の一つに、ドライバの瞬きの頻度、すなわち目の開閉状態に関する情報がある。たとえばドライバの意識状態が低下した場合、目をつぶっている時間が増えたり、瞬き回数が減少したりする。こうした情報を用いる事で、ドライバの意識状態が正常でないと判定された場合には、意識状態を正常に戻すために適切な処置をとる事ができる。
【０００４】
瞬きに関する情報は、ドライバの支援に用いられるだけではない。例えばある人にインタビューしているときのその話者の瞬きの状態は、話者の心理状態を反映しているものと考えられる。従って、話者の顔画像に基づいてその瞬きを検出する事により、話された内容に関する評価を行なう事ができる。
【０００５】
その他にも、瞬きに関する情報を利用可能な局面は多数ある。
【０００６】
人間の瞬きを検出するための技術として、非特許文献１に示すものがある。非特許文献１に開示された技術では、ルームミラー内に配置されたカメラでドライバの顔付近の画像を連続撮影する。その画像から、ニューラルネットワークを用いて顔領域及び目領域を抽出する。抽出された目領域から、肌と目との画素の輝度の違いを利用し、類似した幅、位置の明から暗、暗から明のエッジの組合せを上下まぶたとして検出する。この様にして検出された上下まぶたの間の距離の変化に基づいて、瞬きがされたか否かを判定できる。
【特許文献１】特開２００４−１８５６１１号公報
【特許文献２】特開２００３−１６８１２１号公報
【非特許文献１】井東他、「ドライバ識別により個人差を考慮したドライバモニタ」、動的画像処理実利用化ワークショップ２００６講演論文集、２００６年３月９日〜１０日、ｐ．１９１−１９５
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、上記した従来技術によると、以下の様な問題が生じる。例えば、被験者の顔画像を撮像する際には、光源は被験者の上方にある事が通常である。光源が頭上にあると、上まぶたは光源に近い部分にあり、影が生じにくい。ゆえに、まぶた（肌）と目との輝度の違いが検出しやすく、上まぶたのエッジの検出は比較的容易に行なえる。
【０００８】
しかし、下まぶたに関しては光源から遠い上に、頭上から光があたっていると、影ができやすい位置にある。そのため、目と肌との輝度の違いが検出しにくい。結果として、下まぶたのエッジの検出は比較的難しく、実際上安定して下まぶたを検出する事は困難であるという問題がある。
【０００９】
従来技術では、下まぶたのエッジの検出が難しいと、上下まぶた間の距離を計測する事ができず、結果として、瞬きの検出も安定して行なう事ができない。
【００１０】
それ故に、本発明の目的は、人間の顔の動画像から、瞬きの発生を安定して検出する事ができる装置及びコンピュータプログラムを提供する事である。
【課題を解決するための手段】
【００１１】
本発明の第１の局面に係る瞬き検出装置は、一連のフレームを含む顔の動画像から瞬きを検出するための瞬き検出装置であって、一連のフレームにおける顔の両目の位置を追跡するための目の位置の追跡手段と、一連のフレームにおいて、顔の上まぶたのエッジを検出するためのまぶた検出手段と、先行するフレームの顔画像において、目の位置の追跡手段により特定された目の位置により定められる所定の基準線から、まぶた検出手段により検出された上まぶたのエッジまでの第１の距離を算出するための第１の距離算出手段と、先行するフレームの顔画像における所定の基準線と所定の関係にある新たな基準線を、先行するフレームに後続するフレームの顔画像において、目の位置の追跡手段により特定された目の位置に基づいて特定するための基準線特定手段と、後続するフレームの顔画像において、新たな基準線から、まぶた検出手段により検出された上まぶたのエッジまでの第２の距離を算出するための第２の距離算出手段と、第１及び第２の距離算出手段によって算出された距離の差に基づいて、瞬きの発生を検出するための瞬き検出手段とを含む。
【００１２】
この瞬き検出装置によると、第１の距離算出手段が、先行するフレームに含まれる目の位置により定められる所定の基準線から上まぶたのエッジまでの第１の距離を算出し、第２の距離算出手段が、後続するフレームに含まれる新たな基準線から上まぶたのエッジまでの第２の距離を算出する。瞬き検出手段が、算出されたこれらの距離の差に基づいて瞬きの発生を検出する。比較的不安定になってしまう下まぶたのエッジ検出を行なう必要がなく、安定して検出できる上まぶたのエッジのみによって瞬きを検出できる。その結果、人間の顔の動画像から、瞬きの発生を安定して検出できる瞬き検出装置を提供する事ができる。
【００１３】
好ましくは、第１の距離算出手段は、先行するフレームにおいて目の位置の追跡手段によって特定された両目の位置に基づき、当該両目の位置を結ぶ線と、まぶた検出手段により検出された上まぶたのエッジとの間の距離を計算するための手段を含む。
【００１４】
この瞬き検出装置によると、距離を計算するための手段は、両目の位置を結ぶ線と上まぶたのエッジとの間の距離を計算する。安定して検出する事のできる両目の位置を結ぶ線と上まぶたのエッジとに基づいて、瞬きの発生を検出する事ができる。その結果、瞬きの発生を安定して検出できる瞬き検出装置を提供する事ができる。
【００１５】
好ましくは、基準線特定手段は、先行するフレームの顔画像における両目の位置と所定の関係にある基準点を含む、規定形状の領域を基準パターンとして抽出し保存するための基準パターン抽出手段と、基準パターン抽出手段により抽出された基準パターンをテンプレートとする、後続するフレームに対するテンプレートマッチングにより、先行するフレームの基準点の、後続するフレーム内での位置を推定するためのテンプレートマッチング手段と、テンプレートマッチング手段によって後続するフレーム内で推定された基準点の位置を通り、後続するフレーム内の両目の中心を結ぶ直線に平行な線を、新たな基準線として特定するための手段とを含む。
【００１６】
この瞬き検出装置によると、基準パターン抽出手段が、先行するフレームの顔画像における両目の位置と所定の関係にある基準点を含む領域を基準パターンとして抽出し保存する。テンプレートマッチング手段が、この基準パターンをテンプレートとする、後続するフレームに対するテンプレートマッチングにより、先行するフレームの基準点の、後続するフレーム内での位置を推定する。特定するための手段が、後続するフレーム内で推定された基準点の位置に基づいて、新たな基準線を特定する。安定して計測される両目の位置を用いて、先行するフレーム内の基準線及び後続するフレーム内の新たな基準線の特定を行なう事ができる。その結果、この基準線に基づいて、瞬きの発生を安定して検出できる瞬き検出装置を提供する事ができる。
【００１７】
好ましくは、基準パターン抽出手段は、先行するフレームの顔画像における両目の位置を結ぶ線分の中点位置を基準点とし、当該基準点を含む規定形状の領域を基準パターンとして抽出し保存するための手段を含む。
【００１８】
この瞬き検出装置によると、保存するための手段は、先行するフレームの顔画像における両目の位置を結ぶ線分の中点位置を基準点とし、当該基準点を含む規定形状の領域を基準パターンとして抽出し保存する。安定して検出できる両目の位置を結ぶ線分の中点位置を基準点として基準パターンが抽出され、その基準パターンを用いたテンプレートマッチングが後続するフレームに対して行なわれる。この部位は、顔の中でも他と比較して特徴のある部位で、後続するフレームに対するテンプレートマッチングで、安定して新たな基準点の位置を特定できる。従って、後続するフレームで新たな基準線を確実に特定できる。その結果、先行するフレームと後続するフレームとの双方で上まぶたまでの距離の基準となる基準線を安定して特定でき、瞬きの発生を安定して検出できる瞬き検出装置を提供する事ができる。
【００１９】
好ましくは、規定形状は矩形形状である。
【００２０】
好ましくは、基準点は矩形形状の中心点である。
【００２１】
好ましくは、距離を計算するための手段は、先行するフレームにおいて目の位置の追跡手段によって特定された両目の位置に基づき、当該両目の位置を結ぶ線と、まぶた検出手段により検出された上まぶたのエッジの中の所定点との間の距離を計算するための手段を含み、第２の距離算出手段は、新たな基準線と、後続するフレームにおいてまぶた検出手段により検出された上まぶたのエッジの中の、所定点に対応する点との距離を計算するための手段を含む。
【００２２】
この瞬き検出装置によると、先行するフレームにおける両目を結ぶ線と上まぶたのエッジの中の所定点との距離、及び後続するフレームにおいて、先行するフレームの基準点に対応する点によって定められた新たな基準線と上まぶたのエッジの中の所定点との距離を計算できる。ゆえに、先行するフレームにおける上まぶたまでの距離と、後続するフレームにおける上まぶたまでの距離とを、共通の基準によって計算できる。その結果、正確に瞬きの発生を検出できる瞬き検出装置を提供する事ができる。
【００２３】
好ましくは、上まぶたのエッジの中の所定点とは、両目の位置を結ぶ線と、上まぶたのエッジとの間の距離の最大値を与える点である。
【００２４】
この瞬き検出装置によると、両目の位置を結ぶ線と、上まぶたのエッジとの間の距離の最大値を与える点との距離を計算する事ができる。ゆえに、両目の位置を結ぶ線と、上まぶたのエッジとの間の距離の最大値という明確な値を用いて瞬きの発生を検出する事ができる。その結果、瞬きの発生を容易に検出できる瞬き検出装置を提供する事ができる。
【００２５】
好ましくは、瞬き検出手段は、第１の距離から第２の距離を減算するための手段と、減算するための手段により得られた結果と所定の正のしきい値とを比較し、結果がしきい値より大きいときに、瞬きを検出したと判定するための手段とを含む。
【００２６】
この瞬き検出装置によると、減算するための手段が、第１の距離から第２の距離を減算し、判定するための手段が、減算の結果が所定のしきい値よりも大きいときに瞬きを検出したと判定する。所定のしきい値に基づいて、簡単な判定で瞬きの発生を検出できる。その結果、簡単な処理により瞬きの発生を検出できる瞬き検出装置を提供する事ができる。
【００２７】
さらに好ましくは、この瞬き検出装置はさらに、動画像を撮像し、一連のフレームとして目の位置の検出手段、まぶた検出手段、及び基準線特定手段に与えるための撮像手段を含む。
【００２８】
この瞬き検出装置によると、撮像手段は、動画像を撮像し、一連のフレームとして目の位置の検出手段、まぶた検出手段、及び基準線特定手段に与える。瞬きの発生を検出するための前提となる動画像を得て、直ちに処理する事ができる。その結果、効率的に瞬きの発生を検出できる瞬き検出装置を提供する事ができる。
【００２９】
本発明の第２の局面に係るコンピュータプログラムは、動画を一連のフレームとして処理する機能を有するコンピュータによって実行されると、当該コンピュータを上記したいずれかの瞬き検出装置として動作させるので、上記したいずれかの瞬き検出装置と同様の効果を得る事ができる。
【発明を実施するための最良の形態】
【００３０】
本発明の実施の形態に係る装置及び方法を説明する前にまず、本実施の形態におけるまぶたのエッジ検出方法と瞬きの検出方法とに関する基本的な概念について説明する。
【００３１】
＜瞬き検出の基本的原理＞
図１に、画像信号の連続するフレームにおける人間の瞬きの状態を模式図で示す。図１を参照して、顔３０はあるフレームにおける人間の目の状態である。このフレームでは両目が開いているものとする。顔３０は、右目の上まぶた４０と、左目の上まぶた４２と、右目４４と、左目４６とを含む。
【００３２】
次のフレームの顔３２で、目の開閉の状態が変化するものとする。すなわち、このフレームでは両目とも閉じられる途中の状態にあるものとする。この場合、顔３２の右目の上まぶた５０及び左目の上まぶた５２の位置は、いずれも前フレームの顔３０における右目の上まぶた４０と左目の上まぶた４２の位置と比較して低くなっている。
【００３３】
もしも顔の位置が画像中で固定されているのであれば、これら上まぶたの画像中の位置を測定し、その変化を検出する事で瞬きがあったか否かを容易に判定する事ができる。しかし、人間の頭は通常は動いており、その動きも簡単には予測できない。従って、上まぶたの位置が検出できても、それだけでは瞬きがあったか否かを判定する事はできない。
【００３４】
本発明では、二つのフレーム間で、上まぶたの位置を検出するための共通の基準位置を定め、この基準位置に対する上まぶたの位置を測定する事によって、瞬きがあったか否かを判定する。
【００３５】
本実施の形態に係る瞬き検出装置で使用されている動画像のフレームレートは、１秒間に３０フレームである。また、目を検出する前提となる顔位置の抽出方法については特許文献１に記載の方法による。顔位置を検出した後、特許文献２に記載の方法を用いて両目の位置を追跡して検出する。特許文献２に記載の方法によれば、瞬きがされたフレーム（すなわち、画像中に目が存在していないフレーム）であっても、両目の位置が正しく追跡されている事が本願発明の発明者により確認されている。
【００３６】
図２に、上まぶたの動きをモニタリングする方法の基本原理について示す。なお、便宜上、ここでは両目について共通に瞬きを検出する場合について説明しているが、実際には右目と左目との双方について、別々に以下に述べる処理を行なう事が望ましい。
【００３７】
図２を参照して、先行する第１のフレームの画像において、目付近の画像７０から両目の位置を追跡する事によって検出して、両目の中心を通る直線８０を決定する。次に、目の上まぶたのエッジを検出し、そのエッジの最も上の点（図２において直線８２で示される位置）と、直線８０との間の距離ｄ０とが算出される。
【００３８】
さらに、両目を結ぶ直線８０の中点８６を中心とする矩形形状を有する小領域を目間パターン８４として画像から抽出する。目間パターン８４はＮ×Ｍ画素からなる画像である。
【００３９】
この目間パターン８４を所定の記憶領域に保存する。保存された目間パターン８４を基準点パターン９０とする。基準点パターン９０の中心９２は、第１のフレームの画像において両目を結ぶ直線８０の中点８６である。
【００４０】
第１のフレームに後続する第２のフレームが与えられると、保存された基準点パターン９０をテンプレートとして、次フレームの画像中で基準点パターン９０と最もよく一致するＮ×Ｍ画素の領域を探索する。これをテンプレートマッチング処理とよぶ。
【００４１】
図２では、第２のフレームにおいて、瞬きの発生がない場合の目付近の画像を画像１００として示し、瞬きの発生がある場合の目付近の画像の例を画像１０２として示してある。
【００４２】
テンプレートマッチング処理によって、目付近の画像１００，１０２における基準点パターン９０に対応するパターン１２０の位置が決定される。従って、目付近の画像１００，１０２において、１フレーム前の画像７０内の中点８６に対応する基準点１２２の位置も決定される。
【００４３】
両目の位置については、画像１００，１０２のいずれの場合にも特許文献２に記載の方法によって検出する。検出された両目の位置に基づき、両目の中心を通る直線１１２が決定される。本実施の形態では、ここで、基準点１２２を通り、両目の中心を通る直線１１２に平行な基準線１１４を決定する。また、両目の付近の画像に対してエッジフィルタを適用する事により、両目の上まぶたのエッジを検出する。そして、このエッジの位置（例えば図２において直線１１０で示される位置）と、基準線１１４との距離ｄ１とが算出される。
【００４４】
ここでは、距離ｄ０及びｄ１はいずれも画素数で表すものとする。あるフレームから次のフレームに移った際に、画像１００で表される様にまぶたの状態に変化がないと、あるフレームでの距離ｄ０と次のフレームでの距離ｄ１の値にも変化がない。瞬きがされていない場合、人間のまぶたの位置は比較的安定していて変化がなく、その結果、ｄ０−ｄ１≒０となる。
【００４５】
まぶたが閉じられ始めた状態（画像１０２）でも同様に、両目の中心を通る直線１１２に平行で、基準点１２２を通る基準線１１４が決定される。まぶたのエッジが検出され、それらのエッジ（直線１３０で表される）と基準線１１４との距離ｄ１が算出される。
【００４６】
瞬きがある場合、ｄ１＜ｄ０となるであろう。従って、あるしきい値を定め、ｄ０−ｄ１＞しきい値であれば瞬きがあったと判定する。以下に述べる実施の形態では、処理対象となる画像はデジタル画像であり、まぶたの検出位置が１画素単位での誤差を含む事は避けられない。従って、ここではしきい値として２を想定し、まぶたのエッジが２画素以上移動していれば、瞬きがされていると推定する。なお、このしきい値の値は、処理対象の画像に含まれる画素数、特に縦方向の画素数に依存する。実験では、３２０×２４０画素の画像で、しきい値＝２として安定した結果を得る事ができた。
【００４７】
＜構成＞
［コンピュータによる実現］
以下、本実施の形態に係る瞬き検出装置を組込んだカーナビゲーションシステム（以下「カーナビシステム」と呼ぶ。）について説明する。このカーナビシステムは、実質的にはコンピュータハードウェア及び当該コンピュータハードウェア上で実行されるソフトウェアにより実現されるものである。
【００４８】
図３はこのカーナビシステム１５０の外観を示す。図３を参照して、カーナビ１５０は、地図等を表示する液晶画面１６２と、液晶画面１６２上に積層され、ユーザが触れる事により操作するタッチパネル１６４と、スピーカ１６６と、ドライバの顔を撮影するカメラ１６８と、ＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ１７０を有する、実質的にコンピュータと同様のハードウェアからなるカーナビ本体１６０とを含む。
【００４９】
図４を参照して、カーナビ本体１６０は、ＣＤ−ＲＯＭドライブ１７０に加えて、ＣＰＵ（中央処理装置）１９０と、ＣＰＵ１９０及びＣＤ−ＲＯＭドライブ１７０に接続されたバス１９８と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）１９２と、いずれもバス１９８に接続され、プログラム命令、システムプログラム、及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）１９４、カメラ１６８で撮影された画像を毎秒３０フレームずつキャプチャするためのカメラＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１９６、スピーカ１６６と接続され、ＣＰＵ１９０又はＣＤ−ＲＯＭドライブ１７０から出力される音声を処理しスピーカ１６６に与えるためのサウンドボード２００、及びＣＰＵ１９０から出力されるデジタルの音声信号をアナログ信号に変換し出力するＤ／Ａ（Ｄｉｇｉｔａｌ  Ａｎａｌｏｇ）変換器２０２と、Ｄ／Ａ変換器２０２の出力に接続されたスピーカ２０４とを含む。
【００５０】
ここでは示さないが、カーナビ本体１６０はさらに自動車内のローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
【００５１】
カーナビ１５０に瞬き検出装置としての動作を行なわせるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ１７０に挿入されるＣＤ−ＲＯＭ１６７又はＲＯＭ１９２に記憶される。このプログラムは実行の際にＲＡＭ１９４にロードされる。ＣＤ−ＲＯＭ１６７から又はネットワークを介して、直接にＲＡＭ１９４にプログラムをロードしてもよい。
【００５２】
このプログラムは、カーナビ本体１６０にこの実施の形態の瞬き検出装置として動作を行なわせる複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかはカーナビ本体１６０上で動作するオペレーティングシステム（ＯＳ）もしくはサードパーティのプログラム、又はカーナビ本体１６０にインストールされる各種ツールキットのモジュールにより提供される。従って、このプログラムはこの実施の形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られる様に制御されたやり方で適切な機能又は「ツール」を呼出す事により、コンピュータハードウェアと協働して、上記した瞬き検出装置としての各種機能を実現する命令のみを含んでいればよい。カーナビ本体１６０を構成するコンピュータの動作は周知であるので、ここでは言及しない。
【００５３】
図５に、本実施の形態に係る瞬き検出装置をコンピュータプログラムで実現した際のフローチャートを示す。図５を参照して、まず、プログラムが開始されると、ステップ２１０では初期化が行なわれる。ここでは、顔の動画像のフレーム番号ｆｎを０に設定する。
【００５４】
ステップ２１２では、フレーム番号ｆｎに１を加算し、動画像のフレームを図４に示すカメラＩ／Ｆ１９６から読込む。
【００５５】
ステップ２１４では、読み込んだフレームにおいて顔領域を抽出し、さらに両目の位置を検出する処理が行なわれる。
【００５６】
ステップ２１６では、処理中のフレームにおいて上まぶたのエッジを抽出する処理が行なわれる。
【００５７】
ステップ２１８では、フレーム番号ｆｎが１であるか否かを判定する処理が行なわれる。フレーム番号ｆｎが１でなければステップ２２０に進む。フレーム番号ｆｎが１であれば、ステップ２２９に進む。処理の最初では、先行するフレームが存在しておらず、瞬きの検出をするために比較する対象がないため、この様な処理をする。
【００５８】
ステップ２２０では、先行するサイクルで既に保存されている、先行するフレームの基準点パターンをテンプレートとして、処理中のフレームの画像内で基準点Ｃを特定する処理が行なわれる。
【００５９】
ステップ２２２では、基準点Ｃを通り、両目の中心を結ぶ線分に平行な直線と、上まぶたエッジまでの距離ｄ１を計算する処理が行なわれる。
【００６０】
ステップ２２４では、先行するフレームの画像に対して算出された、両目を結ぶ線と上まぶたのエッジとの間の距離ｄ０から、処理中の画像に対してステップ２２２で計算された距離ｄ１を引いてその差ｄを求める処理が行なわれる。
【００６１】
ステップ２２６では、ステップ２２４で計算された差ｄの値が１よりも大きいか否かを判定する処理が行なわれる。差ｄが１よりも大きいとステップ２２８に進む。差ｄが１以下であるとステップ２２９に進む。
【００６２】
ステップ２２８では、瞬きが検出されたと判定し、瞬きを検出したときに行なうべき処理が行なわれる。例えば瞬きの回数を加算したり、瞬きの時刻を所定の記憶領域に記憶したり、所定の信号を出力したりする。この情報は、例えば別のプロセスに渡され、瞬きの頻度によって必要な処理が実行される。この後、ステップ２２９に進む。
【００６３】
ステップ２２９では、両目を結ぶ線と上まぶたのエッジとの距離が算出され、距離ｄ０として保存される。この後ステップ２３０に進む。
【００６４】
ステップ２３０では、新基準点Ｃを、処理中のフレームの画像における両目を結ぶ線上の、両目の中央位置に設定する処理が行なわれる。この新基準点Ｃが、次のフレームではどこの位置に移動しているかが、次のフレームに対するステップ２２０の処理において決定される。
【００６５】
ステップ２３２では、処理中のフレームの画像内の、新たに決定された基準点Ｃを中心とするＮ×Ｍ画素からなる画像を新たな基準点パターンとして所定の記憶領域にセーブする処理が行なわれる。この基準点パターンが、次のフレームに対するステップ２２０の処理において使用される。この処理が終わるとステップ２１２に戻り、次のフレームに対して以後の処理を繰返す。
【００６６】
＜動作＞
図６に、上まぶたのエッジの検出と基準点パターンを用いた瞬きの検出との動作の具体例について示す。
【００６７】
図５を参照して、プログラムの開始時、ステップ２１０で初期化が行なわれ、フレーム番号ｆｎが０となる。ステップ２１２でフレーム番号ｆｎに１が加算され、ｆｎ＝１となる。このとき、フレーム番号１の画像が読み込まれる。
【００６８】
ステップ２１４でフレーム番号１の画像から両目位置が検出され、ステップ２１６で上まぶたのエッジ２５０が検出される。
【００６９】
フレーム番号ｆｎ＝１なので、処理はステップ２１８からステップ２２９に進み、ステップ２１４で検出された両目の位置を結ぶ線と、ステップ２１６で検出された上まぶたのエッジ２５０との間の距離が算出され、この値が距離ｄ０として保存される。
【００７０】
この後、ステップ２３０で、フレーム番号ｆｎ＝１の画像の両目を結ぶ線の中央の点を基準点Ｃとする。さらに基準点Ｃを中心とするＮ×Ｍ画素を基準点パターンとして記憶領域にセーブする（ステップ２３２）。その後、処理はステップ２１２に戻る。
【００７１】
ステップ２１２ではフレーム番号ｆｎに１を加算する。すなわちここではフレーム番号ｆｎ＝２となる。そして、２番目のフレームの画像を読み込む。以下、１番目のフレームと同様にステップ２１４、２１６の処理を行なう。
【００７２】
ステップ２１８の判定結果はＮＯとなるので、ステップ２２０に進み、セーブされていた基準点パターンをテンプレートとするテンプレートマッチングにより、１番目のフレームでの基準点パターンが２番目のフレームではどこに移動しているかを判定し、対応する領域を抽出する。この処理により、新たな基準点パターン２５４（図６参照）が定められ、従って１番目の画像中の基準点パターンの基準点Ｃが、２番目の画像中のどこに移動したかも決定される。この点を新たな基準点Ｃとする（ステップ２２０）。ステップ２１６で検出された目の上まぶたのエッジ２５２と、新たな基準点Ｃと、ステップ２１４で検出された両目の位置とに基づき、両目の中心を通る直線と平行で基準点Ｃを通る直線と、上まぶたのエッジとの間の距離ｄ１が算出される（ステップ２２２）。
【００７３】
この様にして２番目のフレームに対し求められた距離ｄ１と、１番目のフレームに対してステップ２２９の処理で算出されていた距離ｄ０とを用いて、距離ｄ０と距離ｄ１との差ｄ＝ｄ０−ｄ１を計算する（ステップ２２４）。
【００７４】
この差ｄが１より大きければ２番目のフレームで瞬きがあったと判定され（ステップ２２６でＹＥＳ）、ステップ２２８で必要な処理をした後、ステップ２２９に進む。差ｄが１以下であれば何もせずステップ２２９に進む。以下、１番目のフレームに対して行なったのと同様の処理をステップ２２９、２３０、及び２３２で行ない、ステップ２１２に戻る。
【００７５】
フレーム番号ｆｎ＝３以下のフレームに対しても、上記した処理が繰返し実行され、それによって、瞬きが発生したフレームではステップ２２８で必要な処理がされる。
【００７６】
図７に、実験によって求められた両目におけるｄの値の変化を示す。図７に示す様に、実験では、右目の距離ｄの値の変化２７０と左目の距離ｄの値の変化２７２とはほぼ同期している。これは、一般に、瞬きは両目同時に行われるためである。
【００７７】
本実施の形態に係る瞬き検出装置によると、目の位置により決定される所定の基準線と上まぶたのエッジまでの距離とに基づいて瞬きの発生を検出する事ができる。この方法によると、比較的不安定になってしまう下まぶたのエッジの検出を行なう必要がない。ゆえに、安定して検出できる上まぶたのエッジのみによって瞬きの発生を検出する事ができる。その結果、人間の顔の動画像から、瞬きの発生を安定して検出できる様な瞬き検出装置を提供する事ができる。
【００７８】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００７９】
【図１】人間の瞬きの状態を示す模式図である。
【図２】上まぶたの動きをモニタリングする方法について示す図である。
【図３】本発明の一実施の形態に係る瞬き検出装置を実現するカーナビゲーションシステムの外観図である。
【図４】図３に示すカーナビゲーションシステムのブロック図である。
【図５】本実施の形態に係る瞬き検出装置をコンピュータで実現した際のフローチャートである。
【図６】上まぶたのエッジの検出と基準点パターンを用いた瞬きの検出との動作の具体例について示す写真である。
【図７】両目におけるｄの値の変化を示す写真である。
【符号の説明】
【００８０】
８４  目間パターン
９０  基準点パターン
１５０  カーナビシステム
１６０  カーナビ本体
１６２  液晶画面
１６４  タッチパネル
１６６及び２０４  スピーカ
１６８  カメラ
１７０  ＣＤ−ＲＯＭドライブ
１９０  ＣＰＵ
１９２  ＲＯＭ
１９４  ＲＡＭ
１９６  カメラＩ／Ｆ
１９８  バス
２００  サウンドボード
２０２  Ｄ／Ａ変換器
【図１】
0004756503.tif 000002
【図２】
0004756503.tif 000003
【図３】
0004756503.tif 000004
【図４】
0004756503.tif 000005
【図５】
0004756503.tif 000006
【図６】
0004756503.tif 000007
【図７】
0004756503.tif 000008