(57)【要約】【課題】光環境の影響をうけないで、瞼を精度よく検出することができる装置を提供する。【解決手段】カメラ２は対象者の顔を連続的に撮影し、瞼検出装置１０の制御部１４はその顔画像を取得し、画像メモリ１２に格納する。制御部１４は、顔画像から瞼探索領域を判別し、この瞼探索領域内からエッジを抽出して、連結するエッジ（エッジグループ）毎にラベルを付与する。そして、制御部１４は、ラベリングしたエッジグループの経時的な動きの変化から同一のエッジグループを判別し、同一のエッジグループ同士に同一のラベルを付与する再ラベリングを行う。そして、制御部１４は、このようにしてラベリングしたエッジグループの経時的な動きの変化から、上瞼に相当するエッジグループを検出して、検出した上瞼に相当するエッジグループの下方の所定領域から、下瞼に相当するエッジグループを検出する。【選択図】図２
2010146159.tif 000002
【特許請求の範囲】
【請求項１】
対象者の顔を連続的に撮影した複数の顔画像を取得する顔画像取得手段と、
前記顔画像から瞼探索領域を検出する瞼探索領域検出手段と、
前記瞼探索領域検出手段で検出した瞼探索領域から上瞼と下瞼の候補となるエッジを検出するエッジ検出手段と、
前記エッジ検出手段で検出したエッジの連結する集合であるエッジグループ毎にラベルを付与するエッジラベリング手段と、
前記エッジラベリング手段でラベルが付与された各エッジグループの経時的な動きの変化に基づいて、ラベルを付与した複数のエッジグループのなかから同一のエッジグループを判別する、同一ラベル判別手段と、
前記同一ラベル判別手段で同一であると判別したエッジグループ同士に、同一のラベルを付与する再ラベリング手段と、
前記再ラベリング手段でラベリング済みのエッジグループのうち、所定時間内に上方から下方、および、下方から上方に変化するエッジグループを上瞼に相当するエッジグループと判別する上瞼判別手段と、
前記上瞼判別手段で判別した上瞼に相当するエッジグループの下方の所定の領域に位置するエッジグループを、下瞼に相当するエッジグループと判別する下瞼判別手段と、
を備えることを特徴とする瞼検出装置。
【請求項２】
前記エッジラベリング手段は、前記エッジ検出手段で検出したエッジのうち所定画素数以上連結しないエッジを消去するエッジ消去手段を備える、
ことを特徴とする請求項１に記載の瞼検出装置。
【請求項３】
前記同一ラベル判別手段は、
最新の顔画像より時間的に１つ前に撮影された顔画像のエッジグループと、最新の顔画像のエッジグループとで、同一のエッジグループ同士を判別して対応付ける、エッジグループ対応付手段をさらに備え、
前記エッジグループ対応付手段で対応付けたエッジグループを辿っていくことにより、エッジグループの経時的な動きの変化を判別する、
ことを特徴とする請求項１又は２に記載の瞼検出装置。
【請求項４】
前記エッジグループ対応付手段は、
最新の顔画像より時間的に１つ前に撮影された顔画像のエッジグループの位置情報からテンプレートデータを作成し、
作成したテンプレートデータを用いたパターンマッチングを最新の顔画像に対して行い、
パターンマッチングの結果最も相関が高いと判別された最新の顔画像のエッジグループが、前記テンプレートデータの作成の元となった最新の顔画像より時間的に１つ前に撮影された顔画像のエッジグループと同一のエッジグループであると判別する、
ことを特徴とする請求項３に記載の瞼検出装置。
【請求項５】
前記上瞼判別手段又は前記下瞼判別手段で判別された上瞼、下瞼に相当するエッジグループに所定の曲線をフィッティングし、フィッティングした曲線上の画素を、上瞼、下瞼に相当するエッジラインとして検出する、
ことを特徴とする請求項１乃至４の何れか１項に記載の瞼検出装置。
【請求項６】
前記上瞼判別手段は、
前記再ラベリング手段でラベリング済みのエッジグループのうち、所定時間内に上方から下方、および、下方から上方に変化するエッジグループと、該エッジグループにフィッティングさせた上瞼のテンプレートとなる曲線の近傍に位置するエッジグループとを上瞼に相当するエッジグループと判別する、
ことを特徴とする請求項１乃至５の何れか１項に記載の瞼検出装置。
【請求項７】
対象者の顔を連続的に撮影した複数の顔画像を取得する顔画像取得ステップと、
前記顔画像から瞼探索領域を検出する瞼探索領域検出ステップと、
前記瞼探索領域検出ステップで検出した瞼探索領域から上瞼と下瞼の候補となるエッジを検出するエッジ検出ステップと、
前記エッジ検出ステップで検出したエッジの連結する集合であるエッジグループ毎にラベルを付与するエッジラベリングステップと、
前記エッジラベリングステップでラベルが付与された各エッジグループの経時的な動きの変化に基づいて、ラベルを付与した複数のエッジグループのなかから同一のエッジグループを判別する、同一ラベル判別ステップと、
前記同一ラベル判別ステップで同一であると判別したエッジグループ同士に、同一のラベルを付与する再ラベリングステップと、
前記再ラベリングステップでラベリング済みのエッジグループのうち、所定時間内に上方から下方、および、下方から上方に変化するエッジグループを上瞼に相当するエッジグループと判別する上瞼判別ステップと、
前記上瞼判別ステップで判別した上瞼に相当するエッジグループの下方の所定の領域に位置するエッジグループを、下瞼に相当するエッジグループと判別する下瞼判別ステップと、
を備えることを特徴とする瞼検出方法。
【請求項８】
コンピュータを、
対象者の顔を連続的に撮影した複数の顔画像を取得する顔画像取得手段、
前記顔画像から瞼探索領域を検出する瞼探索領域検出手段、
前記瞼探索領域検出手段で検出した瞼探索領域から上瞼と下瞼の候補となるエッジを検出するエッジ検出手段、
前記エッジ検出手段で検出したエッジの連結する集合であるエッジグループ毎にラベルを付与するエッジラベリング手段、
前記エッジラベリング手段でラベルが付与された各エッジグループの経時的な動きの変化に基づいて、ラベルを付与した複数のエッジグループのなかから同一のエッジグループを判別する、同一ラベル判別手段、
前記同一ラベル判別手段で同一であると判別したエッジグループ同士に、同一のラベルを付与する再ラベリング手段、
前記再ラベリング手段でラベリング済みのエッジグループのうち、所定時間内に上方から下方、および、下方から上方に変化するエッジグループを上瞼に相当するエッジグループと判別する上瞼判別手段、
前記上瞼判別手段で判別した上瞼に相当するエッジグループの下方の所定の領域に位置するエッジグループを、下瞼に相当するエッジグループと判別する下瞼判別手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像から瞼の位置を検出する瞼検出装置、瞼検出方法及びプログラムに関する。
【背景技術】
【０００２】
顔画像に基づいて眼の状態を判定し、その人の視線の方向を計測したり、その人の覚醒度を推定する方法がある。眼の状態を判定するためには、顔画像の眼部を正確に検出することが必要である。
【０００３】
例えば、特許文献１には、運転者の顔画像から眼部（瞼）の位置を検出する技術が記載されている。特許文献１の技術は、顔画像のエッジ画像からエッジを抽出してラベリングし、ラベリングしたエッジのうち、面積（画素数）が所定値以下で、且つ、幅が所定値以上の上エッジのみを上瞼の特徴を有するエッジとして抽出する。そして、トラッキングウインドウ内に、抽出した上瞼の特徴を有するエッジの下に下瞼の特徴を有するエッジがあれば、その２つのエッジのペアを上下瞼候補として抽出し、テンプレートとマッチングをして相関を調べ、相関が高ければ上下瞼として検出することにより、精度よく眼部（瞼）の位置を検出することができる技術を開示している。
【０００４】
また、特許文献２には、所定の条件に適合する度合いに基づいて、顔画像の水平方向エッジと垂直方向エッジから上瞼候補と下瞼候補のエッジを検出する。そして、検出した上瞼候補と下瞼候補の組み合わせを比較し、上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを上瞼および下瞼と判定することにより、精度良く上下瞼のペアを検出することができる技術を開示している。
【０００５】
また、特許文献３には、顔の動画像から鼻孔の位置を検索し、鼻孔位置から上瞼および下瞼を探索する領域を決定し、当該領域から上瞼と下瞼の候補となるエッジラインを抽出する。そして、抽出したエッジラインの内、上瞼の候補の重心が上下方向に移動し、下瞼の候補の重心が移動しないエッジラインを瞼と判別する技術を開示している。
【０００６】
【特許文献１】特開２０００−１３７７９２号公報
【特許文献２】特開２００８−１４０２７０号公報
【特許文献３】特開２００８−２２６０７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１〜３の技術では、瞼に相当するエッジは相当の長さで連続しているものとされ、所定の長さ以下のエッジは瞼の候補として除外される。しかし、顔画像を撮影する光環境によっては、瞼に相当するエッジは必ずしも連続しているとは限らない。例えば、夜間に撮影した顔画像において赤目が発生した場合には、眼球の赤目発光により、瞼に相当するエッジは連続しないで途切れてしまう場合がある。このような場合、特許文献１〜３の技術では、途切れたエッジのそれぞれを異なる瞼候補としてラベリングし、その結果ラベリングした各エッジは長さが小さいためフィルタリングで消されてしまい、瞼として検出されない場合がある。
【０００８】
本発明は、上記実情に鑑みてなされたものであり、光環境の影響をうけないで、瞼を精度よく検出する瞼検出装置、瞼検出方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の第１の観点に係る瞼検出装置は、対象者の顔を連続的に撮影した複数の顔画像を取得する顔画像取得手段と、前記顔画像から瞼探索領域を検出する瞼探索領域検出手段と、前記瞼探索領域検出手段で検出した瞼探索領域から上瞼と下瞼の候補となるエッジを検出するエッジ検出手段と、前記エッジ検出手段で検出したエッジの連結する集合であるエッジグループ毎にラベルを付与するエッジラベリング手段と、前記エッジラベリング手段でラベルが付与された各エッジグループの経時的な動きの変化に基づいて、ラベルを付与した複数のエッジグループのなかから同一のエッジグループを判別する、同一ラベル判別手段と、前記同一ラベル判別手段で同一であると判別したエッジグループ同士に、同一のラベルを付与する再ラベリング手段と、前記再ラベリング手段でラベリング済みのエッジグループのうち、所定時間内に上方から下方、および、下方から上方に変化するエッジグループを上瞼に相当するエッジグループと判別する上瞼判別手段と、前記上瞼判別手段で判別した上瞼に相当するエッジグループの下方の所定の領域に位置するエッジグループを、下瞼に相当するエッジグループと判別する下瞼判別手段と、を備えることを特徴とする。
【００１０】
前記エッジラベリング手段は、前記エッジ検出手段で検出したエッジのうち所定画素数以上連結しないエッジを消去するエッジ消去手段を備えてもよい。
【００１１】
前記同一ラベル判別手段は、最新の顔画像より時間的に１つ前に撮影された顔画像のエッジグループと、最新の顔画像のエッジグループとで、同一のエッジグループ同士を判別して対応付ける、エッジグループ対応付手段をさらに備え、前記エッジグループ対応付手段で対応付けたエッジグループを辿っていくことにより、エッジグループの経時的な動きの変化を判別してもよい。
【００１２】
前記エッジグループ対応付手段は、最新の顔画像より時間的に１つ前に撮影された顔画像のエッジグループの位置情報からテンプレートデータを作成し、作成したテンプレートデータを用いたパターンマッチングを最新の顔画像に対して行い、パターンマッチングの結果最も相関が高いと判別された最新の顔画像のエッジグループが、前記テンプレートデータの作成の元となった最新の顔画像より時間的に１つ前に撮影された顔画像のエッジグループと同一のエッジグループであると判別してもよい。
【００１３】
前記上瞼判別手段又は前記下瞼判別手段で判別された上瞼、下瞼に相当するエッジグループに所定の曲線をフィッティングし、フィッティングした曲線上の画素を、上瞼、下瞼に相当するエッジラインとして検出してもよい。
【００１４】
前記上瞼判別手段は、前記再ラベリング手段でラベリング済みのエッジグループのうち、所定時間内に上方から下方、および、下方から上方に変化するエッジグループと、該エッジグループにフィッティングさせた上瞼のテンプレートとなる曲線の近傍に位置するエッジグループとを上瞼に相当するエッジグループと判別してもよい。
【００１５】
上記目的を達成するため、本発明の第２の観点に係る瞼検出方法は、対象者の顔を連続的に撮影した複数の顔画像を取得する顔画像取得ステップと、前記顔画像から瞼探索領域を検出する瞼探索領域検出ステップと、前記瞼探索領域検出ステップで検出した瞼探索領域から上瞼と下瞼の候補となるエッジを検出するエッジ検出ステップと、前記エッジ検出ステップで検出したエッジの連結する集合であるエッジグループ毎にラベルを付与するエッジラベリングステップと、前記エッジラベリングステップでラベルが付与された各エッジグループの経時的な動きの変化に基づいて、ラベルを付与した複数のエッジグループのなかから同一のエッジグループを判別する、同一ラベル判別ステップと、前記同一ラベル判別ステップで同一であると判別したエッジグループ同士に、同一のラベルを付与する再ラベリングステップと、前記再ラベリングステップでラベリング済みのエッジグループのうち、所定時間内に上方から下方、および、下方から上方に変化するエッジグループを上瞼に相当するエッジグループと判別する上瞼判別ステップと、前記上瞼判別ステップで判別した上瞼に相当するエッジグループの下方の所定の領域に位置するエッジグループを、下瞼に相当するエッジグループと判別する下瞼判別ステップと、を備えることを特徴とする。
【００１６】
上記目的を達成するため、本発明の第３の観点に係るプログラムは、コンピュータを、対象者の顔を連続的に撮影した複数の顔画像を取得する顔画像取得手段、前記顔画像から瞼探索領域を検出する瞼探索領域検出手段、前記瞼探索領域検出手段で検出した瞼探索領域から上瞼と下瞼の候補となるエッジを検出するエッジ検出手段、前記エッジ検出手段で検出したエッジの連結する集合であるエッジグループ毎にラベルを付与するエッジラベリング手段、前記エッジラベリング手段でラベルが付与された各エッジグループの経時的な動きの変化に基づいて、ラベルを付与した複数のエッジグループのなかから同一のエッジグループを判別する、同一ラベル判別手段、前記同一ラベル判別手段で同一であると判別したエッジグループ同士に、同一のラベルを付与する再ラベリング手段、前記再ラベリング手段でラベリング済みのエッジグループのうち、所定時間内に上方から下方、および、下方から上方に変化するエッジグループを上瞼に相当するエッジグループと判別する上瞼判別手段、前記上瞼判別手段で判別した上瞼に相当するエッジグループの下方の所定の領域に位置するエッジグループを、下瞼に相当するエッジグループと判別する下瞼判別手段、として機能させることを特徴とする。
【発明の効果】
【００１７】
本発明の瞼検出装置によれば、瞼に相当するエッジグループが途切れてしまっている場合でも、その経時的な動きの変化に基づいて、同一のラベルを付与する。そのため、光環境の影響をうけないで、瞼を精度よく検出することができる。
【発明を実施するための最良の形態】
【００１８】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。図１は、本発明の一実施の形態に係る瞼検出装置１の構成を示すブロック図である。本実施形態の瞼検出装置１は、運転者の顔を撮影して顔画像を生成するカメラ２と、運転者の顔を照明する照明光源３と、運転者の眼部を検出する瞼検出装置１０と、瞼検出装置１０に接続された表示装置４とを備える。なお、表示装置４は必須の構成要素ではなく、顔画像や検出結果及び判定結果等を表示する必要がなければ特に設ける必要はない。
【００１９】
カメラ２は、例えば、ＣＣＤ（Charge Coupled Device）などでレンズの結像を電気信号に変換し、画素ごとにデジタル化した画像データを出力する。カメラ２は、例えば、運転者の顔の階調画像を撮像する。カメラ２によって生成される画像データは、運転者の顔だけでなく、その背景なども含まれている。
【００２０】
表示装置４は、ＬＣＤ（Liquid Crystal Display)又はＣＲＴ(Cathode Ray Tube)などから構成され、カメラ２で撮影された顔画像から生成されたエッジ画像などを表示する。なお、表示装置４は必ずしも備える必要はない。
【００２１】
瞼検出装置１０は、カメラ２により取得された画像データを処理して顔の左右両端位置、上下位置、鼻孔位置を検出する。そして、検出したこれらの位置に基づいて、瞼を探策する領域（瞼探索領域）を設定する。そして、眼部探索領域から上下瞼を検出する。
【００２２】
図２は、瞼検出装置１０の構成の一例を示すブロック図である。瞼検出装置１０は、送受信部１１と、画像メモリ１２と、外部記憶部１３と、制御部１４と、主記憶部１５と、表示制御部１６と、光源制御部１７と、を備える。送受信部１１、画像メモリ１２、外部記憶部１３、制御部１４、主記憶部１５、表示制御部１６及び光源制御部１７はいずれも内部バス１８を介して制御部１４に接続されている。
【００２３】
送受信部１１は、モデム又は網終端装置、及びそれらと接続するシリアルインタフェース又はＬＡＮ（Local Area Network）インタフェースあるいはＮＴＳＣインタフェース等から構成されている。制御部１４は、送受信部１１を介して、カメラ２から画像データを入力する。画像メモリ１２は、カメラ２により生成され、送受信部１１を経由して入力された画像データを記憶する。
【００２４】
外部記憶部１３は、フラッシュメモリ、ハードディスク、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、制御部１４に処理を行わせるためのプログラムを予め記憶し、また、制御部１４の指示に従って、このプログラムのデータを制御部１４に供給し、制御部１４から供給されたデータを記憶する。なお、画像データは、外部記憶部１３に格納されていてもよい。また、外部記憶部１３には、後述する瞼探索処理で利用される、各種の判別のために使用される各種の閾値データや統計データ、および、テンプレートの定義データ等が記憶されている。
【００２５】
また、外部記憶部１３は、図３（Ａ）、（Ｂ）に示すような、エッジ検出用の固定データである、水平方向エッジ検出用と垂直方向エッジ検出用ソーベルフィルタのオペレータを記憶する。本発明では、画像中で水平方向に輝度が明から暗、又は暗から明に変化する点の連なりを水平方向エッジという。水平方向エッジの点は概ね縦方向に連続するので、縦エッジともいう。また、垂直方向に輝度が明から暗、又は暗から明に変化する点の連なりを垂直方向エッジという。垂直方向エッジの点は概ね横方向に連続するので、横エッジともいう。
【００２６】
図３（Ａ）に示す水平方向エッジ（縦エッジ）検出用ソーベルフィルタは、図３（Ｃ）に示すような縦方向に連続する濃淡差の境界（縦エッジ）を抽出するためのオペレータである。図３（Ｂ）に示す垂直方向エッジ（横エッジ）検出用のソーベルフィルタは、図３（Ｄ）に示すような横方向に連続する濃淡差の境界（横エッジ）を抽出するためのオペレータである。
【００２７】
図２に戻り、制御部１４はＣＰＵ（Central Processing Unit）等を備え、瞼検出装置１０全体の動作を制御する。また、制御部１４は、外部記憶部１３に記憶されているプログラムを実行することにより、顔画像から瞼を検出する処理（瞼検出処理）を行う。なお、瞼検出処理の詳細については後述する。
【００２８】
主記憶部１５はＲＡＭ（Random-Access Memory）等から構成され、制御部１４の作業領域として用いられる。
【００２９】
表示制御部１６は、制御部１４の制御の下に、表示装置４を制御する。
光源制御部１７は、制御部１４の制御の下に、照明光源３の点灯・消灯を制御する。
【００３０】
続いて、瞼検出装置１の動作について説明する。なお、瞼検出装置１の動作は、制御部１４がカメラ２、送受信部１１、画像メモリ１２、外部記憶部１３及び主記憶部１５と協働して行う。
【００３１】
コンピュータ内の制御部１４は、例えば、内部タイマが一定時間を経過する度に、例えば、１／３０秒毎に、内部割り込みを発生し、図４に示す瞼検出処理を実行する。 
【００３２】
まず、制御部１４は前処理を行い、ドライバーの顔画像を取り込み、縦エッジを強調した画像と横エッジを強調した画像とを生成する（ステップＳ１００）。 
【００３３】
図５に前処理（ステップＳ１００）の詳細を示す。
前処理が開始されると、先ず、制御部１４は、カメラ２が撮影した対象者（ドライバー）の顔画像を送受信部１１を介して取り込み、画像メモリ１２に格納するキャプチャ処理を行う（ステップＳ１１０）。 
【００３４】
次に、制御部１４は、座標変換処理を行い、画像メモリ１２に格納した顔画像の画素を、後述するソーベルフィルタ処理が実行可能な程度に間引く処理を行う（ステップＳ１２０）。なお、この処理は高速化のために実施されるものであるため、必要に応じて実施すればよい。
【００３５】
続いて制御部１４は、外部記憶部１３に格納されている縦エッジ検出用オペレータ（図３（Ａ））を用いて座標変換後の顔画像を処理して、顔画像内の縦エッジを強調した画像を生成する。また、制御部１４は、外部記憶部１３に格納されている横エッジ検出用オペレータ（図３（Ｂ））を用いて座標変換後の顔画像を処理して、顔画像内の横エッジを強調した画像を生成する（ステップＳ１３０）。 以上で前処理は終了する。
【００３６】
図４に戻り、前処理が終了すると、制御部１４は、瞼の位置を探索するための領域を設定する瞼探索領域設定処理を実行する（ステップＳ２００）。
【００３７】
図６に瞼探索領域設定処理（ステップＳ２００）の詳細を示す。
瞼探索領域設定処理が開始されると、制御部１４は、顔画像から顔領域を検出する（ステップＳ２１０）。
例えば、制御部１４は、顔画像から顔輪郭のエッジを算出する。あるいは、顔輪郭のパターンマッチングによって顔輪郭を抽出する。そして、制御部１４は、抽出した顔輪郭の範囲で、上から眉のエッジ、および、下から口下のエッジを検出し、顔の左右端、および、眉上、口下位置とで囲まれる領域を顔領域として検出すればよい。
【００３８】
続いて制御部１４は、統計的なデータに基づいて、検出した顔領域から鼻孔探索領域を設定する（ステップＳ２２０）。例えば、図７に示すように、縦幅Ｈ、横幅Ｗの顔領域ＦがステップＳ２１０の処理で検出された場合に、鼻孔探索領域として、縦ａ１・Ｈ、幅ａ２・Ｗの長方形の領域を、口下位置Ｍから上にａ３・Ｈの位置で、横方向は顔領域Ｆの中央に、鼻孔探索領域Ｎとして設定すればよい。なお、ａ１、ａ２、ａ３は、鼻孔探索領域を検出するために、統計的な顔画像等から算出された定数である。
【００３９】
図６に戻り、続いて制御部１４は、顔画像の鼻孔探索領域内を走査して、鼻孔の位置を求める（ステップＳ２３０）。例えば、鼻孔のテンプレート画像データを予め準備しておき、そのテンプレートを用いて鼻孔探索領域内でマッチング処理を行い、鼻孔の位置を求めればよい。
【００４０】
続いて制御部１４は、統計的なデータに基づいて、求めた鼻孔位置から瞼探索領域を設定する（ステップＳ２４０）。
例えば、図８に示すように、鼻孔の位置（重心位置）ＣｎがステップＳ２３０で求められた場合に、鼻孔の重心位置Ｃｎの上ｂ１・Ｈから上の位置で、横方向は鼻孔の重心位置Ｃｎを中心に間をｂ2・Ｗだけ離した位置の、縦ｂ３・Ｈ、幅ｂ４・Ｗの２つの長方形の領域を眼探索領域Ｅとして設定すればよい。なお、ｂ１、ｂ2、ｂ３、ｂ４、は、眼探索領域を検出するために、統計的な顔画像等から算出された定数である。以上で瞼探索領域設定処理は終了する。
【００４１】
図４に戻り、続いて制御部１４は、瞼探索領域から瞼に相当する候補のエッジを検出してラベリングする、エッジラベリング処理を実行する（ステップＳ３００）。
【００４２】
エッジラベリング処理（ステップＳ３００）について、図９のフローチャートを用いて、以下詳細に説明する。
【００４３】
エッジラベリング処理が開始されると、先ず、制御部１４は、顔画像の瞼探索領域から、図３（Ｂ）に示す横エッジ検出用ソーベルフィルタを用いて、瞼探索領域内の横のエッジを抽出する（ステップＳ３１０）。なお、この際、瞼探索領域の上部から下部に向かって明るい画素から暗い画素に移る点（画素）をマイナスエッジ、暗い画素から明るい画素に移る点（画素）をプラスエッジとして、区別して抽出する。
【００４４】
続いて制御部１４は、横エッジを抽出したエッジ画像において、連結するエッジ毎にマイナスエッジとプラスエッジとを区別してグルーピングし、グルーピングしたエッジの集合（以下、エッジグループとする）に対してラベル（識別情報）を付与するラベリングを行う（ステップＳ３２０）。なお、このラベリングの際、所定画素数連結していないエッジは、ノイズとして消去してもよい。
以上で、エッジラベリング処理（ステップＳ３００）は終了する。
【００４５】
図４に戻り、エッジラベリング処理が終了すると、制御部１４は、現在処理中の顔画像より、経時的に１つ前に撮影した顔画像（過去顔画像）の瞼探索領域で同様にラベリングした各エッジグループと、現在処理中の顔画像の瞼探索領域でラベリングした各エッジグループとで同一のもの同士を対応付けるエッジ対応付処理を行う（ステップＳ４００）。
【００４６】
エッジ対応付処理（ステップＳ４００）の詳細について、図１０を参照して説明する。
エッジ対応付処理が開始されると、制御部１４は、外部記憶部１３から、現在処理中の顔画像より経時的に１つ前に撮影した顔画像（過去顔画像）を取得する（ステップＳ４１０）。なお、この際、過去顔画像における、瞼探索領域の定義データや、エッジグループの位置情報等も同時に取得する。
【００４７】
続いて、制御部１４は、過去顔画像において、ラベリングしたエッジグループの１つを選択する（ステップＳ４２０）。
【００４８】
続いて、制御部１４は、選択したエッジグループを、Ｘ方向（水平方向）に所定画素幅ずつの領域に区切り、区切った領域毎に、エッジの位置情報をテンプレートデータとして取得する（ステップＳ４３０）。
【００４９】
続いて、制御部１４は、取得したテンプレートデータを用いて、現在の顔画像の瞼探索領域内のパターンマッチングを行い、テンプレートデータと最も相関の高いエッジグループを判別する（ステップＳ４４０）。
【００５０】
そして、制御部１４は、最も相関が高いと判別したエッジグループと、テンプレートデータの元となった過去顔画像のエッジグループとを、同一のエッジであるとして対応付ける（ステップＳ４５０）。この処理により、所定時間間隔で連続的に撮影された画像間で、同一のエッジグループ同士が対応付けられることとなる。そして、連続撮影された複数の画像の撮影順に、対応付けられたエッジグループを辿っていくことにより、エッジグループの経時的な動きの変化を調べることが可能となる。
【００５１】
続いて、制御部１４は、過去顔画像において、ステップＳ４２０の選択をしていないエッジグループがあるか否かを判別する（ステップＳ４６０）。
【００５２】
テンプレートデータを作成していないエッジグループがあると判別した場合（ステップＳ４６０；Ｙｅｓ）、制御部１４は、過去顔画像からテンプレートデータを作成していないエッジグループを１つ選択して（ステップＳ４２０）、選択したエッジグループのテンプレートデータを取得し（ステップＳ４３０）、最も相関の高い現在の顔画像のエッジグループを判別して同一エッジとして対応付ける処理（ステップＳ４４０、Ｓ４５０）を繰り返す。
【００５３】
テンプレートデータを作成していないエッジグループがないと判別した場合（ステップＳ４６０；Ｎｏ）、制御部１４は、エッジグループ毎に特徴点の経時的な動きの変化を調べ、動きの量、移動タイミングが近いエッジグループ同士を、同一のエッジグループとして、同一のラベルを再設定する、ラベリング移動処理を行う（ステップＳ４７０）。以上でエッジ対応付処理は終了する。
【００５４】
図４に戻り、エッジ対応付処理が終了すると、制御部１４は、上瞼のエッジを検出する上瞼検出処理を実行する（ステップＳ５００）。
【００５５】
具体的には、制御部１４は、所定時間内に上方向から下方向に変化した後、下方向から上方向に動く（即ち、Ｖ字状に動く）プラスのエッジグループを特定して、特定したエッジグループを上瞼に相当するエッジとして検出する。
【００５６】
続いて、上瞼検出処理が終了すると、制御部１４は、上瞼のエッジグループの下方に位置するマイナスのエッジグループを、下瞼に相当するエッジとして検出する（ステップＳ６００）。以上で、瞼検出処理は終了する。
【００５７】
続いて、瞼検出処理について、具体例を挙げて説明する。
【００５８】
図１１（Ａ）は、瞼探索領域の瞼の画像を示したものである。図１１（Ａ）に示す瞼の画像は、撮影時の光環境により赤目現象が発生している。そのため、眼球の赤目発光により、上下瞼ラインの中央付近（眼球付近）の視認性が悪化している。
【００５９】
図１１（Ａ）の画像をエッジラベリング処理（ステップＳ３００）の処理対象とした場合、まず、横エッジラインの抽出（ステップＳ３１０）により、図１１（Ａ）に示す画像から、図１１（Ｂ）に示すように横エッジが抽出される。なお、図１１（Ｂ）においては、上方にプラスエッジ（図１１（Ｂ）上では符号Ａを付す）が、下方にマイナスエッジ（図１１（Ｂ）上では符号Ｂを付す）が抽出されている。赤目発光のため、図１１（Ｂ）のエッジ画像では、上瞼と下瞼に相当するエッジが中央部分で途切れてしまっている。
【００６０】
続いて、ラベリング処理（ステップＳ３２０）により、図１１（Ｃ）に示すように、上瞼に相当するプラスエッジのグループをＧ＋１、Ｇ＋２、下瞼に相当するマイナスエッジのグループをＧ−１、Ｇ−２、とラベル（識別情報）を付与する。なお、図１１（Ｃ）では、所定数連結していないエッジは、ノイズとして消去している。
【００６１】
続いて、この図１１（Ｃ）のラベリングしたエッジ画像を処理対象として、エッジ対応付処理（ステップＳ４００）が行われた場合について説明する。
【００６２】
まず、図１１（Ｄ）に示す過去顔画像を外部記憶部１３から取得する（ステップＳ４１０）。図１１（Ｄ）に示す過去顔画像では、プラスエッジグループにＧ＋３、Ｇ＋４、マイナスエッジグループにＧ−３、Ｇ−４とラベルが付与されている。
【００６３】
続いて、図１１（Ｄ）に示す過去顔画像から、エッジグループＧ＋３を選択し（ステップＳ４２０）、選択したエッジグループＧ＋３を、図１１（Ｅ）に示すように、Ｘ方向（水平方向）に１画素幅ずつの領域に区切り、各領域毎に、エッジの位置情報をテンプレートデータとして取得する（ステップＳ４３０）。なお、Ｘ方向に区切る画素幅は、１画素以外の所定の画素幅で区切ってもよい。
【００６４】
そして、図１１（Ｆ）に示すように、取得したテンプレートデータを用いて、現在の顔画像の瞼探索領域内でパターンマッチングを行い、テンプレートデータと最も相関の高いエッジグループを判別する（ステップＳ４４０）。図１１（Ｆ）の例では、テンプレートデータと最も相関の高いエッジグループはエッジグループＧ＋１と判別される。
【００６５】
そして、この最も相関が高いと判別されたエッジグループＧ＋１と、テンプレートデータの元となった過去顔画像のエッジグループＧ＋３とを、同一のエッジグループとして対応付ける（ステップＳ４５０）。
【００６６】
過去顔画像の他のエッジグループについても、同様にテンプレートデータを作成してパターンマッチングを行い、現在の顔画像のエッジグループの１つと対応付ける処理を行っていく。そして、最終的には、過去顔画像のエッジグループＧ＋３、Ｇ＋４、Ｇ−３、Ｇ−４は、現在の顔画像のエッジグループＧ＋１、Ｇ＋２、Ｇ−１、Ｇ−２のそれぞれと、同一のエッジであるものとして対応付けられる。
【００６７】
続いて、制御部１４は、エッジグループ毎に、特徴点の経時的な動きの変化を調べる。例えば、図１２（Ａ）は、鼻孔位置を原点としたY方向（高さ）の最大値を特徴点として、その時間変化を、エッジグループ毎に示した図である。なお、特徴点はこれに限らず、例えば、エッジグループのＹ方向の最低値や平均値、および、重心位置などを特徴点としてもよい。
【００６８】
図１２（Ａ）からもわかるように、エッジグループＧ＋１とＧ＋２、および、エッジグループＧ−１とＧ−２が、動きの量、および、移動タイミングが近いため、それぞれ同一のエッジグループであると判別する。そして、図１３（Ａ）に示すように、エッジグループのラベルを再設定する（ステップＳ４７０）。すなわち、エッジグループＧ＋２をエッジグループＧ＋１に、エッジグループＧ−２をエッジグループＧ−１に、ラベルを再設定する。この処理により、赤目発光などの影響により途切れてしまったエッジグループであっても同一のものとしてラベリングされる。以上で、エッジ対応付処理（ステップＳ４００）は終了する。
【００６９】
続いて、上瞼検出処理（ステップＳ５００）が行われ、ステップＳ４７０の処理でラベルが再設定されたエッジ画像において、エッジグループ毎に、再度、図１２（Ｂ）に示すように、経時的な動きの変化が調べられる。そして、図１２（Ｂ）より、所定時間内に上方向から下方向に変化してから下方向から上方向に動く（即ち、Ｖ字状に動く）エッジグループＧ＋１を上瞼に相当するエッジとして検出する。
【００７０】
続いて、下瞼検出処理（ステップＳ６００）が行われ、エッジグループＧ＋１の下方の所定領域に位置するエッジグループＧ−１が下瞼として検出される（ステップＳ６００）。最終的には、図１３（Ｂ）に示すように、下瞼と上瞼に相当するエッジグループが判別される。以上で瞼検出処理は終了する。
【００７１】
このように、本実施形態では、赤目現象等が発生して瞼に相当するエッジグループが途切れてしまっている場合でも、その経時的な動きの変化から同一のエッジグループを判別して同一にラベリングする。そして、このようにラベリングしたエッジグループの経時的な動きの変化から、上瞼に相当するエッジグループを検出して、検出した上瞼に相当するエッジグループの下方の所定領域から、下瞼に相当するエッジグループを検出する。従って、光環境の影響をうけないで、瞼を精度よく検出することが可能となる。
【００７２】
なお、この発明は上記実施形態に限定されず、種々の変形及び応用が可能である。
例えば、本実施形態では、最初に鼻孔位置を検出し、検出した鼻孔位置を基準に瞼探索領域を求めたがこれに限らず、例えば、口位置などの他の特徴箇所を基準に鼻孔位置を求めてもよく、瞼探索領域を求める手法は公知のものを利用してよい。
【００７３】
また、上記実施形態で上瞼と下瞼に相当するエッジグループを判別した後に、図１４に示すように、各瞼のエッジグループにベジェ曲線 、スプライン曲線、回帰曲線などの所定の曲線をフィッティングし、フィッティングした曲線上の画素を、上瞼、下瞼に相当するエッジラインとしてもよい。このようにすることで、光環境の影響によって途切れてしまったエッジラインが補完されることとなり、より鮮明な瞼のラインを検出することができる。
【００７４】
また、上記実施形態では、ステップＳ５００の上瞼検出処理において、Ｖ字状に動くプラスのエッジグループを特定して、特定したエッジグループを上瞼に相当するエッジとして検出した。しかし、上瞼の目尻と目頭の部分のエッジは、上瞼の他の部分のエッジよりも、眼の開閉の際に動きが少ない。そのため、上瞼検出処理において、目尻と目頭の部分ではエッジのＶ字状の動きを特定されず、上瞼に相当するエッジが検出されなくなってしまう可能性がある。
【００７５】
この問題を解決するために、上瞼検出処理を、図１５に示す手順で実施してもよい。
まず、制御部１４は、プラスエッジの経時的動きを調べ、Ｖ字状に動くプラスのエッジグループを上瞼に相当するエッジグループとして特定する（ステップＳ５１０）。この処理は、上記実施形態の上瞼検出処理と同様である。
【００７６】
続いて、制御部１４は、ステップＳ５１０で特定したエッジグループに、所定の統計的なデータなどから作成される上瞼エッジのテンプレートとなる曲線（テンプレート曲線）をフィッティングする（ステップＳ５２０）。そして、制御部１４は、フィッティングした曲線の近傍に位置するプラスのエッジグループも、上瞼に相当するエッジグループとして検出する（ステップＳ５３０）。
【００７７】
上述の上瞼検出処理について、具体例を挙げて説明する。
例えば、図１６（Ａ）に示すような４つのプラスエッジグループＣ、Ｄ、Ｅ、Ｆが瞼検出領域にある場合を考える。まず、上述した上瞼検出処理が開始されると、この各エッジグループの経時的な動きが図１６（Ｂ）に示すように調べられ、Ｖ字状に動くエッジグループＤ、Ｅのみが上瞼として特定される（ステップＳ５１０）。なお、エッジブループＣ、Ｆは、それぞれ目尻と目頭に相当するためＶ字状の動きが検出されず、この段階では上瞼とは特定されない。続いて、図１６（Ｃ）に示すように、特定されたエッジグループＤ、Ｅに対してテンプレート曲線がフィッティングされ（ステップＳ５２０）、このテンプレート曲線の近傍に位置するエッジグループＣ、Ｆも、上瞼のエッジグループとして検出される（ステップＳ５３０）。まとめると、最終的には、図１６（Ｄ）に示すように、プラスエッジグループＣ、Ｄ、Ｅ、Ｆの４つのエッジグループ全てがが上瞼として検出される。
従って、このような上瞼検出処理をすることで、経時的な動きの変化の少ない目尻や目頭等のエッジグループも、上瞼として検出され、瞼検出の精度をより向上させることが可能となる。
【００７８】
その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更及び修正が可能である。
【００７９】
送受信部１１、画像メモリ１２、外部記憶部１３、制御部１４、及び、主記憶部１５などから構成される瞼検出装置１０の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読みとり可能な記録媒体（フレキシブルディスク、CD-ROM、DVD-ROM等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する瞼検出装置１０を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで瞼検出装置１０を構成してもよい。
【００８０】
また、瞼検出装置１０の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００８１】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施形態に係る眼検出装置のブロック図である。
【図２】図１に示す眼検出装置の構成を示すブロック図である。
【図３】縦エッジ、および、横エッジ検出用オペレータの例を示す図である。
【図４】瞼検出処理を説明するためのフローチャートである。
【図５】図４のフローチャートにおける前処理を説明するためのフローチャートである。
【図６】図４のフローチャートにおける瞼探索領域設定処理を説明するためのフローチャートである。
【図７】鼻孔探索領域の例を示す図である。
【図８】瞼探索領域の例を示す図である。
【図９】図４のフローチャートにおけるエッジラベリング処理を説明するためのフローチャートである。
【図１０】図４のフローチャートにおけるエッジ対応付処理を説明するためのフローチャートである。
【図１１】瞼検出処理の具体例を説明するための図である。
【図１２】エッジグループ毎に経時的な動きの変化を示した図である。
【図１３】瞼検出処理の具体例を説明するための図である。
【図１４】瞼のエッジラインに曲線をフィッティングする具体例を示した図である。
【図１５】上瞼検出処理の変形例を説明するためのフローチャートである。
【図１６】上瞼検出処理の変形例を説明するための具体例である。
【符号の説明】
【００８３】
２  カメラ
３  照明光源
４  表示装置
１０  瞼検出装置
１１  送受信部
１２  画像メモリ（顔画像記憶手段）
１３  外部記憶部
１４  制御部（瞼探索領域検出手段、エッジ検出手段、エッジラベリング手段、同一ラベル判別手段、再ラベリング手段、上瞼判別手段、下瞼判別手段）
１５  主記憶部
１６  表示制御部
１７  光源制御部
１８  内部バス
【図１】
2010146159.tif 000003
【図２】
2010146159.tif 000004
【図３】
2010146159.tif 000005
【図４】
2010146159.tif 000006
【図５】
2010146159.tif 000007
【図６】
2010146159.tif 000008
【図７】
2010146159.tif 000009
【図８】
2010146159.tif 000010
【図９】
2010146159.tif 000011
【図１０】
2010146159.tif 000012
【図１２】
2010146159.tif 000013
【図１５】
2010146159.tif 000014
【図１１】
2010146159.tif 000015
【図１３】
2010146159.tif 000016
【図１４】
2010146159.tif 000017
【図１６】
2010146159.tif 000018