(57)【要約】【課題】  眼の追跡に失敗したときに、眼の追跡処理への復帰を良好に行うことが可能な眼追跡装置を提供する。【解決手段】  眼追跡装置は、被撮像者の眼以外の顔部位を誤って眼であるとして追跡していたときの眼鼻間距離と、眼の追跡処理に復帰を図るべく、次の処理において画像全体から検出した眼鼻間距離とを、位置関係判定部４３ｄにおいて比較する構成となっている。この比較の際、位置関係判定部４３ｄは、度数分布生成部４３ｂにより生成された眼鼻間距離度数分布を利用することとなっている。そして、位置関係判定部４３ｄは、上記２つの眼鼻間距離が、分布において同様の箇所にあるときには、画像全体から検出した眼は誤りであると判断し、分布において異なる箇所にあるときには、画像全体から検出した眼は正しく検出されたと判断する。【選択図】      図５
2005327072.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により連続的に撮像された被撮像者の顔画像から眼を追跡する眼追跡装置において、
被撮像者の顔画像を撮像した信号を顔画像データとして得る顔画像取得手段と、
前記顔画像取得手段からの顔画像データに基づいて、眼と眼以外の第２顔部位との双方について、顔画像上の座標を検出する座標検出手段と、
前記座標検出手段により検出された双方の座標から、眼と第２顔部位との座標の特徴量を計算する位置関係計算手段と、
前記位置関係計算手段により時系列的に検出された複数の特徴量を所定条件に従って区分する区分手段と、
被撮像者の眼以外の顔部位を誤って眼であるとして追跡していた場合、誤って追跡していたときに前記位置関係計算手段により計算される特徴量、及び、誤って追跡した後に眼を検出したときに前記位置関係計算手段により計算される特徴量の双方が、前記区分手段により区分された特徴量の区分のうちいずれに属するかを判断する区分判断手段と、
前記区分判断手段により判断された双方の属する区分が異なる場合に、検出した追跡対象を眼であると決定する位置関係判定手段と、
を備えることを特徴とする眼追跡装置。
【請求項２】
前記区分判断手段は、被撮像者の眼が顔画像データ内に存在しなくなったことにより、眼を追跡できなくなった場合に、追跡できなくなったときに前記位置関係計算手段により計算される特徴量、及び、追跡できなくなった後に眼を検出したときに前記位置関係計算手段により計算される特徴量の双方が、前記区分手段により区分された特徴量の区分のうちいずれに属するかを判断し、
前記位置関係判定手段は、前記区分判断手段により判断された双方の属する区分が同じとなる場合に、検出した追跡対象を眼であると決定する
ことを特徴とする請求項１に記載の眼追跡装置。
【請求項３】
前記座標検出手段は、前記第２顔部位として鼻及び口の少なくとも一方の座標を検出することを特徴とする請求項１又は請求項２のいずれかに記載の眼追跡装置。
【請求項４】
前記位置関係計算手段は、眼と第２顔部位との座標の特徴量として、画像上における眼と第２顔部位との距離を計算することを特徴とする請求項１〜請求項３のいずれか１項に記載の眼追跡装置。
【請求項５】
被撮像者の交代の可能性を検出して、前記位置関係計算手段により時系列的に検出された複数の特徴量の情報を初期化する被撮像者交代検出手段を更に備えることを特徴とする請求項１〜請求項４のいずれか１項に記載の眼追跡装置。
【請求項６】
前記顔画像取得手段は、車両運転者の顔画像を撮像した信号を顔画像データとして得るものであって、
前記被撮像者交代検出手段は、車速信号、シフトポジション信号、キースイッチ信号、及びドアの開閉信号の少なくとも１つに基づいて、被撮像者の交代の可能性を検出することを特徴とする請求項５に記載の眼追跡装置。
【請求項７】
前記被撮像者交代検出手段は、前記顔画像取得手段により取得された顔画像データと、記憶した画像データとの差分画像における差異が設定値以下である場合に、被撮像者の交代の可能性を検出することを特徴とする請求項５に記載の眼追跡装置。
【請求項８】
撮像装置により連続的に撮像された被撮像者の顔画像から眼を追跡する眼追跡装置において、
被撮像者の顔画像を撮像して得られる顔画像データに基づき、眼と眼以外の第２顔部位との双方について顔画像上の座標を検出し、これら座標から、眼と第２顔部位との座標の特徴量を計算し、検出した特徴量を時系列的に収集して、収集した複数の特徴量を所定条件に従って区分し、
被撮像者の眼以外の顔部位を誤って眼であるとして追跡していた場合に、誤って追跡していたときの特徴量、及び、誤って追跡した後に眼を検出したときの特徴量の双方が、いずれの区分に属するかを判断して、双方の属する区分が異なる場合に、検出した追跡対象を眼であると決定する
ことを特徴とする眼追跡装置。
【請求項９】
撮像装置により連続的に撮像された被撮像者の顔画像から眼を追跡する眼追跡装置において、
被撮像者の顔画像を撮像して得られる顔画像データに基づき、眼と眼以外の第２顔部位との双方について顔画像上の座標を検出し、これら座標から、眼と第２顔部位との座標の特徴量を計算し、検出した特徴量を時系列的に収集して、収集した複数の特徴量を所定条件に従って区分し、
被撮像者の眼が顔画像データ内に存在しなくなったことにより、眼を追跡できなくなった場合に、追跡できなくなったときの特徴量、及び、追跡できなくなった後に眼を検出したときの特徴量の双方が、いずれの区分に属するかを判断して、双方の属する区分が同じとなる場合に、検出した追跡対象を眼であると決定する
ことを特徴とする眼追跡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼追跡装置に関する。
【背景技術】
【０００２】
従来、運転者の顔全体を撮像して得られた顔画像全体から眼を検出し、検出後には眼の存在する可能性が高い局所領域から眼を検出して追跡していく装置が知られている。この装置では、一度眼を検出した後には局所領域から眼を検出して追跡していくため、処理速度の向上が図れるという利点がある。また、運転者が眼鏡を着用していたとしても、眼周辺の局所領域から眼を検出して追跡するため、局所領域内に眼鏡のフレーム部分が入りにくくなり、眼鏡による誤追跡の影響を軽減できるという利点がある（特許文献１参照）。
【０００３】
また、顔画像入力手段により運転者の顔画像を入力し、その顔画像内から眉、眼、鼻、口等の顔の特徴点を抽出することにより、顔の傾き角を求める顔画像処理装置が知られている。この装置では、顔の傾き角を求めることにより、眼球存在領域を精度良く設定できることとなっている。（特許文献２参照）
また、眼の画像だけでなく、眼周辺画像も追跡することにより、眼を喪失したときに眼の周辺画像から眼を認識することで、眼画像追跡を精度良く行う眼画像追跡装置が知られている。また、この装置では、眼のみでなく、鼻との相対位置を利用することで、眼画像の追跡精度の向上を図っている（特許文献３参照）。
【特許文献１】特開平７−１８１０１２号公報
【特許文献２】特開平９−３５０７０号公報
【特許文献３】特開平１１−６６３２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の装置では、誤って眉などを眼であるとして追跡する可能性がある。すなわち、局所領域の画像内において、眼と眉とは非常に似た特徴を有しており、区別が困難であるため、誤追跡を招くこととなる。
【０００５】
また、特許文献２に記載の装置では、眉、眼、鼻、口等の複数の顔部位を同時検出する必要があることから、現在のコンピュータの処理能力では、リアルタイムに眼を追跡していくことが困難である。このため、この装置では、リアルタイムに眼を追跡しようとする場合、処理を粗く行わなければならず、粗く行うことによって眼の誤追跡を招く可能性がある。
【０００６】
さらに、特許文献３に記載の装置では、眼と鼻との相対位置を利用しているが、眼と鼻との相対位置は個人差が大きく、個人情報の記録などにより個人差の影響を軽減することとしないと、眼の誤追跡を招くこととなる。
【０００７】
このように、従来装置は、誤追跡を防ぎ切れていない。このため、従来装置では、誤追跡の発生時に、眼の追跡に関して復帰を図るべく、再度眼を検出し直すこととなるが、この検出についても、正確に眼を検出できるとは限らず、再び誤追跡してしまう可能性があり、眼の追跡処理への復帰が円滑に行われているといえない。
【０００８】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、眼の追跡に失敗したときに、眼の追跡処理への復帰を良好に行うことが可能な眼追跡装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係る眼追跡装置は、撮像装置により連続的に撮像された被撮像者の顔画像から眼を追跡するの顔画像から眼を追跡するものである。この眼追跡装置は、被撮像者の顔画像を撮像した信号を顔画像データとして得る顔画像取得手段と、顔画像取得手段からの顔画像データに基づいて、眼と眼以外の第２顔部位との双方について、顔画像上の座標を検出する座標検出手段とを備えている。また、眼追跡装置は、座標検出手段により検出された双方の座標から、眼と第２顔部位との座標の特徴量を計算する位置関係計算手段と、位置関係計算手段により時系列的に検出された複数の特徴量を所定条件に従って区分する区分手段とを有している。さらに、眼追跡装置は、区分判断手段と、位置関係判定手段とを具備している。そして、区分判断手段は、被撮像者の眼以外の顔部位を誤って眼であるとして追跡していた場合、誤って追跡していたときに位置関係計算手段により計算される特徴量、及び、誤って追跡した後に眼を検出したときに位置関係計算手段により計算される特徴量の双方が、区分手段により区分された特徴量の区分のうちいずれに属するかを判断する構成となっている。また、位置関係判定手段は、区分判断手段により判断された双方の属する区分が異なる場合に、検出した追跡対象を眼であると決定する構成となっている。
【発明の効果】
【００１０】
本発明によれば、顔画像データから眼と眼以外の第２顔部位との座標の特徴量を計算し、それを時系列的に検出して得られる複数の特徴量を所定条件（例えば特徴量の大きさ）に従って区分している。このため、同様の特徴量は、同じ区分とされることとなる。
【００１１】
そして、被撮像者の眼を誤って追跡した場合、すなわち誤って眉などを眼であるとして追跡した場合、そのときの特徴量が、いずれの区分に属するかを判断している。また、誤って追跡した後に眼を検出したときの特徴量が、いずれの区分に属するかを判断している。このため、誤った追跡の際、及びその後の検出の際について属する区分を判断できる。
【００１２】
次いで、判断された双方の属する区分が異なる場合に、検出した追跡対象を眼であると決定している。ここで、誤って眉などを眼であるとして追跡した場合と、正確に眼を追跡している場合とでは、特徴量が異なることとなる。故に、新たに眼を検出したときの区分が、眉などを誤って追跡したときの区分と同じであるときには、検出時においても眉などを検出したと判断でき、眉などを誤って追跡したときの区分と異なるときには、検出時においても眼を正確に検出したと判断できる。
【００１３】
従って、眼の追跡に失敗したときに、眼の追跡処理への復帰を良好に行うことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の好適な実施形態を図面に基づいて説明する。なお、以下の実施形態では、眼追跡装置を車両に搭載した場合を例に説明する。
【００１５】
図１は、本発明の実施形態に係るの眼追跡装置１のハード構成図である。同図に示すように、本実施形態の眼追跡装置１は、撮像装置により連続的に撮像された被撮像者の顔画像から眼を追跡するの顔画像から眼を追跡するものである。そして、眼追跡装置１は、眼の追跡に失敗した場合、眼を再度検出して追跡処理に復帰する際に、前回以前の追跡時のデータを利用して、追跡処理への復帰を良好に行うものである。なお、以下では、被撮像者として車両運転者を撮像する場合を例に説明する。
【００１６】
この眼追跡装置１は、カメラ１０と眼検出装置２０とを備えている。カメラ１０は、運転者の正面やや下方に設置され、運転者の顔を撮影し、得られたビデオ信号を出力するものである。眼検出装置２０は、カメラ１０からのビデオ信号を入力し、運転者の眼及び第２顔部位の座標を求めるものである。ここで、第２顔部位とは、眼以外の顔部位をいい、例えば鼻や口などをいうものである。なお、本実施形態においては、以下、第２顔部位として、鼻（特に鼻孔）を例に説明する。また、眼検出装置２０は、運転者の眼及び鼻の座標を求めると、眼鼻座標信号を出力するものである。
【００１７】
図２は、図１に示した眼検出装置２０の詳細を示すデータフローダイアグラムである。同図に示すように、眼検出装置２０は、顔画像取得部（顔画像取得手段）３０、顔部位検出部４０、顔部位追跡部５０、及び眼鼻座標信号出力部６０を備えている。
【００１８】
顔画像取得部３０は、運転者の顔画像を撮像したカメラ１０からのビデオ信号を顔画像データとして得るものである。詳しくは、顔画像取得部３０は、ビデオ信号により入力されるデータをキャプチャし、装置２０内の記憶領域にディジタル画像として格納するものである。この格納されたディジタル画像が顔画像である。
【００１９】
顔部位検出部４０は、装置１の起動時や、眼の誤追跡後に、眼及び鼻の座標を顔画像全体から検出するものである。ここで、本実施形態の顔部位検出部４０は、運転者の眼の座標として、両眼の座標を検出ものとする。
【００２０】
顔部位追跡部５０は、顔部位検出部４０により検出された眼及び鼻の座標に基づいて、全体画像よりも小さい極小領域を顔画像から抽出するものである。また、顔部位追跡部５０は、抽出した極小領域から眼及び鼻の座標を、パターンマッチングによる方法や、形状認識による方法によって、特定して追跡していくものである。このように、顔部位追跡部５０は、極小領域から眼及び鼻を特定するため、精度良く且つ実時間で眼及び鼻を追跡できることとなっている。
【００２１】
眼鼻座標信号出力部６０は、顔部位検出部４０及び顔部位追跡部５０により検出・追跡された眼及び鼻の座標を、眼鼻座標信号として出力するものである。具体的に、眼鼻座標信号出力部６０は、例えば眼の開閉眼検出装置や脇見検出装置などに接続され、これら装置に眼鼻座標信号を出力する構成となっている。このため、眼鼻座標信号は、開閉眼検出装置や脇見検出装置などにより、運転者の居眠りや脇見などを検出するのに利用されることとなる。
【００２２】
なお、上記の顔部位検出部４０及び顔部位追跡部５０は、装置２０内の記憶領域に記憶される処理状態の情報を読み込んで、処理を実行する構成となっている。ここで、処理状態は図３に示すようになっている。図３は処理状態の説明図である。
【００２３】
処理状態とは、眼追跡装置１の現在の状態を表すものである。具体的に処理状態は、眼が正確に追跡されているときには「追跡中」となり、眼の追跡に失敗したときには「再検出」となる。また、眼鼻を画像全体から検出したときには「検出」となり、眼鼻を画像全体から検出しているが、未だ検出に至っていないときには「検出中」となる。
【００２４】
より詳しくは、眼の追跡の失敗として、誤って眉などを眼であるとして追跡していた場合、処理状態は「再検出（誤追跡）」となり、眼を追跡していたにも関わらず、例えば運転者が後方を視認して眼が撮像できなくなったことにより、眼を追跡できなくなった場合、処理状態は「再検出（通常）」となる。
【００２５】
この処理状態は、図３に示すように、眼の追跡が正確に行われている限り、「追跡中」を維持するようになっている。また、処理状態は、「追跡中」となっているときに、誤って眉などを追跡すると「追跡中」から「再検出（誤追跡）」に遷移するようになっている。さらに、「追跡中」となっているときに、眼が撮像できなくなったとすると「追跡中」から「再検出（通常）」に遷移するようになっている。
【００２６】
また、処理状態は、「再検出（誤追跡）」及び「再検出（通常）」の後に、「検出中」に遷移するようになっている。そして、「検出中」の状態で、画像全体から眼鼻が検出されたときには「検出」に遷移し、検出されないときには「検出中」を維持するようになっている。また、処理状態が「検出」のときには、画像全体から検出した眼鼻が正確に検出されたのであれば、処理状態は「検出」から「追跡中」に遷移し、眼鼻が正確に検出されていない、即ち再度眉を眼として検出したなどであれば、処理状態は「検出」から「検出中」に戻るようになっている。
【００２７】
ここで、顔部位検出部４０は、処理状態として、「検出」「検出中」「再検出（誤追跡）」及び「再検出（通常）」を示す信号を入力したときに、作動して処理を行う構成となっている。一方、顔部位追跡部５０は、処理状態として、「追跡中」を示す信号を入力したときに、作動して処理を行う構成となっている。なお、処理状態「追跡中」において顔部位検出部４０は、データ収集処理（後述する眼鼻間距離度数分布の生成処理）については、実行する構成となっている。
【００２８】
以上の構成により、本装置１では、顔部位が正確に追跡できているときには、顔部位追跡部５０により極小領域から眼及び鼻が追跡され、眼の追跡に失敗したときには、顔部位検出部４０により画像全体から眼及び鼻が検出される。そして、本装置１は、眼の追跡に失敗した場合、顔部位検出部４０が正確に眼を検出したか否かを判断して、正確に検出されているときには処理状態を「検出」から「追跡中」に遷移させ、眼の追跡処理に復帰させる構成となっている。すなわち、本装置１は、眼の追跡に復帰するまでに、追跡対象が眼であることを確認して目の追跡処理に戻る構成となっている。一方、本装置１は、眼が正確に検出されていないには処理状態を「検出」から「検出中」に戻し、眼の追跡処理に復帰させず、再度眼を検出する構成となっている。
【００２９】
図４は、図２に示した顔部位検出部４０の詳細を示すデータフローダイアグラムである。同図に示すように、顔部位検出部４０は、鼻座標検出部（座標検出手段）４１、眼座標検出部（座標検出手段）４２、及び眼鼻座標決定部４３を備えている。
【００３０】
鼻座標検出部４１は、処理状態が「検出中」のときに、顔画像取得部３０からの顔画像データに基づいて、顔画像上における鼻の座標を検出するものである。また、眼座標検出部４２は、処理状態が「検出中」のときに、顔画像取得部３０からの顔画像データに基づいて、顔画像上における眼の座標を検出するものである。ここで、眼座標検出部４２は、運転者が眼鏡等を着用している場合、眼鏡等の影響により眼の検出が困難となるが、第２顔部位としての鼻座標が検出されているときには、鼻座標を利用することにより、眼座標を検出する構成となっている。具体的に眼座標検出部４２は、眼の垂直二等分線下に鼻がある等の条件によって、眼を検出する際の保証とすることができる。
【００３１】
眼鼻座標決定部４３は、処理状態が「検出」のときに、鼻座標検出部４１及び眼座標検出部４２により検出された鼻座標及び眼座標から、眼鼻座標を決定するものである。また、眼鼻座標決定部４３は、処理状態が「検出」の場合、鼻座標検出部４１及び眼座標検出部４２により検出された鼻座標及び眼座標が正しく検出されたかを判断する構成となっている。このとき、眼鼻座標決定部４３は、処理状態が「再検出（誤追跡）」又は「再検出（通常）」のときに、過去の眼鼻座標から、再度眼鼻座標を決定する。そして、眼鼻座標決定部４３は、過去の眼鼻座標から特徴量を取得し、この特徴量との関係により、鼻座標及び眼座標が正しく検出されたかを判断することとなる。
【００３２】
図５は、図４に示した眼鼻座標決定部４３の詳細を示すデータフローダイアグラムである。同図に示すように、眼鼻座標決定部４３は、位置関係計算部（位置関係計算手段）４３ａ、度数分布生成部４３ｂ、クラス判定部４３ｃ、及び位置関係判定部（位置関係判定手段）４３ｄを有している。
【００３３】
位置関係計算部４３ａは、処理状態が「検出」の場合に、鼻座標検出部４１及び眼座標検出部４２により検出された双方の座標から、眼と鼻との座標の特徴量を計算するものである。ここで、本実施形態において特徴量とは、例えば画像上における眼と鼻との距離が該当する。従って、本実施形態における位置関係計算部４３ａは、眼鼻間距離を計算するものといえる。
【００３４】
度数分布生成部４３ｂは、位置関係計算部４３ａにより検出された眼鼻間距離のデータを時系列的に収集して、収集した複数の眼鼻間距離のデータから度数分布を生成するものである。ここで、度数分布とは、複数の眼鼻間距離データの集合データであって、眼鼻間距離の検出回数を示す分布データである。具体的に眼鼻間距離の度数分布は、眼鼻間距離の画素数が「９５」であるときに度数（検出回数）が「１８０」であり、眼鼻間距離の画素数が「１３５」であるときに度数（検出回数）が「５２」であるなどの情報を有するデータ構造となっている。
【００３５】
クラス判定部４３ｃは、度数分布生成部４３ｂにより生成された度数分布を所定条件に従って区分するものである。具体的に、クラス判定部４３ｃは、眼鼻間距離度数分布の元となる複数の眼鼻間距離のデータを所定条件に従って区分するものである。ここで、所定条件とは、例えば特徴量の大きさが挙げられる。すなわち、クラス判定部４３ｃは、収集した複数の眼鼻間距離のデータを所定の大きさ毎に区分することとなる。なお、所定条件は、これに限らず、他のもの、例えば後述する傾きを基準とするものであってもよい。
【００３６】
また、クラス判定部４３ｃは、眼の追跡に失敗したときの眼鼻間距離と、失敗後に再度画像全体から眼を検出したときの眼鼻間距離とが、いずれの区分に属するかを判定するものである。すなわち、クラス判定部４３ｃは、処理状態が「再検出（誤追跡）」又は「再検出（通常）」のときの眼鼻間距離と、処理状態「検出」のときの眼鼻間距離とがいずれの区分に属するかを判定するものである。さらに、クラス判定部４３ｃは、判定した区分の情報を出力する構成とされている。
【００３７】
ここで、上記クラス判定部４３ｃは、具体的に以下の構成となっている。図６は、図５に示したクラス判定部４３ｃの詳細を示すデータフローダイアグラムである。同図に示すように、クラス判定部４３ｃは、ラベリング部（区分手段）４３ｃ１とクラス判断部（区分判断手段）４３ｃ２とを具備している。
【００３８】
ラベリング部４３ｃ１は、位置関係計算部４３ａにより時系列的に検出された複数の特徴量を所定条件に従って区分するものである。具体的にラベリング部４３ｃ１は、縦軸を度数とし、横軸を眼鼻間距離の画素数とした場合に、その傾きによって眼鼻間距離度数分布を区分していくものである。また、ラベリング部４３ｃ１は、度数分布を区分し、区分したそれぞれをラベルリングするものである。すなわち、ラベリング部４３ｃ１は、区分したそれぞれをＬ（ｎ）なるラベルとし（ｎは１以上の整数）、これらの集合であるラベルデータＬ（１）〜Ｌ（ｎ）を、クラス判断部４３ｃ２に出力するものである。
【００３９】
クラス判断部４３ｃ２は、眼の追跡に失敗したときの眼鼻間距離と、失敗後に再度画像全体から眼を検出したときの眼鼻間距離とが、いずれのラベル（区分）に属するかを判断するものである。すなわち、クラス判断部４３ｃ２は、処理状態が「再検出（誤追跡）」又は「再検出（通常）」のときの眼鼻間距離と、処理状態「検出」のときの眼鼻間距離とが、いずれのラベル（区分）に属するかを判断するものである。そして、クラス判断部４３ｃ２は、例えば眼の追跡に失敗したときの眼鼻間距離が、例えばラベルＬ（３）に属し、追跡失敗後に画像全体から得られた眼鼻間距離がラベルＬ（２）に属するなどを判断するものである。
【００４０】
再度、図５を参照する。位置関係判定部４３ｄは、クラス判断部４３ｃ２が判断した区分に基づいて、鼻座標検出部４１及び眼座標検出部４２により検出された鼻座標及び眼座標が正しく検出されたか否かを判断するものである。また、位置関係判定部４３ｄは、鼻座標及び眼座標が正しく検出されていない場合、処理状態を「検出」とし、再度の鼻座標及び眼座標の検出をさせるものである。さらに、位置関係判定部４３ｄは、鼻座標及び眼座標が正しく検出されている場合、処理状態を「追跡中」とし、追跡処理に移行させると共に、眼鼻座標を決定して、眼鼻座標を図２に示した眼鼻座標信号出力部６０に出力するものである。
【００４１】
次に、眼追跡装置１の動作の概略について図１〜図１４を参照して説明する。まず、処理状態が「追跡中」である場合、図１及び図２に示すように、眼追跡装置１では、カメラ１０により運転者の顔画像が撮影され、ビデオ信号が眼検出装置２０の顔画像取得部３０に入力される（Ｓ１１）。そして、顔画像取得部３０は、記憶領域に顔画像データを記憶させると、顔画像データを出力する（Ｓ１２）。そして、顔部位検出部４０及び顔部位追跡部５０は、顔画像データを入力する（Ｓ１３，Ｓ１４）
このとき、顔部位検出部４０及び顔部位追跡部５０は、装置２０内の記憶領域に記憶される処理状態の情報を読み込む（Ｓ１５，Ｓ１６）。ここで、処理状態は「追跡中」であるため、顔部位追跡部５０は、眼の追跡処理を実行することとなる。
【００４２】
この際、顔部位追跡部５０は、前回処理において求められた眼鼻座標のデータを読み込む（Ｓ１７）。そして、顔部位追跡部５０は、読み込んだ眼鼻座標に基づいて顔画像から極小領域を抽出する。その後、顔部位追跡部５０は、極小領域から、パターンマッチングや、形状認識により、眼鼻を特定して眼を追跡していく。そして、顔部位追跡部５０は、眼鼻を正確に特定した場合、処理状態「追跡中」の信号を出力することとなる（Ｓ１８）。
【００４３】
また、顔部位追跡部５０は、特定した眼鼻座標のデータを出力し（Ｓ１９）、眼鼻座標信号出力部６０は、そのデータを読み込む（Ｓ２０）。そして、眼鼻座標信号出力部６０は、開閉眼検出装置や脇見検出装置などに眼鼻座標信号を出力することとなる（Ｓ２１）。
【００４４】
一方、顔部位追跡部５０は、眼鼻を正確に特定できない場合、処理状態「再検出」の信号を出力することとなる（Ｓ１８）。ここで、顔部位追跡部５０は、例えば、追跡対象の縦幅を検出して眼の開閉を判断し、一定時間(およそ３秒)以上の閉眼が続く場合、眼以外の顔部位（眉など）を誤って追跡したと判断して処理状態「再検出（誤追跡）」の信号を出力する（Ｓ１８）。また、顔部位追跡部５０は、この他に、一定時間以上(およそ１分)閉眼にならない場合や、眼の上に眉毛にあたる物体を検出できない場合にも、眼以外の顔部位（眉など）を誤って追跡したと判断して処理状態「再検出（誤追跡）」の信号を出力する（Ｓ１８）。そして、本装置１は、処理状態が「再検出（誤追跡）」であるときの処理を実行することとなる。
【００４５】
さらに、顔部位追跡部５０は、手及びハンドルが顔に重なったり、運転者が後ろを振り返ったりした場合など、眼を正確に追跡していたものの、眼自体の撮像されなくなったことにより眼を追跡できなくなったときには、処理状態「再検出（通常）」の信号を出力する（Ｓ１８）。そして、本装置１は、処理状態が「再検出（通常）」であるときの処理を実行することとなる。
【００４６】
次に、処理状態が「再検出（誤追跡）」であるときの動作の概略を説明する。図２に示すように、顔部位検出部４０は、処理状態「再検出（誤追跡）」の信号を入力すると（Ｓ１５）、追跡に失敗したときの前回の眼鼻座標データを読み込む（Ｓ２２）。すなわち、図３及び図４に示すように、眼鼻座標決定部４３内の位置関係計算部４３ａが、処理状態「再検出（誤追跡）」の信号を入力すると（Ｓ３１、Ｓ５１）、追跡失敗時の眼鼻座標データを読み込む（Ｓ３２、Ｓ５２）。
【００４７】
そして、位置関係計算部４３ａは、失敗時の眼鼻座標データから、眼鼻間距離を求める。次いで、位置関係計算部４３ａは、眼鼻間距離のデータを出力する（Ｓ５３）。その後、度数分布生成部４３ｂは、眼鼻間距離のデータを入力する（Ｓ５４）。そして、度数分布生成部４３ｂは、眼鼻間距離度数分布を生成する。このとき、度数分布生成部４３ｂは、まず、眼鼻間距離のデータから、階級を求める。図７は、眼鼻間距離度数分布の一例を示す説明図である。同図に示す度数分布では、階級が２０画素毎に設定されている。そして、度数分布生成部４３ｂは、失敗時の眼鼻間距離がいずれかの階級に該当するか否かを判断する。例えば度数分布生成部４３ｂは、画素数１２０〜１４０の階級に該当するなどを求めることとなる。次いで、度数分布生成部４３ｂは、求めた階級の情報を出力する（Ｓ５５）。
【００４８】
また、度数分布生成部４３ｂは、階級を求めると、過去に生成した眼鼻間距離度数分布のデータを読み込む（Ｓ５６）。そして、度数分布生成部４３ｂは、図６に示す如く、先に求めた階級（例えば画素数１２０〜１４０の階級）について度数を追加し、最も古いデータが属する階級（例えば画素数８０〜１００の階級）から、その情報を消去する。そして、度数分布生成部４３ｂは、新たな眼鼻間距離度数分布を生成して、このデータを出力する（Ｓ５７）。
【００４９】
次いで、クラス判定部４３ｃは、処理状態「再検出（誤追跡）」の信号を入力し（Ｓ５８）、更に、階級及び眼鼻間距離度数分布のデータを読み込む（Ｓ５９、Ｓ６０）。すなわち、図６に示すラベリング部４３ｃ１は、処理状態「再検出（誤追跡）」の信号を入力して（Ｓ７１）、階級及び眼鼻間距離度数分布のデータを読み込む（Ｓ７２、Ｓ７３）。
【００５０】
そして、ラベリング部４３ｃ１は、所定条件に従って眼鼻間距離度数分布を区分する。具体的に図７に示す例において、ラベリング部４３ｃ１は、各階級間の傾きが負から正に変化する階級で区分していき、区分したそれぞれをラベルＬ（１）〜Ｌ（３）とする。その後、ラベリング部４３ｃ１は、ラベルデータＬ（１）〜Ｌ（３）を出力する（Ｓ７４）。
【００５１】
また、クラス判断部４３ｃ２は、処理状態「再検出（誤追跡）」の信号を入力すると（Ｓ７５）、階級のデータ及びラベルデータＬを読み込む（Ｓ７６、Ｓ７７）。次いで、クラス判断部４３ｃ２は、図７に示す例の場合、度数分布生成部４３ｂにより求められた階級が、いずれのラベルＬ（１）〜Ｌ（３）に属するか否かを判断する。そして、この場合のクラス判断部４３ｃ２は、例えば階級がラベルＬ（３）に属すると判断する。
【００５２】
その後、クラス判断部４３ｃ２は、ラベルＬ（３）をクラスｃとし、このクラスｃを前クラスｐｃとして登録する。次いで、クラス判断部４３ｃ２は、前クラスｐｃのデータを出力する（Ｓ６１、Ｓ７８）。そして、図５に示すように、位置関係判定部４３ｄは、処理状態が「再検出（誤追跡）」である旨の信号を読み込んで（Ｓ６８）、処理状態「検出中」の信号を出力することとなる（Ｓ６３）。
【００５３】
さらに、位置関係判定部４３ｄは、前クラスｐｃのデータを読み込んで（Ｓ６２）、記憶しておく。このように追跡失敗時のデータである前クラスｐｃのデータを記憶しておくことで、位置関係判定部４３ｄは、後に画像全体から眼鼻を検出するときに、前クラスｐｃを眼が正確に検出されたか否かの基準とすることができる。
【００５４】
なお、処理状態が「再検出（通常）」であるときの処理は、基本的に「再検出（誤追跡）」と同じである。従って、上記と同様に、処理が行われることとなる。
【００５５】
次に、処理状態が「検出中」であるときの動作の概略を説明する。処理状態が「検出中」である場合、図１及び図２に示すように、眼追跡装置１では、カメラ１０により運転者の顔画像が撮影され、ビデオ信号が眼検出装置２０の顔画像取得部３０に入力される（Ｓ１１）。そして、顔画像取得部３０は、記憶領域に顔画像データを記憶させると、顔画像データを出力する（Ｓ１２）。そして、顔部位検出部４０及び顔部位追跡部５０は、顔画像データを入力する（Ｓ１３，Ｓ１４）
このとき、顔部位検出部４０及び顔部位追跡部５０は、装置２０内の記憶領域に記憶される処理状態の情報を読み込む（Ｓ１５，Ｓ１６）。そして、処理状態が「検出中」であることから、顔部位検出部４０は、眼の検出処理を実行することとなる。
【００５６】
すなわち、図４に示す鼻座標検出部４１及び眼座標検出部４２は、処理状態「検出中」の信号を入力して（Ｓ３３、Ｓ３４）、鼻及び眼の座標を検出することとなる。このとき、鼻座標検出部４１及び眼座標検出部４２は、顔画像データを入力する（Ｓ３５、Ｓ３６）。
【００５７】
そして、鼻座標検出部４１は、図８〜図１０に示すようにして、鼻の座標値を検出する。図８は、顔画像及びその顔画像から得られる鼻座標を示す説明図であり、（ａ）は、顔画像を示し、（ｂ）は画像縦方向及び横方向の画素列に沿って抽出した抽出点を示し、（ｃ）は、鼻の候補を示している。
【００５８】
同図に示すように、鼻座標検出部４１は、図８（ａ）に示すような顔画像を入力すると、顔画像の縦方向の画素列（縦ライン）に沿って画素の濃度を検出し、前記画素列における濃度の局所的な高まりごとに１個ずつの要素を定めて抽出点とする。また、鼻座標検出部４１は、画像縦方向に抽出点を定めた後に、顔画像の横方向の画素列（横ライン）に沿って画素の濃度を検出し、前記画素列における濃度の局所的な高まりごとに１個ずつの要素を定めて抽出点とする。
【００５９】
図９及び図１０は、画素列毎の各画素の濃度値（光量）を示すグラフであり、図９は、図８（ａ）に示す画像縦方向の画素列Ｙａの濃度値を示し、図１０は、画像横方向の画素列Ｘａの濃度値を示している。
【００６０】
まず、図９に示すように、濃度値は、鼻孔や口の部分で局所的に低下している。このため、鼻座標検出部４１は、Ｙａラインについて、鼻孔及び口部分の画素を抽出点として定めることとなる。また、図１０に示すように、濃度値は、双方の鼻孔部分で局所的に低下している。このため、鼻座標検出部４１は、Ｘａラインについては、双方の鼻孔部分の画素を抽出点として定めることとなる。
【００６１】
このように、画像縦方向及び横方向に定めた抽出点を図４（ｂ）に示している。また、鼻座標検出部４１は、画像縦方向及び横方向に抽出点を定めると、画像縦方向の抽出点と横方向の抽出点との重複する点を、鼻孔の候補点とする。ここで、鼻孔は、通常画像横方向に２つ隣接するものである。このため、鼻座標検出部４１は、画像横方向に２つのペアとなりうる候補点を鼻孔の候補として残し、他の候補点を削除する。これにより、鼻座標検出部４１は、図８（ｃ）に示す画像を取得して、鼻座標を検出することとなる。
【００６２】
なお、鼻座標の検出方法としては、この他に、特開２００２−２５１６１７号公報に示されるように、鼻筋を検出することにより鼻の座標を求める方法等であってもよい。
【００６３】
以上にようにして鼻座標を求めると、鼻座標検出部４１は、鼻座標のデータを出力する（Ｓ３７）。また、眼座標検出部４２は、図１１〜図１３に示すようにして、眼の座標値を検出する。図１１は、顔画像の説明図であり、図１２は、顔画像の一部領域を示す説明図であり、図１３は、図１１に示す画像縦方向の画素列Ｙｂの濃度値を示すグラフである。
【００６４】
同図に示すように、眼座標検出部４２は、図１１に示すような顔画像を入力すると、顔画像の縦方向の画素列（縦ライン）に沿って画素の濃度を検出し、前記画素列における濃度の局所的な高まりごとに１個ずつの要素を定めて抽出点とする。そして、眼座標検出部４２は、画像縦方向の画素列の全ラインについて抽出点を定める。
【００６５】
ここで、図１２に示すように、画像縦方向の画素列Ｙｂの濃度値は、眼や眼鏡枠や口の部分で局所的に低下している。このため、眼座標検出部４２は、Ｙｂラインについて、鼻眼や眼鏡枠や口部分の画素を抽出点として定めることとなる。
【００６６】
その後、眼座標検出部４２は、抽出点を集合させた画素群を得る。ここで、眼は、横方向に延びる形状を為している。このため、図１３に示す眼の画素群は、形状的に画像横方向に連なるものとなる。このため、眼座標検出部４２は、様々な画素群から、画像横方向に連なる画素群を選択することで、眼の画素群を検出する。そして、眼座標検出部４２は、検出した眼の画素群から、眼の座標値を取得する。
【００６７】
なお、眼鏡枠や口についても形状的に画像横方向に連なるものとなっているため、眼であると検出される可能性がある。そこで、本実施形態の眼座標検出部４２は、特開平１１−９６３７９号公報に記載されるように、予め設定される眼の長さや、眼が左右対称であることを利用して、眼を特定して眼座標を検出する。
【００６８】
さらに、本実施形態の眼座標検出部４２は、鼻座標検出部４１からの鼻座標のデータを読み込む（Ｓ３８）。そして、眼座標検出部４２は、鼻座標検出部４１により検出された鼻座標を利用して、眼を検出する。すなわち、眼座標検出部４２は、眼の垂直二等分線下に鼻があることをもって、眼を特定する。
【００６９】
以上のようにして、眼座標検出部４２は、眼座標を検出する。そして、眼座標検出部４２は、眼座標のデータを出力する（Ｓ３９）。ここで、眼座標及び鼻座標を更に説明する。図１４は、眼座標及び鼻座標の説明図である。なお、図１４では、眼鼻の他に、眉を誤って眼であるとして検出したときの座標についても示している。
【００７０】
同図に示す如く、右眼の眼座標は、Ｘ座標が２５０〜３００画素、Ｙ座標が２００画素付近となっている。また、左眼の眼座標は、Ｘ座標が４００〜４５０画素、Ｙ座標が２００画素付近となっている。さらに、右眉の座標は、Ｘ座標が２３０〜３５０画素、Ｙ座標が１５０〜２００画素付近となっている。また、左眉の座標は、Ｘ座標が３８０〜５５０画素、Ｙ座標が１００〜２００画素付近となっている。
【００７１】
そして、鼻座標は、これら眼及び眉の垂直二等分線下に存在している。このため、上記した如く、眉を眼であるとして誤追跡してしまう可能性があるといえる。また、その一方で、眼の垂直二等分線下に鼻があることをもって眼を特定することの基準とできるともいえる。
【００７２】
そして、眼鼻座標決定部４３は、鼻座標及び眼座標のデータを入力する（Ｓ４０、Ｓ４１）。次いで、眼鼻座標決定部４３は、処理状態「検出」の信号を出力する（Ｓ４２）。その後、本装置１は、処理状態が「検出」であるときの処理を実行することとなる。
【００７３】
なお、鼻座標及び眼座標のデータを入力できなかった場合、すなわち、鼻座標検出部４１及び眼座標検出部４２のいずれかが鼻座標又は眼座標を検出できなかった場合、眼鼻座標決定部４３は処理状態「検出中」の信号を出力する（Ｓ４２）。これにより、本装置１は「検出中」の処理状態を維持し、再度、処理状態が「検出中」であるときの処理を実行することとなる。
【００７４】
次に、処理状態が「検出」であるときの動作の概略を説明する。図５に示すように、処理状態「検出」となると、位置関係計算部４３ａは、新たに検出した鼻座標及び眼座標のデータを入力する（Ｓ６４）。そして、位置関係計算部４３ａは、これら鼻座標及び眼座標から眼鼻間距離を求め、そのデータを出力する（Ｓ５３）。
【００７５】
その後、度数分布生成部４３ｂは、眼鼻間距離のデータを入力し（Ｓ５４）、上記したように、入力した眼鼻間距離の階級を求め、求めた階級の情報を出力する（Ｓ５５）。また、度数分布生成部４３ｂは、階級を求めると、過去に生成した眼鼻間距離度数分布のデータを読み込み（Ｓ５６）、新たな眼鼻間距離度数分布を生成して、このデータを出力する（Ｓ５７）。
【００７６】
そして、図６に示すように、クラス判定部４３ｃのラベリング部４３ｃ１は、処理状態「検出」の信号を入力して（Ｓ７１）、階級及び眼鼻間距離度数分布のデータを読み込む（Ｓ７２、Ｓ７３）。
【００７７】
次いで、ラベリング部４３ｃ１は、所定条件に従って眼鼻間距離度数分布を区分し、ラベルデータＬ（１）〜Ｌ（３）を出力する（Ｓ７４）。その後、クラス判断部４３ｃ２は、処理状態「検出」の信号を入力すると（Ｓ７５）、階級のデータ及びラベルデータＬを読み込む（Ｓ７６、Ｓ７７）。
【００７８】
そして、クラス判断部４３ｃ２は、度数分布生成部４３ｂにより求められた階級が、いずれのラベルに属するか否かを判断し、判断したラベルをクラスｃとする。次いで、クラス判断部４３ｃ２は、このクラスｃを現クラスｃｃとして登録し、現クラスｃｃのデータを出力する（Ｓ６５、Ｓ７９）。その後、図５に示すように、位置関係判定部４３ｄは、処理状態が「検出」である旨の信号と、現クラスｃｃのデータを読み込む（Ｓ６６、Ｓ６８）。
【００７９】
ここで、位置関係判定部４３ｄには、処理状態「再検出（誤追跡）」又は「再検出（通常）」の処理において、前クラスｐｃが記憶されている。次に、処理状態が「再検出（誤追跡）」を経て「検出」に遷移してきた場合の処理を説明する。処理状態「再検出（誤追跡）」の処理を経た場合、位置関係判定部４３ｄには、例えば眉を追跡したときのクラスｃが、前クラスｐｃとして登録されている。従って、処理状態「検出」の時点では、眼を眉であるとして誤追跡したときの眼鼻間距離を反映した前クラスｐｃと、新たに検出し直した眼鼻間距離を反映した現クラスｃｃとが得られていることとなる。
【００８０】
そして、位置関係判定部４３ｄは、前クラスｐｃと前クラスｐｃとを比較する。ここで、処理状態が「再検出（誤追跡）」から「検出中」を経て「検出」に遷移してきた場合、現クラスｃｃが前クラスｐｃと同じであるときには、位置関係判定部４３ｄは、処理状態「検出中」の信号を出力する（Ｓ６３）。そして、本装置１は、処理状態が「検出中」であるときの処理を実行することとなる。
【００８１】
一方、処理状態が「再検出（誤追跡）」から「検出中」を経て「検出」にと遷移してきた場合で、現クラスｃｃが前クラスｐｃと異なるときには、処理状態を「追跡中」にする。すなわち、「再検出（誤追跡）」を経ているため、現クラスｃｃが前クラスｐｃと異なるということは、過去に誤追跡したときの眼鼻間距離と異なる距離から、眼を検出したこととなり、少なくとも誤追跡のときと同様の失敗をしていないといえる。このため、眼の検出は正確に行われたと判断でき、位置関係判定部４３ｄは、処理状態「追跡中」の信号を出力する（Ｓ６３、Ｓ２３）。
【００８２】
そして、位置関係判定部４３ｄ（図４では眼鼻座標決定部４３）は、眼鼻座標のデータを出力し（Ｓ４３、Ｓ６７）、図２に示す眼鼻座標信号出力部６０は、眼鼻座標のデータを入力する（Ｓ２０）。その後、眼鼻座標信号出力部６０は、開閉眼検出装置や脇見検出装置などに眼鼻座標信号を出力することとなる（Ｓ２１）。
【００８３】
なお、処理状態が「再検出（通常）」から「検出中」を経て「検出」に遷移してきた場合、現クラスｃｃが前クラスｐｃと異なるときには、位置関係判定部４３ｄは、処理状態「検出中」の信号を出力する（Ｓ６３）。そして、本装置１は、処理状態が「検出中」であるときの処理を実行することとなる。
【００８４】
一方、処理状態が「再検出（通常）」から「検出中」を経て「検出」に遷移してきた場合で、現クラスｃｃが前クラスｐｃと同じであるときには、処理状態を「追跡中」にする。すなわち、「再検出（通常）」を経ているため、現クラスｃｃが前クラスｐｃと同じということは、過去に正確に追跡していたときの眼鼻間距離と同じ距離から、眼を検出したこととなり、眼の検出は正確に行われたと判断できる。このため、位置関係判定部４３ｄは、処理状態「追跡中」の信号を出力することとなる（Ｓ６３、Ｓ２３）。
【００８５】
このように、本装置１は、追跡失敗時の眼鼻間距離と、新たに顔画像から検出した眼鼻間距離との比較により、眼が正しく検出されたか否かを判断することによって、眼の追跡処理への復帰を良好に行うことができる。
【００８６】
次に、本装置１の各構成要素の処理内容をフローチャートに基づいて詳細に説明する。図１５は、図５に示した位置関係計算部４３ａの詳細動作を示すフローチャートである。まず、位置関係計算部４３ａは、処理状態の信号を読み込んで、現在の処理状態がいずれに属するかを判断する（ＳＴ１０）。ここで、処理状態が「検出」又は「追跡中」である場合、位置関係計算部４３ａは、眼座標及び鼻座標のデータを読み込む。そして、位置関係計算部４３ａは、眼座標から、右眼の座標値（ｒｘ，ｒｙ）及び左眼の座標値（ｌｘ，ｌｙ）を取得する。また、位置関係計算部４３ａは、鼻座標から、鼻の座標値（ｎｘ，ｎｙ）を取得する（ＳＴ１１）。
【００８７】
また、処理状態が「再検出（誤追跡）」又は「再検出（通常）」である場合、位置関係計算部４３ａは、先の追跡失敗時における眼鼻座標のデータを読み込む。そして、位置関係計算部４３ａは、眼鼻座標から、右眼の座標値（ｒｘ，ｒｙ）、左眼の座標値（ｌｘ，ｌｙ）及び、鼻の座標値（ｎｘ，ｎｙ）を取得する（ＳＴ１２）。
【００８８】
次に、ステップＳＴ１１又はＳＴ１２の後、位置関係計算部４３ａは、以下の式１に基づいて、眼鼻間距離を計算する（ＳＴ１２）。なお、Ｉは、眼鼻間距離を示している。
【数１】
2005327072.tif 000003
【００８９】
この眼鼻間距離Ｉは、具体的には図１６に示すようになっている。図１６は、眼鼻間距離Ｉの説明図であり、（ａ）は顔画像を示し、（ｂ）は各顔部位と眼鼻間距離Ｉを示している。例えば、カメラ１０により図１６（ａ）の顔画像が取得され、鼻座標検出部４１及び眼座標検出部４２により、右眼Ａ、左眼Ｂ及び鼻Ｃの座標値が取得されたとする。このとき、位置関係計算部４３ａは、右眼Ａと左眼Ｂとの中心点Ｄを式（１）から求め、その中心点Ｄと鼻Ｃとの距離を求めて、眼鼻間距離Ｉとする。
【００９０】
そして、眼鼻間距離Ｉを求めた後、位置関係計算部４３ａは、計算した眼鼻間距離Ｉの情報を度数分布生成部４３ｂに出力することとなる。
【００９１】
ところで、処理状態が「検出中」である場合、未だ眼や鼻の座標が検出されていないことから、位置関係計算部４３ａは眼鼻間距離Ｉに「ＮＵＬＬ」に設定する（ＳＴ１４）。そして、位置関係計算部４３ａは、「ＮＵＬＬ」と設定した眼鼻間距離Ｉの情報を度数分布生成部４３ｂに出力する。そして、位置関係計算部４３ａによる処理は終了する。
【００９２】
次に、度数分布生成部４３ｂの処理を説明する。図１７は、図５に示した度数分布生成部４３ｂの詳細動作を示すフローチャートである。まず、度数分布生成部４３ｂは、眼鼻間距離Ｉのデータを読み込んで、眼鼻間距離Ｉが「ＮＵＬＬ」であるか否かを判断する（ＳＴ２０）。ここで、眼鼻間距離Ｉが「ＮＵＬＬ」であると判断した場合（ＳＴ２０：ＹＥＳ）、度数分布生成部４３ｂは、階級ｄを「ＮＵＬＬ」とする（ＳＴ２１）。そして、度数分布生成部４３ｂは、「ＮＵＬＬ」と設定した階級ｄの情報をクラス判定部４３ｃに出力し、度数分布生成部４３ｂによる処理は終了する。
【００９３】
一方、眼鼻間距離Ｉが「ＮＵＬＬ」でないと判断した場合（ＳＴ２０：ＮＯ）、度数分布生成部４３ｂは、最も古い階級のデータＤ（ｉ）を、度数分布Ｈから消去する（ＳＴ２２）。すなわち、図７を参照して説明したように、度数分布生成部４３ｂは、画素数８０〜１００の階級のデータを消去したときと同様の処理を行う。
【００９４】
その後、度数分布生成部４３ｂは、眼鼻間距離Ｉの階級ｄを計算する（ＳＴ２３）。ここで、階級はｄ＝ｉｎｔ（Ｉ／Ｗ）なる計算式で求められる。Ｗは階級間のデータの幅である。すなわち、Ｗは、図７でいうところの画素数２０という幅を示すものである。
【００９５】
なお、データ幅Ｗは、大きすぎると情報量が失われ、小さすぎると、不規則な凹凸を有する度数分布を得てしまうことから、適切な値とすることが望ましい。すなわち、データ幅Ｗを適切なものとし、階級の数をも適切とすることが望ましくなる。ここで、階級数については、スタージェスの公式に基づいて予め求めておくことができる。
【数２】
2005327072.tif 000004
【００９６】
ここで、Ｃは階級数であり、ｎはデータ数である。具体的に階級数Ｃは、以下の表１のようになる。
【表１】
2005327072.tif 000005
【００９７】
このように、度数分布生成部４３ｂは、階級数Ｃを適切な数とし、これに基づいて階級のデータ幅Ｗを設定しておく。これにより、度数分布生成部４３ｂは、適切な眼鼻間距離度数分布を生成することになる。
【００９８】
次に、度数分布生成部４３ｂは、計算した階級ｄを階級データＤに加え、度数分布Ｈを更新する（ＳＴ２４）。すなわち、図７を参照して説明したように、度数分布生成部４３ｂは、画素数１２０〜１４０の階級のデータを追加したときと同様の処理を行う。
【００９９】
これにより、得られた眼鼻間距離度数分布の一例を示す。図１８は、眼鼻間距離度数分布の一例を示す説明図である。なお、図１８では、データ幅Ｗを５画素としている。
【０１００】
同図に示すように、眼と鼻との距離は、約９５画素付近で最も度数が高くなっている。これに対し、眉と鼻との距離は、約１４０画素付近で最も度数が高くなっている。すなわち、正確に眼が追跡されているときには、眼鼻間距離Ｉを計算すると、その値は約９５画素となるのに対し、眉を誤って眼であると追跡しているときには、眼鼻間距離Ｉを計算すると、その値は約１４０画素となるといえる。度数分布生成部４３ｂは、このような眼鼻間距離度数分布を生成して、クラス判定部４３ｃにその情報を提供することとなる。なお、同図に示す全データとは、双方のデータを加算して得られるデータである。
【０１０１】
次に、クラス判定部４３ｃのラベリング部４３ｃ１による詳細処理を説明する。図１９は、図６に示したラベリング部４３ｃ１の詳細動作を示すフローチャートである。まず、ラベリング部４３ｃ１は、処理状態の信号を読み込んで、処理状態が「再検出（誤追跡）」又は「再検出（通常）」であるか否かを判断する（ＳＴ３０）。
【０１０２】
ここで、処理状態が「再検出（誤追跡）」及び「再検出（通常）」のいずれでもないと判断した場合（ＳＴ３０：ＮＯ）、ラベリング部４３ｃ１による処理は終了する。一方、処理状態が「再検出（誤追跡）」又は「再検出（通常）」であると判断した場合（ＳＴ３０：ＹＥＳ）、ラベリング部４３ｃ１は、階級ｄが「ＮＵＬＬ」であるか否かを判断する（ＳＴ３１）。
【０１０３】
階級ｄが「ＮＵＬＬ」であると判断した場合（ＳＴ３１：ＹＥＳ）、ラベリング部４３ｃ１による処理は終了する。一方、階級ｄが「ＮＵＬＬ」でないと判断した場合（ＳＴ３１：ＮＯ）、ラベリング部４３ｃ１は、ラベルをクリアする。すなわち、図７で言えば、先の処理でラベルＬ（１）〜Ｌ（３）を設定していたときには、このラベルＬ（１）〜Ｌ（３）に関するデータを消去することとなる。また、ラベル番号Ｔに「１」を代入する（ＳＴ３２）。
【０１０４】
その後、ラベリング部４３ｃ１は、現在処理している階級と、隣接する次の階級との度数の差（傾き）ｐｘを求める（ＳＴ３３）。また、ラベリング部４３ｃ１は、隣接する階級の度数に差がない場合（傾きが０の場合）、前階級間の差ｏｘを採用する。
【０１０５】
そして、ラベリング部４３ｃ１は、現在処理している階級の度数が、極小点をなしているときに、ラベル番号Ｔを更新する（ＳＴ３４）。すなわち、ラベリング部４３ｃ１は、既にラベルＬ（２）まで設定しているのであれば、ラベル番号Ｔをインクリメントして、「３」とする。なお、ラベリング部４３ｃ１は、前階級間の差ｏｘが「０」より小さく、且つ隣接する次の階級との度数の差ｐｘが「０」より大きいときに、現在処理している階級の度数が、極小点をなしていると判断する。
【０１０６】
次いで、ラベリング部４３ｃ１は、ステップＳＴ３４において極小点であることが判断されると、ラベルを設定する（ＳＴ３５）。このとき、ラベル番号Ｔが「３」であるとすると、ラベリング部４３ｃ１は、ラベルＬ（１），Ｌ（２）との重複部分がないように、現在処理している階級を含んで、ラベルＬ（３）を設定する。また、ラベリング部４３ｃ１は、現在処理している階級の度数が「０」である場合、現在処理している階級を含むことなく、ラベルを設定する。
【０１０７】
その後、ラベリング部４３ｃ１は、すべての階級について処理したか否かを判断する（ＳＴ３６）。すべての階級について処理していないと判断した場合（ＳＴ３６：ＮＯ）、ラベリング部４３ｃ１は処理をステップＳＴ３３に戻す。一方、すべての階級について処理したと判断した場合（ＳＴ３６：ＹＥＳ）、ラベルデータＬをクラス判断部４３ｃ２に出力し、ラベリング部４３ｃ１による処理は終了する。
【０１０８】
詳細にラベルデータＬは、図２０に示すようになる。図２０は、ラベルデータのイメージを示す説明図である。同図に示す例では、眼鼻間距離度数分布に３つのラベルが付与されている。ここで、図２０に示す例では、度数「０」となる階級が存在するため、その階級はいずれのラベルにも含まれていない。ラベリング部４３ｃ１は、このようなラベルデータＬをクラス判断部４３ｃ２に出力することとなる。
【０１０９】
次に、クラス判断部４３ｃ２の詳細動作を説明する。図２１は、図６に示したクラス判断部４３ｃ２の詳細動作を示すフローチャートである。同図に示すように、まず、クラス判断部４３ｃ２は、階級ｄのデータを読み込んで、階級ｄが「ＮＵＬＬ」であるか否かを判断する（ＳＴ４０）。ここで、階級ｄが「ＮＵＬＬ」であると判断した場合（ＳＴ４０：ＹＥＳ）、クラス判断部４３ｃ２による処理は終了する。
【０１１０】
一方、階級ｄが「ＮＵＬＬ」でないと判断した場合（ＳＴ４０：ＮＯ）、クラス判断部４３ｃ２は、階級ｄが属するラベルをクラスｃとする（ＳＴ４１）。そして、クラス判断部４３ｃ２は、処理状態の信号を読み込んで、現在の処理状態がいずれに属するかを判断する（ＳＴ４２）。
【０１１１】
ここで、処理状態が「検出」である場合、クラス判断部４３ｃ２は、クラスｃを現クラスｃｃとして登録する（ＳＴ４３）。また、処理状態が「再検出（誤追跡）」又は「再検出（通常）」である場合、クラス判断部４３ｃ２は、先の追跡失敗時における眼鼻間距離を反映したクラスｃを前クラスｐｃとして登録する（ＳＴ４４）。
【０１１２】
その後、クラス判断部４３ｃ２は、前クラスｐｃ又は現クラスｃｃのデータを位置関係判定部４３ｄに出力する。そして、クラス判断部４３ｃ２による処理は終了する。さらに、処理状態が「検出中」又は「追跡中」である場合、クラス判断部４３ｃ２は、クラスｃを登録することなく、図２１に示す処理を終了させる。
【０１１３】
図２２は、図５に示した位置関係判定部４３ｄの詳細動作を示すフローチャートである。まず、位置関係判定部４３ｄは、処理状態の信号を読み込んで、処理状態がいずれに属するかをを判断する（ＳＴ５０）。
【０１１４】
ここで、処理状態が「検出中」又は「追跡中」である場合、位置関係判定部４３ｄによる処理は終了することとなる。一方、処理状態が「再検出（誤追跡）」又は「再検出（通常）」である場合、位置関係判定部４３ｄは、内部状態を更新する（ＳＴ５１）。このとき、位置関係判定部４３ｄは、処理状態が「再検出（誤追跡）」であるときには、内部状態を「再検出（誤追跡）」とし、処理状態が「再検出（通常）」であるときには、内部状態を「再検出（通常）」とする。
【０１１５】
その後、位置関係判定部４３ｄは、処理状態を「検出中」とする（ＳＴ５２）。その後、位置関係判定部４３ｄは、リトライ回数を初期値とする（ＳＴ５３）。次いで、位置関係判定部４３ｄは、図２２に示す処理を終了させ、本装置１は、処理状態を「検出中」の処理を行っていくこととなる。
【０１１６】
ここで、リトライ回数とは、処理状態を「検出」から「検出中」に戻す上限回数をいう。すなわち、本装置１は、追跡失敗後に画像全体から眼鼻を検出し、この検出自体が誤りである可能性が高い場合（前クラスｐｃと現クラスｃｃとを比較して望ましくない結果が得られた場合）に、処理状態を「検出」から「検出中」に戻すが、リトライ回数より多くの回数は、戻すことがないようになっている。
【０１１７】
また、処理状態が「検出」である場合、位置関係判定部４３ｄは、前クラスが「ＮＵＬＬ」であるか否かを判断する（ＳＴ５４）。ここで、前クラスが「ＮＵＬＬ」である場合（ＳＴ５４：ＹＥＳ）、すなわち装置１の起動時など、「再検出（誤追跡）」及び「再検出（通常）」のいずれをも経ていない場合、位置関係判定部４３ｄは、眼座標及び鼻座標のデータ（図５の信号Ｓ６９）に基づき、眼鼻座標を取得することとなる（ＳＴ６２）。そして、位置関係判定部４３ｄは、処理状態を「追跡中」とし（ＳＴ６３）、図２２に示す処理を終了させる。
【０１１８】
一方、前クラスが「ＮＵＬＬ」でない場合（ＳＴ５４：ＮＯ）、すなわち「再検出（誤追跡）」及び「再検出（通常）」のいずれかを少なくとも１回は経ているため、位置関係判定部４３ｄは、内部状態を読み込んで、内部状態がいずれに属するかを判断することとなる（ＳＴ５５）。
【０１１９】
ここで、内部状態が「再検出（通常）」である場合、位置関係判定部４３ｄは、現クラスｃｃと前クラスｐｃとが同じであるか否かを判断する（ＳＴ５６）。そして、現クラスｃｃと前クラスｐｃとが同じであると判断した場合（ＳＴ５６：ＹＥＳ）、処理はステップＳＴ６２に移行する。
【０１２０】
すなわち、内部状態が「再検出（通常）」である場合、処理状態は、「追跡中」から「再検出（通常）」を経て「検出」に遷移したといえる。このため、前クラスｐｃは、正確に眼を検出していたときの眼鼻間距離Ｉを反映したものといえ、現クラスｃｃが前クラスｐｃと同じであることは、全体画像から眼を正確に検出した可能性が高いといえる。よって、処理は、ステップＳＴ６２に移行し、位置関係判定部４３ｄは、眼座標及び鼻座標のデータから、眼鼻座標を取得することとなる（ＳＴ６２）。そして、位置関係判定部４３ｄは、処理状態を「追跡中」とする（Ｓ６３）。これにより、本装置１は、追跡処理への復帰を良好としている。その後、位置関係判定部４３ｄによる処理は終了する。
【０１２１】
また、現クラスｃｃと前クラスｐｃとが同じでないと判断した場合（ＳＴ５６：ＮＯ）、処理はステップＳＴ５８に移行する。ここで、現クラスｃｃが前クラスｐｃとが異なるということは、正確に眼を検出していたときの眼鼻間距離Ｉと異なる距離から、眼を検出したと言える。このため、全体画像から眼を正確に検出した可能性が低いといえ、位置関係判定部４３ｄは、眼鼻座標を取得することなく、処理をステップＳＴ５８に進める。
【０１２２】
ステップＳＴ５８において、位置関係判定部４３ｄは、リトライ回数をディクリメントする（ＳＴ５８）。そして、位置関係判定部４３ｄは、処理状態を「検出中」とする（ＳＴ５９）。これにより、本装置１は、再度、全体画像から眼鼻を検出することとなる。
【０１２３】
次いで、位置関係判定部４３ｄは、リトライ回数が「０」となったか否かを判断する（ＳＴ６０）。ここで、リトライ回数が「０」となっていないと判断した場合（ＳＴ６０：ＮＯ）、位置関係判定部４３ｄによる処理は終了する。
【０１２４】
一方、リトライ回数が「０」となっていると判断した場合（ＳＴ６０：ＹＥＳ）、位置関係判定部４３ｄは、内部状態を「ＮＵＬＬ」とする（ＳＴ６１）。これにより、前述したステップＳＴ５５において、強制的にステップＳＴ６２に移行させるようにする。そして、正確に眼を検出できないまま、継続してしまうという事態を防止するようにしている。
【０１２５】
ところで、ステップＳＴ５５において、内部状態が「再検出（誤追跡）」であると判断した場合、位置関係判定部４３ｄは、現クラスｃｃと前クラスｐｃとが異なるか否かを判断する（ＳＴ５７）。そして、現クラスｃｃと前クラスｐｃとが異なると判断した場合（ＳＴ５７：ＹＥＳ）、処理はステップＳＴ６２に移行する。
【０１２６】
すなわち、内部状態が「再検出（誤追跡）」である場合、処理状態は、「追跡中」から「再検出（追跡）」を経て「検出」に遷移したといえる。このため、前クラスｐｃは、眉などを誤って追跡していたときの眼鼻間距離Ｉを反映したものといえ、現クラスｃｃが前クラスｐｃと異なることは、全体画像から眼を正確に検出した可能性が高いといえる。よって、処理は、ステップＳＴ６２に移行し、位置関係判定部４３ｄは、眼座標及び鼻座標のデータから、眼鼻座標を取得することとなる（ＳＴ６２）。そして、位置関係判定部４３ｄは、処理状態を「追跡中」とする（Ｓ６３）。これにより、本装置１は、追跡処理への復帰を良好としている。その後、位置関係判定部４３ｄによる処理は終了する。
【０１２７】
また、現クラスｃｃと前クラスｐｃとが異ならないと判断した場合（ＳＴ５７：ＮＯ）、すなわち、現クラスｃｃと前クラスｐｃとが同じであると判断した場合、処理はステップＳＴ５８に移行する。ここで、現クラスｃｃが前クラスｐｃとが同じということは、眉などを誤って追跡していたときの眼鼻間距離Ｉと同じ距離から、眼を検出したと言える。このため、全体画像から眼を正確に検出した可能性が低いといえ、位置関係判定部４３ｄは、眼鼻座標を取得することなく、処理をステップＳＴ５８に進める。そして、位置関係判定部４３ｄは、上記と同様にして、ステップＳＴ５８〜ＳＴ６１の処理を実行し、図２２に示す処理を終了させる。
【０１２８】
このようにして、本実施形態に係る眼追跡装置１では、顔画像データから眼と眼以外の第２顔部位との座標の特徴量を計算し、それを時系列的に検出して得られる複数の特徴量を所定条件（例えば特徴量の大きさ）に従って区分している。このため、同様の特徴量は、同じ区分とされることとなる。
【０１２９】
そして、運転者の眼を誤って追跡した場合、すなわち誤って眉などを眼であるとして追跡した場合、そのときの特徴量が、いずれの区分に属するかを判断している。また、誤って追跡した後に眼を検出したときの特徴量が、いずれの区分に属するかを判断している。このため、誤った追跡の際、及びその後の検出の際について属する区分を判断できる。
【０１３０】
次いで、判断された双方の属する区分が異なる場合に、検出した追跡対象を眼であると決定している。ここで、誤って眉などを眼であるとして追跡した場合、正確に眼を追跡しているときと特徴量が異なることとなる。このため、眉追跡時には、正確に眼を追跡しているときと属する特徴量の区分が異なることとなる。故に、新たに検出したときの区分が、眉などを誤って追跡したときの区分と同じであるときには、検出時においても眉などを検出したと判断でき、眉などを誤って追跡したときの区分と異なるときには、検出時においても眼を正確に検出したと判断できる。
【０１３１】
従って、眼の追跡に失敗したときに、眼の追跡処理への復帰を良好に行うことができる。
【０１３２】
また、運転者の眼を追跡していたにも関わらず眼を追跡できなくなった場合、すなわち、眼を追跡していたにも関わらず、例えば運転者が後方を視認して眼が撮像できなくなった場合、そのときの特徴量が、いずれの区分に属するかを判断している。また、追跡できなくなった後に眼を検出したときの特徴量が、いずれの区分に属するかを判断している。このため、追跡できなくなった際と、その後の検出の際との双方について、属する区分を判断できる。
【０１３３】
そして、判断された双方の属する区分が同じである場合に、新たに検出した追跡対象を眼であると決定している。ここで、眼を追跡していたにも関わらず、例えば運転者が後方を視認して眼が撮像できなくなった場合とは、眼が追跡できなくなる前までは正確に眼を追跡していた場合といえる。このため、追跡できなくなったときの特徴量は、眼を正確に追跡していたときのと特徴量がほぼ同じとなる。故に、新たに眼を検出したときの区分が、眼が追跡できなくなったときの区分と異なるときには、検出時においても眉などを検出したと判断でき、眼が追跡できなくなったときの区分と同じになるときには、検出時においても眼を正確に検出したと判断できる。
【０１３４】
従って、眼の追跡に失敗したときに、眼の追跡処理への復帰を一層良好に行うことができる。
【０１３５】
また、第２顔部位として鼻及び口の少なくとも一方の座標を検出するので、光環境の変化等により影響を受けやすい眼（特に眼鏡をかけているときの眼）に比べて、安定的な鼻や口といった顔部位の座標を検出するため、特徴量の計算において光環境の影響を受けにくくすることができる。
【０１３６】
また、特徴量として、画像上における眼と第２顔部位との距離を計算するので、画像中で検出される眼の絶対位置を用いる方法と比べ、運転者の姿勢変化があっても正しく眼を検出することができる。
【０１３７】
次に、本発明の第２実施形態を説明する。第２実施形態に係る眼追跡装置２は、第１実施形態のものと同様であるが、新たに、眼鼻座標決定部４３が、初期化処理部（被撮像者交代検出手段）４３ｅを備える点で、第１実施形態のものと異なっている。
【０１３８】
図２３は、図４に示した眼鼻座標決定部４３の詳細を示すデータフローダイアグラムである。同図に示すように、眼鼻座標決定部４３は、新たに、初期化処理部４３ｅを備えている。
【０１３９】
初期化処理部４３ｅは、車両の運転者が交代したことを検出するものである。また、初期化処理部４３ｅは、運転者の交代したことを検出すると、眼鼻間距離度数分布を初期化するものである。すなわち、初期化処理部４３ｅは、位置関係計算部４３ａが計算した複数の眼鼻間距離のデータからなる眼鼻間距離度数分布を初期化することとなる。また、初期化処理部４３ｅは、眼鼻間距離度数分布の他に、前クラスｐｃを初期化するようにもなっている。以上より、初期化処理部４３ｅは、運転者が交代したにもかかわらず、前の運転者のデータを利用して誤った処理をしないようにするものといえる。
【０１４０】
このような初期化処理部４３ｅは、鼻座標及び眼座標のデータを随時読み込む（Ｓ９０）。ここで、初期化処理部４３ｅは、鼻座標及び眼座標のデータを読み込める限り、眼鼻間距離度数分布及び前クラスｐｃを初期化しない。
【０１４１】
しかし、鼻座標及び眼座標のデータを一定時間連続して読み込めなくなると、初期化処理部４３ｅは、運転者が運転席から離れたと判断する。そして、初期化処理部４３ｅは、次に別の運転者が運転席に着座する可能性があることから、運転者の交代の可能性があると判断して、眼鼻間距離度数分布及び前クラスｐｃを初期化する（Ｓ９１、Ｓ９２）。
【０１４２】
これにより、実際に別の運転者が運転席に着座したとしても、眼鼻間距離度数分布を再生成することとなり、誤った処理をしないようにすることができる。
【０１４３】
このようにして、第２実施形態に係る眼追跡装置２によれば、第１実施形態と同様に、眼の追跡に失敗したときに、眼の追跡処理への復帰を良好に行うことができる。また、眼の追跡に失敗したときに、眼の追跡処理への復帰を一層良好に行うことができる。さらに、特徴量の計算において光環境の影響を受けにくくすることができ、運転者の姿勢変化があっても正しく眼を検出することができる。
【０１４４】
さらに、第２実施形態によれば、運転者の交代の可能性を判断して複数の特徴量の情報を初期化、すなわち眼鼻間距離度数分布を初期化するので、運転者が交代したときに、以前の運転者の情報をもとに処理しないようにすることができる。従って、追跡処理への復帰を、運転者ごとに適切に行うことができる。
【０１４５】
次に、本発明の第３実施形態を説明する。第３実施形態に係る眼追跡装置３は、第２実施形態のものと同様であるが、初期化処理部４３ｅが運転者の交代の可能性を判断する方法が、第２実施形態のものと異なっている。
【０１４６】
図２４は、第３実施形態に係るの眼追跡装置３のハード構成図であり、図２５は、図２４に示した眼検出装置２０の詳細を示すデータフローダイアグラムであり、図２６は、図２５に示した眼鼻座標決定部４３の詳細を示すデータフローダイアグラムである。
【０１４７】
まず、図２４に示すように、眼検出装置２０は、新たに、車両信号を入力する構成となっている。ここで、車両信号としては、車速信号、シフトポジション信号、キースイッチ信号、メインスイッチ信号などが挙げられる。
【０１４８】
また、図２５及び図２６に示すように、眼鼻座標決定部４３の初期化処理部４３ｅは、車両信号を入力する構成となっている。また、初期化処理部４３ｅは、車両信号の状態に応じて、眼鼻間距離度数分布と前クラスｐｃを初期化するものである。
【０１４９】
このような初期化処理部４３ｅは、車両信号を随時入力する（Ｓ４４、Ｓ９３）。そして、例えば、車両信号として、車速が「０」であることを一定時間継続して検出した場合や、シフトポジションがパーキングポジションにあることを一定時間継続して検出した場合に、車両から運転者が離れたと判断して、運転者の交代の可能性があると検出する。
【０１５０】
また、初期化処理部４３ｅは、メインスイッチが切られたことを検出した場合や、ドアの開閉スイッチ信号からドアの開閉を検出した場合に、車両から運転者が離れたと判断して、運転者の交代の可能性があると検出する。
【０１５１】
そして、初期化処理部４３ｅは、運転者の交代の可能性があると検出した場合には、眼鼻間距離度数分布及び前クラスｐｃを初期化する（Ｓ９１、Ｓ９２）。これにより、第２実施形態と同様に、次回、別の運転者が運転席に着座したとしても、眼鼻間距離度数分布を再生成することから、誤った処理をしないようにすることができる。
【０１５２】
このようにして、第３実施形態に係る眼追跡装置３によれば、第２実施形態と同様に、眼の追跡に失敗したときに、眼の追跡処理への復帰を良好に行うことができる。また、眼の追跡に失敗したときに、眼の追跡処理への復帰を一層良好に行うことができる。さらに、特徴量の計算において光環境の影響を受けにくくすることができ、運転者の姿勢変化があっても正しく眼を検出することができる。また、追跡処理への復帰を、運転者ごとに適切に行うことができる。
【０１５３】
さらに、第３実施形態によれば、車速信号、シフトポジション信号、キースイッチ信号、及びドアの開閉信号の少なくとも１つに基づいて、運転者の交代を検出するので、例えば自動車にあっては既存のデバイスを利用することで安価かつ確実に運転者の交代を検出することができる。
【０１５４】
次に、本発明の第４実施形態を説明する。第４実施形態に係る眼追跡装置４は、第３実施形態のものと同様であるが、初期化処理部４３ｅが車両信号を入力するのに代えて、予め記憶した画像データに運転者の交代の可能性を判断する方法が、第３実施形態のものと異なっている。
【０１５５】
すなわち、初期化処理部４３ｅは、顔画像取得部３０により取得された顔画像データと、記憶した画像データとの差分画像における差異が設定値以下であるか否かを判断する構成とされている。ここで、記憶した画像データとしては、例えば前回処理において顔画像取得部３０により取得された顔画像データを用いるとよい。
【０１５６】
概要を図２７に示す。図２７は、前回及び今回処理における顔画像データ、並びに、差分画像を示す説明図であって、（ａ）は運転者がいない場合の例を示し、（ｂ）は運転者が着座しているときの例を示している。
【０１５７】
まず、図２７（ａ）に示すように、運転者が運転席から離れると、前回及び今回処理における顔画像データは同じとなる。このため、差分が得られなくなり、差分画像における差異が設定値以下となる。一方、図２７（ｂ）に示すように、運転者が運転席に着座している場合、前回と今回との処理における顔画像データは異なることとなる。このため、差分が得られ、差分画像における差異が設定値以上となる。
【０１５８】
このように、初期化処理部４３ｅは、差分画像から運転者が着座しているか否かを判断し、運転者が着座していことを検出すると、運転者の交代の可能性があると検出する。そして、初期化処理部４３ｅは、眼鼻間距離度数分布及び前クラスｐｃを初期化する。これにより、第３実施形態と同様に、次回、別の運転者が運転席に着座したとしても、眼鼻間距離度数分布を再生成することから、誤った処理をしないようにすることができる。
【０１５９】
このようにして、第４実施形態に係る眼追跡装置４によれば、第３実施形態と同様に、眼の追跡に失敗したときに、眼の追跡処理への復帰を良好に行うことができる。また、眼の追跡に失敗したときに、眼の追跡処理への復帰を一層良好に行うことができる。さらに、特徴量の計算において光環境の影響を受けにくくすることができ、運転者の姿勢変化があっても正しく眼を検出することができる。また、追跡処理への復帰を、運転者ごとに適切に行うことができる。
【０１６０】
さらに、第４実施形態によれば、取得された顔画像データと、記憶した画像データとの差分画像における差異が設定値以下である場合に、運転者の交代の可能性を検出しているので、新しいデバイスを用いることなく、運転者の交代を検出することができる。
【０１６１】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、各実施形態を組み合わせるようにしてもよいし、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。例えば、上記実施形態では、車両運転者を撮像する場合を例をに説明したが、これに限らず、助手席や後部席の乗員などを被撮像者として撮像するようにしてもよい。さらに、上記眼追跡装置１〜４を車両に搭載せず、他の乗り物に搭載するようにしてもよく、また、被撮像者の眼を追跡して被撮像者の視線移動を記録するテスト装置の類であってもよい。
【図面の簡単な説明】
【０１６２】
【図１】本発明の実施形態に係るの眼追跡装置１のハード構成図である。
【図２】図１に示した眼検出装置２０の詳細を示すデータフローダイアグラムである。
【図３】処理状態の説明図である。
【図４】図２に示した顔部位検出部の詳細を示すデータフローダイアグラムである。
【図５】図４に示した眼鼻座標決定部の詳細を示すデータフローダイアグラムである。
【図６】図５に示したクラス判定部の詳細を示すデータフローダイアグラムである。
【図７】眼鼻間距離度数分布の一例を示す説明図である。
【図８】顔画像及びその顔画像から得られる鼻座標を示す説明図であり、（ａ）は、顔画像を示し、（ｂ）は画像縦方向及び横方向の画素列に沿って抽出した抽出点を示し、（ｃ）は、鼻の候補を示している。
【図９】画素列毎の各画素の濃度値（光量）を示すグラフであり、図８（ａ）に示す画像縦方向の画素列Ｙａの濃度値を示している。
【図１０】画素列毎の各画素の濃度値（光量）を示すグラフであり、画像横方向の画素列Ｘａの濃度値を示している。
【図１１】顔画像の説明図である。
【図１２】顔画像の一部領域を示す説明図である。
【図１３】図１１に示す画像縦方向の画素列Ｙｂの濃度値を示すグラフである。
【図１４】眼座標及び鼻座標の説明図である。
【図１５】図５に示した位置関係計算部の詳細動作を示すフローチャートである。
【図１６】眼鼻間距離Ｉの説明図であり、（ａ）は顔画像を示し、（ｂ）は各顔部位と眼鼻間距離Ｉを示している。
【図１７】図５に示した度数分布生成部の詳細動作を示すフローチャートである。
【図１８】眼鼻間距離度数分布の一例を示す説明図である。
【図１９】図６に示したラベリング部の詳細動作を示すフローチャートである。
【図２０】ラベルデータのイメージを示す説明図である。
【図２１】図６に示したクラス判断部の詳細動作を示すフローチャートである。
【図２２】図５に示した位置関係判定部の詳細動作を示すフローチャートである。
【図２３】図４に示した眼鼻座標決定部の詳細を示すデータフローダイアグラムである。
【図２４】第３実施形態に係るの眼追跡装置のハード構成図である。
【図２５】図２４に示した眼検出装置の詳細を示すデータフローダイアグラムである。
【図２６】図２５に示した眼鼻座標決定部の詳細を示すデータフローダイアグラムである。
【図２７】前回及び今回処理における顔画像データ、並びに、差分画像を示す説明図であって、（ａ）は運転者がいない場合の例を示し、（ｂ）は運転者が着座しているときの例を示している。
【符号の説明】
【０１６３】
１〜４…眼追跡装置
１０…カメラ
２０…眼検出装置
３０…顔画像取得部（顔画像取得手段）
４０…顔部位検出部
４１…鼻座標検出部（座標検出手段）
４２…眼座標検出部（座標検出手段）
４３…眼鼻座標決定部
４３ａ…位置関係計算部（位置関係計算手段）
４３ｂ…度数分布生成部
４３ｃ…クラス判定部
４３ｃ１…ラベリング部（区分手段）
４３ｃ２…クラス判断部（区分判断手段）
４３ｄ…位置関係判定部（位置関係判定手段）
４３ｅ…初期化処理部（被撮像者交代検出手段）
５０…顔部位追跡部
６０…眼鼻座標信号出力部
【図１】
2005327072.tif 000006
【図２】
2005327072.tif 000007
【図３】
2005327072.tif 000008
【図４】
2005327072.tif 000009
【図５】
2005327072.tif 000010
【図６】
2005327072.tif 000011
【図７】
2005327072.tif 000012
【図８】
2005327072.tif 000013
【図９】
2005327072.tif 000014
【図１０】
2005327072.tif 000015
【図１１】
2005327072.tif 000016
【図１２】
2005327072.tif 000017
【図１３】
2005327072.tif 000018
【図１４】
2005327072.tif 000019
【図１５】
2005327072.tif 000020
【図１６】
2005327072.tif 000021
【図１７】
2005327072.tif 000022
【図１８】
2005327072.tif 000023
【図１９】
2005327072.tif 000024
【図２０】
2005327072.tif 000025
【図２１】
2005327072.tif 000026
【図２２】
2005327072.tif 000027
【図２３】
2005327072.tif 000028
【図２４】
2005327072.tif 000029
【図２５】
2005327072.tif 000030
【図２６】
2005327072.tif 000031
【図２７】
2005327072.tif 000032