(57)【要約】【課題】検出精度の低下を抑制したうえで処理速度の向上を図ることが可能な顔部位追跡装置及び方法を提供する。【解決手段】顔部位追跡装置１は、顔部位探査領域内画像と微小画像とを同じ縮小率で元サイズの１／４以上の大きさに縮小した後にパターンマッチングを行って顔部位を検出することとしている。このため、画像縮小により処理速度が速くなる。一方、画像を縮小すると検出精度が低下することが懸念されるが、元サイズの１／４以上の大きさに縮小する限りは、検出精度の大幅な低下はなく、検出精度の低下を抑制することができる。従って、検出精度の低下を抑制したうえで処理速度の向上を図ることができる。【選択図】      図１
2007018054.tif 000002
【特許請求の範囲】
【請求項１】
被検出者の顔を撮像する撮像手段と、
前記撮像手段によって撮像された顔画像から追跡対象となる顔部位を検出する顔部位検出手段と、
前記顔部位検出手段により検出された顔部位を追跡していく顔部位追跡手段と、を備え、
前記顔部位追跡手段は、
前記顔部位検出手段によって前フレームの顔画像から検出された顔部位位置または前記顔部位追跡手段によって前フレームの顔画像上で追跡された顔部位の位置を含み顔画像よりも小さくされた顔部位探査領域を現フレームの顔画像上に設定する顔部位探査領域設定手段と、
前記顔部位探査領域設定手段によって現フレームの顔画像上に設定された顔部位探査領域内の画像を抽出する探索領域内画像抽出手段と、
前記顔部位検出手段によって前フレームの顔画像から検出された顔部位位置または前記顔部位追跡手段によって前フレームの顔画像上で追跡された顔部位の位置を含み顔部位探索領域よりも小さくされた微小画像を抽出する微小画像抽出手段と、
前記探索領域内画像抽出手段により抽出された顔部位探査領域内の画像を、前記微小画像抽出手段により抽出された微小画像でパターンマッチングして、前記顔部位探査領域内画像のうち前記微小画像との類似度がもっとも高くなる位置を現フレームの顔部位位置として検出する第２顔部位検出手段と、を有し、
前記第２顔部位検出手段は、前記顔部位探査領域内画像と前記微小画像とを同じ縮小率で元サイズの１／４以上の大きさに縮小した後にパターンマッチングを行って縮小された顔部位探査領域内画像での顔部位の位置を検出し、縮小された顔部位探査領域内の画像を元サイズに戻したときに、縮小された顔部位探査領域内画像上での顔部位位置に対応する元サイズの画像上での位置を現フレームの顔部位位置として検出する
ことを特徴とする顔部位追跡装置。
【請求項２】
被検出者の顔を撮像する撮像手段と、
前記撮像手段によって撮像された顔画像から追跡対象となる顔部位を検出する顔部位検出手段と、
前記顔部位検出手段により検出された顔部位を追跡していく顔部位追跡手段と、を備え、
前記顔部位追跡手段は、
前記顔部位検出手段によって前フレームの顔画像から検出された顔部位位置または前記顔部位追跡手段によって前フレームの顔画像上で追跡された顔部位の位置を含み顔画像よりも小さくされた顔部位探査領域を現フレームの顔画像上に設定する顔部位探査領域設定手段と、
前記顔部位探査領域設定手段によって現フレームの顔画像上に設定された顔部位探査領域内の画像を抽出する探索領域内画像抽出手段と、
前記顔部位検出手段によって前フレームの顔画像から検出された顔部位位置または前記顔部位追跡手段によって前フレームの顔画像上で追跡された顔部位の位置を含み顔部位探索領域よりも小さくされた微小画像を抽出する微小画像抽出手段と、
前記探索領域内画像抽出手段により抽出された顔部位探査領域内の画像を、前記微小画像抽出手段により抽出された微小画像でパターンマッチングして、前記顔部位探査領域内画像のうち前記微小画像との類似度がもっとも高くなる位置を現フレームの顔部位位置として検出する第２顔部位検出手段と、を有し、
前記第２顔部位検出手段は、前記顔部位探査領域内画像と前記微小画像とを同じ縮小率で元サイズの１／４以上の大きさに縮小した後にパターンマッチングを行って縮小された顔部位探査領域内画像上で顔部位位置を検出し、縮小された顔部位探査領域内画像を元サイズに戻したときに、縮小された顔部位探査領域内画像での顔部位位置に対応する元サイズの画像上での領域で、元サイズの微小画像でパターンマッチングを行って類似度がもっとも高くなる位置を現フレームの顔部位位置として検出する
ことを特徴とする顔部位追跡装置。
【請求項３】
前記顔部位探査領域設定手段は、前記撮像手段の撮像間隔の間に移動すると予測される被検出者が顔の予測移動量から、顔部位探査領域の大きさを決定することを特徴とする請求項１又は請求項２のいずれかに記載の顔部位追跡装置。
【請求項４】
前記微小画像抽出手段は、
前フレーム以前の微小画像を２値化処理して得られる像を顔部位オブジェクトとして抽出する顔部位オブジェクト抽出手段と、
前記顔部位オブジェクト抽出手段により抽出された顔部位オブジェクトの外周形状から顔部位オブジェクトの大きさを設定する顔部位オブジェクト設定手段と、を有し、
前フレームの顔部位位置を中心に設定して、前記顔部位オブジェクト設定手段により設定された顔部位オブジェクトの大きさ分の画像を微小画像として抽出する
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の顔部位追跡装置。
【請求項５】
前記顔部位追跡手段は、
前記第２顔部位検出手段によって現フレームの顔画像上で検出された顔部位の位置を含み顔部位探索領域よりも小さくされた微小画像を抽出する第２微小画像抽出手段と、
前記第２微小画像抽出手段により抽出された微小画像を２値化処理して得られる像を顔部位オブジェクトとして抽出する第２顔部位オブジェクト抽出手段と、
前記第２顔部位オブジェクト抽出手段により抽出された顔部位オブジェクトの外周形状から顔部位オブジェクトの代表点を決定し、この代表点を顔部位位置とする第３顔部位検出手段と、
をさらに備えることを特徴とする請求項１〜請求項４のいずれか１項に記載の顔部位追跡装置。
【請求項６】
前記第２微小画像抽出手段は、
前記微小画像抽出手段により抽出された微小画像を２値化処理して得られる像を顔部位オブジェクトとして抽出する第３顔部位オブジェクト抽出手段と、
前記第３顔部位オブジェクト抽出手段により抽出された顔部位オブジェクトの外周形状から顔部位オブジェクトの大きさを設定する第２顔部位オブジェクト設定手段と、を有し、
第２顔部位検出手段により検出された現フレームの顔部位位置を中心に設定して、前記第３顔部位オブジェクト設定手段により設定された顔部位オブジェクトの大きさ分の画像を微小画像として抽出する
ことを特徴とする請求項５に記載の顔部位追跡装置。
【請求項７】
被検出者の顔を撮像する撮像ステップと、
前記撮像ステップにおいて撮像された顔画像から追跡対象となる顔部位を検出する顔部位検出ステップと、
前記顔部位検出ステップにおいて検出された顔部位を追跡していく顔部位追跡ステップと、を有し、
前記顔部位追跡ステップは、
前記顔部位検出ステップにおいて前フレームの顔画像から検出された顔部位位置または前回の前記顔部位追跡ステップにおいて前フレームの顔画像上で追跡された顔部位の位置を含み顔画像よりも小さくされた顔部位探査領域を現フレームの顔画像上に設定する顔部位探査領域設定ステップと、
前記顔部位探査領域設定ステップにおいて現フレームの顔画像上に設定された顔部位探査領域内の画像を抽出する探索領域内画像抽出ステップと、
前記顔部位検出ステップにおいて前フレームの顔画像から検出された顔部位位置または前回の前記顔部位追跡ステップによって前フレームの顔画像上で追跡された顔部位の位置を含み顔部位探索領域よりも小さくされた微小画像を抽出する微小画像抽出ステップと、
前記探索領域内画像抽出ステップにおいて抽出された顔部位探査領域内の画像を、前記微小画像抽出ステップにおいて抽出された微小画像でパターンマッチングして、前記顔部位探査領域内画像のうち前記微小画像との類似度がもっとも高くなる位置を現フレームの顔部位位置として検出する第２顔部位検出ステップと、を有し、
前記第２顔部位検出ステップでは、前記顔部位探査領域内画像と前記微小画像とを同じ縮小率で元サイズの１／４以上の大きさに縮小した後にパターンマッチングを行って縮小された顔部位探査領域内画像での顔部位の位置を検出し、縮小された顔部位探査領域内の画像を元サイズに戻したときに、縮小された顔部位探査領域内画像上での顔部位位置に対応する元サイズの画像上での位置を現フレームの顔部位位置として検出する
ことを特徴とする顔部位追跡方法。
【請求項８】
被検出者の顔を撮像する撮像ステップと、
前記撮像ステップにおいて撮像された顔画像から追跡対象となる顔部位を検出する顔部位検出ステップと、
前記顔部位検出ステップにおいて検出された顔部位を追跡していく顔部位追跡ステップと、を有し、
前記顔部位追跡ステップは、
前記顔部位検出ステップにおいて前フレームの顔画像から検出された顔部位位置または前回の前記顔部位追跡ステップによって前フレームの顔画像上で追跡された顔部位の位置を含み顔画像よりも小さくされた顔部位探査領域を現フレームの顔画像上に設定する顔部位探査領域設定ステップと、
前記顔部位探査領域設定ステップにおいて現フレームの顔画像上に設定された顔部位探査領域内の画像を抽出する探索領域内画像抽出ステップと、
前記顔部位検出ステップにおいて前フレームの顔画像から検出された顔部位位置または前回の前記顔部位追跡ステップによって前フレームの顔画像上で追跡された顔部位の位置を含み顔部位探索領域よりも小さくされた微小画像を抽出する微小画像抽出ステップと、
前記探索領域内画像抽出ステップにおいて抽出された顔部位探査領域内の画像を、前記微小画像抽出ステップにおいて抽出された微小画像でパターンマッチングして、前記顔部位探査領域内画像のうち前記微小画像との類似度がもっとも高くなる位置を現フレームの顔部位位置として検出する第２顔部位検出ステップと、を有し、
前記第２顔部位検出ステップでは、前記顔部位探査領域内画像と前記微小画像とを同じ縮小率で元サイズの１／４以上の大きさに縮小した後にパターンマッチングを行って縮小された顔部位探査領域内画像上で顔部位位置を検出し、縮小された顔部位探査領域内画像を元サイズに戻したときに、縮小された顔部位探査領域内画像での顔部位位置に対応する元サイズの画像上での領域で、元サイズの微小画像でパターンマッチングを行って類似度がもっとも高くなる位置を現フレームの顔部位位置として検出する
ことを特徴とする顔部位追跡方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔部位追跡装置及び方法に関する。
【背景技術】
【０００２】
従来、被検出者の顔を撮像して得られた顔画像の全体から追跡の対象となる顔の部位（眼など）を検出し、一度顔部位を検出した後は顔部位の検出位置に基づいて顔部位の探査領域を設定し、探査領域内から顔部位を検出する顔部位追跡装置が知られている。この装置では、例えば、一度顔部位を検出した後は顔画像全体に対して検出処理を行う必要がなく、処理速度の向上を図ることができる（例えば特許文献１参照）。
【特許文献１】特開２００３−１２３０７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記の如く、従来装置は、顔部位の検出処理について処理速度を速くすることができる。ここで、処理速度は速ければ速いほど望ましく、従来装置の処理速度をさらに向上させることが考えられるが、処理速度を速くしようとして荒い顔部位検出を行うと、検出精度の低下を招いてしまう。特に検出精度が悪く顔部位を検出できなくなると、再度顔画像全体から顔部位を検出することとなり、処理速度の低下を招いてしまう。このように、検出精度を低下させずに処理速度の向上を図ることは困難であった。
【０００４】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、検出精度の低下を抑制したうえで処理速度の向上を図ることが可能な顔部位追跡装置及び方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明に係る顔部位追跡装置は、被検出者の顔を撮像する撮像手段と、撮像手段によって撮像された顔画像から追跡対象となる顔部位を検出する顔部位検出手段と、顔部位検出手段により検出された顔部位を追跡していく顔部位追跡手段とを備えている。ここで、顔部位追跡手段は、顔部位探査領域設定手段と、探索領域内画像抽出手段と、微小画像抽出手段と、第２顔部位検出手段とを有している。顔部位探査領域設定手段は、顔部位検出手段によって前フレームの顔画像から検出された顔部位位置または顔部位追跡手段によって前フレームの顔画像上で追跡された顔部位の位置を含み顔画像よりも小さくされた顔部位探査領域を現フレームの顔画像上に設定する。探索領域内画像抽出手段は、顔部位探査領域設定手段によって現フレームの顔画像上に設定された顔部位探査領域内の画像を抽出する。微小画像抽出手段は、顔部位検出手段によって前フレームの顔画像から検出された顔部位位置または顔部位追跡手段によって前フレームの顔画像上で追跡された顔部位の位置を含み顔部位探索領域よりも小さくされた微小画像を抽出する。第２顔部位検出手段は、探索領域内画像抽出手段により抽出された顔部位探査領域内の画像を、微小画像抽出手段により抽出された微小画像でパターンマッチングして、顔部位探査領域内画像のうち微小画像との類似度がもっとも高くなる位置を現フレームの顔部位位置として検出する。さらに、上記第２顔部位検出手段は、顔部位探査領域内画像と微小画像とを同じ縮小率で元サイズの１／４以上の大きさに縮小した後にパターンマッチングを行って縮小された顔部位探査領域内画像での顔部位の位置を検出し、縮小された顔部位探査領域内の画像を元サイズに戻したときに、縮小された顔部位探査領域内画像上での顔部位位置に対応する元サイズの画像上での位置を現フレームの顔部位位置として検出する。
【発明の効果】
【０００６】
本発明によれば、顔部位探査領域内画像と微小画像とを同じ縮小率で元サイズの１／４以上の大きさに縮小した後にパターンマッチングを行うこととしている。このため、画像縮小により処理速度が速くなる。一方、画像を縮小すると検出精度が低下することが懸念されるが、元サイズの１／４以上の大きさに縮小する限りは、検出精度の大幅な低下はなく、検出精度の低下を抑制することができる。従って、検出精度の低下を抑制したうえで処理速度の向上を図ることができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の好適な実施形態を図面に基づいて説明する。なお、各図において、同一又は同様の要素には同一の符号を付して説明を省略する。
【０００８】
図１は、本発明の実施形態に係る顔部位追跡装置の構成を示す機能ブロック図である。同図に示すように、顔部位追跡装置１は、被検出者の顔を撮像し、得られた画像に基づいて、顔部位の動きを追跡するものであって、撮像部（撮像手段）１０を備えている。また、顔部位追跡装置１は、顔部位検出部（顔部位検出手段）２０と、顔部位追跡部（顔部位追跡手段）３０とを備えている。
【０００９】
撮像部１０は、被検出者の顔を撮像するものである。また、撮像部１０は、撮像により得られた顔の画像のデータを、第１顔部位検出部２０及び顔部位追跡部３０に送信する構成とされている。第１顔部位検出部２０は、撮像部１０によって撮像された顔画像から追跡対象となる顔部位（眼、鼻、口などの顔の一部分）を検出するものである。また、第１顔部位検出部２０は、顔部位追跡部３０に接続されており、検出した顔部位の位置情報を顔部位追跡部３０に送信する構成とされている。
【００１０】
顔部位追跡部３０は、撮像部１０及び第１顔部位検出部２０からの情報に基づいて、目的となる顔部位を追跡するものである。この顔部位追跡部３０は、顔部位探査領域設定部（顔部位探査領域設定手段）３１と、顔部位探査領域画像抽出部（探索領域内画像抽出手段）３２と、顔部位微小画像抽出部（微小画像抽出手段）３３と、第２顔部位検出部（第２顔部位検出手段）３４とを備えている。
【００１１】
顔部位探査領域設定部３１は、第１顔部位検出部２０によって前フレームの顔画像から検出された顔部位位置または顔部位追跡部３０によって前フレームの顔画像上で追跡された顔部位位置のいずれかを含み顔画像全体よりも小さくされた顔部位探査領域を現フレームの顔画像上に設定するものである。つまり、顔部位探査領域設定部３１は、前回検出・追跡された顔部位位置を含んだ顔画像全体よりも小さい顔部位探査領域を現フレームの顔画像上に設定するものである。
【００１２】
顔部位探査領域画像抽出部３２は、顔部位探査領域設定部３１によって現フレームの顔画像上に設定された顔部位探査領域内の画像を抽出するものである。
【００１３】
顔部位微小画像抽出部３３は、顔部位検出手段によって前フレームの顔画像から検出された顔部位位置または顔部位追跡部３０によって前フレームの顔画像上で追跡された顔部位の位置を含み顔部位探索領域よりも小さくされた微小画像を抽出するものである。つまり、顔部位微小画像抽出部３３は、前回検出・追跡された顔部位位置を含み、顔部位探査領域よりもさらに小さい微小画像抽出するものである。
【００１４】
第２顔部位検出部３４は、顔部位探査領域画像抽出部３２により抽出された顔部位探査領域内の画像を、顔部位微小画像抽出部３３により抽出された微小画像でパターンマッチングするものである。また、第２顔部位検出部３４は、パターンマッチングして、顔部位探査領域内画像のうち微小画像との類似度がもっとも高くなる位置を現フレームの顔部位位置として検出するものである。
【００１５】
より詳しく説明すると、第２顔部位検出部３４は、顔部位探査領域内画像と微小画像とを同じ縮小率で元サイズの１／４以上の大きさに縮小した後にパターンマッチングを行って、縮小された顔部位探査領域内画像での顔部位の位置を検出するものである。また、第２顔部位検出部３４は、縮小された顔部位探査領域内の画像を元サイズに戻したときに、縮小された顔部位探査領域内画像上での顔部位位置に対応する元サイズの画像上での位置を現フレームの顔部位位置として検出するものである。
【００１６】
次に、顔部位追跡装置１による顔部位追跡方法の概略について説明する。まず、顔部位追跡装置１では、撮像部１０が被検出者の顔を撮像し、得られた画像データを第１顔部位検出部２０に送信する。これを受けた第１顔部位検出部２０は、画像全体から顔部位の位置を検出する。そして、第１顔部位検出部２０は、検出した顔部位の位置情報を顔部位追跡部３０に送出する。
【００１７】
次に、顔部位追跡装置１は、上記処理の後に、新たに撮像部１０によって撮像された画像に対して顔部位の追跡を行っていく。すなわち、撮像部１０が撮像画像を取得し、画像データを顔部位追跡部３０に送信する。これを受けた顔部位追跡部３０の顔部位探査領域設定部３１は、前回検出された顔部位位置を含んで顔画像全体よりも小さい顔部位探査領域を現フレームの顔画像上に設定する。そして、顔部位追跡部３０は、以後の処理において顔部位探査領域内から顔部位の位置を検出することとなる。このため、顔画像全体から顔部位を検出するよりも、処理速度を速くすることができる。
【００１８】
ここで、顔部位探査領域設定部３１は、撮像部１０の撮像間隔の間に移動すると予測される被検出者が顔の予測移動量から、顔部位探査領域の大きさを決定する。このため、顔部位探査領域設定部３１は、前回の撮像から今回の撮像までに被被験者の顔が動いたとしても、予測移動量に応じて顔部位探査領域の大きさを適切に決定しておけば、確実に顔部位探査領域内画像に顔部位を納めることができる。これにより、顔部位探査領域設定部３１は、顔部位探査領域の大きさを適切にするようにしている。
【００１９】
顔部位探査領域設定部３１は、現フレームの顔画像上に顔部位探査領域を設定した後、顔部位探査領域の情報を顔部位探査領域画像抽出部３２及び顔部位微小画像抽出部３３に送信する。そして、顔部位探査領域画像抽出部３２は、顔部位探査領域内の画像を抽出する。そして、顔部位探査領域画像抽出部３２は、顔部位探査領域内画像の情報を第２顔部位検出部３４に送信する。
【００２０】
また、顔部位微小画像抽出部３３は、前回検出された顔部位位置を含んで顔部位探索領域よりも小さくされた微小画像を抽出する。これにより、顔部位微小画像抽出部３３は、顔部位探査領域よりもさらに小さい微小画像を抽出する。そして、顔部位微小画像抽出部３３は、微小画像の情報を第２顔部位検出部３４に送信する。
【００２１】
顔部位探査領域内画像の情報と微小画像の情報とを入力した第２顔部位検出部３４は、パターンマッチングを行う。このとき、第２顔部位検出部３４は、まず、顔部位探査領域内画像と微小画像とを同じ縮小率で縮小する。縮小後、第２顔部位検出部３４は、縮小された顔部位探査領域内画像を縮小された微小画像でパターンマッチングして、顔部位探査領域内画像のうち微小画像との類似度がもっとも高くなる位置を現フレームの顔部位位置として検出する。より詳しくは、第２顔部位検出部３４は、パターンマッチングによって、縮小された顔部位探査領域内画像での顔部位の位置を検出する。そして、第２顔部位検出部３４は、縮小された顔部位探査領域内の画像を元サイズに戻し、縮小された顔部位探査領域内画像上での顔部位位置と対応する元サイズの画像位置を特定する。これにより、第２顔部位検出部３４は、元サイズの画像上で顔部位位置を検出する。
【００２２】
ところで、第２顔部位検出部３４は、画像を縮小するにあたり、顔部位探査領域内画像と微小画像とを元サイズの１／４以上の大きさにする。ここで、画像を縮小すると検出精度が低下することが懸念されるが、元サイズの１／４以上の大きさに縮小する限りは、検出精度の大幅な低下はなく、検出精度の低下を抑制することができる。
【００２３】
故に、第２顔部位検出部３４は、縮小により処理速度の向上を図りつつも、１／４以上の大きさに縮小するため、検出精度の低下を抑制することができる。
【００２４】
なお、本装置１は、自動車、鉄道車両、船舶の被検出者やプラントのオペレータ等の顔部位追跡に用いることができるが、以下の説明においては、自動車の被検出者の顔部位追跡に適用した場合で説明する。また、以下の説明では、顔部位が左眼である例を説明するが、これに限らず、基準顔部位及び他顔部位は眉、鼻、口、耳などであっても構わない。また、顔部位は１つでなく複数であっても構わない。
【００２５】
図２は、本発明の実施形態に係る顔部位追跡装置のハード構成図である。同図に示すように、撮像部１０としてＴＶカメラ６が自動車のインストルメント上に設けられている。ＴＶカメラ６は、被検出者を略正面から撮像できる位置に設置されており、少なくとも被検出者の顔部分を撮影するようにされている。このＴＶカメラ６の入力画像は、第１実施形態では、例えば横方向（Ｘ）６４０画素、縦方向（Ｙ）４８０画素からなる。ＴＶカメラ６で撮像された入力画像は、インストルメント裏側など車体内部に設置されたマイクロコンピュータ７に画像データとして入力される。
【００２６】
マイクロコンピュータ７には、第１顔部位検出部２０、及び顔部位追跡部３０を構成するプログラムロジックがプログラミングされている。なお、顔部位追跡部３０のプログラムロジックは、顔部位探査領域設定部３１、顔部位探査領域画像抽出部３２、顔部位微小画像抽出部３３と、第２顔部位検出部３４のそれぞれのロジックを含むものである。
【００２７】
次に、第１実施形態に係る顔部位追跡装置１の顔部位検出方法の詳細について説明する。図３は、第１実施形態に係る顔部位追跡方法の概略を示すメインフローチャートである。同図に示すように、まず、処理が開始されると、マイクロコンピュータ７は、初期値入力処理を実行する（ＳＴ１０）。この初期値入力の処理では、サンプリング時間などの各種定数が読み込まれる。
【００２８】
そして、マイクロコンピュータ７は、追跡対象の顔部位が見つかっているか否かを示す追跡対象検出フラグ「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定する（ＳＴ１１）。その後、マイクロコンピュータ７は、処理フレームカウンタ「ｉ」を「０」に初期化する（ＳＴ１２）。
【００２９】
初期化後、マイクロコンピュータ７は、終了判断処理を実行する（ＳＴ１３）。この際、マイクロコンピュータ７は、例えばエンジンが起動しているか等に基づいて判断を行う。
【００３０】
そして、マイクロコンピュータ７は、「ＳＴＯＰ」か否かを判断する（ＳＴ１４）。例えばエンジンが起動されていないと判断した場合、マイクロコンピュータ７は、「ＳＴＯＰ」であると判断し（ＳＴ１４：ＹＥＳ）、処理は終了することとなる。
【００３１】
一方、エンジンが起動され走行しているなどにより、「ＳＴＯＰ」でないと判断した場合（ＳＴ１４：ＮＯ）、マイクロコンピュータ７は、顔画像の撮像処理を実行する（ＳＴ１５）。これにより、ＴＶカメラ６は、運転者の顔を撮像する。
【００３２】
その後、マイクロコンピュータ７は、追跡対象検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」か否かを判断する（ＳＴ１６）。すなわち、追跡対象となる顔部位が見つかっているか否かを判断する。
【００３３】
追跡対象検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」であり、追跡対象となる顔部位が見つかっていないと判断した場合（ＳＴ１６：ＹＥＳ）、マイクロコンピュータ７は、顔部位検出処理を実行する（ＳＴ１７）。このステップＳＴ１７の処理は、図１にて説明した第１顔部位検出部２０にて行われる処理である。すなわち、マイクロコンピュータ７は、第１顔部位検出部２０に相当するプログラムを実行することとなる。なお、この処理において、追跡対象となる顔部位が見つけられた場合には、後述するが、追跡対象検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」とされることとなる。
【００３４】
顔部位検出処理の実行後、マイクロコンピュータ７は、処理フレームカウンタ「ｉ」をインクリメントする（ＳＴ１８）。そして、処理は、ステップＳＴ１３に戻る。
【００３５】
その後、上記したステップＳＴ１３〜１５を経て、ステップＳＴ１５に至る。このとき、前述の顔部位検出処理（ＳＴ１７）において、追跡対象となる顔部位が見つけられていた場合には、追跡対象検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」となっている。このため、追跡対象検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」でないと判断されて（ＳＴ１６：ＮＯ）、マイクロコンピュータ７は顔部位追跡処理を実行する（ＳＴ１９）。このステップＳＴ１９の処理は、図１にて説明した顔部位追跡部３０にて行われる処理である。すなわち、マイクロコンピュータ７は、顔部位追跡部３０に相当するプログラムを実行する。そして、顔部位の追跡が行われる。
【００３６】
その後、処理はステップＳＴ１８に移行し、処理フレームカウンタをインクリメント後、再度処理はステップＳＴ１３に戻る。以上の処理が、ステップＳＴ１４にて「ＹＥＳ」と判断されるまで繰り返されることとなる。
【００３７】
なお、図１を参照して説明したように、第１顔部位検出部２０は、撮像画像全体に対して処理を行い、追跡対象となる顔部位を検出する。一方、顔部位追跡部３０は、顔画像に顔部位探査領域を設定し、その探査領域内から追跡対象となる顔部位を検出していくようにしている。このため、本装置１は、少なくとも一度は画像全体に対して処理を行うものの、その後は画像の一部に対して処理を行うこととなり、常に画像全体に処理を行う装置に比して、迅速な処理を行うことができる。
【００３８】
次に、顔部位検出処理（ＳＴ１７）の詳細な動作について説明する。図４は、図３に示した顔部位検出処理（ＳＴ１７）の詳細な動作を示すフローチャートである。
【００３９】
同図に示すように、ステップＳＴ１６にて「ＹＥＳ」と判断された場合、マイクロコンピュータ７は、顔部位候補の位置の特定処理を実行する（ＳＴ２０）。この処理により、画像全体から追跡対象である眼である可能性を有する候補の位置が１又は複数特定される。
【００４０】
そして、マイクロコンピュータ７は、顔部位判定処理を実行する（ＳＴ２１）。顔部位判定処理（ＳＴ２１）では、顔部位候補位置の特定処理（ＳＴ２０）にて特定された１又は複数の顔部位候補のうち１つを選別し、この選別した候補が追跡対象の左眼に該当するか否かを判断する。
【００４１】
その後、マイクロコンピュータ７は、顔部位判定処理（ＳＴ２１）の結果に基づいて、選別された候補が追跡対象の顔部位であると判定されたか否かを判断する（ＳＴ２２）。
【００４２】
追跡対象の顔部位であると判定されていなかった場合（ＳＴ２２：ＮＯ）、マイクロコンピュータ７は、特定された１又は複数の顔部位候補のすべてについて判定したか否かを判断する（ＳＴ２４）。
【００４３】
全てに対して判定した場合（ＳＴ２４：ＹＥＳ）、処理は図３のステップＳＴ１８に移行する。一方、全てに対して判定していない場合（ＳＴ２４：ＮＯ）、処理はステップＳＴ２１に戻る。
【００４４】
ところで、ステップＳＴ２２において、追跡対象の顔部位であると判定されていた場合（ＳＴ２２：ＹＥＳ）、マイクロコンピュータ７は、追跡対象検出フラグ「ＧｅｔＦｌａｇ」を「ＴＲＵＥ」にする（ＳＴ２３）。そして、処理は図３のステップＳＴ１８に移行する。
【００４５】
以上のようにして、本装置１では、所望する顔部位である可能性を有する１又は複数の顔部位候補を画像全体から特定し、特定された１又は複数の顔部位候補を１つずつ判定して追跡対象である顔部位を検出することとなる。なお、追跡対象である可能性を有する１又は複数の顔部位候補を画像全体から特定する処理（ステップＳＴ２０の処理）は、以下のようにして行われる。
【００４６】
図５は、図４に示した顔部位候補位置特定処理（ＳＴ２０）の詳細を示すフローチャートである。同図において、まず、マイクロコンピュータ７は、撮像した画像のデータ全体を、全体画像として画像メモリに保存する（ＳＴ３０）。
【００４７】
次に、マイクロコンピュータ７は、ステップＳＴ３１の判断を行う。この判断については後述する。ステップＳＴ３１において「ＮＯ」と判断された場合、マイクロコンピュータ７は、全体画像の縦方向（Ｙ軸方向）の画素列のうち１ラインのみに沿って濃度値の相加平均演算を行う（ＳＴ３２）。
【００４８】
この相加平均演算は、例えば縦方向に並ぶ所定数の画素について、濃度の平均値を求め、所定数の画素のうちの１画素の濃度値を前記平均値とする処理である。例えば、所定数が「５」である場合、画面上方から１〜５番目に位置する画素を選択して平均値を求め、この平均値を５番目の画素の濃度値とする。次に、画面上方から２〜６番目に位置する画素を選択して平均値を求め、この平均値を６番目の画素の濃度値とする。そして、これを順次繰り返し、１ラインすべての画素について濃度の平均値を求める。
【００４９】
このように相加平均演算することで、本装置１は、画像データ撮影時の濃度値の変化の小さなバラツキを無くすことができ、濃度値の大局的な変化を捉えることができる。
【００５０】
相加平均演算後、マイクロコンピュータ７は、縦方向に相加平均値の微分演算を行う（ＳＴ３３）。そして、マイクロコンピュータ７は、微分値に基づいてポイント抽出を行う（ＳＴ３４）。このポイント抽出とは、縦方向の画素列に沿って画素濃度の相加平均値の局所的な高まり毎に１個ずつの画素を定める処理であって、例えば相加平均値の微分値が負から正に変化する画素を定める処理である。
【００５１】
ポイントとなる画素を定めた後、マイクロコンピュータ７は、現在ポイント抽出していたラインを次ラインへ切り替える（ＳＴ３５）。
【００５２】
そして、マイクロコンピュータ７は、縦方向の全ラインでのポイント抽出が終了したか否かを判断する（ＳＴ３１）。全ラインでのポイント抽出が終了していないと判断した場合（ＳＴ３１：ＮＯ）、前述のステップＳＴ３２〜ＳＴ３５の処理を経て、再度ステップＳＴ３１に戻る。
【００５３】
一方、全ラインでのポイント抽出が終了したと判断した場合（ＳＴ３１：ＹＥＳ）、隣り合う各ラインの抽出ポイントのＹ座標値を比較する。そして、Ｙ座標値が所定値以内の場合、連続データとして、（i）連続データのグループ番号、（ii）連続開始ライン番号、（iii）連続データ数をメモリする。また、（iv）連続データを構成する各抽出ポイントの縦方向位置の平均値（その連続データの代表上下位置）、（v）連続開始ラインと終了ラインの横方向位置の平均値（その連続データの代表左右位置）をメモリする（ＳＴ３６）。
【００５４】
なお、第１実施形態では、追跡対象を眼としているため、連続データは横方向比較的長く延びるものとなる。このため、マイクロコンピュータ７は、連続データ形成後、横方向に所定値以上続くことを条件に連続データを選択することができる。
【００５５】
その後、マイクロコンピュータ７は、各連続データについて代表座標値Ｃを定め、これを基準として存在領域ＥＡを設定する（ＳＴ３７）。この代表座標値Ｃとは、ステップＳＴ３６の処理において、メモリされたＸ座標値の平均値及びＹ座標値の平均値により決定するものである（上記iv，ｖに示す平均値）。なお、存在領域ＥＡについては、図６〜図１１を参照して後述する。
【００５６】
代表座標値Ｃを定めて存在領域ＥＡを設定した後、処理は、図４のステップＳＴ２１に移行する。以上が、顔部位候補位置特定処理（ＳＴ２０）である。以上のようにして、求められた連続データが眼の候補となり、連続データの代表座標値Ｃが眼の候補点の位置となる。
【００５７】
次に、縦方向の画素列ごとに定められた抽出ポイントが画像横方向に隣接する場合に形成される連続データ、その連続データの代表座標値Ｃ及び存在領域ＥＡについて説明する。
【００５８】
図６は、図５に示したステップＳＴ３６の処理にて形成される連続データ、並びにステップＳＴ３７の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。なお、顔部位候補位置特定処理（ＳＴ２０）は、１又は複数の顔部位候補を特定するものであるが、図６では複数の顔部位候補が特定された場合を例に説明する。
【００５９】
同図に示すように、マイクロコンピュータ７は、複数の連続データＧを形成している。これは、眼を検出対象としているため、眼と似た特徴量を示すもの（口、鼻、眉毛など）が検出されるためである。
【００６０】
連続データＧは、前述したように、縦方向の画素列ごとに定められた抽出ポイントが画像横方向に隣接する場合に形成されるものである。そして、この連続データを形成する横方向両端の画素のＸ座標値の平均値と、連続データを形成する各画素のＹ座標の平均値により、代表座標値Ｃが決定される。さらに、存在領域ＥＡは、この代表座標値Ｃを基準として設定される。
【００６１】
次に、存在領域ＥＡの設定方法を説明する。図７は、図６に示した存在領域ＥＡの大きさを示す説明図であり、図８及び図９は数人の眼の大きさを調べた横Ｘａ、縦Ｙａの長さの統計データを示す説明図であり、図１０は存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。
【００６２】
存在領域ＥＡの設定は、存在領域ＥＡの大きさが決定され、その後、存在領域ＥＡの画像上における位置が定められることでなされる。  
存在領域ＥＡの大きさは、ノイズ（顔の皺や明暗などを抽出してしまう）の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。第１実施形態では、数人の顔部位の大きさを調べ、それに余裕分（例えば×１．５倍）を加味して、存在領域ＥＡの大きさを決定している。すなわち、図８及び図９のように、顔部位の縦横寸法のデータを集め、その分布の例えば９５％をカバーする寸法に余裕分を考慮して決定する方法を採用している。
【００６３】
そして上記９５％をカバーする寸法、すなわち横寸法ｘａ、縦寸法ｙａに余裕分（×１．５）を加味して決定している（図７）。なお、存在領域ＥＡの大きさについては、画像処理により顔部位の幅や高さを推定し、縦横の大きさに余裕分を加える大きさとしてもよい。
【００６４】
このように存在領域ＥＡの大きさが決定された後、図１０に示すように、例えば眼の座標値（ｘ１，ｙ１）を基準に、基準点Ｐを決める。基準点Ｐは、眼の座標値（ｘ１，ｙ１）から距離ｘ２，ｙ２だけ離れた位置に定められるものである。
【００６５】
そして、マイクロコンピュータ７は、点Ｐを基準に存在領域ＥＡの寸法ｘ３，ｙ３を描画する。これにより、存在領域ＥＡの位置が決定される。その後、画像全体で見つかった連続データＧすべてについて存在領域ＥＡを設定する。
【００６６】
なお、上記のｘ２及びｙ２はｘ３，ｙ３の１／２であって、予め存在領域ＥＡが眼の中心にくるような長さとすることが望ましい。
【００６７】
以上の図５〜図１０の処理により、図４の顔部位候補位置特定処理（ＳＴ２０）がなされる。
【００６８】
次に、図４の顔部位判定処理（ＳＴ２１）について説明する。図１１は、図４に示した顔部位判定処理（ＳＴ２１）の詳細を示すフローチャートである。
【００６９】
まず、マイクロコンピュータ７は、図５の処理にて求められた存在領域ＥＡの画像データを微少画像ＩＧとして画像メモリに保存する（ＳＴ４０）。全体画像と画像メモリに保存される微小画像ＩＧとの状態を図１２に示す。図１２は、微小画像を示す説明図である。図１２に示すように、マイクロコンピュータ７は、全体画像から存在領域ＥＡ内の画像を抽出し、微小画像ＩＧとしている。
【００７０】
再度、図１１を参照して説明する。マイクロコンピュータ７は、全体画像の代表座標値Ｃを微少画像ＩＧの代表座標値ＩＣとする。そして、マイクロコンピュータ７は、微少画像ＩＧの代表座標値ＩＣを基準とした範囲ＡＲを設定し、範囲ＡＲの濃度情報をもとに二値化閾値を設定する（ＳＴ４１）。
【００７１】
範囲ＡＲでの二値化閾値の算出方法の一例を、図１３を参照して説明する。図１３は、範囲ＡＲでの二値化閾値の算出方法の説明図である。まず、マイクロコンピュータ７は、範囲ＡＲにおいて縦方向に数ラインの濃度値の読み出しを行う（図１３では4ライン）。そして、マイクロコンピュータ７は、各ラインにおいて濃度値の最も高い（明るい）濃度値と、最も低い（暗い）濃度値をメモリしていく。全ラインのメモリが終了したら、マイクロコンピュータ７は、各ラインの最も高い（明るい）濃度値の中で、一番低い濃度値（皮膚の部分）と、各ラインの最も低い（暗い）濃度値の中で、一番低い濃度値（眼の部分）とを求める。そして、その中央値を二値化閾値とする。
【００７２】
なお、上記した範囲ＡＲは、好適に二値化閾値を決定するため、眼の黒い部分と眼の周囲の皮膚の白い部分が入るように設定される。また、範囲ＡＲは、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさにされる。
【００７３】
さらに、二値化閾値は、範囲ＡＲ内の眼の一番低い（暗い）濃度値と、皮膚の部分の一番低い（暗い）濃度値の中央値とすることで、皮膚の部分から眼の部分を切り出すのに適した値になる。
【００７４】
ここで、二値化閾値を決定するのに皮膚部分における一番低い（暗い）濃度値を用いている理由は、次の通りである。例えば、範囲ＡＲの一部に直射光が当たっている場合、皮膚部分は、眼球の黒色部分に比して、光を強く反射する傾向にある。このため、本装置１は、多くのノイズとも言える光を入力してしまうこととなる。
【００７５】
この場合、濃度値を読み出す範囲ＡＲを極力小さくしても、画像がノイズ光による影響を受け、本装置１は正確な二値化閾値を決定できなくなってしまう。このため、第１実施形態では、強く反射している可能性がある濃度値の高い部分を用いず、皮膚の部分の濃度値の一番低い（暗い）濃度値を用いることで、より適切な二値化閾値を決定できるようにしている。
【００７６】
再度、図１１を参照して説明する。二値化閾値の決定後、マイクロコンピュータ７は、決定した二値化閾値を用いて微少画像ＩＧを二値化処理し、二値画像ｂＧとして画像メモリに保存する（ＳＴ４２）。
【００７７】
次に、マイクロコンピュータ７は、全体画像の代表座標値Ｃを二値画像ｂＧの位置ｂＣとし、この位置ｂＣを初期位置として設定する（ＳＴ４３）。その後、マイクロコンピュータ７は、設定位置が黒画素か否かを判断する（ＳＴ４４）。ここでは、ステップＳＴ４３において設定された初期位置が黒画素か否か判断される。
【００７８】
そして、設定位置が黒画素でないと判断した場合（ＳＴ４４：ＮＯ）、マイクロコンピュータ７は、設定位置を上下左右に１画素ずつずらす（ＳＴ４５）。その後、マイクロコンピュータ７は、再度、設定位置が黒画素か否かを判断する。ここでは、ステップＳＴ４５においてずらされた設定位置が黒画素か否か判断される。そして、黒画素と判断されるまで、この処理が繰り返される。
【００７９】
一方、設定位置が黒画素であると判断した場合（ＳＴ４４：ＹＥＳ）、マイクロコンピュータ７は、その黒画素の連結成分を候補オブジェクトとして設定する（ＳＴ４６）。そして、マイクロコンピュータ７は、候補オブジェクトの幾何形状を算出する（ＳＴ４７）。
【００８０】
算出後、マイクロコンピュータ７は、予め記憶している追跡対象のテンプレートの幾何形状と候補オブジェクトの幾何形状とを比較する（ＳＴ４８）。候補オブジェクトと追跡対象のテンプレートとの幾何形状の比較方法の一例を、図１４を参照して説明する。
【００８１】
図１４は、候補オブジェクトと追跡対象である眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は眼の右側が欠けた状態を示し、（ｃ）は眼の左側が欠けた状態を示している。
【００８２】
眼の画像を二値化した形状は光環境が良く安定した画像であれば図１４（ａ）に示すようなものになる。ところが、車室内に直射日光が一側から当たる等して光環境が悪化したときには、図１４（ｂ）及び（ｃ）に示すように、一部が欠けた形状になることもある。
【００８３】
マイクロコンピュータ７は、上記のような候補オブジェクトを正確に判断するために、３つの条件により比較判断を行う。まず、条件（i）としては、横幅が眼の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることである。次に、条件（ii）としては、黒眼の左側の凹み形状があることである。また、条件（iii）としては、黒眼の右側の凹み形状があることである。
【００８４】
再度、図１１を参照して説明する。幾何形状の比較後、マイクロコンピュータ７は、上記３つの条件に基づき、比較判断を行い、候補オブジェクトと眼テンプレートとの幾何形状が一致するか否かを判断する（ＳＴ４９）。ここで、図１４（ｂ）及び（ｃ）のように眼の形状の一部が欠けている場合を考慮し、マイクロコンピュータ７は、条件（i）及び（ii）を満たすもの、並びに条件（ii）及び（iii）を満たすものを一致すると判断する。
【００８５】
一致しないと判断した場合（ＳＴ４９：ＮＯ）、マイクロコンピュータ７は、その候補オブジェクトが追跡対象となる顔部位でないと判定し（ＳＴ５０）、その後、処理は、図４のステップＳＴ２２に移行する。
【００８６】
一方、一致すると判断した場合（ＳＴ４９：ＹＥＳ）、マイクロコンピュータ７は、その候補オブジェクトが追跡対象となる顔部位であると判定する（ＳＴ５１）。そして、判定された候補オブジェクトの座標値（全体画像における代表座標値Ｃに相当する）を、画像上における眼の座標値としてメモリする（ＳＴ５２）。
【００８７】
その後、マイクロコンピュータ７は、一致と判断された候補オブジェクトを含む微小画像ＩＧを追跡対象画像ＭＧｉとして、画像メモリに保存する（ＳＴ５３）。その後、処理は、図４のステップＳＴ２２に移行する。
【００８８】
なお、図１１の処理では、二値化閾値を用いて二値化した候補オブジェクトを検出している。このため、第１実施形態では、眼の部分と他の部分（背景や眼以外の顔部分）とを明確に区別し、眼を正確に捉えることができる。さらには、候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上させることができる。
【００８９】
以上、図４〜図１４を参照して説明したように、マイクロコンピュータ７（第１顔部位検出部２０）は、入力した画像全体から、追跡対象となる顔部位を検出することとなる。そして、前述したように、追跡対象となる顔部位が検出されると、追跡対象検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」とされる。そして、図３に示すように、顔部位追跡処理（ＳＴ１９）が実行されるようになる。
【００９０】
図１５及び図１６は、図３に示した顔部位追跡処理（ＳＴ１９）の詳細を示すフローチャートであり、図１５は処理の前半部分を示し、図１６は処理の後半部分を示している。図１５に示すように、ステップＳＴ１６にて「ＮＯ」と判断された場合、マイクロコンピュータ７は、顔部位探査領域の設定処理を実行する（ＳＴ６０）。このステップＳＴ６０の処理は、図１に示した顔部位探査領域設定部３１にて行われる処理である。すなわち、マイクロコンピュータ７は、顔部位探査領域設定部３１に相当するプログラムを実行することとなる。
【００９１】
図１７は、図１５に示した顔部位探査領域の設定処理（ＳＴ６０）の説明図であり、（ａ）は時刻ｔ０において撮像された画像を示し、（ｂ）は時刻ｔ１において撮像された画像を示し、（ｃ）は時刻ｔ２において撮像された画像を示し、（ｄ）は時刻ｔ３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【００９２】
被検出者が顔の向きを変える場合、まず、時刻ｔ０において図１７（ａ）に示す画像が撮像される。このとき、被検出者は、ほぼ正面を視認している。その後、時刻ｔ１において、図１７（ｂ）に示す画像が撮像される。このとき、被検出者は、サイドミラー等を確認すべく、顔を右（図１７においては左側）に向け始める。顔の向きを右に向け始めたことから、被検出者の左眼の位置は、右側へ移動することとなる。
【００９３】
そして、時刻ｔ２において、図１７（ｃ）に示す画像が撮像される。このとき、被検出者は、時刻ｔ１よりも、さらに顔を右に向けている。このため、左眼の位置は、さらに右側へ移動することとなる。
【００９４】
その後、時刻ｔ３において、図１７（ｄ）に示す画像が撮像される。このとき、被検出者は、サイドミラー等を確認しており、顔を最も右側に向けた状態となっている。故に、左眼の位置は、最も右側へ移動したこととなる。
【００９５】
そして、図１７（ｅ）に示すように、時刻ｔ０からｔ３に向かって、これら画像上の左眼の位置が徐々に移動していることがわかる。顔部位探査領域の設定処理（ＳＴ６０）においては、これら時刻ｔ０〜ｔ３までの各期間（ｔ０〜ｔ１，ｔ１〜ｔ２，ｔ２〜ｔ３）に移動する左眼位置が含まれるように顔部位探査領域が設定される。
【００９６】
図１８は、図１５に示した顔部位探査領域の設定処理（ＳＴ６０）の第２の説明図であり、（ａ）は時刻ｔ１０において撮像された画像を示し、（ｂ）は時刻ｔ１１において撮像された画像を示し、（ｃ）は時刻ｔ１２において撮像された画像を示し、（ｄ）は時刻ｔ１３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【００９７】
被検出者が一方向を視認している場合、まず、時刻ｔ１０において図１８（ａ）の画像が撮像される。その後、時刻ｔ１１，時刻ｔ１２，時刻ｔ１３において、それぞれ図１８（ｂ）、（ｃ）、（ｄ）の画像が撮像される。
【００９８】
これらの画像上における左眼位置は、被検出者が一方向を視認していることから、図１８（ｅ）からも明らかなように、ほぼ静止した状態となっている。
【００９９】
顔部位探査領域の設定処理（ＳＴ６１）においては、これら時刻ｔ１０〜ｔ１３までの各期間（ｔ１０〜ｔ１１，ｔ１１〜ｔ１２，ｔ１２〜ｔ１３）に移動する左眼位置が含まれるように顔部位探査領域が設定されてもよい。
【０１００】
ここで、一方向を視認している場合と顔の向きを変えた場合との左眼位置の分布について説明する。図１９は、一方向を視認している場合と顔の向きを変えた場合との左眼位置の分布を示す説明図である。ここで、図１９の縦軸は画像におけるＸ軸方向の座標値であり、横軸は画像におけるＹ軸方向の座標値である。また、画像サイズは６４０×４８０画素であり、縦軸の最大値は４８０で、横軸の最大値は６８０である。さらに、図１９では３０フレーム/秒のビデオレートでサンプリングしたときの座標をプロットしたものを示している。
【０１０１】
同図に示すように、被検出者が一方向を視認している場合、左眼位置はほぼ１点に滞留している。このとき、軌跡ａに示すように、各時刻の座標値は、Ｘ軸において２００〜２３０で、Ｙ軸において３５０〜３９０でほぼ一定となっている。
【０１０２】
一方、被検出者が顔の向きを変えた場合、例えば、エアコン装置の操作パネル等が設置されている方向（左下方向）に、被検出者が顔を向けた場合、左眼位置は大きく移動する。このとき、軌跡ｂに示すように、各時刻の座標値は、Ｘ軸において３９０〜５２０で、Ｙ軸において２４０〜３５０であり、大きく移動している。
【０１０３】
この分布についての解析結果を図２０に示す。図２０は、図１９に示した分布から求まる左眼位置の移動量の解析結果を示す説明図である。なお、図２０では、被検出者が図１９の軌跡ａ及び軌跡ｂと同様の動きをした場合に、３０ｍｓ／フレーム及び６０ｍｓ／フレーム（撮像間隔）にて、撮像したときの解析結果を示している。また、画像サイズは６４０×４８０である。
【０１０４】
まず、軌跡ａと同様の動きを３０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「１．１３」Ｙ軸方向に「０．５２」である。また、このときの標準偏差はＸ軸方向に「０．９５」Ｙ軸方向に「０．５２」であり、３δ移動量はＸ軸方向に「３．９７」Ｙ軸方向に「２．０８」である。そして、最大移動量は、Ｘ軸方向に「４」Ｙ軸方向に「２」である。
【０１０５】
一方、軌跡ｂと同様の動きを３０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「３．３８」Ｙ軸方向に「２．３５」である。また、このときの標準偏差はＸ軸方向に「２．６３」Ｙ軸方向に「２．１２」であり、３δ移動量はＸ軸方向に「１１．２７」Ｙ軸方向に「８．７２」である。そして、最大移動量は、Ｘ軸方向に「１４」Ｙ軸方向に「９」である。
【０１０６】
また、軌跡ａと同様の動きを６０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「１．７６」Ｙ軸方向に「０．９１」である。また、このときの標準偏差はＸ軸方向に「１．４７」Ｙ軸方向に「０．６８」であり、３δ移動量はＸ軸方向に「６．１８」Ｙ軸方向に「２．９４」である。そして、最大移動量は、Ｘ軸方向に「６」Ｙ軸方向に「３」である。
【０１０７】
一方、軌跡ｂと同様の動きを６０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「５．７７」Ｙ軸方向に「４．２５」である。また、このときの標準偏差はＸ軸方向に「４．１０」Ｙ軸方向に「３．７０」であり、３δ移動量はＸ軸方向に「１８．０６」Ｙ軸方向に「１５．３５」である。そして、最大移動量は、Ｘ軸方向に「１５」Ｙ軸方向に「１４」である。
【０１０８】
このように、図２０から明らかなように、被検出者が一方向を視認しているときには、左眼位置の移動量が最大数画素程度であるが、顔の向きを変えた場合には、左眼位置の移動量が最大数十画素となっている。
【０１０９】
図２１は、顔部位探査領域の具体例を示す説明図である。図２１に示すように、顔部位探査領域の大きさを、縦Ｖ１×２、横Ｈ１×２で表すと、Ｖ１を３０〜５０画素とし、Ｈ１を５０〜１００画素とするとよい。これにより、前回検出・追跡された顔部位位置を顔部位探査領域の中心位置に設定すれば、確実に今回の顔部位位置を顔部位探査領域内に納めることができる。なお、図２０に示した最大移動量からＶ１を１４画素とし、Ｈ１を１５画素としてもよい（図２０の軌跡ｂ、６０ｍ／ｓフレーム）。また、顔部位探査領域の大きさは、検出対象等によって変わってくるものである。また、システムの処理速度、処理精度によっても変わってくるものである。
【０１１０】
また、上記した如く、顔部位探査領域は図１７に示すように顔部位の移動量が大きいときを基準に大きさを設定してもよいが、過去数フレームから数十フレーム分の顔部位の移動量が殆ど動かないときには図１８に示すように顔部位の移動量が小さいときを基準に大きさを設定してもよい。図２２は、顔部位の移動量が小さいときを基準に設定した顔部位探査領域を示す説明図である。図２２に示すように、車両運転者の顔があまり動かない状況においては顔部位探査領域が小さくされてもよい。すなわち、顔部位探査領域設定部３１は、図２２に示すように次フレームでの顔部位位置があまり移動しないことを前提に顔部位探査領域を設定してもよい。
【０１１１】
また、図２３に示すように、顔部位探査領域の大きさを可変としてもよい。図２３は、顔部位探査領域の大きさを可変とする場合の一例を示す説明図である。同図に示すように、マイクロコンピュータ７は、顔部位探査領域を小さくしておき、追跡対象の顔部位が特定できなかった場合に顔部位探査領域を広くする。
【０１１２】
例えば、一度追跡対象である顔部位が特定されず不検出カウンタ（後述する図１６に示す不検出カウンタ）が「１」となった場合、追跡対象が存在するであろう領域を広げて、追跡対象の候補を見つけるようにしてもよい。図１５に示すステップＳＴ６０では、このようにして、顔部位探査領域の大きさを決定している。
【０１１３】
また、顔部位探査領域の大きさは次のようにして決定してもよい。図２４は、顔部位探査領域の大きさを可変とする場合の他の例を示す説明図である。同図に示すように、マイクロコンピュータ７は、顔部位探査領域を広くする際に不検出カウンタのカウント値に基づいて、顔部位探査領域の大きさを順次大きくするようにしてもよい。すなわち、不検出カウンタの数値が大きければ大きいほど、顔部位探査領域を広くするようにしている。このように、不検出カウンタの数値に基づいて領域の大きさを決定することで、追跡対象である顔部位が特定できなかった連続回数に応じて領域の大きさを決定することとなる。
【０１１４】
通常、顔部位探査領域を大きくすると処理速度の低下を招くため、顔部位探査領域の大きさを前回処理のときの大きさに比して、突然に大きくしてしまうことは、急激な処理速度の低下を招いてしまう。ところが、この例のように大きさを不検出カウンタの数値に応じて決定することで、処理速度の急激な低下を防止しつつ顔部位探査領域を適切な大きさにすることができる。
【０１１５】
再度、図１５を参照する。上記のようにして顔部位探査領域の設定処理（ＳＴ６０）が終了した後、マイクロコンピュータ７は、顔部位探査領域内画像の抽出処理を実行する（ＳＴ６１）。この処理において、顔画像から、ステップＳＴ６０において設定された顔部位探査領域内の画像が抽出される。なお、マイクロコンピュータ７は、この処理において顔部位探査領域画像抽出部３２に相当するプログラムを実行することとなる。
【０１１６】
図２５は、図１５に示す顔部位探査領域画像の抽出処理（ＳＴ６１）の説明図である。同図に示すように、マイクロコンピュータ７は現フレームの顔画像上に設定された顔部位探査領域内の画像を抽出する。ここでは、図２２を参照して説明したように、顔部位探査領域内画像を、縦６０〜１００画素、横１００〜２００画素で抽出するが、以下の説明では顔部位探査領域内画像の大きさを、縦８０画素、横１６０画素として説明する。
【０１１７】
再度、図１５を参照する。顔部位探査領域内画像の抽出処理の後、マイクロコンピュータ７は、前フレームの微小画像ＩＧの抽出処理を実行する（ＳＴ６２）。この際、マイクロコンピュータ７は顔部位微小画像抽出部３３に相当するプログラムを実行することとなる。この処理において、マイクロコンピュータ７は、例えば図１１のステップＳＴ４０に示す微小画像ＩＧを読み込むことにより微小画像ＩＧを抽出する。また、マイクロコンピュータ７は、前回の顔部位追跡処理（ＳＴ１９）の存在領域ＥＡ（後述のステップＳＴ６７）を微小画像ＩＧとして読み込むことにより微小画像ＩＧ抽出してもよい。また、マイクロコンピュータ７は新たに顔画像に存在領域ＥＡを設定して微小画像ＩＧを抽出してもよい。ここで、微小画像ＩＧは、縦４０画素、横８０画素の大きさであるとする。
【０１１８】
次に、マイクロコンピュータ７は、顔部位探査領域内画像と微小画像ＩＧとを同率の縮小率で縮小する（ＳＴ６３）。この処理において、マイクロコンピュータ７は第２顔部位検出部３４に相当するプログラムを実行する。この縮小により、マイクロコンピュータ７は、パターンマッチング処理を高速で行うことができるようになる。例えば、微小画像ＩＧの大きさが横８０画素×縦４０画素である場合、元サイズのまま縮小しないとすると、最小二乗法計算を３２００回繰り返さなければならない。ところが、双方の画像を１／２に縮小した場合、最小二乗法計算を８００回繰り返せばよいこととなる。
【０１１９】
このとき、マイクロコンピュータ７は、画像を縮小するにあたり、顔部位探査領域内画像と微小画像ＩＧとを元サイズの１／４以上の大きさにする。ここで、画像を縮小すると検出精度が低下することが懸念されるが、元サイズの１／４以上の大きさに縮小する限りは、検出精度の大幅な低下はなく、検出精度の低下を抑制することができる。
【０１２０】
図２６は、微小画像ＩＧの縮小率とパターンマッチングに要する処理時間及び検出精度との相関を示すグラフである。パターンマッチングに要する処理時間は微小画像ＩＧが小さくなるに従って指数関数的に短くなっている。また、同様にパターンマッチングの検出精度は微小画像ＩＧが小さくなるに従って低くなっている。しかし、検出精度は横２０×縦１０画素のサイズ、すなわち元サイズの１／４までは高い値を保ち、元サイズの１／４以下の大きさになると急激に低くなる。故に、顔部位探査領域内画像と微小画像ＩＧとを元サイズの１／４以上の大きさに縮小する限り、検出精度は高い値で保たれる。
【０１２１】
図２７は、縮小した画像の例を示す説明図である。同図に示すように、微小画像は横２０×縦１０画素の大きさに縮小され、顔部位探査領域内画像は横４０×縦２０画素の大きさに縮小される。このように、マイクロコンピュータ７は、顔部位探査領域内画像と微小画像ＩＧとを元サイズの１／４以上の大きさに縮小して、検出精度の低下を抑制しつつも、縮小により処理速度の向上を図る。
【０１２２】
次いで、マイクロコンピュータ７は、パターンマッチング処理を実行する（ＳＴ６４）。そして、マイクロコンピュータ７は、パターンマッチング処理によって得られた類似度の最大値が閾値以上であるか否かを判断する（ＳＴ６５）。ここで、パターンマッチング処理によって得られた類似度の最大値が閾値以上であると判断した場合（ＳＴ６５：ＹＥＳ）、最大類似度を示した画像位置に対応する元サイズの顔部位探査領域内画像の画像位置を顔部位の座標としてメモリする（ＳＴ６６）。
【０１２３】
その後、図１６に示すように、マイクロコンピュータ７は顔部位の座標を中心にして存在領域ＥＡを設定し、この存在領域ＥＡを顔部位画像ＭＧｉとして画像メモリに保存する（ＳＴ６７）。この顔部位画像ＭＧｉは、次回の顔部位追跡処理において微小画像ＩＧとして抽出されることとなる。
【０１２４】
そして、マイクロコンピュータ７は、不検出カウンタを初期化する（ＳＴ６８）。その後、処理は図３に示したステップＳＴ１８に移行する。この、不検出カウンタとは、追跡対象である顔部位が特定できない連続処理数をカウントするものである。
【０１２５】
ところで、図１５のパターンマッチング処理によって得られた類似度の最大値が閾値以上であると判断した場合（ＳＴ６５：ＹＥＳ）、図１６に示すように、マイクロコンピュータ７は、不検出カウンタをインクリメントする（ＳＴ６９）。その後、マイクロコンピュータ７は、不検出カウンタの数値が顔部位再検出処理移行数を超えたか否かを判断する（ＳＴ７０）。顔部位再検出処理移行数は、追跡対象となる顔部位が特定できなかった場合であっても、図３のステップＳＴ１７の処理を行うことなく、ステップＳＴ１９の顔部位追跡処理を連続して何度実行するかを示す数である。この数は、システムの処理速度、検出精度等によって異なってくるものであり、本装置１の適用対象に合わせて適宜設定すればよいものである。
【０１２６】
顔部位再検出処理移行数を超えていないと判断した場合（ＳＴ７０：ＮＯ）、処理は、図３に示したステップＳＴ１８に移行する。そして、ステップＳＴ１３〜ＳＴ１５の処理が行われ、再度、顔部位追跡処理（ＳＴ１９）が行われることとなる。なお、再度ステップＳＴ１９の処理が実行され、再度、顔部位の候補が追跡対象である顔部位と判定されなかった場合には、不検出カウンタがさらにインクリメントされることとなる。そして、ステップＳＴ１９の処理が繰り返され、不検出カウンタの値が顔部位再検出処理移行数を超えた場合（ＳＴ７０：ＹＥＳ）、マイクロコンピュータ７は、追跡対象検出フラグ「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定する（ＳＴ７１）。
【０１２７】
その後、マイクロコンピュータ７は、不検出カウンタを初期化し（ＳＴ７２）、処理は、図３に示したステップＳＴ１８に移行する。
【０１２８】
なお、不検出カウンタの数値が顔部位再検出処理移行数を超えた場合、追跡対象検出フラグ「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定されるため、図３に示す顔部位検出処理（ＳＴ１７）が、再度実行されることとなる。すなわち、マイクロコンピュータ７は、追跡対象である顔部位を特定できないため、ステップＳＴ１９の処理を繰り返したにもかかわらず、数回に渡って追跡対象を特定できない場合に、最終的に追跡対象を特定できなかったとする。そして、再度の顔部位検出処理（ＳＴ１７）を実行することとなる。
【０１２９】
以上のように、第１実施形態に係る顔部位追跡装置１は、顔部位探査領域内画像と微小画像ＩＧとを元サイズの１／４以上の大きさに縮小してパターンマッチングを行うため、検出精度の低下を抑制しつつも、縮小により処理速度の向上を図ることができるようになっている。
【０１３０】
なお、図１５に示したパターンマッチング処理（ＳＴ６４）は図２８〜図３０に示すようにして実行される。図２８は、図１５に示したパターンマッチング処理（ＳＴ６４）の詳細を示すフローチャートである。なお、図２８〜図３０の説明においては、縮小された顔部位探査領域内画像を単に顔部位探査領域内画像と称呼し、縮小された微小画像を単に微小画像と称呼する。
【０１３１】
図２８に示すように、マイクロコンピュータ７は、カウンタの変数ｉ，ｊを初期化すると共に、最大類似度を初期化する（ＳＴ８０）。次いで、マイクロコンピュータ７は、図２９に示すように比較画像を抽出する（ＳＴ８１）。
【０１３２】
図２９は、図２８に示すステップＳＴ８１において抽出される比較画像の説明図である。図２９に示すように、マイクロコンピュータ７は、顔部位探査領域内画像の座標（ｉ，ｊ）を左上とし、微小画像ＩＧと同じ大きさの画像を比較画像として抽出する。
【０１３３】
再度、図２８を参照する。比較画像の抽出後、マイクロコンピュータ７は、微小画像ＩＧと比較画像との類似度を算出する（ＳＴ８２）。類似度の指標としては、差分値や相関係数といった統計指標を用いることができる。これら統計指標の求め方は既知であるため説明を省略する。
【０１３４】
類似度算出後、マイクロコンピュータ７は、算出された類似度がメモリされている最大類似度よりも大きいか否かを判断する（ＳＴ８３）。ここで、算出された類似度がメモリされている最大類似度よりも大きいと判断した場合（ＳＴ８３：ＹＥＳ）、マイクロコンピュータ７は、算出された類似度を最大類似度としてメモリし（ＳＴ８４）、さらに、マイクロコンピュータ７は、この類似度が算出された座標（ｉ，ｊ）をメモリする（ＳＴ８５）。
【０１３５】
次に、マイクロコンピュータ７は、カウンタの変数ｉをインクリメントする（ＳＴ８６）。そして、マイクロコンピュータ７は、変数ｉが（顔部位探査領域内画像の横幅の画素数）−（微小画像の横幅の画素数）に達したか否かを判断する（ＳＴ８７）。ここで、変数ｉが（顔部位探査領域内画像の横幅の画素数）−（微小画像の横幅の画素数）に達していないと判断した場合（ＳＴ８７：ＮＯ）、処理はステップＳＴ８１に移行する。一方、変数ｉが（顔部位探査領域内画像の横幅の画素数）−（微小画像の横幅の画素数）に達したと判断した場合（ＳＴ８７：ＹＥＳ）、マイクロコンピュータ７は、変数ｉを初期化し（ＳＴ８８）、変数ｊをインクリメントする（ＳＴ８９）。
【０１３６】
次に、マイクロコンピュータ７は、変数ｊが（顔部位探査領域内画像の縦幅の画素数）−（微小画像の縦幅の画素数）に達したか否かを判断する（ＳＴ９０）。ここで、変数ｊが（顔部位探査領域内画像の縦幅の画素数）−（微小画像の縦幅の画素数）に達していないと判断した場合（ＳＴ９０：ＮＯ）、処理はステップＳＴ８１に移行する。一方、変数ｊが（顔部位探査領域内画像の縦幅の画素数）−（微小画像の縦幅の画素数）に達したと判断した場合（ＳＴ９０：ＹＥＳ）、図２８に示す処理は終了し、図１５に示したステップＳＴ６５に移行することとなる。
【０１３７】
図３０を参照して再度パターンマッチング処理を説明する。図３０は、図１５に示したパターンマッチング処理（ＳＴ６４）の詳細を示す説明図であり、（ａ）は１回目の比較画像の抽出の様子を示し、（ｂ）は１回目のパターンマッチングの様子を示し、（ｃ）は２回目のパターンマッチングの様子を示している。また、（ｄ）はｉ回目のパターンマッチングの様子を示し、（ｅ）はｉ＋１回目のパターンマッチングの様子を示し、（ｆ）は類似度が最大となるときのパターンマッチングの様子を示している。
【０１３８】
まず、図３０（ａ）に示すように、マイクロコンピュータ７は、まず、座標（１，１）を左上として微小画像と同じ大きさの画像を比較画像として抽出する。次に、マイクロコンピュータ７は、図３０（ｂ）に示すように、比較画像と微小画像との類似度を求める。模式的には、比較画像と微小画像とを重ね合わせるようにして類似度を求めることとなる。このとき、ステップＳＴ８４，ＳＴ８５において算出された類似度と座標（１，１）とがメモリされることとなる。
【０１３９】
次に、マイクロコンピュータ７は、同様にして、座標（２，１）を左上とした比較画像と微小画像との類似度を求める。ここで、座標（１，１）の比較画像と微小画像との類似度よりも、座標（２，１）の比較画像と微小画像との類似度の方が大きい場合、この類似度と座標（２，１）とがメモリされることとなる。
【０１４０】
そして、マイクロコンピュータ７は、変数ｉ（横幅の画素に相当）をインクリメントしながら類似度を算出していき、図３０（ｄ）に示すように座標（ｉ−ｋ，１）の比較画像と微小画像との類似度を求める。そして、ここで算出された類似度が過去に算出された類似度よりも大きい場合、座標（ｉ−ｋ，１）と共に類似度がメモリされる。なお、ｋは、微小画像の横幅の画素数である。
【０１４１】
次に、マイクロコンピュータ７は、図３０（ｅ）に示すように、変数ｉを初期化し、変数ｊ（縦幅の画素に相当）をインクリメントして、座標（１，２）を左上とした比較画像と微小画像との類似度を求める。この類似度が過去の類似度よりも大きければ、座標（１，２）と共に類似度がメモリされる。その後、図３０（ｆ）に示すように、比較画像と微小画像とが一致するときには、類似度が最大となり、メモリに記憶されることとなる。
【０１４２】
また、図１５に示した顔部位座標のメモリ処理（ＳＴ６６）を、図３１を参照して説明する。図３１は、図１５に示した顔部位座標のメモリ処理（ＳＴ６６）の詳細を示す説明図である。図３１に示すように、縮小された顔部位探査領域内画像上での顔部位の座標を検出した後、この座標を元サイズの顔部位探査領域内画像での座標に置き換えて、顔部位位置として検出する。具体的にマイクロコンピュータ７は、類似度が最大となった比較画像の座標から元サイズの顔部位探査領域内画像での顔部位位置を検出する。
【０１４３】
例えば、微小画像が横８０画素×縦４０画素であり、顔部位探査領域内画像と微小画像とを１／４に縮小したとする。また、顔部位探査領域内画像が抽出されたときの左上の座標が（Ｌｅｆｔ，Ｔｏｐ）であったとする。この場合、図３１に示すように、顔部位位置の座標は（Ｌｅｆｔ＋４ｉ＋４０，Ｔｏｐ＋４ｊ＋２０）となる。詳しく説明すると、類似度が最大であったときの座標を（ｉ，ｊ）とすると、元サイズの画像では（４ｉ，４ｊ）と置き換えることができる。このため、元サイズの顔部位探査領域の左上座標は（Ｌｅｆｔ＋４ｉ，Ｔｏｐ＋４ｊ）となる。これに、元サイズの微小画像の大きさである（８０，４０）の半分を加えれば、顔部位の座標を求めることができる。これにより、顔画像全体での顔部位の位置が検出される。
【０１４４】
このようにして、第１実施形態に係る顔部位追跡装置１及び方法によれば、顔部位探査領域内画像と微小画像とを同じ縮小率で元サイズの１／４以上の大きさに縮小した後にパターンマッチングを行うこととしている。このため、画像縮小により処理速度が速くなる。一方、画像を縮小すると検出精度が低下することが懸念されるが、元サイズの１／４以上の大きさに縮小する限りは、検出精度の大幅な低下はなく、検出精度の低下を抑制することができる。従って、検出精度の低下を抑制したうえで処理速度の向上を図ることができる。
【０１４５】
また、撮像部１０の撮像間隔の間に移動すると予測される非検出者の顔の予測移動量から、顔部位探査領域の大きさを決定することとしている。このため、前回の撮像から今回の撮像までに被被験者の顔が動いたとしても、予測移動量に応じて顔部位探査領域の大きさを適切に決定しておけば、確実に顔部位探査領域内画像に顔部位を納めることができる。従って、顔部位探査領域の大きさを適切にして、パターンマッチングの処理時間を短くすることができる。
【０１４６】
次に、本発明の第２実施形態を説明する。第２実施形態に係る顔部位追跡装置２及び方法は、第１実施形態のものと同様であるが、構成及び処理内容が一部異なっている。以下、第１実施形態の相違点を説明する。
【０１４７】
第２実施形態において第２顔部位検出部３４は、顔部位探査領域内画像と微小画像とを同じ縮小率で元サイズの１／４以上の大きさに縮小した後にパターンマッチングを行って縮小された顔部位探査領域内画像上で顔部位位置を検出する。また、第２実施形態の第２顔部位検出部３４は、縮小された顔部位探査領域内画像を元サイズに戻したときに、縮小された顔部位探査領域内画像での顔部位位置に対応する元サイズの画像上での領域で、元サイズの微小画像でパターンマッチングを行って類似度がもっとも高くなる位置を現フレームの顔部位位置として検出する。すなわち、１回目のパターンマッチングの際に画像を１／４に縮小した場合、縮小画像での１画素は元サイズの画像での４×４画素にあたる。このため、第２実施形態に係る第２顔部位検出部３４は、縮小画像でパターンマッチングを行った後に、元サイズの画像上での顔部位の領域（例えば上記の４×４画素の領域）を求め、その領域で再度パターンマッチングを行うようになっている。
【０１４８】
図３２は、第２実施形態に係る顔部位追跡処理（ＳＴ１９）の詳細を示すフローチャートであり、処理の前半部分を示している。なお、図３２に示すステップＳＴ１００〜ＳＴ１０５の処理は、図１５に示すステップＳＴ６０〜ＳＴ６５の処理を同様であるため説明を省略する。
【０１４９】
図３２に示すように、縮小された画像でパターンマッチングを行い（ＳＴ１０４）、最大類似度が閾値以上である場合（ＳＴ１０５：ＹＥＳ）、マイクロコンピュータ７は、最大類似度を示した画像位置に対応する元サイズの顔部位探査領域内画像の画像位置についてパターンマッチングを行う（ＳＴ１０６）。
【０１５０】
図３３は、図３２に示したステップＳＴ１０６において実行される再度のパターンマッチング処理を示す第１の説明図であり、図３４は、図３２に示したステップＳＴ１０６において実行される再度のパターンマッチング処理を示す第２の説明図である。
【０１５１】
図３３に示すように、最大類似度を示した縮小画像での座標が（ｉ，ｊ）であった場合、元サイズに戻したときに、この座標（ｉ，ｊ）に対応する位置は、図３４に示すように、座標（４ｉ，４ｊ）〜（４ｉ＋３，４ｊ＋３）である。このため、マイクロコンピュータ７は、座標（４ｉ，４ｊ）〜（４ｉ＋３，４ｊ＋３）の範囲内で再度パターンマッチングを行う。
【０１５２】
このように、第２実施形態では、縮小画像でパターンマッチングを行った後に、微小画像での顔部位位置に対応する元サイズの画像上での顔部位の領域（座標（４ｉ，４ｊ）〜（４ｉ＋３，４ｊ＋３））を求め、その領域（座標（４ｉ，４ｊ）〜（４ｉ＋３，４ｊ＋３））で再度パターンマッチングを行うようになっている。
【０１５３】
再度、図３２を参照する。上記の如く、パターンマッチングを行った後、マイクロコンピュータ７は、顔部位の領域（座標（４ｉ，４ｊ）〜（４ｉ＋３，４ｊ＋３））内で最大類似度を示した画像位置を顔部位の座標としてメモリする（ＳＴ１０７）。図３５は、図３２に示した顔部位座標のメモリ処理（ＳＴ１０７）の詳細を示す説明図である。ここで、微小画像が横８０画素×縦４０画素であり、顔部位探査領域内画像と微小画像とを１／４に縮小したとする。また、顔部位探査領域内画像が抽出されたときの左上の座標が（Ｌｅｆｔ，Ｔｏｐ）であったとする。この場合、図３５に示すように、顔部位位置の座標は（Ｌｅｆｔ＋４ｉ＋ｍ＋４０，Ｔｏｐ＋４ｊ＋ｎ＋２０）となる。詳しく説明すると、首相画像において類似度が最大であったときの座標を（ｉ，ｊ）とし、再度のパターンマッチングにより類似度が最大であったときの座標を（４ｉ＋ｍ，４ｊ＋ｎ）すると、元サイズの顔部位探査領域の左上座標は（Ｌｅｆｔ＋４ｉ＋ｍ，Ｔｏｐ＋４ｊ＋ｎ）となる。これに、元サイズの微小画像の大きさである（８０，４０）の半分を加えれば、顔部位の座標を求めることができる。これにより、顔画像全体での顔部位の位置が検出される。
【０１５４】
その後、図１６を参照して説明した処理が実行されて、顔部位追跡処理（ＳＴ１９）は終了することとなる。
【０１５５】
このようにして、第２実施形態に係る顔部位追跡装置２及び方法によれば、第１実施形態と同様に、検出精度の低下を抑制したうえで処理速度の向上を図ることができる（請求項２，８の効果その１）。また、顔部位探査領域の大きさを適切にして、パターンマッチングの処理時間を短くすることができる。
【０１５６】
さらに、第２実施形態によれば、縮小画像を元サイズに戻したときに、縮小画像上での顔部位位置に対応する元サイズの画像上での領域を、元サイズの微小画像でパターンマッチングを行って現フレームの顔部位位置を検出する。ここで、画像を縮小して顔部位位置を検出しても、画像サイズを元に戻した場合、顔部位位置は画像の拡大により複数画素にまたがってしまうこととなる。そこで、縮小画像でパターンマッチングを行った後に、元サイズで再度パターンマッチングを行うことによって、画像拡大により顔部位位置が複数画素にまたがってしまったとしても、詳細な顔部位検出を行うことができる（請求項２，８の効果その２）。
【０１５７】
次に、本発明の第３実施形態を説明する。第３実施形態に係る顔部位追跡装置３及び方法は、第１実施形態のものと同様であるが、構成及び処理内容が一部異なっている。以下、第１実施形態の相違点を説明する。
【０１５８】
図３６は、第３実施形態に係る顔部位追跡装置の構成を示す機能ブロック図である。同図に示すように、顔部位追跡装置３の顔部位微小画像抽出部３３は、顔部位オブジェクト抽出部（顔部位オブジェクト抽出手段）３３ａと、顔部位オブジェクト設定部（顔部位オブジェクト設定手段）３３ｂとを有している。
【０１５９】
顔部位オブジェクト抽出部３３ａは、前フレーム以前の微小画像ＩＧを２値化処理して得られる像を顔部位オブジェクトとして抽出するものである。図３７は、前フレーム以前の微小画像ＩＧの一例を示す説明図であり、図３８は、図３７の微小画像ＩＧから抽出された顔部位オブジェクトの一例を示す説明図である。図３７に示すような顔部位を含む微小画像ＩＧ（存在領域ＥＡ）が前フレーム以前に得られているとすると、顔部位オブジェクト抽出部３３ａは、２値化処理を行って、２値化閾値よりも小さい画素を黒（濃度値０）とし、２値化閾値よりも大きい画素を白（濃度値２５５）とする。これにより、顔部位オブジェクト抽出部３３ａは、図３８に示す黒く浮かび上がった像を顔部位オブジェクトとして抽出することとなる。
【０１６０】
顔部位オブジェクト設定部３３ｂは、顔部位オブジェクト抽出部３３ａにより抽出された顔部位オブジェクトの外周形状から顔部位オブジェクトの大きさを設定するものである。図３９は、顔部位オブジェクトを含む画像の一例を示す説明図であり、図４０は、顔部位オブジェクトの外周形状を示す説明図であり、図４１は、顔部位オブジェクトの大きさを示す説明図である。
【０１６１】
図３９に示すように、顔部位オブジェクト設定部３３ｂは、顔部位オブジェクト抽出部３３ａにより抽出された顔部位オブジェクトを含む画像を画像縦方向に走査していき、画素が黒から白または白から黒に変化する変化点を抽出していく。これにより、顔部位オブジェクト設定部３３ｂは、図４０に示すように、顔部位オブジェクトの外周形状を取得する。次に、顔部位オブジェクト設定部３３ｂは、顔部位オブジェクトの外周形状から、顔部位オブジェクトの大きさを設定する。このとき、顔部位オブジェクト設定部３３ｂは、外周形状の上端、下端、右端、及び左端から外方に数画素分だけ広げた領域を顔部位オブジェクトの大きさとして設定する。なお、顔部位オブジェクト設定部３３ｂは、外周形状の外方に数画素分広げずに、そのまま上端、下端、右端、及び左端を領域の端部として顔部位オブジェクトの大きさを設定してもよい。
【０１６２】
このように、顔部位オブジェクトの大きさが設定されると、顔部位微小画像抽出部３３は、前フレームの顔部位位置を中心に設定して、顔部位オブジェクト設定部３３ｂにより設定された顔部位オブジェクトの大きさ分の画像を微小画像ＩＧとして抽出することとなる。
【０１６３】
図４２は、第３実施形態に係る顔部位追跡処理（ＳＴ１９）の詳細を示すフローチャートであり、処理の前半部分を示している。なお、図３２に示すステップＳＴ１１０，ＳＴ１１１，ＳＴ１１３〜ＳＴ１１６の処理は、図１５に示すステップＳＴ６０，ＳＴ６１，ＳＴ６３〜ＳＴ６６の処理を同様であるため説明を省略する。
【０１６４】
図４２に示すように、顔部位探査領域内画像の抽出処理の後（ＳＴ１１１の後）、マイクロコンピュータ７は、前フレームの微小画像ＩＧを抽出する（ＳＴ１１２）。このとき、マイクロコンピュータ７は、図３７及び図３８に示したようにして顔部位オブジェクトを抽出し、図３９〜図４１に示したようにして顔部位オブジェクトの大きさを設定する。そして、マイクロコンピュータ７は、前フレームの顔部位位置を中心にして、顔部位オブジェクトの大きさを分の画像を微小画像ＩＧとして抽出する。なお、この処理においてマイクロコンピュータ７は、顔部位オブジェクト抽出部３３ａ及び顔部位オブジェクト設定部３３ｂのプログラムを含む顔部位微小画像抽出部３３に相当するプログラムを実行することとなる。
【０１６５】
その後、ステップＳＴ１１３〜ＳＴ１１６及び図１６を参照して説明した処理が実行されて、顔部位追跡処理（ＳＴ１９）は終了することとなる。
【０１６６】
このようにして、第３実施形態に係る顔部位追跡装置３及び方法によれば、第１実施形態と同様に、検出精度の低下を抑制したうえで処理速度の向上を図ることができる。また、顔部位探査領域の大きさを適切にして、パターンマッチングの処理時間を短くすることができる。
【０１６７】
さらに、第３実施形態によれば、顔部位微小画像抽出部３３は、前フレーム以前の微小画像ＩＧを２値化処理して得られる像を顔部位オブジェクトとして抽出する。このため、微小画像ＩＧから顔部位の部分のみを抽出することができる。また、抽出した顔部位オブジェクトの外周形状から顔部位オブジェクトの大きさを設定し、前フレームの顔部位位置を中心にして、設定された顔部位オブジェクトの大きさ分の画像を微小画像として抽出する。このため、顔部位のみを抽出して、顔部位のみから微小画像ＩＧの大きさを設定することとなる。これにより、微小画像ＩＧには顔部位以外の余分な像などが含まれ難く、できるだけ小さい大きさにされる。従って、微小画像の大きさを適切にすることができる。
【０１６８】
次に、本発明の第４実施形態を説明する。第４実施形態に係る顔部位追跡装置４及び方法は、第１実施形態のものと同様であるが、構成及び処理内容が一部異なっている。以下、第１実施形態の相違点を説明する。
【０１６９】
図４３は、第４実施形態に係る顔部位追跡装置の構成を示す機能ブロック図である。同図に示すように、顔部位追跡装置４の顔部位追跡部３０は、新たに、第２顔部位オブジェクト抽出部（第２顔部位オブジェクト抽出手段）３５と、第３顔部位検出部（第３顔部位検出手段）３６とを有している。また、第４実施形態において第２顔部位検出部３４は、第２顔部位微小画像抽出部（第２微小画像抽出手段）３４ａを有している。
【０１７０】
第２顔部位検出部３４の第２顔部位微小画像抽出部３４ａは、現フレームの顔画像上で検出された顔部位の位置を含み顔部位探索領域よりも小さくされた微小画像ＩＧを抽出する機能である。
【０１７１】
第２顔部位オブジェクト抽出部３５は、第２顔部位微小画像抽出部３４ａにより抽出された微小画像ＩＧを２値化処理して得られる像を顔部位オブジェクトとして抽出するものである。この抽出部３５は、図３７及び図３８と同様にして、現フレームの微小画像ＩＧから顔部位オブジェクトを抽出する。
【０１７２】
第３顔部位検出部３６は、第２顔部位オブジェクト抽出部３５により抽出された顔部位オブジェクトの外周形状から顔部位オブジェクトの代表点を決定し、この代表点を顔部位位置とするものである。第３顔部位検出部３６は、図３９に示したようにして、図４０に示すような顔部位オブジェクトの外周形状を取得した後、図４４〜図４６に示すようにして代表点を決定する。
【０１７３】
図４４は、図４３に示す第３顔部位検出部３６によって実行される第１の処理を示す説明図であり、図４５は、図４３に示す第３顔部位検出部３６によって実行される第２の処理を示す説明図である。また、図４６は、図４３に示す第３顔部位検出部３６によって決定される代表点を示す説明図である。
【０１７４】
第３顔部位検出部３６は、顔部位オブジェクトの外周形状を取得した後、図４３に示すように外周形状の上端と下端との中点を求める。次に、第３顔部位検出部３６は、顔部位オブジェクトの外周形状の右端と左端との中点を求める。そして、第３顔部位検出部３６は、図４６に示すように、得られた両中点の座標を代表点として決定する。第３顔部位検出部３６は、このようにして決定した代表点を顔部位の位置として検出する。
【０１７５】
このように、第２顔部位検出部３４が顔部位位置を検出した後に、再度、第２顔部位オブジェクト抽出部３５によって顔部位オブジェクトを抽出し、第３顔部位検出部３６により再度、顔部位位置を検出することにより、一層正確に顔部位位置を検出することができる。すなわち、現フレームにおいて検出された顔部位のみを表し余分な部分が除かれた顔部位オブジェクトから代表点を決定するため、代表点は極めて正確となり、顔部位位置についても正確とすることができる。
【０１７６】
図４７は、第４実施形態に係る顔部位追跡処理（ＳＴ１９）の詳細を示すフローチャートであり、処理の前半部分を示している。なお、図４７に示すステップＳＴ１２０〜ＳＴ１２５の処理は、図１５に示すステップＳＴ６０〜ＳＴ６５の処理を同様であるため説明を省略する。
【０１７７】
最大類似度が閾値以上であると判断された後（ＳＴ１２５：ＹＥＳ）、マイクロコンピュータ７は、最大類似度を示した画像位置に対応する元サイズの顔部位探査領域内画像の画像位置から現フレーム上の顔部位位置を検出する（ＳＴ１２６）。
【０１７８】
次に、マイクロコンピュータ７は、現フレームの顔部位を含む微小画像ＩＧを抽出する（ＳＴ１２７）。この処理においてマイクロコンピュータ７は、第２顔部位微小画像抽出部３４ａに相当するプログラムを実行する。そして、マイクロコンピュータ７は、顔部位オブジェクト抽出処理を実行する（ＳＴ１２８）。この処理においてマイクロコンピュータ７は、第２顔部位オブジェクト抽出部３５に相当するプログラムを実行する。また、この処理では図３８を参照して説明したように２値化処理を行って顔部位オブジェクトが抽出される。
【０１７９】
その後、マイクロコンピュータ７は、顔部位オブジェクトの輪郭から顔部位座標を算出してメモリする（ＳＴ１２９）。ここで、メモリされる顔部位座標が顔部位オブジェクトの代表点であり、顔部位位置として検出されることとなる。なお、この処理では図４４〜図４６を参照して説明したようにして顔部位オブジェクトの代表点が決定される。また、マイクロコンピュータ７は、この処理において第２顔部位オブジェクト抽出部３５に相当するプログラムを実行する。
【０１８０】
その後、図１６を参照して説明したようにして顔部位追跡処理（ＳＴ１９）は終了することとなる。
【０１８１】
このようにして、第４実施形態に係る顔部位追跡装置４及び方法によれば、第１実施形態と同様に、検出精度の低下を抑制したうえで処理速度の向上を図ることができる。また、顔部位探査領域の大きさを適切にして、パターンマッチングの処理時間を短くすることができる。
【０１８２】
さらに、第４実施形態によれば、顔部位追跡部３０は、現フレームの顔画像上で検出された顔部位の位置を含み顔部位探索領域よりも小さくされた微小画像ＩＧを抽出し、抽出した微小画像ＩＧを２値化処理して得られる像を顔部位オブジェクトとして抽出する。そして、抽出した顔部位オブジェクトの外周形状から顔部位オブジェクトの代表点を決定し、この代表点を顔部位位置とする。このため、現フレームから顔部位を検出した後に再度顔部位の検出を行うこととなり、顔部位の検出精度を高めることができる。さらに、顔部位オブジェクトの代表点を決定し、この代表点を顔部位位置とするため、顔部位のみを表し余分な部分が除かれた顔部位オブジェクトから代表点を決定することとなり、代表点は極めて正確となる。これにより、顔部位位置についても正確となる。従って、顔部位の検出精度を一層高めることができる。
【０１８３】
次に、本発明の第５実施形態を説明する。第５実施形態に係る顔部位追跡装置５及び方法は、第４実施形態のものと同様であるが、構成及び処理内容が一部異なっている。以下、第４実施形態の相違点を説明する。
【０１８４】
図４８は、第５実施形態に係る顔部位追跡装置の構成を示す機能ブロック図である。同図に示すように、顔部位追跡装置５の第２顔部位微小画像抽出部３４ａは、第３顔部位オブジェクト抽出部（第３顔部位オブジェクト抽出手段）３４ａ１と、第２顔部位オブジェクト設定部（第２顔部位オブジェクト設定手段）３４ａ２とを有している。
【０１８５】
第３顔部位オブジェクト抽出部３４ａ１は、顔部位微小画像抽出部３３により抽出された微小画像を２値化処理して得られる像を顔部位オブジェクトとして抽出するものである。第２顔部位オブジェクト設定部３４ａ２は、第３顔部位オブジェクト抽出部３４ａ１により抽出された顔部位オブジェクトの外周形状から顔部位オブジェクトの大きさを設定するものである。これら第３顔部位オブジェクト抽出部３４ａ１及び第２顔部位オブジェクト設定部３４ａ２は、図３７〜図４１に示したようにして、顔部位オブジェクトを抽出し、顔部位オブジェクトの大きさを設定する。
【０１８６】
また、第２顔部位微小画像抽出部３４ａは、第２顔部位検出部３４により検出された現フレームの顔部位位置を中心に設定して、第２顔部位オブジェクト設定部３４ａ２により設定された顔部位オブジェクトの大きさ分の画像を微小画像として抽出する。このように、
第５実施形態では、再度新たに微小画像ＩＧを抽出するため、第３実施形態と同様に、微小画像の大きさを適切にすることができ、第３顔部位検出部３６の顔部位検出を好適に行うことができる。
【０１８７】
図４９は、第５実施形態に係る顔部位追跡処理（ＳＴ１９）の詳細を示すフローチャートであり、処理の前半部分を示している。なお、図４９に示すステップＳＴ１３０〜ＳＴ１３７，ＳＴ１３８，ＳＴ１３９の処理は、図４７に示すステップＳＴ１２０〜〜ＳＴ１２７，ＳＴ１２８，ＳＴ１２９の処理を同様であるため説明を省略する。
【０１８８】
同図に示すように、最大類似度を示した画像位置に対応する元サイズの顔部位探査領域内画像の画像位置から顔部位位置を検出した後（ＳＴ１３６の後）、マイクロコンピュータ７は、現フレームの顔部位を含む微小画像ＩＧを抽出する（ＳＴ１３７）。このとき、マイクロコンピュータ７は、第３顔部位オブジェクト抽出部３４ａ１と第２顔部位オブジェクト設定部３４ａ２とのプログラムを含む第２顔部位微小画像抽出部３４ａに相当するプログラムを実行する。故に、マイクロコンピュータ７は、図４２のステップＳＴ１１２と同様にして、微小画像ＩＧを抽出することとなる。
【０１８９】
その後、ステップＳＴ１３８，ＳＴ１３９の処理、及び図１６を参照して説明した処理が実行されて顔部位追跡処理（ＳＴ１９）は終了することとなる。
【０１９０】
このようにして、第５実施形態に係る顔部位追跡装置５及び方法によれば、第１実施形態と同様に、検出精度の低下を抑制したうえで処理速度の向上を図ることができる。また、顔部位探査領域の大きさを適切にして、パターンマッチングの処理時間を短くすることができる。また、顔部位の検出精度を一層高めることができる。
【０１９１】
さらに、第５実施形態によれば、第２顔部位微小画像抽出部３４ａは、顔部位微小画像抽出部３３により抽出された微小画像ＩＧを２値化処理して得られる像を顔部位オブジェクトとして抽出し、抽出した顔部位オブジェクトの外周形状から顔部位オブジェクトの大きさを設定し、現フレームの顔部位位置を中心にして、設定した顔部位オブジェクトの大きさ分の画像を微小画像として抽出する。このため、第３実施形態と同様に、微小画像の大きさを適切にすることができる。
【０１９２】
なお、本発明は上記実施形態に限られず、本発明の趣旨を逸脱しない範囲において変更等が可能である。例えば、上記実施形態では、顔部位探査領域内画像と微小画像とを元サイズの１／４以上の大きさに縮小することとしたが、検出対象の顔部位に応じて上記１／４を変化させるようにしてもよい。例えば、検出対象の顔部位が耳である場合、眼よりも複雑であるため、１／４よりも大きい値としてもよく、検出対象の顔部位が鼻（鼻孔）である場合、眼よりも簡単であるため、１／４よりも小さい値としてもよい。
【図面の簡単な説明】
【０１９３】
【図１】本発明の実施形態に係る顔部位追跡装置の構成を示す機能ブロック図である。
【図２】本発明の実施形態に係る顔部位追跡装置のハード構成図である。
【図３】第１実施形態に係る顔部位追跡方法の概略を示すメインフローチャートである。
【図４】図３に示した顔部位検出処理（ＳＴ１７）の詳細な動作を示すフローチャートである。
【図５】図４に示した顔部位候補位置特定処理（ＳＴ２０）の詳細を示すフローチャートである。
【図６】、図５に示したステップＳＴ３６の処理にて形成される連続データ、並びにステップＳＴ３７の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。
【図７】図６に示した存在領域ＥＡの大きさを示す説明図である。
【図８】数人の眼の大きさを調べた横Ｘａの長さの統計データを示す説明図である。
【図９】数人の眼の大きさを調べた縦Ｙａの長さの統計データを示す説明図である。
【図１０】存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。
【図１１】図４に示した顔部位判定処理（ＳＴ２１）の詳細を示すフローチャートである。
【図１２】微小画像を示す説明図である。
【図１３】範囲ＡＲでの二値化閾値の算出方法の説明図である。
【図１４】候補オブジェクトと追跡対象である眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は眼の右側が欠けた状態を示し、（ｃ）は眼の左側が欠けた状態を示している。
【図１５】図３に示した顔部位追跡処理（ＳＴ１９）の詳細を示すフローチャートであり、処理の前半部分を示している。
【図１６】図３に示した顔部位追跡処理（ＳＴ１９）の詳細を示すフローチャートであり、処理の後半部分を示している。
【図１７】図１５に示した顔部位探査領域の設定処理（ＳＴ６０）の説明図であり、（ａ）は時刻ｔ０において撮像された画像を示し、（ｂ）は時刻ｔ１において撮像された画像を示し、（ｃ）は時刻ｔ２において撮像された画像を示し、（ｄ）は時刻ｔ３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【図１８】図１５に示した顔部位探査領域の設定処理（ＳＴ６０）の第２の説明図であり、（ａ）は時刻ｔ１０において撮像された画像を示し、（ｂ）は時刻ｔ１１において撮像された画像を示し、（ｃ）は時刻ｔ１２において撮像された画像を示し、（ｄ）は時刻ｔ１３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【図１９】一方向を視認している場合と顔の向きを変えた場合との左眼位置の分布を示す説明図である。
【図２０】図１９に示した分布から求まる左眼位置の移動量の解析結果を示す説明図である。
【図２１】顔部位探査領域の具体例を示す説明図である。
【図２２】顔部位の移動量が小さいときを基準に設定した顔部位探査領域を示す説明図である。
【図２３】顔部位探査領域の大きさを可変とする場合の一例を示す説明図である。
【図２４】顔部位探査領域の大きさを可変とする場合の他の例を示す説明図である。
【図２５】図１５に示す顔部位探査領域画像の抽出処理（ＳＴ６１）の説明図である。
【図２６】微小画像ＩＧの縮小率とパターンマッチングに要する処理時間及び検出精度との相関を示すグラフである。
【図２７】縮小した画像の例を示す説明図である。
【図２８】図１５に示したパターンマッチング処理（ＳＴ６４）の詳細を示すフローチャートである。
【図２９】図２８に示すステップＳＴ８１において抽出される比較画像の説明図である。
【図３０】図１５に示したパターンマッチング処理（ＳＴ６４）の詳細を示す説明図であり、（ａ）は１回目の比較画像の抽出の様子を示し、（ｂ）は１回目のパターンマッチングの様子を示し、（ｃ）は２回目のパターンマッチングの様子を示し、（ｄ）はｉ回目のパターンマッチングの様子を示し、（ｅ）はｉ＋１回目のパターンマッチングの様子を示し、（ｆ）は類似度が最大となるときのパターンマッチングの様子を示している。
【図３１】図１５に示した顔部位座標のメモリ処理（ＳＴ６６）の詳細を示す説明図である。
【図３２】第２実施形態に係る顔部位追跡処理（ＳＴ１９）の詳細を示すフローチャートであり、処理の前半部分を示している。
【図３３】図３２に示したステップＳＴ１０６において実行される再度のパターンマッチング処理を示す第１の説明図である。
【図３４】図３２に示したステップＳＴ１０６において実行される再度のパターンマッチング処理を示す第２の説明図である。
【図３５】図３２に示した顔部位座標のメモリ処理（ＳＴ１０７）の詳細を示す説明図である。
【図３６】第３実施形態に係る顔部位追跡装置の構成を示す機能ブロック図である。
【図３７】前フレーム以前の微小画像ＩＧの一例を示す説明図である。
【図３８】図３７の微小画像ＩＧから抽出された顔部位オブジェクトの一例を示す説明図である。
【図３９】顔部位オブジェクトを含む画像の一例を示す説明図である。
【図４０】顔部位オブジェクトの外周形状を示す説明図である。
【図４１】顔部位オブジェクトの大きさを示す説明図である。
【図４２】第３実施形態に係る顔部位追跡処理（ＳＴ１９）の詳細を示すフローチャートであり、処理の前半部分を示している。
【図４３】第４実施形態に係る顔部位追跡装置の構成を示す機能ブロック図である。
【図４４】図４３に示す第３顔部位検出部３６によって実行される第１の処理を示す説明図である。
【図４５】図４３に示す第３顔部位検出部３６によって実行される第２の処理を示す説明図である。
【図４６】図４３に示す第３顔部位検出部３６によって決定される代表点を示す説明図である。
【図４７】第４実施形態に係る顔部位追跡処理（ＳＴ１９）の詳細を示すフローチャートであり、処理の前半部分を示している。
【図４８】第５実施形態に係る顔部位追跡装置の構成を示す機能ブロック図である。
【図４９】第５実施形態に係る顔部位追跡処理（ＳＴ１９）の詳細を示すフローチャートであり、処理の前半部分を示している。
【符号の説明】
【０１９４】
１〜５…顔部位追跡装置
６…ＴＶカメラ
７…マイクロコンピュータ
１０…撮像部（撮像手段）
２０…第１顔部位検出部（顔部位検出手段）
３０…顔部位追跡部（顔部位追跡手段）
３１…顔部位探査領域設定部（顔部位探査領域設定手段）
３２…顔部位探査領域画像抽出部（探索領域内画像抽出手段）
３３…顔部位微小画像抽出部（微小画像抽出手段）
３３ａ…顔部位オブジェクト抽出部（顔部位オブジェクト抽出手段）
３３ｂ…顔部位オブジェクト設定部（顔部位オブジェクト設定手段）
３４…第２顔部位検出部（第２顔部位検出手段）
３４ａ…第２顔部位微小画像抽出部（第２微小画像抽出手段）
３４ａ１…第３顔部位オブジェクト抽出部（第３顔部位オブジェクト抽出手段）
３４ａ２…第２顔部位オブジェクト設定部（第２顔部位オブジェクト設定手段）
３５…第２顔部位オブジェクト抽出部（第２顔部位オブジェクト抽出手段）
３６…第３顔部位検出部（第３顔部位検出手段）
【図１】
2007018054.tif 000003
【図２】
2007018054.tif 000004
【図３】
2007018054.tif 000005
【図４】
2007018054.tif 000006
【図５】
2007018054.tif 000007
【図７】
2007018054.tif 000008
【図８】
2007018054.tif 000009
【図９】
2007018054.tif 000010
【図１０】
2007018054.tif 000011
【図１１】
2007018054.tif 000012
【図１３】
2007018054.tif 000013
【図１４】
2007018054.tif 000014
【図１５】
2007018054.tif 000015
【図１６】
2007018054.tif 000016
【図１９】
2007018054.tif 000017
【図２０】
2007018054.tif 000018
【図２３】
2007018054.tif 000019
【図２４】
2007018054.tif 000020
【図２６】
2007018054.tif 000021
【図２８】
2007018054.tif 000022
【図３１】
2007018054.tif 000023
【図３２】
2007018054.tif 000024
【図３３】
2007018054.tif 000025
【図３５】
2007018054.tif 000026
【図３６】
2007018054.tif 000027
【図３７】
2007018054.tif 000028
【図３８】
2007018054.tif 000029
【図４０】
2007018054.tif 000030
【図４１】
2007018054.tif 000031
【図４２】
2007018054.tif 000032
【図４３】
2007018054.tif 000033
【図４４】
2007018054.tif 000034
【図４５】
2007018054.tif 000035
【図４６】
2007018054.tif 000036
【図４７】
2007018054.tif 000037
【図４８】
2007018054.tif 000038
【図４９】
2007018054.tif 000039
【図６】
2007018054.tif 000040
【図１２】
2007018054.tif 000041
【図１７】
2007018054.tif 000042
【図１８】
2007018054.tif 000043
【図２１】
2007018054.tif 000044
【図２２】
2007018054.tif 000045
【図２５】
2007018054.tif 000046
【図２７】
2007018054.tif 000047
【図２９】
2007018054.tif 000048
【図３０】
2007018054.tif 000049
【図３４】
2007018054.tif 000050
【図３９】
2007018054.tif 000051