(57)【要約】【課題】より適切に人の目の状態の検出結果を利用できるようにする。【解決手段】顔検出部３１は、撮像装置１１により撮像された画像を用いて人の顔の少なくとも一部の大きさ、形状および位置のうち少なくとも１つを検出する。目状態検出部３３は、撮像装置１１により撮像された画像を用いて人の目の開閉および形状、並びに、視線方向のうち少なくとも１つを検出する。信頼性評価部２２は、顔検出部３１による検出結果の変化に基づいて、目状態検出部３３による検出結果の信頼性を評価する。本発明は、例えば、運転者の目の状態を検出する装置に適用できる。【選択図】図１
2010217955.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された画像を用いて前記人の顔の少なくとも一部の大きさ、形状および位置のうち少なくとも１つを検出する顔検出手段と、
前記画像を用いて前記人の目の開閉および形状、並びに、視線方向のうち少なくとも１つを検出する目状態検出手段と、
前記顔検出手段による第１の検出結果の変化に基づいて、前記目状態検出手段による第２の検出結果の信頼性を評価する信頼性評価手段と
を含む検出装置。
【請求項２】
前記信頼性評価手段は、前記第１の検出結果と前記第１の検出結果の平均値との差に基づいて、前記第２の検出結果の信頼性を評価する
請求項１に記載の検出装置。
【請求項３】
前記人の顔の向きを検出する顔向き検出手段を
さらに含み、
前記信頼性評価手段は、前記顔向き検出手段により検出された前記人の顔の向きの変化が所定の範囲内である状態が所定の期間連続したときの前記第１の検出結果の平均値を求め、前記第１の検出結果と求めた前記第１の検出結果の平均値との差に基づいて、前記第２の検出結果の信頼性を評価する
請求項２に記載の検出装置。
【請求項４】
前記第２の検出結果、および、前記第２の検出結果の信頼性を示す情報を出力する出力手段を
さらに含む請求項１に記載の検出装置。
【請求項５】
前記第１の検出結果が複数の項目からなる場合、
前記信頼性評価手段は、前記第１の検出結果の項目毎に前記第２の検出結果の信頼性を評価し、前記項目毎の前記第２の検出結果の信頼性の評価結果に基づいて、最終的な前記第２の検出結果の信頼性を評価し、
前記出力手段は、前記項目毎の前記第２の検出結果の信頼性の評価結果をさらに出力する
さらに含む請求項４に記載の検出装置。
【請求項６】
前記第２の検出結果の信頼性が所定の閾値以上である場合、前記第２の検出結果を出力し、前記第２の検出結果の信頼性が前記所定の閾値未満である場合、前記第２の検出結果を出力しない出力手段を
さらに含む請求項１に記載の検出装置。
【請求項７】
前記顔検出手段は、前記人の目を除く前記人の顔の少なくとも一部の大きさ、形状および位置のうち少なくとも１つを検出する
請求項１に記載の検出装置。
【請求項８】
前記顔検出手段は、前記人の顔全体の大きさ、形状および位置のうち少なくとも１つを検出する
請求項１に記載の検出装置。
【請求項９】
撮像装置により撮像された画像を用いて前記人の顔の少なくとも一部の大きさ、形状および位置のうち少なくとも１つを検出する顔検出手段と、前記画像を用いて前記人の目の開閉および形状、並びに、視線方向のうち少なくとも１つを検出する目状態検出手段とを備える検出装置の検出結果の信頼性を評価する評価装置において、
前記顔検出手段による第１の検出結果の変化に基づいて、前記目状態検出手段による第２の検出結果の信頼性を評価する信頼性評価手段を
含む評価装置。
【請求項１０】
前記信頼性評価手段は、前記第１の検出結果と前記第１の検出結果の平均値との差に基づいて、前記第２の検出結果の信頼性を評価する
請求項９に記載の評価装置。
【請求項１１】
前記検出装置は、前記人の顔の向きを検出する顔向き検出手段をさらに備え、
前記信頼性評価手段は、前記顔向き検出手段により検出された前記人の顔の向きの変化が所定の範囲内である状態が所定の期間連続したときの前記第１の検出結果の平均値を求め、前記第１の検出結果と求めた前記第１の検出結果の平均値との差に基づいて、前記第２の検出結果の信頼性を評価する
請求項１０に記載の評価装置。
【請求項１２】
撮像装置により撮像された画像を用いて前記人の顔の少なくとも一部の大きさ、形状および位置のうち少なくとも１つを検出する顔検出手段と、前記画像を用いて前記人の目の開閉および形状、並びに、視線方向のうち少なくとも１つを検出する目状態検出手段とを備える検出装置の検出結果の信頼性を評価する評価装置が、
前記顔検出手段による第１の検出結果の変化に基づいて、前記目状態検出手段による第２の検出結果の信頼性を評価する
ステップを含む評価方法。
【請求項１３】
撮像装置により撮像された画像を用いて前記人の顔の少なくとも一部の大きさ、形状および位置のうち少なくとも１つを検出する顔検出手段と、前記画像を用いて前記人の目の開閉および形状、並びに、視線方向のうち少なくとも１つを検出する目状態検出手段とを備える検出装置の検出結果の信頼性を評価するコンピュータに、
前記顔検出手段による第１の検出結果の変化に基づいて、前記目状態検出手段による第２の検出結果の信頼性を評価する
ステップを含む処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出装置、評価装置および方法、並びに、プログラムに関し、特に、人の目の状態を検出する場合に用いて好適な検出装置、評価装置および方法、並びに、プログラムに関する。
【背景技術】
【０００２】
従来、運転者の脇見や居眠りを検出するために運転者の視線や目の開閉状態を検出する装置や技術が多数提案されている。
【０００３】
ところで、運転者の視線や目の開閉状態を正確に検出するためには、その前に、運転者の顔の位置、目の各部位の位置、顔の向きなどを正確に検出する必要がある。しかし、従来の装置や技術のほとんどが、それらが正しく検出できることを前提にして構築されている（例えば、特許文献１参照）。
【０００４】
しかし、実際には、運転者の顔の位置、目の各部位の位置、顔の向きなどが正しく検出されず、視線や目の開閉状態の検出結果が不安定になる状態が発生する。そして、運転者の視線や目の開閉状態の検出結果が不安定になると、後段の装置において、誤作動が発生したり、運転者の脇見や居眠りなどの誤検出が発生してしまう恐れがある。
【０００５】
そこで、従来、目を検出した領域が画像内の所定の領域内でない状態、検出した両目の間隔が所定の範囲内でない状態、または、検出した両目の瞳の上下方向の位置のズレが所定の範囲内でない状態が所定の時間継続した場合、ブザーをオンし、目認識が不可能な状態や誤検出したことを運転者に警報することが提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１０９９８０号公報
【特許文献２】特開平６−３４４８０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２に記載の発明では、判定に用いる画像内の領域や値の範囲が固定されているため、顔の作り、体格、運転姿勢などの個人差に柔軟に対応することは難しい。その結果、目認識が不可能な状態や誤検出したことを見過ごしてしまい、後段の装置において誤作動や誤検出が発生してしまう恐れがある。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、より適切に人の目の状態の検出結果を利用できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の検出装置は、撮像装置により撮像された画像を用いて人の顔の少なくとも一部の大きさ、形状および位置のうち少なくとも１つを検出する顔検出手段と、画像を用いて人の目の開閉および形状、並びに、視線方向のうち少なくとも１つを検出する目状態検出手段と、顔検出手段による第１の検出結果の変化に基づいて、目状態検出手段による第２の検出結果の信頼性を評価する信頼性評価手段とを含む。
【００１０】
本発明の第１の側面の検出装置においては、撮像装置により撮像された画像を用いて人の顔の少なくとも一部の大きさ、形状および位置のうち少なくとも１つが検出され、画像を用いて人の目の開閉および形状、並びに、視線方向のうち少なくとも１つが検出され、顔検出手段による第１の検出結果の変化に基づいて、目状態検出手段による第２の検出結果の信頼性が評価される。
【００１１】
従って、人の目の状態の検出結果の信頼性を正確に評価することができる。その結果、例えば、信頼性の高い検出結果のみを利用することが可能になり、より適切に人の目の状態の検出結果を利用することができる。
【００１２】
この顔検出手段、目状態検出手段、信頼性評価手段は、例えば、CPU（Central Processing Unit）により構成される。
【００１３】
この信頼性評価手段には、第１の検出結果と第１の検出結果の平均値との差に基づいて、第２の検出結果の信頼性を評価させることができる。
【００１４】
これにより、人の目の状態の検出結果の信頼性をより正確に評価することができる。
【００１５】
この検出装置には、人の顔の向きを検出する顔向き検出手段をさらに設け、この信頼性評価手段には、顔向き検出手段により検出された人の顔の向きの変化が所定の範囲内である状態が所定の期間連続したときの第１の検出結果の平均値を求め、第１の検出結果と求めた第１の検出結果の平均値との差に基づいて、第２の検出結果の信頼性を評価させることができる。
【００１６】
これにより、個人差や人の状態などの違いに柔軟に対応して、人の目の状態の検出結果の信頼性を評価することができる。
【００１７】
この検出装置には、第２の検出結果、および、第２の検出結果の信頼性を示す情報を出力する出力手段をさらに設けることができる。
【００１８】
これにより、人の目の状態の検出結果を利用する後段の装置において、その信頼性に基づいて、より適切に検出結果を利用することができる。
【００１９】
この出力手段は、例えば、CPU（Central Processing Unit）により構成される。
【００２０】
第１の検出結果が複数の項目からなる場合、この信頼性評価手段には、第１の検出結果の項目毎に第２の検出結果の信頼性を評価させ、項目毎の第２の検出結果の信頼性の評価結果に基づいて、最終的な第２の検出結果の信頼性を評価させ、この出力手段には、項目毎の第２の検出結果の信頼性の評価結果をさらに出力させることができる。
【００２１】
これにより、人の目の状態の検出結果を利用する後段の装置において、検出結果の信頼性の評価の基となる原因を知ることができる。
【００２２】
この検出装置には、第２の検出結果の信頼性が所定の閾値以上である場合、第２の検出結果を出力し、第２の検出結果の信頼性が所定の閾値未満である場合、第２の検出結果を出力しない出力手段をさらに設けることができる。
【００２３】
これにより、人の目の状態の検出結果を利用する後段の装置において、確実に信頼性の高い検出結果のみを利用することが可能になる。
【００２４】
この出力手段は、例えば、CPU（Central Processing Unit）により構成される。
【００２５】
この顔検出手段には、人の目を除く人の顔の少なくとも一部の大きさ、形状および位置のうち少なくとも１つを検出させることができる。
【００２６】
これにより、人の目を除く人の顔の部分に基づいて、人の目の状態の検出結果の信頼性を評価することができる。
【００２７】
この顔検出手段には、人の顔全体の大きさ、形状および位置のうち少なくとも１つを検出させることができる。
【００２８】
これにより、人の顔全体の大きさ、形状および位置のうち少なくとも１つに基づいて、人の目の状態の検出結果の信頼性を評価することができる。
【００２９】
本発明の第２の側面の評価装置は、撮像装置により撮像された画像を用いて人の顔の少なくとも一部の大きさ、形状および位置のうち少なくとも１つを検出する顔検出手段と、画像を用いて人の目の開閉および形状、並びに、視線方向のうち少なくとも１つを検出する目状態検出手段とを備える検出装置の検出結果の信頼性を評価する評価装置において、顔検出手段による第１の検出結果の変化に基づいて、目状態検出手段による第２の検出結果の信頼性を評価する信頼性評価手段を含む。
【００３０】
本発明の第２の側面の評価装置においては、顔検出手段による第１の検出結果の変化に基づいて、目状態検出手段による第２の検出結果の信頼性が評価される。
【００３１】
従って、人の目の状態の検出結果の信頼性を正確に評価することができる。その結果、例えば、信頼性の高い検出結果のみを利用することが可能になり、より適切に人の目の状態の検出結果を利用することができる。
【００３２】
この顔検出手段、目状態検出手段、信頼性評価手段は、例えば、CPU（Central Processing Unit）により構成される。
【００３３】
この信頼性評価手段には、第１の検出結果と第１の検出結果の平均値との差に基づいて、第２の検出結果の信頼性を評価させることができる。
【００３４】
これにより、人の目の状態の検出結果の信頼性をより正確に評価することができる。
【００３５】
この検出装置には、人の顔の向きを検出する顔向き検出手段をさらに設け、この信頼性評価手段には、顔向き検出手段により検出された人の顔の向きの変化が所定の範囲内である状態が所定の期間連続したときの第１の検出結果の平均値を求め、第１の検出結果と求めた第１の検出結果の平均値との差に基づいて、第２の検出結果の信頼性を評価させることができる。
【００３６】
これにより、個人差や人の状態などの違いに柔軟に対応して、人の目の状態の検出結果の信頼性を評価することができる。
【００３７】
本発明の第２の側面の評価方法は、撮像装置により撮像された画像を用いて人の顔の少なくとも一部の大きさ、形状および位置のうち少なくとも１つを検出する顔検出手段と、画像を用いて人の目の開閉および形状、並びに、視線方向のうち少なくとも１つを検出する目状態検出手段とを備える検出装置の検出結果の信頼性を評価する評価装置が、顔検出手段による第１の検出結果の変化に基づいて、目状態検出手段による第２の検出結果の信頼性を評価するステップを含む。
【００３８】
本発明の第２の側面のプログラムは、撮像装置により撮像された画像を用いて人の顔の少なくとも一部の大きさ、形状および位置のうち少なくとも１つを検出する顔検出手段と、画像を用いて人の目の開閉および形状、並びに、視線方向のうち少なくとも１つを検出する目状態検出手段とを備える検出装置の検出結果の信頼性を評価するコンピュータに、顔検出手段による第１の検出結果の変化に基づいて、目状態検出手段による第２の検出結果の信頼性を評価するステップを含む処理を実行させる。
【００３９】
従って、人の目の状態の検出結果の信頼性を正確に評価することができる。その結果、例えば、信頼性の高い検出結果のみを利用することが可能になり、より適切に人の目の状態の検出結果を利用することができる。
【００４０】
この検出装置、顔検出手段、目状態検出手段は、例えば、CPU（Central Processing Unit）により構成される。
【発明の効果】
【００４１】
本発明の第１の側面または第２の側面によれば、人の目の状態の検出結果の信頼性を正確に評価することができる。また、本発明の第１の側面または第２の側面によれば、より適切に人の目の状態の検出結果を利用することができる。
【図面の簡単な説明】
【００４２】
【図１】本発明を適用した目状態検出システムの一実施の形態を示すブロック図である。
【図２】顔検出部により検出される項目の具体例について説明するための図である。
【図３】信頼性評価部の処理の概要について説明するための図である。
【図４】目状態検出処理について説明するためのフローチャートである。
【図５】信頼性評価処理の詳細について説明するためのフローチャートである。
【図６】信頼性評価処理の詳細について説明するためのフローチャートである。
【図７】信頼性評価部の状態遷移図である。
【図８】顔検出結果評価処理の詳細について説明するためのフローチャートである。
【図９】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００４３】
以下、図を参照して、本発明の実施の形態について説明する。
【００４４】
図１は、本発明を適用した目状態検出システムの一実施の形態を示すブロック図である。図１の目状態検出システム１は、例えば、車両に設けられ、車両を運転する運転者の目の状態を検出し、検出結果に応じた処理を行うシステムである。目状態検出システム１は、撮像装置１１、検出装置１２、および、アプリケーション装置１３を含むように構成される。また、検出装置１２は、検出部２１、信頼性評価部２２、および、出力制御部２３を含むように構成される。検出部２１は、顔検出部３１、顔状態検出部３２、および、目状態検出部３３を含むように構成される。
【００４５】
なお、以下、目状態検出システム１が車両に設けられている場合の例について説明する。また、以下、目状態検出システム１が設けられている車両を、自車と称する。
【００４６】
撮像装置１１は、自車を運転する運転者の顔を撮像し、その結果得られた画像（以下、顔画像と称する）を顔検出部３１に供給する。
【００４７】
なお、撮像装置１１は、運転者の体格および姿勢などの違いに関わらず、運転席に座っている運転者の顔を確実に撮像することができる位置に設置されることが望ましい。例えば、撮像装置１１は、ステアリングコラム上に設置され、正面から運転者を撮像したり、自車内のセンタミラー（ルームミラー）の根元付近（センタミラーが自車に取り付けられているあたり）に設置され、前方左斜め上方向から運転者を撮像する。
【００４８】
検出装置１２は、顔画像に基づいて、運転者の目の状態を検出する。また、検出装置１２は、運転者の目の状態の検出結果の信頼性を評価する。検出装置１２は、運転者の目の状態の検出結果、および、その信頼性を示す情報をアプリケーション装置１３に供給する。
【００４９】
より具体的には、検出装置１２の検出部２１の顔検出部３１は、顔画像に写っている運転者の顔を検出する。そして、顔検出部３１は、顔画像、および、運転者の顔の検出結果を示す情報を顔状態検出部３２に供給する。また、顔検出部３１は、運転者の顔の検出結果を示す情報を信頼性評価部２２に供給する。
【００５０】
なお、以下、図２に示されるように、顔検出部３１が、顔画像の各フレームにおいて、顔画像における運転者の顔のＸ軸方向の位置ＸおよびＹ軸方向の位置Ｙ、および、顔のサイズＳを検出する場合の例について説明する。
【００５１】
顔状態検出部３２は、顔画像、および、顔検出部３１による運転者の顔の検出結果に基づいて、運転者の顔の状態を検出する。顔状態検出部３２は、顔画像、運転者の顔の検出結果、および、運転者の顔の状態の検出結果を示す情報を目状態検出部３３に供給する。また、顔状態検出部３２は、運転者の顔の状態の検出結果を示す情報を信頼性評価部２２に供給する。
【００５２】
なお、以下、顔状態検出部３２が、運転者の顔の状態として、運転者の顔の向きを検出する場合の例について説明する。
【００５３】
目状態検出部３３は、顔画像、顔検出部３１による運転者の顔の検出結果、および、顔状態検出部３２による運転者の顔の状態の検出結果に基づいて、運転者の目の状態を検出する。目状態検出部３３は、運転者の目の状態の検出結果を示す情報を出力制御部２３に供給する。
【００５４】
なお、以下、目状態検出部３３が、運転者の目の状態として、運転者の視線方向および目の開閉状態を検出する場合の例について説明する。
【００５５】
信頼性評価部２２は、顔検出部３１による運転者の顔の検出結果、および、顔状態検出部３２による運転者の顔の状態の検出結果に基づいて、目状態検出部３３による運転者の目の状態の検出結果の信頼性を評価する。
【００５６】
詳細については後述するが、信頼性評価部２２は、例えば、図３に示されるように、顔検出部３１による運転者の顔の位置Ｘおよび位置Ｙ、並びに、サイズＳを時系列で監視する。そして、顔検出部３１は、図中点線で囲まれる部分のように、顔位置Ｘ、顔位置Yおよび顔サイズＳのうち少なくとも１つが不連続な変化をしたときに、目状態検出部３３による検出結果の信頼性が低いと評価する。信頼性評価部２２は、運転者の目の状態の検出結果の信頼性を示す信頼性情報を出力制御部２３に供給する。
【００５７】
出力制御部２３は、運転者の目の状態の検出結果、および、その信頼性を示す情報のアプリケーション装置１３への出力を制御する。
【００５８】
アプリケーション装置１３は、運転者の目の状態の検出結果を利用する装置である。例えば、アプリケーション装置１３は、運転者の目の状態の検出結果に基づいて、運転者の脇見や居眠りを検出し、運転者に注意を促すための警告を行う。
【００５９】
次に、図４乃至図８を参照して、目状態検出システム１の処理の詳細について説明する。
【００６０】
まず、図４のフローチャートを参照して、目状態検出システム１により実行される目状態検出処理について説明する。なお、この処理は、例えば、自車のアクセサリ（ACC）の電源がオンされたとき開始され、アクセサリの電源がオフされたとき終了する。
【００６１】
ステップＳ１において、目状態検出システム１は、顔画像を取得する。具体的には、撮像装置１１は、自車の運転者の顔を撮像し、その結果得られた顔画像を顔検出部３１に入力する。
【００６２】
ステップＳ２において、顔検出部３１は、顔の検出を行う。具体的には、顔検出部３１は、所定の手法を用いて、顔画像に写っている運転者の顔のサイズおよび位置を検出する。そして、顔検出部３１は、顔画像、並びに、運転者の顔のサイズおよび位置の検出結果を示す情報を顔状態検出部３２に供給する。また、顔検出部３１は、運転者の顔のサイズおよび位置の検出結果を示す情報を信頼性評価部２２に供給する。
【００６３】
さらに、顔検出部３１は、検出した運転者の顔のサイズおよび位置を示すデータを、図示せぬリングバッファに格納する。これにより、運転者の顔のサイズおよび位置の検出結果が、所定の期間保存されるとともに、古いデータが新しいデータにより上書きされていく。
【００６４】
なお、顔検出部３１が顔のサイズおよび位置を検出する手法は、特定の手法に限定されるものではなく、任意の手法を採用することが可能である。
【００６５】
ステップＳ３において、顔状態検出部３２は、顔の状態の検出を行う。具体的には、顔状態検出部３２は、所定の手法を用いて、顔画像、並びに、運転者の顔のサイズおよび位置の検出結果に基づいて、運転者の顔の向きを検出する。運転者の顔の向きは、例えば、自車の正面方向を基準とする運転者の顔の角度により表され、左方向が負の値、右方向が正の値により表される。なお、以下、顔状態検出部３２により検出された運転者の顔の向きの角度をαとする。そして、顔状態検出部３２は、顔画像、運転者の顔のサイズおよび位置の検出結果、並びに、運転者の顔の向きの検出結果を示す情報を目状態検出部３３に供給する。また、顔状態検出部３２は、運転者の顔の向きの検出結果を示す情報を信頼性評価部２２に供給する。
【００６６】
さらに、顔状態検出部３２は、検出した運転者の顔の向きを示すデータを、図示せぬリングバッファに格納する。これにより、運転者の顔の向きの検出結果が、所定の期間保存されるとともに、古いデータが新しいデータにより上書きされていく。
【００６７】
なお、顔状態検出部３２が顔の向きを検出する手法は、特定の手法に限定されるものではなく、任意の手法を採用することが可能である。
【００６８】
ステップＳ４において、目状態検出部３３は、目の状態の検出を行う。具体的には、顔状態検出部３２は、所定の手法を用いて、顔画像、運転者の顔のサイズおよび位置の検出結果、並びに、運転者の顔の向きの検出結果に基づいて、運転者の視線の向きおよび目の開閉状態を検出する。目状態検出部３３は、運転者の視線の向きおよび目の開閉状態の検出結果を示す目状態検出情報を出力制御部２３に供給する。
【００６９】
なお、目状態検出部３３が視線の向きおよび目の開閉状態を検出する手法は、特定の手法に限定されるものではなく、任意の手法を採用することが可能である。また、目状態検出部３３が、顔検出部３１による運転者の顔のサイズおよび位置の検出結果、および、顔状態検出部３２による運転者の顔の向きの検出結果を用いずに、運転者の視線の向きおよび目の開閉状態を検出するようにしてもよい。
【００７０】
ステップＳ５において、信頼性評価部２２は、信頼性評価処理を実行する。ここで、図５および図６のフローチャートを参照して、信頼性評価処理の詳細について説明する。
【００７１】
ステップＳ５１において、信頼性評価部２２は、現在の状態が初期設定中であるか否かを判定する。
【００７２】
ここで、図７に示されるように、信頼性評価部２２の状態は、初期設定中、判定中、および、様子見判定中の３つの状態に遷移する。なお、目状態検出処理の開始時には、信頼性評価部２２の状態は初期設定中に設定される。
【００７３】
ステップＳ５１において、現在の状態が初期設定中であると判定された場合、処理はステップＳ５２に進む。
【００７４】
ステップＳ５２において、信頼性評価部２２は、−th_α＜α（運転者の顔向きの角度）＜th_αであるか否かを判定する。−th_α＜α＜th_αであると判定された場合、すなわち、運転者の左右方向の顔の向きが所定の範囲内である場合、処理はステップＳ５３に進む。
【００７５】
なお、th_αは所定の閾値であり、例えば、15度とされる。
【００７６】
ステップＳ５３において、信頼性評価部２２は、図示せぬリングバッファに格納されているデータに基づいて、顔の向きが安定した状態がNaフレームの間連続したか否かを判定する。顔の向きが安定した状態、すなわち、−th_α＜α＜th_αである状態がNaフレーム（例えば、２０フレーム）の間連続したと判定された場合、処理はステップＳ５４に進む。
【００７７】
なお、Naは、運転者の顔の向きの安定性を判断するための期間を定めるフレーム数であり、例えば、ユーザにより設定される。
【００７８】
ステップＳ５４において、信頼性評価部２２は、Nbフレームの間の顔のサイズ、位置の加重平均を求める。具体的には、信頼性評価部２２は、最新のNbフレーム（例えば、１０フレーム）の運転者の顔のサイズおよび位置のデータを、図示せぬリングバッファから読み出し、その加重平均を求める。
【００７９】
なお、Nbは、顔のサイズおよび位置の加重平均の算出期間を定めるフレーム数であり、例えば、ユーザにより設定される。また、Nb≦Naとされ、運転者の顔の向きが安定した状態における顔のサイズおよび位置の加重平均が求められる。
【００８０】
ステップＳ５５において、信頼性評価部２２は、信頼性評価部２２の状態を判定中に変更する。その後、信頼性評価処理は終了する。
【００８１】
一方、ステップＳ５３において、顔の向きが安定した状態が、まだNaフレームの間連続していないと判定された場合、ステップＳ５４およびＳ５５の処理はスキップされ、信頼性評価処理は終了する。
【００８２】
一方、ステップＳ５２において、−th_α＜α＜th_αでないと判定された場合、すなわち、運転者の左右方向の顔の向きが所定の範囲を超えている場合、処理はステップＳ５６に進む。
【００８３】
ステップＳ５６において、信頼性評価部２２は、顔のサイズ、位置の平均値をリセットする。すなわち、信頼性評価部２２は、顔のサイズ、位置の平均値を０に設定する。その後、信頼性評価処理は終了する。
【００８４】
一方、ステップＳ５１において、現在の状態が初期設定中でないと判定された場合、処理はステップＳ５７に進む。
【００８５】
ステップＳ５７において、信頼性評価部２２は、現在の状態が判定中であるか否かを判定する。現在の状態が判定中であると判定された場合、処理はステップＳ５８に進む。
【００８６】
ステップＳ５８において、信頼性評価部２２は、顔検出結果評価処理を実行する。ここで、図８のフローチャートを参照して、顔検出結果評価処理の詳細について説明する。
【００８７】
ステップＳ１０１において、信頼性評価部２２は、｜顔のサイズの平均値−検出値｜≦th_sであるか否かを判定する。ここで、th_sは所定の閾値である。すなわち、信頼性評価部２２は、今回検出された運転者の顔のサイズＳが、その平均値から所定の範囲内であるか否かを判定する。｜顔のサイズの平均値−検出値｜≦th_sであると判定された場合、処理はステップＳ１０２に進む。
【００８８】
ステップＳ１０２において、信頼性評価部２２は、信頼性評価フラグ（サイズ）の値を１に設定する。その後、処理はステップＳ１０４に進む。
【００８９】
一方、ステップＳ１０１において、｜顔のサイズＳの平均値−検出値｜＞th_sであると判定された場合、処理はステップＳ１０３に進む。
【００９０】
ステップＳ１０３において、信頼性評価部２２は、信頼性評価フラグ（サイズ）の値を０に設定する。その後、処理はステップＳ１０４に進む。
【００９１】
ステップＳ１０４において、信頼性評価部２２は、｜顔の位置Xの平均値−検出値｜≦th_xであるか否かを判定する。ここで、th_xは所定の閾値である。すなわち、信頼性評価部２２は、今回検出された運転者の顔のＸ軸方向の位置が、その平均値から所定の範囲内であるか否かを判定する。｜顔の位置Xの平均値−検出値｜≦th_xであると判定された場合、処理はステップＳ１０５に進む。
【００９２】
ステップＳ１０５において、信頼性評価部２２は、信頼性評価フラグ（位置X）の値を１に設定する。その後、処理はステップＳ１０７に進む。
【００９３】
一方、ステップＳ１０４において、｜顔の位置Xの平均値−検出値｜＞th_xであると判定された場合、処理はステップＳ１０６に進む。
【００９４】
ステップＳ１０６において、信頼性評価部２２は、信頼性評価フラグ（位置X）の値を０に設定する。その後、処理はステップＳ１０７に進む。
【００９５】
ステップＳ１０７において、信頼性評価部２２は、｜顔の位置Yの平均値−検出値｜≦th_yであるか否かを判定する。ここで、th_yは所定の閾値である。すなわち、信頼性評価部２２は、運転者の顔のＹ軸方向の位置が、その平均値から所定の範囲内であるか否かを判定する。｜顔の位置Yの平均値−検出値｜≦th_yであると判定された場合、処理はステップＳ１０８に進む。
【００９６】
ステップＳ１０８において、信頼性評価部２２は、信頼性評価フラグ（位置Y）の値を１に設定する。その後、処理はステップＳ１１０に進む。
【００９７】
一方、ステップＳ１０７において、｜顔の位置Yの平均値−検出値｜＞th_yであると判定された場合、処理はステップＳ１０９に進む。
【００９８】
ステップＳ１０９において、信頼性評価部２２は、信頼性評価フラグ（位置Y）の値を０に設定する。その後、処理はステップＳ１１０に進む。
【００９９】
ステップＳ１１０において、信頼性評価部２２は、信頼性評価フラグ（サイズ）＝１であるか否かを判定する。信頼性評価フラグ（サイズ）＝１であると判定された場合、処理はステップＳ１１１に進む。
【０１００】
ステップＳ１１１において、信頼性評価部２２は、信頼性原因フラグ（サイズ）の値を１に設定する。その後、処理はステップＳ１１３に進む。
【０１０１】
一方、ステップＳ１１０において、信頼性評価フラグ（サイズ）＝１でないと判定された場合、処理はステップＳ１１２に進む。
【０１０２】
ステップＳ１１２において、信頼性評価部２２は、信頼性原因フラグ（サイズ）の値を０に設定する。その後、処理はステップＳ１１３に進む。
【０１０３】
ステップＳ１１３において、信頼性評価部２２は、信頼性評価フラグ（位置X）＝１であるか否かを判定する。信頼性評価フラグ（位置X）＝１であると判定された場合、処理はステップＳ１１４に進む。
【０１０４】
ステップＳ１１４において、信頼性評価部２２は、信頼性原因フラグ（位置X）の値を１に設定する。その後、処理はステップＳ１１６に進む。
【０１０５】
一方、ステップＳ１１３において、信頼性評価フラグ（位置X）＝１でないと判定された場合、処理はステップＳ１１５に進む。
【０１０６】
ステップＳ１１５において、信頼性評価部２２は、信頼性原因フラグ（位置X）の値を０に設定する。その後、処理はステップＳ１１６に進む。
【０１０７】
ステップＳ１１６において、信頼性評価部２２は、信頼性評価フラグ（位置Y）＝１であるか否かを判定する。信頼性評価フラグ（位置Y）＝１であると判定された場合、処理はステップＳ１１７に進む。
【０１０８】
ステップＳ１１７において、信頼性評価部２２は、信頼性原因フラグ（位置Y）の値を１に設定する。その後、処理はステップＳ１１９に進む。
【０１０９】
一方、ステップＳ１１６において、信頼性評価フラグ（位置Y）＝１でないと判定された場合、処理はステップＳ１１８に進む。
【０１１０】
ステップＳ１１８において、信頼性評価部２２は、信頼性原因フラグ（位置Y）の値を０に設定する。その後、処理はステップＳ１１９に進む。
【０１１１】
ステップＳ１１９において、信頼性評価部２２は、顔矩形信頼度を求める。ここで、顔矩形信頼度は、顔画像から検出された運転者の顔の領域を表す矩形の信頼性を表す値である。信頼性評価部２２は、信頼性原因判定フラグ（サイズ）、信頼性原因判定フラグ（位置X）、および、信頼性原因判定フラグ（位置Y）の論理積（AND）を、顔矩形信頼度として求める。すなわち、顔矩形信頼度は、顔画像から検出された運転者の顔のサイズおよび位置に基づいて評価される。そして、顔矩形信頼度が１である場合、顔検出部３１により運転者の顔が正確に検出された可能性が高く、運転者の視線方向および目の開閉状態の検出結果の信頼性も高いと推定される。一方、顔矩形信頼度が０である場合、顔検出部３１により運転者の顔が正確に検出された可能性が低く、運転者の視線方向および目の開閉状態の検出結果の信頼性も低いと推定される。その後、顔検出結果評価処理は終了する。
【０１１２】
このように、顔検出結果評価処理により、顔検出部３１により検出された運転者の顔のサイズ、位置Ｘおよび位置Ｙの項目毎に、視線方向および目の開閉状態の検出結果の信頼性が評価され、それらの評価結果に基づいて、最終的な検出結果の信頼性を示す顔矩形信頼度が求められる。
【０１１３】
図６に戻り、ステップＳ５９において、信頼性評価部２２は、評価結果を出力する。すなわち、信頼性評価部２２は、顔矩形信頼度、信頼性原因判定フラグ（サイズ）、信頼性原因判定フラグ（位置X）、および、信頼性原因判定フラグ（位置Y）の値を含む情報を、目状態検出部３３による運転者の視線方向および目の開閉状態の信頼性を示す信頼性情報として、出力制御部２３に出力する。なお、信頼性評価部２２は、自身の状態が初期設定中である場合、まだ初期設定中であり信頼性を評価できないことを示す情報を信頼性情報に設定し、出力する。
【０１１４】
ステップＳ６０において、信頼性評価部２２は、顔矩形信頼度に基づいて、顔の検出が成功しているか否かを判定する。信頼性評価部２２は、顔矩形信頼度の値が１である場合、顔の検出が成功していると判定し、処理はステップＳ６３に進む。
【０１１５】
ステップＳ６１において、信頼性評価部２２は、顔のサイズ、位置の平均値を更新する。具体的には、例えば、信頼性評価部２２は、顔の検出が成功したフレームのうち最新のNxフレーム（例えば、１０フレーム）の運転者の顔のサイズおよび位置のデータを、図示せぬリングバッファから読み出し、その加重平均を求める。そして、信頼性評価部２２は、顔検出評価処理に用いる平均値を、求めた平均値に更新する。その後、信頼性評価処理は終了する。
【０１１６】
一方、ステップＳ６０において、信頼性評価部２２は、顔矩形信頼度の値が０である場合、顔の検出が失敗していると判定し、処理はステップＳ６２に進む。
【０１１７】
ステップＳ６２において、信頼性評価部２２は、Nyフレーム連続して顔の検出に失敗したか否かを判定する。Nyフレーム（例えば、１０フレーム）連続して顔の検出に失敗したと判定された場合、処理はステップＳ６３に進む。
【０１１８】
なお、Nyは、信頼性評価部２２の状態を判定中から様子見判定中に遷移させるか否かを判断する期間を定めるフレーム数であり、例えば、ユーザにより設定される。
【０１１９】
ステップＳ６３において、信頼性評価部２２は、状態を様子見判定中に変更する。その後、信頼性評価処理は終了する。
【０１２０】
一方、ステップＳ６２において、まだNyフレーム（例えば、１０フレーム）連続して顔の検出に失敗していないと判定された場合、ステップＳ６３の処理はスキップされ、信頼性評価処理は終了する。
【０１２１】
一方、ステップＳ５７において、現在の状態が判定中でない、すなわち、現在の状態が様子見判定中であると判定された場合、処理はステップＳ６４に進む。
【０１２２】
ステップＳ６４において、ステップＳ５８の処理と同様に、顔検出結果評価処理が実行される。
【０１２３】
ステップＳ６５において、ステップＳ５９の処理と同様に、信頼性評価部２２から出力制御部２３に、目状態検出部３３による運転者の視線方向および目の開閉状態の信頼性を示す信頼性情報が出力される。ただし、信頼性評価部２２は、現在の状態が様子見判定中であるので、顔矩形信頼度の値を０に補正して出力する。
【０１２４】
ステップＳ６６において、ステップＳ６０の処理と同様に、顔の検出が成功しているか否かが判定され、顔の検出が成功していると判定された場合、処理はステップＳ６７に進む。
【０１２５】
ステップＳ６７において、信頼性評価部２２は、Njフレーム連続して顔の検出に成功したか否かを判定する。Njフレーム（例えば、１０フレーム）連続して顔の検出に成功したと判定された場合、処理はステップＳ６８に進む。
【０１２６】
なお、Njは、信頼性評価部２２の状態を様子見判定中から判定中に遷移させるか否かを判断する期間を定めるフレーム数であり、例えば、ユーザにより設定される。
【０１２７】
ステップＳ６８において、信頼性評価部２２は、信頼性評価部２２の状態を判定中に変更する。その後、信頼性評価処理は終了する。
【０１２８】
一方、ステップＳ６７において、まだNjフレーム連続して顔の検出に成功していないと判定された場合、ステップＳ６８の処理はスキップされ、信頼性評価処理は終了する。
【０１２９】
一方、ステップＳ６６において、顔の検出が失敗していると判定された場合、処理はステップＳ６９に進む。
【０１３０】
ステップＳ６９において、信頼性評価部２２は、Niフレーム連続して顔の検出に失敗したか否かを判定する。Niフレーム（例えば、１０フレーム）連続して顔の検出に失敗したと判定された場合、処理はステップＳ７０に進む。
【０１３１】
なお、Niは、信頼性評価部２２の状態を様子見判定中から初期設定中に遷移させるか否かを判断する期間を定めるフレーム数であり、例えば、ユーザにより設定される。
【０１３２】
ステップＳ７０において、信頼性評価部２２は、信頼性評価部２２の状態を初期設定中に変更する。その後、信頼性評価処理は終了する。
【０１３３】
一方、ステップＳ６９において、まだNiフレーム連続して顔の検出に失敗していないと判定された場合、ステップＳ７０の処理はスキップされ、信頼性評価処理は終了する。
【０１３４】
図４に戻り、ステップＳ６において、出力制御部２３は、検出結果を出力する。すなわち、出力制御部２３は、目状態検出部３３から取得した目状態検出情報、および、信頼性評価部２２から取得した信頼性情報を、アプリケーション装置１３に出力する。
【０１３５】
なお、このとき、顔矩形信頼度の値が１である場合のみ、目状態検出情報を出力し、顔矩形信頼度の値が０の場合、目状態検出情報を出力しないようにしてもよい。また、目状態検出情報を出力しない場合に、あわせて信頼性情報を出力しないようにしてもよいし、信頼性情報のみ出力するようにしてもよい。
【０１３６】
ステップＳ７において、アプリケーション装置１３は、検出結果を利用する。例えば、アプリケーション装置１３は、運転者の視線の向きの検出結果に基づいて、運転者の脇見の検出を行ったり、運転者の目の開閉状態の検出結果に基づいて、運転者の居眠りの検出を行ったりする。そして、アプリケーション装置１３は、運転者が脇見または居眠りをしていると判定した場合、ディスプレイに画像を表示したり、警告音や警告メッセージを出力したり、LED（Light Emitting Diode）などの照明を点灯または点滅させたり、ステアリングホイールや運転席を振動させたりするなどの方法で、運転者への警告を行う。
【０１３７】
また、アプリケーション装置１３は、信頼性情報に含まれる顔矩形信頼度の値が０である間は、運転者の脇見および居眠りの検出処理を停止する。そして、アプリケーション装置１３は、例えば、信頼性情報に含まれる信頼性原因判定フラグ（サイズ）、信頼性原因判定フラグ（位置X）、および、信頼性原因判定フラグ（位置Y）に基づいて、運転者の脇見および居眠りの検出処理を停止している原因を、画像、音声、光などにより運転者に通知する。
【０１３８】
その後、処理はステップＳ１に戻り、ステップＳ１乃至Ｓ７の処理が繰り返し実行される。
【０１３９】
以上のようにして、運転者の個人差や状態の違いに柔軟に対応して、運転者の視線方向のおよび目の開閉状態の検出結果の信頼性を正確に評価することができる。その結果、アプリケーション装置１３において、より適切に運転者の視線方向のおよび目の開閉状態の検出結果を利用することができる。すなわち、例えば、アプリケーション装置１３において、信頼性の低い不適切な検出結果が使用され、誤検出や誤動作の発生することを防止することができる。また、信頼性が低下した原因まで分かるので、例えば、アプリケーション装置１３において、その情報を利用して、運転者に原因を通知したり、その原因を取り除くための処理を行ったりすることが可能になる。
【０１４０】
なお、以上の説明では、運転者の顔全体のサイズおよび位置に基づいて信頼性を評価する例を示したが、運転者の顔の少なくとも一部の大きさ、形状および位置の少なくとも一つの検出結果に基づいて、信頼性を評価するようにしてもよい。例えば、運転者の目以外のパーツ（例えば、口、鼻、眉毛など）の位置が、その平均値より大きく外れた場合、信頼性が低いと評価したり、鼻や耳など形状の変化が少ない顔のパーツの大きさまたは形状が、その平均値より大きく外れた場合、信頼性が低いと評価するようにすることが考えられる。また、複数の顔のパーツの検出結果を組み合わせたり、顔全体と顔のパーツの検出結果を組み合わせたりして、信頼性を評価するようにしてもよい。
【０１４１】
また、以上の説明では、信頼性の値を０と１の２値で表す例を示したが、３種類以上の値で表したり、連続値で表したりするようにしてもよい。
【０１４２】
さらに、以上の説明では、目の開閉の状態および視線方向を検出する例を示したが、本発明は、その他の目の状態、例えば、目の形状、目の色、瞳孔の大きさ、サングラスなどにより目が隠れているか否かなどの検出を行う場合にも適用することが可能である。
【０１４３】
また、以上の説明では、運転者の目の状態の検出結果の信頼性を評価する例を示したが、本発明は、特に運転者に限定されず、その他の人の目の状態を検出する場合にも利用することが可能である。
【０１４４】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１４５】
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４６】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１４７】
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０１４８】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４９】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１５０】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【０１５１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５２】
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
【０１５３】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１５４】
１  目状態検出システム
１１  撮像装置
１２  検出装置
１３  アプリケーション装置
２１  検出部
２２  信頼性評価部
２３  出力制御部
３１  顔検出部
３２  顔状態検出部
３３  目状態検出部
【図１】
2010217955.tif 000003
【図２】
2010217955.tif 000004
【図３】
2010217955.tif 000005
【図４】
2010217955.tif 000006
【図５】
2010217955.tif 000007
【図６】
2010217955.tif 000008
【図７】
2010217955.tif 000009
【図８】
2010217955.tif 000010
【図９】
2010217955.tif 000011