(57)【要約】【課題】顔画像から眼鏡からの反射点を精度よく、かつ、低コストで検出し、眼鏡の有無を識別する眼鏡検出装置を提供する。【解決手段】眼鏡検出装置は、被写体を撮像する撮像部５１と、前記撮像部５１により撮像された画像から顔領域を検出する顔領域検出部５２と、前記顔領域検出部５２により検出された顔領域内で閾値より高い輝度値検出する高輝度値検出部５４と、前記高輝度値検出部５４により閾値より高い輝度値が検出された場合には眼鏡が存在すると判定し、前記閾値より高い輝度値が検出されない場合には眼鏡が存在しないと判定する眼鏡判定部５５と、を備えている。【選択図】図１
2010033141.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
前記撮像手段により撮像された画像から顔領域を検出する顔領域検出手段と、
前記顔領域検出手段により検出された顔領域内で閾値より高い輝度値検出する高輝度値検出手段と、
前記高輝度値検出手段により閾値より高い輝度値が検出された場合には眼鏡が存在すると判定し、前記閾値より高い輝度値が検出されない場合には眼鏡が存在しないと判定する眼鏡判定手段と、
を備えた眼鏡検出装置。
【請求項２】
瞳孔からの反射が起こる照射条件で被写体に光を照射する照射手段と、
前記被写体を撮像する撮像手段と、
前記照射手段により光を照射した状態で前記撮像手段により撮像されたオン画像、または、前記照射手段により光を照射しない状態で前記撮像手段により撮像されたオフ画像に基づいて顔領域を検出する顔領域検出手段と、
前記オン画像と、前記オフ画像との対応する各画素値の和によって構成される和画像を生成する和画像生成手段と、
前記和画像生成手段により生成された和画像の顔領域内で閾値より高い輝度値を検出する高輝度値検出手段と、
前記高輝度値検出手段により前記閾値より高い輝度値が検出された場合には眼鏡が存在すると判定し、前記閾値より高い輝度値が検出されない場合には眼鏡が存在しないと判定する眼鏡判定手段と、
を備えた眼鏡検出装置。
【請求項３】
瞳孔からの反射が起こる照射条件で被写体に光を照射する照射手段と、
前記被写体を撮像する撮像手段と、
前記照射手段により光を照射した状態で前記撮像手段により撮像された画像から顔領域を検出する顔領域検出手段と、
前記顔領域検出手段により検出された顔領域内で閾値より高い輝度値を検出する高輝度値検出手段と、
前記高輝度値検出手段により前記閾値より高い輝度値が３箇所以上検出された場合には眼鏡が存在すると判定し、前記閾値より高い輝度値が検出されない場合又は２箇所以下検出された場合には眼鏡が存在しないと判定する眼鏡判定手段と、
を備えた眼鏡検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の顔画像上の反射点に基づいて、被写体が眼鏡を装着しているか否かを検出する眼鏡検出装置に関する。
【背景技術】
【０００２】
眼鏡などを装着している人に照明を照射した際の顔画像において、眼鏡からの反射点を顔面上の特徴点として抽出する画像処理装置（例えば、特許文献１参照。）が知られている。
【０００３】
この画像処理装置は、人に照明を照射した際に得られる画像（以下「オン画像」と呼ぶ。）と、照明を照射しない際に得られる画像（以下「オフ画像」と呼ぶ。）との差分画像において、閾値処理により眼鏡からの反射点および瞳孔からの反射点を検出する。そして、オン画像において閾値処理を行うことにより、先に検出した眼鏡からの反射点と瞳孔からの反射点とを分離・識別する。
【０００４】
図１０（Ａ）はオン画像を、図１０（Ｂ）はオン画像の輝度値を示す図である。図１０（Ａ）が示すように、瞳孔からの反射点１１および眼鏡からの反射点１２が観測される。また、図１０（Ｂ）が示すように、瞳孔からの反射点１１の輝度値Ｙ１および眼鏡からの反射点１２の輝度値Ｙ２は、それらの反射点を除いた領域（背景）の輝度値Ｙ０より高い。また、一般的には、眼鏡からの反射点１２の輝度値Ｙ２の方が、瞳孔からの反射点１１の輝度値Ｙ１より高い。
【０００５】
図１１（Ａ）および図１２（Ａ）は、図１１（Ｂ）のオン画像の輝度値と図１１（Ｃ）のオフ画像の輝度値との差分を示す図である。図１１（Ａ）および図１２（Ａ）において、輝度値Ｙ５は図１１（Ｂ）の瞳孔からの反射点１１の輝度値Ｙ１と図１１（Ｃ）の瞳孔からの反射点１１の輝度値Ｙ１の差であり、輝度値Ｙ６は図１１（Ｂ）の眼鏡からの反射点１２の輝度値Ｙ２と図１１（Ｃ）の眼鏡からの反射点１２の輝度値Ｙ２との差である。図１１（Ａ）および図１２（Ａ）に示す差分画像において、図１２（Ａ）に示す第１の閾値Ｔｈ５を用いて２値化処理を行うことにより、図１２（Ｂ）のように瞳孔からの反射点１１および眼鏡からの反射点１２を検出することができる。
【０００６】
また、図１３（Ａ）は、オン画像の輝度値を示す図であり、図１３（Ａ）に瞳孔からの反射点１１の輝度値Ｙ１より高く、かつ、眼鏡からの反射点１２の輝度値Ｙ２より低い第２の閾値Ｔｈ４を用いて計算した２値化画像を利用して眼鏡からの反射点１２を検出することができる。
【０００７】
差分画像（図１１）を用いて先に検出した瞳孔からの反射点１１および眼鏡からの反射点１２の集合から、オン画像（図１３）を用いて検出した眼鏡からの反射点１２の集合を除くことにより、瞳孔からの反射点１１と眼鏡からの反射点１２とを分離・識別することができる。
【特許文献１】特開平８−１８５５０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の画像処理装置では、下記の２つの課題がある。第１の課題を説明する。差分画像（図１１（Ａ））において、外乱光、照明条件によって眼鏡からの反射点による差分輝度値（図１１（Ａ）のＹ６）が小さい場合がある。このことから、差分画像の閾値処理によって、眼鏡からの反射点を検出することが困難であり、これが第１の課題である。
【０００９】
第２の課題を説明する。オン画像（図１１（Ｂ））において、外乱光、照明条件によっては瞳孔からの反射点の輝度値（図１１（Ｂ）のＹ１）と眼鏡からの反射点の輝度値（図１１（Ｂ）のＹ２）との差が瞳孔からの反射点の輝度値に比べて小さい場合がある。このため、オン画像において閾値処理を行うことにより瞳孔からの反射点と眼鏡からの反射点とを分離することが困難であり、これが第２の課題である。
【００１０】
本発明は、上記課題を解決するために成されたものであり、顔画像から眼鏡からの反射点を精度よく、かつ、低コストで検出し、眼鏡の有無を識別する眼鏡検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、請求項１記載の眼鏡検出装置は、被写体を撮像する撮像手段と、前記撮像手段により撮像された画像から顔領域を検出する顔領域検出手段と、前記顔領域検出手段により検出された顔領域内で閾値より高い輝度値検出する高輝度値検出手段と、前記高輝度値検出手段により閾値より高い輝度値が検出された場合には眼鏡が存在すると判定し、前記閾値より高い輝度値が検出されない場合には眼鏡が存在しないと判定する眼鏡判定手段と、を備えている。
【００１２】
請求項１記載の発明によれば、瞳孔からの反射がないオフ画像のみの単純な閾値処理により眼鏡からの反射点と瞳孔からの反射点とを識別し、眼鏡の有無を判定することができると共に、照明装置が不要であるのでコストを削減することができる。
【００１３】
請求項２記載の眼鏡検出装置は、瞳孔からの反射が起こる照射条件で被写体に光を照射する照射手段と、前記被写体を撮像する撮像手段と、前記照射手段により光を照射した状態で前記撮像手段により撮像されたオン画像、または、前記照射手段により光を照射しない状態で前記撮像手段により撮像されたオフ画像に基づいて顔領域を検出する顔領域検出手段と、前記オン画像と、前記オフ画像との対応する各画素値の和によって構成される和画像を生成する和画像生成手段と、前記和画像生成手段により生成された和画像の顔領域内で閾値より高い輝度値を検出する高輝度値検出手段と、前記高輝度値検出手段により前記閾値より高い輝度値が検出された場合には眼鏡が存在すると判定し、前記閾値より高い輝度値が検出されない場合には眼鏡が存在しないと判定する眼鏡判定手段と、を備えている。
【００１４】
請求項２記載の発明によれば、オン画像とオフ画像の和画像の単純な閾値処理により眼鏡からの反射点と瞳孔からの反射点とを識別し、眼鏡の有無を判定することができる。
【００１５】
請求項３記載の眼鏡検出装置は、瞳孔からの反射が起こる照射条件で被写体に光を照射する照射手段と、前記被写体を撮像する撮像手段と、前記照射手段により光を照射した状態で前記撮像手段により撮像された画像から顔領域を検出する顔領域検出手段と、前記顔領域検出手段により検出された顔領域内で閾値より高い輝度値を検出する高輝度値検出手段と、前記高輝度値検出手段により前記閾値より高い輝度値が３箇所以上検出された場合には眼鏡が存在すると判定し、前記閾値より高い輝度値が検出されない場合又は２箇所以下検出された場合には眼鏡が存在しないと判定する眼鏡判定手段と、を備えている。
【００１６】
請求項３記載の発明によれば、眼鏡からの反射点と瞳孔からの反射点とを識別することなく、眼鏡の有無を判定することができる。
【発明の効果】
【００１７】
以上説明したように、本発明によれば、顔画像から眼鏡からの反射点を精度よく、かつ、低コストで検出し、眼鏡の有無を簡単に識別することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１９】
〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係る眼鏡検出装置の主要構成を示すブロック図である。同図に示すように、本実施の形態に係る眼鏡検出装置は、撮像部５１と、顔領域検出部５２と、高輝度値検出部５４と、眼鏡判定部５５と、を備えている。
【００２０】
撮像部５１は、ＣＣＤカメラ等からなり、被写体である対象者をほぼ正面から撮像できるように設置され、対象者の顔を含む領域を撮像する。
【００２１】
顔領域検出部５２は、撮像部５１により撮像された画像データから対象者の顔領域を検出する。画像データから顔領域を検出する方法は、ヒストグラム処理など公知の如何なる  方法でもよく、本実施の形態ではその方法は問わない。
【００２２】
高輝度値検出部５４は、顔領域検出部５２により求められた顔領域内において、ある閾値より高い輝度値の点を検出する。
【００２３】
眼鏡判定部５５は、高輝度値検出部５４の検出結果に基づいて、対象者の顔領域内に眼鏡が存在するか否かを判定する。
【００２４】
次に、本実施の形態における眼鏡検出装置の作用の流れについて、図２に示すフローチャートに沿って説明する。
【００２５】
まず、ステップ１００では、撮像部５１が、対象者の顔を含む領域を撮像する。照明条件としては外乱光のみが存在する条件を想定しているので、照明装置を用いない画像（オフ画像）が生成される。この場合、図３（Ａ）に示すように、外乱光によって眼鏡からの反射点１２が観測されるのに対して、瞳孔からの反射点１１は観測されない。
【００２６】
ステップ１１０では、顔領域検出部５２が、撮像部５１により撮像されたオフ画像から対象者の顔領域を検出する。
【００２７】
ステップ１２０では、高輝度値検出部５４が、顔領域検出部５２により検出された顔領域の画像から、図３（Ｂ）に示す閾値Ｔｈ１を用いて２値化処理を行い、閾値Ｔｈ１より高い輝度値を検出する。閾値Ｔｈ１としては、背景の輝度値Ｙ０より高く、眼鏡からの反射点１２の輝度値Ｙ２より低い値を設定する。このような閾値処理により、閾値Ｔｈ１より高い輝度値Ｙ２を示す眼鏡からの反射点１２が検出される。
【００２８】
ステップ１３０では、眼鏡判定部５５が、高輝度値検出部５４により閾値Ｔｈ１より高い輝度値が１箇所以上検出された場合には眼鏡が存在すると判定し、閾値Ｔｈ１より高い輝度値が検出されない場合には眼鏡が存在しないと判定する。
【００２９】
以上のように、本実施の形態では、瞳孔からの反射点１１が存在しないため、閾値処理が容易となる。従って、容易に、かつ、精度よく眼鏡が存在するか否かを判定することができる。また、照明装置を利用しないので、コストを削減できるという利点もある。
【００３０】
〔第２の実施の形態〕
図４は、本発明の第２の実施の形態に係る眼鏡検出装置の主要構成を示すブロック図である。第２の実施の形態の構成に、更に和画像生成部５３を備えている。
【００３１】
和画像生成部５３は、撮像部５１により撮像された２つの画像（オフ画像と後述のオン画像）の対応する各画素値の和によって構成される和画像を生成する。
【００３２】
次に、本実施の形態における眼鏡検出装置の作用の流れについて、図５に示すフローチャートに沿って説明する。
【００３３】
まず、ステップ１０４では、撮像部５１が、照明部５０により照明を照射した状態で、対象者の顔を含む領域を撮像する。照明条件として、対象者の眼鏡からの反射だけでなく、瞳孔からの反射も起こるようにするために、カメラの光軸の近傍（同軸）に光源を設置して近赤外光を照明する。ここで、公知の手法として、カメラの光軸に対して同軸に光源を設置した場合、近赤外光を眼鏡および目に照明すると、眼鏡からの反射だけでなく瞳孔からの反射が観測されることが知られている（例えば、Y.Ebisawa, S.Satoh, Effectiveness of pupil area detection technique using two light sources and image difference method, in: A.Szeto, R.Rangayan(Eds.), Proc. of the 15th Annual Internet. Conf. of the IEEE Eng. in Medicine and Biology Society, San Diego, CA, 1993, pp.1268-1269.)。これにより、オン画像が生成される。この場合、図１０（Ａ）に示すように、照明光によって眼鏡からの反射点１２および瞳孔からの反射点１１が観測される。また、本実施の形態では、撮像部５１は、照明部５０による照明を行わず、外乱光のみが存在する状態で撮像を行い、オフ画像も同時に生成する。
【００３４】
ステップ１１０では、顔領域検出部５２が、撮像部５１により撮像されたオン画像またはオフ画像から対象者の顔領域を検出する。
【００３５】
ステップ１１５では、和画像生成部５３が、撮像部５１により撮像されたオン画像とオフ画像との和画像を生成する。図６（Ａ）は、生成された和画像の輝度値を示す図であり、各画素の輝度値は、同図（Ｃ）のオン画像の輝度値と同図（Ｄ）のオフ画像の輝度値の和により構成される。図６（Ａ）において、輝度値Ｙ３は同図（Ｃ）における瞳孔からの反射点の輝度値Ｙ１と同図（Ｄ）における瞳孔からの反射点の輝度値Ｙ１との和であり、輝度値Ｙ４は同図（Ｃ）における眼鏡からの反射点の輝度値Ｙ２と同図（Ｄ）における眼鏡からの反射点の輝度値Ｙ２との和である。
【００３６】
ステップ１２０では、高輝度値検出部５４が、和画像生成部５３により生成された和画像内で、顔領域検出部５２により検出された顔領域の画像から、図６（Ａ）に示す閾値Ｔｈ２を用いて２値化処理を行い、閾値Ｔｈ２より高い輝度値を検出する。閾値Ｔｈ２としては、輝度値Ｙ３より高く、輝度値Ｙ４より低い値を設定する。このような閾値処理により、閾値Ｔｈ２より高い輝度値Ｙ４を示す眼鏡からの反射点１２が検出される。
【００３７】
ステップ１３０では、眼鏡判定部５５が、高輝度値検出部５４により閾値Ｔｈ２より高い輝度値が１箇所以上検出された場合には眼鏡が存在すると判定し、閾値Ｔｈ２より高い輝度値が検出されない場合には眼鏡が存在しないと判定する。
【００３８】
以上のように、本実施の形態では、オン画像とオフ画像との和画像に基づいて眼鏡からの反射点を検出する。
【００３９】
差分画像（図６（Ｂ））では、外乱光の影響や照明による高輝度のカメラ出力の飽和の発生などにより、オン画像の眼鏡からの反射点の輝度値（図６（Ｃ）のＹ２）とオフ画像の眼鏡からの反射点の輝度値（図６（Ｄ）のＹ２）との差分（図６（Ｂ）のＹ６）が小さくなる場合がある。これに対して和画像（図６（Ａ））を用いると、眼鏡からの反射点の輝度値（図６（Ａ）のＹ４）と背景の輝度値との差は、差分画像（図６（Ｂ））を用いた場合の眼鏡からの反射点の輝度値（図６（Ｂ）のＹ６）と背景の輝度値との差より一般的に大きい。このことから、和画像に対して閾値処理を行う方が、差分画像に対して閾値処理を行うより、容易に眼鏡からの反射点を検出することができる。
【００４０】
また、オン画像（図６（Ｃ））のみを用いる場合は、外乱光、照明条件によっては瞳孔からの反射点の輝度値（図６（Ｃ）のＹ１）と眼鏡からの反射点の輝度値（図６（Ｃ）のＹ２）との差が瞳孔からの反射点の輝度値に比べて小さい場合があるため、閾値処理によって瞳孔からの反射点と眼鏡からの反射点とを分離することが困難である。これに対して和画像を用いると、眼鏡からの反射点からの輝度値（図６（Ａ）のＹ４）と瞳孔からの反射点の輝度値（図６（Ａ）のＹ３）との差は、オン画像（図６（Ｃ））を用いた場合の眼鏡からの反射点の輝度値（図６（Ｃ）のＹ２）と瞳孔からの反射点の輝度値（図６（Ｃ）のＹ１）との差より一般的に大きい。このことから、和画像に対して閾値処理を行う方が、オン画像に対して閾値処理を行うより、外乱光、照明条件などの変動要因からの影響を受けることが少なく、容易に眼鏡を検出することが可能となる。
〔第３の実施の形態〕
図７は、本発明の第３の実施の形態に係る眼鏡検出装置の主要構成を示すブロック図である。
【００４１】
次に、本実施の形態における眼鏡検出装置の作用の流れについて、図８に示すフローチャートに沿って説明する。
【００４２】
まず、ステップ１０６では、撮像部５１が、照明部５０により照明を照射した状態で、対象者の顔を含む領域を撮像するため、オン画像を得ることができる。ここで、照明条件は、眼鏡からの反射だけでなく、瞳孔からの反射も起こる照明条件とする。この場合、図１０（Ａ）に示すように、照明光によって眼鏡からの反射点１２および瞳孔からの反射点１１が観測される。
【００４３】
ステップ１１０では、顔領域検出部５２が、撮像部５１により撮像されたオン画像から対象者の顔領域を検出する。
【００４４】
ステップ１２０では、高輝度値検出部５４が、顔領域検出部５２により検出された顔領域の画像から、図９（Ａ）に示す第１の閾値Ｔｈ３を用いて２値化処理を行い、第１の閾値より高い輝度値を検出する。第１の閾値Ｔｈ３としては、背景の輝度値Ｙ０より高く、瞳孔からの反射点１１の輝度値Ｙ１より低い値を設定する。このような閾値処理により、第１の閾値Ｔｈ３より高い輝度値Ｙ１を示す瞳孔からの反射点１１および輝度値Ｙ２を示す眼鏡からの反射点１２が検出される。
【００４５】
ステップ１３０では、眼鏡判定部５５が、高輝度値検出部５４により第１の閾値Ｔｈ３より高い輝度値が３箇所以上検出された場合には眼鏡が存在すると判定し、第１の閾値Ｔｈ３より高い輝度値が２箇所以下検出された場合には眼鏡が存在しないと判定する。これは、１つの顔領域内に存在する瞳孔からの反射点は２個であるため、前述の閾値処理により検出した高輝度値が３箇所以上であるときは眼鏡からの反射点が検出されたと判定することができることに基づく。
【００４６】
以上のように、本実施の形態では、瞳孔からの反射点１１と眼鏡からの反射点１２とを識別する必要がないため、容易に眼鏡が存在するか否かを判定することができる。
【００４７】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用できる。
【図面の簡単な説明】
【００４８】
【図１】第１の実施の形態に係る眼鏡検出装置の主要構成を示すブロック図である。
【図２】第１の実施の形態に係る眼鏡検出装置の作用の流れを示すフローチャートである。
【図３】（Ａ）はオフ画像、（Ｂ）はオフ画像の輝度値を示す図である。ある。
【図４】第２の実施の形態に係る眼鏡検出装置の主要構成を示すブロック図である。
【図５】第２の実施の形態に係る眼鏡検出装置の作用の流れを示すフローチャートである。
【図６】（Ａ）はオン画像とオフ画像の和画像の輝度値、（Ｂ）はオン画像とオフ画像の差分画像の輝度値、（Ｃ）はオン画像の輝度値、（Ｄ）はオフ画像の輝度値を示す図である。
【図７】第３の実施の形態に係る眼鏡検出装置の主要構成を示すブロック図である。
【図８】第３の実施の形態に係る眼鏡検出装置の作用の流れを示すフローチャートである。
【図９】（Ａ）はオン画像の第１の閾値、（Ｂ）は第１の閾値による２値化後の画像である。
【図１０】（Ａ）はオン画像、（Ｂ）はオン画像の輝度値を示す図である。
【図１１】（Ａ）はオン画像とオフ画像の差分画像の輝度値、（Ｂ）はオン画像の輝度値、（Ｃ）はオフ画像の輝度値を示す図である。
【図１２】（Ａ）はオン画像とオフ画像の差分画像の第１の閾値、（Ｂ）は第１の閾値による２値化の画像である。
【図１３】（Ａ）はオン画像の第２の閾値、（Ｂ）は第２の閾値による２値化後の画像である。
【符号の説明】
【００４９】
５０    照明部
５１    撮像部
５２    顔領域検出部
５３    和画像生成部
５４    高輝度値検出部
５５    眼鏡判定部
【図１】
2010033141.tif 000003
【図２】
2010033141.tif 000004
【図３】
2010033141.tif 000005
【図４】
2010033141.tif 000006
【図５】
2010033141.tif 000007
【図６】
2010033141.tif 000008
【図７】
2010033141.tif 000009
【図８】
2010033141.tif 000010
【図９】
2010033141.tif 000011
【図１０】
2010033141.tif 000012
【図１１】
2010033141.tif 000013
【図１２】
2010033141.tif 000014
【図１３】
2010033141.tif 000015