(57)【要約】【課題】目の位置をより精度良く検出できる目位置検出装置及び方法を提供する。【解決手段】撮影装置１で撮影した映像を目位置検出装置本体３に入力して、目位置検出装置本体３で二値化し、二値化された映像を基に各軸毎の投影処理を行ない、その投影処理出力を基にして二値化された映像の重心位置を算出する。算出された重心位置を簡易的に目の位置と判断し、その位置を基に検索ウインドウを作成し、検索ウインドウ内の映像から高輝度部を検出してその大きさが予め定めた規定の範囲内であれば、その高輝度部の重心位置を算出してその位置を最終的な目の位置と判断する。【選択図】　図１
2004105590.tif 000002
【特許請求の範囲】
【請求項１】
撮影された映像から目の位置を簡易的に検出する簡易目位置検出手段と、前記簡易目位置検出手段で検出された目の位置を基に検索ウインドウを作成する検索ウインドウ作成手段と、前記検索ウインドウ内の映像から高輝度部を検出する高輝度部検出手段と、前記高輝度部検出手段で検出された高輝度部をグループ分けするグループ分け手段と、前記グループ分け手段でグループ分けされた高輝度部の中で予め定めた規定範囲内の面積を持つ高輝度部を抽出し、抽出された高輝度部の重心位置を算出する算出手段とを備え、前記重心位置を基に目の位置を検出することを特徴とする目位置検出装置。
【請求項２】
前記簡易目位置検出手段が、撮影された映像を二値化する二値化手段と、前記二値化手段で二値化された映像からＸ軸、Ｙ軸毎の投影出力を得る投影処理手段と、前記投影出力を基に前記二値化手段で二値化された映像の重心位置を算出し、目の位置を検出する検出手段とを備えていることを特徴とする請求項１記載の目位置検出装置。
【請求項３】
前記高輝度部検出手段で検出された高輝度部に撮影時の光源による目の瞳孔からの鏡面反射像を含んでおり、前記規定範囲が前記鏡面反射像による高輝度部の面積を含むように設定されていることを特徴とする請求項１または２記載の目位置検出装置。
【請求項４】
前記規定範囲内の面積を持つ高輝度部があったとき、前記規定範囲内の面積を持つ高輝度部の外方の輝度を測定し積分する積分手段と、前記積分手段で積分された輝度値が予め定めた所定の範囲の値であったとき、前記規定範囲内の面積を持つ高輝度部を目の位置と判定する判定手段とを備えた請求項１または２記載の目位置検出装置。
【請求項５】
前記積分手段は、前記規定範囲内の面積を持つ高輝度部の重心位置を中心とする予め定めた半径ｒの円周上の輝度を測定し積分することを特徴とする請求項４記載の目位置検出装置。
【請求項６】
前記半径ｒが前記規定範囲内の面積を持つ高輝度部の半径より大きく瞳孔の半径より小さいことを特徴とする請求項５記載の目位置検出装置。
【請求項７】
撮影された映像を入力するステップと、入力された映像から目の位置を簡易的に検出するステップと、検出された目の位置を基に検索ウインドウを作成するステップと、検索ウインドウ内の映像から高輝度部を検出するステップと、検出された高輝度部をグループ分けするステップと、グループ分けされた高輝度部の中で予め定めた規定範囲内の面積を持つ高輝度部を抽出するステップと、抽出された高輝度部の重心位置を算出するステップとを備え、前記重心位置を基に目の位置を検出することを特徴とする目位置検出方法。
【請求項８】
前記規定範囲内の面積を持つ高輝度部が抽出されたとき、抽出された高輝度部の外方の輝度を測定し積分するステップと、積分された輝度値が予め定めた規定の範囲内の値であったとき、抽出された高輝度部の位置を目の位置と判定するステップとを備えた請求項７記載の目位置検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影された映像から目の位置を検出する目位置検出装置及び方法に関するものである。
【０００２】
【従来の技術】
従来、撮影された映像から目の位置を検出する目位置検出装置として、撮影時の光源によって生じる瞳孔からの鏡面反射像を検出することで目の位置を検出するものが知られている。そして、その場合、明るいところでは瞳孔が大きく開かないので、撮影時には、画面輝度を所定の値より下げるというものも知られている（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開２０００―３３９７４１号公報（第５頁、図４）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来知られているものは、撮影された映像内に、鏡面反射像があるかどうかを検索し、その結果に基づいて目の位置を判定するだけのものであり、周囲に他の光源があったり、被測定者がめがねをかけていたりした場合には、瞳孔による鏡面反射像のほかに、同じような高輝度部が発生する可能性があり、このような場合には、目の位置を正しく判定できないという問題があった。
【０００５】
本発明は、以上のような従来の問題に鑑みてなされたものであり、より精度良く目の位置を検出できる目位置検出装置及び方法を提供するものである。
【０００６】
【課題を解決するための手段】
本発明の目位置検出装置は、撮影された映像から目の位置を簡易的に検出する簡易目位置検出手段と、簡易目位置検出手段で検出された目の位置を基に検索ウインドウを作成する検索ウインドウ作成手段と、検索ウインドウ内の映像から高輝度部を検出する高輝度部検出手段と、高輝度部検出手段で検出された高輝度部をグループ分けするグループ分け手段と、グループ分け手段でグループ分けされた高輝度部の中で予め定めた規定範囲内の面積を持つ高輝度部を抽出し、抽出された高輝度部の重心位置を算出する算出手段とを備え、重心位置を基に目の位置を検出する構成とした。
【０００７】
この構成により、簡易的に目の位置を検出し、その位置を基に検索ウインドウを作成し、その検索ウインドウ内で高輝度部があるかどうかを検出するため、他の光源があったり、めがねがあったりしても、それらにあまり影響されることなく精度良く目の位置を判定することができる。
【０００８】
また、本発明の目位置検出装置は、簡易目位置検出手段が、撮影された映像を二値化する二値化手段と、二値化手段で二値化された映像からＸ軸、Ｙ軸毎の投影出力を得る投影処理手段と、投影出力を基に二値化手段で二値化された映像の重心位置を算出し、目の位置を検出する検出手段とを備えた構成を有している。
【０００９】
この構成により、簡易的に目の位置を素早く算出することができ、全体として、その動作をスムーズに実行することができる。
【００１０】
また、本発明の目位置検出装置は、高輝度部検出手段で検出された高輝度部に撮影時の光源による目の瞳孔からの鏡面反射像を含んでおり、規定範囲が鏡面反射像による高輝度部の面積を含むように設定されている構成とした。
【００１１】
この構成により、撮影時の照明光源による目の瞳孔からの鏡面反射像を正確に検出することができ、目の位置を正確に検出することができるようになる。
【００１２】
また、本発明の目位置検出装置は、規定範囲内の面積を持つ高輝度部があったとき、規定範囲内の面積を持つ高輝度部の外方の輝度を測定し積分する積分手段と、積分手段で積分された輝度値が予め定めた所定の範囲の値であったとき、規定範囲内の面積を持つ高輝度部を目の位置と判定する判定手段とを備えた構成とした。
【００１３】
この構成により、更に目の位置をより精度良く検出することができるという作用を有する。
【００１４】
また、本発明の目位置検出装置は、積分手段が、規定範囲内の面積を持つ高輝度部の重心位置を中心とする予め定めた半径ｒの円周上の輝度を測定し積分する構成とした。この構成により、高輝度部の外方の位置を容易に設定でき、外方の輝度を簡単に測定し積分することができる。
【００１５】
また、本発明の目位置検出装置は、半径ｒが規定範囲内の面積を持つ高輝度部の半径より大きく瞳孔の半径より小さい構成とした。この構成により、瞳孔、虹彩、白目などを正確に区別して目の位置を判定することができるようになり、より正確に目の位置を判定することが可能になる。
【００１６】
また、本発明の目位置検出方法は、撮影された映像を入力するステップと、入力された映像から目の位置を簡易的に検出するステップと、検出された目の位置を基に検索ウインドウを作成するステップと、検索ウインドウ内の映像から高輝度部を検出するステップと、検出された高輝度部をグループ分けするステップと、グループ分けされた高輝度部の中で予め定めた規定範囲内の面積を持つ高輝度部を抽出するステップと、抽出された高輝度部の重心位置を算出するステップとを備え、重心位置を基に目の位置を検出するようにしている。
【００１７】
この方法により、他の光源があったり、めがねをかけていたりした場合でも、それらに殆ど影響されることなく正確に目の位置を検出することができる。
【００１８】
また、本発明の目位置検出方法は、規定範囲内の面積を持つ高輝度部を抽出したとき、抽出された高輝度部の外方の輝度を測定し積分するステップと、積分された輝度値が予め定めた規定の範囲内の値であったとき、抽出された高輝度部の位置を目の位置と判定するステップとを備えている。
【００１９】
この方法により、目の位置を瞳孔、虹彩、白目などと区別してより精度良く検出することが可能になる。
【００２０】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を用いて詳細に説明する。
【００２１】
図１は、本発明の一実施の形態における目位置検出装置の概略構成図である。
【００２２】
本発明の一実施の形態における目位置検出装置は、図１に示すように、被写体を撮影する撮影装置１と、被写体に撮影時の照明光を与える発光ダイオードなどの光源２と、これらの撮影装置１、光源２をそれぞれ駆動したり、撮影装置１によって撮影された映像を入力し、それを基に目の位置を検出したりする目位置検出装置本体３とを備えている。
【００２３】
なお、目位置検出装置本体３は、入力部、出力部のほかに、入力部より入力された映像を一時記憶するメモリや、これらを制御するマイクロコンピュータ等の中央処理装置（ＣＰＵ）などを備えている。
【００２４】
次に、本発明の一実施の形態における目位置検出装置について、その動作を説明する。
【００２５】
図２は、本発明の一実施の形態における目位置検出装置の動作を示すフロー図であり、図３、図４は、それぞれの動作状態における説明図である。
【００２６】
まず、被写体を撮影する場合には、光源２で被写体を照明し、撮影装置１で被写体を撮影する。なお、ここで、虹彩などを測定する場合には、光源として赤外線を発するものを用いることが望ましい。
【００２７】
撮影装置１で被写体を撮影し、撮影した映像を目位置検出装置本体３に入力する（Ｓ２０１）と、目の位置装置本体３は、その入力された映像をまず二値化する（Ｓ２０２）。そして、二値化された映像を基にＸ軸、Ｙ軸方向でそれぞれ投影処理を実施し（Ｓ２０３）、その映像の重心位置を計算する（Ｓ２０４）。計算された重心位置は、以下説明するように、ほぼ目の位置に合致するため、この位置を簡易的に目の位置と判断する。
【００２８】
すなわち、今、撮影装置１で撮影された映像が、図３（Ａ）に示すように目を含む映像であった場合、これを二値化すると、図３（Ｂ）に示すようになる。そのため、二値化された映像について、それぞれＸ軸、Ｙ軸方向に投影処理し、その出力１１、１２を基に重心位置１３を求めると、その位置はまつげ１４などの影響で多少瞳孔１５の位置とは異なるが、ほぼ瞳孔１５の位置を表すことになる。したがって、この位置を簡易的に先ず目の位置と判断する。
【００２９】
このようにして目の位置を簡易的に検出すると、次に、その位置を基にして検索ウインドウ１６を作成する（Ｓ２０５）。検索ウインドウ１６を作成する場合には、図４（Ａ）に示すように、簡易的に求めた目の位置１５が検索ウインドウ１６の中心に合致するように、あるいは、まつげの影響で簡易的に求めた目の位置１５が上方にずれる場合があることを考慮して、検索ウインドウ１６を下に長めに取るように位置決めし、その大きさは、瞳孔１５を含む虹彩部分１７の一部が充分選択される程度の大きさになるように作成する。
【００３０】
このようにして検索ウインドウ１６を作成すると、次に、その検索ウインドウ１６によって囲まれた範囲内の映像を取り出し、その映像内の高輝度部を検出する（Ｓ２０６）。高輝度部がない場合は、目の位置でないと判断し、再びステップ２０１に復帰するが、高輝度部が存在する場合には、それらの高輝度部をそれぞれグループ分けして（Ｓ２０７）、各グループの面積を計算する（Ｓ２０８）。
【００３１】
今、検索ウインドウ内において、図４（Ｂ）に示すように、３つの高輝度部が存在したとすると、これらの高輝度部がそれぞれ第１、第２、第３のグループ１８、１９、２０にグループ分けされ、それぞれのグループ１８、１９、２０においてその面積が計算される。
【００３２】
そして、計算結果に基づいて、各グループ１８、１９、２０の面積が予め定めた規定の範囲内のものであるかどうかがそれぞれ判断され（Ｓ２０９）、規定の範囲内のものであれば、そのグループの高輝度部の重心位置が算出され（Ｓ２１０）、その重心位置が最終的な目の位置と判断される（Ｓ２１１）。
【００３３】
ここで、予め定めた規定の範囲とは、光源１による瞳孔１５からの鏡面反射像の大きさをできるだけ正確に判断できるように、その大きさに多少の許容範囲を含めて予め定めた規定の範囲に設定されている。
【００３４】
例えば、図５に示すように、瞳孔以外の部分で反射された反射光や、めがねなどの目以外のもので反射された反射光をそれぞれ除外すべく、ある値Ｍ１より大きく、ある値Ｍ２より小さい範囲（但し、Ｍ１＜Ｍ２）に設定すれば、瞳孔以外の部分で反射された反射光や、めがねなどの目以外のもので反射された反射光は、それぞれ予め定めた規定の範囲（Ｍ１〜Ｍ２）より小さかったり、大きかったりするため、これらを除外して、光源１による瞳孔１５からの鏡面反射像のみを正確に判断することができる。
【００３５】
図４（Ｂ）の場合には、第２、第３の各グループ１９、２０の高輝度部が、たとえば、瞳孔以外の部分で反射された規定の範囲（Ｍ１〜Ｍ２）の外の反射光であり、規定の範囲（Ｍ１〜Ｍ２）内のものでないと判断され放棄される。そして、第１のグループ１８の高輝度部のみが規定の範囲（Ｍ１〜Ｍ２）内のものと判断され、その重心位置が計算され、最終的な目の位置と判断される。
【００３６】
以上、説明したように、本実施の形態によれば、目の位置を簡易的に求め、その位置を基に検索ウインドウを形成し、検索ウインドウ内に存在する映像を基に高輝度部を検索し、検索された高輝度部の大きさが規定の範囲の大きさである場合に、その高輝度部の重心位置を目の位置と判断するようにしており、したがって、周囲に他の光源があったり、目以外の部分で反射された高輝度部があったり、めがねによる反射光があったりしても、それらは検索ウインドウ内の映像に表れることがなく、仮に現れたとしてもその大きさが規定範囲内にないことになり、それらにほとんど影響されることなく常に精度良く目の位置を判定することができる。
【００３７】
なお、本実施の形態では、光源を１つ設けただけであるが、光源は複数設けてもよい。光源を複数設けた場合には、光源の数に等しいだけの鏡面反射像が表れるので、これらの鏡面反射像について、それぞれその面積を算出し、規定の範囲内にあるかどうか判断するようにすればよい。そして、すべての鏡面反射像が規定の範囲内にあるとき、それらの鏡面反射像の位置を基にして目の位置と判断するようにすればよい。
【００３８】
また、本実施の形態では、検索ウインドウ内に存在する映像を基に高輝度部を検索し、検索された高輝度部に面積が予め定めた規定の範囲（Ｍ１〜Ｍ２）内のものがあれば、その映像に目があると判断しているが、目の位置をより正確に判定するためには、面積が予め定めた規定の範囲（Ｍ１〜Ｍ２）内の高輝度部を基にして更に次の判定を行うようにすればよい。
【００３９】
図６は、目の位置をより正確に判定するために、図２に示したフローに新たに付加するフローを示している。以下、このフロー図に従いその動作を説明する。
【００４０】
検索ウインドウ１６内に存在する映像を基に高輝度部を検索し、検索された高輝度部に面積が予め定めた規定の範囲（Ｍ１〜Ｍ２）内のものがあるかどうかを判断し（Ｓ２１０）、あった場合（Ｓ２１０のＹ）には、その規定の範囲（Ｍ１〜Ｍ２）内の高輝度部１８に関し、図７（Ａ）に示すように、重心位置２１を算出し（Ｓ６０１）、その重心位置２１を中心とした半径ｒの円周上の輝度を測定し（Ｓ６０１）、積分する（Ｓ６０２）。そして、積分された輝度値Ｋが予め定めた規定の範囲内の値であるどうかを判断し（Ｓ６０３）、規定の範囲内の値であれば、先に抽出した面積が予め定めた規定の範囲（Ｍ１〜Ｍ２）内の高輝度部１８の重心位置を最終的な目の位置と判定する（Ｓ６０４）。
【００４１】
なお、ここで、高輝度部１８の重心位置２１からの半径ｒを予め定めた規定の範囲（Ｍ１〜Ｍ２）の半径より大きく、瞳孔の半径より小さく設定すれば、積分された輝度値Ｋが、図７（Ｂ）に示すように、瞳孔からの反射光である場合、第１の閾値Ｋ１より小さく、虹彩からの反射光である場合、第１の閾値Ｋ１より大きく第２の閾値Ｋ２（Ｋ２＞Ｋ１）より小さく、白目からの反射光である場合、第２の閾値Ｋ２より大きくなるように、それぞれ第１、第２の閾値Ｋ１、Ｋ２を容易に設定することができるようになる。したがって、予め定めた規定の範囲内の値を第１の閾値Ｋ１より小さい値、あるいは、第２の閾値Ｋ２より小さい値などにそれぞれ設定すれば、瞳孔からの反射光、あるいは、瞳孔からの反射光と虹彩からの反射光の両方を含む反射光などをそれぞれ区別して検出し、その結果によって目の位置を判定することができ、より精度よく目の位置を検出することができることになる。
【００４２】
【発明の効果】
以上説明したように、本発明によれば、他の光源があったり、めがねがあったりしても、それらに影響されることなく精度良く目の位置を判定することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における目位置検出装置の概略構成図
【図２】本発明の一実施の形態における目位置検出装置の動作を示すフロー図
【図３】本発明の一実施の形態における目位置検出装置において目の位置を簡易的に検出する場合の概略説明図
（Ａ）撮影装置によって撮影された目の映像の一例を示す図
（Ｂ）二値化された映像と、各軸毎に投影処理された出力の波形図
【図４】本発明の一実施の形態における目位置検出装置において目の存在を判断する場合の概略説明図
（Ａ）検索ウインドウを示す概念図
（Ｂ）検索ウインドウ内の映像拡大図
【図５】本発明の一実施の形態における目位置検出装置において目の存在を判断する場合に使用する予め定めた規定の範囲を説明する概略説明図
【図６】本発明の他の実施の形態における目位置検出装置において新たに付加した部分の動作を説明するフロー図
【図７】本発明の他の実施の形態における目位置検出装置において目の位置をより正確に判定する場合の説明図
（Ａ）高輝度部とその重心位置を中心とした半径ｒの円周を示す図
（Ｂ）積分した輝度Ｋと、２つの閾値Ｋ１、Ｋ２を示す図
【符号の説明】
１　撮影装置
２　光源
３　目判定装置本体
１１、１２　出力
１３　重心位置
１４　まつげ
１５　瞳孔
１６　検索ウインドウ
１７　虹彩
１８、１９、２０　高輝度部
【図１】
2004105590.tif 000003
【図２】
2004105590.tif 000004
【図３】
2004105590.tif 000005
【図４】
2004105590.tif 000006
【図５】
2004105590.tif 000007
【図６】
2004105590.tif 000008
【図７】
2004105590.tif 000009