(57)【特許請求の範囲】
【請求項１】
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、ある時点に明瞳孔を撮影した画像と、その後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける鼻孔の位置のずれ量を検出し、前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像を、前記鼻孔の位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行い、位置補正後の両画像を差分することにより、瞳孔を検出する方法。
【請求項２】
前記位置補正において移動する前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像は、瞳孔周囲に設定したウインドウ領域の画像であることを特徴とする請求項１に記載の瞳孔を検出する方法。
【請求項３】
前記位置補正は、先に撮影した画像を後に撮影した画像の位置へ移動するものであることを特徴とする請求項１又は２に記載の瞳孔を検出する方法。
【請求項４】
前記鼻孔の位置のずれ量の検出に先立って、明瞳孔画像と暗瞳孔画像を差分することによって瞳孔を検出し、検出した瞳孔の位置を基準にして、鼻孔周囲にウインドウを設定し、前記ウインドウ内を探索することで鼻孔を検出する処理を伴うことを特徴とする請求項１〜３のいずれかに記載の瞳孔を検出する方法。
【請求項５】
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、明瞳孔及び暗瞳孔を撮影する手段と、ある時点に明瞳孔を撮影した画像とその後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける鼻孔の位置のずれ量を検出する手段と、前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像を、前記鼻孔の位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行う手段と、位置補正後の両画像を差分することにより瞳孔を検出する手段とを備える、瞳孔を検出する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した画像によって、対象者の瞳孔を検出する方法及びそのための装置に関するものである。
【背景技術】
【０００２】
対象者の瞳孔を検出する技術は、例えば、自動車を運転中の対象者の視線や視線変化を検知することで居眠り運転を予防することや、また、対象者の瞳孔の動きによって指を用いることなくコンピュータへの入力を行う瞳孔マウスにも活用され得る。本発明者は、カメラによって撮影した画像から瞳孔を検出する技術を開発してきた。例えば、特許文献１では、瞳孔と角膜反射点との関係位置から対象者の視線を検出する技術を開示している。特許文献２では、検出した瞳孔の位置座標をカーソル位置制御信号とする技術を開示している。特許文献３では、瞳孔と鼻孔の位置を検出して頭部の方向を決定する技術を開示している。特許文献４では、瞳孔と角膜反射点の位置を検出して対象者が見ている視点の三次元位置を決定する技術を開示している。
【０００３】
これらの技術においては、瞳孔の検出には、カメラにより撮影した明瞳孔画像と暗瞳孔画像を差分することで、瞳孔部分を周囲画像から区別する方法を用いている。カメラの開口近くに近赤外線等の光源を設け、カメラの光軸に沿うようにして光を対象者の顔に照射して撮影すると、光は瞳孔から網膜に達して反射し、水晶体、角膜を通ってカメラの開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラの開口から離した光源による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラの開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲の明るさで大きさが変化し、特に明るい場所では小さくなって検出し難くなる。また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることから、瞳孔の検出は、明瞳孔又は暗瞳孔のどちらを用いても単独の画像から行うことは困難を伴う。しかし、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の差分を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが浮き彫りになる。これによって、瞳孔を容易に検出することができ、瞳孔検出の低コスト化とロバスト性向上を図ることができる。
【０００４】
なお、周囲の明るさ等の条件によっては、明瞳孔であっても、必ずしも瞳孔部の画像が周囲の画像よりも明るいとは限らず、暗瞳孔であっても瞳孔部の画像が周囲の画像よりも暗いとは限らない。本明細書における明瞳孔、暗瞳孔とは、そのときに撮影した２つの画像における瞳孔の間に相対的な明るさの違いがあり、明瞳孔は暗瞳孔に比べて相対的に明るいものであるということである。
【０００５】
さらに、本発明者は、２つの光源での点灯を切り替えて照射を行うことなく、網膜での反射率の異なる波長の光源を同時に点灯させた状態で、対象者の顔の撮影を行い、それぞれの波長による明瞳孔画像と暗瞳孔画像を同時に得て、それらの画像の差分を行う技術についての特許出願１，２をしている。
[特許文献１]特開２００５−１８５４３１号公報
[特許文献２]特開２００５−１８２２４７号公報
[特許文献３]特開２００５−２６６８６８号公報
[特許文献４]特開２００５−１９８７４３号公報
[特許出願１]特願２００５−２４１７２８号
[特許出願２]特願２００５−３０６９６１号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１〜４の技術では、明瞳孔撮影用の光源と暗瞳孔撮影用の２つの光源を交互に点灯して撮影することから、明瞳孔画像と暗瞳孔画像の撮影は時間差を伴っており、その間に対象者の顔が動くと、両画像における明瞳孔と暗瞳孔の位置にずれが生じることになり、画像差分によって瞳孔の位置を正確に検出できない場合がある。例えば、ＮＴＳＣ方式のカメラ撮影における１／３０秒毎の１フレームを構成する奇数フィールドと偶数フィールドとをそれぞれ明瞳孔画像と暗瞳孔画像とした場合、両画像の撮影には、１／６０秒の時間差があり、その間の顔の移動によって、両画像における瞳孔の位置が重なることのない状態までにずれてしまうと、画像を差分する効果がないことになる。図１２（A）に示すように、明瞳孔の画像P１と暗瞳孔の画像P２が一部ずれた場合、その重なった斜線の部分だけにしか差分の効果が現れない。これがさらにずれると、重なり部分が無くなって全く差分の効果が出ず、瞳孔検出が困難になる。また、明瞳孔、暗瞳孔撮影時のシャッターを開いている間に顔が移動すると、図１２（B）のように瞳孔画像がぶれることになる。（C）のようにぶれた明瞳孔画像P１と暗瞳孔画像P２でも、一部が重なれば、斜線部分には一応の差分効果は現れる。しかし、図１３に示すように、瞳孔の近くでメガネの反射等の高輝度の部分があると、その画像ｄ１、ｄ２は、両画像が一致していれば差分を取ることで消去されるにもかかわらず、両画像がずれていると差分をしても斜線部分のように高輝度部分として残るために瞳孔の画像P１、P２と区別が付かなくなることもある。このように、明瞳孔の画像と暗瞳孔の画像がずれると、瞳孔を精度よく検出することが困難になる。
また、特許出願１，２の技術によれば、異なる波長の光を同時に照射して、それぞれの波長による明瞳孔画像と暗瞳孔画像を同時に得ることから、時間差を生じないが、波長分離をするための設備や２つの波長での撮影用の２台のカメラが必要なことや、波長分離のための作業が必要等の問題が生じる。
【０００７】
本発明は、これらの問題を解決するためになされたものであり、特段に複雑な装置や作業を要することなく、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の時間差による瞳孔部分の位置のずれを解消して、ロバスト性の高い瞳孔の検出方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
このような目的を達成するために、本発明の瞳孔を検出する方法は、明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、ある時点に明瞳孔を撮影した画像と、その後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける鼻孔の位置のずれ量を検出し、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、鼻孔の位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行い、位置補正後の両画像を差分するようにしたものである。
【０００９】
本発明によれば、明瞳孔と暗瞳孔を撮影した２つの画像における鼻孔の位置のずれ量を検出して、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、鼻孔の位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行うことで、両画像の瞳孔部を実質的に一致させることができ、その上で、画像の差分をするようにした。そのため、両画像の取得に時間差があるにもかかわらず、明瞳孔と暗瞳孔は位置が一致した状態で差分されて周囲から浮き彫りにされ瞳孔検出が精度よくなされる。鼻孔をずれの検出のための基準とする理由は、鼻孔の場合は、まぶたによって閉じられたり明るさによって小さくなったり、めがねが存在したりする瞳孔の場合と異なり、明瞳孔を撮影した画像と暗瞳孔を撮影した画像のそれぞれにおいて、周囲に対して暗い部分として安定的に検出することが可能で、顔を移動したときには瞳孔とほぼ同じ並行的な移動をすることから、鼻孔を利用することで、顔に検出基準のためのマーカ等を付ける必要もないためである。ここで、位置補正を行う量である鼻孔の位置のずれ量に対応する分とは、鼻孔の位置のずれ量と同じ量であってもよく、鼻孔部分のずれと瞳孔部分のずれに１対１以外の対応関係があれば、それを考慮した量であってもよい。また、位置補正のために移動してその後差分を行う画像は、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像の全体である必要はない。
【００１０】
また、本発明において、位置補正において移動する明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、瞳孔周囲に設定したウインドウ領域の画像であることとする場合は、鼻孔の位置のずれに対応して位置補正をして、瞳孔検出のための解析を行う画像領域を、瞳孔周囲の必要最小限の画像領域とできることから、瞳孔検出の演算効率を高めることができる。
【００１１】
また本発明において、位置補正を、先に撮影した画像を後に撮影した画像の位置へ移動するものであることとする場合は、後に撮影した画像における瞳孔が求まることになる。すなわち最新の画像における瞳孔位置を求め、これを基準として、さらにその後に続く瞳孔の検出を行うことができる。
【００１２】
また、本発明において、鼻孔の位置のずれ量の検出に先立って、明瞳孔画像と暗瞳孔画像を差分することによって瞳孔の位置を検出し、この検出した瞳孔の位置を基準にして、鼻孔周囲にウインドウを設定し、ウインドウ内を探索することで鼻孔を検出する処理を伴うこととする場合は、当初の鼻孔検出が容易となる。すなわち、鼻孔は一旦検出できれば、画像の差分を利用することなく安定的に検出可能であるが、顔の位置がほぼ安定している等の一定の条件においては、画像の差分を利用して瞳孔を検出する方が容易な場合があることから、その場合、検出できた瞳孔の位置を基準にして、鼻孔の位置が予想される箇所にウインドウを設定して、その領域内で鼻孔探索することが効率的である。
【００１３】
また、本発明の瞳孔を検出する装置は、明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、明瞳孔及び暗瞳孔を撮影する手段と、ある時点に明瞳孔を撮影した画像とその後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける鼻孔の位置のずれ量を検出する手段と、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、鼻孔の位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行う手段と、位置補正後の両画像を差分することにより瞳孔の位置を求める手段とを備える。
【００１４】
本発明によれば、撮影手段によって明瞳孔と暗瞳孔を撮影した２つの画像における鼻孔の位置のずれ量を検出手段によって検出して、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、鼻孔の位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を位置補正手段によって行うことで、両画像の瞳孔部を実質的に一致させることができ、その上で、画像の差分をすることにより瞳孔の位置を求めることができる。そのため、両画像の取得に時間差があるにもかかわらず、明瞳孔と暗瞳孔は位置が一致した状態で差分されて周囲から浮き彫りにされ瞳孔位置検出が精度よくなされる。
【発明の効果】
【００１５】
本発明によれば、特段に複雑な装置や作業を要することなく、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の時間差による瞳孔部分の位置のずれを解消して、ロバスト性の高い瞳孔の検出方法及び装置を提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面に基づいて、本発明による瞳孔を検出する方法及び装置の好適な実施形態について詳細に説明する。先ず、図１により、本実施形態の基本的な技術を説明する。図１（Ａ）は、対象者の明瞳孔と暗瞳孔を撮影した画像を示す概念図である。対象者の顔を照明する近赤外線の光源として、カメラの開口に近い位置と遠い位置に配置した２つの光源を用いる。撮影手段としてＮＴＳＣ方式のカメラを用いると、ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームは、奇数ラインだけの奇数フィールドと偶数ラインだけの偶数フィールドから構成されることから、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に得られる。そこで、奇数フィールドの撮影時にカメラの開口に近い位置の光源を点灯するようにし、偶数フィールドの撮影時にカメラの開口に遠い位置の光源を点灯するようにすると、奇数フィールドでは明瞳孔が撮影され、偶数フィールドでは暗瞳孔が撮影されることになる。
【００１７】
図１（Ａ）では、このようにして、撮影した奇数フィールドの画像において、対象者の顔１ａが撮影されており、この中には明瞳孔である左右の瞳孔２１ａ、２２ａ、左右の鼻孔３１ａ，３２ａが存在している。ここで、鼻孔３１ａ，３２ａについては、ある程度位置の予測がついていれば、１つの画像からでも判別分析法などによって画像明るさを２値化して検出することができるが、瞳孔２１ａ，２２ａについては、この１つの画像からだけでは、前記のとおり検出が困難である。そこで、次の時点の偶数フィールドの画像における暗瞳孔である左右の瞳孔２１ｂ、２２ｂと画像差分を行って、瞳孔を検出するのであるが、１／６０秒の間に顔が１ｂの位置に矢印のように移動していると、明瞳孔２１ａ，２２ａと暗瞳孔２１ｂ、２２ｂとが図のようにずれてしまっており、差分をとっても瞳孔が周囲に対して浮き彫りになることなく、瞳孔の位置を検出することができない。
【００１８】
ところが、この暗瞳孔２１ｂ、２２ｂを撮影した画像でも鼻孔３１ｂ，３１ｂの位置は検出できることから、２つの画像の撮影の間に鼻孔が３１ａ，３２ａから３１ｂ、３２ｂに矢印のように位置がずれた量を求めることができる。そして、そのずれ量の分だけ明瞳孔２１ａ、２２ａを撮影した画像を暗瞳孔２２ａ，２２ｂを撮影した画像の位置に移動する補正を行った上で、画像の差分を取ると、瞳孔の位置が一致していることから、瞳孔が、偶数フィールドの画像位置において求められた差分画像上で、浮き彫りになってを検出することができる。その場合、画像全体を移動させたのでは、演算の負担が大きく、しかも解析する画像が広いと瞳孔と紛らわしい部分が解析対象となることもあるために、図１（Ｂ）に示すように、明瞳孔２１ａ，２２ａが含まれていると予測されるウインドウ４１ａ，４２ａ内の画像だけを、鼻孔のずれ量だけ４１ｂ、４２ｂのように移動する補正を行って、その領域の差分を演算すればよい。
【００１９】
この場合、補正値とする鼻孔のずれ量としては、左右の鼻孔のずれ量の平均値を用いても、右の鼻孔のずれ量は、右の瞳孔の位置補正に、左の鼻孔のずれ量は左の瞳孔の位置補正に用いてもよく、あるいは片方の鼻孔のずれ量を検出して、両方の瞳孔の位置補正に用いてもよい。また、鼻孔と瞳孔の移動量がほぼ等しいことが予測されている場合は、鼻孔のずれの方向とずれの値をそのまま瞳孔の位置の補正に用いてもよい。また、鼻孔の位置を容易に検出するためには、カメラの位置を下方として、鼻孔を下方側から撮影することが好ましいが、そのような撮影等を行うと、画像上での鼻孔のずれの方向とずれの値が、瞳孔の位置のずれとは完全には一致せずにある傾向を持つこともあるため、そのような傾向を考慮して位置補正を行ってもよい。また、奇数フィールドと偶数フィールドのどちらで、明瞳孔又は暗瞳孔の撮影を行ってもよい。また、画像がぶれないためには、カメラのシャッターを開口している時間は短いこと、すなわちシャッター速度が速いことが好ましい。
【００２０】
図１においては、明瞳孔２１ａ，２２ａを撮影した画像と次の時点での暗瞳孔２１ｂ、２２ｂを撮影した画像を１つの単位として、これらの間の位置補正と画像差分することについて説明した。その後に続くステップにおいても、明瞳孔を撮影した画像と暗瞳孔を撮影した画像とを、１つの単位として同様に処理を行えばよい。この場合、１単位中の後の画像である例えば暗瞳孔の画像における瞳孔が求まることから、暗瞳孔画像が１／３０秒で得られるものなら、瞳孔の検出もその間隔でなされることになる。
【００２１】
あるいは、図２に示すように、明瞳孔２１ａ，２２ａを撮影した画像と次の時点での暗瞳孔２１ｂ、２２ｂを撮影した画像との間で、前記のとおりの位置補正と画像差分の処理を行った後、次の時点の明瞳孔２１ｃ、２２ｃを撮影した画像については、暗瞳孔２１ｂ、２２ｂを撮影した画像との間で、鼻孔が３１ｂ、３２ｂから３１ｃ、３２ｃにずれた量に基づいて、位置補正と画像差分の処理を行ってもよい。この場合は、明瞳孔２１ｃ、２２ｃの画像の位置における瞳孔が求まることになる。このように、明瞳孔と次の暗瞳孔の画像の組み合わせだけを１単位とすることなく、隣接する時点での画像同士での処理を連続的に行うと、暗瞳孔２１ｂ、２２ｂの画像での瞳孔位置が求まった後には、次の明瞳孔２１ｃ、２２ｃの画像での瞳孔位置、またその次の暗瞳孔の画像での瞳孔位置というように、連続的に求めることができることになり、明瞳孔画像と暗瞳孔画像がそれぞれ、１／３０秒で得られるものなら、瞳孔の位置はその倍の１／６０秒間隔で得られることになる。
【００２２】
次に、本実施形態の具体的例を図３以下によって説明する。この例においては、ＮＴＳＣ方式のカメラを用い、奇数フィールドで明瞳孔を撮影して偶数フィールドでは暗瞳孔を撮影することとする。そして、ある時点で明瞳孔を撮影した画像とその次の１／６０秒後の時点で暗瞳孔を撮影した画像の２枚の画像によって１単位（１フレーム）を構成して、図１において説明したような画像処理を行って瞳孔の位置を検出し、その処理が終了すると、その処理中に既にコンピュータ中に取り込んでいた次の１フレームのデータについて画像処理を行って新たな瞳孔の位置を検出する処理を繰り返すものである。
【００２３】
図３では、画像を解析する全体的な手順を示している。ステップＳ０においては、前のフレームの処理において、鼻孔と瞳孔が検出できていたか否かによって、現フレームのデータ解析についての処理を、ケース１〜４に分けている。なお、この例では、瞳孔、鼻孔とも左右両方が検出できるかは問題にせず、片方でも検出できれば検出できたことにする。前のフレームのデータ解析の結果、瞳孔の位置が検出できていれば、Ｓ０において、フラグＰ＝１になっており、瞳孔の位置が検出できていなければ、Ｐ＝０となっている。同様に、鼻孔についても位置が検出できていなければフラグＮ＝０であり、できていればＮ＝１となっている。これらのフラグを識別して、以下のケース１〜４に区別される。
【００２４】
前のフレームにおいて、鼻孔も瞳孔も検出されていない場合は、ステップＳ１におけるケース１の処理が実行される。なお、この瞳孔検出作業の立ち上がり時点では、鼻孔も瞳孔も未だ検出されていないことから、このケース１の処理が実行される。ケース１の処理手順を図４に示す。ケース１の場合、ステップ１１において、画像全体から瞳孔を探索する。鼻孔も瞳孔も位置が予測不明であるときは、広い画像からそれぞれの画像の明暗や大きさ、画面の左右に現れた左右瞳孔又は左右鼻孔候補の部分の位置関係等から、検出することになるが、顔が１／６０秒の間にほとんど移動しない状況では、瞳孔検出の方が、明瞳孔と暗瞳孔の画像の差分を取って瞳孔を際立たせることができることから、暗い鼻孔を検出するよりも容易である。そのため、Ｓ１１では、先ず瞳孔検出を行う。この瞳孔検出は、図１において説明したような方法によって、明瞳孔を撮影した画像と暗瞳孔を撮影した画像を得て、両画像を差分して差分画像を形成し、設定した輝度によって２値化を行い、左右瞳孔の候補を見出した後、これらが所定の条件を備えているかによって、瞳孔かどうかを決定する。なお、Ｓ１１の処理では、図１で説明したずれに関する位置補正を行わないことはいうまでもない。そして、Ｓ１２において、瞳孔を検出できたかどうかを判別し、できたときはフラグＰを１とし、できなかった場合はＰ＝０のままで、次のフレームのデータの解析に移る。
【００２５】
次に、前のフレームで瞳孔は検出できたが鼻孔は検出できなかった場合は、ステップＳ２においてケース２の処理を行う。このケースは、例えば、ケース１の処理で瞳孔を検出した場合が該当する。ケース２の手順を図５に示す。前のフレームで瞳孔だけは検出できており、現在のフレームにおける瞳孔の位置もそれから大きくは変わっていない筈であるから、ステップＳ２１では、前のフレームにおける瞳孔の位置を基準にして、それよりも下方に存在する鼻孔があると予測される周辺に図６に示すように大ウインドウ５を設定し、この領域内において、鼻孔を探索する。なお、前のフレームで左右２個の瞳孔が検出されていたときには、図６（Ａ）のとおり、左右の瞳孔２１，２２の中間位置から下方に大ウインドウ５を設定する。瞳孔が１個しか検出されていなかったときには、（Ｂ）〜（Ｄ）のとおり、検出された瞳孔２１，２２に基づいて大ウインドウ５を設定して鼻孔探索を行う。鼻孔の探索は、現フレームの明瞳孔撮影画像、暗瞳孔撮影画像の両フィールドについて同様に行う。Ｓ２２で鼻孔の検出ができたか否かを判別し、検出ができていなければ、フラグＮ＝０のままで、Ｓ２４で瞳孔探索を行う。なお、ここで、鼻孔が検出できたかどうかとは、明瞳孔画像と暗瞳孔画像の差分を行う際のずれの補正の規準とする鼻孔のずれ量が検知できたことが必要であることから、現フレーム中の両フィールドの画像において鼻孔が検出されている必要がある。Ｓ２４の瞳孔探索では、鼻孔のずれ量による位置の補正ができないことから、従来どおりに位置補正なしでの瞳孔検出を行う。このケースでは、前のフレームで瞳孔位置は分かっているから、その瞳孔の位置に基づいて、カルマンフィルターなどの予測モデルを用いて、現フレームにおける瞳孔の位置を予測することができる。そのため、予測された部分に図７のように小ウインドウ６を設定し、その領域内において瞳孔を探索する。
【００２６】
Ｓ２１で鼻孔の検出ができた場合は、Ｓ２５でフラグＮ＝１として、Ｓ２６の瞳孔探索を行う。このＳ２６の処理は、基本的には、図１で説明したものである。図１（Ｂ）において、奇数フィールドである明瞳孔撮影画像中の鼻孔３１ａ，３２ａから偶数フィールドである暗瞳孔撮影画像中の鼻孔３１ｂ、３２ｂに位置がずれた量を求め、このずれ量の分だけ明瞳孔２１ａ、２２ａが存在していると予測されるウインドウ４１ａを暗瞳孔２１ｂ、２２ｂが存在する筈の方に、４１ｂ、４２ｂのように移動させる補正を行って、瞳孔の位置を一致させた上で、画像の差分を行い瞳孔を検出する。ところで、図３で説明する例では、画像の差分を取って瞳孔の位置を求める場合には、常に、奇数フィールドの明瞳孔を偶数フィールドの暗瞳孔側に移動して、偶数フィールドにおける瞳孔位置として決定している。図１（Ｂ）に示す解析すべき領域を決定するための、現フレームにおける瞳孔が含まれると予測されるウインドウは、予測の基準とするそれ以前のフレームの瞳孔位置が偶数フィールドであることから、カルマンフィルターで予測して設定するウインドウは、偶数フィールドにおけるウインドウ４１ｂ、４２ｂの方が先に決められる。そして、偶数フィールドのウインドウ４１ｂ、４２ｂから鼻孔のずれ量を解消する分をずらして、奇数フィールドにおけるウインドウ４１ａ，４２ａを設定し、この４１ａ，４２ａの領域を偶数フィールドの座標に移動してウインドウ４１ｂ、４２ｂに重ねた上で、差分画像を求めて、瞳孔を検出するようにすればよい。Ｓ２４，Ｓ２６において瞳孔の位置を検出できなかった場合、Ｓ２８においてフラグＰ＝０とし、検出できた場合はＳ２９でＰ＝１として次のフレームの解析に移行する。
【００２７】
次に、前のフレームで瞳孔も鼻孔も検出できた場合は、ステップＳ３においてケース３の処理を行う。ケース３の処理の手順を図８に示す。ケース３では、先ず、Ｓ３１において、鼻孔の探索を行う。これは、前のフレームで鼻孔の位置が分かっていれば検出のロバスト性が高いことと、最初に鼻孔の位置を検出できれば、後の瞳孔の検出において、鼻孔のずれ量を基にした位置補正によって瞳孔を探索できるためである。この場合、前のフレームにおいて鼻孔の検出ができていることから、現フレームにおける鼻孔の探索には、図９のとおり、前フレームの鼻孔の位置に基づいて、カルマンフィルター等の予測モデルによって、現フレームにおける鼻孔位置を予測して、小ウインドウ７を鼻孔３１，３２周囲に設定して、その領域内で探索をする。なお、現フレームの奇数フィールドにおいて鼻孔の位置が検出できた場合、その位置データを利用して、次の偶数フィールドにおける鼻孔位置の予測を行って、小ウインドウを設定してもよい。Ｓ３２で鼻孔の検出ができたか否かを判別し、できていなければＳ３３でフラグＮ＝０として、Ｓ３４において瞳孔の探索を行う。この場合は、現フレームでは鼻孔位置が検出できないために鼻孔ずれによる位置の補正はできないが、前のフレームにおける瞳孔の位置は検出されていることから、その値を基準にカルマンフィルター等の予測モデルによって瞳孔位置を予測して、図７と同様に瞳孔用小ウインドウ６を設定して、瞳孔探索を行う。
【００２８】
一方、Ｓ３２において鼻孔検出ができたと判別した場合は、Ｓ３５でＮ＝１として、Ｓ３６において、Ｓ２６と同様の鼻孔のずれによる位置を補正して差分画像による瞳孔探索の処理を行う。Ｓ３４，Ｓ３６において瞳孔の検出ができなかった場合は、Ｓ３８でフラグＰ＝０とし、瞳孔の検出ができた場合はＳ３９でＰ＝１として、次のフレームの解析に移行する。
【００２９】
次に、前のフレームで鼻孔は検出できたが、瞳孔は検出できていない場合は、ステップＳ４においてケース４の処理を行う。ケース４の処理の手順を図１０に示す。ケース４では、先ず、Ｓ４１において、鼻孔の探索を行う。前のフレームにおいて鼻孔の検出ができていることから、ステップ３１と同様に現フレームにおける鼻孔の探索には、図１１のとおり、前フレームの鼻孔の位置に基づいて、カルマンフィルター等の予測モデルによって、現フレームにおける鼻孔位置を予測して、小ウインドウ７を鼻孔３１，３２周囲に設定して、その領域内で探索をする。現フレームの奇数フィールドにおいて鼻孔の位置が検出できた場合、その位置データを利用して、次の偶数フィールドにおける鼻孔位置の予測を行って、小ウインドウを設定してよいことも、Ｓ３１と同様である。Ｓ４２で鼻孔の検出ができたか否かを判別し、できていなければＳ４３でフラグＮ＝０とし、検出できていれば、Ｓ４４でＮ＝１とする。
【００３０】
Ｓ４５では、瞳孔の探索を行うが、前のフレームにおいて瞳孔の位置が検出できていないことから、図１１に示すように、前のフレーム（又は前のフィールド）において検出できている鼻孔の位置よりも上側に、瞳孔用の大ウインドウ８を設定して、その領域内で瞳孔を探索する。なお、前のフレームにおいて、両鼻孔が検出されているときには、図１１（Ａ）のとおり、鼻孔３１，３２より上の位置でかつ、両鼻孔３１，３２の中間位置に左右対称となる大ウインドウ８を与える。図１１（Ｂ）〜（Ｄ）のとおり、片側の鼻孔しか検出できていないときには、両鼻孔間は両瞳孔間に比較して大きく離れていないため、検出できている鼻孔を中心に、左右対称となる位置に大ウインドウ８を与えればよい。特に、（Ｄ）のように、対象者が横を向いているときは、普通、手前の鼻孔３１しか検出できないが、このような場合でも、同様の方法で両方の瞳孔が大ウインドウ８の領域に入る。
【００３１】
本実施形態によれば、鼻孔の位置のずれ量を基準として、明瞳孔を撮影した画像と暗瞳孔を撮影した画像における瞳孔部を実質的に一致させることができ、その上で、画像の差分をするようにした。そのため、各種輸送機の運転者やコンピュータの瞳孔マウス使用者等である対象者の頭部が短時間内に移動して、明瞳孔画像と暗瞳孔画像の取得に時間差があることに起因して、画像にずれを生じていても、解析に当たっては、明瞳孔と暗瞳孔は位置が一致した状態で差分されて周囲から浮き彫りにされ瞳孔検出が精度よくなされる。
【００３２】
また、本実施形態によれば、鼻孔の位置を検出してこれを位置補正の基準としているために、顔に何らかの位置基準のためのマーカ等を施すこともなく、瞳孔が移動した位置を補正することができる。
【００３３】
また、本実施形態によれば、位置の補正を行うために、移動を行う画像領域は、カルマンフィルター等の予測モデルによってウインドウを設定した領域のみであることから、瞳孔検出のための解析を行う画像領域を、瞳孔周囲の必要最小限の画像領域とできて瞳孔検出の演算効率を高めることができる。また、解析する領域が狭いことから、この領域に瞳孔に紛らわしい他の画像が入る可能性を少なくできる。さらに、このような前のフレーム又は前のフィールドの位置データに基づく予測モデルによるウインドウの設定は、鼻孔の検出や鼻孔検出による位置補正ができない場合の瞳孔検出にも使用しており、本実施形態における瞳孔検出作業の効率化と高精度化を達成している。
【００３４】
また本実施形態におよれば、位置補正において先に撮影した画像を後に撮影した画像の位置に対して移動するものであることから、最新の画像における瞳孔位置を基準として、その後に続く瞳孔の検出を行うことができる。
【００３５】
また、本実施形態によれば、鼻孔の位置のずれ量の検出に先立って、明瞳孔画像と暗瞳孔画像を差分することによって瞳孔の位置を検出し、この検出した瞳孔の位置を基準にして、鼻孔周囲にウインドウを設定し、ウインドウ内を探索することで鼻孔を検出する。瞳孔検出の全体作業開始時には、頭の位置がほぼ安定していることが多いことが想定されるところ、そのような条件においては、画像の差分を利用して瞳孔を検出する方が、鼻孔検出よりも容易であることから、これを先にして検出できた瞳孔の位置を基準にして、鼻孔の位置が予想される箇所にウインドウを設定して、その領域内で鼻孔探索することで効率化を達成している。
【００３６】
本実施形態では、ＮＴＳＣ方式のカメラを使用する場合について主に説明したが、カメラは奇数フィールドと偶数フィールドに分かれることのないノンインターレース方式等のものでもよく、その場合は１フレーム毎に明瞳孔を撮影する画像と暗瞳孔を撮影する画像とすればよい。さらに、明瞳孔と暗瞳孔を得るためには、光源の設置位置を変える以外にも、光源の波長を変える手段を用いてもよい。その場合、例えば、８５０ｎｍ程度と９５０ｎｍ程度の波長の異なる光源を用いると、網膜反射率が異なることから、８５０ｎｍ程度の光源で撮影した画像が明瞳孔で、９５０ｎｍ程度の光源で撮影した画像が暗瞳孔となる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施形態の明瞳孔と暗瞳孔を撮影した画像の概念図である。
【図２】本発明の実施形態の明瞳孔と暗瞳孔を撮影した画像の概念図である。
【図３】本発明の実施形態の全体的処理手順を示す図である。
【図４】本発明の実施形態の一部の処理手順を示す図である。
【図５】本発明の実施形態の一部の処理手順を示す図である。
【図６】本発明の実施形態の画像処理の一部を示す図である。
【図７】本発明の実施形態の画像処理の一部を示す図である。
【図８】本発明の実施形態の一部の処理手順を示す図である。
【図９】本発明の実施形態の画像処理の一部を示す図である。
【図１０】本発明の実施形態の一部の処理手順を示す図である。
【図１１】本発明の実施形態画像処理の一部を示す図である。
【図１２】瞳孔画像がずれた場合の説明図である。
【図１３】瞳孔画像とメガネの反射部等の画像がずれた場合の説明図である。
【符号の説明】
【００３８】
１‥顔、２‥瞳孔、２１‥右の瞳孔、２２‥左の瞳孔、３‥鼻孔、３１‥右の鼻孔、３２‥左の鼻孔、４‥ウインドウ、４１‥右瞳孔のウインドウ、４２‥左瞳孔のウインドウ、５‥鼻孔の大ウインドウ、６‥瞳孔用小ウインドウ、７‥鼻孔用小ウインドウ、８‥瞳孔用大ウインドウ
【図１】
0004452832.tif 000002
【図２】
0004452832.tif 000003
【図３】
0004452832.tif 000004
【図４】
0004452832.tif 000005
【図５】
0004452832.tif 000006
【図６】
0004452832.tif 000007
【図７】
0004452832.tif 000008
【図８】
0004452832.tif 000009
【図９】
0004452832.tif 000010
【図１０】
0004452832.tif 000011
【図１１】
0004452832.tif 000012
【図１２】
0004452832.tif 000013
【図１３】
0004452832.tif 000014