(57)【要約】【課題】  焦点設定のための移動方向を推定することで無駄に移動方向が前後することなく焦点設定を可能とし、焦点設定までの時間を最小限に抑える。【解決手段】  視線測定装置は、角膜反射像の面積を算出し、当該角膜反射像の面積からカメラの焦点が角膜表面上に設定されているか否かを判定し、焦点が角膜表面上に設定されていない場合、瞳孔と角膜反射像の各中心位置から頭部の移動方向を推定して当該推定した頭部の移動方向に角膜反射像の面積が最小になるまで焦点位置を変化させる。【選択図】      図２
2006087727.tif 000002
【特許請求の範囲】
【請求項１】
近赤外線あるいは可視光線を眼球に照射する光源、ならびに眼球表面における反射光を撮影するカメラを設置し、当該カメラにより角膜表面における光源の角膜反射像および瞳孔を撮影し、演算装置によって視線を算出する視線測定装置に用いられる視線測定方法であって、
前記演算装置は、
前記角膜反射像の面積を算出する第１のステップと、
前記角膜反射像の面積から前記カメラの焦点が角膜表面上に設定されているか否かを判定する第２のステップと、
前記焦点が前記角膜表面上に設定されていない場合、前記瞳孔と角膜反射像の各中心位置から頭部の移動方向を推定する第３のステップと、
前記推定した頭部の移動方向に前記角膜反射像の面積が最小になるまで焦点位置を変化させる第４のステップと、
を実行することを特徴とする視線測定方法。
【請求項２】
前記瞳孔並びに角膜反射像から視線測定を行う第５のステップを更に実行することを特徴とする請求項１に記載の視線測定方法。
【請求項３】
前記第２のステップは、
前記撮影した角膜反射像の形状から前記焦点が前記角膜表面上に設定されているか否かを判定するサブステップを含むことを特徴とする請求項１に記載の視線測定方法。
【請求項４】
前記第４のステップは、
前記焦点を変化させたときに前記角膜反射像の面積が拡大した場合、前記移動方向を反転するサブステップを含むことを特徴とする請求項１に記載の視線測定方法。
【請求項５】
前記光源は、点光源あるいは面光源であることを特徴とする請求項1〜４のいずれか1項に記載の視線測定方法。
【請求項６】
近赤外線あるいは可視光線を眼球に照射する光源、ならびに前記眼球表面における反射光を撮影するカメラを設置し、当該カメラにより角膜表面における光源の角膜反射像および瞳孔を撮影して視線を算出する視線測定装置であって、
前記角膜反射像の面積を算出する角膜反射像面積算出部と、
前記角膜反射像の面積から前記カメラの焦点が前記角膜表面上に設定されているか否かを判定する角膜反射像合焦判定部と、
前記焦点が前記角膜表面上に設定されていない場合、前記瞳孔と角膜反射像の各中心位置から頭部の移動方向を推定する頭部移動方向推定部と、
前記推定した頭部の移動方向に前記角膜反射像の面積が最小になるまで焦点位置を変化させる焦点位置制御部と、
を具備することを特徴とする視線測定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の視線を測定する技術に係わり、特に、光源から発せられる近赤外線もしくは可視光線を眼球に照射し、画像処理によって得られる瞳孔および角膜反射像を用いて視線を測定する、視線測定方法及び視線測定装置に関する。
【背景技術】
【０００２】
従来、人の視線を測定する際、人からある程度離れた距離（５０ｃｍ―１００ｃｍ）程度の位置に、近赤外線光あるいは可視光線の点光源を設置し、眼球表面における反射光を撮影するためのカメラを設置し、当該カメラで角膜表面における点光源の反射像および瞳孔を撮影し、その方向から人の視線方向を算出していた（例えば、特許文献１参照）。
【０００３】
上記した特許文献１に開示された技術によれば、視線測定中、カメラの焦点は角膜位置に設定する必要がある。従って、人の頭部が移動すればカメラから眼球までの距離が変化するため、焦点を再設定する必要がある。
焦点を眼球上に正確に設定する手法として、例えば自動焦点設定手法を用い、焦点位置を前後に移動させて、画面のボケ具合などの情報などに基づき、最も焦点の合う位置を検出し、その位置に焦点を設定する方法がある。また、焦点を設定する別の手法として、カメラから眼球までの距離を別の手法で測定し、得られた距離データを用いて焦点を設定する手法がある。
【０００４】
また、カメラから眼球までの距離を測定する手法としては、例えば頭部にマーカを装着し、別に設置したステレオカメラを利用して三角測量の原理で距離を測定する手法（例えば、特許文献２参照）、頭部に磁気センサを装着し、頭部の三次元位置から距離を算出する手法（例えば特許文献３参照）、超音波センサを利用して、超音波サンサから頭までの距離を測定する手法などがある。
更に、焦点設定の問題を回避するために、そもそも頭部の前後方向への移動を許容しないという手法もある。この場合、ユーザの頭部位置が大きく制約されるため、長時間の継続的視線測定が困難となる問題があった。
【特許文献１】特開２００３−７９５７７号公報
【特許文献２】特開平１０−１４８８２号公報
【特許文献３】特開平６−１８９９０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
頭部位置が変化した場合にも継続的に視線測定を行うには、頭部位置が変化してから焦点を設定するまでの時間をなるべく短く、また焦点位置を正確に合わせる必要がある。しかしながら、上記した従来手法では、自動焦点設定手法の場合、焦点位置を、前後いずれの方向に移動させれば焦点が合うかが不明であるため、実際に前後いずれの方向に移動させて、画面のボケ具合から移動方向が正しいか否かを設定し、判定の結果、移動した方向が異なっていれば、移動方向に反転させた上で再度焦点を設定する必要がある。従って、焦点位置を前後に移動させるためにかなりの時間を要する。この間、視線測定が中断し、あるいは測定した視線には大きな測定誤差が含まれるという問題が生じる。
【０００６】
また、必ずしも眼球表面に焦点が設定されず、頭髪、眉毛、眼鏡の縁など、画像における高周波成分の高い領域に焦点が設定されやすく、その結果、角膜表面に焦点が設定された場合と比較して、測定誤差が大きいという問題もある。
特に高精度な視線測定を行うためには、眼球を拡大して撮影する必要があるため、焦点距離の長いカメラを利用する必要がある。この場合、カメラの被写界深度が浅くなるため、頭部位置のわずかな前後変化によって焦点がずれた状態が発生し、焦点を再設定する必要が頻発する。その結果、視線測定が中断し、あるいは測定誤差が大きくなる現象が頻発し、視線測定を継続的に行う上で大きな問題となる。
【０００７】
更に、頭部位置を計測する手法の場合、焦点距離を設定する時間は短いものの、ステレオカメラ、磁気センサなど、頭部位置を取得するための装置を別途用意する必要があり、視線測定に要する機材が増大するという問題がある。また、磁気センサなどは測定誤差が発生しやすく、視線測定における測定誤差の発生要因となるという問題もあった。
【０００８】
本発明は上記事情に鑑みてなされたものであり、従来の自動焦点設定手法で発生した、睫毛、眉毛などに焦点が誤設定される問題を解消し、また、焦点設定のための移動方向をあらかじめ推定することで無駄に移動方向が前後することなく焦点設定を可能とし、焦点設定までの時間を最小限に抑えることのできる、視線測定方法及び視線測定装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記した課題を解決するために本発明は、近赤外線あるいは可視光線を眼球に照射する光源、ならびに前記眼球表面における反射光を撮影するカメラを設置し、当該カメラにより角膜表面における光源の角膜反射像および瞳孔を撮影し、演算装置によって視線を算出する視線測定装置に用いられる視線測定方法であって、前記演算装置は、前記角膜反射像の面積を算出する第１のステップと、前記角膜反射像の面積から前記カメラの焦点が前記角膜表面上に設定されているか否かを判定する第２のステップと、前記焦点が前記角膜表面上に設定されていない場合、前記瞳孔と角膜反射像の各中心位置から頭部の移動方向を推定する第３のステップと、前記推定した頭部の移動方向に前記角膜反射像の面積が最小になるまで焦点位置を変化させる第４のステップと、を実行することを特徴とする。
【００１０】
また、本発明において、前記瞳孔並びに角膜反射像から視線測定を行う第５のステップを更に実行することを特徴とする。
【００１１】
また、本発明において、前記第２のステップは、前記撮影した角膜反射像の形状から前記焦点が前記角膜表面上に設定されているか否かを判定するサブステップを含むことを特徴とする。
【００１２】
また、本発明において、前記第４のステップは、前記焦点を変化させたときに前記角膜反射像の面積が拡大した場合、前記移動方向を反転するサブステップを含むことを特徴とする。
【００１３】
また、本発明において、前記光源は、点光源あるいは面光源であることを特徴とする。
【００１４】
また、本発明は、近赤外線あるいは可視光線を眼球に照射する光源、ならびに前記眼球表面における反射光を撮影するカメラを設置し、当該カメラにより角膜表面における光源の角膜反射像および瞳孔を撮影して視線を算出する視線測定装置であって、前記角膜反射像の面積を算出する角膜反射像面積算出部と、前記角膜反射像の面積から前記カメラの焦点が前記角膜表面上に設定されているか否かを判定する角膜反射像合焦判定部と、前記焦点が前記角膜表面上に設定されていない場合、前記瞳孔と角膜反射像の各中心位置から頭部の移動方向を推定する頭部移動方向推定部と、前記推定した頭部の移動方向に前記角膜反射像の面積が最小になるまで焦点位置を変化させる焦点位置制御部と、を具備することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、角膜反射像の面積を算出し、当該角膜反射像の面積からカメラの焦点が角膜表面上に設定されているか否かを判定する。そして、焦点が角膜表面上に設定されていない場合、瞳孔と角膜反射像の各中心位置から頭部の移動方向を推定して当該推定した頭部の移動方向に角膜反射像の面積が最小になるまで焦点位置を変化させることで、一般的な自動焦点設定手法で発生した、睫毛、眉毛などに焦点が誤設定される問題を解消することができる。また、焦点設定のための移動方向をあらかじめ推定することで、無駄に移動方向が前後することなく焦点設定が可能となり、焦点設定までの時間を最小に抑えることが可能になる。
特に、推定が正しく、正しい方向に焦点を制御した場合には、最短の時間で焦点を設定することが可能になる。また、推定方向が正しくないと判定された場合には、ただちに制御方向を反転すればよいため、この場合焦点設定に要する時間は従来の自動焦点設定法と同程度である。総じて従来の方法より短時間で焦点設定を行うことができる。また、角膜反射像を基準として焦点を設定することで、誤った部分に焦点を設定する問題を回避できる。
【発明を実施するための最良の形態】
【００１６】
図１は、本発明の一実施形態に係わる視線測定装置の構成図である。
本発明の視線測定装置は、眼球撮影用カメラ１１と、近赤外線照射部１２と、画像処理部１３と、角膜反射像面積算出部１４と、視線算出部１５と、焦点位置制御部１６と、角膜反射像合焦判定部１７と、頭部移動方向推定部１８で構成される。
【００１７】
図２は、図１に示す本発明実施形態の動作を説明するために引用したフローチャートである。以下、図２を参照しながら図１に示す本発明実施形態の構成、ならびに動作について詳細に説明する。
説明に先立ち、利用者の眼球は眼球撮影用カメラ１１の前方に位置するものとする。眼球撮影用カメラ１１は、人の眼球を撮影し、その眼球像を取込んで画像処理部１３へ供給する（Ｓ２２）。なお、近赤外線照射部１２は、人の目に感じにくい７５０ｎｍから９００ｎｍ程度の近赤外線点を人の眼球方向に向けて照射するものとする（Ｓ２２）。なお、近赤外線の代替として可視光線を用いても良いが、その場合は人が光を眩しく感じるという問題が発生するので通常は使用しない。なお、近赤外線照射部１２には点光源を利用することもできるが、５ｃｍ四方までの大きさの面光源を用いても良く、図１の近赤外線点光源照射部１２は、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）をアレイ状に並べた面光源の場合を示す。
【００１８】
図５に眼球撮影用カメラ１１で撮影した眼球像の模式図を示す。眼球像には、瞳孔２１および角膜反射像２２が含まれる。角膜反射像２２は、眼球前方から照射された、点光源あるいは面光源が、角膜表面において反射した光である。
【００１９】
説明を図１に戻すと、眼球撮影用カメラ１１で撮影された眼球像は、画像処理部１３において、撮影した画像中から瞳孔２１を検出し、瞳孔２１を楕円とみなした場合の楕円の中心である瞳孔中心座標Ｐ＝（ｐｘ，ｐｙ）と、同じく画像から角膜反射像２２を検出し、角膜反射像２２を円とみなした場合の円の中心である角膜反射像中心座標Ｑ＝（ｑｘ，ｑｙ）とを検出する（Ｓ２３）。次に、画像処理部１３で検出された瞳孔２１ならびに角膜反射像２２から、視線算出部１５で視線を算出する。また、角膜反射像面積算出部１４では、角膜反射像面積Ｓを算出する（Ｓ２４）。
一方、視線算出部１５において瞳孔および角膜反射像を利用する手法は、視線測定装置において一般的に用いられる視線算出方法であり、ここでも同様の手法を用いることとする。
【００２０】
眼球撮影用カメラ１１の焦点は、焦点位置制御部１６によって制御される。また、フォーカスが眼球表面に合焦しているか否かは、角膜反射像合焦判定部１７で判定される（Ｓ２６）。
具体的には、画像処理部１３で検出された角膜反射像面積Ｓが、規定値Ｓ０以内である場合（Ｓ２６、“Ｓ≦Ｓ０”）、合焦していると判定される。なお、人の頭部は常に揺れ動いているため、Ｓが一回規定値Ｓ０を超えた程度では、フォーカスの再設定（Ｓ２７：焦点位置制御）を行う必要はなく、数フレーム（例えば、１０フレーム）における角膜反射像面積の平均と比較し、規定値を超えた場合にフォーカスが合焦していないと判定すれば良い。
【００２１】
なお、合焦の判定には、角膜反射像面積の他にも、角膜反射像の半径が利用可能である。また、規定値Ｓ０の算出（Ｓ２５）については、あらかじめ計測しておいた定数値を利用する手法、動的に算出する手法などがある。
動的に算出する手法が図３にフローチャートで示されている。すなわち、例えば毎フレームごとに得られた角膜反射像面積Ｓと、角膜反射像最小面積Ｓｍｉｎの照合を行い（Ｓ２５１、Ｓ２５２）、ここでＳｍｉｎ＞Ｓであれば、ＳｍｉｎにＳを代入し、Ｓ０をＳｍｉｎの定数倍、例えばＳ０＝１．５Ｓｍｉｎとする手法などがある（Ｓ２５３）。
【００２２】
フォーカスが合焦しているか否かの判定には、一般的な自動焦点制御方式で行われているように、例えば画像中の周波数成分を求めることで、画面全体のボケ具合を判断するという方法も可能である。ただしこの場合は、眉毛、睫毛、瞼など高周波成分の多い領域が合焦しているか否かに影響するため、角膜反射像２２に合焦していない場合でも合焦していると判定し、あるいは逆に角膜反射像に合焦している場合でも合焦していないと判定する場合がある。
【００２３】
図４に焦点位置制御の手順がフローチャートで示されている。角膜反射像合焦判定部１７において、眼球撮影用カメラ１１が合焦していないと判定された場合には、フォーカス制御を行い、眼球上に合焦させる必要がある。このとき、頭部移動方向推定部１８では、画像処理部１３で検出された瞳孔中心座標Ｐ＝（ｐｘ，ｐｙ）ならびに角膜反射像中心座標Ｑ＝（ｑｘ，ｑｙ）から、以下の演算式（１）を用い瞳孔と角膜反射像の距離Ｌを算出する（Ｓ２７１）。
【００２４】
【数１】
2006087727.tif 000003
【００２５】
次に、過去における瞳孔と角膜反射像との距離と比較し、頭部の移動方向を推定する。なお、頭部移動方向推定部１８では、画像処理部１３が新たな画像を取得する毎に距離Ｌを算出するものとする。
以下に、頭部移動方向の推定方法の一実施例を示す。まず、時刻ｔにおける瞳孔と角膜反射像の距離をＬｔとする。時刻ｉにおいて、角膜反射像合焦判定部１７が、合焦していないと判定した場合、過去Ｔ回における瞳孔と角膜反射像との平均距離Ｌａと比較する（Ｓ２７２）。Ｌａは以下に示す演算式（２）に従い算出される。
【００２６】
【数２】
2006087727.tif 000004
【００２７】
ここで、Ｌｔ＞Ｌａならば頭部は眼球撮影用カメラ１１の方向へ接近したと判定し、焦点位置制御部１６は焦点位置を短くする方向に眼球撮影用カメラ１１を制御する（Ｓ２７４）。Ｌｔ≦Ｌａならば頭部は眼球撮影用カメラ１１から遠ざかったと判定し、焦点位置制御部１５は、焦点位置を長くする方向に眼球撮影用カメラ１１を制御する（Ｓ２７３）。
眼球撮影用カメラ１１を制御した結果、角膜反射像面積Ｓが増大した場合には（Ｓ２７５、Ｙｅｓ）、頭部移動方向推定部１８で推定した方向が誤っていた、あるいは推定後に再び頭部位置が変化した可能性があるため、焦点位置制御部１６は焦点位置を逆方向へ制御すればよい（Ｓ２７６）。その後、角膜反射像合焦判定部１７において角膜反射像面積Ｓが規定値Ｓ０以内となった場合には（図２のＳ２６“Ｓ≦Ｓ０”）、焦点が角膜反射像上に合焦したと判断し、焦点位置の制御を停止する（図２のＳ２７）。
【００２８】
なお、上記した本発明方法では瞳孔および角膜反射像が画像処理部１３によって検出されていることが前提となるが、焦点が大きくずれているなどの理由で、瞳孔あるいは角膜反射像が検出できない場合もある。この場合は、一般的な自動焦点制御方式を用いて、焦点の設定を行えば良い。その後、瞳孔ならびに角膜反射像が検出されたら、直ちに本発明方法に従い焦点の自動設定を行うことが可能である。
【００２９】
以上説明のように、本発明は、近赤外線あるいは可視光線を眼球上に照射し、得られた瞳孔像ならびに角膜反射像をカメラで撮影し、撮影した眼球像において検出された瞳孔ならびに角膜反射像から視線を算出すると共に、角膜反射像の大きさからカメラの焦点が角膜表面上に設定されているか否かを判定し、カメラの焦点が角膜表面上に設定されていない場合には瞳孔と角膜反射像の距離から頭部が前後どちらの方向に移動したかを推定し、推定した方向に角膜反射像の大きさが最小になるまで焦点を変化させるものである。
【００３０】
また、変化させた場合に角膜反射像の大きさが拡大した場合には、推定結果が誤っていたものと判定して移動方向を反転し、上記同様に角膜反射像の大きさが最小になるまで焦点を変化させる。その結果、一般的な自動焦点設定手法で発生した、睫毛、眉毛などに焦点が誤設定される問題が解消され、また、焦点設定のための移動方向をあらかじめ推定することで、無駄に移動方向が前後することなく焦点設定が可能となり、焦点設定までの時間を最小に抑えることが可能になる。
なお、視線測定においては角膜反射像および瞳孔像ではなく、角膜反射像と虹彩像、虹彩像と目尻と目頭などの位置を利用することが可能であり、視線測定にそれらを利用した場合も、同時に角膜反射像と瞳孔像を撮影することで、本手法を適用可能である。また、瞳孔像ではなく、虹彩像を利用しても、同様に本手法を適用可能である。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に係わる視線測定装置の構成図である。
【図２】本発明実施形態の動作を説明するために引用したフローチャートである。
【図３】本発明実施形態の動作を説明するために引用したフローチャートである。
【図４】本発明実施形態の動作を説明するために引用したフローチャートである。
【図５】眼球撮影用カメラで撮影した眼球像の模式図である。
【符号の説明】
【００３２】
１１…眼球撮影用カメラ、１２…近赤外線照射部、１３…画像処理部、１４…角膜反射像面積算出部、１５…視線算出部、１６…焦点位置制御部、１７…角膜反射像合焦判定部、１８…頭部移動方向推定部
【図１】
2006087727.tif 000005
【図２】
2006087727.tif 000006
【図３】
2006087727.tif 000007
【図４】
2006087727.tif 000008
【図５】
2006087727.tif 000009