(57)【要約】【課題】頭部に対する眼球の角度を検出することなく、被験者の周辺環境への視線を検出することができる視線検出装置を提供することを目的とする。【解決手段】被験者Ａの周辺環境Ｂへの視線を検出する視線検出装置１００であって、被験者Ａの眼球ａから反射した反射光を検出する反射光検出手段１０６と、反射光と周辺環境Ｂの光とに基づいて、被験者Ａによる被視点を検出する被視点検出手段１０８とを備える。また、周辺環境の光を検出する周辺環境光検出手段を更に備え得る。【選択図】図１
2012055418.tif 000002
【特許請求の範囲】
【請求項１】
被験者の周辺環境への視線を検出する視線検出装置であって、
前記被験者の眼球から反射した反射光を検出する反射光検出手段と、
前記反射光と前記周辺環境の光とに基づいて、前記被験者による被視点を検出する被視点検出手段と
を備えた、視線検出装置。
【請求項２】
前記周辺環境の光を検出する周辺環境光検出手段を更に備えた、請求項１に記載の視線検出装置。
【請求項３】
前記周辺環境に光を投影する投影手段を更に備え、
前記被視点検出手段は、前記反射光と前記周辺環境に投影された投影光とを照合して、前記被験者による前記被視点を検出する、請求項１に記載の視線検出装置。
【請求項４】
前記投影光を検出する投影光検出手段を更に備え、
前記被視点検出手段は、前記反射光と前記検出された投影光とを照合して、前記被験者による前記被視点を検出する、請求項３に記載の視線検出装置。
【請求項５】
前記周辺環境の光を表示する表示手段を更に備え、
前記被視点検出手段は、前記反射光と前記表示手段に表示された表示光とを照合して、前記被験者による前記被視点を検出する、請求項１に記載の視線検出装置。
【請求項６】
前記反射光検出手段は、前記被験者の前記眼球を追跡する眼球追跡手段を更に備えた、請求項１から請求項５のうちの一項に記載の視線検出装置。
【請求項７】
複数の反射光データを記録する第１記録手段と前記周辺環境の複数の光データを記録する第２記録手段とを更に備え、
前記被視点検出手段は、前記複数の反射光データと前記周辺環境の前記複数の光データとを照合することによって、前記被験者による前記被視点を検出する、請求項１から請求項６のうちの一項に記載の視線検出装置。
【請求項８】
前記複数の光データは、複数のグレイコードパターンを示す、請求項７に記載の視線検出装置。
【請求項９】
前記反射光は、前記被験者の瞳の周辺部分から反射した光である、請求項１から請求項８のうちの一項に記載の視線検出装置。
【請求項１０】
前記周辺環境の前記光は、赤外光である、請求項１から請求項９のうちの一項に記載の視線検出装置。
【請求項１１】
被験者の周辺環境への視線を検出する視線検出方法であって、
前記被験者の眼球から反射した反射光を検出する反射光検出ステップと、
前記反射光と前記周辺環境の光とに基づいて、前記被験者による被視点を検出する被視点検出ステップと
を包含する、視線検出方法。
【請求項１２】
前記周辺環境の光を検出する周辺環境光検出ステップを更に包含する、請求項１１に記載の視線検出装置。
【請求項１３】
前記周辺環境に光を投影する投影ステップを更に包含し、
前記被視点検出ステップは、前記反射光と前記周辺環境に投影された投影光とを照合して、前記被験者による前記被視点の検出を実行する、請求項１１に記載の視線検出方法。
【請求項１４】
前記周辺環境の光を表示する表示ステップを更に包含し、
前記被視点検出ステップは、前記反射光と前記表示ステップを実行することで表示された表示光とを照合して、前記被験者による前記被視点の検出を実行する、請求項１１に記載の視線検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の周辺環境への視線を検出する視線検出装置及び視線検出方法に関する。
【背景技術】
【０００２】
視線検出は現代・次世代の情報環境を構築するために重要かつ必須な技術である。視線情報を用いたユーザーインタフェースやユビキタス・アンビエント環境、人の行動認識・理解やコミュニケーション解析など、視線検出に関する技術の応用範囲は広い。従って商用製品も含め多くの技術が実用化されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−１４６４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載のシステムでは、赤外線照明を直接眼球に照射し、頭部に対する眼球の角度を測定した上で視線を推定するため、被験者の頭部にカメラや姿勢センサ等を装着しなければならず、被験者に負担がかかる。また、使用開始時に、被験者が視線を特定の位置に動かして校正することも必要である。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、その目的は、頭部に対する眼球の角度を測定することなく被験者の視線を検出することができる視線検出装置及び視線検出方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る視線検出装置の特徴的な構成は、被験者の周辺環境への視線を検出する視線検出装置であって、被験者の眼球から反射した反射光を検出する反射光検出手段と、反射光と周辺環境の光とに基づいて、被験者による被視点を検出する被視点検出手段とを備える。
【０００７】
背景技術の項目で説明したように、従来の視線検出装置では、被験者の頭部に対する眼球の角度を検出する。その結果、被験者の頭部にカメラや姿勢センサ等を装着しなければならず、被験者に負担がかかる。また、使用開始時に、被験者が視線を特定の位置に動かして校正することも必要である。一方、本発明の視線検出装置によれば、反射光と周辺環境の光とに基づいて、被験者による被視点を検出する。従って、頭部に対する眼球の角度を検出することなく、被験者の周辺環境への視線を検出することができる。その結果、乳幼児の視線を検出し発達障害の有無を判断するなど、人間の視覚や知能の発達理解に適用することが可能な視線検出装置を実現することができる。
【０００８】
本発明に係る視線検出装置の好適な実施形態によれば、周辺環境に光を投影する投影手段を更に備え、被視点検出手段は、反射光と周辺環境に投影された投影光とを照合して、被験者による被視点を検出する。投影光は、広領域に照射することが可能であるため、広域環境での視線検出が可能となる。また、周辺環境に投影する光は能動的であるため光の明るさを制御し易く、明るい反射光を検出することができ、安定した視線検出が可能となる。
【０００９】
本発明に係る視線検出装置の好適な実施形態によれば、投影光を検出する投影光検出手段を更に備え、被視点検出手段は、反射光と検出された投影光とを照合して、被験者による被視点を検出する。従って、凹凸のある周辺環境に光が投影された場合でも、視線検出装置は被験者の周辺環境の光を検出することができる。その結果、周辺環境の形状に左右されることなく被験者の視線を高精度に検出することができる。
【００１０】
本発明に係る視線検出装置の好適な実施形態によれば、周辺環境の光を表示する表示手段を更に備え、被視点検出手段は、反射光と表示手段に表示された表示光とを照合して、被験者による被視点を検出する。従って周辺環境の形状は常に表示手段の表示領域のため、周辺環境の形状を常に認識し得る。その結果、被験者の視線を高精度に検出することができる。また、表示手段に表示される光は能動的であるため光の明るさを制御し易く、明るい反射光を検出することができ、安定した視線検出が可能となる。
【００１１】
本発明に係る視線検出装置の好適な実施形態によれば、反射光検出手段は、被験者の眼球を追跡する眼球追跡手段を更に備える。従って、被験者が挙動の不安定な者であっても、また、着座していない者であっても、被験者の眼球からの反射光を精度よく検出することができる。その結果、安定した視線検出が可能となり、更に被験者の視線を高精度に検出することができる。
【００１２】
本発明に係る視線検出装置の好適な実施形態によれば、複数の反射光データを記録する第１記録手段と周辺環境の複数の光データを記録する第２記録手段とを更に備え、被視点検出手段は、複数の反射光データと周辺環境の複数の光データとを照合することによって、被験者による被視点を検出する。従って、所望のタイミングで反射光を検出できない場合でも、別のタイミングで検出した反射光と周辺環境の光とを照合することができる。また所望のタイミングで反射光を検出できない場合でも、別のタイミングで検出に成功したデータの外挿や内挿によって、検出に失敗したデータを推定することができる。その結果、被験者の視線を更に高精度に検出することができる。
【００１３】
本発明に係る視線検出装置の好適な実施形態によれば、複数の光データは、複数のグレイコードパターンを示す。その結果、単純なパターンで被験者の被視点を高精度に検出することができる。
【００１４】
本発明に係る視線検出装置の好適な実施形態によれば、反射光は、被験者の瞳の周辺部分から反射した光である。従って被験者の瞳の周辺部分から反射した光から外挿や内挿によって、瞳の中心に対応する光を推定することができる。その結果、安定した視線検出が可能となる。
【００１５】
本発明に係る視線検出装置の好適な実施形態によれば、周辺環境の光は、赤外光である。赤外光は不可視光であるため、被験者には認識することができない。従って、被験者に気づかれることなく被験者の視線を検出し得、周辺環境の光に惑わされることで被験者の挙動が不安定になることを防ぐことができる。その結果、安定した視線検出が可能となる。
【００１６】
上記課題を解決するために、本発明に係る視線検出方法の特徴的な構成は、被験者の周辺環境への視線を検出する視線検出方法であって、被験者の眼球から反射した反射光を検出する反射光検出ステップと、反射光と周辺環境の光とに基づいて、被験者による被視点を検出する被視点検出ステップとを包含する。
【００１７】
本発明に係る視線検出方法によれば、上記説明した本発明の視線検出装置と同様の作用効果を奏する。すなわち、本発明の視線検出方法によれば、反射光と周辺環境の光とに基づいて、被験者による被視点を検出する。従って、頭部に対する眼球の角度を検出することなく、被験者の周辺環境への視線を検出することができる。その結果、乳幼児の視線を検出し発達障害の有無を判断するなど、人間の視覚や知能の発達理解に適用することが可能な視線検出装置を実現することができる。
【００１８】
本発明に係る視線検出方法の好適な実施形態によれば、周辺環境に光を投影する投影ステップを更に包含し、被視点検出ステップは、反射光と周辺環境に投影された投影光とを照合して、被験者による前記被視点の検出を実行する。
【００１９】
本発明に係る視線検出方法の好適な実施形態によれば、周辺環境の光を表示する表示ステップを更に包含し、被視点検出ステップは、反射光と表示ステップを実行することで表示された表示光とを照合して、被験者による被視点の検出を実行する。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態１に係る視線検出装置を示す模式図である。
【図２】本発明の実施形態１に係る視線検出装置の動作を示すフローチャートである。
【図３】本発明の実施形態１に係る視線検出装置の各構成要素によって検出される画像を示す写真である。
【図４】本発明の実施形態２に係る視線検出装置を示す模式図である。
【図５】本発明の実施形態２に係る視線検出装置の動作を示すフローチャートである。
【図６】本発明の実施例に係る視線検出で用いるグレイコードパターンを示す。
【図７】本発明の実施例に係る視線検出装置の各構成要素によって検出される画像を示す写真である。
【発明を実施するための形態】
【００２１】
図１〜図７を参照して、本発明の視線検出装置及び視線検出方法に関する実施形態を説明する。本発明は、以下に説明する実施形態や図面に記載される構成に限定されることを意図せず、当該構成と均等な構成も含む。
【００２２】
[実施形態１]
[投影型視線検出装置] 
図１は、本発明の実施形態１に係る視線検出装置１００を示す模式図である。視線検出装置１００は、投影型視線検出装置である。視線検出装置１００は、被験者Ａの周辺環境Ｂへの視線を検出する。視線検出装置１００は、投影手段１０２と、投影光検出手段１０４と、反射光検出手段１０６と、被視点検出手段１０８とを備える。
【００２３】
投影手段１０２は光源を有し、周辺環境Ｂに光を投影する。投影手段１０２は、例えばプロジェクタである。投影手段１０２は、例えば、周辺環境Ｂに景色を示す可視光やグレイコードパターンを示す可視光を投影する。本発明の実施形態において、周辺環境Ｂとは、被験者Ａの周辺の空間であり、ＸＹ座標で示される空間やＸＹＺ座標で示される空間であり得る。周辺環境Ｂが部屋の壁である場合は、投影手段１０２は光を部屋の壁に投影する。周辺環境Ｂが山の岩壁である場合は、投影手段１０２は光を凹凸の岩壁に投影する。さらに、投影手段１０２が三次元映像装置であれば、空気以外なにも存在しない空間にドットアレイからなるリアルな３次元映像を投影し得る。
【００２４】
投影光検出手段１０４は、投影光を検出する。投影光検出手段１０４は、例えば、デジタルカメラやＣＣＤカメラであり、可視光領域の光を検出し得る。
【００２５】
反射光検出手段１０６は、被験者Ａの眼球ａから反射した反射光を検出する。反射光検出手段１０６は、例えば、デジタルカメラ、ＣＣＤカメラ又はパン・チルト・ズームカメラであり、可視光領域の光を検出し得る。反射光検出手段１０６は、静止している被験者Ａの眼球ａ又は動いている被験者Ａの眼球ａから反射した光を検出する。
【００２６】
被視点検出手段１０８は、反射光検出手段１０６によって検出された反射光と投影光検出手段１０４によって検出された投影光とを照合して、被験者Ａによる被視点ｂを検出する。例えば、被視点検出手段１０８は反射光を示すデジタルデータと反射光を示すデジタルデータとを対応付け、対応付けたデジタルデータから周辺環境Ｂに含まれる被視点ｂを検出する。なお、本明細書において、被験者Ａによる被視点ｂは、被験者Ａの目に映る点や領域や部分を示す。
【００２７】
反射光検出手段１０６は、眼球追跡手段１１０を備え得る。被視点検出手段１０８は、第１記録手段１１２と第２記録手段１１４とを備え得る。眼球追跡手段１１０、第１記録手段１１２及び第２記録手段１１４の詳細は、後述する。
【００２８】
[視線検出方法]
図２は、視線検出装置１００の動作を示すフローチャートである。図３は、視線検出装置１００の各構成要素によって検出される画像を示す写真である。図１〜図３を参照して、視線検出方法を説明する。下記に示すように視線検出装置１００によってステップ２０２からステップ２１６を実行することで本発明の実施形態１による視線検出が実現する。
【００２９】
ステップ２０２：視線検出装置１００を駆動することにより、投影手段１０２は周辺環境Ｂに光を投影する。図３（ａ１）は、投影手段１０２が部屋の壁に投影した投影像を示す。周辺環境Ｂに光を投影した後に、動作はステップ２０４に進む。
【００３０】
ステップ２０４：投影光検出手段１０４は周辺環境Ｂに投影された投影光を検出する。例えば、投影光検出手段１０４は投影光を検出し、投影光によって示された投影像を画像処理する。図３（ａ２）は、投影光検出手段１０４によって処理された投影像データを示す。投影像データは被視点検出手段１０８に送信され、動作はステップ２０６に進む。
【００３１】
ステップ２０６：被験者Ａが周辺環境Ｂに投影された投影光を見る。被験者Ａが投影光を見たままの状態で、動作はステップ２０８に進む。
【００３２】
ステップ２０８：被験者Ａの眼球ａの表面に周辺環境Ｂに投影された投影光の少なくとも一部が映る。図３（ｂ１）は、被験者Ａの眼球ａの表面に映っている投影像を示す。投影光が被験者Ａの眼球ａの表面に映っている状態で、動作はステップ２１０に進む。
【００３３】
ステップ２１０：投影光の少なくとも一部が被験者Ａの眼球ａの表面から反射する。投影光が被験者Ａの眼球ａの表面から反射している状態で、動作はステップ２１２に進む。
【００３４】
ステップ２１２：反射光検出手段１０６は、被験者Ａの眼球ａから反射した反射光を検出する。例えば、反射光検出手段１０６は反射光を検出し、反射光によって示された反射像を画像処理する。図３（ｂ２）は、反射光検出手段１０６によって処理された反射像データを示す。反射像データは被視点検出手段１０８に送信され、動作はステップ２１４に進む。
【００３５】
ステップ２１４：被視点検出手段１０８は、反射光と投影光とを照合する。例えば被視点検出手段１０８は、反射光検出手段１０６から受信した反射像データと投影光検出手段１０４から受信した投影像データとを対応付ける。対応付けた後に、動作はステップ２１６に進む。
【００３６】
ステップ２１６：対応付けたデジタルデータから被視点ｂを検出する。
【００３７】
以上、図１から図３を参照して、本発明の実施形態１に係る視線検出装置１００と視線検出方法とを説明した。本発明の視線検出装置によれば、反射光と周辺環境の光とに基づいて、被験者による被視点を検出する。従って、頭部に対する眼球の角度を検出することなく、被験者の周辺環境への視線を検出することができる。その結果、乳幼児の視線を検出し発達障害の有無を判断するなど、人間の視覚や知能の発達理解に適用することが可能な視線検出装置を実現することができる。
【００３８】
本発明に係る視線検出装置の好適な実施形態によれば、周辺環境に光を投影する投影手段を更に備え、被視点検出手段は、反射光と周辺環境に投影された投影光とを照合して、被験者による被視点を検出する。投影光は、広領域に照射することが可能であるため、広域環境での視線検出が可能となる。また、周辺環境に投影する光は能動的であるため光の明るさを制御し易く、明るい反射光を検出することができ、安定した視線検出が可能となる。
【００３９】
本発明に係る視線検出装置の好適な実施形態によれば、投影光を検出する投影光検出手段を更に備え、被視点検出手段は、反射光と検出された投影光とを照合して、被験者による被視点を検出する。従って、光が凹凸のある周辺環境に投影された場合でも、視線検出装置は被験者の周辺環境の光を検出することができる。その結果、周辺環境の形状に左右されることなく被験者の視線を高精度に検出することができる。
【００４０】
なお、図１を参照して説明したように、反射光検出手段１０６は、被験者Ａの眼球ａを追跡する眼球追跡手段１１０を備え得る。被験者Ａの眼球ａの追跡は、デジタルカメラによって被験者Ａの顔領域を検出し、高倍率なズームレンズを持った別カメラをパン・チルトさせることで実行し得る。例えば、通常のカメラで顔認識を行い目領域の位置を検出した上で、ズームカメラで目領域の拡大像を撮影する。眼球追跡手段１１０を被験者Ａの頭部に取り付け得るが、パン・チルト・ズームさせながら撮影する構成が実現できれば、被験者に機器を装着することなく周辺環境Ｂ中に設置することで被験者Ａの眼球ａを追跡し得る。ステップ２１２において、眼球追跡手段１１０が被験者Ａの眼球ａを追跡することによって、反射光検出手段１０６の反射光検出の確度が高まる。
【００４１】
このように、本発明に係る視線検出装置の好適な実施形態によれば、反射光検出手段は、被験者の眼球を追跡する眼球追跡手段を更に備える。従って、被験者が挙動の不安定な者であっても、また、着座していない者であっても、被験者の眼球からの反射光を精度よく検出することができる。その結果、安定した視線検出が可能となり、更に被験者の視線を高精度に検出することができる。
【００４２】
図１を参照して説明したように、被視点検出手段１０８は、周辺環境Ｂを示す複数の光データを記録する第１記録手段１１２と複数の反射光データを記録する第２記録手段１１４とを更に備え得る。被視点検出手段１０８は、複数の反射光データと周辺環境Ｂを示す複数の光データとを照合することによって、被験者Ａによる被視点ｂを検出する。
【００４３】
時刻ｔ１において、投影手段１０２は投影光１を投影する。投影光検出手段１０４は投影光１に対応する第１光データを検出し、第１記録手段１１２に第１光データを記録する。反射光検出手段１０６は投影光１に対応する第１反射光データを検出し、第２記録手段１１４に第１反射光データを記録する。時刻ｔ２において、投影手段１０２は投影光２を投影する。投影光検出手段１０４は投影光２に対応する第２光データを検出し、第１記録手段１１２に第２光データを記録する。反射光検出手段１０６は投影光２に対応する第２反射光データを検出し、第２記録手段１１４に第２反射光データを記録する。
【００４４】
時刻ｔ１から時刻ｔｘにかけて、第１記録手段１１２には、第１光データから第ｘ光データが記録される。第２記録手段１１４には、第１反射光データから第ｘ反射光データが記録される。被視点検出手段１０８は、複数の反射光データ（第１反射光データから第ｘ反射光データ）と周辺環境Ｂを示す複数の光データ（第１光データから第ｘ光データ）とを照合することによって、被験者Ａによる被視点ｂを検出する。
【００４５】
このように、本発明に係る視線検出装置の好適な実施形態によれば、複数の反射光データを記録する第１記録手段と周辺環境の複数の光データを記録する第２記録手段とを更に備え、被視点検出手段は、複数の反射光データと周辺環境の複数の光データとを照合することによって、被験者による被視点を検出する。従って、所望のタイミングで反射光を検出できない場合でも、別のタイミングで検出した反射光と周辺環境の光とを照合することができる。また検出に成功したデータの外挿や内挿によって、検出に失敗したデータを推定することができる。その結果、被験者の視線を更に高精度に検出することができる。
【００４６】
なお、反射光検出手段１０６が被験者Ａの眼球ａから反射した反射光を検出し得る場合は、反射光検出手段１０６が眼球追跡手段１１０を備えることは必須ではない。また、被視点検出手段１０８が、複数の反射光データと周辺環境Ｂを示す複数の光データとを照合し得る場合は、視線検出装置１００が第１記録手段１１２及び第２記録手段１１４を備えることは必須ではない。
【００４７】
更に、被視点検出手段１０８が反射光と周辺環境Ｂの光とに基づいて、被験者Ａの被視点ｂを検出し得る場合は、視線検出装置１００が投影手段１０２を備えることは必須ではない。また、被視点検出手段１０８が反射光と周辺環境Ｂに投影された投影光とを照合して、被験者Ａの被視点ｂを検出し得る場合は、視線検出装置１００が投影光検出手段１０４を備えることも必須ではない。
【００４８】
なお、視線検出装置において、「反射光検出手段が、被験者Ａの眼球ａから反射した反射光を検出し」、「被視点検出手段が、反射光と周辺環境の光とに基づいて、被験者Ａによる被視点ｂを検出」し得る場合には、投影手段及び投影光検出手段は必須ではない。周辺環境光検出手段によって、周辺環境の光を検出し得る。投影手段及び投影光検出手段は、周辺環境光検出手段として機能する。
【００４９】
更に、本発明の視線検出装置は投影手段及び投影光検出手段を備えた投影型に限定されない。本発明の視線検出装置は表示型であり得る。以下、表示型視線検出装置を説明する。
【００５０】
[実施形態２] 
[表示型視線検出装置] 
図４は、本発明の実施形態２に係る視線検出装置２００を示す模式図である。視線検出装置２００は、表示型視線検出装置である。視線検出装置２００は、視線検出装置１００と同様に被験者Ａの周辺環境Ｂへの視線を検出する。視線検出装置２００は、表示手段２０２と、反射光検出手段１０６と、被視点検出手段１０８とを備える。反射光検出手段１０６は、眼球追跡手段１１０を備える。被視点検出手段１０８は、第１記録手段１１２と第２記録手段１１４とを備える。表示手段２０２以外の各構成要素は、図１を参照して実施形態１で説明した視線検出装置１００が備える各構成要素と同様の機能を有するので、これらの詳細な説明は省略する。
【００５１】
表示手段２０２は、周辺環境Ｂの光を表示する。表示手段２０２は、例えば、光を発する表示板やモニター画面である。周辺環境Ｂの光は、表示手段２０２に表示された表示像データとして、被視点検出手段１０８に送信される。反射光検出手段１０６は、被験者Ａの眼球ａから反射した反射光を検出し、反射像データとして被視点検出手段１０８に送信する。被視点検出手段１０８は、反射光検出手段１０６によって検出された反射光と表示手段２０２によって表示された表示光とを照合して、被験者Ａによる被視点ｂを検出する。
【００５２】
[視線検出方法] 
図５は、視線検出装置２００の動作を示すフローチャートである。図５を参照して、視線検出方法を説明する。下記に示すように視線検出装置２００によってステップ５０２からステップ５０８、及びステップ２１０からステップ２１６を実行することで本発明の実施形態２による視線検出が実現する。ステップ５０２からステップ５０８以外の各ステップは、図２を参照して実施形態１で説明した視線検出方法が包含する各ステップと同様であるので、これらの詳細な説明は省略する。
【００５３】
ステップ５０２：表示手段２０２は、表示画面に周辺環境Ｂの光を表示する。表示画面に光を表示した後に、動作はステップ５０４に進む。
ステップ５０４：表示手段２０２は、周辺環境Ｂの光を示す表示像データを被視点検出手段１０８に送信し、動作はステップ５０６に進む。
ステップ５０６：被験者Ａが表示手段２０２に表示された表示像を見る。被験者Ａが画像を見たままの状態で、動作はステップ５０８に進む。
ステップ５０８：被験者Ａの眼球ａの表面に、表示手段２０２に表示された表示像の少なくとも一部が映る。表示像が被験者Ａの眼球ａの表面に映っている状態で、動作はステップ２１０に進む。
ステップ２１０、ステップ２１２を順次実行し、ステップ２１４にて被視点検出手段１０８は、反射光検出手段１０６から受信した反射像データと表示手段２０２から受信した表示像データとを対応付ける。さらに、ステップ２１６を実行し、対応付けたデジタルデータから被験者Ａの被視点ｂを検出する。
【００５４】
以上、図４、図５を参照して本発明の実施形態２に係る視線検出装置２００と視線検出方法とを説明した。本発明に係る視線検出装置の好適な実施形態によれば、周辺環境の光を表示する表示手段を更に備え、被視点検出手段は、反射光と表示手段に表示された表示光とを照合して、被験者による被視点を検出する。従って周辺環境の形状は常に表示手段の表示領域のため、周辺環境の形状は常に認識し得る。その結果、被験者の視線を高精度に検出することができる。また、表示手段に表示される光は能動的であるため光の明るさを制御し易く、明るい反射光を検出することができ、安定した視線検出が可能となる。
【００５５】
なお、本発明の実施形態２に係る視線検出装置２００において、周辺環境の光を表示する表示手段２０２は、周辺環境の光を検出し得る周辺環境光検出手段として機能する。表示手段２０２は、表示する周辺環境の光を被視点検出手段に伝える。
【００５６】
以上、図１から図５を参照して、本発明の視線検出装置及び視線検出方法を説明したが、反射光は、被験者Ａの瞳の中心から反射した光に限定されない。反射光検出手段１０６が被験者Ａの眼球ａから反射した反射光を検出できる場合は、反射光は、被験者Ａの瞳の周辺から反射した光であり得る。従って被験者の瞳の周辺部分から反射した光から外挿や内挿によって、瞳の中心に対応する光を推定することができる。その結果、安定した視線検出が可能となる。
【００５７】
また、投影手段１０２から投影される光が周辺環境Ｂに投影され得る場合には、投影手段１０２から投影される光は可視光に限定されない。不可視光（赤外線光等）であり得る。また、投影光検出手段１０４や反射光検出手段１０６は、投影光を検出し得る場合には、不可視光を検出し得るカメラであり得る。例えば投影手段１０２は高輝度赤外プロジェクタである。市販のプロジェクタをベースにして光源を赤外ランプに変更し、必要であれば若干光学系を組み替えることで高輝度赤外プロジェクタを実現し得る。複数の赤外プロジェクタを組み合わせることで、より広範囲の領域をカバーできる構成をも実現し得る。赤外光は不可視光であるため、被験者には認識することができない。従って、被験者に気づかれることなく被験者の視線を検出し得、周辺環境の光に惑わされることで被験者の挙動が不安定になることを防ぐことができる。
【実施例】
【００５８】
図６は、本発明の実施例に係る視線検出で用いるグレイコードパターンを示す。グレイコードパターンは、プロジェクタを用いた三次元計測でよく用いられる。グレイコードパターンは１枚の投影画像で１ビットを表す。本実施例では、Ｘ方向及びＹ方向の各々に５ビット（Ｘ方向に５枚、Ｙ方向に５枚）のグレイコードパターンを用いた。Ｘ方向及びＹ方向の各々の解像度は３２である。
【００５９】
時刻ｔ１において、空間ｘ１から空間ｘ５のグレイコードパターンはＨｉｇｈ（Ｈ）であり、空間ｘ５から空間ｘ９のグレイコードパターンはＬｏｗ（Ｌ）である。時刻ｔ２において、空間ｘ１から空間ｘ３及び空間ｘ５から空間ｘ７のグレイコードパターンはＨｉｇｈ（Ｈ）であり、空間ｘ３から空間ｘ５及び空間ｘ７から空間ｘ９のグレイコードパターンはＬｏｗ（Ｌ）である。時刻ｔ３において、空間ｘ１から空間ｘ２、空間ｘ３から空間ｘ４、空間ｘ５から空間ｘ６及び空間ｘ７から空間ｘ８のグレイコードパターンはＨｉｇｈ（Ｈ）であり、空間ｘ２から空間ｘ３、空間ｘ４から空間ｘ５、空間ｘ６から空間ｘ７及び空間ｘ８から空間ｘ９のグレイコードパターンはＬｏｗ（Ｌ）である。従って、グレイコードパターンがＨＨＬである場合は、被験者Ａの視点は空間ｘ２から空間ｘ３の間にあり、グレイコードパターンがＬＨＨである場合は、被験者Ａの視点は空間ｘ５から空間ｘ６の間にあることを検出し得る。
【００６０】
図７は、本発明の実施例に係る視線検出装置１００の各構成要素によって検出される画像を示す写真である。図１、図６及び図７を参照して、本発明の実施例を説明する。本発明の実施例に係る視線検出装置１００は、可視光プロジェクタ（投影手段１０２）と、第１カメラ（投影光検出手段１０４）と、第２カメラ（反射光検出手段１０６）と、情報処理装置（被視点検出手段１０８、例えばＣＰＵ）とを備える。プロジェクタ投影面と被験者Ａの眼球ａとの距離を３ｍ程度とし、第２カメラと眼球ａとの間が６０ｃｍ程度になるように第２カメラを設置した。
【００６１】
実験環境は通常の光源環境であり、可視光プロジェクタの投影面は通常の部屋の壁である（図７（ａ））。可視光プロジェクタによって時空間パターン（グレイコードパターン）をプロジェクタ投影面（部屋の壁）に投影した。被験者Ａの眼球ａの表面には縞模様が映る。図７（ｂ）は、時刻ｔ１における眼球ａの表面と時刻ｔ２における眼球ａの表面と時刻ｔ３における眼球ａの表面とを示す。第１カメラ（投影光検出手段１０４）は投影光を検出し、投影光によって示された投影像をデジタル処理する（図７（ｃ））。投影像データは情報処理装置（被視点検出手段１０８）に送信される。第２カメラ（反射光検出手段１０６）は反射光を検出し、反射光によって示された反射像をデジタル処理する（図７（ｄ））。反射像データは情報処理装置（被視点検出手段１０８）に送信される。情報処理装置（被視点検出手段１０８）は、反射像データと投影光検出手段１０４から受信した投影像データとを対応付け、対応付けたデジタルデータから被視点ｂを検出する。
【００６２】
可視光プロジェクタから投影された画像が４ｍ四方の対象領域に投影されたと仮定すると１２．５ｃｍの分解能で識別できることになる。この場合、視線推定角度は約２．３度となり、瞳の位置から視線を推定する従来法の精度が５〜６度であるのに対し大幅の精度向上が達成できた。本発明の実施例では、少なくとも８５ｆｒａｍｅ／ｓｅｃ程度の画像によって、安定してパターンを検出し得ることを確認した。
【００６３】
本発明に係る視線検出装置の好適な実施形態によれば、複数の光データは、複数のグレイコードパターンを示す。その結果、単純なパターンで被験者の被視点を高精度に検出することができる。
【産業上の利用可能性】
【００６４】
本発明の視線検出装置及び視線検出方法を適用すれば、店舗内での顧客の視線を検出し得、経済効率のより商品ディスプレイが実現する。また、生活空間で被験者の視線の動きを解析し得、被験者に使い易い生活環境を設計することも可能となる。また、ユーザーインタフェースへの応用として、生活空間における視線情報を用いたユビキタス・アンビエントインタフェースを開発し得る。特に子供、お年寄りや障碍者から得る情報として視線は重要であり、非装着型の視線追跡インタフェースは大きな役割を果たし得る。例えば、自閉症等、子供の発達障害の診断には視線情報が重要であるが、実験室環境で得られた視線情報を用いて子供を診断し得る。本発明の実施形態に係る視線検出装置の実現により、非装着型で乳幼児の高精度の視線情報を得ることが出来、ライフサイエンス分野にも大きな貢献が期待できる。
【符号の説明】
【００６５】
Ａ      被験者
ａ      眼球
Ｂ      周辺環境
ｂ      被視点
１００  視線検出装置
１０２  投影手段
１０４  投影光検出手段
１０６  反射光検出手段
１０８  被視点検出手段
１１０  眼球追跡手段
１１２  第１記録手段
１１４  第２記録手段
２００  視線検出装置
２０２  表示手段
【図１】
2012055418.tif 000003
【図２】
2012055418.tif 000004
【図３】
2012055418.tif 000005
【図４】
2012055418.tif 000006
【図５】
2012055418.tif 000007
【図６】
2012055418.tif 000008
【図７】
2012055418.tif 000009