(57)【要約】  本発明は、人が対象３を見る視聴活動の間、人の、特に子供の目状態を決定する目状態決定システム１に関する。空間特性キャプチャユニット２が、対象の空間的な寸法及び／又は視聴活動の間の人に対する対象の空間的な位置をキャプチャし、目状態決定ユニット４が、対象のキャプチャされた空間的な寸法及び／又は人に対する対象のキャプチャされた空間的な位置に基づき、近視又は斜視といった目状態を決定する。これは、例えば両親による任意の支援なしに、特に任意のユーザ相互作用なしに、テキストを読むといった通常の視聴活動の間、目の状態を決定することを可能にする。
2017522104.tif 000002
【特許請求の範囲】
【請求項１】
人の目の状態を決定する目状態決定システムであって、前記システムが、前記人が対象を見る視聴活動の間、前記目の状態を決定するよう構成され、
前記対象の空間的な寸法及び／又は前記視聴活動の間、前記人に対する前記対象の空間的な位置をキャプチャする空間特性キャプチャユニットと、
前記対象の前記キャプチャされた空間的な寸法及び／又は前記人に対する前記対象の前記キャプチャされた空間的な位置に基づき、前記目の状態を決定する目状態決定ユニットとを有する、システム。
【請求項２】
前記システムが、前記人に付けられる人カメラにより生成される前記対象の画像である対象画像、及び／又は、前記対象に付けられる対象カメラにより生成される前記人の顔の画像である顔画像を提供する画像提供ユニットを更に有し、
前記空間特性キャプチャユニットは、前記提供された対象画像及び／又は前記提供された顔画像に基づき、前記人に対する前記対象の前記空間的な位置を決定するよう構成される、請求項１に記載の目状態決定システム。
【請求項３】
前記システムが、前記対象の画像である対象画像を提供する画像提供ユニットを更に有し、
前記空間特性キャプチャユニットは、前記提供された対象画像に基づき、前記対象の前記空間的な寸法を決定するよう構成される、請求項１に記載の目状態決定システム。
【請求項４】
前記画像提供ユニットが、前記人に付けられる人カメラにより生成された対象画像を提供するよう構成される、請求項３に記載の目状態決定システム。
【請求項５】
前記対象が、ディスプレイを持つコンピュータであり、
前記システムは、前記ディスプレイの画面ショットを提供する画面ショット提供ユニットを有し、
前記空間特性キャプチャユニットが、前記提供された画面ショットに基づき、前記対象の前記空間的な寸法を決定するよう構成される、請求項１に記載の目状態決定システム。
【請求項６】
前記対象が、ディスプレイを持つコンピュータであり、
前記空間特性キャプチャユニットは、前記コンピュータのオペレーティングシステムのアプリケーションユーザインタフェースを介して、前記空間的な寸法を受信するよう構成される、請求項１に記載の目状態決定システム。
【請求項７】
前記システムが、前記人の顔の画像である顔画像を提供する画像提供ユニットと、前記提供された顔画像に基づき、前記目の形状を決定する目形状決定ユニットとを更に有し、
前記目状態決定ユニットは、前記目の前記決定された形状に基づき、前記目の状態を決定するよう構成される、請求項１に記載の目状態決定システム。
【請求項８】
前記システムが、前記人の顔の画像である顔画像を提供する画像提供ユニットと、前記提供された顔画像に基づき、前記目の視覚軸を決定する視覚軸決定ユニットとを更に有し、
前記目状態決定ユニットは、前記目の前記決定された視覚軸に基づき、前記目の状態を決定するよう構成される、請求項１に記載の目状態決定システム。
【請求項９】
前記空間特性キャプチャユニットが、前記対象の前記視覚的な空間的な寸法として前記対象の要素の間の要素距離をキャプチャするよう構成される、請求項１に記載の目状態決定システム。
【請求項１０】
前記対象が、要素として文字を示し、
前記要素距離は、文字の間の距離及び／又は前記文字により形成される語の間の距離及び／又は前記文字により形成されるラインの間の距離である、請求項９に記載の目状態決定システム。
【請求項１１】
前記目状態決定ユニットが、前記目の状態として、視力及び／又は斜視を決定するよう構成される、請求項１に記載の目状態決定システム。
【請求項１２】
前記システムが、前記決定された目の状態に基づき、警告メッセージを生成する警告メッセージ生成ユニットを更に有する、請求項１に記載の目状態決定システム。
【請求項１３】
人の目の状態を決定する目状態決定方法において、前記方法が、前記人が対象を見る視聴活動の間、前記目の状態を決定するよう構成され、
空間特性キャプチャユニットにより、前記対象の空間的な寸法及び／又は前記視聴活動の間の前記人に対する前記対象の空間的な位置をキャプチャするステップと、
目状態決定ユニットにより、前記対象の前記キャプチャされた視覚的な空間的な寸法及び／又は前記人に対する前記対象の前記キャプチャされた空間的な位置に基づき、前記目の状態を決定するステップとを有する、方法。
【請求項１４】
人の目の状態を決定するコンピュータプログラムであって、目状態決定システムを制御するコンピュータで実行されるとき、請求項１に記載の目状態決定システムに、請求項１３に記載の目状態決定方法のステップを実行させるためのプログラムコード手段を有する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の目の状態を決定する、目状態決定システム、方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
ＵＳ２０１０／０２５３９１３Ａ１号は、人の読書視力を測定するシステムを開示する。このシステムは、人に対して異なるサイズを持つ文字を示し、その人が個別の文字を読むことができるかどうかをシステムに入力しなければならない。このシステムはその後、人により提供される入力に基づき、及び個別の文字サイズに基づき、読書視力を決定する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
このシステムは、読書視力の測定がユーザ相互作用を必要とし、その結果、幼児が、両親の支援なしにシステムを使用することができないという欠点を持つ。
【０００４】
本発明の目的は、人の目の状態を決定する目状態決定システム、方法及びコンピュータプログラムを提供することである。これは、例えば両親に支援を要求することなしに幼児の目の状態の決定を可能にするものである。
【課題を解決するための手段】
【０００５】
本発明の第１の側面において、人の目の状態を決定する目状態決定システムが提示され、上記システムが、上記人が対象を見る視聴活動の間、上記目状態を決定するよう構成され、
上記対象の空間的な寸法及び／又は上記視聴活動の間、上記人に対する上記対象の空間的な位置をキャプチャする空間特性キャプチャユニットと、
上記対象の上記キャプチャされた空間的な寸法及び／又は上記人に対する上記対象の上記キャプチャされた空間的な位置に基づき、上記目状態を決定する目状態決定ユニットとを有する。
【０００６】
このシステムは、人が対象を見る視聴活動の間、目状態を決定するよう構成され、視聴活動は、本を読む、テレビのスクリーンを見る、コンピュータのディスプレイを見る等の通常の視聴活動とみなされ、即ち目状態を決定するための特定の視聴活動ではなく、ディスプレイ又は本といった見られる対象の空間的な寸法及び／又は人に対する見られる対象の空間的な位置が、視聴活動の間キャプチャされ、視力又は斜視といった目状態が、対象のキャプチャされた視覚的な空間的な寸法及び／又は人に対する対象のキャプチャされた空間的な位置に基づき決定されるので、目状態が、通常の活動の間、例えば親により任意の支援なしに、特に任意のユーザ相互作用なしに、決定されることができる。
【０００７】
見られる対象は例えば、本、黒板、掲示板、道路標識、紙文書、タッチパッド又はパーソナルコンピュータモニタといったスクリーンを持つコンピュータ、テレビ等とすることができる。対象の視覚的な空間的な寸法は好ましくは、対象に示される内容の空間的な寸法である。例えば、対象が本又はコンピュータである場合、視覚的な空間的な寸法はそれぞれ、本の内容の、又は、コンピュータのスクリーンの大きさとすることができる。ある実施形態において、視覚的な空間的な寸法は、テキストフォントサイズ又はライン間隔である。
【０００８】
ある実施形態において、上記システムが、上記人に付けられる人カメラにより生成される上記対象の画像である対象画像、及び／又は、上記対象に付けられる対象カメラにより生成される上記人の顔の画像である顔画像を提供する画像提供ユニットを有し、上記空間特性キャプチャユニットは、上記提供された対象画像及び／又は上記提供された顔画像に基づき、上記人に対する上記対象の上記空間的な位置を決定するよう構成される。
【０００９】
人カメラは好ましくは、人カメラを人に付けるため、人により着用される眼鏡に一体化される。例えば、人カメラは、眼鏡に埋められることができる。人が眼鏡を通して対象を見る場合、人カメラは、人から離れる向きを指す。この場合、本実施形態において、人に対する対象の決定された空間的な位置は好ましくは、眼鏡に対する対象の空間的な位置である。対象カメラは、対象と一体化されることができる。例えば、対象は、タッチパッド又はパーソナルコンピュータモニタといったスクリーンを持つコンピュータ、テレビ等とすることができる。ここで、対象カメラは、人に面するカメラであり、対象に組み込まれることができる。
【００１０】
空間的な位置は、人及び対象の間の空間的な距離を規定する。これは好ましくは目状態を決定するのに使用される。人に対する対象の空間的な位置を決め、及び従って人と対象との間の空間的な距離を決定するのに、既知の画像ベースの距離推定アルゴリズムが使用されることができる。例えば、はＥＰ２５７３６９６Ａ２号に開示されるアルゴリズムであり、これは本書において参照により含まれる。
【００１１】
ある実施形態において、上記システムが、上記対象の画像である対象画像を提供する画像提供ユニットを有し、上記空間特性キャプチャユニットは、上記提供された対象画像に基づき、上記対象の上記空間的な寸法を決定するよう構成される。特に、画像提供ユニットは、人に付けられる人カメラにより生成された対象画像を提供するよう構成される。また、本実施形態において、人カメラは好ましくは、人に対して人カメラを付けるため、人により着用される眼鏡と一体化される。例えば、人カメラは、眼鏡に埋められることができる。ここで、人が眼鏡を通して対象を見る場合、人カメラは人から離れる向きを指す。対象の空間的な寸法を決定するのに使用される対象画像は、人に対する対象の位置、特に対象及び人の間の距離を決定するのに使用されることもできる。
【００１２】
好ましい実施形態において、上記対象が、ディスプレイを持つコンピュータであり、上記システムは、上記ディスプレイの画面ショットを提供する画面ショット提供ユニットを有し、上記空間特性キャプチャユニットが、上記提供された画面ショットに基づき、上記対象の上記空間的な寸法を決定するよう構成される。代替的に、又は、追加的に、空間特性キャプチャユニットは、コンピュータのオペレーティングシステムのアプリケーションユーザインタフェース（ＡＰＩ）を介して空間的な寸法を受信するよう構成されてもよい。
【００１３】
ある実施形態において、上記システムが、上記人の顔の画像である顔画像を提供する画像提供ユニットと、上記提供された顔画像に基づき、上記目の上記形状及びオプションで上記目の大きさを決定する目形状決定ユニットとを有し、上記目状態決定ユニットは、上記目の上記決定された形状に基づき、及びオプションで上記目の決定された大きさに基づき、上記目状態を決定するよう構成される。更に、ある実施形態において、上記システムが、上記提供された顔画像に基づき、上記目の上記視覚軸を決定する視覚軸決定ユニットを有し、上記目状態決定ユニットは、上記目の上記決定された視覚軸に基づき、上記目状態を決定するよう構成される。目状態を決定するのにこれらのパラメータを更に使用することにより、目状態はより正確に決定されることができ、及び／又は、複数の異なる種類の目状態が決定されることができる。
【００１４】
空間特性キャプチャユニットは好ましくは、対象の視覚的な空間的な寸法として対象の要素の間の要素距離をキャプチャするよう構成される。特に、上記対象が、要素として文字を示すことができる。ここで、上記要素距離は、文字の間の距離及び／又は上記文字により形成される語の間の距離及び／又は上記文字により形成されるラインの間の距離である。
【００１５】
目状態決定ユニットは好ましくは、目状態として視力及び／又は斜視を決定するよう構成される。例えば、空間特性キャプチャユニットは、対象の視覚的な空間的な寸法として対象の要素の間の要素距離及び対象の空間的な位置として人と対象との間の空間的な距離をキャプチャするよう構成されることができ、目状態決定ユニットは、要素距離及び人とび対象との間の空間的な距離に基づき、視力を決定するよう構成されることができる。更に、目状態決定ユニットは、ａ）決定された形状及びオプションで人の目まぶたの決定された大きさ及びｂ）対象のキャプチャされた視覚的な空間的な寸法及び／又は人に対する対象のキャプチャされた空間的な位置に基づき、視力を決定するよう構成されることができる。更に、目状態決定ユニットは、人の目の視覚軸が、対象のキャプチャされた空間的な位置で収束するかどうかに基づき、斜視を決定するよう構成されることができる。
【００１６】
システムは、決定された目状態に基づき、警告メッセージを生成する警告メッセージ生成ユニットを更に有することができる。警告メッセージ生成ユニットは好ましくは、目状態が決定された児童の両親といった特定の人に対して警告メッセージを提供するよう構成される。特に、警告メッセージ生成ユニットは、異常な目状態、即ち所定の目状態から逸脱する目状態が決定された場合、例えば電子メール又は別のフォーマットにおいて親に警告メッセージを送信するよう構成されることができる。
【００１７】
本発明の更なる側面において、人の目の状態を決定する目状態の決定方法が提示され、上記方法が、上記人が対象を見る視聴活動の間、上記目状態を決定するよう構成され、
空間特性キャプチャユニットにより、上記対象の空間的な寸法及び／又は上記視聴活動の間の上記人に対する上記対象の空間的な位置をキャプチャするステップと、
目状態決定ユニットにより、上記対象の上記キャプチャされた視覚的な空間的な寸法及び／又は上記人に対する上記対象の上記キャプチャされた空間的な位置に基づき、上記目状態を決定するステップとを有する。
【００１８】
本発明の更なる側面において、人の目の状態を決定するコンピュータプログラムが提示され、このコンピュータプログラムは、目状態決定システムを制御するコンピュータで実行されるとき、請求項１に記載の目状態決定システムに、請求項１３に記載の目状態決定方法のステップを実行させるためのプログラムコード手段を有する。
【００１９】
請求項１の目状態決定装置、請求項１３の目状態決定方法及び請求項１４のコンピュータプログラムが、従属項に記載されるのと類似する及び／又は同一の好ましい実施形態を持つ点を理解されたい。
【００２０】
本発明の好ましい実施態様は、従属項又は上記実施形態と個別の独立請求項との任意の組み合わせとすることもできる点を理解されたい。
【図面の簡単な説明】
【００２１】
【図１】人の目の状態を決定する目状態決定システムの実施形態を概略的かつ例示的に示す図である。
【図２】目状態を決定する目状態決定システムにより使用される空間的なパラメータを概略的かつ例示的に示す図である。
【図３】目状態を決定する目状態決定システムにより使用される空間的なパラメータを概略的かつ例示的に示す図である。
【図４】対象に焦点を合わせる間のユーザの目の形状及び大きさを概略的かつ例示的に示し、近視患者の目を示す図である。
【図５】対象に焦点を合わせる間のユーザの目の形状及び大きさを概略的かつ例示的に示し、健常な人の目を示す図である。
【図６】人の目の状態を決定する目状態決定システムの更なる実施形態を概略的かつ例示的に示す図である。
【図７】目標対象の位置に対する、人の２つの視覚軸の交差の異なる位置を概略的かつ例示的に示す図である。
【図８】目標対象の位置に対する、人の２つの視覚軸の交差の異なる位置を概略的かつ例示的に示す図である。
【図９】目標対象の位置に対する、人の２つの視覚軸の交差の異なる位置を概略的かつ例示的に示す図である。
【図１０】人の目の状態を決定する目状態決定方法の実施形態を例示的に説明するフローチャートを示す図である。
【発明を実施するための形態】
【００２２】
本発明のこれら及び他の側面が、以下に説明される実施形態から明らかとなり、これらの実施形態を参照して説明されることになる。
【００２３】
図１は、人の目の状態を決定する目状態決定システムの実施形態を概略的かつ例示的に示す。システム１は、視聴活動の間、目状態を決定するよう構成される。視聴活動の間、人は、目状態を決定するためではなく、対象３を見る。即ち、システム１は、通常の活動から人の気を散らすことなしに、及び目状態試験を実行するために人からの任意の意識的な処理を必要とすることなしに、人の通常の活動の間、目状態を決定するよう構成される。
【００２４】
システム１は、視聴活動の間、対象３の空間的な寸法をキャプチャする空間特性キャプチャユニット２を有する。本実施形態において、対象３はタッチパッド又はパーソナルコンピュータのモニタといったスクリーンを持つコンピュータである。空間特性キャプチャユニットは、対象の空間的な寸法としてコンピュータ３により示される内容の空間的な寸法をキャプチャするよう構成される。例えば、空間特性キャプチャユニット２は、対象の空間的な寸法としてコンピュータ３により示されるテキストのフォントサイズ及び／又はライン間隔をキャプチャするよう構成されることができる。本実施形態において、空間特性キャプチャユニット２は、空間的な寸法を決定するため、コンピュータのディスプレイの画面ショットを使用し、これは、画面ショット提供ユニット７により提供される。従って、視聴内容キャプチャユニットとも見なされることができる空間特性キャプチャユニット２及び画面ショット提供ユニット７は、コンピュータ３にあるソフトウェアプログラムとすることができる。この場合、このソフトウェアプログラムは、コンピュータ３のディスプレイの画面ショットをコンスタントに取り、空間的な寸法、特にディスプレイに示されるテキストのフォントサイズ及び／又はライン間隔をキャプチャするため、表示される内容の特性を分析する。別の実施形態では、空間特性キャプチャユニットは、コンピュータ３のオペレーティングシステムのアプリケーションユーザインタフェース（ＡＰＩ）を介して空間的な寸法を受信するよう構成されることもできる。こうして、例えば、空間特性キャプチャユニットは、コンピュータ３の基礎をなすオペレーティングシステムのＡＰＩを使用することにより、表示される内容の特性を知るため、関数呼び出しを発行することができる。
【００２５】
空間特性キャプチャユニット２は更に、視聴活動の間、人に対するコンピュータ３の空間的な位置、特にコンピュータ３のディスプレイの位置をキャプチャするよう構成される。特に、空間特性キャプチャユニット２は、人に面する組み込みカメラ５を使用することにより、コンピュータ３のディスプレイ及び人の目６の間の空間的な距離Ｄを決定するよう構成される。組み込みカメラ５は、画像提供ユニットとして、及び対象３に付けられる対象カメラとして考えられることができる。これは、人の顔の画像を提供するよう構成される。組み込みカメラ５により生成される顔画像に基づき、コンピュータ３のディスプレイ及び人の目６の間の空間的な距離を決定するため、ＥＰ２５７３６９６Ａ２号に開示されるアルゴリズムのような既知の画像ベースの距離推定アルゴリズムが使用されることができる。
【００２６】
システム１は、対象３のキャプチャされた空間的な寸法及び人に対する対象３のキャプチャされた空間的な位置に基づき、目状態を決定する目状態決定ユニット４を更に有する。特に、目状態決定ユニット４は、コンピュータ３のディスプレイに示される内容の空間的な寸法に基づき、及び目６とコンピュータ３のディスプレイとの間の空間的な距離に基づき、人の目６の視力を決定するよう構成される。
【００２７】
図２は、組み込みカメラ５を備えるコンピュータ３を概略的かつ例示的に示す。ここで、コンピュータ３のディスプレイにテキストライン２０が示される。テキストライン２０の間の距離ｄｌは、空間特性キャプチャユニット２によりキャプチャされ、視力を決定するため目６及びコンピュータ３のディスプレイの間の空間的な距離Ｄと共に使用される。
【００２８】
コンピュータ３におけるテキストの文書を読むときの最高の視力を得るため、人は、自分の視聴距離を潜在意識的に調整することができるか、又は、視聴内容が電子的に調整可能である場合、例えば、ライン間隔及び／又はテキストフォントサイズ及び／又は隣接する文字若しくは語の間の距離を意図的に調整することができる。人がリーディングを行う好ましい距離は、組み込みカメラ５により生成される顔画像を用いて空間特性キャプチャユニット２により算出される、人の目６とコンピュータ３のディスプレイとの間の空間的な距離Ｄである。ライン間隔ｄｌ、又は、例えば図３において概略的かつ例示的に示される２つの隣接する文字の間の距離ｄｃは、空間特性キャプチャユニット２によりキャプチャされることができる。これは、コンピュータ３に表示される内容と同じ位置に配置されることができる。ライン間隔ｄｌ又は２つの隣接する文字の間の距離ｄｃ及び人の目６とコンピュータ３のディスプレイとの間の空間的な距離Ｄに基づき、
2017522104.tif 000003
として表される人の解像度角度が、目状態決定ユニット４により算出されることができる。比較的長時間にわたり解像度角度θをモニタすることにより、最大解像度角度、最小解像度角度及び平均解像度角度といった解像度角度に関する統計が得られることができる。決定された現在の解像度角度、最大解像度角度、最小解像度角度及び／又は平均解像度角度は、目状態決定ユニットにより決定される目状態と考えられることができる。例えば、個別の解像度値が比較的小さい場合、人の目６が、比較的高い視力を持つことが想定されることができ、一方解像度角度が比較的大きい場合、人の目６の視力が比較的小さいことが想定されることができる。こうして、あたかもその者がスネレンチャートで検査しているかのように、人の近見又は遠見視力が推定されることができる。
【００２９】
システム１は、組み込みカメラ５により生成される顔画像に基づき、目６の形状を決定する目形状決定ユニット１１を更に有する。本実施形態において、目形状決定ユニット１１は更に、目６の大きさを決定するよう構成される。ここで、目の形状及び大きさは、目の輪郭又は外形を決定することにより決定されることができ、目状態終了ユニット４は更に、目６の決定された大きさ及び形状に基づき、特に目の決定された輪郭又は外形に基づき、目状態を決定するよう構成される。
【００３０】
眼鏡がない又は不十分な近視患者は、目が好適に焦点合わせすることができるよう自分の目を細めることにより対象を見る傾向がある。これは、概略的かつ例示的に図４に示される。人が近視でない場合、目は、例えばテキストの文書を読む間、それほど細くならない。これは、概略的かつ例示的に図５に示される。従って、目形状決定ユニット１１は、例えば、顔画像に対して輪郭抽出アルゴリズムを適用することにより、目形状変化を検出するよう構成されることができる。空間特性キャプチャユニット２により検出される小さい又は遠くの要素を見るイベントに関連付けられる目を細めるイベントが頻繁に発見される場合、人が近視を持ち、特に眼鏡の能力が不十分である場合がある。目状態決定ユニット４は、視力を決定するためベイジアンネットワークといった機械学習モデルを使用するよう構成されることができる。ここで、機械学習モデルは、ａ）既知の距離及び／又は文字サイズ及び／又はライン間隔及び／又は目の形状及び／又は目の大きさ、特に目の輪郭又は外形及び人の年齢といったオプションの更なるパラメータ並びにｂ）既知の視力を含むトレーニングデータセットにより訓練されることができる。
【００３１】
システムは、提供された顔画像に基づき、目６の視覚軸を決定する視覚軸決定ユニット１２を更に有する。ここで、目状態決定ユニット４は、目６の決定された視覚軸及び人に対する対象３の空間的な位置に基づき、斜視を決定するよう構成される。特に、目状態決定ユニット４は、目６の視覚軸が対象３の空間的な位置で収束するかどうかを決定するよう構成されることができる。ここで、そうでない場合、目状態決定ユニット４は、人が斜視を持つと決定することができる。
【００３２】
システム１は、決定された目状態に基づき、警告メッセージを生成する警告メッセージ生成ユニット８を更に有する。例えば、近視及び／又は斜視が目状態決定ユニット４により決定された場合、警告メッセージ生成ユニット８は、警告メッセージを生成するよう構成されることができる。子供が近視及び／又は斜視を持つことを目状態決定ユニット４が検出した場合、警告メッセージ生成ユニット８は、両親といった特定の受取人に対して警告メッセージを送信するよう構成されることができる。警告メッセージは、例えば、音響警告メッセージ及び／又は光学警告メッセージとすることができる。警告メッセージは、例えば、両親の電子メールアドレスに対して送られるテキストメッセージとすることもできる。
【００３３】
図６は、人の目の状態を決定する目状態決定システムの更なる実施形態を概略的かつ例示的に示す。本実施形態においても、システム１０１は、通常の視聴活動の間、目の状態を決定するよう構成される。通常の視聴活動の間、人は、目の状態を決定するためではなく対象を見る。即ち目状態検査を実行する間でなく、例えばテキストの文書を読む間に目の状態が決定される。目状態決定システム１０１は、対象１０３の空間的な寸法をキャプチャし、視聴活動の間、人に対する対象１０３の空間的な位置をキャプチャする、空間特性キャプチャユニット１０２を有する。より詳細には、本実施形態において、眼鏡１０９が人によりかけられる。ここで、人カメラ１１０が眼鏡１０９に付けられる。人カメラ１１０は、外を指す。即ち、対象１０３に向かう。本実施形態において、対象は、テキストの内容を持つ。例えば、本実施形態において、対象１０３は、本、黒板、掲示板、紙文書、道路標識等とすることができる。人カメラ１１０は、対象画像を生成するのに使用される。ここで、空間特性キャプチャユニット１０２は、対象画像に基づき、対象の空間的な寸法、特に文字サイズ、ライン間隔等の対象により示される内容の空間的な寸法を決定するよう構成される。空間特性キャプチャユニット１０２は更に、既知の画像ベースの距離推定技術を用いて、対象画像に基づき、人と対象１０３との間の空間的な距離、即ち本実施形態では人によりかけられる眼鏡１０９と対象１０３との間の空間的な距離Ｄを決定するよう構成される。システム１０１は、例えば、図２及び３を参照して上述したように、眼鏡１０９と対象１０３との間の空間的な距離Ｄ、並びにライン間隔及び／又は２つの隣接する文字の間の距離に基づき、視力を決定するよう構成されることができる目状態決定ユニット１０４を更に有する。
【００３４】
眼鏡１０９は、人の顔の画像を生成する更なるカメラ１０５を有する。ここで、顔画像は、目６を含む顔の部分を少なくとも示す。特に、眼鏡１０９は、２つの更なるカメラ１０５を有することができる。ここで、各カメラ１０５は、人の目を示す顔画像を生成する。即ち、本実施形態において、顔画像は、人の全体の顔を示す画像である必要はなく、それらは、目６を含む顔の部分を少なくとも示す画像とすることができる。
【００３５】
カメラ１０５により生成される顔画像は、目６の大きさ及び形状を決定する目形状決定ユニット１１１により使用されることができる。ここで、目６のこの大きさ及び形状は、図４及び５を参照して上述したように、近視といった目状態を決定する目状態決定ユニット１０４により使用されることができる。更に、視覚軸決定ユニット１１２は、提供された顔画像に基づき、目６の視覚軸を決定することができる。ここで、目状態決定ユニット１０４は、目６の視覚軸が、空間特性キャプチャユニット１０２により提供される対象１０３の空間的な位置で収束するかどうかを決定することにより、斜視を決定するよう構成されることができる。例えば、顔画像は、２次元又は３次元画像とすることができる。ここで、視覚軸決定ユニット１１２は、個別の目の輪郭の位置に対する、即ち個別の顔画像における目蓋に対する個別の瞳孔の位置を決定し、この相対的な位置に基づき、個別の視覚軸を決定するよう構成されることができる。顔画像が３次元画像である場合、視覚軸決定ユニット１１２は、個別の視覚軸として使用されることができる個別の眼球の通常の軸を決定するため、特に深さ抽出技術を使用することにより、個別の眼球の突起を決定するよう構成されることができる。
【００３６】
空間特性キャプチャユニット１０２は好ましくは、対象の画像に基づき、対象の空間的な位置を提供するよう構成される。空間特性キャプチャユニット１０２が、画像において複数の対象を特定する場合、それは、焦点において対象を特定するため運動追跡アルゴリズムを使用することができる。特に、空間特性キャプチャユニット１０２は、画像において特定される対象の動作を検出し、顔画像に基づき、人の眼球の運動を検出し、異なる対象の各々の動作と眼球の運動とを相関又はマッチさせるよう構成されることができる。最も好適な運動相関又は運動マッチングが実現される対象は、焦点にある対象であると決定されることができる。ここで、２つの視覚軸は、焦点にある対象の位置で交差するべきである。
【００３７】
図７〜図９は、目状態決定システムにより斜視の症状がどのように決定されることができるかを例示的に示す。図７は、人３０の通常の、即ち健康な目１０６が目標対象２０３を見る状況を示す。視覚軸３０、３１は、焦点が合わせられる目標対象２０３で交差する。図８は、いわゆる「寄り目の」斜視症を示し、図９は、いわゆる「角膜白斑の」斜視症を示す。目標対象２０３の位置に対する２つの視覚軸３０、３１の交差の位置を決定することにより、目状態決定ユニット１０４は、斜視の異なる症状の間の区別することができる。即ち目状態決定ユニット１０４は、２つの視覚軸３０、３１の不整列を検出し、この不整列に基づき、斜視を検出することができる。
【００３８】
システム１０１は、図１を参照して上述した警告メッセージ生成ユニット８に類似する警告メッセージ生成ユニット１０８を更に有する。空間特性キャプチャユニット１０２、目形状決定ユニット１１１、視覚軸決定ユニット１１２、目状態決定ユニット１０４及び警告メッセージ生成ユニット１０８は、コンピュータ１４０において実現されることができる。このコンピュータは、例えば、眼鏡１０９及び対象１０３の間の空間的な距離、ライン間隔、隣接する文字の間の距離、目の視覚軸、目の大きさ及び形状等を決定するコンピュータ１４０の異なるユニットにより使用される個別の画像を受信するため、眼鏡１０９のカメラ１０５、１１０と有線又は無線データ接続３２を介して通信する。
【００３９】
以下において、人の目の状態を決定する目状態の決定方法の実施形態が、図１０に示されるフローチャートを参照して、例示的に表される。
【００４０】
目状態の決定方法は、人が目の状態を決定するためでなく対象を見る視聴活動の間、目の状態を決定するよう構成される。即ち、この方法は、テキストの文書を読むといった人の通常の視聴活動の間、目の状態を決定するよう構成される。ステップ３０１において、対象の空間的な寸法及び／又は視聴活動の間の人に対する対象の空間的な位置が、空間特性キャプチャユニットによりキャプチャされる。例えば、図１を参照して上述したシステム１又は図６を参照して上述したシステム１０１を用いて、対象及び人の間の空間的な距離が決定されることができ、テキストの文書のライン間隔又は２つの隣接する文字の間の距離が決定されることができる。オプションで、ステップ３０１において、目の大きさ及び形状といった更なる特性が決定されることができる。
【００４１】
ステップ３０２において、対象のキャプチャされた視覚的な空間的な寸法及び／又は人に対する対象のキャプチャされた空間的な位置に基づき、目の状態が目状態決定ユニットにより決定される。例えば、対象と人との間のキャプチャされた空間的な距離、及び対象により示されるテキストの文書のキャプチャされたライン間隔又は２つの隣接する文字の間のキャプチャされた距離に基づき、人の視力が決定されることができる。ステップ３０２において、斜視といった他の目状態も決定されることができる。更に、人の目の大きさ及び形状といった追加的な特性が、目の状態を決定するのに使用されることができる。
【００４２】
ステップ３０３において、警告メッセージ生成ユニットにより警告メッセージが生成される必要があるような、目の状態が異常かどうかが決定される。例えば、ステップ３０２において、解像度角度を決定することにより視力が決定される場合、解像度角度が通常の目の状態に対応する所定の解像度角度範囲にない場合、警告メッセージが生成されることができる。更に、ステップ３０２において、斜視が調査された場合、目の視覚軸が対象の位置で交差しない場合、警告メッセージが生成されることができる。
【００４３】
ステップ３０４において、中止基準が満たされたかどうかが決定される。中止基準は例えば、ユーザがシステムにストップ命令を入力したかどうかとすることができる。中止基準が満たされる場合、方法はステップ３０５において終わる。そうでない場合、方法は、ステップ３０１へと続く。こうして、目状態決定方法が停止するまで、目の状態は長い期間にわたり、例えば数日、数ヶ月又は更には数年にわたり、連続して決定されることができる。
【００４４】
近視眼又は近視は、問題のある目状態である。この場合、入射光が網膜では焦点を結ばず、その前で焦点を結ぶ。別の望ましくない目状態は斜視である。これは対象を見るとき、２つの目が互いに適切に揃っていない状態である。幼児は特に、それらの視覚的な成長の間、これらの目状態の傾向がある。不適切な読書姿勢、運動不足、過負荷の学業等が、近視を発展させる機会を大幅に増加させる可能性がある。問題の目症状の早期の検出は、正しい治療を行い、目が更に悪化するのを防止するために重要である。しかしながら、完全な眼検査は通常、平均的な家庭の子供に対して年に１〜２回だけ行われ、専用の検査器材を介して病院又は検眼士でのみ利用可能である。裸眼検査は、両親により行われることができる。しかし、斯かる裸眼検査は、子供の目の状態の早期のサインを必ずしも検出することができない。なぜなら、子供が対象に焦点を合わせるといった特定の種類の活動をしているときにのみ、いくつかの症状が現れるからである。更に、ある両親は、単にあまりに忙しく児童に付き添うことができないか、又は確かな目健康知識が欠如している。図１及び６を参照して上述した目状態決定システムは、従って、眼病の早期のサインを検出し、両親に対して警告をするよう構成される。このシステムは、タブレットコンピュータ、スマートフォン又はパーソナルコンピュータといったコンピュータに、又は、テレビに、又は眼鏡等にアドオンとして構築されることができる。読書、宿題をする、テレビゲームで遊ぶ等といった児童の日常的な視聴関連活動をモニタすることにより、目状態の早期のサインが検出されることができ、両親が警告されることができる。斯かる警告がある場合、更なる評価のため、より徹底的で専門的な検査が行われることができる。結果として、人の、特に幼児の問題のある目状態が、よりタイムリに診断されることができる。
【００４５】
空間特性キャプチャユニットは、静的及び／又は動的な空間的な特性をキャプチャするよう構成されることができる。例えば、空間特性キャプチャユニットは、人と対象との間の変化する距離、及び／又は対象により示されるテキストの文書の変化するライン間隔又は隣接する文字の間の変化する距離をキャプチャするよう構成されることができる。
【００４６】
このシステムは好ましくは、画像処理に基づき、目の状態を決定するよう構成される。上記目状態決定技術は一般に、家庭内の児童視力監視、児童アイケア及びスマートホームに対して適用されることができる。それは、好ましくは、通常の日常的な活動を妨げることなしに、子供の視力問題を検出する。
【００４７】
上記の実施形態において目状態決定ユニットは、視力及び斜視といった特定の目状態を決定するよう構成されるが、他の実施形態において、目状態決定ユニットは、他の目状態を決定するよう構成されることができる。更に、上記の実施形態において、目の状態を決定する間、特定の対象が人により見られたが、他の実施形態において、目の状態を決定する間、他の対象も見られることができる。例えば、目の状態を決定する間、ディスプレイを持つコンピュータの代わりに、テレビが人により見られることができる。
【００４８】
図面、開示及び添付された請求項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、実行されることができる。
【００４９】
請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「ａ」又は「ａｎ」は複数性を除外するものではない。
【００５０】
単一のユニット又はデバイスが、請求項において列挙される複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。
【００５１】
例えば、ライン間隔、隣接する文字の間の距離、隣接する語の間の距離といった対象の空間的な寸法のキャプチャリング、目状態の決定、目の大きさ及び形状の決定、目の視覚軸の決定等の１つ又は複数のユニット又はデバイスにより実行される手順は、他の任意の数のユニット又はデバイスにより実行されることができる。目状態の決定方法による目状態決定システムのこれらの手順及び／又は制御は、コンピュータプログラムのプログラムコード手段及び／又は専用ハードウェアとして実現されることができる。
【００５２】
コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学的記憶媒体又は固体媒体といった適切な媒体において格納／配布されることができるが、インターネット又は他の有線若しくは無線通信システムを介してといった他の形式で配布されることもできる。
【００５３】
請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。
【００５４】
本発明は、人が対象を見る視聴活動の間、人の、特に子供の目の状態を決定する目状態決定システムに関する。空間特性キャプチャユニットが、対象の空間的な寸法及び／又は視聴活動の間の人に対する対象の空間的な位置をキャプチャし、目状態決定ユニットが、対象のキャプチャされた空間的な寸法及び／又は人に対する対象のキャプチャされた空間的な位置に基づき、近視又は斜視といった目の状態を決定する。これは、例えば両親による任意の支援なしに、特に任意のユーザ相互作用なしに、テキストを読むといった通常の視聴活動の間、目の状態を決定することを可能にする。
【図１】
2017522104.tif 000004
【図２】
2017522104.tif 000005
【図３】
2017522104.tif 000006
【図４】
2017522104.tif 000007
【図５】
2017522104.tif 000008
【図６】
2017522104.tif 000009
【図７】
2017522104.tif 000010
【図８】
2017522104.tif 000011
【図９】
2017522104.tif 000012
【図１０】
2017522104.tif 000013
【国際調査報告】
2017522104.tif 000014
2017522104.tif 000015
2017522104.tif 000016