(57)【特許請求の範囲】
【請求項１】
ディスプレイを拡張するための方法であって、前記方法は、
ユーザの顔面の光学画像を受信するステップと、
前記光学画像に従って、前記ユーザが細目にしているかどうかを検出するステップと、
前記ユーザが見ている前記ディスプレイ上の領域を検出するステップと、
前記ユーザが細目にしているときに前記ユーザが見ている前記ディスプレイ上の前記領域を拡張するステップと、
を含み、
前記ユーザが見ている前記ディスプレイ上の前記領域を検出するステップは、
モバイルデバイスにより、別個のウェアラブルデバイスから、前記ウェアラブルデバイスの位置及び前記ウェアラブルデバイスの向きを受信するステップと、
前記モバイルデバイスの位置を判定するステップと、
前記モバイルデバイスの向きを判定するステップと、
前記モバイルデバイスの前記位置及び前記ウェアラブルデバイスの前記位置に従って、前記モバイルデバイスと前記ウェアラブルデバイスとの相対位置を判定するステップと、
前記モバイルデバイスの前記向き及び前記ウェアラブルデバイスの前記向きに従って、前記モバイルデバイスと前記ウェアラブルデバイスとの相対向きを判定するステップと、
を含む、方法。
【請求項２】
前記ユーザが細目にしているかどうかを検出するステップは、
前記光学画像から、前記ユーザの前記顔面を検出するステップと、
前記ユーザの前記顔面から顔面データを抽出して、抽出された顔面データを生成するステップと、
前記抽出された顔面データに従って、前記ユーザの前記顔面の顔面表情を認識するステップと、
を含む、請求項１記載の方法。
【請求項３】
前記ユーザの前記顔面の赤外線画像を受信するステップをさらに含み、前記ユーザが見ている前記ディスプレイ上の前記領域を検出するステップは、前記赤外線画像に従って、前記ユーザが見ている前記ディスプレイ上の前記領域を検出するステップを含む、請求項１記載の方法。
【請求項４】
前記赤外線画像を受信するステップは、
赤外線光源を照射するステップと、
赤外線カメラから前記赤外線画像を受信するステップと、
を含む、請求項３記載の方法。
【請求項５】
前記ユーザが見ている前記ディスプレイ上の前記領域を検出するステップは、
前記赤外線画像に従って、暗瞳孔検出又は明瞳孔検出を実行するかどうかを決定するステップと、
暗瞳孔検出を実行することが決定されたときには、暗瞳孔検出を実行するステップと、
明瞳孔検出を実行することが決定されたときには、明瞳孔検出を実行するステップと、
を含む、請求項３記載の方法。
【請求項６】
暗瞳孔検出又は明瞳孔検出を実行するかどうかを決定するステップは、
前記赤外線画像の光レベルを判定するステップと、
前記光レベルが高いときには、明瞳孔検出を実行することを決定するステップと、
前記光レベルが低いときには、暗瞳孔検出を実行することを決定するステップと、
を含む、請求項５記載の方法。
【請求項７】
暗瞳孔検出又は明瞳孔検出を実行するかどうかを決定するステップは、
前記赤外線画像において、前記ユーザの前記顔面の虹彩を検出するステップと、
前記虹彩が明るい色であるときには、明瞳孔検出を実行することを決定するステップと、
前記虹彩が暗い色であるときには、暗瞳孔検出を実行することを決定するステップと、
を含む、請求項５記載の方法。
【請求項８】
前記モバイルデバイスにより、前記ウェアラブルデバイスに活性化赤外線光源メッセージを送信するステップと、
前記モバイルデバイスにより、前記ウェアラブルデバイスから前記赤外線画像を受信するステップと、
をさらに含む、請求項３記載の方法。
【請求項９】
前記ディスプレイ上の前記領域を拡張するステップは、前記ディスプレイ上の前記領域のコントラストレベルを調整するステップを含む、請求項１記載の方法。
【請求項１０】
前記ディスプレイ上の前記領域を拡張するステップは、前記ディスプレイ上の前記領域を拡大するステップを含む、請求項１記載の方法。
【請求項１１】
前記ディスプレイ上の前記領域を拡張するステップは、前記ディスプレイ上の前記領域におけるユーザインタフェース（ＵＩ）要素を変更するステップを含む、請求項１記載の方法。
【請求項１２】
前記ＵＩ要素を変更するステップは、前記ＵＩ要素を含む複数のＵＩ要素を再配置するステップを含む、請求項１１記載の方法。
【請求項１３】
モバイルデバイスであって、
ディスプレイと、
プロセッサと、
前記プロセッサによる実行のためのプログラミングを記憶しているコンピュータ読み取り可能な記憶媒体であって、前記プログラミングは、
ユーザの顔面の光学画像を受信するための命令と、
前記光学画像に従って、前記ユーザが細目にしているかどうかを検出するための命令と、
前記ユーザが見ている前記ディスプレイ上の領域を検出するための命令と、
前記ユーザが細目にしているときに前記ユーザが見ている前記ディスプレイ上の前記領域を拡張するための命令と、
を含む、コンピュータ読み取り可能な記憶媒体と、
を備え、
前記ユーザが見ている前記ディスプレイ上の前記領域を検出することは、
別個のウェアラブルデバイスから、前記ウェアラブルデバイスの位置及び前記ウェアラブルデバイスの向きを受信することと、
前記モバイルデバイスの位置を判定することと、
前記モバイルデバイスの向きを判定することと、
前記モバイルデバイスの前記位置及び前記ウェアラブルデバイスの前記位置に従って、前記モバイルデバイスと前記ウェアラブルデバイスとの相対位置を判定することと、
前記モバイルデバイスの前記向き及び前記ウェアラブルデバイスの前記向きに従って、前記モバイルデバイスと前記ウェアラブルデバイスとの相対向きを判定することと、
を含む、モバイルデバイス。
【請求項１４】
前記光学画像を提供するよう構成されているカメラをさらに備える、請求項１３記載のモバイルデバイス。
【請求項１５】
前記プログラミングは、前記ユーザの前記顔面の赤外線画像を受信するための命令をさらに含み、前記ユーザが見ている前記ディスプレイ上の前記領域を検出することは、前記赤外線画像に従って、前記ユーザが見ている前記ディスプレイ上の前記領域を検出することを含む、請求項１３記載のモバイルデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１４年７月１４日に出願された「ディスプレイ拡張のためのシステム及び方法」と題する米国非仮特許出願第１４／３３０，６４８号に対する優先権を主張し、この出願は、その全体が再現されるかのように参照により本明細書に組み込まれる。
【０００２】
本発明は、ディスプレイのためのシステム及び方法に関し、詳細には、ディスプレイ拡張のためのシステム及び方法に関する。
【背景技術】
【０００３】
ユーザが関心を持っているディスプレイの領域に、ユーザが関心領域を見るのに苦労しているときに、増大された視認性及び視覚的明瞭さをもたらすことが望ましい。例えば、小さなテキスト又は低コントラスト画像は見づらいことがある。ディスプレイが、例えば、モバイルデバイス上にあるときには、ユーザが拡張を明確に要求しなくても、ディスプレイが自動的に拡張されることが望ましい。
【発明の概要】
【０００４】
一実施形態の、ディスプレイを拡張するための方法は、ユーザの顔面の光学画像を受信し、光学画像に従って、ユーザが細目にしているかどうかを検出することを含む。本方法はまた、ユーザが見ているディスプレイ上の領域を検出することを含む。さらに、本方法は、ユーザが細目にしているときにユーザが見ているディスプレイ上の領域を拡張することを含む。
【０００５】
一実施形態のモバイルデバイスは、ディスプレイ及びプロセッサを含む。本モバイルデバイスはまた、プロセッサによる実行のためのプログラミングを記憶している非一時的なコンピュータ読み取り可能な記憶媒体を含む。プログラミングは、ユーザの顔面の光学画像を受信するための命令と、光学画像に従って、ユーザが細目にしているかどうかを検出するための命令と、を含む。プログラミングはまた、ユーザの顔面の赤外線画像を受信するための命令と、赤外線画像に従って、ユーザが見ているディスプレイ上の領域を検出するための命令と、を含む。さらに、プログラミングは、ユーザが細目にしているときにユーザが見ているディスプレイ上の領域を拡張するための命令を含む。
【０００６】
一実施形態のウェアラブルデバイスは、赤外線カメラと、赤外線カメラの２ｃｍ以内にある第１の赤外線光源と、を含む。本ウェアラブルデバイスはまた、赤外線カメラから少なくとも５ｃｍにある第２の赤外線光源を含み、本ウェアラブルデバイスは、本ウェアラブルデバイスが、明瞳孔検出信号を受信したときには、第１の赤外線光源を活性化し、本ウェアラブルデバイスが、暗瞳孔検出信号を受信したときには、第２の赤外線光源を活性化するよう構成されており、本ウェアラブルデバイスは、赤外線カメラからの画像をモバイルデバイスに無線で送信するよう構成されている。
【０００７】
上記は、以下に続く本発明の詳細な説明がより良く理解され得るように、本発明の実施形態の特徴をある程度広範に概説している。本発明の実施形態のさらなる特徴及び利点が、以下に記載され、本発明の請求項の主題を形成する。開示される観念及び特定の実施形態が、本発明の同じ目的を遂行するために、他の構造又はプロセスを変更又は設計するための基礎として容易に利用され得ることが、当業者により理解されるべきである。そのような均等の構成は、添付の請求項に記載される本発明の主旨及び範囲から逸脱しないことも、当業者により認識されるべきである。
【図面の簡単な説明】
【０００８】
本発明及びその利点のより完全な理解のために、添付の図面と併せて読まれる以下の説明がこれより述べられる。
【図１】一実施形態の、ディスプレイ拡張の方法のためのフローチャートを示す図。
【図２】目における明瞳孔効果を示す図。
【図３】目における暗瞳孔効果を示す図。
【図４Ａ】ディスプレイにおける画像のコントラストレベルの調整を示す図。
【図４Ｂ】ディスプレイにおける画像のコントラストレベルの調整を示す図。
【図５Ａ】小さなテキストを拡大することによる、小さなテキストを含む領域の拡張を示す図。
【図５Ｂ】小さなテキストを拡大することによる、小さなテキストを含む領域の拡張を示す図。
【図６Ａ】小さなテキストを含むグラフィカルユーザインタフェース（ＧＵＩ）要素の変更を示す図。
【図６Ｂ】小さなテキストを含むＧＵＩ要素の変更を示す図。
【図７Ａ】ＧＵＩ要素のレイアウトの再配置を示す図。
【図７Ｂ】ＧＵＩ要素のレイアウトの再配置を示す図。
【図８】一実施形態の、細目検出の方法のためのフローチャートを示す図。
【図９】一実施形態の、アイトラッキングの方法のためのフローチャートを示す図。
【図１０】一実施形態の、細目検出のためのシステムを示す図。
【図１１】一実施形態の、アイトラッキングのためのシステムを示す図。
【図１２】別の実施形態の、アイトラッキングのためのシステムを示す図。
【図１３】一実施形態の、ディスプレイ拡張のためのシステムを示す図。
【図１４】別の実施形態の、ディスプレイ拡張のためのシステムを示す図。
【図１５】一実施形態の汎用コンピュータシステムのブロック図。  異なる図面における対応する数字及び記号は、概して、別途示されない限り、対応する部分を指す。図面は、実施形態の関連する態様を明瞭に示すために描かれており、必ずしも縮尺通りに描かれているとは限らない。
【発明を実施するための形態】
【０００９】
１以上の実施形態の例示的な実装が以下に提供されるが、開示されるシステム及び／又は方法は、現在知られている又は存在しているかにかかわらず、任意の数の技術を使用して実装され得ることが、最初に理解されるべきである。本開示は、図示され本明細書で説明される例示的な設計及び実装を含め、以下に示される例示的な実装、図面、及び技術に決して限定されるべきではなく、添付の請求項の範囲とともに均等物のそれらの全範囲内で変更され得る。
【００１０】
一実施形態は、例えば、モバイルデバイスにおけるディスプレイを、ユーザが細目にしているかどうかと、ユーザが見ているディスプレイ上の領域と、を検出することにより、拡張する。ユーザが細目にしているときに、ユーザが見ている領域が拡張される。したがって、ディスプレイは、ユーザが、ユーザの手を用いて何もすることなく又は別のタイプの能動的な身体的インタラクションを有することなく、拡張され得る。
【００１１】
図１は、ディスプレイを拡張する方法のためのフローチャート１００を示している。ディスプレイは、テキスト、グラフィックス、ビデオ、又はこれらの組合せ等の視覚的出力をユーザに表示する。ディスプレイは、液晶ディスプレイ（ＬＣＤ）であり得る。この方法は、例えば、スマートフォン、タブレット、ハンドヘルドコンピュータ、メディアプレーヤ、又は携帯情報端末（ＰＤＡ）等のモバイルデバイスにより使用され得る。最初に、ステップ１０２において、システムは、ユーザにおける目の細目を検出する。細目にすることは、細目にしている人が乏しい視認性を感じているという良い指標である。これは、細目にすることが、屈折異常（近視、遠視、乱視、又は老視）を有する対象についての視力を向上させ、誤りを低減させるためである。細目にすることは、目の形状を変化させ、目に入る光の量を低減させる。細目にすることは、弱い視力を補助するための自然なメカニズムであるので、これは、細目にしている人が乏しい視認性を感じているという良い指標である。
【００１２】
細目にすることは、顔面表情であるので、細目にすることは、顔認識技術を使用して検出され得る。顔面表情尺度についての標準は、顔面動作符号化システム（ＦＡＣＳ）である。顔面表情は、顔貌の瞬間的変化を生じさせる筋活動を表す動作単位（ＡＵ）から判別され得る。下げた眉、鼻のしわ寄せ、顎の下げ等の、顔面表情の特徴の標準的尺度が存在する。ＦＡＣＳにおいて、細目動作単位、ＡＵ４４が存在する。細目はまた、下げた眉（ＡＵ４）と、持ち上げた頬（ＡＵ６）と、緊張させた瞼（ＡＵ７）と、の組合せにより検出され得る。動作単位は、カメラ及び顔認識ソフトウェアを使用して認識され得る。
【００１３】
次いで、ステップ１０４において、ユーザの注視のアイトラッキングが実行される。瞳孔が、明瞳孔効果又は暗瞳孔効果を利用して、赤外線光を用いてトラッキングされ得る。明瞳孔効果において、赤外線光線が、赤外線（ＩＲ）カメラと整列しているとき、赤外線光線は、網膜で反射してＩＲカメラへと進み、記録画像において瞳孔が明るく見えるようにさせる。図２は、明瞳孔効果を示している。目２０６は、瞳孔２０２、虹彩２０４、及び第１プルキンエ像２０８を含む。第１プルキンエ像は、角膜の外表面からの反射である。暗瞳孔効果において、赤外線光線が、ＩＲカメラの光軸からオフセットしているとき、反射が、ＩＲカメラから離れて投射され、記録画像において瞳孔が暗く見えるようにさせる。図３は、暗瞳孔効果を示しており、ここで、目１１８は、瞳孔１１２、虹彩１１６、及び第１プルキンエ像１１４を含む。瞳孔トラッキングの両方の方法において、角膜の外表面からの反射である第１プルキンエ像は、同じ位置にある。明瞳孔検出は、青い又は明るい色の目に対して最良に機能するのに対し、暗瞳孔効果は、暗い色の目に対して最良に機能する。暗瞳孔効果は、十分に明るい自然光状態においてより良く機能するのに対し、明瞳孔方法は、より少ない光に対してより良く機能する。さらに、明瞳孔検出は、より少ない偽陽性を有する。
【００１４】
一実施形態は、暗瞳孔検出及び明瞳孔検出の両方を実行するように準備される。１つの赤外線カメラと、一方がＩＲカメラと整列しており他方がＩＲカメラ軸からオフセットしている２つの赤外線光源と、が使用される。整列しているカメラは、明瞳孔検出のために使用されるのに対し、軸外のカメラは、暗瞳孔検出のために使用され得る。一例において、アイトラッキングハードウェアは、スマートフォン、タブレット、ハンドヘルドコンピュータ、メディアプレーヤ、又はＰＤＡ等のモバイルデバイスに組み込まれる。別の例において、アイトラッキングハードウェアは、Ｇｏｏｇｌｅ  Ｇｌａｓｓ（登録商標）等の、ウェアラブルデバイスとしてユーザの頭部に取り付けられる、又は、ウェアラブルデバイスに組み込まれる。
【００１５】
別の例において、可視スペクトル光が、暗瞳孔検出及び／又は明瞳孔検出を実行するために使用される。
【００１６】
代替的に、電極が、ユーザの注視をトラッキングするために使用される。目の電位が、目の周囲に配置された電極を使用して測定される。さらなる例において、目は、例えば、ユーザの目に付着される、埋め込みミラー及び／又は磁場センサを伴う特殊化したコンタクトレンズといった物を使用してトラッキングされる。
【００１７】
最後に、ステップ１０６において、ディスプレイが、ユーザが見ている領域において拡張される。領域は、例えば、画像のコントラストを調整すること、ノイズを低減させること、鮮鋭化、カラーバランス調整、テキストボックス又は画像のサイズを増大させること、グラフィカルユーザインタフェース（ＧＵＩ）要素を調整していくつかのＧＵＩ要素のサイズを増大させること、又は、画質を向上させるための他の技術、によって、拡張され得る。
【００１８】
コントラストレベルが、視認性を向上させるために調整され得る。図４Ａ〜図４Ｂは、コントラストレベル調整により向上された視認性及び視覚的明瞭さを示している。図４Ａにおいて、ユーザ１２２の目１２４は、デバイス１２６上のディスプレイ１２５における画像１２８を見ている。ディスプレイ１２５はまた、テキスト１３０及びテキスト１３２を小さなテキストボックスとして含む。ユーザ１２２の目１２４が、細目にしながら画像１２８を見ているときに、画像１２８が、コントラストレベルを調整することにより拡張される。一例において、ディスプレイ全体のコントラストレベルが調整される。代替的に、画像のコントラストレベルのみが調整される。一例において、輝度差の比である輝度コントラスト及び平均輝度が調整される。使用されるコントラスト法は、Ｗｅｂｅｒコントラスト、Ｍｉｃｈｅｌｓｏｎコントラスト、二乗平均平方根（ＲＭＳ）コントラスト、又は別の技術であり得る。
【００１９】
視覚的要素が拡大されてもよい。図５Ａ〜図５Ｂにおいて、ユーザが細目にしながら見ている小さなテキストの明瞭さが、そのテキストの領域を拡大することにより拡張される。ユーザ１６２の目１６４は、デバイス１６６上のディスプレイ１６５におけるテキストボックス１７０を見ており、ディスプレイ１６５はまた、画像１６８及びテキスト１７２を含む。ユーザ１６２の目１６４が細目にしているときに、テキストボックス１７０内の小さなテキストが、より明瞭になるように拡大される。画像１６８が部分的に覆われる。他の例において、ユーザが見ている領域が拡大される。
【００２０】
ＧＵＩ要素が、それらＧＵＩ要素の視認性を向上させるために変更され得るのに対し、他のＧＵＩ要素が、低減又は除去され得る。ＧＵＩ要素は、ウィンドウ、テキストボックス、ボタン、ハイパーリンク、ドロップダウンリスト、リストボックス、コンボボックス、チェックボックス、ラジオボタン、サイクルボタン、データグリッド、スライダー、タグ、画像、及びビデオを含み得る。図６Ａ〜図６Ｂは、小さな読みにくいテキストを含むＧＵＩ要素を変更することにより、小さなテキストの視認性を向上させることを示している。ユーザ２１２の目２１４は、デバイス２１６のディスプレイ２１５におけるテキスト２２２を見ている。ディスプレイ２１５はまた、画像２１８及びテキスト２２０を含む。ユーザが細目にしているときに、テキスト２２２を含むＧＵＩのサイズが増大されるので、そのテキストは、より大きくより容易に読むことができる。他の例において、他のＧＵＩ要素が、除去される、又は、そのサイズが低減される。
【００２１】
図７Ａ〜図７Ｂに示されるように、画像の視認性が、ＧＵＩ要素のレイアウトを再配置することにより向上される。ユーザ２５２の目２５４は、デバイス２５６上のディスプレイ２９９における画像２５８を見ている。また、ディスプレイ２９９は、画像２６０、２６２、２６４、２６６、２６８、２９０、２９２、２９４、及び２９６を含む。ユーザが細目にしながら画像２５８を見ているときに、画像２５８の解像度又はサイズが増大される。画像２６８、２６０、及び２９０は、画像２５８のための十分な場所を提供するために、除去される。
【００２２】
図８は、目の細目を検出する方法のためのフローチャート４０１を示している。最初に、ステップ４０２において、顔面が取得される。これは、顔面検出及び／又は頭部姿勢推定を用いて行われ得る。顔面領域が、画像において自動的に発見される。一例において、顔面は、フレームごとに検出される。別の例において、顔面は、最初のフレームにおいて検出され、後続のフレームにおいてトラッキングされる。
【００２３】
次いで、ステップ４０４において、顔面データが、ステップ４０２において取得された顔面から抽出され、顔面表情に基づく顔面変化が表現される。顔面特徴が、幾何学的特徴ベースの方法及び／又はアピアランスベースの方法を使用して抽出され得る。幾何学的顔面特徴は、口、目、眉、及び鼻等の顔面構成要素の形状及び位置を含む。顔面構成要素又は顔面特徴点が、顔面ジオメトリを表現する特徴ベクトルを形成するために抽出され得る。アピアランスベースの方法において、Ｇａｂｏｒウェーブレット等の画像フィルタが、特徴ベクトルを抽出するために、顔面全体又は顔面の特定の領域に適用される。面内頭部回転、及び顔面の異なるスケールの影響が、特徴抽出前の顔面正規化により又は特徴表現により、低減され得る。
【００２４】
最後に、ステップ４０６において、顔面表情が、顔面特徴に基づいて認識される。顔面変化は、原型的な感情表現である顔面動作単位として識別され得る。ＡＵは、専門家により手動で符号化され得る。筋収縮の程度についての強度スケールが、顔面表情の程度を判定するために使用され得る。ニューラルネットワーク（ＮＮ）、サポートベクトルマシン（ＳＶＭ）、線形判別分析（ＬＤＡ）、Ｋ最近傍、多項ロジスティックリッジ回帰（ＭＬＲ）、隠れマルコフモデル（ＨＭＭ）、tree  augmented  naive  Bayes、及びその他等の分類器が、使用され得る。いくつかのシステムは、顔面動作の定義に基づくルールベースの分類を用いる。フレームベースの表情認識方法及びシーケンスベースの表情認識方法が使用され得る。フレームベースの認識方法は、参照画像とともに又は参照画像なしで現在フレームを使用して、フレームにおいて顔面表情を認識する。シーケンスベースの認識方法において、シーケンスの時間的情報を使用して、１以上のフレームについて表情を認識する。
【００２５】
図９は、アイトラッキングの方法のためのフローチャート４１０を示している。最初に、ステップ４２０において、目が検出される。目は、目が細目検出において抽出されるときに検出され得る。別の例において、目の位置が、明瞳孔検出及び／又は暗瞳孔検出を用いて検出される。明瞳孔検出において、ＩＲ光源は、ＩＲカメラと整列している。ＩＲ光源は、ＩＲカメラに直接的に戻るように反射され、これが、瞳孔が明るく見えるようにさせる。一方、暗瞳孔検出において、ＩＲ光源は、ＩＲカメラからオフセットしている。ＩＲ光が、ＩＲ光源に戻るように反射されるので、瞳孔は、オフセットしているＩＲカメラの像において暗く見える。
【００２６】
ステップ４１２において、システムは、瞳孔を検出するために、暗瞳孔検出及び／又は明瞳孔検出を用いるかどうかを決定する。システムは、環境光状態及びユーザの目の色を検出する。明るい色の目及び明光状態は、明瞳孔方法を用いることに向かわせるのに対し、暗い色の目及び低光状態は、暗瞳孔方法を用いることに向かわせる。干渉も判定され得る。過度の干渉が存在するときには、システムは、明瞳孔方法から暗瞳孔方法に切り替えることができる。影、例えば、まつ毛又は顔面の影が存在するときには、システムは、暗瞳孔方法から明瞳孔方法に切り替えることができる。一例において、システムは、明瞳孔検出と暗瞳孔検出との間で交互にする。代替的に、両方の方法が実行される。暗瞳孔方法が選択されたときには、ステップ４１４において、暗瞳孔検出が実行される。明瞳孔検出が選択されたときには、ステップ４１６において、明瞳孔検出が実行される。
【００２７】
ステップ４１６において、明瞳孔検出が実行される。暗瞳孔検出及び明瞳孔検出の両方において、ユーザの顔面が、赤外線照射器を使用して照射される。赤外線照射器は、発光ダイオード（ＬＥＤ）であり得る。赤外線照射器を使用することは、環境光状態の影響を低減させ、明瞳孔効果又は暗瞳孔効果を生じさせ、可視光を使用することと比較して、ユーザとの干渉を最小限にする。明瞳孔は、目が、カメラの光軸に沿って光を発する近赤外線照射器を使用して照射されたときに、検出され得る。近赤外線波長において、瞳孔は、カメラに戻るように、赤外線光のほとんどを反射して、明瞳孔効果を生じさせる。これは、フラッシュが写真撮影において使用されるときの赤目効果に類似している。角膜からの照射源の最初の表面の鏡面反射は、暗瞳孔検出及び明瞳孔検出の両方において可視である。瞳孔中心と角膜反射との間のベクトルが、従属尺度として使用され得る。ベクトル差は、カメラ及び赤外線源における動きの影響を受けにくい。瞳孔検出は、瞳孔の明度に基づき、例えば、サポートベクトルマシンを使用するといった、目の外観にも基づき得る。
【００２８】
ステップ４１４において、暗瞳孔検出が実行される。赤外線照射器が、軸外の赤外線カメラとともに使用される。反射光が、軸外のカメラにではなく、ＩＲ光源に向かって戻るように軸上で反射されるので、瞳孔は暗く見える。明瞳孔検出におけるように、角膜からの照射源の最初の表面の鏡面反射がまた、可視であり、瞳孔中心と角膜反射との間のベクトルが、従属尺度として使用され得る。
【００２９】
特徴ベースの手法又はモデルベースの手法が使用され得る。一例において、特徴ベースの手法とモデルベースの手法とを組み合わせたスターバーストアルゴリズムが使用される。別の例において、明瞳孔トラッキングと暗瞳孔トラッキングとの組合せが使用される。例えば、明瞳孔効果に基づくＫａｌｍａｎフィルタリングトラッキングが、検出された目の検証を実行するために、サポートベクトルマシン分類器を用いて拡張される。Ｋａｌｍａｎアイトラッカーが、弱い瞳孔明度又は明瞳孔の不存在のいずれかに起因して失敗したときには、平均シフトに基づくアイトラッキングが、目をトラッキングするのを続けるためにアクティブ化される。明瞳孔が再度現れたときには、アイトラッカーは、Ｋａｌｍａｎフィルタリングトラッカーに戻る。
【００３０】
図１０は、細目検出のために使用され得るハードウェアの例を示している。例えば、モバイルデバイス３１０は、スマートフォン、タブレット、ハンドヘルドコンピュータ、メディアプレーヤ、又は携帯情報端末（ＰＤＡ）である。モバイルデバイス３１０は、カメラ３１４及びディスプレイ３１２を含む。例えばＬＣＤといったディスプレイ３１２は、テキスト、グラフィックス、ビデオ、又はこれらの組合せ等の視覚的出力をユーザに表示する。ディスプレイ３１２はまた、タッチスクリーンであり得る。カメラ３１４は、可視スペクトルカメラである。カメラ３１４は、例えば、光を検出する電子センサに光をフォーカスするための可変絞りを伴うレンズといった光学系を有する。カメラ３１４は、固定フォーカスレンズと、レンズ後方の相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサ又は電荷結合素子（ＣＣＤ）イメージセンサ等の光学センサと、を有することができる。モバイルデバイス３１０は、アプリケーションプロセッサ、ベースバンドプロセッサ、永続的ストレージ、メモリコントローラ、グラフィックス処理装置（ＧＰＵ）、周辺インタフェース、無線周波数（ＲＦ）回路、オーディオ回路、全地球測位システムモジュール（ＧＰＳ）、パワーシステム、及びオペレーティングシステム（ＯＳ）を含む。ＯＳは、永続的ストレージに記憶されている細目検出ソフトウェアを実行する。ユーザが、カメラ３１４の視野内にあるときに、このソフトウェアは、ユーザの顔面を検出する。特徴が、ユーザの顔面の画像から抽出される。このソフトウェアは、次いで、ユーザが細目にしているかどうかを検出する。細目にしている顔面表情は、顔認識技術を使用して検出され得る。顔面表情が、顔貌の瞬間的変化を生じさせる筋活動を表すＡＵから判別される。ＦＡＣＳにおいて、細目を検出するために使用され得る細目動作単位、ＡＵ４４、が存在する。細目はまた、下げた眉（ＡＵ４）と、持ち上げた頬（ＡＵ６）と、緊張させた瞼（ＡＵ７）と、の組合せにより検出され得る。
【００３１】
図１１は、アイトラッキングにおいて使用するためのハードウェアの例を示している。例えば、スマートフォン、タブレット、ハンドヘルドコンピュータ、メディアプレーヤ、又はＰＤＡといったモバイルデバイス３２０は、ＩＲカメラ３２８及びＩＲ光源３３０を含む赤外線ユニット３２６と、タッチスクリーンディスプレイであり得るディスプレイ３２２と、ＩＲ光源３２４と、を含む。ＩＲカメラ３２８は、レンズと、例えば、焦電材料、強誘電検出器、又はマイクロボロメータ構造といったセンサアレイと、を含み、ＩＲ光源３２４及び３３０は、ＬＥＤであり得る。例えば、ＬＣＤといったディスプレイ３２２は、テキスト、グラフィックス、ビデオ、又はこれらの組合せ等の視覚的出力をユーザに表示する。ディスプレイ３２２はまた、出力部であるだけでなくタッチスクリーン入力部でもあり得る。また、モバイルデバイス３２０は、アプリケーションプロセッサ、ベースバンドプロセッサ、永続的ストレージ、メモリコントローラ、ＧＰＵ、周辺インタフェース、ＲＦ回路、オーディオ回路、ＧＰＳ、パワーシステム、及びＯＳを含み、ＯＳは、永続的ストレージに記憶されているアイトラッキングソフトウェアを実行する。ＩＲ光源３３０は、明瞳孔検出のための軸上反射を受光するために、ＩＲカメラ３２８の近くにあるのに対し、ＩＲ光源３２４は、暗瞳孔検出のための軸外検出のために、ＩＲカメラ３２８から相対的に遠くにある。明瞳孔検出を実行するために、アイトラッキングアルゴリズムは、ＩＲ光源３３０を照射し、ＩＲカメラ３２８からの画像から、明瞳孔検出を用いて瞳孔を検出する。また、暗瞳孔検出を実行するために、アイトラッキングソフトウェアは、ＩＲ光源３２４を照射し、軸外である、ＩＲカメラ３２８における反射から瞳孔を検出する。
【００３２】
図１２は、アイトラッキングのためのハードウェア３４０を示している。ユーザ３４６は、目３４８の近くにウェアラブルデバイス３５０を装着する。一例において、ウェアラブルデバイス３５０は、Ｇｏｏｇｌｅ  Ｇｌａｓｓ（登録商標）である。代替的に、ウェアラブルデバイス３５０は、目の近くに装着される別個のデバイスである。ウェアラブルデバイス３５０は、ＩＲ光源３５２及びＩＲモジュール３５４を含む。ＩＲモジュール３５４は、ＩＲ光源３５８及びＩＲカメラ３５６を含む。ＩＲカメラ３５６は、レンズと、例えば、焦電材料、強誘電検出器、又はマイクロボロメータ構造といったセンサアレイと、を含む。ＩＲ光源３５２及び３５８は、ＬＥＤであり得る。ＩＲカメラ３５６は、明瞳孔検出のために、例えば２ｃｍ以内といった、ＩＲ光源３５８の近くにあるのに対し、ＩＲ光源３５２は、暗瞳孔検出のために、例えば少なくとも５ｃｍといった、ＩＲカメラ３５６から相対的に遠くにある。ウェアラブルデバイス３５０は、顔面に対するその向き及び位置を判定するためのデバイスを含む。これは、ジャイロスコープ、加速度計、及びデジタルコンパス等のセンサを使用して行われ得る。
【００３３】
ウェアラブルデバイス３５０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は通信のための専用周波数を使用して、モバイルデバイス３４２と通信する。いくつかの例において、モバイルデバイス３４２は、スマートフォン、タブレット、ハンドヘルドコンピュータ、メディアプレーヤ、又はＰＤＡである。モバイルデバイス３４２は、ディスプレイ３４４を含み、ディスプレイ３４４は、テキスト、グラフィックス、ビデオ、又はこれらの組合せ等の視覚的出力をユーザに表示するＬＣＤであり得る。ディスプレイ３４４はまた、出力部であるだけでなくタッチスクリーン入力部でもあり得る。ディスプレイ３４４は、ユーザの注視領域をカバーする、ＯＳのユーザインタフェースを有する。モバイルデバイス３４２はまた、アプリケーションプロセッサ、ベースバンドプロセッサ、永続的ストレージ、メモリコントローラ、ＧＰＵ、周辺インタフェース、ＲＦ回路、オーディオ回路、ＧＰＳ、パワーシステム、ＯＳ、位置センサ、及び向きセンサ（図示せず）を含む。位置センサ及び向きセンサは、モバイルデバイス３４２に対するウェアラブルデバイス３５０の位置及び向きを判定するために使用される。ウェアラブルデバイス３５０及びモバイルデバイス３４２についての位置データ及び向きデータが、それらの相対位置及び相対向きを判定するために、モバイルデバイス３４２により比較される。これは、ユーザが注視しているディスプレイ３４４における場所を判定するために使用される。ＯＳは、ユーザインタフェースを含み、永続的メモリに記憶されているアイトラッキングソフトウェアを実行する。このソフトウェアは、光源３５８が照射されるときには明瞳孔検出を用いて、ＩＲ光源３５２が照射されるときには暗瞳孔検出を用いて、注視を検出する。このソフトウェアは、適切なＩＲ光源を活性化及び非活性化するための信号を送信する。
【００３４】
図１３は、ディスプレイ拡張を実行するためのモバイルデバイス３６０を示している。モバイルデバイス３６０は、スマートフォン、タブレット、ハンドヘルドコンピュータ、メディアプレーヤ、又はＰＤＡであり得る。モバイルデバイス３６０は、明瞳孔検出のためのＩＲ光源３６４、ディスプレイ３６２、及び光学アセンブリ３６６を含む。例えばＬＣＤといったディスプレイ３６２は、テキスト、グラフィックス、ビデオ、又はこれらの組合せ等の視覚的出力をユーザに表示する。ディスプレイ３６２はまた、出力部であるだけでなくタッチスクリーン入力部でもあり得る。カメラ３７２は、可視スペクトルカメラである。光学アセンブリ３６６は、カメラ３７２、ＩＲカメラ３７０、及びＩＲ光源３６８を含む。ＩＲカメラ３７０は、レンズと、例えば、焦電材料、強誘電検出器、又はマイクロボロメータ構造といったセンサアレイと、を含み、カメラ３７２は、固定フォーカスレンズ等のレンズと、レンズ後方のＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ等の光学センサと、を有する。また、モバイルデバイス３６０は、アプリケーションプロセッサ、ベースバンドプロセッサ、永続的ストレージ、メモリコントローラ、ＧＰＵ、周辺インタフェース、ＲＦ回路、オーディオ回路、ＧＰＳ、パワーシステム、及びＯＳを含み、ここで、ＯＳは、ユーザインタフェースを有し、アイトラッキング及び顔認識ソフトウェアを実行する。このソフトウェアは、永続的ストレージに記憶されている。
【００３５】
このソフトウェアは、カメラ３７２を使用してユーザの細目を検出する。カメラ３７２は、ユーザの顔面の画像を撮影する。このソフトウェアは、ユーザの顔面を検出し、検出された顔面から顔面特徴を抽出し、例えば、ＡＵを使用して、ユーザの顔面表情を判別する。このソフトウェアはまた、ＩＲカメラ３７０、ＩＲ光源３６８、及びＩＲ光源３６４を使用して、ユーザの注視を検出する。ＩＲ光源３６８及び３６４は、ＬＥＤであり得る。ＩＲ光源３６８のときには、ＩＲカメラ３７０が、ユーザの目からの反射を受光すると、ユーザの瞳孔は、明瞳孔検出を用いて検出される。なぜならば、ＩＲ光が、カメラに向かって戻るように反射されるからである。ＩＲ光源３６４が使用されるときには、ユーザの瞳孔は、暗瞳孔検出を用いて検出される。なぜならば、ＩＲ光が、ＩＲカメラ３７０に向かってではなく、ＩＲ光源３６４に向かって戻るように反射されるからである。このソフトウェアは、明瞳孔検出及び暗瞳孔検出のために、適切なＩＲ光源を活性化及び非活性化することができる。例えば、ＩＲ光源３６８が、低光状態中に、又はユーザが明るい色の目を有するときには、活性化され得るのに対し、ＩＲ光源３６４が、明光状態中に、又はユーザが暗い色の目を有するときには、活性化される。別の例において、ＩＲ光源３６８及び３６４は交互にされる。明瞳孔検出及び／又は暗瞳孔検出を用いて、ユーザの注視が検出される。ユーザが細目にしているときに、ユーザが見ているディスプレイの領域における表示が拡張される。画像のコントラストが、増大された明瞭さのために調整され得る。一例において、小さなテキスト又は小さな画像が、明瞭さを増大させるために拡大される。別の例において、ＧＵＩ要素のレイアウトが、ユーザが見ているＧＵＩ要素のサイズを増大させるとともに、他のＧＵＩ要素を除去する又は他のＧＵＩ要素のサイズを低減させるために、変更され得る。該当するＧＵＩ要素は、画像要素又はテキスト要素であり得る。
【００３６】
図１４は、ユーザの顔面における細目を検出し、ユーザが見ているモバイルデバイスのディスプレイ上の領域を判定し、ディスプレイのその領域を拡張するためのシステム３８０を示している。ユーザ３８８は、ユーザの目である目３９０の近くにウェアラブルデバイス３９２を装着している。ウェアラブルデバイス３９２は、さらなる機能を有することができ、例えば、ウェアラブルデバイス３９２は、Ｇｏｏｇｌｅ  Ｇｌａｓｓ（登録商標）である。代替的に、ウェアラブルデバイス３９２は、スタンドアロンデバイスである。ウェアラブルデバイス３９２は、ＩＲ光源３９４及びＩＲモジュール３９６を含み、ＩＲモジュール３９６は、ＩＲ光源４００及びＩＲカメラ３９８を含む。ＩＲカメラ３９８は、レンズと、例えば、焦電材料、強誘電検出器、又はマイクロボロメータ構造といったセンサアレイと、を含む。ＩＲ光源３９４及び４００は、ＬＥＤであり得る。ＩＲ光源４００又はＩＲ光源３９４が照射されたときに、ＩＲカメラ３９８は、目３９０からのＩＲ反射を受光する。ＩＲ光源４００が照射されるときには、光が、ＩＲカメラ３９８に向かって戻るように反射され、明瞳孔検出が実行される。一方、ＩＲ光源３９４が使用されるときには、暗瞳孔検出が用いられる。ウェアラブルデバイス３９２はまた、位置センサ、モバイルデバイス３８２に対するウェアラブルデバイス３９２の向きを判定するために使用され得る向きセンサ、又はデジタルコンパスを含み得る。
【００３７】
ウェアラブルデバイス３９２は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は専用通信帯域を使用して、モバイルデバイス３８２と通信する。モバイルデバイス３８２は、スマートフォン、タブレット、ハンドヘルドコンピュータ、メディアプレーヤ、又はＰＤＡであり得る。モバイルデバイス３８２は、ＩＲ光源４００及びＩＲ光源３９４のうちの適切な１つを照射するようにウェアラブルデバイス３９２に通知するメッセージを、ウェアラブルデバイス３９２に送信する。また、モバイルデバイス３８２は、ＩＲカメラ３９８から、ユーザの瞳孔から反射されたＩＲ光による画像を受信する。モバイルデバイス３８２は、カメラ３８６、ディスプレイ３８４、アプリケーションプロセッサ、ベースバンドプロセッサ、永続的ストレージ、メモリコントローラ、ＧＰＵ、周辺インタフェース、ＲＦ回路、オーディオ回路、ＧＰＳ、パワーシステム、及びＯＳを含む。ディスプレイ３８４は、テキスト、グラフィックス、ビデオ、又はこれらの組合せ等の視覚的出力をユーザに表示するＬＣＤであり得る。ディスプレイ３８４はまた、出力部であるだけでなくタッチスクリーン入力部でもあり得る。カメラ３８６は、固定フォーカスレンズと、レンズ後方のＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ等の光学センサと、を有することができる。瞳孔検出を実行するときに、ウェアラブルデバイス３９２及びモバイルデバイス３８２の向きが判定されるので、ユーザが見ているディスプレイ３８４上の場所が確認され得る。モバイルデバイス３８２上及びウェアラブルデバイス３９２上の位置センサ及び向きセンサは、これら２つのデバイスの位置及び向きを判定するために使用され得る。ウェアラブルデバイス３９２は、その位置及び向きをモバイルデバイス３８２に送信する。次いで、それらの相対位置及び相対向きが、それらの位置の間の差異及びそれらの向きの間の差異から、モバイルデバイス３８２により判定され得る。相対向き及びユーザの注視から、ユーザが見ているディスプレイ３８４上の場所が、例えば、暗瞳孔検出又は明瞳孔検出を用いて判定され得る。ユーザが細目にしているかどうかが、カメラ３８６からの画像から判定される。顔面が、画像において検出され、顔面特徴が、検出された顔面から抽出される。次いで、顔面表情が判別される。細目が検出されたとき、ユーザが見ている場所が判定され、ディスプレイにおけるその場所が拡張される。拡張は、画像のコントラストを増大させ得る。代替的に、テキストボックス又は画像のサイズが増大される。別の例において、場合によっては他のＧＵＩ要素を犠牲にして、ユーザが見ているＧＵＩ要素のサイズが増大されるように、ＵＩが再配置される。
【００３８】
図１５は、本明細書で開示されたデバイス及び方法を実装するために使用され得る処理システム２７０のブロック図を示している。特定のデバイスは、図示されるコンポーネントの全て又はそれらのコンポーネントのサブセットのみを利用することができ、統合のレベルは、デバイスによって変わり得る。さらに、デバイスは、複数の処理ユニット、プロセッサ、メモリ、送信機、受信機等といった、コンポーネントの複数のインスタンスを含み得る。処理システムは、マイクロフォン、マウス、タッチスクリーン、キーパッド、キーボード、及び同様のもの等の１以上の入力デバイスとともに備えられる処理ユニットを備えることができる。また、処理システム２７０は、スピーカ、プリンタ、ディスプレイ、及び同様のもの等の１以上の出力デバイスを備えることができる。処理ユニットは、バスに接続される、中央処理装置（ＣＰＵ）２７４、メモリ２７６、大容量記憶デバイス２７８、ビデオアダプタ２８０、及びＩ／Ｏインタフェース２８８を含み得る。
【００３９】
バスは、メモリバス若しくはメモリコントローラ、周辺バス、ビデオバス、又は同様のものを含む任意のタイプの複数のバスアーキテクチャのうちの１以上であり得る。ＣＰＵ２７４は、任意のタイプの電子データプロセッサを含み得る。メモリ２７６は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、これらの組合せ、又は同様のもの等の任意のタイプのシステムメモリを含み得る。一実施形態において、メモリは、ブートアップにおいて使用するためのＲＯＭと、プログラムを実行している間に使用するための、プログラム及びデータの記憶のためのＤＲＡＭと、を含み得る。
【００４０】
大容量記憶デバイス２７８は、データ、プログラム、及び他の情報を記憶し、データ、プログラム、及び他の情報を、バスを介してアクセス可能にするよう構成された任意のタイプの記憶デバイスを含み得る。大容量記憶デバイス２７８は、例えば、ソリッドステートドライブ、ハードディスクドライブ、磁気ディスクドライブ、光ディスクドライブ、又は同様のもののうちの１以上を含み得る。
【００４１】
ビデオアダプタ２８０及びＩ／Ｏインタフェース２８８は、外部入力デバイス及び外部出力デバイスを処理ユニットに接続するためのインタフェースを提供する。図示されるように、入力デバイス及び出力デバイスの例は、ビデオアダプタに接続されるディスプレイと、Ｉ／Ｏインタフェースに接続されるマウス／キーボード／プリンタと、を含む。他のデバイスが処理ユニットに接続されてもよく、さらなる又はより少ないインタフェースカードが利用されてもよい。例えば、シリアルインタフェースカード（図示せず）が、プリンタのためのシリアルインタフェースを提供するために使用されてもよい。
【００４２】
処理ユニットはまた、１以上のネットワークインタフェース２８４を含み、１以上のネットワークインタフェース２８４は、Ｅｔｈｅｒｎｅｔ（登録商標）ケーブル若しくは同様のもの等の有線リンク、及び／又は、ノード若しくは異なるネットワークにアクセスするための無線リンクを含み得る。ネットワークインタフェース２８４は、処理ユニットが、ネットワークを介してリモートユニットと通信することを可能にする。例えば、ネットワークインタフェースは、１以上の送信機／送信アンテナ及び１以上の受信機／受信アンテナを介する無線通信を提供することができる。一実施形態において、処理ユニットは、他の処理ユニット、インターネット、リモートストレージ施設、又は同様のもの等のリモートデバイスとのデータ処理及び通信のために、ローカルエリアネットワーク又はワイドエリアネットワークに接続される。
【００４３】
本開示において、複数の実施形態が提供されているが、開示されたシステム及び方法は、本開示の主旨又は範囲から逸脱することなく、多くの他の特定の形態で具現化され得ることが理解されるべきである。本例は、限定ではなく例示と考えられるべきであり、本発明は、本明細書で与えられた詳細に限定されるべきではない。例えば、様々な要素又はコンポーネントは、別のシステムにおいて組み合わされてもよいし又は統合されてもよいし、あるいは、所定の機能は、省かれてもよい、すなわち、実装されなくてもよい。
【００４４】
さらに、別個のもの又は分離したものとして、様々な実施形態において説明され図示された技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術、又は方法と組み合わされ得る又は統合され得る。互いと接続されるもの若しくは直接的に接続されるもの又は通信するものとして図示又は説明された他のアイテムは、電気的であるか機械的であるか又は別の形であるかにかかわらず、何らかのインタフェース、デバイス、又は中間コンポーネントを介して、間接的に接続され得る又は通信し得る。変化、代替、及び変更の他の例が、当業者により確認でき、本明細書で開示された主旨及び範囲から逸脱することなくなされ得る。
【図１】
0006339287.tif 000002
【図２】
0006339287.tif 000003
【図３】
0006339287.tif 000004
【図４Ａ】
0006339287.tif 000005
【図４Ｂ】
0006339287.tif 000006
【図５Ａ】
0006339287.tif 000007
【図５Ｂ】
0006339287.tif 000008
【図６Ａ】
0006339287.tif 000009
【図６Ｂ】
0006339287.tif 000010
【図７Ａ】
0006339287.tif 000011
【図７Ｂ】
0006339287.tif 000012
【図８】
0006339287.tif 000013
【図９】
0006339287.tif 000014
【図１０】
0006339287.tif 000015
【図１１】
0006339287.tif 000016
【図１２】
0006339287.tif 000017
【図１３】
0006339287.tif 000018
【図１４】
0006339287.tif 000019
【図１５】
0006339287.tif 000020