(57)【要約】【課題】データ表示に使用されるシステム及び方法を提供する。【解決手段】上記の方法は、ユーザの視覚要件についてのデータを付与することと、前記ユーザに対し表示対象内容についてのデータを付与し、表示デバイス上に初期表示データを生成して表示することと、前記表示データ中の前記ユーザの関心領域を識別することと、を含む。この方法は、前記ユーザの視覚要件についての前記データに従って前記表示データを処理して前記関心領域内の前記表示データの少なくとも一部に適切な画像処理を含む更新及び改変表示データを生成し、前記表示デバイス上に表示される前記更新表示データを送信することを含む。従って、これら更新及び矯正表示データにより前記ユーザに対し前記関心領域内での改善画像表示を実現する。【選択図】図１
2018506054.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの視界要件についてのデータを付与することと、
前記ユーザに対し表示対象内容についてのデータを付与し、表示デバイス上の初期表示データを表示することと、
前記表示データ中の前記ユーザの関心領域を識別することと、
前記ユーザの視覚要件についての前記データに従って前記表示データを処理し、前記関心領域内の前記表示データの少なくとも一部に適切な画像処理を含む更新データを生成し、また前記更新データを送信して前記表示デバイス上に表示されるようにすることにより前記ユーザに対し前記関心領域内で改善された画像表示を付与することと、を含む、データ表示に使用される方法。
【請求項２】
前記ユーザのＲＯＩを識別することは、前記表示対象内容を処理し、前記内容に基づいて１つ以上のデータ部分を確定することを含む、請求項１に記載の方法。
【請求項３】
前記ユーザのＲＯＩを識別することは、前記ユーザの少なくとも片方の目の視線についてのデータを付与することにより前記ＲＯＩを識別することを含む、請求項１又は２に記載の方法。
【請求項４】
前記ユーザの関心領域を識別することは、所定時間内の前記視線の履歴と、前記表示データに対応する前記視線の変化量を選択することと、を含む、請求項３に記載の方法。
【請求項５】
前記ユーザの視線についてのデータを付与することは、推定されるユーザの注目位置に関連する前記表示領域内のポイントを確定することを含む、請求項３又は４に記載の方法。
【請求項６】
前記ユーザの視線についてのデータを提供することは、ポインティングデバイス（例えば、マウス）の動作履歴を受信し、前記の動作履歴についてのデータを処理して前記のユーザ視線についてのデータを確定することを含む、請求項３〜５の何れか１項に記載の方法。
【請求項７】
前記ユーザの視線についてのデータを提出することは、前記ユーザの少なくとも片方の目の動きについてのデータを付与し、前記データを、前記表示デバイス上の所定位置と比較することにより前記表示データ中の位置が前記ユーザの視界内にあることを確定することを含む、請求項３〜６の何れか１項に記載の方法。
【請求項８】
前記ユーザの少なくとも片方の目の動きについてのデータを付与することは、前記表示デバイスに対して所定位置に取り付けられる撮像素子から前記ユーザの画像データを収集し、前記画像データを処理して前記表示デバイスに対し前記ユーザの少なくとも片方の目の方位を確定することを含む、請求項７に記載の方法。
【請求項９】
前記ユーザの視線についてのデータを付与することは、前記ユーザの左右各々の目の個々の動きについてのデータを付与し、右目の視線及び左目の視線を確定することを含む、請求項７又は８に記載の方法。
【請求項１０】
前記表示データは、右目表示データと、左目表示データと、を含み、前記の表示データの処理は、それぞれ前記理決め表示データ及び左目表示データの少なくとも一部に対し第１及び第２の画像処理を適用することを含む、請求項９に記載の方法。
【請求項１１】
前記の右目表示データ及び左目表示データの少なくとも一部についての画像処理は、互いに同様か相違する、請求項１０に記載の方法。
【請求項１２】
前記ユーザの少なくとも片方の目の動きについてのデータを付与することは、前記ユーザの少なくとも片方の目の前記視線が表示領域の範囲内であるか、或いは前記表示領域の範囲外であるかを確定し、前記目の視線が前記表示領域の範囲外にあるとき、前記ユーザの少なくとも片方の目についての前記関心領域の更新を保持することを更に含む、請求項７〜１１の何れか１項に記載の方法。
【請求項１３】
前記ユーザの少なくとも片方の目の動きについてのデータを付与することは、前記ユーザの少なくとも片方の目の前記視線が表示領域の範囲内であるか、或いは前記表示領域の範囲外であるかを確定し、前記表示領域の範囲外に向けられている前記ユーザの前記少なくとも片方の目に対し、前記対応する表示装置を暗くするコマンドを送信することを更に含む、請求項７〜１２の何れか１項に記載の方法。
【請求項１４】
前記ユーザの関心領域（ＲＯＩ）内の前記表示データの少なくとも一部に前記画像処理を適用することは、前記ユーザの視覚要件についてのデータに従って以下のフィルタ、即ち画像移動、画像回転、画像歪み反転、画像拡大、画像部分（例えばワード）の間のスペースの増加、前記ＲＯＩの周辺への暈しの適用、周辺の濃淡の低減、ＲＯＩの輝度の増強、予め選択されたカラーマップとの前記ＲＯＩ内の画像色の置き換え、前記表示データの欠陥部分の除去、前記表示データ中の輪郭のマーキング、並びに前記表示データのパターンエッジのマーキングのうちの少なくとも１つのフィルタを適用することを含む、請求項１〜１３の何れか１項に記載の方法。
【請求項１５】
前記表示対象内容についてのデータを付与し、前記ユーザのＲＯＩを確定し、前記ユーザの前記ＲＯＩ内の前記表示データの少なくとも一部に、対応するフィルタを適用し、更新表示データを生成して前記データを連続実行中の表示デバイスに送信することにより前記ユーザに対し表示データを改善した連続視聴を可能にする、請求項１〜１４の何れか１項に記載の方法。
【請求項１６】
前記表示データ「テキストから音声及び音声からテキスト」に関連する可聴信号を受信して生成することを更に含む、請求項１〜１５の何れか１項に記載の方法。
【請求項１７】
前記表示データ中に１つ以上のコマンド領域を確定し、前記表示データ中の前記ユーザ関心領域が前記１つ以上のコマンド領域の範囲内にあるか否かを確定することにより、１つ以上の所定コマンドを起動することを更に含む、請求項１〜１６の何れか１項に記載の方法。
【請求項１８】
視線追跡データを付与し、前記ユーザの目の動きに対応する１つ以上のジェスチャーを確定することを更に含み、前記１つ以上のジェスチャーは、１つ以上の所定コマンドに関連付けられることにより前記１以上の所定コマンドを起動する、請求項１〜１７の何れか１項に記載の方法。
【請求項１９】
前記１つ以上の所定コマンドは、表示される前記データの選択に関連する１つ以上のコマンドを含む、請求項１７又は１８に記載の方法。
【請求項２０】
前記１つ以上の所定コマンドは、前記ユーザの視覚要件に関連する１つ以上のコマンドを含むことにより前記表示データの少なくとも一部に適用される画像処理の選択に影響する、請求項１７〜１９の何れか１項に記載の方法。
【請求項２１】
前記表示データを処理し、強調表示されるべき１つ以上のデータ部分を確定し、それに従って選択されたデータ部分を読み込んで強調表示するための進捗率を確定することを含む、読書支援を行うように構成される、請求項１〜２０の何れか１項に記載の方法。
【請求項２２】
前記ユーザの視線を確定し、前記視線における変化に従って案内読書進捗を制御することを更に含み、前記制御することは、以下の機能、即ち読書進捗の保持、前の位置からの読書進捗の再開、選択された位置からの読書進捗の再開、並びに読書速度の変更のうちの少なくとも１つの機能を含む、請求項２１に記載の方法。
【請求項２３】
前記ユーザの視線と、減債強調表示されている選択データ部分と、の間の距離を確定し、前記距離が所定の閾値を超えていれば、視線追跡較正データを更新し、強調表示されたデータ部分に視線を整合させることを含む、請求項２１又は２２に記載の方法。
【請求項２４】
前記プログラムがコンピュータ上で走行されるとき、請求項１〜２３の何れの項のステップも全て実行するためのコンピュータプログラムコード手段を含む、コンピュータプログラム。
【請求項２５】
コンピュータ可読媒体上で実施される、請求項２４記載のコンピュータプログラム。
【請求項２６】
機械可読式のプログラム格納デバイスとして、前記機械によって実行可能な命令のプログラムを触覚可能に実施してデータ表示に使用される方法を実行するものであって、
ユーザの視覚要件についてのデータを付与することと、
前記ユーザへの表示対象内容についてのデータを付与し、表示デバイス上に初期表示データを生成して表示することと、
前記表示データ中に前記ユーザの関心領域を識別することと、
前記ユーザの視覚要件についての前記データに従って前記表示データを付与して前記関心領域内の前記表示データの少なくとも一部に適切な画像処理を含む更新表示データを生成し、前記表示デバイス上に表示される前記更新表示データを送信することにより前記ユーザに対し前記関心領域内の改善された画像表示を付与することと、を含む、プログラム格納デバイス。
【請求項２７】
改善された表示データを付与するためのシステムとして、少なくとも１つの処理ユニットと、入出力モジュールと、メモリユーティリティを含み、かつ少なくとも１つの表示デバイスに接続可能なものであって、前記システムは、前記ユーザの視覚要件についての所定データに従って改善された表示データを生成するために構成されて動作可能とし、前記処理ユニットは、
表示対象のデータを受信し、表示デバイスに表示データを生成して送信するために構成されて動作可能な表示データ発生器と、
前記表示データを受信し、前記表示データ中の関心領域（ＲＯＩ）を確定するために構成されて動作可能な関心領域（ＲＯＩ）識別装置と、
前記ユーザの視覚要件についての前記所定データを受信し、かつ前記表示データ中の前記ユーザＲＯＩに従って、前記表示データの少なくとも一部を処理して１つ以上の対応画像処理を適用し、かつその結果改善された視覚データを前記表示データ発生器に送信して前記ユーザに対し更新表示データを付与するために構成されて動作可能なローカル画像処理モジュールと、を含む、システム。
【請求項２８】
前記処理ユニットは、前記ユーザの視線を確定するために構成されて動作可能な視線検出器を更に含み、前記ＲＯＩ識別装置は、前記視線検出器から受信した視線についてのデータに従って関心領域（ＲＯＩ）を確定するために構成されて動作可能としている、請求項２７に記載のシステム。
【請求項２９】
前記視線検出器は、前記システムの前記入力モジュールに接続されるポインティングデバイスの動作履歴に従って、前記ユーザの前記視線を確定するために構成されて動作可能とする、請求項２８に記載のシステム。
【請求項３０】
前記視線検出器は、前記ユーザの少なくとも片方の目の位置及び方位のうちの少なくとも１つについてのデータを受信することによって前記ユーザの前記視線を確定するために構成されて動作可能とする、視線追跡ユニットと接続可能な、請求項２８に記載のシステム。
【請求項３１】
前記視線検出器は、前記ユーザの左右各々の目の個々に動きについてのデータを受信し、右目の視線及び左目の視線を確定するために構成されて動作可能とする、請求項３０に記載のシステム。
【請求項３２】
前記表示データ発生器は、右目表示データと、左目表示データと、を含む表示データを生成して送信し、前記ユーザに対し適切に表示されるようにして前記ユーザの左右各々の目についての個々の表示を切れ目なく行うために構成される、請求項３１に記載のシステム。
【請求項３３】
前記ローカル画像処理モジュールは、前記右目視線及び左目視線、並びに前記ユーザの視覚条件についての前記データに従って、それぞれ前記右目表示データ及び左目表示データの一部に第１及び第２のフィルタを選択的に適用するために構成されて動作可能とする、請求項３２に記載のシステム。
【請求項３４】
前記視線発生器は、前記ユーザの両目にのうちの少なくとも片方の目の前記視線が前記表示領域の範囲内であるか、或いは前記表示領域の範囲外であるかを確定し、前記ＲＯＩ識別装置への対応する通知を生成するために更に構成され、前記ＲＯＩ識別装置は、前記視線内での移動が意識的なものか、或いは無意識的なものかを区別するために更に構成されて動作可能とし、前記ユーザのＲＯＩ内での対応する変化を確定する、請求項２８〜３３の何れか１項に記載のシステム。
【請求項３５】
前記ローカル画像処理モジュールは、前記ＲＯＩ識別装置からの視線における無意識的な移動についての通知に従って、前記画像データの少なくとも一部を除去することにより視線内の大きな移動に応じて前記表示データの少なくとも一部を暗くし、眼鏡取り付け型シャッターなどの別の手段によって視覚の経路を遮断するために更に構成されて動作可能とする、請求項３４に記載のシステム。
【請求項３６】
前記ローカル画像処理モジュールは、前記ユーザの既存の視覚条件についての前記データに従って、以下の画像処理、即ち画像移動、画像回転、画像歪み反転、画像拡大、画像部分（例えば、ワード）間のスペースの増加、前記ＲＯＩの周辺への暈しの適用、前記ＲＯＩの一部の強調表示、前記ＲＯＩの一部の隔離、前記ＲＯＩ内での濃淡の増強、周辺の濃淡の低減、ＲＯＩの輝度の増減、予め選択されたカラーマップとの前記ＲＯＩ内の画像色の置き換え、前記表示データの欠陥部分の除去、前記表示データ中の輪郭のマーキング、並びに表示中のパターンエッジのマーキングのうちの少なくとも１つの処理を適用するために構成されて動作可能とする、請求項２７〜３５の何れか１項に記載のシステム。
【請求項３７】
前記ユーザの視線の変化に従って、かつ前記表示対象のデータの変化に従って、前記表示データを連続的に更新するために構成される、請求項２７〜３６の何れか１項に記載のシステム。
【請求項３８】
前記処理ユニットは、前記表示データ中の１つ以上のコマンド領域を確定し、かつ前記１つ以上のコマンド領域内で検出されたユーザ視線に応じて、１つ以上の対応する所定コマンドを生成するために構成されて動作可能なローカルコマンド発生器を更に含み、前記視線検出器は、視線が前記１つ以上のコマンド領域の範囲内に確定されているときに、前記コマンド発生器に通知を生成することにより１つ以上の所定コマンドを駆動するために更に構成される、請求項２７〜３７の何れか１項に記載のシステム。
【請求項３９】
前記処理ユニットは、目の動きのジェスチャーや他の目の挙動に対応付けされた１つ以上のコマンドを確定するために構成されて動作可能なジェスチャーコマンド発生器を更に含み、前記システムは、視線追跡データを付与するために構成された視線追跡ユニットに接続可能とされ、また前記ジェスチャーコマンド発生器は、前記視線追跡データを受信し、前記視線追跡データにより１つ以上のジェスチャーを識別することにより、識別されたジェスチャーに関連する前記１つ以上の所定コマンドを起動するために更に構成される、請求項２７〜３８の何れか１項に記載のシステム。
【請求項４０】
前記１つ以上の所定コマンドは、前記表示対象のデータの選択に関連する１つ以上のコマンドを含む、請求項３８又は３９に記載のシステム。
【請求項４１】
前記１つ以上の所定コマンドは、前記表示データのうちの前記少なくとも一部に適用されるフィルタの選択に関連する１つ以上のコマンドを含む、請求項３８〜４０の何れか１項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚要件に従ってユーザの体験を改善するための矯正画像表示の分野におけるものであって、具体的には、視覚の悪化したユーザのための視覚改善に関する。
【背景技術】
【０００２】
人間が有する五感のうちの一つである、視覚は、最も重要で支配的な感覚である。実際、視覚の喪失は、一番の健康上の恐れである。目は、視神経及び脳と組み合わさった視覚系統の前端であって、非常に複雑で繊細な系統を形成している。その複雑性のため、多くの疾病により視覚に悪影響が及ぶと、患者の生活の質を著しく低下させてしまう。視覚に関係した疾病を患う人の数は、世界中で数百万人ともいわれる。
【０００３】
今日では、寿命が延びて高齢者人口が急速に増加するにつれて、これら視覚の悪化がより重要な問題となっており、視覚の質的な低下を抑えることで高齢者の生活の質を視覚の面で向上させる必要がある。
【０００４】
目の治療は最近５０年間で急速に進歩したが、多くの場合、現在医学では視覚の悪化を完治させる特効薬は付与されておらず、また多くの場合、病理学上の処置で視覚の悪化を遅らせるにとどまり、患者に付与できる療法も非常に限られているのが現状である。
【０００５】
低視覚の患者の視力改善は、こうした患者の生活の質を高めるだけでなく、社会への負担を低減させるものである。
【０００６】
技術開発に伴い、各種表示システムを使用して情報消費を行う必要性を感じている人の数は、増加の一途にある。通常、このような情報は、その性質上、文書及び／又は画像である場合や、専門上又は娯楽上の需要に関連する場合がある。
【０００７】
現在利用可能な画像表示システムとして、特定の表示データ特性を変更して視覚要件を補う能力をユーザに付与する、アクセシビリティツールという選択肢を付与している。
【発明の概要】
【課題を解決するための手段】
【０００８】
表示アクセシビリティの増強及び表示データに関するユーザ体験の向上のための新技術については、技術上の必要性がある。本発明の技法は、ユーザの視覚要件に従って選択された内容のオンライン適合型の表示を行う一方、表示内容の範囲内でのユーザの関心領域に基づいて表示特性を更新することを可能とするものである。
【０００９】
上記の適合型の表示には、一般的に、画定された視覚要件に従って矯正された表示領域を含む一方、前記矯正領域周辺の表示データは、（その内容又は嗜好によって）元々画定されたものとして残っていてもよい。矯正領域は、表示データの範囲内でのユーザの所定の関心領域に基づいて確定される。このため、矯正領域は、読書中、写真又はビデオ視聴中のユーザの関心に従い、ユーザの関心に基づいて少なくとも表示データの一部に矯正を適用してもよい。
【００１０】
一般的に、この技法は、所定の視覚要件に基づいており、ユーザの視覚の悪化が明白な場合に関連している。一度、ユーザの視覚の悪化が判断されれば（専門医による診断又はユーザによる自己診断、或いは１つ以上の自動化技法を使用した判断がなされれば）、適切な画像処理機能を実施できると共に、ユーザに適切な表示内容を付与することによりユーザの体験を向上させることが可能となる。例えば、ユーザが一定の視覚歪みを患っていると診断される場合、適切な画像処理は、その歪みを矯正することを含んでもよい。また別の画像処理機能として、データの一部の拡大又は隔離と、濃淡の増強又は輝度の変更と、更に以下に説明するような追加的な画像処理機能と、を含んでもよい。一般的に、画像矯正は、均一な矯正、即ち矯正領域内での座標とは別個の矯正関数でも、或いは当該矯正関数が矯正領域内での座標の関数であるような態様の不均一な矯正でもよい。
【００１１】
一般的に、本発明の技法は、ユーザの視覚要件についてのデータを付与することを一般的に含んでいる。このデータは、対応する格納部に予め格納されても、或いはユーザによって確定されてもよい。また、表示対象内容についてのデータが付与／選択され、適切な初期表示データが表示デバイス上でユーザに表示されるように生成される。その内容は、一般的に、領域表示、文書、インターネットサイト、データシート、画像、ビデオなど如何なるデータの表示内容でもよい。その内容は、通常、表示対象内容についての追加内容又は相違部分の選択など、ユーザ対話に従って更新される。また、ここで説明される条件内容及び表示データは広義に解釈されるべきであり、システム動作用データや、動作システムインターフェース、またユーザ又は第三者によって表示用に選択されたデータも含めて、表示デバイス上に表示された如何なるデータにも関係するので注意されたい。
【００１２】
更に、表示データの範囲内でのユーザの関心領域も識別対象となる。関心領域（ＲＯＩ）は、通常、情報片と共に形成する１つ以上のデータ要素を含む表示データの一部である。寸法、形状、及び位置に従ったＲＯＩの選択により、通常、表示データの一部を付与し、ユーザは、その情報片をよりよく見ることが可能となるため、その内部の情報を理解又は把握することが可能となる。例えば、このような情報片は、文章中の単一ワードでも複数のワードでも、画像の輪郭に関連する寸法及び形状を有する当該画像のライン又は一部でも、或いは、例えばシステムインターフェースデータを含む画面の一部でもよい。
【００１３】
表示データ中のユーザのＲＯＩは、ユーザの片目又は両目が向いている表示領域内のポイントを示す、ユーザの視線に基づいて確定されてもよい。この視線は、視線追跡ポインティングデバイス（例えば、マウス）によっても、或いはユーザの関心のパターンの計算値又は期待値に従っても確定されてもよい。幾つかの構成では、上記ＲＯＩは、所定時間内での視線の動きの履歴又は動作特性に基づいて確定されることにより、このＲＯＩとは無関係なユーザの視線の素早い動きや不要な動きを補ってもよい。幾つかの他の構成では、このような視線の素早い動きは、例えばユーザの片目又は両目の眼振に関連する画像矯正の付与するための、適切な画像処理機能によって補われてもよい。
【００１４】
上記ユーザのＲＯＩに関連する表示データの少なくとも一部には、視覚要件に従って選択された１つ以上の画像処理機能が実行される。これら画像処理機能は、一般的に、上記ＲＯＩの範囲内での情報片の可視性を改善するように選択された１つ以上のフィルタ又は画像処理動作を含むことにより、ユーザの視覚機能の改善を実現してもよい。例えば、ユーザの視覚要件が、文書中のワードの分離の増加、或いは大型のフォントの使用に関連する場合、画像処理機能は、このＲＯＩ範囲内での文書情報の選択、並びに拡大選択した文書情報及び／又はスペースの増加、即ち元の画像データに関する提示／表記に伴う表示データの生成を含んでもよい。また、この画像表示機能に基づき、更新された表示データが生成されて表示デバイスに送信されてもよい。
【００１５】
上記表示データは、例えば、使用中の表示デバイスの更新率に従って、或いは表示中の内容の更新率に従って周期的に更新されてもよいし、またユーザのＲＯＩが経時変化するに従って個人の視覚要件に適合した継続的に改善された表示データをユーザに付与してもよい。
【００１６】
この文脈では、本技法は、画面、投光器ユニット、又は多重画面など１つ以上の表示デバイスであって、表示器付きのガラスとして機能するヘッド取り付け式の表示デバイス、に接続可能なシステム、例えばコンピュータシステムによって実施されうるので注意されたい。幾つかの実施態様では、表示デバイスは、別の画面により、或いは並びにユーザの両目のそれぞれ別々の視覚要件に画像処理機能及び表示データを適合可能とする単一画面とは別の左右各々の目の別々の画像をストリーミングすることにより、ユーザの左右各々の目についての分離式の表示器を含んでもよい。上記の２つの目に対する、このような分離式の表示器は、一般的に、３次元の体験を付与するために使用されうる。以下に説明されるように、本技法は、ユーザの目の間で変化しうる視覚要件に適した改善画像表示を追加的又は代替的に行ってもよい。
【００１７】
更に、本システムは、ユーザの視線に関する表示を付与する１つ以上の入力デバイスに接続可能でもよい。このような入力デバイスは、ポインティングデバイス（例えば、マウス、キーボード、トラッキングペンシルなど）、若しくはユーザの片目又両目の方位に基づき、実際のユーザの視線を示す入力を付与できる入力デバイスを含んでもよい。例えば、本発明の技法では、ユーザの片目又は両目の方位についてのデータを付与する視線追跡ユニット、或いはユーザの画像データを付与するカメラユニットを利用してもよい。このような画像データは、ユーザの片目又は両目の目の位置及び方位に基づいた視線についてのデータを付与するように処理されてもよい。
【００１８】
このため、本発明の広義の一態様によれば、データ表示に使用される方法であって、ユーザの視覚要件についてのデータを付与することと、前記ユーザに対し表示対象内容についてのデータを付与して表示デバイス上で初期表示データを生成して表示し、前記表示データの範囲内で前記ユーザの関心領域を識別することと、前記ユーザの視覚要件についての前記データに従って、前記表示データを処理して前記関心領域内に前記表示データの少なくとも一部に適切な画像処理を含む更新表示データを生成し、前記表示デバイス上に表示される前記更新表示データを送信することにより前記ユーザに対し前記関心領域内での改善画像表示を行うことと、を含む、方法が提供される。
【００１９】
前記ユーザのＲＯＩを識別することは、前記の表示対象内容を処理し、前記内容に基づいて１つ以上のデータ部分を確定することを含んでもよい。また、前記ユーザのＲＯＩを識別することは、前記ユーザの少なくとも片方の目の視線についてのデータを付与することにより前記ＲＯＩを識別することを含む。より具体的には、前記ユーザの関心領域の識別は、所定の時間内での前記視線についての履歴データを利用し、前記表示データに対応する前記視線の変化を選択することを含んでもよい。
【００２０】
一般的に、前記ユーザの視線についてのデータを付与することは、推定されるユーザ関心の位置に関連する表示領域内のポイントを確定することを含んでもよい。
【００２１】
幾つかの実施態様によれば、前記ユーザの視線についてのデータを付与することは、ポインティングデバイス（例えば、マウス）の動作履歴についてのデータを受信し、前記動作履歴についてのデータを処理し、前記ユーザの視線についての前記データを確定することを含んでもよい。
【００２２】
幾つかの実施態様によれば、前記ユーザの視線についてのデータを付与することは、前記ユーザの少なくとも片方の目の動きについてのデータを付与し、前記データを前記表示デバイス上の所定位置と比較することにより前記ユーザの視線の範囲内にある前記表示データ中の位置を確定することを含んでもよい。
【００２３】
前記ユーザの少なくとも一方の動きについてのデータを付与することは、前記表示デバイスに対し所定位置に取り付けられた撮像素子から前記ユーザの画像データを収集し、前記画像データを処理し、前記表示デバイスに関して前記ユーザの少なくとも片方の目の方位を確定することを更に含んでもよい。
【００２４】
例えば、前記ユーザの視線についてのデータを付与することは、前記ユーザの左右各々の目の個々の動きについてのデータを付与し、右目の視線及び左目の視線を確定することを更に含んでもよい。また、この表示データは、右目表示データと、左目表示データと、を含んでもよく、また前記表示データの処理は、それぞれ、前記右目表示データ及び左目表示データの少なくとも一部に第１及び第２の画像処理を適用することを含む。このような右目表示データ及び左目表示データの少なくとも一部についての画像処理は、互いに同様でも相違してもよい。
【００２５】
前記ユーザの少なくとも片方の目の動きについてのデータを付与することは、前記ユーザの少なくとも片方の目の前記視線が表示領域の範囲内であるか、或いは前記表示領域の範囲外であるかを確定し、前記片方の目の視線が前記表示領域の範囲外であるときには前記ユーザの片目についての前記関心領域の更新を保持することを更に含んでもよい。
【００２６】
追加的或いは代替的に、前記ユーザの少なくとも片方の目の動きについてのデータを付与することは、前記ユーザの少なくとも片方の目の前記視線が表示領域の範囲内であるか、或いは前記表示領域の範囲外であるかを確定し、前記表示領域の範囲外に方向づけられている前記ユーザの前記少なくとも片方の目に対して（例えば、眼鏡取り付け型シャッターなどの別の手段によって視覚の経路を遮断することにより）対応する表示デバイスを暗くするコマンドを送信することを更に含んでもよい。
【００２７】
幾つかの実施態様によれば、前記ユーザ関心領域（ＲＯＩ）内の表示データの少なくとも一部に前記画像処理を適用することは、前記ユーザの視覚要件についての前記データに従って、以下のフィルタ、即ち画像移動、画像回転、画像歪み矯正、画像拡大、画像部分（例えば、ワード）間のスペースの増加、前記ＲＯＩの周辺への暈しの適用、前記ＲＯＩの一部の隔離、前記ＲＯＩ内の濃淡の増強、周辺の濃淡の低減、ＲＯＩの輝度の増減、前記表示データの欠陥部分の除去、前記表示データ中の輪郭のマーキング、並びに前記表示データのパターンエッジのマーキングのうちの少なくとも一つのフィルタを適用することを含んでもよい。
【００２８】
幾つかの実施態様によれば、前記の表示内容についてのデータを付与すること、前記ユーザのＲＯＩを確定すること、前記ユーザのＲＯＩ内に表示データの少なくとも一部に、対応するフィルタを適用すること、更新表示データを生成して前記表示データを表示デバイスに送信することは、通常、連続的に行われることにより、前記ユーザに対し改善表示データの連続表示を可能にしている。
【００２９】
幾つかの実施態様によれば、前記技法は、前記表示データに関する可聴信号を受信して生成することを更に含んでもよい。
【００３０】
幾つかの実施態様によれば、前記方法は、視線追跡データを付与し、前記ユーザの目の動き又は他の目の挙動に対応する１つ以上のジェスチャーを確定し、前記１つ以上のジェスチャーが１つ以上の所定のコマンドに関連付けされることにより前記１つ以上の所定コマンドを起動することを更に含んでもよい。
【００３１】
前記１つ以上の所定コマンドは、前記表示対象データの選択に関連する１宇以上のコマンド、或いは前記ユーザの視覚要件の選択に関連するコマンドを含むことにより前記表示データの前記少なくとも一部に適用される画像処理の選択に影響する可能性がある。
【００３２】
幾つかの実施態様によれば、前記方法は、読書補助を付与するために構成され、前記表示データを処理し、強調表示対象の１つ以上のデータ部分を確定し、進捗率を確定し、選択されたデータ部分の読み込み及び強調表示を行うことを含んでもよい。前記方法は、前記ユーザの視線を確定し、前記視線における変化に従って案内された読み込み進捗を制御することを更に含んでもよく、また前記制御することは、以下の機能、即ち読み込み進捗の保持、前の位置からの読み込み進捗の再開、選択された位置からの読み込み進捗の再開、並びに読み込み速度の変更のうちの少なくとも１つの機能を含む。また、このような方法は、前記ユーザの視線と、現在強調表示されている選択データ部分と、の間の距離を確定し、前記距離が所定の閾値を超えていれば視線追跡較正データを更新し、強調表示されたデータ部分に視線を合わせることを含んでもよい。
【００３３】
一般的に、上記の方法は、コンピュータプログラムコード手段として実装されてもよく、また前記手段は、前記プログラムがコンピュータ上で走行中に上記ステップを実行するためのものとする。
【００３４】
本発明のもう一つの広義の態様によれば、機械可読式のプログラム格納デバイスとして、前記機械によって実行可能な命令のプログラムを触覚可能に実施してデータ表示に使用される方法を実行するものであって、ユーザの視覚要件についてのデータを付与することと、前記ユーザへの表示対象内容についてのデータを付与し、表示デバイス上に初期表示データを生成して表示することと、前記表示データ中に前記ユーザの関心領域を識別することと、前記ユーザの視覚要件についての前記データに従って前記表示データを付与し、前記関心領域の範囲内の前記表示データの少なくとも一部に適切な画像処理を含む更新表示データを生成し、前記表示デバイス上に表示される前記更新表示データを送信することにより前記ユーザに対し前記関心領域内の改善された画像表示を付与することと、を含む、プログラム格納デバイスが提供される。
【００３５】
本発明の更にもう１つの広義の態様によれば、改善された表示データを付与するためのシステムとして、少なくとも１つの処理ユニットと、入出力モジュールと、メモリユーティリティを含み、かつ少なくとも１つの表示デバイスに接続可能なものであって、前記システムは、前記ユーザの視覚要件についての所定データに従って改善された表示データを生成するために構成されて動作可能とし、前記処理ユニットは、表示対象のデータを受信し、表示デバイスに表示データを生成して送信するために構成されて動作可能な表示データ発生器と、前記表示データを受信し、前記表示データ中の関心領域（ＲＯＩ）を確定するために構成されて動作可能な関心領域（ＲＯＩ）識別装置と、前記ユーザの視覚要件についての前記所定データを受信し、かつ前記表示データ中の前記ユーザＲＯＩに従って、前記表示データの少なくとも一部を処理し、対応する１つ以上の画像処理を適用し、かつその結果改善された視覚データを前記表示データ発生器に送信して前記ユーザに対し更新表示データを付与するために構成されて動作可能なローカル画像処理モジュールと、を含む、システムが提供される。
【００３６】
前記処理ユニットは、前記ユーザの視線を確定するために構成されて動作可能な視線検出器を更に含んでもよく、また前記ＲＯＩ識別装置は、前記視線検出器から受信された視線についてのデータに従って関心領域（ＲＯＩ）を確定するために構成されて動作可能としている。
【００３７】
前記視線検出器は、前記システムの前記入力モジュールに接続されたポインティングデバイスの動作履歴に従って、前記ユーザの前記視線を確定するために構成されて動作可能としてもよい。
【００３８】
前記システムは、視線追跡ユニットに接続可能でもよく、また前記視線検出器は、前記ユーザの少なくとも片方の目の位置及び方位のうちの少なくとも一方についてのデータを受信するために構成されて動作可能としている。
【００３９】
前記視線検出器は、前記ユーザの左右各々の目の個々の動きについてのデータを受信し、左右両目線のうちの右目線を確定するために構成されて動作可能としている。
【００４０】
前記表示データ発生器は、前記ユーザに対し適切に表示される右目表示データと、左目表示データと、を含む表示データを生成して送信し、前記ユーザの左右各々の目についての個々の表示を切れ目なく行うように構成されて動作可能としている。更に、前記ローカル画像処理モジュールは、それぞれ前記ユーザの視覚条件についての前記右目線及び前記左目線に従って、右目表示データ及び左目表示データのうちの一部に、第１及び第２のフィルタを選択的に適用するために構成されて動作可能としてもよい。
【００４１】
幾つかの実施態様によれば、前記視線発生器は、前記ユーザの両目にのうちの少なくとも片方の目の前記視線が前記表示領域の範囲内であるか、或いは前記表示領域の範囲外であるかを確定し、前記ＲＯＩ識別装置への対応する通知を生成するために更に構成されてもよく、また前記ＲＯＩ識別装置は、前記視線内での移動が意識的なものか、或いは無意識的なものかを区別するために更に構成されて動作可能とし、前記ユーザのＲＯＩ内での対応する変化を確定している。
【００４２】
前記ローカル画像処理モジュールは、前記ＲＯＩ識別装置からの視線における無意識的な移動についての通知に従って、前記画像データの少なくとも一部を除去することにより、視線内の大きな移動に応じて前記表示データの少なくとも一部を暗くし、眼鏡取り付け型のシャッターなど別の手段によって視覚の経路を遮断するために更に構成されて動作可能としてもよい。
【００４３】
幾つかの実施態様によれば、前記ローカル画像処理モジュールは、前記ユーザの既存の視覚条件についての前記データに従って、以下の画像処理、即ち画像移動、画像回転、画像の歪み矯正、画像拡大、画像部分（例えば、ワード）間のスペースの増加、前記ＲＯＩの周辺への暈しの適用、前記ＲＯＩの一部の強調表示、前記ＲＯＩの一部の隔離、前記ＲＯＩ内での濃淡の増強、周辺の濃淡の低減、ＲＯＩの輝度の増減、予め選択されたカラーマップとの前記ＲＯＩ内の画像色の置き換え、前記表示データの欠陥部分の除去、前記表示データ中の輪郭のマーキング、並びに表示中のパターンエッジのマーキングのうちの少なくとも１つの処理を適用するために構成されて動作可能としている。
【００４４】
幾つかの構成において、前記システムは、前記ユーザの視線の変化に従って、かつ前記表示対象のデータの変化に従って、前記表示データを連続的に更新するために構成されて動作可能としてもよい。
【００４５】
幾つかの実施態様によれば、前記処理ユニットは、前記表示データ中の１つ以上のコマンド領域を確定し、かつ前記１つ以上のコマンド領域内で検出されたユーザ視線に応じて１つ以上の対応する所定コマンドを生成するために構成されて動作可能なローカルコマンド発生器を更に含んでもよく、また前記視線検出器は、視線が前記１つ以上のコマンド領域の範囲内に確定されているときに前記コマンド発生器に通知を生成することにより１つ以上の所定コマンドを駆動するために更に構成される。
【００４６】
幾つかの実施態様によれば、前記処理ユニットは、目の動きのジェスチャーや他の目の挙動に対応付けされた１つ以上のコマンドを確定するために構成されて動作可能なジェスチャーコマンド発生器を更に含んでもよく、また前記システムは、視線追跡データを付与するために構成された視線追跡ユニットに接続可能とされ、また前記ジェスチャーコマンド発生器は、前記視線追跡データを受信し、前記視線追跡データにより１つ以上のジェスチャーを識別することにより、識別されたジェスチャーに関連する前記１つ以上の所定コマンドを起動するために更に構成される。
【００４７】
前記１つ以上の所定コマンドは、前記表示対象のデータの選択に関連する１つ以上のコマンド、或いは前記表示データの少なくとも一部に適用されるフィルタの選択に関連する１つ以上のコマンドを含んでもよい。
【図面の簡単な説明】
【００４８】
本明細書に開示される主題をよりよく理解し、かつそれが如何にして実施されうるかを例示するため、以下の添付図面に基づいて、非限定的な例示のみによって実施態様が説明される。
【００４９】
【図１】本発明の幾つかの実施態様によるシステムを図示する。
【００５０】
【図２】本発明の幾つかの実施態様によるシステムを、ブロック図によって図示する。
【００５１】
【図３】本発明の幾つかの実施態様によるユーザ関心領域を識別するための方法を、ブロック図によって図示する。
【００５２】
【図４】本発明の幾つかの実施態様によるローカル／ジェスチャーコマンド発生器を利用したデータ表示に使用されるシステムを図示する。
【００５３】
【図５】本発明の幾つかの実施態様による複視を患うユーザのための画像矯正を例示する。
【００５４】
【図６】本発明の幾つかの実施態様による眼振又は動揺視を患うユーザのための画像矯正を例示する。
【００５５】
【図７】本発明の幾つかの実施態様によるトンネル視、閃光暗部、中心視覚の悪化を患うユーザのための画像矯正を例示する。
【００５６】
【図８】本発明の幾つかの実施態様による片側視野欠損又は視覚損傷に伴う喪失を患うユーザのための画像矯正を例示する。
【００５７】
【図９Ａ】本発明の幾つかの実施態様による視界歪みを患うユーザのための画像矯正を例示する一方、逆歪み矯正も例示する。
【００５８】
【図９Ｂ】本発明の幾つかの実施態様による視界歪みを患うユーザのための画像矯正を例示する一方、ＲＯＩ位置の変化及び画像処理における対応する変化も例示する。
【００５９】
【図１０Ａ】本発明の幾つかの実施態様による読書補助を図示する一方、文書の拡大も図示する。
【００６０】
【図１０Ｂ】本発明の幾つかの実施態様による読書補助を図示する一方、曇りの低減も図示する。
【００６１】
【図１０Ｃ】本発明の幾つかの実施態様による読書補助を図示する一方、曇りの低減も図示する。
【００６２】
【図１０Ｄ】本発明の幾つかの実施態様による読書補助を図示する一方、曇りの低減も図示する。
【００６３】
【図１１】本発明の幾つかの実施態様による自動緩急追跡による動的な作業距離の誤差の較正を図示する。
【００６４】
【図１２Ａ】本発明の幾つかの実施態様による案内読書、文書強調表示、並びに視線追跡による動的較正の使用を例示する。
【００６５】
【図１２Ｂ】本発明の幾つかの実施態様による案内読書、文書強調表示、並びに視線追跡による動的較正の使用を例示する。
【発明を実施するための形態】
【００６６】
上記に示されるように、本発明は、通常視覚の悪化に関連するユーザ視覚要件に従って視覚改善体験を付与するためのデータ表示で使用される、システム及び方法を提供する。図1を参照すると、本発明の幾つかの実施態様による改善表示を行うためのコンピュータ化システム１００を模式的に図示している。このシステム１００は、少なくとも１つの処理ユニット１１０と、データを格納するために構成されたメモリユーティリティ１７０と、１つ以上の入出力ユニットに接続可能な入出力モジュール１８０と、を含む。上記のシステム１００は、更に、１つ以上の表示デバイス２００にも接続可能でも、また視線追跡データを付与するための視線追跡ユニット１６０にも接続可能でもよい。このシステムは、例えば前記メモリユーティリティの視覚要件データセクター１７５に格納されるデータに基づいて、前記ユーザの視覚要件についての所定データに従って改善された表示データを生成するために構成されて動作可能としている。
【００６７】
一般的に、上記のシステム１００は、ユーザによって選択されてメモリユーティリティ１７０に格納されるか、或いは外部接続を通じて（例えば、入出力モジュール１８０を通じて）受信された内容に基づいて、ユーザに提示されるべき表示データを付与し、前記１つ以上の表示デバイス２００に前記表示データを送信するように構成される。このデータは、ユーザの視覚要件に従って画像データの少なくとも一部が処理される間に表示され、例えば視覚に支障のある（例えば、視覚低下を患う）ユーザでも当該データを適切に見ることが可能となる。
【００６８】
結局、処理ユニット１１０は、画像処理を伴うか伴わないかを問わず、表示対象内容に基づいて表示データを生成し、かつ表示デバイス２００に当該表示データを送信するために構成されて動作可能な表示データ発生器１２０と、前記表示データ中のユーザ関心領域（ＲＯＩ）を確定するために構成されて動作可能な関心領域（ＲＯＩ）識別装置１４０と、前記確定されたＲＯＩに関連する表示データの少なくとも一部に関して選択された１つ以上の画像処理機能を適用し、かつ前記表示データ発生器１２０に更新表示データを送信して前記表示データを更新するために構成されて動作可能なローカル画像処理モジュール１５０と、を含む。
【００６９】
前記画像処理機能は、ユーザに対しＲＯＩ内での視覚改善を実現するため、当該ユーザの視覚要件に従って選択される。例えば下記に更に詳しく説明されるように、ローカル画像処理モジュール１５０は、ユーザの視覚要件を付与するように選択された均一又は不均一な各種ローカル画像処理機能のうちの少なくとも１つの機能を利用するように構成されてもよい。
【００７０】
結局、均一な画像処理は、確定されたユーザＲＯＩ内の座標とは別個の関数を適用することにより当該表示データの少なくとも一部の処理に対応する。例えば均一な処理機能には、以下の機能、即ち画像部分の移動、画像部分の回転、ＲＯＩ内の画像の拡大、ＲＯＩの周辺の暈し、ＲＯＩ内の輝度又は濃淡の増強又はその周辺の低減、ＲＯＩ内のカラーマップの置き換え、ＲＯＩ内の輪郭及びパターンエッジの強調、並びに選択された追加的な画像処理機能のうちの１つ以上の機能を含んでもよい。
【００７１】
この一方で、不均一な画像処理は、ユーザＲＯＩ内の座標の関数としての処理に関係している。このような不均一な画像処理関数は、以下の機能、即ち歪み反転フィルタ、画像部分（例えばワード）の間での変更（例えば増加）スペース処理、ＲＯＩの一部の強調表示、周辺の細部からのＲＯＩの一部の隔離、当該表示データの欠陥部分の除去、不均一な拡大処理の適用、不均一な輝度レベル矯正の適用、他の各種画像処理アルゴリズムのうちの１つ以上の機能を含んでもよい。
【００７２】
一般的に、本技法では、視覚悪化を患うユーザに、改善適合された表示データを付与する。ユーザは、自らの視覚悪化をマッピングする眼科医などの専門医による診断を受けてもよいし、或いは視覚悪化をマッピングできる他の人物又は自動システムによる診断を受けてもよい。本技法によって提供される一定の画像処理機能は、ユーザの視覚の高レベルでの診断や、虹彩感度についての正確なマッピング、また意味のある矯正表示データを付与する画像診断を要しうるので注意されたい。この一方、他の一定の画像処理機能は、相対的に簡潔で限定された診断、例えば自己診断に基づいて有効に使用されうる。
【００７３】
ローカル画像処理モジュール（ＬＩＰＭ）１５０は、ユーザの視覚要件についてのデータを受信し、かつ当該表示データの少なくとも一部に関して選択された１つ以上の画像処理機能を適用するために構成されて動作可能としている。この画像データの一部は画像処理に曝され、一般的に、ＲＯＩ識別装置１４０によって確定されるようなユーザＲＯＩに従って選択されるが、この画像処理はＲＯＩの範囲外に延びて、その結果生じた表示データを状況に応じて円滑化する切れ目のない境界を付与してもよい。ＬＩＰＭ１５０は、表示データ発生器１２０に更新又は矯正表示データを付与し、表示デバイスを更新している。
【００７４】
一般的に、表示データ中のユーザＲＯＩのみならず、表示対象内容及び表示データとして、処理ユニット１１０は、通常、連続して動作し、かつ所定の更新率で表示データを更新するように構成される。一般的に、前記更新率は、表示内容のフレームレートに基づいて確定されてもよい。幾つかの構成において、この更新率は、システム機能及び／又はユーザ嗜好に基づいて確定されてもよい。
【００７５】
また、図１に示されるように、処理ユニット１１０は、幾つかの実施態様において、視線検出器１３０を含んでもよい。前記視線検出器１３０は、ユーザの視線、即ちユーザの両目がそれぞれ向けられる、表示領域内の１つ又は２つのポイントを確定するために構成されて動作可能としている。この視線検出器は、ＲＯＩ識別装置１４０に、ユーザの視線についてのデータを送信し、それに従って関心領域（ＲＯＩ）を確定している。
【００７６】
視線検出器１３０は、１つ以上の技法と、各種のデータ入力を利用して視線を確定するように構成されてもよい。幾つかの実施態様では、視線検出器１３０は、ポインティングデバイス（例えば、マウス、ペン、画面の触覚領域、キーボードなど）１つ以上の入力デバイスと通信するように構成されてもよい。この視線検出器は、所定の（相対的に短い）時間内で表示内容、ユーザ嗜好、ユーザコンテンツ、ＲＯＩ履歴、ポインティング入力データの動きの履歴に従って入力データを処理し、ユーザの視線に関係する表示領域内の１つ以上のポイントを確定するために構成されてもよい。
【００７７】
幾つかの実施態様では、視線検出器１３０は、ユーザの視線追跡データを付与するように構成される入力デバイスに接続可能としている。このような入力デバイスは、システム１００の統合部分である視線追跡ユニット１６０でも、或いは入出力モジュール１８０を通じてシステムに接続可能な外部ユニットでもよい。一般的に、この視線追跡ユニットは、静的な位置に位置決めされても、或いはユーザと共同して移動するヘッド取り付け型ユニットに装着されてもよい。処理ユニット１１０又はその視線検出器１３０は、入力画像ストリームを処理し、ユーザの少なくとも一方の目の位置及び方位を検出するために構成されてもよく、また表示デバイスに対するユーザ相対位置についてのデータを利用して当該ユーザの視線を確定している。
【００７８】
一般的に、ＲＯＩ識別装置１４０は、視線履歴の処理を利用して当該ＲＯＩを確定し、それをユーザの期待値に調整してもよい。例えば、文書内容の読書の場合、ユーザの視線は、相対的に均一な速度でライン沿いに移動すると想定されるが、このＲＯＩは、全体のライン又は数ワードとして確定されてもよいし、また均一な読み率の想定に基づいて更新する一方、数ライン又はワードの後戻りなどの変化、或いは視覚要件に関連する視線の変化（例えば，眼振の場合）を考慮に入れて関係するようにしてもよい。
【００７９】
図２を参照すると、本発明の幾つかの実施態様によるデータ表示に使用される方法をブロック図によって図示している。自己適合型の表示を行うため、１０１０として視覚要件についてのデータの付与がなされる。上記で示されるように、このデータは、専門医による診断又は如何なる種類の自己診断に基づいてもよい。また、１０２０として表示対象のコンテンツ又はデータのユーザ選択、或いはオペレータ選択の付与がなされ、表示デバイス１０３０上で初期表示を行っている。
【００８０】
一度、前記表示デバイス上に可視的な内容が表示されると、前記方法は、前記表示領域１０４０の範囲内でユーザの関心領域（ＲＯＩ）を確定することに基づいている。ユーザＲＯＩに基づけば、本発明の技法は、関心領域１０５０の範囲内の表示データの少なくとも一部の処理を含む。更に、この表示データは、上記の新しく処理されたデータと共に、１０６０として更新され、ユーザに対し改善表示を行う。
【００８１】
上記に示されるように、前記の表示データの少なくとも一部の処理は、視覚要件についてのデータに従って選択される１つ以上の画像処理機能を含む。また、これら画像処理機能は、コンテンツの種類に従って選択されてもよい。より具体的には、通常、画像データとは相違するテキストデータが処理されてもよい。
【００８２】
また、上記に示されるように、この技法は、前記表示データ中に前記ユーザＲＯＩを確定するための幾つかの方法を含んでもよい。図３は、前記ＲＯＩを確定するための例示的な方法をブロック図によって図示する。この方法は、２０１０としてユーザの視線についてのデータを受信することを含む。このデータは、視線追跡ユニット又はモジュールから受信されても、或いはポインティングデバイス（例えば、マウス）の動作履歴から外挿されてもよい。視線は、意識的な場合又は無意識的な場合を問わず、様々な理由で変わる可能性があるため、本方法は、一般的に、２０２０として一定の視線変化の処理を含むことがあってもよい。これは、殆どのユーザが、現在注目しているコンテンツとして画面上の正確な位置に配置されるポインティングマウスを保持しているとは限らないので、ポインティングデバイスからの入力に基づいて視線が確定されるときには特に重要である。このため、上記分析は、一般的に、時間及びユーザ嗜好と挙動のみならず表示上のコンテンツの種類に従った前記ポインディングデバイスの位置変化の分析を含んでもよい。これに関し、ポインティングデバイスは、視線延いてはユーザＲＯＩの推定に使用されうるが、このような推定は、通常、ポインティング履歴の分析を要しうることを明確にすべきである。更に、ポインティングデバイスの動作は、通常、ユーザの視覚悪化状態についての限定データを含んでいるため、通常、均一な画像矯正が適用される場合に適切といえる。この一方、視線追跡データの使用により、ユーザの視覚悪化の表示のみならず、ユーザの視線の直接表示を行うと共に、現在のユーザの視覚悪化に従った画像矯正を行ってもよい。更に、視線追跡の使用により、特に年配層には困難とされる手と目の調整の必要性を推定したり、或いは著しく減らしたりしてもよい。
【００８３】
幾つかの実施態様では、視線追跡入力を使用して視線が確定される場合、視線追跡ユニットの利用、或いはユーザを示す画像ストリーム形式での入力、並びにユーザの両目の位置及び方位についてのデータの取り込み、それを分析しての視線、並びに視線内での表示デバイス上での１つまたは２つのポイントの確定により、視線分析の履歴を高度に簡略化しうる。このような実施態様では、前記分析は、一般的に、ＲＯＩの自発的な変化の結果としてユーザの視線が変わったか否か、並びにこの変化がユーザの視覚要件に関連しているか否かを識別することを狙いとしている。
【００８４】
例えば、ユーザの中には、片目又は両目の制御できない動きに悩んでいること、例えば眼振又は眼振に似た状態に悩んでいることがありうる。このようなユーザのために、視覚要件についてのデータとして、眼振の表示、可能であれば移動率及び移動の性質についてのデータを含んでいてもよい。これに対応する画像処理としては、当該表示データの一部の位置における同期化された移動、表示データ全体又は両目の動きに対応した移動の何れかであればよく、また左右各々の目に対して別々の画像を付与する分離式の表示器又は３次元（３Ｄ）タイプの表示器が使用される。この場合、ＲＯＩ識別装置は、視線についてのデータを受信し、それを分析して上記の目の動きがユーザの状態に関連したものなのか、或いはユーザの注意が移行した結果なのかを確定しうる。この目の動きがユーザの状態に関連していると考えられる場合、このＲＯＩは、ユーザの状態のみを補って視線に一致するように変化することになる。しかし、この目の動きがユーザの注目ポイントにおける変化に関連していると確定されれば、このＲＯＩは，ユーザの注目の変化の重複及びユーザの状態によって発生した非自発的な動きに従って更新される。
【００８５】
何れの場合にしても、他の適切な画像処理機能（例えば、移動又は回転）は、ＲＯＩの移動の原因がユーザの視線の自発的な変化、又は非自発的な変化によるものかに関係なく適用される。
【００８６】
ＲＯＩの配置に加え、ＲＯＩの寸法及び形状は、表示内容によって変わる可能性がある。結局、上記技法は、２０３０として、視線と、その周辺の表示内容とを比較する分析ステップを含んでもよい。これに関しては、上記で示されるように、コンテンツの種類は、ＲＯＩの確定としてもよい。例えばテキストコンテンツの場合、ＲＯＩは、ユーザの視覚要件に従ってテキストの１ラインでも、テキストの２ラインでも、或いは１ワード又は２ワードでもよい。更に、表示データが画像タイプデータであれば、ＲＯＩは、視線周辺の一定のエリアの領域として画定されてもよい。このエリア自体は、視覚要件及び／又は画像のライン又は輪郭に基づいて２０４０としての確定がなされてもよい。
【００８７】
また、上記に示されるように、本発明の技法は、ユーザの左右各々の目に対し別々の表示データを付与するように構成される２つの分離式画面又は３次元タイプの表示デバイスにおいて使用されうるので注意されたい。この文脈では、視覚要件についてのデータとして、右目の視覚要件についてのデータと、左目の視覚要件についてのデータと、を含んでもよい。また、この技法には、例えば視線追跡データを使用した右目の視線及び左目の視線に基づき、右目用ＲＯＩと左目用ＲＯＩを別々に含んでもよい。同様に、画像処理機能は、両目の間で変化しうる視覚要件の診断に従って、左右両目の表示データとの間で相違してもよい。
【００８８】
また、本技法による右目及び左目の画像処理及び追跡の用途として、視覚要件に関係なくユーザの体験を改善するために更に使用されうるので注意されたい。より具体的には、幾つかの構成及び幾つかの視覚要件において、本システムは、ユーザの片方の目に関し、もう一方の目に対しての表示データの少なくとも一部を移動又は回転するように動作してもよい。これは、両目の個々の無意識的な動きを互いに対して補うように使用されうる。しかし、上記ユーザの片方の目が移動し、表示領域外に向けられている場合、表示データを均等化するのに使用されうる画像の移動は起こらない。片方の目の視線が表示領域外にあることが検出された場合、（図１における）ＬＩＰＭ１５０は、対応する目に係わる表示データの更新を保持するよう動作してもよい。また、幾つかの実施態様では、表示デバイスが、活性のシャッターガラスを使用したヘッド取り付け型の表示デバイス又は３Ｄタイプの表示器である場合、システム１００は、当該表示デバイスに、対応する目への光の侵入を遮断する指示を付与することにより、ユーザが自身のもう一方の目へのデータ入力に集中して読書、鑑賞などに専念することを可能にしてもよい。
【００８９】
幾つかの実施態様によれば、本発明の技法は、また、システム操作の一定のレベルでのフリーハンドによる制御を行うように使用されうる。図４を参照すると、本発明の幾つかの実施態様によるデータ表示に使用されるシステム１００を図示している。このシステムは、図１に示されるものと略同様であるが、処理ユニットは、ローカル／ジェスチャーコマンド発生器１２５を更に含む。このローカル／ジェスチャー発生器（ＬＧコマンド発生器）１２５は、１つ以上のコマンドを確定し、前記１つ以上のコマンドを、ユーザの目の動きや、その他目の挙動に関連する表示及び／又はジェスチャーの領域と関連付けるように構成されて動作可能としている。このため、一度、ユーザが自らの視線を、表示中の画定コマンド領域のうちの１領域に合わせると、視線検知器１３０は、ＬＧコマンド発生器１２５に対し、当該コマンドが受信された旨の適切な表示を行う。その後、ＬＧコマンド発生器１２５は、当該コマンドの性質に従って、処理ユニット１１０又は何らかのモジュールにその旨を通知することにより、コマンドを起動するように動作してもよい。同様に、ジェスチャータイプのコマンドについては、視線検出器１３０は、コマンド関係として画定されたジェスチャーに関連した動作データを、視線履歴において識別装置、ＬＧコマンド発生器１２５に通知し、当該コマンドを起動してもよい。
【００９０】
一般的に、本システムは一連の所定コマンドを含んでもよいが、このようなコマンドはユーザによって画定されてもよい。通常のコマンドとして、ページ先送り又は後戻り、更なるウェブページへのリンクの起動など、表示対象の内容に関連するコマンドを含んでもよい。代替的又は追加的に、このようなコマンドはユーザの視覚要件に関連し、本システムによって実行される画像処理機能に悪影響を与えうる。例えば、このようなコマンドとして、表示データの更なる拡大、特定の処理パラメタにおける増減、左右別々の目に対する別々の視覚要件を有する３Ｄタイプの表示と、両目についての単一の画像処理を有する２Ｄタイプの表示と、の間の切替えなどを含んでもよい。例えば、上下左右へのＲＯＩのスクロール動作に関連するコマンド領域として使用されうる。これにより、ユーザは、フリーハンドでの作業中でも、表示された画像部分を意識的に移動させることが可能となる。
【００９１】
図５〜図９、並びに図１０Ａ及び図１０Ｂを参照すると、所定の視覚要件のユーザのために本発明の幾つかの実施態様による表示矯正を例示している。
【００９２】
この文脈では、図５は、複視（二重視）を患うユーザに対する表示矯正を例示している。この種の矯正は、通常、ユーザの左右各々の目に個別の表示データを付与することが可能な分離式画面又は３Ｄタイプの表示器と併用されてもよい。図示されるように、５０１０として元の画像データが選択され、５０１１として生データが示されると共に、通常、５０１２で示されるようにユーザに知覚される。適切な矯正表示を行うため、本技法は、５０２０として、利き目を、利き目でない目に対して選択することを含んでもよい。これは視線変化に基づいてもよく、その場合利き目は相対的に安定しているが、利き目についての情報として視覚要件を備えてもよい。利き目及び視線を検出した場合、本技法は、５０３０として角度の偏差の検出と、所要の矯正と、を含み、５０５２としての適切な矯正を伴う右目表示データと、左目表示データと、を含む、５０５０としての矯正表示データの生成を行う。この矯正表示データについては、５０６０としてユーザへの表示が行われるような態様での送信が行われ、５０６２としてユーザによって知覚されるような態様での矯正表示が行われる。
【００９３】
また、図６は、眼振又は動揺視を患うユーザのための表示データの矯正を例示している。一般的に、殆どの眼振／動揺視の場合、非自発的な目の動きが両目の間で同期化されるため、本技法は、３Ｄに似た表示デバイスの有無を問わず使用されうる。本技法は、６０１０として表示内容の付与を含み、６０１１として画像コンテンツの例、並びに６０１２として、このような画像がユーザによってどの様に知覚されるかも示されている。通常、ユーザの画像知覚は、個人の体調、年齢、並びに患者の容態によって変わりうる。一般的に、先天性の眼振を有する人であれば単一の画像を知覚するであろうが、細かい特徴の識別には困難を伴うこともありうる（弱視）。この一方、高齢者の眼振は、視覚の質においてより顕著な低減を引き起こし、世界が自分中心に動いているかのような感覚に陥りがちである。画像表示における移動が適正で、かつ同期化されていれば、網膜に関する画像安定化を齎し、ユーザに改善データを付与でき、めまいを低減すると共に、ユーザは、より高い画質（よりよい画像力）を知覚することが可能になる。また、６０２０として、視線、即ちユーザの注視方向が確定され、６０３０として当該表示データへの適切なフィルタの適用がなされ目の動きを補うことができる。この結果、前記表示画像は、ユーザの目の動きと一緒に移動し、当該ユーザに対し６０４０として画像の同期化、矯正、並びに網膜の安定化がなされる。
【００９４】
他の幾つかの視覚欠陥の矯正は、図７に例示されるとおりであるが、この矯正は、視界の欠陥及び中心視力の低下の矯正に略関係している。一般的に、７０１０として表示対象データの付与がなされ、７０１１として正常画像の例、並びに７０１２として、この画像が視界欠陥を患うユーザによって視覚される様子、７０１３として視野暗点、また７０１４として中心視力の低下も示されている。これら画像処理機能は、一般的に、７０２０として視覚要件に応じた画像寸法の調整、７０３０として表示角度の確定、７０４０として矯正画像の生成を含んでもよい。また７０４２としてトンネル視を患うユーザのための矯正表示データ、並びに７０４３として中心視界の喪失が例示されている。このような矯正は、通常、画像の寸法調整、輝度の改変、及び／又は視線に対する画像位置の移動を含んでもよい。
【００９５】
ここでは特に示されていない追加的な画像処理ステップとしては、通常、画像拡大／縮小を含むが、このステップは線形関数に従っていてもいなくてもよい（例えば、画像の中心においては高輝度画像を課す一方で周辺区域では低輝度しか課さなくてもよいし、或いは他の関数を課してもよい）。周辺視界喪失（即ち、トンネル視）が顕著なユーザの場合、表示画像は網膜の斑紋領域の画像を課すように抑えられうるが、この場合、画像の表示領域（ＦＯＶ）を増やせるものの解像度は低下してしまう。
【００９６】
また、図示されるように、中心視界喪失（中心視野暗点）又は多重視野暗点を患うユーザの場合、適切な画像矯正として、画像寸法を調整することと、視線に対して画像への移動を適用し、よりよい網膜位置での画像生成を行うことと、を含んでもよい。これにより、ユーザは、自身の手前で画像を見ることが可能となる共に、プリファードレチナロケーション（ピーアールエル）（Ｐｒｅｆｅｒｒｅｄ  Ｒｅｔｉｎａ  Ｌｏｃａｔｉｏｎ（ＰＲＬ））の開発において同ユーザを支援することや、ＰＲＬの使用に慣れることも可能となる。
【００９７】
更に、中心視力の矯正として、画像寸法の拡大、及び／又は上記とは別の方式での画像の操作を含んでもよい。矯正画像は、斑紋領域又は他の何れかの健常な網膜位置に課すように表示デバイス上に表示されてもよい。これにより、ユーザは自身の手前で画像の細部をよりよく見ることが可能になると共に、必要に応じてＰＲＬの開発において当該ユーザを支援することも可能となる。
【００９８】
図８は、半盲又は半視界喪失の場合の画像矯正を例示する。８０１０として画像データの付与がなされ、８０１１として同データの表示がなされると、ユーザの左右の目は、８０１２及び８０１３に示されるように幾つかの欠陥を有する画像を「見る」ことができる。このため、本技法は、通常、ユーザについての視覚要件に応じて８０２０として画像寸法を調整することを含む。この画像拡大又は寸法縮小は、線形関数であってもなくてもよい（例えば、画像の中心では高解像度画像を課す一方、周辺区域では低解像度しか課さなくてもよいし、或いは他の関数を課してもよい）。上記矯正画像部分は多くの患者について重複し、斑紋区域がそのまま残存しうるので注意されたい。８０３０として目の注視方向が得られると、８０４０として矯正表示データが生成可能となり、目の方向に従って表示されてユーザの網膜の健常領域に関する画像データを形成する。左右両目についての矯正表示の例は８０４１及び８０４２で示されている。同様に、画像データを、ユーザの網膜の健常領域に投影されるように表示することにより、本技法はＰＲＬの開発において当該ユーザを支援するように使用されうる。
【００９９】
幾つかの追加的な例では、本発明の技法は、図９Ａ及び図９Ｂに例示されるような歪み画像矯正のために使用されうる。図９Ａは逆歪み矯正を例示する一方、図９ＢはユーザのＲＯＩに従った逆歪みの移動を例示している。
【０１００】
一般的に、図９Ａに示されるように、本技法によれば、ユーザの視界の歪みマッピング９０１２についてのデータは、視界要件についての正確なデータを付与するように専門医によって確定されてもよい。本技法によれば、矯正表示の実施は、９０１１として表示される９０１０としてのデータの選択を含む。ローカル画像処理機能９０２０は、９０１２としての所定の歪みマッピングに従って逆歪み矯正を適用し、９０２２として矯正及び反転画像データを付与することを含んでもよい。９０３０として前記ユーザの視界が確定されて、対応するＲＯＩが選択され、表示デバイス上では、９０４２としての矯正画像について、９０４０としての表示がなされる。９０４２として逆歪みを有する画像データに応じて、ユーザは、９０５２としての通常態様又は改善態様において、９０５０としての表示画像を知覚し、同ユーザに対し視界の改善を可能にしている。
【０１０１】
更に、図９Ｂに示されるように、本技法は、ユーザのＲＯＩに従った矯正表示データの整合を含む。図示されるように、本技法は、９１１０としての表示内容の付与と、ユーザの視界要件及び関心領域に従った表示データの矯正と、を含んでいる。上記で説明されるように関心領域を確定した場合、画像処理機能は、通常、既知のユーザ視界歪みに基づいた９１２０としての逆歪み矯正の実施を含んでもよい。逆歪みの一例は９１２２に示されるとおりである。矯正表示データについては、９１３０として表示デバイスへの送信が行われ、９１３２としてユーザは歪みの無い画像を見ることが可能となる。更に、ユーザの視線又は関心領域が変わるとき、本技法の流れに従って９１４０としての画像処理のために、新しいＲＯＩが確定される。この逆歪み矯正ついては、９１５２としての新しい位置に９１５０としての表示データの適用が行われ、９１６０として処理の継続とユーザへの改善画像の付与がなされ、９１６２として同ユーザの網膜に関する歪み画像の形成がなされる。
【０１０２】
図１０Ａ及び図１０Ｂを参照すると、ユーザのために読書力を改善するためのテキストデータに関連する画像矯正を例示している。図１０Ａは、テキストデータの部分の拡大を例示する一方、図１０Ｂは、曇り防止のためのテキストデータの隔離を例示している。
【０１０３】
図１０Ａに示されるように、テキストデータがユーザに提示されるとき、本技法は、１００１０としてデータ中にＲＯＩを確定することを含む。この例では、ユーザが表示器の別の位置（例えば上／右）に関心領域を移動させると、１００２０としてのテキストデータの拡大で選択された画像処理機能により（１００２２として表示領域の上／左として同図に示される）上／左ＲＯＩの新しい位置におけるテキストの拡大を行う。同様に、上記に対しユーザが表示器の下／左に関心領域を変えると、１００３０として新しい位置の検出がなされ、１００４０及び１００４２として対応するテキストの表示領域の下／左での拡大がなされる。
【０１０４】
関心領域は単一の文字又はワードと同じくらい小さくなったり、段落以上に大きくなったりすることがあるので注意されたい。幾つかの構成では、ＲＯＩは、ユーザの読み速度、並びに読書対象の後続のテキストに同ユーザの注目が向くことに追従してもよい。また幾つかの構成では、本技法は、更に、声による支援、例えば所定の選択速度でのＲＯＩ内のテキストの音読を利用してもよい。
【０１０５】
追加的又は代替的には、本技法は、テキストデータ中の文字又はワードの分割を利用して、対応する視覚要件を有するユーザに、より容易な読書を行ってもよい。これについては、隔離された文字と、テキスト部分と、の間の相違を例示した図１０Ｂ〜図１０Ｄに例示されている。図１０Ｂは、読書の上で視覚に支障にあるユーザにとってはより難しいとされる隔離文字３００、側面文字４００、並びに同ユーザが識別するのが困難といえる、行間の詰まったテキスト５００において書かれたワードを例示している。図１０Ｃは、テキストデータを単一文字に分割して曇りを低減していることを例示する一方、図１０Ｄは、文章を隔離して読書の支援していることを例示している。
【０１０６】
図１０Ｃに示されるように、テキストデータ５１０は、一定の視覚要件（視界悪化）を有するユーザにとっては読むのが困難といえる。曇りを低減するため、幾つかの実施態様によれば、本技法は、（例えばデジタル画像から取った）連続テキストの分割を利用し、小さいセグメント５２０に分割させてもよい。例えば、小さいセグメントは、ユーザの視覚要件に従って１ワード、数ワード、或いは数文字又は一文字でもよく、これによりユーザが該当する複数ワードを容易に識別できるようにする。幾つかの事例では、複数ワードの隔離は、曇り効果の解消には充分とはいえない。このため、数人のユーザの一定の視覚要件に従って、本技法は、更に、ＲＯＩ内で選択されたワード５３０の範囲内の複数文字との間の分離を拡大してもよい。これは曇り効果を低減するためであって、同ユーザにとっては読書が容易になるばかりか可能とすることもありうる。
【０１０７】
図１０Ｄには、本技法がテキスト内の文章の隔離を利用して読書支援を行う場合の代替的な処理が例示されている。テキストデータ６１０の１ページから、段落６２０又は単文６３０を隔離させ、そのときに読まれるテキストへのユーザの目を方向づけて注意散漫になるのを抑えてもよい。一般的に、テキストの隔離には幾つかの技法が使用されうる。例えば、周辺テキストが、選択されたテキストの周辺で暈されても、周辺テキストが、白、灰色などの背景色において黒のスペースを残した表示データから除去されたり、テキストの選択部分が、周辺とは相違する選択色で強調表示されたりしてもよいし、また選択されたテキストが、その周辺のテキストに対して拡大されたり、より小さいサイズで提示されさりしてもよい。
【０１０８】
一般的に、選択テキストは、ユーザに継続的な読書体験を付与するように読み進捗に応じて置き換えられてもよい。テキストの選択はユーザの視線に基づいていれば、手動（例えばキーボードやマウスの使用）でも自動でもよい。例えば、ユーザが現在選択／強調表示されているテキストを読み終えたとき、以前のものに代わって次のワード／ラインが強調表示される。
【０１０９】
曇り効果を低減するため、本発明の技法は、ＲＯＩ及びその範囲内のテキストを分析し、当該テキストに関し適切な画像処理を行うように動作してもよい。一般的には、出力矯正テキストは、より大きな縦方向の分離によって隔離された複数の文字、複数のワード又は文章でもよい。一般的に、前記出力は、複数の当該文字との間での拡大分離を伴う少なくともテキストの一部を含む。また、この出力は、拡大されてもされなくてもよく、場合によっては画像輝度又は濃淡変化を含んでもよい。
【０１１０】
本技法は、記録された実際の画像及び当該複数文字の間の隙間の位置、文字の拡大、或いは使用テキストの認識アルゴリズムを利用しても、テキストデータ上での操作を行ってもよい。このテキストは、通常、曇りの少ない方式で再構築されてユーザに提示される。当該複数文字の間の分離は、通常、調整可能でもよい。
【０１１１】
また、本発明の技法は、ユーザの注目をＲＯＩに直接追従させることと、ＲＯＩ移動中に相対的に均一な読書速度を課すことと、或いはこの２つの組み合わせによるものを含む幾つかのオプションの技法を利用し、上記に説明されるような読書補助のために使用されうる。幾つかの構成では、ＲＯＩは、何時もユーザの注目に追従することにより確定されるため、読書速度との関連性が低いと考えられている濃淡の移動や、特に両目の望ましくない動きのため読書を困難にしている可能性がある。この場合、本発明の好適な実施態様は、ユーザの関心を不動のものにするＲＯＩの中心に静的な領域を確定することと、ＲＯＩの周辺に1つ以上の感度領域又はコマンド関係の領域を確定し、ユーザの視線がコマンド領域のうちの１つにあることが識別されるときにＲＯＩが適切なコマンドに従って移動するような態様とすることと、を利用している。一方、ＲＯＩの動きに一定の速度が課され、或いはユーザの注目及び一定速度の組み合わせを使用するとき、ＲＯＩは、通常、予め選択された段落に沿って一定の速度で移動してもよく、またユーザの注目（視線）は、前記一定の動きの停止又は再開、並びに前記読書速度の自動調整を行えるように使用されうる。この、本発明のシステム又は技法の動作構成は、例えばユーザが音読したワードに関する音声入力を受信し、それに伴うユーザの普及に追従することにより読書訓練のために使用されうる。一般的に、テキスト中の1つ以上のワードは、所定の選択された読書速度に基づくのみならず、図１２Ａに例示されるようなユーザのＲＯＩに基づいても、マーキング及び追従される。幾つかの実施態様では、これら読出しワードは、ユーザに読書案内、訓練、及びフィードバックを付与するために音声認識で分析され、テキスト書面と比較されてもよい。
【０１１２】
一般的に、視線追跡ユニット及びデバイスは、周期的な較正処理を要してもよい。しかし、本発明の技法は、ユーザに提示されるデータの分析との組み合わせで視線検出を利用しつつ前記周期的な較正を行うように動作する一方、追加的な入力又は特別なユーザ操作を不要にしている。より具体的には、案内読書モードでの動作時、即ちユーザ読書中に、マーキングされたテキストの自動的伝播、或いはユーザの視線に基づくＲＯＩの調整により、ユーザの目の方位と、表示デバイスに関する視線と、の間の対応の表示を行う。これは、ブロック図形式での視線追跡作業誤差の補正のステップを示した図１１に例示されている。図示されるように、１１１０として、通常、初期の較正が行われ、１１１２としてユーザは表示デバイスの前に居る場合、前記初期の較正は、使用済みの較正データだけでもよい。この初期較正は、１１２０としての、対応するユーザの目の２つ以上の角度方位に従って、１１２２として表示デバイス上の２つ以上の位置を示す。従って、１１３０としてユーザが頭の位置を変えても、例えば１１３２として表示デバイスとの距離を変えても、１１４０として三角法データに従って新しい較正データが確定され、１１４２として、頭の動きによって変化しうる表示上のポイント間の移動の確定が行える。
【０１１３】
上記の図１２Ａに例示されるような案内読書の用途として、視線追跡の継続的な較正のために使用される場合がある。これについては、視線追跡データの較正のため視線追跡を伴う案内読書構成の使用を例示した図１２Ａ及び図１２Ｂに更に例示されている。図１２Ａは、選択されたワード又はエレメントからの視線の偏差を例示する一方、図１２Ｂは、案内読書における較正データ調整の流れ図を例示している。
【０１１４】
図１２Ａに示されるように、１２２０として強調表示されたワード、この例では”word”なる文言が、周辺テキストの暈し又はその他の方法によってマーキングされている。１２１０としてのユーザ視線は、１２２０として選択されたワードから水平方向又は鉛直方向に沿って、通常、一定の距離の範囲内で表示データの所定位置に確定されてもよい。図１２Ｂにおける流れ図は、この技法を例示している。１２３０として案内読書モードが開始され、また前記選択されたワード（複数可）が強調表示される場合、本技法は、１２４０としてユーザ視線を確定及び追従することを更に含んでいる。本技法は、１２５０として、水平軸及び鉛直軸に沿って前記視線と、前記選択されたワードと、の間の距離を確定することと、１２６０として、前記距離が、対応する所定の閾値を超えているか確認することと、を更に含んでもよい。この距離が前記閾値を超え、所定の時間に従って安定していれば、１２７０として、視線追跡データの更新がなされて前記視線の確定を矯正している。前記閾値は、視覚要件及びユーザが自発的に案内読書に追従している時間などのユーザデータに従って確定されてもよい。これによりユーザは読書中の当該テキストからの注目を移行できるため、視線と、選択されたテキストとの、間の距離が自然に増えることもありうる。
【０１１５】
従って、本発明は、既知の視覚要件に基づいてユーザのための視覚支援に使用される技法を提供しているといえる。この技法は、固定式又は移動式を問わずコンピュータデバイス（例えば、移動式電話、ラップトップなど）、或いは何らかの専用システムにおいて実施されてもよい。また、本発明による方法及びシステムは、適切にプログラミングされたコンピュータでもよいと理解すべきである。同様に、本発明は、当該発明の方法を実行するためのコンピュータによって可読とするコンピュータプログラムを想定している。更に、本発明は、当該発明の方法を実行するための機械によって実行可能な命令のプログラムを触覚可能に実現する機械可読メモリも想定している。また、上記に示されるように、本技法は、本発明のシステムと一体であるか否かを問わず、如何なる種類の表示デバイスも利用してもよい。単なる２Ｄ画像データの付与、或いはユーザの左右各々の目に別々の画像データを提示し、３Ｄ同様の体験が可能となるようにしてもよい。前記表示デバイスは、ヘッド取り付け式（例えばガラス）でも、或いはテレビ、コンピュータ画面、選択された表面の上に投影するために構成された投光器など他の如何なる種類のものでもよい。尚、上記で説明してきた本発明の各実施態様に対しては、添付の請求項によって画定される範囲を逸脱しない限り、様々な改変及び変更が適用可能であることは、当業者に容易に理解されよう。
【図１】
2018506054.tif 000003
【図２】
2018506054.tif 000004
【図３】
2018506054.tif 000005
【図４】
2018506054.tif 000006
【図５】
2018506054.tif 000007
【図６】
2018506054.tif 000008
【図７】
2018506054.tif 000009
【図８】
2018506054.tif 000010
【図９Ａ】
2018506054.tif 000011
【図９Ｂ】
2018506054.tif 000012
【図１０Ａ】
2018506054.tif 000013
【図１０Ｂ】
2018506054.tif 000014
【図１０Ｃ】
2018506054.tif 000015
【図１０Ｄ】
2018506054.tif 000016
【図１１】
2018506054.tif 000017
【図１２Ａ】
2018506054.tif 000018
【図１２Ｂ】
2018506054.tif 000019
【国際調査報告】
2018506054.tif 000020
2018506054.tif 000021
2018506054.tif 000022
2018506054.tif 000023