(57)【要約】【課題】文章が表示された画面の表示状態を所望の表示状態に容易に変更できる表示装置を提供する。【解決手段】表示装置１００は、表示部２０と、検出部３０と、制御部１０とを備える。表示部２０は、配列された文章を示す文章画像を表示する。検出部３０は、文章画像に対するユーザーによる目視状態の遷移を検出する。制御部１０は、文章画像と、目視状態の遷移とに基づいて変更処理を実行するか否かを判定する。変更処理は、文章画像の表示状態を変更する処理を行う。【選択図】図１
2019160021.tif 000002
【特許請求の範囲】
【請求項１】
配列された文章を示す文章画像を表示する表示部と、
前記文章画像に対するユーザーによる目視状態の遷移を検出する検出部と、
前記文章画像と、前記目視状態の遷移とに基づいて変更処理を実行するか否かを判定する制御部と
を備え、
前記変更処理は、前記文章画像の表示状態を変更する処理を行う、表示装置。
【請求項２】
前記表示部は、矩形状の表示領域を有し、
前記目視状態の遷移は、前記文章画像をなぞるように前記ユーザーの視線が移動するなぞり遷移を含み、
前記検出部は、前記ユーザーの眼球の虹彩領域に基づいて前記視線を検出し、
前記表示部は、前記制御部が前記変更処理を実行すると判定した場合、前記表示状態を変更する、請求項１に記載の表示装置。
【請求項３】
前記文章画像は、前記文章のうち最上流の文字を含む最上流部と、前記文章のうち最下流の文字を含む最下流部とを含み、
前記なぞり遷移は、順なぞり遷移を含み、
前記順なぞり遷移は、前記最上流部から前記最下流部に向けて前記文章画像をなぞるように前記視線が移動する遷移を示し、
前記変更処理は、スクロール処理を含み、
前記スクロール処理は、前記順なぞり遷移後の前記表示状態である前記文章画像を、前記最下流部よりも下流側の前記文章画像が表示されるようにスクロールする処理を示し、
前記制御部は、前記視線が前記最下流部に第１閾値以上の時間滞留したことを前記検出部が検出した場合、前記スクロール処理を実行すると判定する、請求項２に記載の表示装置。
【請求項４】
前記目視状態の遷移は、戻り遷移を更に含み、
前記戻り遷移は、前記視線が前記最下流部に到達してから前記第１閾値以上の前記時間の経過前に前記最下流部よりも上流側の前記文章画像に移動する遷移を示し、
前記制御部は、前記検出部が前記戻り遷移を検出した場合、前記スクロール処理を実行しないと判定し、
前記表示部は、前記制御部の判定結果に従い、前記表示状態を維持する、請求項３に記載の表示装置。
【請求項５】
前記なぞり遷移は、反復なぞり遷移を更に含み、
前記反復なぞり遷移は、前記視線が前記文章画像の一部を反復してなぞる遷移を示し、
前記変更処理は、前記文章画像の前記一部をマーキングするマーキング処理を更に含み、
前記制御部は、前記検出部が前記反復なぞり遷移を第２閾値以上の回数連続して検出した場合、前記マーキング処理を実行すると判定する、請求項２から請求項４のいずれか１項に記載の表示装置。
【請求項６】
前記目視状態の遷移は、瞬き遷移を更に含み、
前記瞬き遷移は、前記虹彩領域が前記検出部によって検出された状態から、一時的に検出されていない状態を経て検出された状態へと変化する遷移を示し、
前記変更処理は、検索表示処理を更に含み、
前記検索表示処理は、前記文章画像の前記一部を検索エンジンでキーワード検索して検索結果を表示する処理を示し、
前記制御部は、
前記反復なぞり遷移が第３閾値以上の時間継続したことを前記検出部が検出した場合、前記マーキング処理を実行すると判定し、
前記検出部が前記瞬き遷移を第４閾値以上の回数連続して更に検出した場合、前記検索表示処理を更に実行すると判定する、請求項５に記載の表示装置。
【請求項７】
前記目視状態の遷移は、接近遷移を更に含み、
前記接近遷移は、前記虹彩領域が前記表示領域に向かって接近する遷移を示し、
前記変更処理は、前記文章画像の一部を拡大して表示する拡大表示処理を更に含み、
前記制御部は、前記検出部が前記接近遷移を検出した場合、前記拡大表示処理を実行すると判定する、請求項２から請求項６のいずれか１項に記載の表示装置。
【請求項８】
前記目視状態の遷移は、細目遷移を更に含み、
前記細目遷移は、前記虹彩領域の上端と下端との間隔が基準値から第５閾値以下に変化して、更に前記間隔が前記第５閾値以下の状態のまま第６閾値以上の時間継続する遷移を示し、
前記変更処理は、前記文章画像の一部を拡大して表示する拡大表示処理を含み、
前記制御部は、前記検出部が前記細目遷移を検出した場合、前記拡大表示処理を実行すると判定する、請求項２から請求項７のいずれか１項に記載の表示装置。
【請求項９】
前記目視状態の遷移は、瞳孔変化遷移と、第１移動遷移と、第２移動遷移とを更に含み、
前記瞳孔変化遷移は、前記眼球の瞳孔領域の直径が変化する遷移を示し、
前記瞳孔変化遷移は、第１瞳孔状態と、第２瞳孔状態と、第３瞳孔状態とを含み、
前記第１瞳孔状態は、前記直径の大きさが第７閾値と、前記第７閾値よりも大きな第８閾値との間である状態を示し、
前記第２瞳孔状態は、前記直径の大きさが前記第８閾値以上である状態を示し、
前記第３瞳孔状態は、前記直径の大きさが前記第７閾値以下である状態を示し、
前記第１移動遷移は、前記表示領域のうち第１領域へ前記視線が移動する遷移を示し、
前記第２移動遷移は、前記第１領域と対向して配置される第２領域へ前記視線が移動する遷移を示し、
前記変更処理は、前記表示領域の輝度の変更画面画像を表示する変更画面表示処理と、前記輝度を変更する輝度変更処理とを更に含み、
前記制御部は、
前記検出部が前記第２瞳孔状態、又は前記第３瞳孔状態を検出した場合、前記変更画面表示処理を実行すると判定し、
前記検出部が前記第１移動遷移、又は前記第２移動遷移を更に検出した場合、前記輝度変更処理を更に実行すると判定する、請求項２から請求項８のいずれか１項に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に関する。
【背景技術】
【０００２】
ユーザーの視線を用いて情報を入力する携帯端末装置が知られている。このような携帯端末装置として、特許文献１に記載の携帯端末装置は、画面に表示された複数の文字に対する視線の位置と、ユーザーによるボタンの押下操作とを検出する。特許文献１に記載の携帯端末装置は、押下操作時の視線の位置が示す文字を入力する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２６７０７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の携帯端末装置では、移動する視線の位置を目的の文字の表示位置に一致させた時に、更に押下操作を要するため、配列された文章を追う視線の自然な動きに応じて文章画像の変更の要否を判定できない。従って、文章が表示された画面の表示状態を所望の表示状態に変更することが困難であった。
【０００５】
本発明は上記課題に鑑みてなされたものであり、文章が表示された画面の表示状態を所望の表示状態に容易に変更できる表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る表示装置は、表示部と、検出部と、制御部とを備える。前記表示部は、配列された文章を示す文章画像を表示する。前記検出部は、前記文章画像に対するユーザーによる目視状態の遷移を検出する。前記制御部は、前記文章画像と、前記目視状態の遷移とに基づいて変更処理を実行するか否かを判定する。前記変更処理は、前記文章画像の表示状態を変更する処理を行う。
【発明の効果】
【０００７】
本発明の表示装置によれば、文章が表示された画面の表示状態を所望の表示状態に容易に変更できる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る表示装置を示す構成図である。
【図２】（ａ）は、本発明の実施形態に係る表示装置を示す図であり、（ｂ）は、本発明の実施形態に係る表示装置において検出される目視状態を示す図である。
【図３】本発明の実施形態に係る表示装置における、表示部の表示領域を示す図である。
【図４】本発明の実施形態に係る表示装置が実行する、変更処理を示すフローチャートである。
【図５】（ａ）及び（ｂ）は、表示部の表示領域の一部を示す図である。
【図６】（ａ）、（ｂ）及び（ｄ）は、表示部の表示領域の一部を示す図であり、（ｃ）は、本発明の実施形態に係る表示装置において検出される目視状態を示す図である。
【図７】（ａ）は、本発明の実施形態に係る表示装置と、表示装置において検出される目視状態とを示す図であり、（ｂ）は、表示部の表示領域を示す図であり、（ｃ）は、表示装置において検出される目視状態を示す図である。
【図８】（ａ）〜（ｃ）は、表示装置において検出される目視状態を示す図であり、（ｄ）は、表示部の表示領域の一部を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
【００１０】
図１を参照して、本発明の実施形態に係る表示装置１００の構成を説明する。図１は、表示装置１００を示す構成図である。表示装置１００は、例えば、スマートフォン、タブレット端末装置、又はパーソナルコンピューターである。以下では、表示装置１００がスマートフォンである実施形態について説明する。
【００１１】
表示装置１００は、記憶部４０と、制御部１０と、通信部６０と、表示部２０と、検出部３０と、入力部５０とを備える。制御部１０と、記憶部４０と、通信部６０とは、表示装置１００の筐体に収容される。なお、表示部２０、検出部３０、及び入力部５０の構成については、図２を参照して後述する。
【００１２】
記憶部４０は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、及びＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）によって構成される。記憶部４０は、外部メモリーを含んでいてもよい。外部メモリーは、リムーバブルメディアである。記憶部４０は、外部メモリーとして、例えば、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）カードを含む。記憶部４０は、各種のデータ（例えば、各種の閾値情報）、制御プログラム、及びアプリケーションプログラムを記憶する。制御プログラムは、表示装置１００の各部の動作を制御するためのプログラムであり、制御部１０によって実行される。
【００１３】
制御部１０は、目視状態特定部１１と、判定部１２と、表示制御部１３とを含む。制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）又はＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）のようなプロセッサーを含むハードウェア回路である。制御部１０は、記憶部４０に記憶された制御プログラムをプロセッサーが読み出して実行することによって、表示装置１００の各部の動作を制御する。また、プロセッサーは、記憶部４０に記憶された各種アプリケーションプログラムを読み出して実行する。なお、目視状態特定部１１と、判定部１２と、表示制御部１３との詳細については、図２を参照して後述する。
【００１４】
通信部６０は、ネットワークを介して各種の外部装置との間で有線又は無線通信可能に接続され、各種の信号及びデータを送受信する。ネットワークは、例えば、インターネット、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、又は、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）である。外部装置は、例えば、検索エンジンを有するサーバー装置である。通信部６０は、例えば、キーワード検索の結果を要求する検索結果要求信号をサーバー装置に送信し、サーバー装置から送信される検索結果情報を受信する。
【００１５】
なお、表示装置１００は、動き検知センサー（図示せず）を更に備え得る。動き検知センサーは、加速度センサーとジャイロスコープとを含む。動き検知センサーは、表示装置１００の筐体の動きを検知して、筐体の動きを示す動き情報を制御部１０へ送信する。動き情報は、例えば、表示装置１００の回転を示す情報、又は向きを示す情報である。
【００１６】
続いて、図１を参照しつつ、図２を更に参照して、表示装置１００の構成の詳細について説明する。図２（ａ）は、表示装置１００を示す図である。図２（ｂ）は、表示装置１００において検出される目視状態Ｗを示す図である。
【００１７】
図２（ａ）に示すように、入力部５０は、タッチセンサーを含むタッチパネルと、種々のハードウェアボタンとを有する。タッチパネルは、入力部５０と表示部２０とを兼ね得る。入力部５０には、ユーザーによる各種の指示が入力される。
【００１８】
表示部２０は、ディスプレーであり、タッチパネルを構成する。ディスプレーは、例えば、液晶ディスプレー、又は有機ＥＬディスプレー（Ｏｒｇａｎｉｃ  ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ  ｄｉｓｐｌａｙ）である。表示部２０は、矩形状の表示領域Ｒ（画面）を有する。
【００１９】
表示領域Ｒは、４つの隅部ＲＣ（ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４）を有する。隅部ＲＣ１（又は、隅部ＲＣ３）は、表示領域Ｒの一対の対角を構成する頂点ＲＢ１及び頂点ＲＢ２（又は、頂点ＲＢ３及び頂点ＲＢ４）のうち、鉛直方向に沿った上側の頂点ＲＢ１（又は、頂点ＲＢ３）を含む。頂点ＲＢ１は、例えば、正面視における左側の頂点である。頂点ＲＢ３は、例えば、正面視における右側の頂点である。隅部ＲＣ２（又は、隅部ＲＣ４）は、表示領域Ｒの一対の対角を構成するＲＢ１及び頂点ＲＢ２（又は、一対の頂点ＲＢ３及び頂点ＲＢ４）のうち、鉛直方向に沿った下側の頂点ＲＢ２（又は、頂点ＲＢ４）を含む。
【００２０】
表示部２０は、表示領域Ｒに各種の画像を表示する。各種の画像は、例えば、文章画像ＬＧ、ホーム画面画像、又は操作画面画像である。なお、文章画像ＬＧは、写真のような図形を示す図形画像ＦＧを含んでいてもよい。
【００２１】
表示部２０は、文章画像ＬＧを表示する。詳細には、文章画像ＬＧは、配列された文章を示す。文章画像ＬＧは、例えば、文章を含むホームページの画像、又はワード文書の画像である。配列された文章は、例えば、横書き、又は縦書きである。横書きの文章（例えば、英語の文章）は、隅部ＲＣ１を起点として配列される。また、縦書きの文章（例えば、日本語又は中国語の文章）は、隅部ＲＣ３を起点として配列される。
【００２２】
文章画像ＬＧは、最上流部ＬＧ１と、最下流部ＬＧ２とを含む。最上流部ＬＧ１は、配列された文章のうち最上流の文字Ｌ１（例えば、「Ｃ」）を含む一定範囲の領域である。最下流部ＬＧ２は、配列された文章のうち最下流の文字Ｌ２（例えば、「．」）を含む一定範囲の領域である。
【００２３】
文章は、複数の文字列ＬＳを含む。複数の文字列ＬＳの各々は、少なくとも１つの文字Ｌ（例えば、英語の文字、日本語の文字、又は中国語の文字）で構成される。文字Ｌは、記号（例えば、カンマ又はピリオド）を含んでいてもよい。以下、図２、図３、及び図５〜図７の各々に示す「ｙｙｙ・・・」、「ｚｚｚ・・・」等の各アルファベットは、任意の文字を示す。文字Ｌは、表示領域Ｒの座標を示す座標情報を有する。
【００２４】
横書きの場合、文字Ｌは、行毎に一方向に横方向に並ぶように配列される。すなわち、横書きの文章において、複数の文字列ＬＳの各々は、表示領域Ｒの互いに対向する一対の辺ＲＡ１及び辺ＲＡ２に沿った方向に配列される。辺ＲＡ１は、頂点ＲＢ１と頂点ＲＢ３とを結ぶ。辺ＲＡ２は、頂点ＲＢ４と頂点ＲＢ２とを結ぶ。また、縦書きの場合、文字Ｌは、列毎に上から下に縦方向に並ぶように配列される。すなわち、縦書きの文章において、複数の文字列ＬＳの各々は、一対のＲＡ３及びＲＡ４に沿った方向に配列される。辺ＲＡ３は、頂点ＲＢ１と頂点ＲＢ４とを結ぶ。辺ＲＡ４は、頂点ＲＢ３と頂点ＲＢ２とを結ぶ。なお、以下では、文章が横書きである実施形態について説明する。
【００２５】
検出部３０は、表示装置１００の筐体のうち、表示領域Ｒを含む面に配置される。検出部３０は、例えば、辺ＲＡ１の近傍に配置される。検出部３０は、図２（ｂ）に示すように、文章画像ＬＧに対するユーザーによる目視状態Ｗの遷移を検出する。詳細には、検出部３０は、カメラ（例えば、ビデオカメラ）のような撮像部と、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）のような光源とを含み得る。
【００２６】
検出部３０は、例えば、ユーザーの両眼（左眼及び右眼）の動きを検出する。なお、図の説明が煩雑になることを避けるため、以下では一方の眼の図の記載及び説明を省略し、片眼のみについて説明する。目視状態Ｗは、眼Ｅの外観の状態（姿勢）を示す。眼Ｅは、眼球Ｅ１と、上眼瞼縁Ｅ２と、下眼瞼縁Ｅ３とを含む。眼球Ｅ１は、虹彩領域Ｅ１Ａと、瞳孔領域Ｅ１Ｂと、白目領域Ｅ１Ｃとを含む。虹彩領域Ｅ１Ａと、瞳孔領域Ｅ１Ｂとは、黒目領域（角膜領域）を構成する。検出部３０は、継続的に目視状態Ｗを検出する。
【００２７】
眼Ｅの動きの検出方法は、例えば、角膜反射法、暗瞳孔法、又は明瞳孔法のようなアイトラッキング技術を用い得る。目視状態特定部１１は、アイトラッキング技術を実行し、検出部３０の検出結果に基づいてユーザーの眼Ｅの視線方向を算出し、表示領域Ｒに対する注視点を特定する。検出部３０と、目視状態特定部１１とは、「検出部」に相当する。注視点は、表示領域Ｒの座標を示す。目視状態特定部１１は、注視点と、文字Ｌの座標とを対応付ける。表示制御部１３は、目視状態特定部１１の特定結果に従い、注視点を示す注視点アイコンＰ（以下、単に「注視点Ｐ」と記載したり、「視線」と記載したりすることがある。）を表示領域Ｒに表示するように表示部２０を制御する。これにより、ユーザーは、表示領域Ｒのどの部分を注視しているかを自覚できる。
【００２８】
例えば、角膜反射法では、光源が光（例えば赤外光）を眼Ｅに照射し、撮像部が眼Ｅを撮像する。そして、検出部３０は、撮像部が出力した眼Ｅの映像から、瞳孔領域Ｅ１Ｂの位置と、角膜表面における光源の角膜反射像（具体的には、プルキニエ像）の位置とを検出する。目視状態特定部１１は、瞳孔領域Ｅ１Ｂの位置と光源の角膜反射像の位置とに基づいて視線方向を算出する。
【００２９】
また、例えば、暗瞳孔法では、光源が、撮像部のレンズ光軸から離間した位置に設置される。そして、光源が眼Ｅに光（例えば赤外光）を照射し、撮像部が眼Ｅを撮像する。撮像部が出力した眼Ｅの映像のうち、瞳孔領域Ｅ１Ｂが暗くなる。そこで、目視状態特定部１１は、映像から暗い瞳孔領域Ｅ１Ｂを抽出して、瞳孔領域Ｅ１Ｂの動きに基づいて視線方向を算出する。
【００３０】
また、例えば、明瞳孔法では、光源の光軸と撮像部のレンズ光軸とが同軸になるように、光源を設置する。そして、光源が眼Ｅに光（例えば赤外光）を照射し、撮像部が眼Ｅを撮像する。撮像部が出力した眼Ｅの映像のうち、瞳孔領域Ｅ１Ｂが明るくなる。そこで、目視状態特定部１１は、映像から明るい瞳孔領域Ｅ１Ｂを抽出して、瞳孔領域Ｅ１Ｂの動きに基づいて視線方向を算出する。
【００３１】
判定部１２は、文章の配列と、目視状態Ｗの遷移Ｔとに基づいて変更処理を実行するか否かを判定する。詳細には、判定部１２は、文章の配列と、検出部３０の検出結果と、目視状態特定部１１の特定結果とに基づいて、変更処理を実行するか否かを判定する。遷移Ｔは、目視状態Ｗの変化を示す。遷移Ｔは、なぞり遷移ＴＡ、戻り遷移、瞬き遷移、接近遷移、細目遷移、瞳孔変化遷移、第１移動遷移、及び第２移動遷移を含む。なお、戻り遷移、瞬き遷移、接近遷移、離間遷移、細目遷移、瞳孔変化遷移、第１移動遷移、及び第２移動遷移の各々の詳細については、図３〜図８を参照して後述する。
【００３２】
なぞり遷移ＴＡは、文章画像ＬＧをなぞるようにユーザーの視線が移動する遷移を示す。すなわち、なぞり遷移ＴＡにおいて、注視点Ｐは、文字列ＬＳの配列に沿った方向（例えば、辺ＲＡ１に沿った左右方向）に継続して移動する。例えば、遷移Ｔ１２のように、注視点Ｐは、移動に応じて、文字列ＬＳを構成する文字Ｌの一部と時折重なる。
【００３３】
なぞり遷移ＴＡは、順なぞり遷移ＴＡ１（遷移Ｔ１１〜遷移Ｔ２２）と、反復なぞり遷移とを含む。なお、反復なぞり遷移の詳細については、図５と図６とを参照して後述する。順なぞり遷移ＴＡ１は、最上流部ＬＧ１から最下流部ＬＧ２に向けて文章画像ＬＧをなぞるように視線が移動する遷移を示す。遷移Ｔ１１〜遷移Ｔ２２の各々は、文字列ＬＳをなぞるように視線が移動する遷移の一例を示す。例えば、注視点Ｐは、順なぞり遷移ＴＡ１において、複数の文字列ＬＳを文字Ｌ１からなぞり始め、遷移Ｔ１１、遷移Ｔ１２、遷移Ｔ１３、遷移Ｔ１４、遷移Ｔ１５、遷移Ｔ１６、遷移Ｔ１７、遷移Ｔ１８、遷移Ｔ１９、遷移Ｔ２０、遷移Ｔ２１、及び遷移Ｔ２２を順に経て、文字Ｌ２までなぞる。
【００３４】
変更処理は、文章画像ＬＧの表示状態Ｖを変更する処理を示す。変更処理は、スクロール処理、マーキング処理、検索表示処理、拡大表示処理、縮小表示処理、変更画面表示処理、及び輝度変更処理を含む。なお、マーキング処理、検索表示処理、拡大表示処理、縮小表示処理、変更画面表示処理、及び輝度変更処理の各々の詳細については、図３〜図８を参照して後述する。
【００３５】
制御部１０は、視線が最下流部ＬＧ２に第１閾値以上の時間滞留したことを検出部３０が検出した場合、スクロール処理を実行すると判定する。詳細には、判定部１２は、順なぞり遷移ＴＡ１の後、注視点Ｐが更に最下流部ＬＧ２に第１閾値（例えば、３秒間）以上の時間滞留したと判定する。表示制御部１３は、判定部１２の判定結果に従い、スクロール処理を実行するように表示部２０を制御する。スクロール処理は、最下流部ＬＧ２よりも下流側の文章が表示されるように、順なぞり遷移ＴＡ１後の表示状態Ｖである文章画像ＬＧをスクロールする処理を示す。最下流部ＬＧ２よりも下流側の文章は、表示領域Ｒを超えて文章の記載が続く場合に、文字Ｌ２よりもスクロール方向Ｄ１に向かって下流側の文字列ＬＳを含む文章を示す。スクロール方向Ｄ１は、縦スクロールバーＫを表示領域Ｒの頂点ＰＢ３から頂点ＰＢ２に向かって移動させる方向を示す。スクロール処理による移動の幅は、ユーザーの操作又はデフォルトで予め設定されている。
【００３６】
以上、図１と図２とを参照して説明したように、本実施形態によれば、表示部２０は、文章画像ＬＧを表示する。検出部３０は、文章画像ＬＧに対する目視状態Ｗの遷移Ｔを検出する。制御部１０は、文章画像ＬＧと、遷移Ｔとに基づいて変更処理を実行するか否かを判定する。従って、配列された文章を追う視線の自然な動きに応じて文章画像ＬＧの変更の要否を判定できる。その結果、文章が表示された画面の表示状態Ｖを所望の表示状態Ｖに変更できる。
【００３７】
なお、本実施形態によれば、遷移Ｔは、なぞり遷移を含み得る。検出部３０は、虹彩領域Ｅ１Ａに基づいて視線を検出する。制御部１０は、変更処理を実行すると判定した場合、文章画像ＬＧの表示状態Ｖを変更するように表示部２０を制御する。従って、ユーザーが文章の流れに沿って画面を目視する動作に応じて、画面を所望の表示状態Ｖに容易に変更できる。
【００３８】
また、本実施形態によれば、なぞり遷移ＴＡは、順なぞり遷移ＴＡ１を含み得る。文章画像ＬＧの変更処理は、スクロール処理を含み得る。検出部３０は、視線が最下流部ＬＧ２に第１閾値以上の時間滞留したことを検出する。制御部１０は、検出部３０の検出結果に基づいて、スクロール処理を実行すると判定する。制御部１０は、順なぞり遷移ＴＡ１後の表示状態Ｖである文章画像ＬＧをスクロールするように、表示部２０を制御する。このようにして、表示部２０は、最下流部ＬＧ２よりも下流側の文章を視線の滞留時間に応じて表示できる。従って、ユーザーが文章の流れに沿って文章を読み終わる動作に応じて、画面をスクロールできる。その結果、所望の表示状態Ｖにタイミング良く変更できる。
【００３９】
続いて、図１と図２とを参照しつつ、図３を更に参照して、戻り遷移ＴＢについて説明する。図３は、表示部２０の表示領域Ｒを示す図である。図３に示すように、遷移Ｔは、戻り遷移ＴＢを更に含み得る。戻り遷移ＴＢは、最下流部ＬＧ２に視線が到達してから第１閾値以上の時間の経過前（例えば、視線が最下流部ＬＧ２に到達してから１秒後）に、最下流部ＬＧ２よりも上流側の文章に移動する遷移を示す。すなわち、戻り遷移ＴＢにおいて、注視点Ｐは、順なぞり遷移ＴＡ１に従い遷移Ｔ２２を経た後、文字Ｌ２よりも上流側の任意の文字列ＬＳの位置に移動する。制御部１０は、検出部３０が戻り遷移ＴＢを検出した場合、スクロール処理を実行しないと判定する。表示制御部１３は、表示状態Ｖを維持するように表示部２０を制御する。このようにして、表示部２０は、ユーザーが文章を遡って読み返したり、休憩したりする動作に応じて表示状態Ｖを維持できる。従って、ユーザーが文章を読む際の利便性を向上させることができる。
【００４０】
続いて、図１〜図４を参照して、表示装置１００の動作を説明する。図４は、表示装置１００の実行する変更処理を示すフローチャートである。ステップＳ１０１〜ステップＳ１０７が実行されることによって、表示装置１００は、文章画像ＬＧの表示状態Ｖに対する変更処理を実行する。具体的には、以下の通りである。
【００４１】
ステップＳ１０１において、表示部２０は、文章画像ＬＧを表示領域Ｒに表示する。処理は、ステップＳ１０３に進む。
【００４２】
次に、ステップＳ１０３において、検出部３０は、文章画像ＬＧに対する目視状態Ｗの遷移Ｔを検出する。処理は、ステップＳ１０５に進む。
【００４３】
次に、ステップＳ１０５において、制御部１０は、文章の配列と、遷移Ｔとに基づいて変更処理を実行するか否かを判定する。変更処理を実行する場合（ステップＳ１０５でＹｅｓ）に、処理はステップＳ１０７に進む。一方、変更処理を実行しない場合（ステップＳ１０５でＮｏ）に、制御部１０は、処理をステップＳ１０３へ進め、検出部３０によって更なる遷移Ｔが検出されるまで待機する。
【００４４】
ステップＳ１０５でＹｅｓの場合に、ステップＳ１０７において、制御部１０は、文章画像ＬＧの表示状態Ｖを変更する。そして、処理は終了する。
【００４５】
続いて、図１、図２、及び図４を参照しつつ、図５を更に参照して、反復なぞり遷移ＴＡ２と、マーキング処理ＪＭとの詳細について説明する。図５（ａ）及び（ｂ）は、表示部２０の表示領域Ｒの一部を示す図である。
【００４６】
なぞり遷移ＴＡは、反復なぞり遷移ＴＡ２を更に含み得る。また、変更処理Ｊは、マーキング処理ＪＭを更に含み得る。詳細には、図５（ａ）に示すように、反復なぞり遷移ＴＡ２は、視線が文章の一部を反復してなぞる遷移を示す。文章の一部は、例えば、文字Ｌ３から文字Ｌ４までの文字列ＬＳである。判定部１２は、検出部３０が反復なぞり遷移ＴＡ２を第２閾値（例えば、３回）以上の回数連続して検出した場合、図５（ｂ）に示すように、マーキング処理ＪＭを実行すると判定する。マーキング処理ＪＭは、文章画像ＬＧの一部にマーカー領域（例えば、黄色の帯状領域）を配置する処理を示す。目視状態特定部１１は、マーキング処理ＪＭの対象である文字列ＬＳを特定する。表示制御部１３は、特定された文字列ＬＳを含むように、文章画像ＬＧの一部にマーカー領域を配置する。従って、文章の一部を反復して読み返す回数に応じて、ユーザーの関心の高い文字列ＬＳ（例えば、重要な一文）を容易にマーキングできる。
【００４７】
続いて、図１、図２、図４、及び図５を参照しつつ、図６を更に参照して、瞬き遷移ＴＣと、検索表示処理ＪＱとの詳細について説明する。図６（ａ）、（ｂ）及び（ｄ）は、表示部２０の表示領域Ｒの一部を示す図である。図６（ｃ）は、表示装置１００において検出される目視状態Ｗを示す図である。遷移Ｔは、瞬き遷移ＴＣを更に含み得る。また、変更処理Ｊは、検索表示処理ＪＱを更に含み得る。
【００４８】
詳細には、図６（ａ）に示すように、判定部１２は、文章の一部（例えば、文字列ＬＷ）に対する反復なぞり遷移ＴＡ２が第３閾値（例えば、１０秒）以上の時間継続したことを検出した場合、文字列ＬＷに対してマーキング処理ＪＭを実行すると判定する。文字列ＬＷは、例えば、１つの熟語である。図６（ｂ）に示すように、表示制御部１３は、判定部１２の判定結果に基づいて、文字列ＬＷを含むように文章画像ＬＧの一部にマーカー領域を配置する。
【００４９】
瞬き遷移ＴＣは、虹彩領域Ｅ１Ａが検出部３０によって検出された状態（図２（ｂ）に示す状態）から、図６（ｃ）に示すように虹彩領域Ｅ１Ａが一時的に検出されていない状態を経て、再度、虹彩領域Ｅ１Ａが検出された状態へと変化する遷移を示す。虹彩領域Ｅ１Ａが検出部３０によって検出された状態とは、上眼瞼縁Ｅ２と下眼瞼縁Ｅ３との間に虹彩領域Ｅ１Ａの少なくとも一部が配置された状態を示す。虹彩領域Ｅ１Ａが一時的に検出されていない状態とは、上眼瞼縁Ｅ２と、下眼瞼縁Ｅ３とが当接している状態を示す。
【００５０】
判定部１２は、マーキング処理ＪＭの後、検出部３０が瞬き遷移ＴＣを第４閾値（例えば、３回）以上の回数連続して更に検出した場合、図６（ｄ）に示すように検索表示処理ＪＱを更に実行すると判定する。検索表示処理ＪＱは、文章の一部（例えば、文字列ＬＷ）をキーワード（例えば「ｙｙ」）として検索エンジンＪＱ１でキーワード検索して、検索結果ＪＱ２を表示する処理を示す。制御部１０は、通信部６０を介して外部のサーバー装置から検索結果ＪＱ２を取得する。表示制御部１３は、検索結果ＪＱ２を表示するように表示部２０を制御する。従って、ユーザーにとって読み進めることの困難な文字列ＬＳを容易にマーキングできるとともに、マーキングした文字列ＬＳに関する詳細な情報を容易に得ることができる。
【００５１】
続いて、図１、図２、及び図４を参照しつつ、図７を更に参照して、接近遷移ＴＤと、離間遷移ＴＥと、細目遷移ＴＦと、拡大表示処理ＪＫと、縮小表示処理との詳細について説明する。図７（ａ）は、表示装置１００と、表示装置１００において検出される目視状態Ｗとを示す図である。図７（ｂ）は、表示部２０の表示領域Ｒを示す図である。図７（ｃ）は、表示装置１００において検出される目視状態Ｗを示す図である。
【００５２】
遷移Ｔは、接近遷移ＴＤと、離間遷移ＴＥとを更に含み得る。詳細には、図７（ａ）に示すように、接近遷移ＴＤは、虹彩領域Ｅ１Ａが表示領域Ｒに向かって接近する遷移を示す。すなわち、接近遷移ＴＤは、角膜表面と表示領域Ｒの表面との間の距離が小さくなる遷移を示す。一方、離間遷移ＴＥは、虹彩領域Ｅ１Ａが表示領域Ｒから遠ざかる遷移を示す。すなわち、離間遷移ＴＥは、角膜表面と表示領域Ｒの表面との間の距離が大きくなる遷移を示す。目視状態特定部１１は、例えば、検出部３０によって検出される虹彩領域Ｅ１Ａの直径の変化に基づいて、文字列ＬＳに対する接近遷移ＴＤ又は離間遷移ＴＥを特定する。また、目視状態特定部１１は、検出部３０の光源からの発光時刻と、角膜表面からの反射光の受光時刻とに基づいて、文字列ＬＳに対する接近遷移ＴＤ又は離間遷移ＴＥを特定してもよい。
【００５３】
また、変更処理Ｊは、拡大表示処理ＪＫと、縮小表示処理とを更に含み得る。詳細には、図７（ｂ）に示すように、拡大表示処理ＪＫは、文章の一部を拡大して表示する処理を示す。制御部１０は、検出部３０が接近遷移ＴＤを検出した場合、拡大表示処理ＪＫを実行すると判定する。表示制御部１３は、注視点Ｐの近傍の文字列ＬＳを中心として文章画像ＬＧを拡大表示するように表示部２０を制御する。従って、視認しにくいサイズの文章を読む際の利便性を向上させることができる。
【００５４】
一方、縮小表示処理（図示せず）は、文章の一部を縮小して表示する処理を示す。制御部１０は、検出部３０が離間遷移ＴＥを検出した場合、縮小表示処理を実行すると判定する。表示制御部１３は、例えば、拡大表示処理ＪＫによって拡大された文章画像ＬＧを、注視点Ｐを中心として元のサイズに縮小表示するように表示部２０を制御する。従って、ユーザーによる視認具合に応じて、所望の表示状態Ｖに更にタイミング良く変更できる。
【００５５】
また、図７（ｃ）に示すように、遷移Ｔは、細目遷移ＴＦを更に含み得る。詳細には、制御部１０は、検出部３０が細目遷移ＴＦを検出した場合、拡大表示処理ＪＫを実行すると判定してもよい。細目遷移ＴＦは、虹彩領域Ｅ１Ａの上端と下端との間隔が基準値から第５閾値以下に変化して、更に間隔が第５閾値以下の状態のまま第６閾値（例えば、２秒）以上の時間継続する遷移を示す。基準値は、例えば、なぞり遷移ＴＡの開始時点に検出された間隔Ｎ１でもよいし、ユーザーの操作、又はデフォルトで予め設定されていてもよい。第５閾値は、例えば、ユーザーの操作、又はデフォルトで予め設定された間隔Ｎ２（例えば、４ｍｍ）でもよいし、間隔Ｎ１に対する所定割合（例えば、６０％）以下の間隔Ｎ２であってもよい。従って、ユーザーの頭部の移動を要することなく、文字列ＬＳを容易に拡大して表示できる。その結果、視認しにくいサイズの文章を読む際の利便性を更に向上させることができる。
【００５６】
続いて、図１、図２、及び図４を参照しつつ、図８を更に参照して、瞳孔変化遷移ＴＧと、第１移動遷移ＴＨ１と、第２移動遷移ＴＨ２と、変更画面表示処理ＪＬと、輝度変更処理ＪＨとの詳細について説明する。図８（ａ）〜（ｃ）は、表示装置１００において検出される目視状態Ｗを示す図である。図８（ｄ）は、表示部２０の表示領域Ｒの一部を示す図である。遷移Ｔは、瞳孔変化遷移ＴＧと、第１移動遷移ＴＨ１と、第２移動遷移ＴＨ２とを更に含み得る。
【００５７】
詳細には、瞳孔変化遷移ＴＧは、瞳孔領域Ｅ１Ｂの直径が変化する遷移を示す。具体的には、瞳孔変化遷移ＴＧは、第１瞳孔状態ＴＧ１と、第２瞳孔状態ＴＧ２と、第３瞳孔状態ＴＧ３とを含む。
【００５８】
図８（ａ）に示すように、第１瞳孔状態ＴＧ１は、瞳孔領域Ｅ１Ｂ１の直径の大きさが第７閾値Ｘ７と、第８閾値Ｘ８との間である状態を示す。第８閾値Ｘ８は、第７閾値Ｘ７よりも大きな値を示す。第７閾値Ｘ７と、第８閾値Ｘ８とは、ユーザーの操作、又はデフォルトで予め設定されている。図８（ｂ）に示すように、第２瞳孔状態ＴＧ２は、瞳孔領域Ｅ１Ｂ２の直径の大きさが第８閾値Ｘ８以上である状態を示す。図８（ｃ）は、第３瞳孔状態ＴＧ３は、瞳孔領域Ｅ１Ｂ３の直径の大きさが第７閾値Ｘ７以下である状態を示す。
【００５９】
図８（ｄ）に示すように、変更処理Ｊは、変更画面表示処理ＪＬと、輝度変更処理ＪＨとを更に含み得る。詳細には、変更画面表示処理ＪＬは、表示領域Ｒの輝度Ｈ１、Ｈ２の変更画面画像を表示する処理を示す。輝度変更処理ＪＨは、輝度Ｈ１、Ｈ２を変更する処理を示す。第１移動遷移ＴＨ１は、図８（ｄ）に示すように、表示領域Ｒのうち第１領域Ｒ１へ注視点Ｐ（視線）が移動する遷移を示す。一方、第２移動遷移ＴＨ２は、表示領域Ｒのうち第２領域Ｒ２へ注視点Ｐが移動する遷移を示す。第１領域Ｒ１と、第２領域Ｒ２とは、辺ＲＡ３と辺ＲＡ４との間の中心線ＲＤを介して互いに対向して配置される。
【００６０】
制御部１０は、検出部３０が第２瞳孔状態ＴＧ２、又は第３瞳孔状態ＴＧ３を検出した場合、変更画面表示処理ＪＬを実行すると判定する。制御部１０は、検出部３０が第１移動遷移ＴＨ１を更に検出した場合、輝度を上げる輝度変更処理ＪＨを更に実行すると判定する。一方、検出部３０が第２移動遷移ＴＨ２を更に検出した場合、制御部１０は、輝度を下げる輝度変更処理ＪＨを更に実行すると判定する。従って、表示領域Ｒの輝度Ｈ１、Ｈ２をユーザーが文字画像を視認し易い輝度に容易に変更できる。
【００６１】
以上、図面（図１〜図８）を参照しながら本発明の実施形態を説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。また、上記の各実施形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明の形成が可能である。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚み、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる。また、上記の実施形態で示す各構成要素の時間、形状、寸法等は一例であって、特に限定されるものではなく、本発明の構成から実質的に逸脱しない範囲で種々の変更が可能である。
【産業上の利用可能性】
【００６２】
本発明は、表示装置の分野に利用可能である。
【符号の説明】
【００６３】
１０    制御部
２０    表示部
３０    検出部
１００  表示装置
ＬＧ    文章画像
Ｖ      表示状態
Ｗ      目視状態
【図１】
2019160021.tif 000003
【図２】
2019160021.tif 000004
【図３】
2019160021.tif 000005
【図４】
2019160021.tif 000006
【図５】
2019160021.tif 000007
【図６】
2019160021.tif 000008
【図７】
2019160021.tif 000009
【図８】
2019160021.tif 000010