(57)【要約】【課題】ユーザの注視点に基づいてユーザの意図を推定し、推定した意図に基づいて画面表示を暗示的に変えることが可能な情報処理装置及び記憶媒体を提案する。【解決手段】表示部に表示された表示画像に対するユーザの注視点を検出する検出部と、前記検出部により検出された前記注視点に基づいて前記ユーザの意図を推定する推定部と、前記推定部により推定された前記意図に応じた最終表示画像まで、前記表示画像から微小に変化する変化画像を生成する画像生成部と、前記画像生成部により生成された前記変化画像を表示するよう前記表示部を制御する表示制御部と、を備える情報処理装置。【選択図】図１
2014157466.tif 000002
【特許請求の範囲】
【請求項１】
表示部に表示された表示画像に対するユーザの注視点を検出する検出部と、
前記検出部により検出された前記注視点に基づいて前記ユーザの意図を推定する推定部と、
前記推定部により推定された前記意図に応じた最終表示画像まで、前記表示画像から微小に変化する変化画像を生成する画像生成部と、
前記画像生成部により生成された前記変化画像を表示するよう前記表示部を制御する表示制御部と、
を備える情報処理装置。
【請求項２】
前記変化画像は、前記表示画像における前記注視点から離れた範囲が変化する画像である、請求項１に記載の情報処理装置。
【請求項３】
前記変化画像は、前記表示画像における前記注視点に近い範囲が変化する画像である、請求項１に記載の情報処理装置。
【請求項４】
前記画像生成部は、前記変化画像を複数生成し、
前記表示制御部は、前記画像生成部により生成された複数の前記変化画像を所定の間隔で段階的に切り替えて表示するよう前記表示部を制御する、請求項１に記載の情報処理装置。
【請求項５】
前記変化画像は、前記表示画像に含まれるテキスト部分の可読性を向上させる画像である、請求項１に記載の情報処理装置。
【請求項６】
前記画像生成部は、解像度の向上、背景画像とのコントラストの向上、文字サイズの拡大、およびエッジの強調の少なくとも何れかにより前記表示画像に含まれるテキスト部分の可読性を向上させた前記変化画像を生成する、請求項５に記載の情報処理装置。
【請求項７】
前記推定部は、前記注視点の位置が変化する速度および方向に基づいて、前記ユーザが意図するスクロールの量および方向を推定する、請求項１に記載の情報処理装置。
【請求項８】
前記検出部は、前記表示画像に対する他のユーザの注視点を検出し、
前記推定部は、前記検出部により検出された前記他のユーザの注視点に基づいて前記他のユーザの意図を推定し、
前記画像生成部は、前記推定部により推定された前記他のユーザの意図に反した最終表示画像まで微小に変化する変化画像を生成する、請求項１に記載の情報処理装置。
【請求項９】
前記表示画像はマルチウィンドウシステムの画面を形成する画像であり、
前記情報処理装置は、前記表示画像に含まれるウィンドウを編集可能領域としてアクティブ化するか否かを制御する編集制御部をさらに備え、
前記推定部は、前記表示画像に含まれる前記ウィンドウの位置および前記注視点に基づいて前記意図を推定し、
前記編集制御部は、前記推定部により推定された前記意図に応じて前記ウィンドウをアクティブ化するか否かを制御する、請求項１に記載の情報処理装置。
【請求項１０】
前記推定部は、前記ウィンドウに前記注視点が位置する場合に、当該ウィンドウをアクティブ化することを前記ユーザの意図として推定し、
前記編集制御部は、当該ウィンドウをアクティブ化する、請求項９に記載の情報処理装置。
【請求項１１】
前記推定部は、前記ウィンドウの所定領域に前記注視点が所定時間位置した場合に、当該ウィンドウを継続してアクティブ化することを前記ユーザの意図として推定し、
前記編集制御部は、所定の指示があるまで当該ウィンドウを継続してアクティブ化する、請求項９に記載の情報処理装置。
【請求項１２】
前記推定部は、前記注視点の位置が分散する場合に、前記表示画像に含まれる複数のウィンドウから所望のウィンドウを探索していることを前記ユーザの意図として推定し、
前記表示制御部は、前記表示画像において他の前記ウィンドウに重なって隠れている前記ウィンドウの一部を、前記ユーザに認識可能に表示するよう前記表示部を制御する、請求項９に記載の情報処理装置。
【請求項１３】
前記所定の間隔は、少なくとも０．１秒以上である、請求項４に記載の情報処理装置。
【請求項１４】
前記画像生成部が生成した複数の前記変化画像は、互いに１％ずつ異なる画像であり、
前記表示制御部は、複数の前記変化画像を前記所定の間隔で、現在表示している前記変化画像から１％変化した前記変化画像に切り替えるよう前記表示部を制御する、請求項４に記載の情報処理装置。
【請求項１５】
前記情報処理装置はスマートフォンである、請求項１に記載の情報処理装置。
【請求項１６】
コンピュータに、
表示部に表示された表示画像に対するユーザの注視点を検出するステップと、
検出された前記注視点に基づいて前記ユーザの意図を推定するステップと、
推定された前記意図に応じた最終表示画像まで、前記表示画像から微小に変化する変化画像を生成するステップと、
生成された前記変化画像を表示するよう前記表示部を制御するステップと、
を実行させるためのプログラムが記憶された記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置及び記憶媒体に関する。
【背景技術】
【０００２】
ユーザが情報処理装置に情報を入力する際には、従来マウスやキーボード、タッチパネル等の手を使うデバイスが用いられてきた。一方で、手を使わない入力手段としては、音声や視線を使った入力手段が開発されている。
【０００３】
例えば、下記特許文献１では、画面に対する視線の位置や視線が動く方向に基づいて、マウスやキーボードを使わずとも、あたかもマウスやキーボードを用いて操作したかのように明示的にスクロールやページの切り替えを行う技術が開示されている。
【０００４】
また、下記特許文献２では、肢体が不自由なユーザによる使用を想定して、視線が動く方向や瞬きに基づいて明示的にカーソルの移動や文字入力を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−２９７６５１号公報
【特許文献２】特開２００９−５４１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、ユーザは普段無意識に画面を見ており、情報処理装置を操作しようとする意図を持って画面を見ることは一般的ではない。しかし、上記特許文献に開示された技術はいずれも、情報処理装置を操作しようという意図的な目の動きに基づいて入力を受け付け、受け付けた入力に基づいて画面表示を明示的に変えるものであった。従って、ユーザが普段通り無意識に画面を見た場合でも、ユーザが意図しない入力が受け付けられて、意図しない画面表示がなされてしまうという問題があった。
【０００７】
そこで、本開示では、ユーザの注視点に基づいてユーザの意図を推定し、推定した意図に基づいて画面表示を暗示的に変えることが可能な、新規かつ改良された情報処理装置及び記憶媒体を提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、表示部に表示された表示画像に対するユーザの注視点を検出する検出部と、前記検出部により検出された前記注視点に基づいて前記ユーザの意図を推定する推定部と、前記推定部により推定された前記意図に応じた最終表示画像まで、前記表示画像から微小に変化する変化画像を生成する画像生成部と、前記画像生成部により生成された前記変化画像を表示するよう前記表示部を制御する表示制御部と、を備える情報処理装置が提供される。
【０００９】
また、本開示によれば、コンピュータに、表示部に表示された表示画像に対するユーザの注視点を検出するステップと、検出された前記注視点に基づいて前記ユーザの意図を推定するステップと、推定された前記意図に応じた最終表示画像まで、前記表示画像から微小に変化する変化画像を生成するステップと、生成された前記変化画像を表示するよう前記表示部を制御するステップと、を実行させるためのプログラムが記憶された記憶媒体が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、ユーザの注視点に基づいてユーザの意図を推定し、推定した意図に基づいて画面表示を暗示的に変えることが可能である。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る情報処理装置の概要を説明するための図である。
【図２】本開示の一実施形態に係るスマートフォンの構成を示すブロック図である。
【図３】本開示の一実施形態に係るスマートフォンの動作を示すフローチャートである。
【図４】本開示の一実施形態に係るスマートフォンの画面表示を説明するための図である。
【図５】変形例１に係るスマートフォンの画面表示を説明するための図である。
【図６】変形例２に係るスマートフォンの画面表示を説明するための図である。
【図７】変形例３に係るスマートフォンの画面表示を説明するための図である。
【図８】変形例４に係るスマートフォンの画面表示を説明するための図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態に係る情報処理装置の概要
２．本開示の一実施形態
２−１．スマートフォンの構成
２−２．動作処理
２−３．変形例
３．まとめ
【００１４】
＜１．本開示の一実施形態に係る情報処理装置の概要＞
図１を参照して、本開示の一実施形態に係る情報処理装置の概要を説明する。図１は、本開示の一実施形態に係る情報処理装置の概要を説明するための図である。図１に示すように、本実施形態に係る情報処理装置は、一例としてスマートフォン１により実現される。
【００１５】
スマートフォン１は、表示部２および撮像部３を有し、表示部２によりユーザに対して画像表示を行う。図１に示すように、表示部２は複数行の文字列から成るテキスト部分を含む画像２０−１を表示しており、ユーザは注視点３０を見ている。なお、注視点とは、表示部２に表示された画像において、ユーザが意識的か無意識かに関わらず見ている位置である。また、スマートフォン１は、撮像部３が表示部２を見るユーザを撮像した撮像画像に基づいて、ユーザの目が向く方向や角度等から注視点３０を検出する。
【００１６】
ユーザは、表示部２に表示された画像に対し、タッチパネルとしての機能を有する表示部２や、各種ボタンを手で操作することで、表示部２に表示された画面をスクロールしたり、細かくて読み辛い文字を拡大したりする。つまり、スマートフォン１は、ユーザの手による操作に応じて、表示部２に表示する画像を変化させる。
【００１７】
ここで、スマートフォン１が、手による操作の他に、注視点３０に基づいて、表示部２に表示する画像を変化させることについて考える。
【００１８】
上述したように、上記特許文献１、２では、手による操作の代わりに、情報処理装置を操作しようという意図的な目の動きに基づいて、入力を受け付ける技術が開示されている。しかし、ユーザは普段無意識に画面を見ているため、ユーザが普段通り無意識に画面を見た場合でも、ユーザが意図しない入力が受け付けられてしまうという問題があった。
【００１９】
このような問題に対し、情報処理装置が、意図的な目の動きを前提とせず、ユーザの注視点に基づいてユーザの意図を推定することができれば、ユーザが普段通り無意識に画面を見た場合でも、ユーザが意図しない入力が受け付けられることを防ぐことができる。
【００２０】
また、上記特許文献１、２に開示された技術は、視線に基づいて受け付けた入力に応じて、明示的に画面表示を変化させる。仮に、情報処理装置がユーザの意図を推定したとしても、画面表示の変化が明示的であれば、自分が操作していないのに情報処理装置が勝手に動いている、といった不快な印象をユーザに与えてしまうおそれがある。
【００２１】
このようなおそれに対し、情報処理装置が、推定した意図に基づいて画面表示を微小に変化させる、即ちユーザが画面表示の変化に気付かなない程度に暗示的に画面表示を変えることができれば、ユーザに上記不快感を与えることを防ぐことができる。
【００２２】
そこで、上記事情を一着眼点にして本開示の一実施形態に係る情報処理装置を創作するに至った。本開示の一実施形態に係る情報処理装置は、ユーザの注視点に基づいてユーザの意図を推定し、推定した意図に基づいて画面表示を暗示的に変えることが可能である。
【００２３】
一例として、引き続き図１を参照し、スマートフォン１が、ユーザによる無意識による注視点の動きに基づいて、文字が読み辛いというユーザの隠れた意図を推定し、文字が読みやすくなるよう暗示的に表示を変える例を説明する。
【００２４】
一般的に、ユーザは、文字が小さく読み辛い場合に、その文字を凝視する、又はその文字の前後を何度も往復して読む、等の行為を無意識に行う。そこで、スマートフォン１は、注視点３０がある文字の位置に所定時間以上留まっている、またはある文字の前後を何度も往復している、等を検出した場合に、ユーザがその文字を読み辛いと感じていること、および文字を読みやすくしたいという意図を推定する。そして、スマートフォン１は、推定した意図に応じて、ユーザが画面変化に気づかない程度に、画像２０−２〜２０−５まで、画像２０−１に含まれるテキスト部分の文字サイズが微小に拡大される画像を段階的に表示する。
【００２５】
このように、スマートフォン１は、ユーザが普段通り無意識に画面を見た場合であっても、注視点に基づいてユーザの意図を推定し、推定した意図に応じて画面表示を変化させることができる。さらに、画面表示の変化はユーザが気づかない程度に微小なものであるので、ユーザに不快感を与えることを防ぐことができる。
【００２６】
また、本実施形態に係るスマートフォン１は、何ら手による操作を要することなく、ユーザが無意識に意図した通りに文字サイズを拡大することができる。つまり、スマートフォン１は、ユーザの手による操作負担を削減しつつ、ユーザの意図に応じた画面表示を行うことで、ユーザの手による操作を補助することができる。
【００２７】
以上、本開示の一実施形態に係る情報処理装置の概要について説明した。
【００２８】
なお、図１に示した例では、情報処理装置の一例としてスマートフォン１を用いたが、本開示に係る情報処理装置はこれに限定されない。例えば、情報処理装置は、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）、デジタルカメラ、デジタルビデオカメラ、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、タブレット端末、携帯電話端末、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器等であってもよい。
【００２９】
特に、スマートフォン１は、ＰＣ等と比較して画面が小さいので、スクロール、文字サイズの拡大設定などの操作がＰＣ等と比較して頻繁に必要になる場合がある。従って、スマートフォン１において、上記説明したように視線によって手による操作を補助することができれば、スマートフォン１の操作性は大きく向上する。そこで、本明細書では、本実施形態に係る情報処理装置をスマートフォン１により実現した例を説明する。
【００３０】
＜２．本開示の一実施形態＞
［２−１．スマートフォンの構成］
まず、図２を参照して、本実施形態に係るスマートフォン１の構成について説明する。図２は、本開示の一実施形態に係るスマートフォン１の構成を示すブロック図である。図２に示すように、スマートフォン１は、表示部２、撮像部３、操作部４、および制御部１０を有する。以下、スマートフォン１の各構成要素について詳細に説明する。
【００３１】
（表示部）
表示部２は、制御部１０から出力された画像データ（静止画像データ／動画像データ）を表示する。表示部２は、後述する表示制御部１４による制御に基づいて、表示する画像を変化させる。他にも、表示部２は、後述する操作部４により受け付けたユーザ入力に応じて、表示する画像を変化させる。表示部２は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）などにより実現される。
【００３２】
（撮像部）
撮像部３は、撮像素子、撮像レンズを含む撮像光学系、および撮影画像信号処理部を含み、デジタル信号とされた撮影画像のデータを出力する。なお、撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージャやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャにより実現される。本実施形態に係る撮像部３は、表示部２を見るユーザを撮像し、撮像画像を検出部１１に送信する。
【００３３】
（操作部）
操作部４は、ユーザからの入力を受け付ける機能を有する。例えば、操作部４は、表示部２と一体的に形成されるタッチパネル、ボタン、音声入力のためのマイクロフォン等により実現される。操作部４は、アクティブウィンドウへの文字入力や、スクロール、文字サイズの拡大／縮小を指示する入力を受け付ける。他にも、スマートフォン１がマルチウィンドウシステムを採用する場合、操作部４は、どのウィンドウを編集可能領域としてアクティブ化するか、を示す選択指示を受け付けてもよい。
【００３４】
ここで、マルチウィンドウシステムとは、ウィンドウと呼称される作業領域を複数同時に表示し、ウィンドウ毎に異なるアプリケーションの表示を行うシステムである。表示部２は、マルチウィンドウシステムの画面を形成する表示画像として、複数のウィンドウを含む画面を表示し得る。表示部２に表示された複数のウィンドウのうち、アクティブ化するようユーザに選択された一のウィンドウは、アクティブウィンドウと呼称され、操作部４へのユーザからの入力により編集可能な領域となる。よって、操作部４が、スクロールや文字サイズの拡大／縮小を指示する入力を受け付けた場合、アクティブウィンドウの表示がスクロールし、アクティブウィンドウのテキスト部分の文字サイズが拡大／縮小する。また、複数のウィンドウが表示部２に表示されている場合、アクティブウィンドウは、最も手前側（最前面）に表示され、タイトルバーと呼称されるウィンドウ上部の帯状の部分の色が濃くなる等、他のアクティブでないウィンドウとは識別可能に表示される。
【００３５】
（制御部）
制御部１０は、演算処理装置および制御装置として機能し、各種プログラムに従ってスマートフォン１内の動作全般を制御する。制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサによって実現される。なお、制御部１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を含んでいてもよい。
【００３６】
本実施形態に係る制御部１０は、撮像部３により撮像されたユーザの撮像画像から注視点を検出し、検出した注視点に基づいてユーザの意図を推定し、推定した意図に応じて表示部２に表示される画像を変化させる。また、制御部１０は、検出部１１、推定部１２、画像生成部１３、表示制御部１４、および編集制御部１５として機能する。
【００３７】
・検出部
検出部１１は、表示部２に表示された表示画像に対するユーザの注視点を検出する。より詳しくは、検出部１１は、撮像部３から出力された撮像画像を画像認識し、撮像画像に含まれるユーザの目が向く方向や角度等に基づいて注視点を検出する。検出部１１は、検出した注視点を示す情報を推定部１２に出力する。
【００３８】
・推定部
推定部１２は、検出部１１により検出されたユーザの注視点に基づいて、ユーザの意図を推定する。例えば、上記図１を参照して説明したように、推定部１２は、注視点が表示部２に表示されたある文字の位置に所定時間以上留まっている、またはある文字の前後を何度も往復している場合に、文字を読みやすくしたいというユーザの意図を推定する。
【００３９】
他にも、推定部１２は、注視点の位置が変化する速度および方向に基づいて、ユーザが意図するスクロールの量および方向を推定してもよい。より詳しくは、表示部２に表示された文字列に沿って注視点の位置が速く変化している場合に、推定部１２は、ユーザが文字を読むスピードが速いこと、および文章が続く方向に大きくスクロールしたいという意図を推定する。一方で、表示部２に表示された文字列に沿って注視点の位置が遅く変化している場合に、推定部１２は、ユーザが文字を読むスピードが遅いこと、および文章が続く方向に小さくスクロールしたいという意図を推定する。
【００４０】
なお、推定部１２は、表示部２に表示された文字列に沿って注視点の位置が速く変化している場合、一画面に表示される文字数が少ない、即ち文字サイズを小さくして一画面に表示される文字数を増やしたい、というユーザの意図を推定してもよい。
【００４１】
また、表示部２がウィンドウシステムの画面を形成する表示画像を表示する場合、推定部１２は、表示画像に含まれるウィンドウの位置および注視点に基づいてユーザの意図を推定してもよい。例えば、表示部２に複数のウィンドウが表示されており、注視点がアクティブでないウィンドウ上に所定時間以上留まっている場合に、推定部１２は、注視点が位置するウィンドウをアクティブ化したい、という意図を推定する。
【００４２】
推定部１２は、推定したユーザの意図を示す情報を、画像生成部１３および編集制御部１５に出力する。
【００４３】
・画像生成部
画像生成部１３は、推定部１２により推定されたユーザの意図に応じた最終表示画像まで、表示部２が現在表示している表示画像から微小に変化する変化画像を生成する。最終表示画像とは、表示部２が現在表示している表示画像に対するユーザの意図を満たした画像である。例えば、文字を読みやすくしたいというユーザの意図を推定部１２が推定した場合、最終表示画像は、表示画像に含まれるテキスト部分を、ユーザが読み辛いと感じない程度に可読性を向上させた画像である。なお、最終表示画像は、ユーザが見辛いと感じない程度に視認性を向上させた画像であってもよい。画像生成部１３は、まず最終表示画像を設定し、続いて画像生成部１３は、表示画像に含まれるテキスト部分を、設定した最終表示画像まで可読性を向上させる変化画像を生成する。例えば、画像生成部１３は、文字サイズの拡大、解像度の向上、背景画像とのコントラストの向上、およびエッジの強調の少なくともいずれかによって、テキスト部分の可読性を向上させた変化画像を生成する。他にも、画像生成部１３は、書体（フォント）の変更、太字化（ボールド化）、輝度の向上などにより、テキスト部分の可読性を向上させてもよい。以下では、一例として、最終表示画像が、ユーザが読み辛いと感じない程度に文字サイズが拡大された画像であるものとして、画像生成部１３による処理を説明する。
【００４４】
まず、画像生成部１３は、表示部２が現在表示している表示画像を最終的表示画像に拡大するための文字サイズの拡大率を算出する。拡大率は、所定の値であってもよいし、所定の文字サイズまで拡大するよう逆算された値であってもよい。他にも、画像生成部１３が、ユーザの目と表示部２との距離に基づいて拡大率を算出してもよい。また、画像生成部１３は、ユーザが顔を表示部２に近づけた場合、ユーザの目と表示部２との距離が変化した度合や、変化の速度等に応じて拡大率を算出してもよい。なお、近視の人は対象物に目を近づけ、遠視や老眼の人は対象物から目を遠ざけることを踏まえ、画像生成部１３は、ユーザの顔が表示部２に近づくと縮小し、ユーザの顔が表示部２から遠ざかると拡大してもよい。
【００４５】
そして、画像生成部１３は、表示部２に表示されている表示画像から、最終表示画像に至るまで、即ち算出した拡大率に至るまで、微小に拡大する変化画像を生成する。このとき、表示画像と最終表示画像との差、即ち拡大率が微小であれば、画像生成部１３は、ひとつの変化画像を生成してもよい。一方で、拡大率が微小でない場合、画像生成部１３は、互いに所定の割合ずつ異なる複数の変化画像を生成してもよい。例えば、拡大率が２００％の場合、画像生成部１３は１０１％、１０２％、・・・、１９９％、２００％拡大した、互いに１％ずつ異なる複数の変化画像を生成する。
【００４６】
このように、推定部１２が文字を読みやすくしたいというユーザの意図を推定した場合、画像生成部１３は、表示画像と最終表示画像とを繋ぐための、表示画像に含まれるテキスト部分を微小な変化で可読性が向上していく変化画像をひとつ以上生成する。変化が微小であるため、スマートフォン１は、表示部２に変化画像を表示した際に、ユーザに不快な印象を与えることを防ぐことができる。
【００４７】
また、推定部１２は、上記説明した、文字を読みやすくしたいという意図の他に、例えばユーザが意図するスクロールの量および方向を推定し得る。この場合、最終表示画像は、表示画像に含まれるテキスト部分が、ユーザが意図する量および方向にスクロールした画像である。画像生成部１３は、表示部２に表示されている表示画像から、最終表示画像に至るまで、即ち推定したスクロール量に至るまで、微小な変化で段階的にスクロールする、ひとつ以上の変化画像を生成する。
【００４８】
他にも、推定部１２は、注視点が位置するウィンドウをアクティブ化したいというユーザの意図を推定し得る。この場合、最終表示画像は、注視点が位置するウィンドウをアクティブ化してアクティブウィンドウとした画像である。画像生成部１３は、表示部２に表示されている表示画像から、最終表示画像に至るまで、即ち注視点が位置するウィンドウをアクティブ化した画像に至るまで、微小な変化で段階的に当該ウィンドウがアクティブ化される、ひとつ以上の変化画像を生成する。例えば、画像生成部１３は、現在のアクティブウィンドウの表示が薄くなり、注視点が位置するウィンドウが最も手前側に浮き出るよう、これらのウィンドウが重なる部分が微小に変化する、ひとつ以上の変化画像を生成する。なお、変化画像は、このような変化と共に、現在のアクティブウィンドウのタイトルバーの色を薄め、注視点が位置するウィンドウのタイトルバーの色が濃くなるよう、徐々に変化していてもよい。
【００４９】
なお、画像生成部１３は、表示画像における注視点に近い範囲が変化する変化画像を生成してもよい。例えば、ユーザがある文字を凝視している場合、画像生成部１３は、その文字に近い範囲として、その文字の前後やその文字を含む文字列、もしくは前後数行の可読性を向上させた変化画像を生成する。このように、画像生成部１３は、ユーザが読み辛いと感じている箇所の可読性を的確に向上させることで、ユーザの文字を読む行為を快適化することができる。
【００５０】
一方で、画像生成部１３は、表示画像における注視点から離れた範囲が変化する変化画像を生成してもよい。例えば、ユーザがある文字を凝視している場合、画像生成部１３は、その文字に離れた範囲として、その文字の数文字後、もしくはその文字を含む文字列の数行後から文字の可読性を向上させた変化画像を生成する。このように、画像生成部１３は、注視点から離れた範囲を変化させるため、ユーザに画面表示の変化が認識されて、不快な印象を与えることを防ぐことができる。
【００５１】
画像生成部１３は、このようにして生成した変化画像を表示制御部１４に出力する。
【００５２】
・表示制御部
表示制御部１４は、画像生成部１３により生成された変化画像を表示するよう表示部２を制御する。このとき、画像生成部１３により生成された変化画像が複数である場合、表示制御部１４は、複数の変化画像を所定の間隔で段階的に切り替えて表示するよう表示部２を制御する。例えば、図１に示した例において、表示制御部１４は、画像生成部１３により生成された画像２０−２〜画像２０−５までを、例えば少なくとも０．１秒以上の間隔を空けて切り替えて表示するよう、表示部２を制御する。
【００５３】
なお、マルチウィンドウシステムにおいて、ウィンドウをアクティブ化する際には、アクティブとなったウィンドウを最も手前側に表示する等の表示制御と、当該ウィンドウを編集可能領域とする編集制御とを要する。表示制御部１４は、このうち表示制御を行い、編集制御は後述する編集制御部１５が行う。
【００５４】
・編集制御部
編集制御部１５は、表示部２がウィンドウシステムの画面を形成する表示画像を表示する場合に、表示画像に含まれるウィンドウを編集可能領域としてアクティブ化するか否かを制御する。例えば、編集制御部１５は、注視点が位置するウィンドウをアクティブ化したいというユーザの意図を推定部１２が推定した場合、当該ウィンドウをアクティブ化する。即ち、編集制御部１５は、編集可能領域を、現在のアクティブウィンドウから注視点が位置するウィンドウに切り替える。このとき、編集制御部１５は、表示制御部１４による制御によって、注視点が位置するウィンドウが最も手前側に表示されたタイミングで、編集可能領域を当該ウィンドウに切り替えてもよい。他にも、編集制御部１５は、注視点が位置するウィンドウのタイトルバーの色が、それまでアクティブウィンドウであったウィンドウと比較して濃くなったタイミングで、編集可能領域を切り替えてもよい。
【００５５】
（補足）
上記では、画像生成部１３は、互いに所定の割合ずつ異なる変化画像を生成し、表示制御部１４は、所定時間の間隔を空けて、変化画像を切り替えて表示すると説明したが、変化の割合や切り替えの間隔といったパラメータは様々な値をとり得る。本実施形態では、一例として、かくし絵についての学習体験に関する文献である、「Ｔｅｔｓｕｏ  Ｉｓｈｉｋａｗａ，  Ｋｅｎ  Ｍｏｇｉ，“Ｖｉｓｕａｌ  ｏｎｅ−ｓｈｏｔ  ｌｅａｒｎｉｎｇ  ａｓ  ａｎ  ‘ａｎｔｉ−ｃａｍｏｕｆｌａｇｅ  ｄｅｖｉｃｅ’：  ａ  ＮＯｖｅｌ  ｍｏｒｐｈｉｎｇ  ｐａｒａｄｉｇｍ，”  Ｃｏｇｎｉｔｉｖｅ  Ｎｅｕｒｏｄｙｎａｍｉｃｓ，  Ｓｅｐｔｅｍｂｅｒ  ２０１１，  Ｖｏｌｕｍｅ  ５，  Ｉｓｓｕｅ  ３，ｐｐ．  ２３１−２３９」に開示されたパラメータを適用してもよい。この文献では、初期画像から徐々に変化して最終画像に至るまでの変化の様子を人に見せる実験を行い、最終画像が何であるか認識できるまでの経過時間を測定している。そして、この文献では、初期画像から最終画像までを０．２秒ごとに１％ずつ変化させた場合に、最終画像が何であるかを認識し辛い場合があることが開示されている。つまり、初期画像から最終画像までを０．２秒ごとに１％ずつ変化させると、ユーザに変化が気付かれない可能性があることを示唆している。そこで、本実施形態では、画像生成部１３は、互いに１％ずつ異なる変化画像を生成し、表示制御部１４は、少なくとも０．２秒以上の間隔を空けて、現在表示している変化画像から１％変化した変化画像に切り替えるよう、表示部２を制御するものとする。なお、この文献では、０．２秒が最小値であるとは述べられておらず、また、被験者がかくし絵を意識的に見破ろうとした実験において採用された間隔であるので、ユーザが無意識に画面を見る本実施形態では０．２秒よりも短い０．１秒間隔であってもよい。また、画像生成部１３が表示画像における注視点から離れた範囲が変化する変化画像を生成する場合、ユーザが画面表示の変化に気付く可能性が低いため、変化はさらに大胆であってもよい。例えば、スマートフォン１は、０．０１秒ごとに１％ずつ変化させてもよい。
【００５６】
また、スマートフォン１は、撮像部３により撮像された撮像画像に含まれる顔領域を顔認識して、登録済みのユーザか否かを識別し、識別結果に基づいて表示する変化画像を変更してもよい。例えば、スマートフォン１は、スマートフォン１を所有する者として登録されたユーザではない他のユーザに対しては、当該他のユーザの意図に反するよう表示を変化させてもよい。
【００５７】
具体的には、検出部１１は、表示画像に対する他のユーザの注視点を検出し、推定部１２は、検出部１１により検出された他のユーザの注視点に基づいて他のユーザの意図を推定する。例えば、他のユーザの注視点が表示部２に表示された文字列に沿って移動している場合、推定部１２は、表示部２に表示された文字列を読みたいという他のユーザの意図を推定する。そして、画像生成部１３は、推定部１２により推定された他のユーザの意図に反した最終表示画像まで微小に変化する変化画像を生成し、表示制御部１４は生成された変化画像を表示部２に表示する。例えば、画像生成部１３は、表示部２に表示された文字列を読みたいという他のユーザの意図に反して、文字列が読み辛くなるよう徐々に文字列の可読性を低下させる変化画像を生成し、表示制御部１４が表示する。このように、スマートフォン１は、他のユーザに不当に表示内容が閲覧されることを防ぐことができる。
【００５８】
以上、本実施形態に係るスマートフォン１の構成について説明した。
【００５９】
［２−２．動作処理］
続いて、図３〜図４を参照して、本実施形態に係るスマートフォン１の動作処理を説明する。図３は、本開示の一実施形態に係るスマートフォン１の動作を示すフローチャートである。
【００６０】
図３に示すように、まず、ステップＳ１０４で、検出部１１は、撮像部３から出力された撮像画像を画像認識し、撮像画像に含まれるユーザの目が向く方向や角度等に基づいて注視点を検出する。ここで、図４を参照して、検出部１１が検出したユーザの注視点の具体例を説明する。図４は、本開示の一実施形態に係るスマートフォン１の画面表示を説明するための図である。図４に示すように、表示部２は複数行の文字列から成るテキスト部分を含む表示画像２１を現在表示しており、ユーザの注視点３１は表示画像２１上に位置している。
【００６１】
次に、ステップＳ１０８で、推定部１２は、検出部１１により検出されたユーザの注視点に基づいて、ユーザの意図を推定する。例えば、図４に示した例において、注視点３１が、ある文字の位置に所定時間以上留まっているとすると、推定部１２は、ユーザがその文字を読み辛いと考えていること、および文字を読みやすくしたいという意図を推定する。
【００６２】
次いで、ステップＳ１１２で、画像生成部１３は、推定部１２により推定されたユーザの意図に応じた最終表示画像を設定する。このとき、画像生成部１３が設定する最終表示画像は多様に考えられる。例えば、図４に示した例においては、画像生成部１３は、ユーザが読み辛いと感じない程度に可読性を向上させた画像として、画像２１Ａ、２１Ｂ、２１Ｃ、または２１Ｄを、最終表示画像として設定し得る。
【００６３】
画像２１Ａは、上記図１を参照して説明した例と同様に、表示画像２１に含まれるテキスト部分全体の文字サイズが拡大された画像である。画像２１Ｂは、表示画像２１に含まれるテキスト部分のうち、注視点３１の位置にある文字列が太字にされた画像である。画像２１Ｃは、表示画像２１に含まれるテキスト部分のうち、注視点３１の位置にある文字列の文字サイズが拡大された画像である。画像２１Ｄは、表示画像２１に含まれるテキスト部分のうち、注視点３１が位置する文字以降の文字について、注視点３１が位置する文字から離れるにつれて徐々に文字サイズが拡大された画像である。
【００６４】
そして、続くステップで、表示制御部１４は、画像生成部１３により生成された複数の変化画像を、所定の間隔で段階的に切り替えて表示するよう表示部２を制御する。より具体的には、表示制御部１４は、少なくとも０．２秒以上の間隔を空けて、表示部２が現在表示している画像から、最終表示画像に近づくよう１％変化した変化画像に切り替えて表示するよう、表示部２を制御する。
【００６５】
まず、ステップＳ１１６で、画像生成部１３は、表示画像２１に含まれるテキスト部分を、設定した最終表示画像に近づくよう微小に可読性を向上させた変化画像を生成する。例えば、図４に示した例においては、画像生成部１３は、表示画像２１から最終表示画像として設定された画像２１Ａ、２１Ｂ、２１Ｃ、または２１Ｄを繋ぐための、表示画像２１から１％最終表示画像に近づいた変化画像を生成する。
【００６６】
なお、画像２１Ａは、注視点３１に近い文字も遠い文字も共に可読性を向上させるため、画像２１Ａを最終画像として設定した場合、画像生成部１３は、注視点３１に近い範囲と遠い範囲とを共に変化させる変化画像を生成する。また、画像２１Ｂ、２１Ｃは、注視点３１の位置にある文字列の可読性を向上させるため、画像２１Ｂ、２１Ｃを最終画像として設定した場合、画像生成部１３は、注視点３１に近い範囲を変化させる変化画像を生成する。また、画像２１Ｄは、注視点３１の位置にある文字から離れた文字の可読性を向上させるため、画像２１Ｂを最終画像として設定した場合、画像生成部１３は、注視点３１から離れた範囲を変化させる変化画像を生成する。
【００６７】
そして、ステップＳ１２０で、表示制御部１４は、表示部２に表示する画像を、表示画像２１から、画像生成部１３により生成された表示画像２１から１％最終表示画像に近づいた変化画像に切り替えるよう、表示部２を制御する。
【００６８】
次に、ステップＳ１２４で、表示制御部１４は、表示部２に表示された変化画像と、画像生成部１３により設定された最終表示画像とが一致するか否かを判定する。
【００６９】
表示部２が現在表示している変化画像と最終表示画像とが一致する場合（Ｓ１２４／ＹＥＳ）、処理は終了する。一方で、表示部２が現在表示している変化画像と最終表示画像とが一致しない場合（Ｓ１２４／ＮＯ）、ステップＳ１２８で、画像生成部１３は、推定部１２により推定されたユーザの意図に変化があるか否かを判定する。即ち、ステップＳ１２８において、上記説明したステップＳ１０４、１０５と同様の処理が行われ、画像生成部１３は、前時刻において推定されたユーザの意図と現時刻において推定されたユーザの意図とに変化があるか否かを判定する。
【００７０】
ユーザの意図に変化がある場合（Ｓ１２８／ＹＥＳ）、処理は再度ステップＳ１１２に戻り、画像生成部１３は、変化したユーザの意図に応じた最終表示画像を改めて設定する。このように、スマートフォン１は、ステップＳ１２８においてユーザの意図を都度判定し、変化があった場合に変化後の意図に応じて最終表示画像を更新することにより、変化したユーザの意図に応じて柔軟に表示を変化させることができる。
【００７１】
例えば、推定部１２が文字を読みやすくしたいというユーザの意図を推定し、表示制御部１４が徐々に文字サイズが拡大していく変化画像を表示部２に表示している際に、最終表示画像に至る前に、ユーザにとって読みやすい文字サイズに至る場合がある。この場合、ユーザは凝視することをやめ、次の文章を読み始めるので、推定部１２は、文章が続く方向にスクロールしたいという意図を推定し得る。すると、画像生成部１３は、ユーザが意図する方向にスクロールした最終表示画像を改めて設定し、表示制御部１４は文字サイズが拡大していく変化画像の表示をやめ、代わりに徐々にスクロールする変化画像を表示部２に表示することができる。
【００７２】
一方で、ユーザの意図に変化がない場合（Ｓ１２８／ＮＯ）、ステップＳ１３２で、表示制御部１４は所定時間（少なくとも０．２秒以上）経過するまで待機し、その後ステップＳ１１６〜Ｓ１２４を繰り返す。
【００７３】
このとき、ステップＳ１１６では、画像生成部１３は、表示部２に現在表示されている変化画像から、さらに１％最終表示画像に近づいた変化画像を生成する。次いで、ステップＳ１２０で、表示制御部１４は、表示部２に表示する画像を、前時刻において表示した変化画像から、さらに１％最終表示画像に近づいた変化画像に切り替えるよう、表示部２を制御する。
【００７４】
以上説明したように、本実施形態に係るスマートフォン１は、ユーザの注視点に基づいて、表示画像に含まれるテキスト部分を徐々に可読性を向上させることができる。また、可読性の向上のための画面表示の変化はユーザが気づかない程度に微小なものであるので、ユーザに不快感を与えることを防ぐことができる。
【００７５】
以上、本開示の一実施形態に係るスマートフォン１の動作について説明した。
【００７６】
［２−３．変形例］
本開示の一実施形態に係るスマートフォン１は、上記説明したテキスト部分の可読性の向上の他にも、多様な変化画像を表示し得る。そこで、以下では、図５〜８を参照して、スマートフォン１が表示する変化画像の一例について説明する。
【００７７】
（変形例１：スクロール）
本変形例に係るスマートフォン１は、徐々にスクロールする変化画像を表示することができる。以下、図５を参照して、本変形例に係るスマートフォン１について説明する。
【００７８】
図５は、変形例１に係るスマートフォン１の画面表示を説明するための図である。図５に示すように、表示部２は複数行の文字列から成るテキスト部分を含む表示画像２２−１を現在表示しており、ユーザの注視点３２は表示画像２２−１上に位置している。以下では、図３で示したフローチャートに沿って、スマートフォン１が徐々にスクロールする変化画像を表示する動作処理を説明する。
【００７９】
まず、図３に示したように、ステップＳ１０４で、検出部１１は、図４に示した注視点３２を検出する。
【００８０】
次に、ステップＳ１０８で、推定部１２は、注視点３２に基づいて、ユーザが意図するスクロールの量および方向を推定する。例えば、推定部１２は、前時刻における注視点の位置と現時刻における注視点３２の位置との差分に基づいて、ユーザが意図するスクロールの量および方向を推定する。
【００８１】
次いで、ステップＳ１１２で、画像生成部１３は、表示画像２２−１に含まれるテキスト部分が、ユーザが意図する量および方向にスクロールした画像を、最終表示画像として設定する。例えば、画像生成部１３は、表示画像２２−１に含まれるテキスト部分が、１行分画面の下方向にスクロールした画像２２−３を、最終表示画像として設定する。
【００８２】
そして、続くステップで、表示制御部１４は、表示部２が現在表示している表示画像２２−１から、最終表示画像２２−３に近づくよう１％ずつ画面の下方向にスクロールする変化画像を所定間隔で表示するよう、表示部２を制御する。なお、図５に示した変化画像２２−２は、表示画像２２−１から最終表示画像２２−３に至るまでの間に、表示部２に表示される変化画像の一例を示している。
【００８３】
なお、スクロールに伴い、テキスト部分の上端が画面外に消え、下端から新たな文字列が現れるため、変化画像は、注視点３２から遠い範囲が変化している、といえる。
【００８４】
以上、変形例１に係るスマートフォン１について説明した。
【００８５】
（変形例２：アクティブウィンドウの切り替え）
本変形例に係るスマートフォン１は、徐々にアクティブウィンドウを切り替えることができる。以下、図６を参照して、本変形例に係るスマートフォン１について説明する。
【００８６】
図６は、変形例２に係るスマートフォン１の画面表示を説明するための図である。図６に示すように、表示部２はウィンドウ４３Ａとウィンドウ４３Ｂとを含む、マルチウィンドウシステムの画面を形成する表示画像２３−１を現在表示しており、ユーザの注視点３３は表示画像２３−１上に位置している。ここで、アクティブウィンドウはウィンドウ４３Ｂであり、注視点３３はアクティブでないウィンドウ４３Ａの位置にある。以下では、図３で示したフローチャートに沿って、スマートフォン１が徐々にアクティブウィンドウを切り替える動作処理を説明する。
【００８７】
まず、図３に示したように、ステップＳ１０４で、検出部１１は、図６に示した注視点３３を検出する。
【００８８】
次に、ステップＳ１０８で、推定部１２は、注視点３３に基づいて、注視点３３が位置するウィンドウ４３Ａをアクティブ化したいというユーザの意図を推定する。例えば、推定部１２は、注視点がアクティブでないウィンドウ４３Ａの位置に所定時間以上留まっている場合に、ウィンドウ４３Ａをアクティブ化したいというユーザの意図を推定する。
【００８９】
次いで、ステップＳ１１２で、画像生成部１３は、表示画像２３−１において注視点３３が位置するウィンドウ４３Ａをアクティブ化してアクティブウィンドウとした画像２３−２を、最終表示画像として設定する。なお、表示部２が現在表示している表示画像２３−１では、アクティブウィンドウはウィンドウ４３Ｂであるため、ウィンドウ４３Ｂが最も手前側に表示され、タイトルバーの色は濃い。一方で、最終表示画像２３−２では、アクティブウィンドウは４３Ａであるため、ウィンドウ４３Ａが最も手前側に表示され、タイトルバーの色は濃い。
【００９０】
そして、続くステップで、表示制御部１４は、表示部２が現在表示している表示画像２３−１から、最終表示画像２３−２に近づくよう１％ずつウィンドウ４３Ａがアクティブ化していく変化画像を所定間隔で表示するよう、表示部２を制御する。このとき、編集制御部１５は、最終表示画像２３−２に至るまで間の、例えばウィンドウ４３Ａが最も手前側に表示されたタイミングで、編集可能領域をウィンドウ４３Ｂからウィンドウ４３Ａに切り替えてもよい。
【００９１】
なお、アクティブウィンドウの切り替えの際は、注視点３３はウィンドウが重ならない部分にあり、且つウィンドウが重なる部分の表示のみが変化するため、変化画像は、注視点３３から遠い範囲が変化している、といえる。
【００９２】
以上、変形例２に係るスマートフォン１について説明した。
【００９３】
（変形例３：アクティブでないウィンドウの表示制御）
本変形例に係るスマートフォン１は、アクティブウィンドウを切り替えることなく、アクティブでないウィンドウの表示を制御することができる。本変形例では、スマートフォン１が、注視点に基づいて、アクティブでないウィンドウのテキスト部分の可読性を向上させる例を説明するが、スクロールその他の表示制御を行ってもよい。以下、図７を参照して、本変形例に係るスマートフォン１について説明する。
【００９４】
図７は、変形例３に係るスマートフォン１の画面表示を説明するための図である。図７に示すように、表示部２はウィンドウ４４Ａとウィンドウ４４Ｂとを含む、マルチウィンドウシステムの画面を形成する表示画像２４−１を現在表示しており、ユーザの注視点３４は表示画像２４−１上に位置している。ここで、アクティブウィンドウはウィンドウ４４Ｂであり、注視点３４はアクティブでないウィンドウ４４Ａの位置にある。以下では、図３で示したフローチャートに沿って、スマートフォン１がアクティブウィンドウを切り替えることなく、アクティブでないウィンドウの表示を徐々に変化させる動作処理を説明する。
【００９５】
まず、図３に示したように、ステップＳ１０４で、検出部１１は、図７に示した注視点３４を検出する。
【００９６】
次に、ステップＳ１０８で、推定部１２は、注視点３３に基づいてユーザの意図を推定する。例えば、注視点３３が、ある文字の位置に所定時間以上留まっているとすると、推定部１２は、ユーザがその文字を読み辛いと考えていること、および文字を読みやすくしたいという意図を推定する。
【００９７】
次いで、ステップＳ１１２で、画像生成部１３は、文字を読みやすくしたいという意図に応じて、ウィンドウ４４Ａに含まれるテキスト部分のうち、注視点３４の位置にある文字列の文字サイズが拡大された画像２４−２を、最終表示画像として設定する。
【００９８】
そして、続くステップで、表示制御部１４は、表示部２が現在表示している表示画像２４−１から、最終表示画像２４−２に近づくよう１％ずつウィンドウ４４Ａに含まれるテキスト部分の文字サイズが拡大する変化画像を表示するよう、表示部２を制御する。このとき、画像生成部１３は、ウィンドウ４４Ａをアクティブウィンドウとして最も手前側に表示するような変化画像を生成しない。また、編集制御部１５は、編集可能領域をウィンドウ４４Ｂからウィンドウ４４Ａに切り替えるような制御を行わない。このため、スマートフォン１は、アクティブウィンドウを切り替えることなく、アクティブでないウィンドウのテキスト部分の可読性を向上させることができる。
【００９９】
なお、上記の例では、注視点３４の位置にある文字列の文字サイズを拡大するため、変化画像は、注視点３２に近い範囲が変化している、といえる。
【０１００】
以上、変形例３に係るスマートフォン１について説明した。
【０１０１】
（補足）
なお、上記説明した変形例２に係る処理と、変形例３に係る処理とは、アクティブでないウィンドウをユーザが見たときに、アクティブウィンドウを切り替えるか、アクティブウィンドウを切り替えることなく表示制御のみを行うか、という点で相違する。ここで、スマートフォン１は、ユーザの注視点に基づいて、変形例２に係る処理と変形例３に係る処理とを切り替えることで、これらの処理を併用することができる。
【０１０２】
例えば、スマートフォン１は、通常、アクティブでないウィンドウをユーザが見ている場合にアクティブウィンドウを切り替える、変形例２に係る処理を行うものとする。そして、スマートフォン１は、変形例３に係る処理に切り替える意図を推定した場合、変形例２に係る処理に係る処理から変形例３に係る処理に切り替える。即ち、スマートフォン１は、現在のアクティブウィンドウを継続してアクティブ化する。
【０１０３】
具体的には、推定部１２は、現在アクティブなウィンドウの所定領域に注視点が所定時間位置した場合に、当該ウィンドウを継続してアクティブ化することをユーザの意図として推定する。例えば、アクティブウィンドウのタイトルバー部分をユーザが数秒凝視した場合に、推定部１２は、そのアクティブウィンドウを継続してアクティブウィンドウとしておくことを、ユーザの意図として推定する。
【０１０４】
そして、編集制御部１５は、所定の指示があるまでそのウィンドウを継続してアクティブ化する。例えば、ユーザが再度アクティブウィンドウのタイトルバー部分を数秒凝視する、又は操作部４がアクティブウィンドウの選択指示を受け付けるまで、編集制御部１５は、そのアクティブウィンドウを継続してアクティブウィンドウとしておく。
【０１０５】
このため、ユーザがアクティブでないウィンドウを所定時間以上見ていたとしても、アクティブウィンドウが切り替わることが無い。また、スマートフォン１は、アクティブでないウィンドウの表示制御のみを行う、変形例３に係る処理を行うことができる。
【０１０６】
一方で、ユーザが再度アクティブウィンドウのタイトルバー部分を数秒凝視する、又は操作部４がアクティブウィンドウの選択指示を受け付けると、アクティブウィンドウの継続したアクティブ化が解除される。即ち、スマートフォン１は、アクティブでないウィンドウをユーザが見た場合にアクティブウィンドウを切り替える、変形例２に係る処理を行う。
【０１０７】
このようにして、スマートフォン１は、変形例２に係る処理と変形例３に係る処理とを併用することができる。
【０１０８】
（変形例４：ウィンドウの探索）
本変形例に係るスマートフォン１は、ウィンドウが他のウィンドウに重なって隠れている場合に、隠れたウィンドウの位置を移動させて、各ウィンドウの一部を識別可能に表示することができる。以下、図８を参照して、本変形例に係るスマートフォン１について説明する。
【０１０９】
図８は、変形例４に係るスマートフォン１の画面表示を説明するための図である。図８に示すように、表示部２はウィンドウ４５Ａ、４５Ｂ、４５Ｃを含む、マルチウィンドウシステムの画面を形成する表示画像２５−１を現在表示している。ここで、ウィンドウ４５Ａはアクティブウィンドウであり、最も手前側に表示されているが、ウィンドウ４５Ｂ、４５Ｃはウィンドウ４５Ａに重なって隠れているため、ユーザはウィンドウ４５Ｂ、４５Ｃを視認することができない。ウィンドウ４５Ｃに一部ウィンドウ４５Ａと重なっていない部分があるが、ユーザは何らかのウィンドウが一部見えることを認識するのみであって、その部分がウィンドウ４５Ｂの一部なのか、ウィンドウ４５Ｃの一部なのかを認識することは困難である。
【０１１０】
従って、ユーザは、アクティブウィンドウをウィンドウ４５Ａから他のウィンドウに切り替えようと考えた場合、操作部４によってウィンドウ４５Ａの位置を移動させて、隠れていたウィンドウ４５Ｂ、４５Ｃを表示部２に表示させる作業が必要になる。これに関し、本変形例に係るスマートフォン１は、このような作業を要することなく、注視点に基づいて隠れたウィンドウを識別可能に表示することができる。より詳しくは、推定部１２は、注視点の位置が分散する場合に、表示画像に含まれる複数のウィンドウから所望のウィンドウを探索していることをユーザの意図として推定する。そして、表示制御部１４は、表示画像において他のウィンドウに重なって隠れているウィンドウの一部を、ユーザに認識可能に表示するよう表示部２を制御する。以下では、図３で示したフローチャートに沿って、スマートフォン１が、隠れたウィンドウの位置を移動させて、各ウィンドウの一部を識別可能に表示する動作処理を説明する。
【０１１１】
まず、図３に示したように、ステップＳ１０４で、検出部１１は、図８に示す注視点３５を検出する。ここで、図８に示すように、注視点３５は、表示画像２５−１上を転々と移動しているものとする。
【０１１２】
次に、ステップＳ１０８で、推定部１２は、注視点３５に基づいてユーザの意図を推定する。例えば、注視点３５が、表示画像２５−１上を転々と移動していること、即ち注視点の位置が分散していることに基づき、推定部１２は、表示画像に含まれる複数のウィンドウから所望のウィンドウを探索していることをユーザの意図として推定する。
【０１１３】
次いで、ステップＳ１１２で、画像生成部１３は、所望のウィンドウを探索しているという意図に応じて、ウィンドウ４５Ｂ、４５Ｃの一部を識別可能に表示した画像２５−２を、最終表示画像として設定する。ここで、図８に示すように、画像２５−２は、ウィンドウ４５Ｂ、４５Ｃのタイトルバーを識別可能に表示するため、ユーザはタイトルバーから各ウィンドウの内容を認識することができる。
【０１１４】
そして、続くステップで、表示制御部１４は、表示部２が現在表示している表示画像２５−１から、最終表示画像２５−２に近づくよう１％ずつウィンドウ４５Ｂ、４５Ｃの位置が移動する変化画像を表示するよう、表示部２を制御する。
【０１１５】
以上、変形例４に係るスマートフォン１について説明した。
【０１１６】
＜３．まとめ＞
以上説明したように、本開示の一実施形態に係るスマートフォン１は、ユーザの注視点に基づいてユーザの意図を推定し、推定した意図に基づいて画面表示を暗示的に変えることができる。具体的には、スマートフォン１は、注視点の位置や動きに基づいて、ユーザが無意識に意図した通りに、テキスト部分の可読性の向上、スクロール、アクティブウィンドウの切り替え等を行うことができる。このとき、何ら手による操作を要することがない。従って、スマートフォン１は、ユーザの手による操作負担を削減しつつ、ユーザの意図に応じた画面表示を行うことで、ユーザの手による操作を補助することができる。
【０１１７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１８】
例えば、上記実施形態では、表示画像に含まれるテキスト部分の可読性を向上させるとしたが、本技術はかかる例に限定されない。例えば、表示画像に含まれる画像部分の視認性を向上させてもよい。画像生成部１３は、表示画像に含まれるテキスト部分以外の画像部分を拡大、輝度の向上等を行うことで、視認性を向上させてもよい。
【０１１９】
また、上記実施形態では、注視点に基づいてユーザの意図を推定するとしたが、本技術はかかる例に限定されない。例えば、推定部１２は、ユーザの目のまばたきや瞳孔の伸縮等に応じて、ユーザの意図を推定してもよい。
【０１２０】
また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述したスマートフォン１の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶した記憶媒体も提供される。
【０１２１】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示部に表示された表示画像に対するユーザの注視点を検出する検出部と、
前記検出部により検出された前記注視点に基づいて前記ユーザの意図を推定する推定部と、
前記推定部により推定された前記意図に応じた最終表示画像まで、前記表示画像から微小に変化する変化画像を生成する画像生成部と、
前記画像生成部により生成された前記変化画像を表示するよう前記表示部を制御する表示制御部と、
を備える情報処理装置。
（２）
前記変化画像は、前記表示画像における前記注視点から離れた範囲が変化する画像である、前記（１）に記載の情報処理装置。
（３）
前記変化画像は、前記表示画像における前記注視点に近い範囲が変化する画像である、前記（１）または（２）に記載の情報処理装置。
（４）
前記画像生成部は、前記変化画像を複数生成し、
前記表示制御部は、前記画像生成部により生成された複数の前記変化画像を所定の間隔で段階的に切り替えて表示するよう前記表示部を制御する、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記変化画像は、前記表示画像に含まれるテキスト部分の可読性を向上させる画像である、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記画像生成部は、解像度の向上、背景画像とのコントラストの向上、文字サイズの拡大、およびエッジの強調の少なくとも何れかにより前記表示画像に含まれるテキスト部分の可読性を向上させた前記変化画像を生成する、前記（５）に記載の情報処理装置。
（７）
前記推定部は、前記注視点の位置が変化する速度および方向に基づいて、前記ユーザが意図するスクロールの量および方向を推定する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記検出部は、前記表示画像に対する他のユーザの注視点を検出し、
前記推定部は、前記検出部により検出された前記他のユーザの注視点に基づいて前記他のユーザの意図を推定し、
前記画像生成部は、前記推定部により推定された前記他のユーザの意図に反した最終表示画像まで微小に変化する変化画像を生成する、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記表示画像はマルチウィンドウシステムの画面を形成する画像であり、
前記情報処理装置は、前記表示画像に含まれるウィンドウを編集可能領域としてアクティブ化するか否かを制御する編集制御部をさらに備え、
前記推定部は、前記表示画像に含まれる前記ウィンドウの位置および前記注視点に基づいて前記意図を推定し、
前記編集制御部は、前記推定部により推定された前記意図に応じて前記ウィンドウをアクティブ化するか否かを制御する、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記推定部は、前記ウィンドウに前記注視点が位置する場合に、当該ウィンドウをアクティブ化することを前記ユーザの意図として推定し、
前記編集制御部は、当該ウィンドウをアクティブ化する、前記（９）に記載の情報処理装置。
（１１）
前記推定部は、前記ウィンドウの所定領域に前記注視点が所定時間位置した場合に、当該ウィンドウを継続してアクティブ化することを前記ユーザの意図として推定し、
前記編集制御部は、所定の指示があるまで当該ウィンドウを継続してアクティブ化する、前記（９）または（１０）に記載の情報処理装置。
（１２）
前記推定部は、前記注視点の位置が分散する場合に、前記表示画像に含まれる複数のウィンドウから所望のウィンドウを探索していることを前記ユーザの意図として推定し、
前記表示制御部は、前記表示画像において他の前記ウィンドウに重なって隠れている前記ウィンドウの一部を、前記ユーザに認識可能に表示するよう前記表示部を制御する、前記（９）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記所定の間隔は、少なくとも０．１秒以上である、前記（４）に記載の情報処理装置。
（１４）
前記画像生成部が生成した複数の前記変化画像は、互いに１％ずつ異なる画像であり、
前記表示制御部は、複数の前記変化画像を前記所定の間隔で、現在表示している前記変化画像から１％変化した前記変化画像に切り替えるよう前記表示部を制御する、前記（４）に記載の情報処理装置。
（１５）
前記情報処理装置はスマートフォンである、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
コンピュータに、
表示部に表示された表示画像に対するユーザの注視点を検出するステップと、
検出された前記注視点に基づいて前記ユーザの意図を推定するステップと、
推定された前記意図に応じた最終表示画像まで、前記表示画像から微小に変化する変化画像を生成するステップと、
生成された前記変化画像を表示するよう前記表示部を制御するステップと、
を実行させるためのプログラムが記憶された記憶媒体。
【符号の説明】
【０１２２】
１    スマートフォン
１０  制御部
１１  検出部
１２  推定部
１３  画像生成部
１４  表示制御部
１５  編集制御部
２    表示部
３    撮像部
４    操作部
２０−１〜５、２１、２１Ａ〜Ｄ、２２−１〜３、２３−１〜２、２４−１〜２、２５−１〜２  画像
３０、３１、３２、３３、３４、３５  注視点
【図１】
2014157466.tif 000003
【図２】
2014157466.tif 000004
【図３】
2014157466.tif 000005
【図４】
2014157466.tif 000006
【図５】
2014157466.tif 000007
【図６】
2014157466.tif 000008
【図７】
2014157466.tif 000009
【図８】
2014157466.tif 000010