(57)【特許請求の範囲】
【請求項１】
入力操作をするための複数のオブジェクトを主面に表示する表示部と、
移動を検出する移動検出部と、
画像を取得する画像取得部と、
前記画像取得部により取得された画像に基づいて、前記複数のオブジェクトのいずれかに対応する利用者の視線位置を検出する視線位置検出部と、
前記複数のオブジェクトのうち、前記視線位置検出部により検出される第１の視線位置に表示されているオブジェクトを対象オブジェクトとして確定し、
前記表示部の主面に対して水平方向の移動が前記移動検出部により検出された場合には、当該水平方向の移動検出後に前記視線位置検出部により検出される視線位置を第２の視線位置として確定し、
前記第１の視線位置と前記第２の視線位置との間の距離が閾値以上である場合には、前記対象オブジェクトの表示位置を前記第２の視線位置に基づいて変更する制御部と
を有し、
前記制御部は、
前記対象オブジェクトの表示位置の変更が完了されるまでの間、前記対象オブジェクト以外のオブジェクトに対する操作を無効とする、
携帯端末。
【請求項２】
前記制御部は、前記移動検出部により検出される移動の加速度が所定の閾値以上である場合に、前記対象オブジェクトの表示位置を前記第２の視線位置に基づいて変更する請求項１に記載の携帯端末。
【請求項３】
前記制御部は、前記対象オブジェクトの表示位置を変更する場合、前記対象オブジェクト以外のオブジェクトの表示位置を、表示位置変更前の前記対象オブジェクトとの位置関係が維持されるように変更する請求項１または２に記載の携帯端末。
【請求項４】
前記制御部は、表示位置変更後の前記対象オブジェクトに対する所定の操作の検出を契機として、前記対象オブジェクト以外のオブジェクトの表示位置を、表示位置変更前の前記対象オブジェクトとの位置関係が維持されるように変更する請求項１または２に記載の携帯端末。
【請求項５】
入力操作をするための複数のオブジェクトを主面に表示する表示部と、
移動を検出する移動検出部と、
画像を取得する画像取得部と、
前記画像取得部により取得された画像に基づいて、前記複数のオブジェクトのいずれかに対応する利用者の視線位置を検出する視線位置検出部とを有する携帯端末に実行させる制御方法であって、
前記複数のオブジェクトのうち、前記視線位置検出部により検出される第１の視線位置に表示されているオブジェクトを対象オブジェクトとして確定するステップと、
前記表示部の主面に対して水平方向の移動が前記移動検出部により検出された場合には、当該水平方向の振動検出後に前記視線位置検出部により検出される視線位置を第２の視線位置として確定するステップと、
前記第１の視線位置と前記第２の視線位置との間の距離が閾値以上である場合には、前記対象オブジェクトの表示位置を前記第２の視線位置に基づいて変更するステップと、
前記対象オブジェクトの表示位置の変更が完了されるまでの間、前記対象オブジェクト以外のオブジェクトに対する操作を無効とするステップと
を含む制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、携帯端末及び制御方法に関する。
【背景技術】
【０００２】
従来、タッチスクリーンを備える電子機器では、タッチスクリーン上に表示されるインタフェースに対し、利用者が入力を誤ってしまう場合がある。このような問題に対して、タッチスクリーンに対して実際に感知されたタッチ入力点の位置の調整を行うことにより、データ入力の正確さを向上させる技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−９１３１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に開示の技術は、利用者の入力に関する特定の傾向に応じて、タッチ入力点の位置を調整するものであるので、誤入力が特定の傾向によらないものである場合、特に振動に起因する場合にはタッチ入力点の位置の調整が難しいという問題がある。
【０００５】
上記のことから、利用者の誤入力をできるだけ防止することができる携帯端末及び制御方法を提供する必要がある。
【課題を解決するための手段】
【０００６】
１つの態様に係る携帯端末は、入力操作をするための複数のオブジェクトを主面に表示する表示部と、移動を検出する移動検出部と、画像を取得する画像取得部と、前記画像取得部により取得された画像に基づいて、前記複数のオブジェクトのいずれかに対応する利用者の視線位置を検出する視線位置検出部と、前記複数のオブジェクトのうち、前記視線位置検出部により検出される第１の視線位置に表示されているオブジェクトを対象オブジェクトとして確定し、前記表示部の主面に対して水平方向の移動が前記移動検出部により検出された場合には、当該水平方向の移動検出後に前記視線位置検出部により検出される視線位置を第２の視線位置として確定し、前記第１の視線位置と前記第２の視線位置との間の距離が閾値の範囲内にある場合には、前記対象オブジェクトの表示位置を前記第２の視線位置に基づいて変更する制御部とを有する。
【０００７】
１つの態様に係る制御方法は、入力操作をするための複数のオブジェクトを主面に表示する表示部と、移動を検出する移動検出部と、画像を取得する画像取得部と、前記画像取得部により取得された画像に基づいて、前記複数のオブジェクトのいずれかに対応する利用者の視線位置を検出する視線位置検出部とを有する携帯端末に実行させる制御方法であって、前記複数のオブジェクトのうち、前記視線位置検出部により検出される第１の視線位置に表示されているオブジェクトを対象オブジェクトとして確定するステップと、前記表示部の主面に対して水平方向の移動が前記移動検出部により検出された場合には、当該水平方向の振動検出後に前記視線位置検出部により検出される視線位置を第２の視線位置として確定するステップと、前記第１の視線位置と前記第２の視線位置との間の距離が閾値以上である場合には、前記対象オブジェクトの表示位置を前記第２の視線位置に基づいて変更するステップとを含む。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態１に係るスマートフォンの機能構成を示すブロック図である。
【図２】図２は、実施形態１に係るスマートフォン１により実行される処理の例を説明するための図である。
【図３】図３は、実施形態１に係るスマートフォン１により実行される処理の例を説明するための図である。
【図４】図４は、実施形態１に係るスマートフォン１により実行される処理の例を説明するための図である。
【図５】図５は、実施形態１に係るスマートフォン１により実行される処理の例を説明するための図である。
【図６】図６は、実施形態１に係るスマートフォン１により実行される処理の例を説明するための図である。
【図７】図７は、実施形態１に係るスマートフォン１による処理の流れを示すフローチャートである。
【図８】図８は、実施形態１に係るスマートフォン１による処理の流れを示すフローチャートである。
【図９】図９は、実施形態２に係るスマートフォン１により実行される処理の例を説明するための図である。
【図１０】図１０は、実施形態２に係るスマートフォン１により実行される処理の例を説明するための図である。
【図１１】図１１は、その他の実施形態の処理を説明するための図である。
【発明を実施するための形態】
【０００９】
本出願に係る携帯端末及び制御方法を実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。以下では、携帯端末の一例として、スマートフォンを取り上げて説明する。
【００１０】
（実施形態１）
図１を参照しつつ、実施形態１に係るスマートフォン１の機能構成の一例を説明する。図１は、実施形態１に係るスマートフォンの機能構成を示すブロック図である。以下の説明においては、同様の構成要素に同一の符号を付すことがある。さらに、重複する説明は省略することがある。
【００１１】
図１に示すように、スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、レシーバ７と、マイク８と、ストレージ９と、コントローラ１０と、スピーカ１１と、カメラ１２と、赤外線照射部１３と、コネクタ１４と、加速度センサ１５と、方位センサ１６とを備える。
【００１２】
タッチスクリーンディスプレイ２は、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。ディスプレイ２Ａ及びタッチスクリーン２Ｂは、例えば、重ねて配置されてもよいし、並べて配置されてもよいし、離して配置されてもよい。ディスプレイ２Ａとタッチスクリーン２Ｂとが重ねて配置される場合、例えば、ディスプレイ２Ａの１ないし複数の辺がタッチスクリーン２Ｂのいずれの辺とも沿っていなくてもよい。タッチスクリーンディスプレイ２は、表示部の一例である。
【００１３】
ディスプレイ２Ａは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）、又は無機ＥＬディスプレイ（ＩＥＬＤ：Ｉｎｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）等の表示デバイスを備える。ディスプレイ２Ａは、文字、画像、記号、及び図形等を表示する。ディスプレイ２Ａが表示する文字、画像、記号、及び図形等を含む画面には、ロック画面と呼ばれる画面、ホーム画面と呼ばれる画面、アプリケーションの実行中に表示されるアプリケーション画面が含まれる。ホーム画面は、デスクトップ、待受画面、アイドル画面、標準画面、アプリ一覧画面又はランチャー画面と呼ばれることもある。ディスプレイ２Ａは、複数のオブジェクトを表示する。オブジェクトには、アプリケーション等のユーザーインターフェースオブジェクト（アイコン）やソフトキー等、入力操作の対象となるオブジェクトが含まれる。
【００１４】
タッチスクリーン２Ｂは、タッチスクリーン２Ｂに対する指、ペン、又はスタイラスペン等の接触を検出する。タッチスクリーン２Ｂは、複数の指、ペン、又はスタイラスペン等（以下、単に「指」という）がタッチスクリーン２Ｂ（タッチスクリーンディスプレイ２）に接触したときのタッチスクリーン２Ｂ上の位置（以下、接触位置と表記する）を検出することができる。タッチスクリーン２Ｂは、タッチスクリーン２Ｂに対する指の接触を、接触位置とともにコントローラ１０に通知する。タッチスクリーン２Ｂは、接触位置検出部の一例である。
【００１５】
タッチスクリーン２Ｂの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はスマートフォン１を操作するために指を用いてタッチスクリーン２Ｂに接触するものと想定する。
【００１６】
コントローラ１０（スマートフォン１）は、タッチスクリーン２Ｂにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、及び接触が検出された回数の少なくとも１つに基づいて、ジェスチャの種別を判別する。ジェスチャは、指を用いて、タッチスクリーン２Ｂ（タッチスクリーンディスプレイ２）に対して行われる操作である。コントローラ１０（スマートフォン１）が、タッチスクリーン２Ｂを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。
【００１７】
ボタン３は、利用者からの操作入力を受け付ける。ボタン３の数は、単数であっても、複数であってもよい。
【００１８】
照度センサ４は、照度を検出する。照度は、照度センサ４の測定面の単位面積に入射する光束の値である。照度センサ４は、例えば、ディスプレイ２Ａの輝度の調整に用いられる。
【００１９】
近接センサ５は、近隣の物体の存在を非接触で検出する。近接センサ５は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ５は、例えば、ディスプレイ２Ａが顔に近づけられたことを検出する。照度センサ４及び近接センサ５は、１つのセンサとして構成されていてもよい。照度センサ４は、近接センサとして用いられてもよい。
【００２０】
通信ユニット６は、無線により通信する。通信ユニット６によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格と、近距離無線の通信規格がある。セルラーフォンの通信規格としては、例えば、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ  Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍ）等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ  Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしていてもよい。
【００２１】
レシーバ７は、音出力部である。レシーバ７は、コントローラ１０から送信される音信号を音として出力する。レシーバ７は、例えば、通話時に相手の声を出力するために用いられる。マイク８は、音入力部である。マイク８は、利用者の音声等を音信号へ変換してコントローラ１０へ送信する。
【００２２】
ストレージ９は、プログラム及びデータを記憶する。ストレージ９は、コントローラ１０の処理結果を一時的に記憶する作業領域としても利用される。ストレージ９は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。ストレージ９は、複数の種類の記憶媒体を含んでよい。ストレージ９は、メモリカード、光ディスク、又は光磁気ディスク等の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ９は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
【００２３】
ストレージ９に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラム（図示略）とが含まれる。フォアグランドで実行されるアプリケーションは、例えば、ディスプレイ２Ａに画面が表示される。制御プログラムには、例えば、ＯＳが含まれる。アプリケーション及び基本プログラムは、通信ユニット６による無線通信又は非一過的な記憶媒体を介してストレージ９にインストールされてもよい。
【００２４】
ストレージ９は、視線位置検出プログラム９Ａ、表示位置調整プログラム９Ｂ、電話アプリケーション９Ｃ、設定データ９Ｚなどを記憶する。
【００２５】
視線位置検出プログラム９Ａは、タッチスクリーンディスプレイ２に対する利用者の視線位置を検出するための機能を提供する。なお、視線位置は、利用者の眼球内にある瞳孔の中心位置を起点として直線的に延伸する視線がタッチスクリーンディスプレイ２と交差するときのタッチスクリーンディスプレイ２上の位置に該当する。
【００２６】
視線位置検出プログラム９Ａは、例えば、利用者の画像に対して角膜反射法に基づくアルゴリズムを適用することにより、上記視線位置を検出する。具体的には、視線位置検出プログラム９Ａは、利用者の画像を取得する際に、赤外線照射部１３から赤外線を照射させる。視線位置検出プログラム９Ａは、取得した利用者の画像から、瞳孔の位置と赤外線の角膜反射の位置をそれぞれ特定する。視線位置検出プログラム９Ａは、瞳孔の位置と赤外線の角膜反射の位置の位置関係に基づいて、利用者の視線の方向を特定する。視線位置検出プログラム９Ａは、瞳孔の位置が角膜反射の位置よりも目尻側にあれば、視線の方向は目尻側であると判定し、瞳孔の位置が角膜反射の位置よりも目頭側にあれば、視線の方向は目頭側であると判定する。視線位置検出プログラム９Ａは、例えば、虹彩の大きさに基づいて、利用者の眼球とタッチスクリーンディスプレイ２との距離を算出する。視線位置検出プログラム９Ａは、利用者の視線の方向と、利用者の眼球とタッチスクリーンディスプレイ２との距離とに基づいて、利用者の眼球内にある瞳孔の中心位置から、瞳孔を起点とする視線がタッチスクリーンディスプレイ２と交差するときのタッチスクリーンディスプレイ２上の位置である視線位置を検出する。
【００２７】
上記の例では、視線位置検出プログラム９Ａが、角膜反射法を利用した処理を実行することにより、利用者の視線位置を検出する場合を説明したが、この例には限られない。例えば、視線位置検出プログラム９Ａが、利用者の画像について画像認識処理を実行することにより、上記視線位置を検出するようにしてもよい。例えば、視線位置検出プログラム９Ａは、利用者の画像から、利用者の眼球を含む所定の領域を抽出し、目頭と虹彩との位置関係に基づいて視線方向を特定し、特定した視線方向と、利用者の眼球からタッチスクリーンディスプレイ２までの距離とに基づいて上記視線位置を検出する。あるいは、視線位置検出プログラム９Ａは、利用者がタッチスクリーンディスプレイ２上の表示領域各所を閲覧しているときの複数の眼球の画像を参照画像としてそれぞれ蓄積しておき、参照画像と、判定対象として取得される利用者の眼球の画像とを照合することにより、上記視線位置を検出する。視線位置検出プログラム９Ａは、視線位置検出部の一例である。
【００２８】
表示位置調整プログラム９Ｂは、タッチスクリーンディスプレイ２に表示されるオブジェクトの表示位置を、上記視線位置検出プログラム９Ａにより検出される視線位置に基づいて変更するための機能を提供する。具体的には、表示位置調整プログラム９Ｂは、次の各処理を実行する。すなわち、表示位置調整プログラム９Ｂは、タッチスクリーンディスプレイ２に表示される複数のオブジェクトのうち、視線位置検出プログラム９Ａにより検出される第１の視線位置に表示されているオブジェクトを対象オブジェクトとして確定する。表示位置調整プログラム９Ｂは、タッチスクリーンディスプレイ２の主面に対して水平方向の移動が加速度センサ１５により検出された場合には、当該水平方向の移動検出後に視線位置検出プログラム９Ａにより検出される視線位置を第２の視線位置として確定する。表示位置調整プログラム９Ｂは、第１の視線位置と第２の視線位置との間の距離が閾値以上である場合には、対象オブジェクトの表示位置を第２の視線位置に基づいて変更する。
【００２９】
表示位置調整プログラム９Ｂは、加速度センサ１５により検出される移動の加速度が閾値以上である場合に、対象オブジェクトの表示位置を第２の視線位置に基づいて変更するための機能をさらに提供してもよい。
【００３０】
電話アプリケーション９Ｃは、無線通信による通話のための通話機能を提供する。電話アプリケーション９Ｃにより提供される機能には、通話を実行するための画面をタッチスクリーンディスプレイ２に表示する機能が含まれる。
【００３１】
設定データ９Ｚは、制御プログラム、視線位置検出プログラム９Ａ及び表示位置調整プログラム９Ｂによる機能に基づいて実行される処理に用いられる各種データを含んで構成される。設定データ９Ｚは、例えば、利用者の眼球に関する各種データを含んでよい。設定データ９Ｚは、例えば、第１の視線位置と前記第２の視線位置との間の距離を判定するための閾値の情報、移動の加速度を判定するための閾値などを含んでよい。
【００３２】
コントローラ１０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、およびコプロセッサを含むが、これらに限定されない。コントローラ１０は、スマートフォン１の動作を統括的に制御して各種の機能を実現する。コントローラ１０は、制御部の一例である。
【００３３】
具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ２Ａ、通信ユニット６、マイク８、スピーカ１１、及び赤外線照射部１３を含むが、これらに限定されない。コントローラ１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン２Ｂ、ボタン３、照度センサ４、近接センサ５、マイク８、カメラ１２、加速度センサ１５、及び方位センサ１６を含むが、これらに限定されない。
【００３４】
コントローラ１０は、視線位置検出プログラム９Ａを実行することにより、上記視線位置を検出する処理を実行する。コントローラ１０は、表示位置調整プログラム９Ｂを実行することにより、次の処理を実行する。すなわち、コントローラ１０は、タッチスクリーンディスプレイ２に表示される複数のオブジェクトのうち、第１の視線位置に表示されているオブジェクトを対象オブジェクトとして確定する。コントローラ１０は、タッチスクリーンディスプレイ２の主面に対して水平方向の移動が加速度センサ１５により検出された場合には、当該水平方向の移動検出後に検出される視線位置を第２の視線位置として確定する。コントローラ１０は、第１の視線位置と第２の視線位置との間の距離が閾値以上である場合には、対象オブジェクトの表示位置を第２の視線位置に基づいて変更する。
【００３５】
以下、図２〜図６を用いて、実施形態１に係るスマートフォン１により実行される処理の例を説明する。図２〜図６は、実施形態１に係るスマートフォン１により実行される処理の例を説明するための図である。
【００３６】
図２〜図６に示す処理は、スマートフォン１の水平方向への移動の前後で、利用者からタッチスクリーンディスプレイ２に対して向けられる視線方向に変更がないという状況下で実行される。図２〜図６に示す処理は、利用者の視線方向の延長線上にあるオブジェクトがタッチスクリーンディスプレイ２上に表示されている表示位置を、スマートフォン１の水平方向への移動の前後で利用者の視線方向から外れないように調整する処理の実現を目的とする。
【００３７】
図２に示すように、スマートフォン１は、視線位置の検出を実行し、第１の視線位置ＶＰ１を検出する。そして、スマートフォン１は、第１の視線位置ＶＰ１に表示されているオブジェクトＴ１を対象オブジェクトとして確定する（ステップＳ１１）。
【００３８】
続いて、スマートフォン１は、タッチスクリーンディスプレイ２の主面に対して水平方向ｄ１への移動を検出した場合には、水平方向の移動検出後に検出する視線位置ＶＰ２を第２の視線位置として確定する（ステップＳ１２ａ）。続いて、スマートフォン１は、第１の視線位置ＶＰ１と第２の視線位置ＶＰ２との距離が閾値以上である場合には、対象オブジェクトであるオブジェクトＴ１の表示位置を、第２の視線位置ＶＰ２に基づいて変更する（ステップＳ１２ａ）。
【００３９】
図３には、図２に示すステップＳ１１〜ステップＳ１２ａに対応する視線位置の変化を示す。利用者からタッチスクリーンディスプレイ２に対して向けられる視線方向に変更がない状態で、スマートフォン１が水平方向ｄ１へ移動された場合、利用者の視線方向に変更がなくても、スマートフォン１により検出される視線位置は移動の前後で変化する。すなわち、図３に示すように、例えば、移動距離Ｌの分だけ第１の視線位置ＶＰ１が移動することになる。その結果、図３に示すように、スマートフォン１により検出される視線位置は、第２の視線位置ＶＰ２となる。よって、スマートフォン１は、第２の視線位置ＶＰ２に基づいてオブジェクトＴ１の表示位置を変更することにより、利用者の視線方向から外さないように、オブジェクトの表示位置を調整する処理を実現する。
【００４０】
上述の通り、スマートフォン１は、利用者からタッチスクリーンディスプレイ２に対して向けられる視線方向に変更がないという状況下でスマートフォン１の移動が行われることにより、タッチスクリーンディスプレイ２上で検出される視線位置に変更が生じた場合（第１の視線位置ＶＰ１と第２の視線位置ＶＰ２との距離が閾値以上である場合）には、対象オブジェクトの表示位置を、スマートフォン１の水平方向への移動の前後で利用者の視線方向から外れないように調整する。これとは反対に、スマートフォン１の移動による対象オブジェクトの移動に伴って、例えば、利用者の視線方向が対象オブジェクトを追従する方向に移動するなど、利用者の視線方向に移動が発生した場合（第１の視線位置ＶＰ１と第２の視線位置ＶＰ２との距離が閾値未満である場合）には、対象オブジェクトの表示位置の調整を行わない。このようにして、スマートフォン１は、対象オブジェクトの表示位置を、スマートフォン１の水平方向への移動の前後で利用者の視線方向から外れないように調整するという目的を担保する。
【００４１】
例えば、乗り物に乗車中、あるいは工事現場など、スマートフォンに対して振動が作用しやすい環境下では、スマートフォン１の操作中に利用者の意図しない移動がスマートフォン１に発生することが予想される。このような状況に対して、スマートフォン１は、対象オブジェクトの表示位置を変更することにより、スマートフォン１の移動による対象オブジェクトの移動を相殺する。このため、スマートフォン１は、対象オブジェクト（ソフトウェアキーなど）に対する利用者の誤入力を低減できる。また、利用者は、スマートフォン１に移動が発生する度に、対象オブジェクト（ソフトウェアキーなど）へ視線を追従させることが不要なので、眼の疲労を軽減させる効果も考えられる。
【００４２】
上記ステップＳ１１〜ステップＳ１２ａと同様にして、スマートフォン１は、タッチスクリーンディスプレイ２の主面に対して水平方向ｄ２への移動を検出した場合には、水平方向の移動検出後に検出する視線位置ＶＰ３を第２の視線位置として確定する（ステップＳ１１〜ステップＳ１２ｂ）。続いて、スマートフォン１は、第１の視線位置ＶＰ１と第２の視線位置ＶＰ３との距離が閾値以上である場合には、対象オブジェクトであるオブジェクトＴ１の表示位置を、第２の視線位置ＶＰ３に基づいて変更する（ステップＳ１２ｂ）。
【００４３】
図４は、図２に示す例とは異なる方向にスマートフォン１が移動した場合の処理の例を示す。図４に示すように、スマートフォン１は、視線位置の検出を実行し、第１の視線位置ＶＰ４を検出する。そして、スマートフォン１は、第１の視線位置ＶＰ４に表示されているオブジェクトＴ１を対象オブジェクトとして確定する（ステップＳ２１）。
【００４４】
続いて、スマートフォン１は、タッチスクリーンディスプレイ２の主面に対して水平方向ｄ３への移動を検出した場合には、水平方向の移動検出後に検出する視線位置ＶＰ５を第２の視線位置として確定する（ステップＳ２２ａ）。続いて、スマートフォン１は、第１の視線位置ＶＰ４と第２の視線位置ＶＰ５との距離が閾値以上である場合には、対象オブジェクトであるオブジェクトＴ１の表示位置を、第２の視線位置ＶＰ５に基づいて変更する（ステップＳ２２ａ）。
【００４５】
上記ステップＳ２１〜ステップＳ２２ａと同様にして、スマートフォン１は、タッチスクリーンディスプレイ２の主面に対して水平方向ｄ４への移動を検出した場合には、水平方向の移動検出後に検出する視線位置ＶＰ６を第２の視線位置として確定する（ステップＳ２１〜ステップＳ２２ｂ）。続いて、スマートフォン１は、第１の視線位置ＶＰ４と第２の視線位置ＶＰ６との距離が閾値以上である場合には、対象オブジェクトであるオブジェクトＴ１の表示位置を、第２の視線位置ＶＰ６に基づいて変更する（ステップＳ２２ｂ）。
【００４６】
図５及び図６は、オブジェクトをより具体的にした処理の例を示す。図５及び図６は、タッチスクリーンディスプレイ２に電話アプリケーションの画面５０が表示される例を示す。画面５０には、利用者が入力操作するためのオブジェクトとして複数のキーが表示される。図５及び図６に示す処理を実現するために、画面５０に含まれる複数のオブジェクトの中から、対象オブジェクトとなるオブジェクトの複製を生成して画面５０上に表示させる処理を実現するための機能がスマートフォン１に予め実装されていてよい。図５及び図６に示す例に限られず、画面５０に含まれる複数のオブジェクトの中から、対象オブジェクト（例えば、キーの１つ）を実際に分離して画面５０上に表示させる処理を実現するための機能がスマートフォン１に予め実装されていてよい。
【００４７】
図５に示すように、スマートフォン１は、視線位置の検出を実行し、第１の視線位置ＶＰ７を検出する。そして、スマートフォン１は、第１の視線位置ＶＰ７に表示されているオブジェクトＴ２を対象オブジェクトとして確定する（ステップＳ３１）。
【００４８】
続いて、スマートフォン１は、タッチスクリーンディスプレイ２の主面に対して水平方向ｄ１への移動を検出した場合には、水平方向の移動検出後に検出する視線位置ＶＰ８を第２の視線位置として確定する（ステップＳ３２）。続いて、スマートフォン１は、対象オブジェクトであるオブジェクトＴ２の表示位置を、第２の視線位置ＶＰ８に基づいて変更する（ステップＳ３２）。
【００４９】
一方、図６に示すように、スマートフォン１は、水平方向への移動を検出する前に、視線位置の検出を実行し、その結果、第１の視線位置ＶＰ７を検出する。そして、スマートフォン１は、第１の視線位置ＶＰ７に表示されているオブジェクトＴ２を対象オブジェクトとして確定する（ステップＳ４１）。
【００５０】
続いて、スマートフォン１は、タッチスクリーンディスプレイ２の主面に対して水平方向ｄ２への移動を検出した場合には、水平方向の移動検出後に検出する視線位置ＶＰ９を第２の視線位置として確定する（ステップＳ４２）。続いて、スマートフォン１は、対象オブジェクトであるオブジェクトＴ２の表示位置を、第２の視線位置ＶＰ９に基づいて変更する（ステップＳ４２）。
【００５１】
スマートフォン１は、例えば、図５に示すように、第１の視線位置ＶＰ７と第２の視線位置ＶＰ８との距離が閾値以上である場合には、画面５０に表示される数字「３」のキー（オブジェクト）の表示位置を、スマートフォン１の水平方向への移動の前後で利用者の視線方向から外れないように調整する。図５及び図６に示す例では、対象オブジェクトとなるオブジェクトの複製が画面５０上に表示される場合を示すが、この例に限られず、例えば、画面５０に含まれる複数のオブジェクトの中から、対象オブジェクトとなる１部のオブジェクトが実際に分離されて画面５０上に表示されるようにしてもよい。
【００５２】
図７を参照しつつ、実施形態１に係るスマートフォン１による処理の流れを説明する。図７は、実施形態１に係るスマートフォン１による処理の流れを示すフローチャートである。図７に示す処理は、コントローラ１０が、ストレージ９に記憶されている視線位置検出プログラム９Ａ、及び表示位置調整プログラム９Ｂなどを実行することにより実現される。
【００５３】
スピーカ１１は、音出力部である。スピーカ１１は、コントローラ１０から送信される音信号を音として出力する。スピーカ１１は、例えば、着信音及び音楽を出力するために用いられる。レシーバ７及びスピーカ１１の一方が、他方の機能を兼ねてもよい。
【００５４】
カメラ１２は、撮影した画像を電気信号へ変換する。カメラ１２は、ディスプレイ２Ａに面している物体を撮影するインカメラである。カメラ１２は、例えば、タッチスクリーンディスプレイ２に視線を向ける利用者の眼球の画像を撮影する。カメラ１２は、インカメラ及びアウトカメラを切り換えて利用可能なカメラユニットとしてスマートフォン１に実装されてもよい。カメラ１２は、画像取得部の一例である。赤外線照射部１３は、カメラ１２により実行される撮影に同期して、赤外線を照射する。
【００５５】
コネクタ１４は、他の装置が接続される端子である。コネクタ１４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）、ライトピーク（サンダーボルト（登録商標））、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ１４は、Ｄｏｃｋコネクタのような専用の端子でもよい。コネクタ１４に接続される装置は、例えば、外部ストレージ、スピーカ、及び通信装置を含むが、これらに限定されない。
【００５６】
加速度センサ１５は、スマートフォン１に作用する加速度の方向及び大きさを検出する。加速度センサ１５は、例えば、加速度の方向に基づき、タッチスクリーンディスプレイ２の主面（画像表示面）に対して水平方向の移動を検出する。加速度センサ１５は、移動検出部の一例である。方位センサ１６は、例えば、地磁気の向きを検出し、地磁気の向きに基づいて、スマートフォン１の向き（方位）を検出する。
【００５７】
スマートフォン１は、上記の各機能部の他、ＧＰＳ受信機、及びバイブレータを備えてもよい。ＧＰＳ受信機は、ＧＰＳ衛星からの所定の周波数帯の電波信号を受信し、受信した電波信号の復調処理を行って、処理後の信号をコントローラ１０に送出する。バイブレータは、スマートフォン１の一部又は全体を振動させる。バイブレータは、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。図１には示していないが、バッテリなど、スマートフォン１の機能を維持するために当然に用いられる機能部はスマートフォン１に実装される。
【００５８】
図７及び図８を参照しつつ、実施形態１に係るスマートフォン１による処理の流れを説明する。図７及び図８は、実施形態１に係るスマートフォン１による処理の流れを示すフローチャートである。図７及び図８に示す処理は、コントローラ１０が、ストレージ９に記憶されている視線位置検出プログラム９Ａ、及び表示位置調整プログラム９Ｂなどを実行することにより実現される。
【００５９】
図７に示すように、コントローラ１０は、検出した第１の視線位置に基づいて、対象オブジェクトとして確定する（ステップＳ１０１）。
【００６０】
続いて、コントローラ１０は、表示部（タッチスクリーンディスプレイ２）の主面に対して水平方向の移動が検出されたかを判定する（ステップＳ１０２）。
【００６１】
コントローラ１０は、判定の結果、表示部の主面に対して水平方向への移動が検出されない場合には（ステップＳ１０２，Ｎｏ）、ステップＳ１０２の判定を繰り返す。
【００６２】
一方、コントローラ１０は、判定の結果、表示部の主面に対して水平方向への移動が検出された場合には（ステップＳ１０２，Ｙｅｓ）、当該水平方向の移動検出後に検出された視線位置を第２の視線位置として確定する（ステップＳ１０３）。
【００６３】
続いて、コントローラ１０は、上記第１の視線位置と上記第２の視線位置との間の距離が閾値以上であるかを判定する（ステップＳ１０４）。
【００６４】
コントローラ１０は、判定の結果、上記第１の視線位置と上記第２の視線位置との間の距離が閾値以上である場合には（ステップＳ１０４，Ｙｅｓ）、対象オブジェクトの表示位置を上記第２の視線位置に基づいて変更し（ステップＳ１０５）、図７に示す処理を終了する。
【００６５】
一方、コントローラ１０は、判定の結果、上記第１の視線位置と上記第２の視線位置との間の距離が閾値以上ではない場合には（ステップＳ１０４，Ｎｏ）、図７に示す処理を終了する。
【００６６】
図７に示す処理において、スマートフォン１は、検出される移動の加速度が閾値以上である場合に、対象オブジェクトの表示位置を変更してもよい。以下、図８を用いて、この場合のスマートフォン１による処理の流れを説明する。図８に示す処理は、ステップＳ２０３の処理手順が、図７に示す処理とは異なる。
【００６７】
図８に示すように、コントローラ１０は、検出した第１の視線位置に基づいて、対象オブジェクトとして確定する（ステップＳ２０１）。
【００６８】
続いて、コントローラ１０は、表示部（タッチスクリーンディスプレイ２）の主面に対して水平方向の移動が検出されたかを判定する（ステップＳ２０２）。
【００６９】
コントローラ１０は、判定の結果、表示部の主面に対して水平方向の移動が検出されない場合には（ステップＳ２０２，Ｎｏ）、ステップＳ２０２の判定を繰り返す。
【００７０】
一方、コントローラ１０は、判定の結果、表示部の主面に対して水平方向への移動が検出された場合には（ステップＳ２０２，Ｙｅｓ）、当該水平方向への移動の加速度が閾値以上であるかを判定する（ステップＳ２０３）。
【００７１】
コントローラ１０は、判定の結果、当該水平方向への移動の加速度が閾値以上である場合には（ステップＳ２０３，Ｙｅｓ）、当該水平方向の移動検出後に検出された視線位置を第２の視線位置として確定する（ステップＳ２０４）。
【００７２】
続いて、コントローラ１０は、上記第１の視線位置と上記第２の視線位置との間の距離が閾値以上であるかを判定する（ステップＳ２０５）。
【００７３】
コントローラ１０は、判定の結果、上記第１の視線位置と上記第２の視線位置との間の距離が閾値以上である場合には（ステップＳ２０５，Ｙｅｓ）、対象オブジェクトの表示位置を上記第２の視線位置に基づいて変更し（ステップＳ２０６）、図８に示す処理を終了する。
【００７４】
一方、コントローラ１０は、判定の結果、上記第１の視線位置と上記第２の視線位置との間の距離が閾値以上ではない場合には（ステップＳ２０５，Ｎｏ）、図７に示す処理を終了する。
【００７５】
上記ステップＳ２０３において、コントローラ１０は、判定の結果、当該水平方向への移動の加速度が閾値以上ではない場合には（ステップＳ２０３，Ｎｏ）、図７に示す処理を終了する。
【００７６】
図８に示す処理において、移動の加速度が閾値以上であるかを判定することにより、利用者の意図した移動であるかどうかを判定することできる。
【００７７】
（実施形態２）
上記の実施形態１において、タッチスクリーンディスプレイ２に表示される対象オブジェクト以外のオブジェクトの表示位置を、対象オブジェクトの表示位置の変更に伴って調整してもよい。以下、図９及び図１０を用いて、この場合のスマートフォン１による処理の例について説明する。図９及び図１０は、実施形態２に係るスマートフォン１により実行される処理の例を説明するための図である。図９及び図１０に示す例では、画面５０に含まれる複数のキー（オブジェクト）のうち、対象オブジェクトが数字「３」のキーに該当し、数字「３」以外の残りの各キーが対象オブジェクト以外のオブジェクトに該当する。
【００７８】
図９は、対象オブジェクトの表示位置の変更と同時に、対象オブジェクト以外のオブジェクトの表示位置を変更する場合の処理の例を示す。
【００７９】
図９に示すように、スマートフォン１は、視線位置の検出を実行し、第１の視線位置ＶＰ７を検出する。そして、スマートフォン１は、第１の視線位置ＶＰ７に表示されているオブジェクトＴ２を対象オブジェクトとして確定する（ステップＳ５１）。
【００８０】
続いて、スマートフォン１は、タッチスクリーンディスプレイ２の主面に対して水平方向ｄ１への移動を検出した場合には、水平方向の移動検出後に検出する視線位置ＶＰ８を第２の視線位置として確定する（ステップＳ５２）。続いて、スマートフォン１は、第１の視線位置ＶＰ７と第２の視線位置ＶＰ８との距離が閾値以上である場合には、対象オブジェクトであるオブジェクトＴ２の表示位置を、第２の視線位置ＶＰ８に基づいて変更する（ステップＳ５２）。対象オブジェクトＴ２の表示位置を変更する場合、スマートフォン１は、対象オブジェクトＴ２以外のオブジェクトＴ３（残りの各キー）の表示位置を、表示位置変更前の対象オブジェクトＴ２との位置関係が維持されるように変更する（ステップＳ５２）。
【００８１】
スマートフォン１は、対象オブジェクト以外のオブジェクトの表示位置を変更するので、例えば、キー操作のように、複数のオブジェクトを経由する一連の操作が滞りなく行われるように担保できる。
【００８２】
図１０は、表示位置変更後の対象オブジェクトに対する所定の操作の検出を契機として、対象オブジェクト以外のオブジェクトの表示位置を変更する場合の処理の例を示す。図１０に示す処理を実現するために、画面５０に含まれる複数のオブジェクトの中から、対象オブジェクトの複製を画面５０から分離されたように表示させる処理、及び対象オブジェクトの複製に対する操作を受付可能な状態とする処理を実現させるための機能がスマートフォン１に予め実装されていてよい。
【００８３】
図１０に示すように、スマートフォン１は、視線位置の検出を実行し、第１の視線位置ＶＰ７を検出する。そして、スマートフォン１は、第１の視線位置ＶＰ７に表示されているオブジェクトＴ２を対象オブジェクトとして確定する（ステップＳ６１）。
【００８４】
続いて、スマートフォン１は、タッチスクリーンディスプレイ２の主面に対して水平方向ｄ１への移動を検出した場合には、水平方向の移動検出後に検出する視線位置ＶＰ８を第２の視線位置として確定する（ステップＳ６２）。続いて、スマートフォン１は、第１の視線位置ＶＰ７と第２の視線位置ＶＰ８との距離が閾値以上である場合には、対象オブジェクトであるオブジェクトＴ２の表示位置を、第２の視線位置ＶＰ８に基づいて変更する（ステップＳ６２）。
【００８５】
続いて、スマートフォン１は、表示位置変更後の対象オブジェクトＴ２に対する所定の操作を検出した場合には、当該操作を契機として、対象オブジェクトＴ２以外のオブジェクトＴ３（残りの各キー）の表示位置を、表示位置変更前の対象オブジェクトＴ２との位置関係が維持されるように変更する（ステップＳ６３〜ステップＳ６４）。
【００８６】
スマートフォン１は、図１０に示すように、対象オブジェクト以外のオブジェクトの表示位置を変更するので、対象オブジェクトに対する誤入力を防止しつつ、例えば、キー操作のように、対象オブジェクトに対する操作後に複数のオブジェクトを経由する一連の操作が滞りなく行われるように担保できる。
【００８７】
図１０に示す例において、スマートフォン１は、対象オブジェクトであるオブジェクトＴ２の表示位置の変更が完了されるまでの間、対象オブジェクト以外のオブジェクトに対する操作が無効となるように制御してもよい。図１０に示す例では、対象オブジェクトとなるオブジェクトの複製が画面５０上に表示される場合を示すが、この例に限られず、例えば、画面５０に含まれる複数のオブジェクトの中から、対象オブジェクトとなる１部のオブジェクトが実際に分離されて画面５０上に表示されるようにしてもよい。
【００８８】
（その他の実施形態）
上記の実施形態１及び実施形態２では、スマートフォン１の移動の前後において、利用者の視線方向が移動しないこと（すなわち眼の動きが固定されていること）を前提とする処理について説明してきた。この処理を実行するモードは、比較的周期が短く、振幅が小さい振動（すなわち人の目が追従できないような振動）の環境下で使用されることが多い。一方、比較的振幅が大きい振動の環境下では、対象オブジェクトがタッチスクリーンディスプレイ２の範囲から外れてしまう可能性が高くなる。また、比較的周期が長い振動の環境下では、スマートフォン１（の対象オブジェクト）の移動に追従して、利用者の視線方向も移動できるようになる。このように比較的振幅が大きい環境下、または、比較的周期が長い振動の環境下においては、対象オブジェクトの位置を第２の視線位置に追従させる処理を実行するモードにすればよい。
【００８９】
図１１は、上述したその他の実施形態の処理を説明するための図である。例えば、図１１に示すように、スマートフォン１がタッチスクリーンディスプレイ２の主面に対して水平方向ｄ１へ移動する前後で、第１の視線位置ＶＰ１と第２の視線位置ＶＰ１０との距離に閾値以上の開きがある場合、スマートフォン１は、第２の視線位置ＶＰ１０に追従させて対象オブジェクトＴ１の表示位置を変更する（ステップＳ７１〜ステップＳ７２ａ）。ここで、第２の視線位置ＶＰ１０は、タッチスクリーンディスプレイ２の左方向（ｄ１と同一の方向）へ移動した利用者の視線方向に対応する。同様に、スマートフォン１がタッチスクリーンディスプレイ２の主面に対して水平方向ｄ２へ移動する前後で、第１の視線位置ＶＰ１と第２の視線位置ＶＰ１１との距離に閾値以上の開きがある場合、スマートフォン１は、第２の視線位置ＶＰ１１に追従させて対象オブジェクトＴ１の表示位置を変更する（ステップＳ７１〜ステップＳ７２ｂ）。ここで、第２の視線位置ＶＰ１０は、タッチスクリーンディスプレイ２の下方向（ｄ２に対して垂直下向きの方向）へ移動した利用者の視線方向に対応する。なお、図１１に示す処理の流れは、第２の視線位置に追従させて対象オブジェクトの表示位置を変更する点以外は、上記図７及び上記図８に示す処理の流れと同様である。このように、本出願に係るスマートフォン１は、利用者の視線方向が移動しない場合の処理（図７及び図８）と、利用者の視線方向が移動する場合の処理と（図１１）とを、スマートフォン１に作用する振動の状態に応じて選択して使用することができる。
【００９０】
上記の実施形態では、添付の請求項に係る装置の例として、スマートフォン１について説明したが、添付の請求項に係る装置は、スマートフォン１に限定されない。添付の請求項に係る装置は、タッチスクリーンを有する電子機器であれば、スマートフォン以外の装置であってもよい。
【００９１】
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。
【符号の説明】
【００９２】
１  スマートフォン
２  タッチスクリーンディスプレイ
２Ａ  ディスプレイ
２Ｂ  タッチスクリーン
３  ボタン
４  照度センサ
５  近接センサ
６  通信ユニット
７  レシーバ
８  マイク
９  ストレージ
９Ａ  視線位置検出プログラム
９Ｂ  表示位置調整プログラム
９Ｃ  電話アプリケーション
９Ｚ  設定データ
１０  コントローラ
１１  スピーカ
１２  カメラ
１３  赤外線照射部
１４  コネクタ
１５  加速度センサ
１６  方位センサ
【図１】
0006416598.tif 000002
【図２】
0006416598.tif 000003
【図３】
0006416598.tif 000004
【図４】
0006416598.tif 000005
【図５】
0006416598.tif 000006
【図６】
0006416598.tif 000007
【図７】
0006416598.tif 000008
【図８】
0006416598.tif 000009
【図９】
0006416598.tif 000010
【図１０】
0006416598.tif 000011
【図１１】
0006416598.tif 000012