(57)【特許請求の範囲】
【請求項１】
画像を表示する表示面を有する表示手段と、
ユーザの視線を検出する視線検出手段と、
前記表示面上においてユーザが触れた位置を特定する特定手段と、
前記表示手段に第１カーソルを表示させる手段であって、前記特定手段で特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御手段と、
前記表示手段に第２カーソルを表示させる手段であって、前記視線検出手段で検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御手段と、
前記第１カーソルの位置と前記第２カーソルの位置との間の距離が変化した場合、変化前より変化後の距離が長い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が拡大され、変化前より変化後の距離が短い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が縮小されるように前記表示手段を制御する第３制御手段と
を有する表示装置。
【請求項２】
前記拡大又は前記縮小の度合いは、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像の内容に応じて異なること
を特徴とする請求項１に記載の表示装置。
【請求項３】
画像を表示する表示面を有する表示手段と、
ユーザの視線を検出する視線検出手段と、
前記表示面上においてユーザが触れた位置を特定する特定手段と、
前記表示手段に第１カーソルを表示させる手段であって、前記特定手段で特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御手段と、
前記表示手段に第２カーソルを表示させる手段であって、前記視線検出手段で検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御手段と、
前記第１カーソル又は前記第２カーソルのいずれか一方のカーソルの位置が固定され、固定されたカーソルから見て他方のカーソルの方向が変化した場合、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像を、固定されたカーソルから見た変化前の他方のカーソルの方向と変化後の他方のカーソルの方向との間の角度に応じて回転させた画像が表示されるように前記表示手段を制御する回転手段と
を有する表示装置。
【請求項４】
ユーザの視線を検出する視線検出ステップと、
画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、
前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、
前記表示手段に第２カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、
前記第１カーソルの位置と前記第２カーソルの位置との間の距離が変化した場合、変化前より変化後の距離が長い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が拡大され、変化前より変化後の距離が短い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が縮小されるように前記表示手段を制御する第３制御ステップと
を有する表示方法。
【請求項５】
ユーザの視線を検出する視線検出ステップと、
画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、
前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、
前記表示手段に第１カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、
前記第１カーソル又は前記第２カーソルのいずれか一方のカーソルの位置が固定され、固定されたカーソルから見て他方のカーソルの方向が変化した場合、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像を、固定されたカーソルから見た変化前の他方のカーソルの方向と変化後の他方のカーソルの方向との間の角度に応じて回転させた画像が表示されるように前記表示手段を制御する回転ステップと
を有する表示方法。
【請求項６】
コンピュータに、
ユーザの視線を検出する視線検出ステップと、
画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、
前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、
前記表示手段に第２カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、
前記第１カーソルの位置と前記第２カーソルの位置との間の距離が変化した場合、変化前より変化後の距離が長い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が拡大され、変化前より変化後の距離が短い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が縮小されるように前記表示手段を制御する第３制御ステップと
を実行させるためのプログラム。
【請求項７】
コンピュータに、
ユーザの視線を検出する視線検出ステップと、
画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、
前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、
前記表示手段に第１カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、
前記第１カーソル又は前記第２カーソルのいずれか一方のカーソルの位置が固定され、固定されたカーソルから見て他方のカーソルの方向が変化した場合、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像を、固定されたカーソルから見た変化前の他方のカーソルの方向と変化後の他方のカーソルの方向との間の角度に応じて回転させた画像が表示されるように前記表示手段を制御する回転ステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザインターフェースに関する。
【背景技術】
【０００２】
視線を用いたユーザインターフェースの発明として、例えば、特許文献１に開示された発明がある。この発明においては、ディスプレイ画面上において操作者が見ている位置を検出し、検出した位置にカーソルを表示する。また、この発明は、ボタンを押したときのカーソルの位置をＡ点、Ａ点からカーソルを移動させて再度ボタンを押したときのカーソルの位置をＢ点とし、Ａ点を中心としてＡ点からＢ点までを半径とした円の範囲を拡大表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−７３２０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、タッチスクリーンを備えた所謂タブレット端末と呼ばれるコンピュータ装置においては、タッチスクリーンに触れた二本の指の位置を近づけたり遠ざけたりすることで、画像の拡大や縮小をすることができる。しかし、一方の手が塞がっており、他方の手でタブレット端末を持っている場合、親指以外の指でタッチスクリーンに触れることができないため、拡大や縮小の操作をすることが難しい。この場合、特許文献１の発明を組み合わせると、ボタンの操作は一本の指でもできるため、タブレット端末においても画像の拡大をすることが可能となる。しかし、特許文献１の発明を組み合わせる場合にはボタンが必要となる。タブレット端末を手に持つ場合、縦長になるように持つ場合や横長になるように持つ場合があり、ボタンの位置がタブレット端末を持った指の位置の近くにあるとは限らない。このため、片手ではボタンの操作を行えず、拡大をできない場合が生じ得る。
【０００５】
本発明は、上述した背景の下になされたものであり、複数の指を用いなくても表示されている画像を操作できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上述した目的を達成するため、本発明は、画像を表示する表示面を有する表示手段と、ユーザの視線を検出する視線検出手段と、前記表示面上においてユーザが触れた位置を特定する特定手段と、前記表示手段に第１カーソルを表示させる手段であって、前記特定手段で特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御手段と、前記表示手段に第２カーソルを表示させる手段であって、前記視線検出手段で検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御手段と、前記第１カーソルの位置と前記第２カーソルの位置との間の距離が変化した場合、変化前より変化後の距離が長い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が拡大され、変化前より変化後の距離が短い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が縮小されるように前記表示手段を制御する第３制御手段とを有する表示装置を提供する。
【０００７】
本発明においては、前記拡大又は前記縮小の度合いは、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像の内容に応じて異なる構成としてもよい。
【０００８】
また本発明は、画像を表示する表示面を有する表示手段と、ユーザの視線を検出する視線検出手段と、前記表示面上においてユーザが触れた位置を特定する特定手段と、前記表示手段に第１カーソルを表示させる手段であって、前記特定手段で特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御手段と、前記表示手段に第２カーソルを表示させる手段であって、前記視線検出手段で検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御手段と、前記第１カーソル又は前記第２カーソルのいずれか一方のカーソルの位置が固定され、固定されたカーソルから見て他方のカーソルの方向が変化した場合、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像を、固定されたカーソルから見た変化前の他方のカーソルの方向と変化後の他方のカーソルの方向との間の角度に応じて回転させた画像が表示されるように前記表示手段を制御する回転手段とを有する表示装置を提供する。
【０００９】
また、本発明は、ユーザの視線を検出する視線検出ステップと、画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、前記表示手段に第２カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、前記第１カーソルの位置と前記第２カーソルの位置との間の距離が変化した場合、変化前より変化後の距離が長い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が拡大され、変化前より変化後の距離が短い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が縮小されるように前記表示手段を制御する第３制御ステップとを有する表示方法を提供する。
【００１０】
また、本発明は、ユーザの視線を検出する視線検出ステップと、画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、前記表示手段に第１カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、前記第１カーソル又は前記第２カーソルのいずれか一方のカーソルの位置が固定され、固定されたカーソルから見て他方のカーソルの方向が変化した場合、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像を、固定されたカーソルから見た変化前の他方のカーソルの方向と変化後の他方のカーソルの方向との間の角度に応じて回転させた画像が表示されるように前記表示手段を制御する回転ステップとを有する表示方法を提供する。
【００１１】
また、本発明は、コンピュータに、ユーザの視線を検出する視線検出ステップと、画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、前記表示手段に第２カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、前記第１カーソルの位置と前記第２カーソルの位置との間の距離が変化した場合、変化前より変化後の距離が長い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が拡大され、変化前より変化後の距離が短い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が縮小されるように前記表示手段を制御する第３制御ステップとを実行させるためのプログラムを提供する。
【００１２】
また、本発明は、コンピュータに、ユーザの視線を検出する視線検出ステップと、画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、前記表示手段に第１カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、前記第１カーソル又は前記第２カーソルのいずれか一方のカーソルの位置が固定され、固定されたカーソルから見て他方のカーソルの方向が変化した場合、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像を、固定されたカーソルから見た変化前の他方のカーソルの方向と変化後の他方のカーソルの方向との間の角度に応じて回転させた画像が表示されるように前記表示手段を制御する回転ステップとを実行させるためのプログラムを提供する。
【発明の効果】
【００１３】
本発明によれば、複数の指を用いなくても表示されている画像を操作できる。
【図面の簡単な説明】
【００１４】
【図１】情報処理装置１のハードウェア構成を示した図である。
【図２】情報処理装置１の機能ブロック図。
【図３】制御部１０２が行う処理の流れを示したフローチャート。
【図４】制御部１０２が行う処理の流れを示したフローチャート。
【図５】表示部１０４２に表示される画面の一例を示した図。
【図６】表示部１０４２に表示される画面の一例を示した図。
【図７】表示部１０４２に表示される画面の一例を示した図。
【図８】表示部１０４２に表示される画面の一例を示した図。
【図９】表示部１０４２に表示される画面の一例を示した図。
【図１０】表示部１０４２に表示される画面の一例を示した図。
【図１１】変形例に係る情報処理装置１の機能ブロック図。
【図１２】変形例において制御部１０２が行う処理の流れを示したフローチャート。
【図１３】変形例において表示される画面の一例を示した図。
【図１４】変形例において表示される画面の一例を示した図。
【図１５】変形例において表示される画面の一例を示した図。
【発明を実施するための形態】
【００１５】
［実施形態］
（ハードウェアの構成）
図１は、本発明の一実施形態に係る情報処理装置１のハードウェア構成を示した図である。本実施形態の情報処理装置１は、板状の筐体にタッチスクリーンやハードウェアのボタンなどを備えた所謂タブレット端末と呼ばれるコンピュータ装置である。情報処理装置１は、タッチスクリーンで画像を表示する表示装置の一例である。図１に示したように、情報処理装置１の各部はバス１０１により接続されている。
【００１６】
通信部１０５は、無線通信を行う通信インターフェースの機能を備えている。情報処理装置１は、通信部１０５を制御して無線ＬＡＮ（Local Area Network）や移動体通信網に接続し、データ通信や音声通信を行う。
操作部１０４は、情報処理装置１を操作するための複数のハードウェアのボタンを備えている。また、操作部１０４は、画像を表示する表示手段の一例である表示部１０４２と、表示部１０４２の表面に設けられ、表示部１０４２が表示した画像を透過し、指が触れた位置を検出する位置検出部１０４１とが一体化したタッチスクリーン１０４Ａを備えている。なお、表示部１０４２としては、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイが用いられるが、これらに限定されるものではなく他のディスプレイであってもよい。また、位置検出部１０４１としては、触れている複数の指の位置を検出するもの（例えば静電容量方式のもの）が用いられる。
撮像部１０６は、レンズや固体撮像素子を備えており、レンズによって固体撮像素子に結像した像を表す画像を生成する。
【００１７】
記憶部１０３は、不揮発性メモリを備えている。記憶部１０３は、オペレーティングシステムを実現させるプログラムＯＳや、各種アプリケーションプログラムを記憶する。制御部１０２は、ＣＰＵ（Central Processing Unit）１０２Ａ、ＲＯＭ（Read Only Memory）１０２ＢおよびＲＡＭ（Random Access Memory）１０２Ｃ等を備えている。ＣＰＵ１０２Ａが、ＲＯＭ１０２Ｂに記憶されているＩＰＬ（Initial Program Loader）を実行すると、記憶部１０３に記憶されているプログラムＯＳが実行されてオペレーティングシステムが実現し、各種アプリケーションプログラムの実行が可能となる。本実施形態においては、オペレーティングシステムが実現すると、タッチスクリーン１０４Ａと撮像部１０６を用いるユーザインターフェースが実現する。
【００１８】
（機能ブロックの説明）
図２は、制御部１０２において実現する機能のうち本発明に係る特徴的な機能に関係する機能ブロックを示した図である。本実施形態においては、上述したように、タッチスクリーン１０４Ａと撮像部１０６を用いるユーザインターフェースが実現する。図２は、このユーザインターフェース機能に係る機能ブロック図である。
【００１９】
特定部２０１は、位置検出部１０４１においてユーザが触れた指の位置を特定するものである。特定部２０１は、位置検出部１０４１で生成される位置データを取得する。この位置データは、表示部１０４２の表示面上でユーザが指で触れた位置を表す。特定部２０１は、この位置データを基にしてユーザが触れた指の位置を特定する。
視線検出部２０２は、ユーザの視線を検出するものである。視線検出部２０２は、ユーザの顔の画像を取得する。視線検出部２０２は、取得した顔の画像からユーザの視線を検出する。
【００２０】
第１制御部２０３は、特定部２０１で特定された位置に後述する第１カーソル１０が表示されるように表示部１０４２を制御するものである。
第２制御部２０４は、視線検出手段で検出された視線に対応した位置に後述する第２カーソルが表示されるように表示部１０４２を制御するものである。
第３制御部２０５は、第１カーソル１０の位置と第２カーソル１１との間の距離が変化した場合、変化前より変化後の距離が長い場合には、第１カーソル及び第２カーソル以外に表示部１０４２に表示されている画像が拡大され、変化前より変化後の距離が短い場合には、第１カーソル１０及び第２カーソル１１以外に表示部１０４２に表示されている画像が縮小されるように表示部１０４２を制御するものである。
【００２１】
（実施形態の動作例）
次に本実施形態の動作の一例について、図３、４のフローチャートと、図５〜１０に示した画面例を用いて説明する。図５は、情報処理装置１において画像を表示するアプリケーションプログラムを実行したときに表示される画面の一例を示したものである。この画面においては、アプリケーションプログラムの表示領域が全画面表示となっており、ユーザが選択した画像Ｇ１が表示されている状態を示している。
【００２２】
図５に示したように、後述する第１カーソル１０が表示がされていない状態において、図６に示したようにユーザが情報処理装置１を持っている左手の親指４０でタッチスクリーン１０４Ａに触れると、制御部１０２は、図３〜４に示した処理を開始する。まず、指の触れた位置を表す位置データを位置検出部１０４１が生成すると、制御部１０２は、この位置データを取得する（図３：ステップＳＡ１）。制御部１０２は、位置データを取得すると、表示画面上において指の触れている位置を特定する（ステップＳＡ２）。
【００２３】
次に制御部１０２は、ステップＳＡ２で特定した位置（以下、第１位置と称する）をＲＡＭ１０２Ｃに記憶させる（ステップＳＡ３）。また、制御部１０２は、ステップＳＡ２で特定した位置に第１カーソル１０が表示されるように表示部１０４２を制御する（ステップＳＡ４）。ステップＳＡ４の処理が行われると、図７に示したように親指４０の位置に親指の形状をした第１カーソル１０が表示される。なお、図７においては、図面が繁雑になるのを防ぐために親指４０の図示を省略している。本実施形態においては、第１カーソル１０の形状は指を表す形状となっているが、指の形状に限定されるものではなく、矢印の形状など他の形状であってもよい。
【００２４】
制御部１０２は、第１カーソル１０が表示されると、指がタッチスクリーン１０４Ａに触れているか判断する。制御部１０２は、位置データがタッチスクリーン１０４Ａから供給されなくなって取得できなくなった場合、触れていた指がタッチスクリーン１０４Ａから離れたものと判断する（ステップＳＡ５でＹＥＳ）。制御部１０２は、ステップＳＡ５でＹＥＳと判断すると、第１カーソル１０が消去されるように表示部１０４２を制御する（ステップＳＡ６）。
【００２５】
一方、制御部１０２は、タッチスクリーン１０４Ａから位置データが供給され続け、供給された位置データを取得すると、ステップＳＡ５でＹＥＳと判断し、取得した位置データが表す位置と、記憶した第１位置とに基づいて第１カーソル１０の表示位置を決定する（ステップＳＡ７）。
具体的には、制御部１０２は、取得した位置データが表す位置と、第１位置とを結ぶ直線の長さを算出し、算出した長さに予め定められた係数αを乗じた値を算出する。例えば、係数αが「１０」である場合、算出した直線の長さが１０ｍｍであると、係数αを乗じて算出される値は１００ｍｍとなる。次に制御部１０２は、取得した位置データが表す位置と第１位置とを通過する直線上において、指の移動した方向へ第１位置から算出した値だけ離れた位置を求め、求めた位置を第１カーソル１０の表示位置とする。
例えば、図８においては、第１位置にあるときの親指４０を一点鎖線で示し、移動後の親指４０を実線で示している。位置Ｐ１から位置Ｐ２へ親指４０を動かした場合、位置Ｐ１と位置Ｐ２とを結ぶ直線Ｌ１上であって、位置Ｐ１から位置Ｐ２までの距離に係数αを乗じた距離ｄ１だけ第１位置から離れた位置Ｐ３を、第１カーソル１０の表示位置とする。制御部１０２は、第１カーソル１０の表示位置を決定すると、図８に示したように、決定した表示位置に第１カーソル１０が表示されるように表示部１０４２を制御する（ステップＳＡ８）。
【００２６】
次に制御部１０２は、タッチスクリーン１０４Ａから取得した位置データが表す位置を監視する。制御部１０２は、位置データが表す位置が予め定められた時間を超えて変化しなかった場合、即ち、親指４０の位置が予め定められた時間を超えて動かなかった場合（ステップＳＡ９でＹＥＳ）、第１カーソル１０の表示位置を位置データが表す位置に固定する（ステップＳＡ１０）。
【００２７】
制御部１０２は、第１カーソル１０の位置を固定すると、撮像部１０６での撮像を開始する（ステップＳＡ１１）。ユーザが表示画面に目を向けると、ユーザの顔が撮像部１０６で撮像される。撮像部１０６においては、ユーザの顔を含む画像（以下、顔画像と称する）が生成される。制御部１０２は、この顔画像を取得する（ステップＳＡ１２）。制御部１０２は、顔画像を取得すると、例えば、特開平１０−３９９９５号公報に開示されている技術を用いてユーザの視線を検出し、表示画面においてユーザが見ている位置を特定する（ステップＳＡ１３）。なお、ユーザの視線を検知する技術は、上記の方法に限定されるものではなく、ユーザの頭部に取り付けられたカメラでユーザの眼球を撮像し、この撮像した画像から視線を検知する方法など、他の周知の方法を用いてもよい。
【００２８】
次に制御部１０２は、ユーザが見ている位置が所定時間（例えば２秒）を超えて動いていないか判断する。制御部１０２は、ユーザが見ている位置が所定時間内に動いている場合（ステップＳＡ１４でＮＯ）、処理の流れをステップＳＡ１２へ戻す。なお、この所定時間は２秒に限定されるものではなく、２秒未満又は２秒を超える時間であってもよい。一方、制御部１０２は、ステップＳＡ１４でＹＥＳと判断した場合、ユーザが所定時間を超えて見ていた位置（以下、第２位置と称する）をＲＡＭ１０２Ｃに記憶させる（ステップＳＡ１５）。また、制御部１０２は、ステップＳＡ１３で特定した位置に第２カーソル１１が表示されるように表示部１０４２を制御する（ステップＳＡ１６）。
例えば、ユーザが第１カーソル１０の位置を見た場合、図９の（ａ）に示したように第１カーソル１０に重ねて第２カーソル１１が表示される。また、ユーザが第１カーソル１０から離れた位置を見た場合、図９の（ｂ）に示したように第１カーソル１０から離れた位置に第２カーソル１１が表示される。
【００２９】
次に制御部１０２は、ユーザの見ている位置が第２位置から移動したか判断する。制御部１０２は、ユーザの見ている位置が第２位置から移動した場合（ステップＳＡ１７でＹＥＳ）、第２カーソル１１の位置を移動させる（ステップＳＡ１８）。ここで、説明の便宜上、第２位置から移動した後の第２カーソル１１の位置を第３位置と称する。制御部１０２は、第２カーソル１１の位置を移動させた後、第１カーソル１０と第２カーソル１１以外の画像の拡大又は縮小の処理を行う（ステップＳＡ１９）。具体的には、制御部１０２は、図９の（ａ）に示したように第１カーソル１０位置から予め定められた範囲内に第２位置があった場合、図１０（ａ）に示したように第２カーソル１１の位置が第１カーソル１０の位置から離れた位置に移動すると、図１０の（ａ）に示したように第１カーソル１０の位置を中心とし、第１カーソル１０の位置から第３位置までの距離に応じて画像Ｇ１の拡大をする。ここで、第１カーソル１０の位置から第３位置までの距離が短いと画像Ｇ１の拡大の度合いが小さく、第１カーソル１０の位置から第３位置までの距離が長くなるにつれて画像Ｇ１の拡大の度合いが大きくなる。
【００３０】
一方、制御部１０２は、図９の（ｂ）に示したように第１カーソル１０の位置から予め定められた範囲外に第２位置がある場合、図１０の（ｂ）に示したように第１カーソル１０の位置を中心とし、第１カーソル１０の位置から第３位置までの距離に応じて画像Ｇ１を縮小する。ここで、第１カーソル１０の位置から第３位置までの距離が長いと画像Ｇ１の縮小の度合いが小さく、第１カーソル１０の位置から第３位置までの距離が短くなるにつれて画像Ｇ１の縮小の度合いが大きくなる。
【００３１】
次に制御部１０２は、指がタッチスクリーン１０４Ａに触れているか判断する。制御部１０２は、タッチスクリーン１０４Ａから位置データが供給され続け、供給された位置データを取得すると、ステップＳＡ２０でＮＯと判断し、処理の流れをステップＳＡ１８に戻す。
一方、制御部１０２は、位置データが取得できなくなった場合、指がタッチスクリーン１０４Ａから離れたものと判断する（ステップＳＡ２０でＹＥＳ）。制御部１０２は、ステップＳＡ２０でＹＥＳと判断すると、画像の拡大／縮小の度合いをこの時点の度合いで固定する（ステップＳＡ２１）。また、制御部１０２は、第１カーソル１０と第２カーソル１１が消去されるように表示部１０４２を制御する（ステップＳＡ２２）。第１カーソル１０と第２カーソル１１が消去されると、指とユーザの視線を用いて拡大又は縮小された画像のみが表示部１０４２に表示される。
【００３２】
本実施形態によれば、指で画像の拡大又は縮小の基点となる位置を特定し、視線により画像の拡大又は縮小の度合いを変更するため、一方の手が塞がっており片手でタブレット端末を持つ場合であっても、画像の拡大又は縮小を行うことができる。また、本実施形態においては、複数の指を用いずに一本の指と視線とで画像を操作することができる。また、本実施形態においては、指の移動量より第１カーソル１０の移動量が大きいため、指を動かせる範囲が狭くても第１カーソル１０の位置を画面内の所望の位置に動かすことができる。
【００３３】
［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態及び以下の変形例は、各々を組み合わせてもよい。
【００３４】
画像を拡大又は縮小する方法は、上述した実施形態の方法に限定されるものではない。例えば、第１カーソル１０の位置を固定させた後、ユーザが第１カーソル１０から離れた位置を見た場合、この位置から第１カーソル１０までの距離を半径とし、第１カーソル１０の位置を中心とする円を表示し、この円より内側をユーザが見た場合には、第１カーソル１０の位置を中心にして画像を縮小し、この円より外側をユーザが見た場合には、第１カーソル１０の位置を中心にして画像を拡大する構成としてもよい。
【００３５】
上述した実施形態においては、画像を表示するアプリケーション毎、又は表示するコンテンツ毎に画像の拡大／縮小の度合いが異なるようにしてもよい。例えば、ＷｅｂブラウザでＷｅｂページを表示している場合と、写真を表示するアプリケーションで写真を表示している場合とで、第１カーソル１０からの視線の移動量が同じであってもＷｅｂブラウザにおける拡大／縮小の度合いと、写真を表示するアプリケーションにおける拡大／縮小の度合いとが異なるようにしてもよい。また、Ｗｅｂブラウザで文字列のページを表示している場合と、Ｗｅｂブラウザで写真のページを表示している場合とで、文字列を表示している場合の拡大／縮小の度合いと、写真を表示している場合の拡大／縮小の度合いとが異なるようにしてもよい。
【００３６】
上述した実施形態においては、指と視線とを用いて画像の拡大／縮小の処理が行われるが、指と視線とを用いて行うことが可能な処理は、拡大／縮小の処理に限定されるものではない。例えば、第１実施形態と同様に指で第１カーソル１０の位置を決定し、視線を用いて画像を回転させるようにしてもよい。
【００３７】
図１１は、制御部１０２において実現する機能のうち本変形例に係る機能ブロックを示した図である。本変形例においては、第３制御部２０５に替えて回転部２０６を備えている点が上述した実施形態と異なる。
回転部２０６は、第１カーソル１０のカーソルの位置が固定され、固定されたカーソルから見て第２カーソル１１のある方向が変化した場合、変化前の第２カーソル１１の方向と変化後の第２カーソル１１の方向との間の角度に応じて、第１カーソル１０及び第２カーソル１１以外に表示部１０４２に表示されている画像を回転させるものである。
【００３８】
図１２は、本変形例に係る制御部１０２が行う処理の流れを示したフローチャートである。本変形例においては、第１実施形態と同じくステップＳＡ１からステップＳＡ１３の処理が行われる。そして、ステップＳＡ１３より後に行われる処理が第１実施形態と異なり、図１２に示したものとなっている。
【００３９】
制御部１０２は、ステップＳＡ１３の処理を実行した後、ステップＳＡ１３で特定した位置に第２カーソル１１が表示されるように表示部１０４２を制御する（ステップＳＢ１）。次に制御部１０２は、ユーザが見ている位置が所定時間を超えて動いていないか判断する。制御部１０２は、ユーザが見ている位置が所定時間内に動いている場合（ステップＳＢ２でＮＯ）、処理の流れをステップＳＡ１２へ戻す。一方、制御部１０２は、ステップＳＢ２でＹＥＳと判断した場合、ユーザが見ている位置（以下、第４位置と称する）をＲＡＭ１０２Ｃに記憶させる（ステップＳＢ３）。例えば、図１３に示したように、表示されている三角形の画像の頂点の位置をユーザが所定時間を超えて見た場合、頂点の位置に第２カーソル１１が表示され、この頂点の位置が第４位置として記憶される。
【００４０】
次に制御部１０２は、ユーザの見ている位置が第４位置から移動したか判断する。制御部１０２は、ユーザの見ている位置が第４位置から移動した場合（ステップＳＢ４でＹＥＳ）、第２カーソル１１の位置を移動させる（ステップＳＢ５）。ここで、説明の便宜上、第４位置から移動して表示されている第２カーソル１１の位置を第５位置と称する。
制御部１０２は、第２カーソル１１の位置を移動させた後、第１カーソル１０と第２カーソル１１以外の画像を回転させる処理を行う（ステップＳＢ６）。具体的には、制御部１０２は、第１カーソル１０の位置と第４位置とを結ぶ直線と、第１カーソル１０の位置と第５位置とを結ぶ直線とがなす角度θを算出する。例えば、図１３の状態から図１４に示したように第２カーソル１１の位置が移動した場合、制御部１０２は、第１カーソル１０の位置Ｐ１１と第４位置Ｐ１２とを結ぶ直線Ｌ２と、第１カーソル１０の位置Ｐ１１と第５位置Ｐ１３とを結ぶ直線Ｌ３とを求め、直線Ｌ２と直線Ｌ３のなす角度θを求める。換言すると、制御部１０２は、固定されている第１カーソル１０から見て位置が変化する前の第２カーソル１１の方向と、位置が変化した後の第２カーソル１１との間の角度θを求める。制御部１０２は、角度θを求めると、第１カーソル１０の位置を中心にして第１カーソル１０と第２カーソル１１以外の画像を角度θで回転させる。例えば、図１４の状態から第１カーソル１０の位置を中心にして角度θで画像を回転させると、表示されている三角形の画像が第１カーソル１０の位置を中心にして角度θだけ回転し、図１５に示した状態となる。
【００４１】
次に制御部１０２は、指がタッチスクリーン１０４Ａに触れているか判断する。制御部１０２は、タッチスクリーン１０４Ａから位置データが供給され続け、供給された位置データを取得すると、ステップＳＢ７でＮＯと判断し、処理の流れをステップＳＢ５に戻す。
一方、制御部１０２は、位置データが取得できなくなった場合、指がタッチスクリーン１０４Ａから離れたものと判断する（ステップＳＢ７でＹＥＳ）。制御部１０２は、ステップＳＢ７でＹＥＳと判断すると、画像の回転の角度をこの時点の角度で固定する（ステップＳＢ８）。また、制御部１０２は、第１カーソル１０と第２カーソル１１が消去されるように表示部１０４２を制御する（ステップＳＢ９）。第１カーソル１０と第２カーソル１１が消去されると、指とユーザの視線を用いて回転された画像のみが表示部１０４２に表示される。
本変形例によれば、指で画像を回転させるときの基点となる位置を特定し、視線により画像の回転の角度を変更するため、一方の手が塞がっており片手でタブレット端末を持つ場合であっても、画像を回転させることができる。
【００４２】
上述した実施形態においては、第１カーソル１０の位置を固定して拡大／縮小が行われるが、この構成に限定されるものではない。
例えば、制御部１０２は、ステップＳＡ１０の処理を行わずに第２カーソル１１を表示し、ユーザの見ている位置が所定時間動かなかった場合、第２カーソル１１の位置を固定するようにしてもよい。そして制御部１０２は、ユーザの指の位置が動いた場合、第１カーソル１０の表示位置を変更し、第２カーソル１１の位置を基点とし、第１カーソル１０と第２カーソル１１との間の距離に応じて画像を拡大又は縮小するようにしてもよい。例えば、制御部１０２は、第１カーソル１０と第２カーソル１１との間の距離が第２カーソル１１を固定したときより長くなった場合には画像を拡大し、距離が短くなった場合には画像を縮小する。この構成でも、指と視線とを用いて画像を拡大又は縮小させることができる。
【００４３】
また、本発明においては、第１カーソル１０の位置が所定時間を超えて動かなかった場合にユーザの見ている位置に第２カーソル１１を表示するようにしてもよい。そして、制御部１０２は、指の位置に応じて第１カーソル１０の位置を変更し、視線に応じて第２カーソル１１の位置を変更するようにしてもよい。この変形例においては、カーソルの位置を変更したときの各カーソル間の距離が第２カーソル１１を表示したときの各カーソル間の距離より長い場合には画像を拡大し、各カーソル間の距離が第２カーソル１１を表示したときの各カーソル間の距離より短い場合には画像を縮小するようにしてもよい。
【００４４】
また、画像を回転させる際においては、第１カーソル１０の位置を固定して画像の回転の処理が行われるが、この構成に限定されるものではない。
例えば、制御部１０２は、ステップＳＡ１０の処理を行わずに第２カーソル１１を表示し、ユーザの見ている位置が所定時間動かなかった場合、第２カーソル１１の位置を固定するようにしてもよい。そして制御部１０２は、ユーザの指の位置が動いた場合、第１カーソル１０の表示位置を変更する。また、制御部１０２は、第１カーソル１０の位置と第２カーソル１１の位置とを結ぶ直線と、第２カーソル１１を固定したときの第１カーソル１０の位置と第２カーソル１１の位置とを結ぶ直線とがなす角度θを算出する。そして、制御部１０２は、表示されている画像を、第２カーソル１１の位置を中心とし、求めた角度θで回転させる。この構成でも、指と視線とを用いて画像を回転させることができる。
【００４５】
上述した実施形態においては、指の位置と視線とで画像を拡大／縮小する機能や画像を回転させる機能がオペレーティングシステムのプログラムを実行することにより実現しているが、これら機能を実現するのは、オペレーティングシステムのプログラムに限定されるものではない。例えば、オペレーティングシステムのプログラムとは別のアプリケーションプログラムを実行することにより、指の位置と視線とで画像を拡大／縮小機能や画像を回転させる機能が実現するようにしてもよい。
【００４６】
上述した実施形態においては、撮像部１０６が情報処理装置１に内蔵されている構成となっているが、この構成に限定されるものではない。例えば、レンズと固定撮像素子とを備えるカメラを情報処理装置１に接続し、このカメラでユーザの顔を撮像するようにしてもよい。また、レンズと固定撮像素子とを備えるカメラを眼鏡のフレームに配置し、このフレームに設けられたカメラでユーザの顔を撮像するようにしてもよい。
【００４７】
上述した実施形態においては、第１カーソル１０が移動可能な状態と第１カーソル１０の位置が固定されている状態とで第１カーソル１０の表示態様を異ならせるようにしてもよい。例えば、第１カーソル１０が移動可能な状態にある場合には第１カーソル１０の色を白とし、第１カーソル１０の位置が固定されている状態にある場合には、第１カーソル１０の色を白以外の色に変更してもよい。また、第１カーソル１０の位置が固定されている状態にある場合には、第１カーソル１０が点滅するように表示し、第１カーソル１０が移動可能な状態にある場合には第１カーソル１０を点滅させないようにしてもよい。また、第１カーソル１０の位置が固定されている状態にある場合の第１カーソル１０の面積を、第１カーソル１０が移動可能な状態にある場合の面積より広くするようにしてもよい。また、第１カーソル１０が移動可能にある状態と第１カーソル１０の位置が固定されている状態とで第１カーソル１０の形状を異ならせるようにしてもよい。また、これらの変形例を組み合わせてもよい。
【００４８】
上述した実施形態においては、情報処理装置１は、通信ネットワークを介した通信を行う機能を備えているが、この機能を備えたものに限定されるものではない。例えば、電子ブックリーダなど、通信ネットワークを介した通信を行う機能を備えていないものであってもよい。
【００４９】
上述した実施形態の機能を実現するプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk）））など、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し、情報処理装置１にインストールしてもよい。また、通信回線を介して情報処理装置１にダウンロードしてインストールしてもよい。
【符号の説明】
【００５０】
１…画像形成装置、１０１…バス、１０２…制御部、１０２Ａ…ＣＰＵ、１０２Ｂ…ＲＯＭ、１０２Ｃ…ＲＡＭ、１０３…記憶部、１０４…操作部、１０４Ａ…タッチスクリーン、１０５…通信部、１０６…撮像部、２０１…特定部、２０２…視線検出部、２０３…第１制御部、２０４…第２制御部、２０５…第３制御部、２０６…回転部、１０４１…位置検出部、１０４２…表示部
【要約】
【課題】複数の指を用いなくても表示されている画像を操作できるようにする。
【解決手段】第１カーソル１０の位置は、親指４０の位置に応じて変化する。第２カーソル１１の位置は、ユーザの視線に応じて変化する。所定時間を超えて第１カーソル１０の位置が変化しなかった場合、第１カーソル１０の位置は固定される。第１カーソル１０と第２カーソル１１との間の距離が長くなった場合、第１カーソル１０及び第２カーソル１１以外に表示されている画像Ｇ１が拡大されて表示される。第１カーソル１０と第２カーソル１１との間の距離が短くなった場合、第１カーソル１０及び第２カーソル１１以外に表示されている画像Ｇ１が縮小されて表示される。
【選択図】図１０【図１】
0005342040.tif 000002
【図２】
0005342040.tif 000003
【図３】
0005342040.tif 000004
【図４】
0005342040.tif 000005
【図５】
0005342040.tif 000006
【図６】
0005342040.tif 000007
【図７】
0005342040.tif 000008
【図８】
0005342040.tif 000009
【図９】
0005342040.tif 000010
【図１０】
0005342040.tif 000011
【図１１】
0005342040.tif 000012
【図１２】
0005342040.tif 000013
【図１３】
0005342040.tif 000014
【図１４】
0005342040.tif 000015
【図１５】
0005342040.tif 000016