(57)【特許請求の範囲】
【請求項１】
表示可能かつ入力可能なタッチパネルと、
前記タッチパネル上でタッチ操作を受け付ける受付部と、
視線の検出位置と前記タッチ操作の位置との距離が所定の距離未満であるか否かを判定する判定部と、
前記距離が所定の距離未満でない場合に、前記視線の検出位置を用いて、前記タッチパネルで表示する画面の一部である目標領域を設定する設定部と、
前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、前記画面に表示される画像のうち前記目標領域に表示される部分画像を表示させる表示制御部と、
前記照準領域の座標および前記目標領域の座標の対応関係を所定の記憶部に記録する記録部と、
前記照準領域内でタッチ操作を受け付けた場合に、前記記憶部に記憶された対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を前記目標領域へ投影された座標に変換する変換部と、
前記変換部によって変換された座標を出力する出力部と
を有することを特徴とするタブレット端末。
【請求項２】
前記設定部は、前記視線の検出結果のうち前記受付部によって前記タッチ操作が受け付けられる前の視線の検出位置を用いて、前記目標領域を設定することを特徴とする請求項１に記載のタブレット端末。
【請求項３】
前記出力部によって座標が出力される前後で前記タッチパネルの画面上に表示される画像の差分の割合を算出する算出部をさらに有し、
前記設定部は、前記算出部によって算出された画像の差分の割合が所定の閾値以下である場合に、当該差分となる画像が表示される領域を目標領域として再設定することを特徴とする請求項１または２に記載のタブレット端末。
【請求項４】
コンピュータに、
タッチパネル上でタッチ操作を受け付け、
視線の検出位置と前記タッチ操作の位置との距離が所定の距離未満であるか否かを判定し、
前記距離が所定の距離未満でない場合に、前記視線の検出位置を用いて、前記タッチパネルで表示する画面の一部である目標領域を設定し、
前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、前記画面に表示される画像のうち前記目標領域に表示される部分画像を表示させ、
前記照準領域の座標および前記目標領域の座標の対応関係を所定の記憶部に記録し、
前記照準領域内でタッチ操作を受け付けた場合に、前記記憶部に記憶された対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を前記目標領域へ投影された座標に変換し、
変換された座標を出力する
処理を実行させることを特徴とする操作受付プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タブレット端末および操作受付プログラムに関する。
【背景技術】
【０００２】
スマートフォンを始め、携帯電話、ＰＨＳ（Personal  Handyphone  System）やＰＤＡ（Personal  Digital  Assistants）などのタブレット端末が普及している。かかるタブレット端末における操作性を向上させるために、視線入力と接触入力とを併用するユーザインタフェースが提案されている。
【０００３】
これを説明すると、ユーザインタフェースは、利用者の視線の動きによってタッチパネル上に表示されたカーソルの移動を受け付ける。その上で、ユーザインタフェースは、タッチパネル上の所定の領域でタッチがなされると、カーソルの照準が合ったオブジェクトを選択する。これによって、利用者がタブレット端末を持つ方の手でタッチパネルを片手操作させることを目指す。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】“MobiGaze，Development  of  a  Gaze  Interface  for  Handheld  Mobile  Devices”，April  12-13  2010
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来技術には、以下に説明するように、利用者の眼に掛かる負担が増大するという問題がある。
【０００６】
すなわち、人間がものを見る場合には、視線は一定の場所に留まらず、目標の周辺で移動するのが一般的であり、視線の固定は眼精疲労の原因となる。それにもかかわらず、上記のユーザインタフェースでは、カーソルを目標のオブジェクトへ移動させるために、視線をカーソルに固定する状態を強いることになる。この結果、上記のユーザインタフェースでは、利用者の眼に掛かる負担が増大する。さらに、視線によってカーソルの照準をオブジェクトに合わせる場合には、目標のオブジェクトが小さいほど視線に微細な動きが要求される。このため、タッチパネルに表示されるオブジェクトの大きさによっては、利用者の眼に掛かる負担がさらに増大する。
【０００７】
開示の技術は、上記に鑑みてなされたものであって、利用者の眼に掛かる負担を軽減できるタブレット端末および操作受付プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本願の開示するタブレット端末は、表示可能かつ入力可能なタッチパネルを有する。さらに、前記タブレット端末は、視線の検出結果を有効化する契機の指示を受け付ける受付部を有する。さらに、前記タブレット端末は、視線の検出位置を用いて、前記タッチパネルの画面上で目標とするオブジェクトの存在を想定する目標領域を設定する設定部を有する。さらに、前記タブレット端末は、前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、前記画面に表示される画像のうち前記目標領域に表示される部分画像を表示させる表示制御部を有する。さらに、前記タブレット端末は、前記照準領域の座標および前記目標領域の座標の対応関係を所定の記憶部に記録する記録部を有する。さらに、前記タブレット端末は、前記照準領域内でタッチ操作を受け付けた場合に、前記記憶部に記憶された対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を前記目標領域へ投影された座標に変換する変換部を有する。さらに、前記タブレット端末は、前記変換部によって変換された座標を出力する出力部を有する。
【発明の効果】
【０００９】
本願の開示するタブレット端末の一つの態様によれば、利用者の眼に掛かる負担を軽減できるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１に係るタブレット端末の機能的構成を示すブロック図である。
【図２】図２は、タブレット端末を持つ手でタッチ操作が可能な領域と困難な領域との一例を示す図である。
【図３】図３は、タッチパネルに表示される画面の一例を示す図である。
【図４】図４は、照準領域に表示させる目標領域の部分画像の一例を示す図である。
【図５】図５は、照準領域の一例を示す図である。
【図６】図６は、目標領域の設定例を示す図である。
【図７】図７は、照準領域の座標および目標領域の座標の対応付け方法の一例を示す図である。
【図８】図８は、対応関係情報の一例を示す図である。
【図９】図９は、座標変換の一例を示す図である。
【図１０】図１０は、実施例１に係る操作受付処理の手順を示すフローチャートである。
【図１１】図１１は、応用例を説明するための説明図である。
【図１２】図１２は、実施例１及び実施例２に係る操作受付プログラムを実行するコンピュータの一例について説明するための図である。
【発明を実施するための形態】
【００１１】
以下に、本願の開示するタブレット端末および操作受付プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１２】
［タブレット端末の構成］
図１は、実施例１に係るタブレット端末の機能的構成を示すブロック図である。図１に示すタブレット端末１０は、タッチパネル１１の画面上の位置指定に、画面に対するタッチ操作とともに視線検出を併用するものであり、とりわけタブレット端末１０を持つ方の手でタッチパネルを片手操作させる。
【００１３】
かかる携帯端末１０は、スマートフォンに代表される携帯電話機を始め、ＰＨＳやＰＤＡなどの情報処理端末に上記の操作受付処理を実行する操作受付プログラムをインストールさせることによって実装できる。なお、上記の「ＰＨＳ」は、「Personal  Handyphone  System」の略称であり、また、上記の「ＰＤＡ」は、「Personal  Digital  Assistants」の略称である。
【００１４】
ここで、本実施例に係るタブレット端末１０は、タッチパネル１１の画面上で視線の検出位置が指す目標領域の部分画像を手元側の照準領域に表示させることによって端末を持つ手では届かない範囲の操作を受け付ける。
【００１５】
すなわち、タッチパネル１１の画面全域にわたる位置指定を片方の手のタッチ操作だけで受け付けるのは難しいという課題がある。図２は、タブレット端末を持つ手でタッチ操作が可能な領域と困難な領域との一例を示す図である。図２に示すように、利用者がタブレット端末１０を持つ方の手でタッチパネルを片手操作する場合には、タブレット端末１０を持つ方の手の指、代表的には親指２０で画面を触れることができる範囲がタッチ操作の可能な領域２１となる。一方、タブレット端末１０を持つ方の手の親指２０で触れることができない範囲がタッチ操作の困難な領域２２となる。このように、タブレット端末１０の所持によって親指２０の根元が固定された状態で親指２０が画面上で接触できる範囲は限定的であるので、タッチパネル１１の画面全域にわたる位置指定をタッチ操作だけで行うのは難しい。
【００１６】
そこで、タブレット端末１０は、視線入力の長所と接触入力の長所とを併せて使用することによって目標とするオブジェクトの一点を注視させずとも目標とするオブジェクトに対するタッチ操作を可能とする。
【００１７】
これを説明すると、タブレット端末１０は、視線の検出結果を有効化する契機の指示を受け付ける。このように、視線の検出結果を有効とするタイミングを指示させることによって目標とするオブジェクトの周辺に視線が向けられた状態で検出された視線の検出位置を後段の処理で使用させる。
【００１８】
そして、タブレット端末１０は、視線検出によって得られる視線の検出位置を基準に、画面上で目標とするオブジェクトの存在を想定する目標領域を設定する。図３は、タッチパネル１１に表示される画面の一例を示す図である。図３の例では、利用者がタブレット端末１０を左手で所持しながらタッチパネル１１に表示された５種類のオブジェクトのうち円形のオブジェクトを目標として選択する意思を持つ場合を想定する。図３に示すように、タッチパネル１１の画面上で円形のオブジェクトが目標とされる場合には、必ずしも利用者の視線が円形のオブジェクト上に位置するとは限らずとも、円形のオブジェクトの周辺に位置する可能性は高い。このため、タブレット端末１０は、視点検出によって画面上の一点を指定させるのではなく、目標とするオブジェクトが存在する目安となる領域をラフに指定させるのに視線検出を用いる。
【００１９】
続いて、タブレット端末１０は、目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、画面に表示される画像のうち目標領域に表示される部分画像を表示させる。かかる照準領域は、目標領域に表示されている部分画像のタッチ操作を直接指定させる代わりに、目標とするオブジェクトにタッチ操作の照準を合わせるウィンドウとして用いられる。図４は、照準領域に表示させる目標領域の部分画像の一例を示す図である。図４に示すように、視線は届いてもタッチ操作が困難であった円形のオブジェクトを含む目標領域４０Ｓの部分画像がタブレット端末１０を所持する手でタッチ可能な照準領域４０Ｄに表示される。これによって、タブレット端末１０は、視線検出によってラフに指定させておいた領域の中からタッチ操作によって一点を指定させる。
【００２０】
その上で、タブレット端末１０は、照準領域内でタッチ操作を受け付けた場合に、照準領域の座標および目標領域の座標の対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を目標領域へ投影された座標へ変換した上で変換後の座標を出力する。これによって、照準領域に表示された部分画像上でなされたタッチ操作が目標領域に表示された部分画像上でなされたものと同定して操作を受け付けることが可能になる。
【００２１】
このように、本実施例に係るタブレット端末１０は、タッチパネル１１の画面上で視線の検出位置が指す目標領域の部分画像を手元側の照準領域に表示させることによって端末を持つ手では届かない範囲の操作を受け付ける。それゆえ、本実施例に係るタブレット端末１０では、タブレット端末１０を持つ方の手でタッチパネルを片手操作させる場合に、目標とするオブジェクトの一点を注視させずとも、目標とするオブジェクトに対するタッチ操作が可能になる。したがって、本実施例に係るタブレット端末１０によれば、利用者の眼に掛かる負担を軽減できる。
【００２２】
図１の説明に戻り、タブレット端末１０は、タッチパネル１１と、カメラ１２と、光源１２ｂと、記憶部１３と、制御部１５とを有する。なお、タブレット端末１０は、図１に示す機能部以外にも既知のタブレット端末が有する各種の機能部、例えばアンテナ、キャリア網を介して通信を行うキャリア通信部、音声を集音するマイクなどの機能を有することとしてもよい。
【００２３】
タッチパネル１１は、表示可能かつ入力可能なデバイスである。一態様としては、タッチパネル１１は、後述の制御部１５によって実行されるＯＳ（Operating  System）やアプリケーションプログラムによって出力される画像を表示する。他の一態様としては、タッチパネル１１は、画面上でなされるタップ、フリック、スイープ、ピンチインやピンチアウトなどのタッチ操作を受け付ける。
【００２４】
カメラ１２は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などを用いた撮像装置である。一態様としては、カメラ１２は、カメラ１２の近傍に配置された光源１２ａを制御することによって被写体に赤外線を照射させ、被写体からの反射光を受光した上でデジタル信号に変換された被写体の画像を後述の検出部１５ａへ出力する。このとき、被写体に利用者の眼球が含まれる場合には、網膜上の光の反射がカメラ１２によって捉えられ、眼球の瞳孔部分が他の部分よりも明るく写った画像を得ることができる。なお、上記のカメラ１２には、タブレット端末１０の出荷時から搭載されているカメラを流用することとしてもよいし、外部接続されたデジタルカメラ等を使用することもできる。
【００２５】
記憶部１３は、制御部１５で実行されるＯＳや操作受付プログラムなどの各種プログラムを記憶する記憶デバイスである。記憶部１３の一態様としては、フラッシュメモリなどの半導体メモリ素子、ハードディスク、光ディスクなどの記憶装置が挙げられる。また、記憶部１３は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Random  Access  Memory)、ＲＯＭ（Read  Only  Memory)であってもよい。記憶部１３は、制御部１５で実行されるプログラムに用いられるデータの一例として、後述する照準領域情報１３ａや対応関係情報１３ｂなどを記憶する。
【００２６】
制御部１５は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１５は、図１に示すように、検出部１５ａと、受付部１５ｂと、設定部１５ｃと、表示制御部１５ｄと、記録部１５ｅと、変換部１５ｆと、出力部１５ｇとを有する。
【００２７】
このうち、検出部１５ａは、視線の視線検出を実行する処理部である。一態様としては、検出部１５ａは、カメラ１２によって出力された被写体の画像に角膜反射法などのアルゴリズムを適用し、眼球の瞳孔の中心位置から視線の方向が指す視点の位置、いわゆる注視点を検出する。ここで、以下では、検出部１５ａによって検出された視点の位置のことを「視線の検出位置」と記載する場合がある。その上で、検出部１５ａは、被写体の画像から検出した視線の位置を後述の設定部１５ｃへ出力する。
【００２８】
なお、ここでは、角膜反射法を用いて視線の位置を検出する場合を例示したが、他の方法を用いて視線の位置を検出することもできる。例えば、開示の装置は、タッチパネル１１の画面を分割し、分割した領域を見る眼の形状を学習しておき、カメラ１２から入力される被写体の画像から検出した眼の形状とテンプレートマッチングを実行することによって視線の位置を検出することもできる。また、開示の装置は、利用者に視線の位置を検出するヘッドセットを装着させ、ヘッドセットによって検出された視線の位置を取得することとしてもかまわない。
【００２９】
受付部１５ｂは、検出部１５ａによる視線の検出結果を有効化するタイミングの指示を受け付ける処理部である。一態様としては、受付部１５ｂは、タッチパネル１１の画面内であり、かつ視線の検出位置から所定の距離以上の距離を隔てた位置がタップされたことをもってタイミングの指示が受け付けられたとみなすことができる。他の一態様としては、受付部１５ｂは、タッチパネル１１の画面上で所定のタッチ操作、例えばスイープ等がなされたことをもってタイミングの指示が受け付けられたとみなすこともできる。更なる一態様としては、受付部１５ｂは、タッチパネル１１の画面上に表示されたタイミング指示用のボタンがタップされたことをもってタイミングの指示が受け付けられたとみなすこともできる。他の一態様としては、受付部１５ｂは、図示しないマイク等の集音デバイスから入力された音声の認識結果が所定のキーワード、例えば「スタート」などのワードと一致することをもってタイミングの指示が受け付けられたとみなすこともできる。
【００３０】
設定部１５ｃは、検出部１５ａによる視線の検出位置を用いて、タッチパネル１１の画面上で目標とするオブジェクトの存在を想定する目標領域を設定する処理部である。一態様としては、設定部１５ｃは、視線の検出位置を目標領域の重心として設定するとともに、記憶部１３に記憶された照準領域情報１３ａに定義されている照準領域の幅および高さを目標領域の幅および高さとして設定する。
【００３１】
ここで、図５を用いて、視線の検出位置に重ね合わせる照準領域について説明する。図５は、照準領域の一例を示す図である。図５に示すように、照準領域４０Ｄは、タッチパネル１１の画面上で照準領域４０Ｄの重心が存在する重心位置Ｇｄ（xd,yd）と、照準領域４０Ｄの幅ＩＩおよび高さＩｓとによって定義される。かかる照準領域４０Ｄには、利用者がタブレット端末１０を持つ方の手の親指２０がタブレット端末１０をつかんだ状態で届く範囲５０と同等もしくは範囲５０よりも小さい形状およびサイズが定義される。図５の例で言えば、上記の範囲５０によって内包され、タブレット端末１０の角の部分に隣接する矩形領域が照準領域４０Ｄとして定義されている。このとき、タッチパネル１１の画面に表示される画像の上下方向が決まっている場合には、当該画像が表示される左下の隅と照準領域４０Ｄの左下の頂点とが一致するように重心位置Ｇｄ（xd,yd）を定めることもできる。
【００３２】
なお、図５の例では、照準領域４０Ｄの形状が矩形である場合を例示したが、他の形状、例えば四角形以外の多角形、円形、楕円形とすることとしてもかまわない。また、照準領域４０Ｄは、必ずしも固定である必要はなく、利用者の指の長さに合わせて重心位置と幅および高さとをキャリブレーションすることもできる。
【００３３】
続いて、図６を用いて、目標領域の設定方法を説明する。図６は、目標領域の設定例を示す図である。図６に示すように、視線の検出位置（xs,ys）が目標領域４０Ｓの重心位置Ｇｓ（xs,ys）として設定されるとともに、照準領域４０Ｄの幅ＩＩおよび高さＩｓが目標領域４０Ｓの幅および高さとして設定される。なお、図６の例では、目標領域４０Ｓ及び照準領域４０Ｄのサイズを同一に設定する場合を例示したが、必ずしも両者のサイズは同一である必要はない。例えば、目標領域４０Ｓに表示されている部分画像を拡大して照準領域に表示させる場合には、部分画像の拡大率に合わせて照準領域４０Ｄの幅および高さを縮めて目標領域４０Ｓの幅および高さを設定することもできる。
【００３４】
表示制御部１５ｄは、タッチパネル１１の表示制御を実行する処理部である。一態様としては、表示制御部１５ｄは、目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、画面に表示される画像のうち目標領域に表示される部分画像を表示させる。この結果、図４に示したように、視線は届いてもタッチ操作が困難であった円形のオブジェクトを含む目標領域４０Ｓの部分画像がタブレット端末１０を所持する手でタッチ可能な照準領域４０Ｄに表示される。
【００３５】
記録部１５ｅは、照準領域の座標および目標領域の座標の対応関係を記憶部１３に記録する処理部である。一態様としては、記録部１５ｅは、目標領域の重心座標Ｇｓ（xs,ys）と照準領域の重心座標Ｇｄ(xd,yd)との間で位置の差分（dx,dy）を計算する。そして、記録部１５ｅは、先に計算した位置の差分（dx,dy）で表現される変換関数に照準領域に含まれる各画素の座標を代入することによって目標領域に含まれる各画素の座標を導出する。図７は、照準領域の座標および目標領域の座標の対応付け方法の一例を示す図である。図７に示すように、目標領域４０Ｓの重心座標Ｇｓ（xs,ys）から照準領域４０Ｄの重心座標Ｇｄ(xd,yd)を減算する計算（xs-xd,ys-yd）を実行することによって位置の差分（dx,dy）が算出される。その後、位置の差分（dx,dy）で表現される変換関数に照準領域４０Ｄに含まれる各画素の座標が代入される。例えば、照準領域４０Ｄに含まれる画素Ａ´の座標（xda,yda）に位置の差分（dx,dy）を足し込むことによって目標領域４０Ｓの画素Ａの座標（xsa,ysa）が算出される。また、照準領域４０Ｄに含まれる画素Ｂ´の座標（xdb,ydb）に位置の差分（dx,dy）を足し込むことによって目標領域４０Ｓの画素Ａの座標（xsb,ysb）が算出される。このようにして目標領域に含まれる各画素の座標が算出される。
【００３６】
その上で、記録部１５ｅは、照準領域に含まれる各画素の座標と目標領域に含まれる各画素の座標とを対応付けた対応関係情報１３ｂを生成した上で対応関係情報１３ｂを記憶部１３へ記録する。図８は、対応関係情報１３ｂの一例を示す図である。図８の例では、照準領域４０Ｄに含まれる各画素の座標（xd0,yd0）、（xd1,yd0）、・・・、（xdI,ydIs）が目標領域４０Ｓに含まれる各画素の座標（xs0,ys0）、（xs1,ys0）、・・・、（xsI,ysIs）にそれぞれ対応することを示す。なお、図８の例では、照準領域に含まれる各画素の座標と目標領域に含まれる各画素の座標との対応関係を対応関係情報１３ｂとする場合を例示したが、位置の差分（dx,dy）で表現される変換関数を対応関係情報１３ｂとして記録することとしてもかまわない。
【００３７】
変換部１５ｆは、照準領域内でタッチ操作を受け付けた場合に、対応関係情報１３ｂを用いて、当該タッチ操作を受け付けた照準領域の座標を目標領域へ投影された座標に変換する処理部である。一態様としては、変換部１５ｆは、表示制御部１５ｄによって照準領域に目標領域の部分画像の表示が開始されてから所定期間ｔｄ、例えば５秒が経過するまでタップ操作を監視する。このとき、変換部１５ｆは、所定期間内にタップ操作がなされた場合には、当該タップ操作がなされた座標が照準領域内であるか否かをさらに判定する。そして、変換部１５ｆは、タップ操作がなされた座標が照準領域内である場合には、タップ操作がなされた照準領域の座標を、対応関係情報１３ｂに定義された目標領域の座標のうちタップ操作がなされた照準領域の座標に対応付けられた目標領域の座標に変換する。このとき、変換部１５ｆは、位置の差分（dx,dy）で表現される変換関数が対応関係情報１３ｂとして記録されている場合には、タップ操作がなされた照準領域の座標に位置の差分（dx,dy）を足し込むことによって目標領域の座標に変換することとしてもかまわない。
【００３８】
図９は、座標変換の一例を示す図である。例えば、図９に示すように、照準領域４０Ｄ内の座標（xt,yt）がタップ操作された場合には、当該タップ操作がなされた座標（xt,yt）は、位置の差分（dx,dy）が足し込まれた座標（xc,yc）へ変換される。これによって、照準領域に表示された部分画像上でなされたタップ操作が目標領域に表示された部分画像上でなされたものと同定されることになる。
【００３９】
出力部１５ｇは、変換部１５ｆによって変換された目標領域の座標を所定の出力先へ出力する処理部である。一態様としては、出力部１５ｇは、変換部１５ｆによって変換された目標領域の座標を制御部１５によって実行されるＯＳやアプリケーションプログラムへ出力する。かかる目標領域の座標の出力によって、図９に示した例で言えば、利用者が操作の目標とする円形のオブジェクトがタップされたとＯＳやアプリケーションプログラムに認識させることができる。なお、図９の例では、オブジェクトの一例としてアイコンをタップする場合を想定したが、他のオブジェクト、例えばタブ、プルダウンメニューやリンクなどがタップされる場合も同様の効果が得られる。
【００４０】
なお、制御部１５には、各種の集積回路や電子回路を採用できる。また、制御部１５が有する機能部の一部を別の集積回路や電子回路とすることもできる。例えば、集積回路としては、ＡＳＩＣ（Application  Specific  Integrated  Circuit）が挙げられる。また、電子回路としては、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）などが挙げられる。
【００４１】
［処理の流れ］
図１０は、実施例１に係る操作受付処理の手順を示すフローチャートである。この操作受付処理は、タブレット端末１０の電源がＯＮ状態である限り、繰り返し実行される処理であり、タッチパネル１１の画面上でタップ操作を受け付けた場合に処理が起動する。
【００４２】
図１０に示すように、タッチパネル１１の画面上でタップ操作を受け付けると（ステップＳ１０１）、タブレット端末１０は、視線の検出位置がタッチパネル１１の画面内であるか否かを判定する（ステップＳ１０２）。
【００４３】
このとき、視線の検出位置がタッチパネル１１の画面内ではない場合（ステップＳ１０２，Ｎｏ）には、利用者がよそ見などをしており、タブレット端末１０を操作する意思を持つ可能性が低いと推定できる。この場合には、タブレット端末１０は、以降の処理を実行せずにそのまま処理を終了する。
【００４４】
一方、視線の検出位置がタッチパネル１１の画面内である場合（ステップＳ１０２，Ｙｅｓ）には、タブレット端末１０は、当該タップ操作を受け付けた位置にオブジェクトがないか否かを判定する（ステップＳ１０３）。
【００４５】
そして、タップ操作を受け付けた位置にオブジェクトがある場合（ステップＳ１０３，Ｎｏ）には、タップ操作を受け付けた座標が当該オブジェクトを出力しているプログラムへ出力された後に処理を終了する。
【００４６】
また、タップ操作を受け付けた位置にオブジェクトがない場合（ステップＳ１０３，Ｙｅｓ）には、タブレット端末１０は、タップ操作を受け付けた位置が視線の検出位置から所定の距離未満であるか否かを判定する。なお、タップ操作を受け付けた位置が視線の検出位置から所定の距離未満である場合（ステップＳ１０４，Ｙｅｓ）には、以降の処理を実行せずにそのまま処理を終了する。
【００４７】
このとき、タップ操作を受け付けた位置が視線の検出位置から所定の距離以上である場合（ステップＳ１０４，Ｎｏ）には、タブレット端末１０は、次のような処理を実行する。すなわち、タブレット端末１０は、ステップＳ１０１でタップ操作が受け付けられた時点で検出された視線の位置を用いて、タッチパネル１１の画面上で目標とするオブジェクトの存在を想定する目標領域を設定する（ステップＳ１０５）。
【００４８】
続いて、タブレット端末１０は、目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、画面に表示される画像のうち目標領域に表示される部分画像を表示させる（ステップＳ１０６）。
【００４９】
さらに、タブレット端末１０は、照準領域に含まれる各画素の座標と目標領域に含まれる各画素の座標とを対応付けた対応関係情報１３ｂを生成した上で対応関係情報１３ｂを記憶部１３へ記録する（ステップＳ１０７）。
【００５０】
その後、タブレット端末１０は、ステップＳ１０６で照準領域に目標領域の部分画像の表示が開始されてから所定期間ｔｄ、例えば５秒が経過するまでタップ操作を監視する（ステップＳ１０８）。
【００５１】
ここで、所定期間内にタップ操作がなされた場合（ステップＳ１０８，Ｙｅｓ）には、タブレット端末１０は、当該タップ操作がなされた座標が照準領域内であるか否かをさらに判定する（ステップＳ１０９）。
【００５２】
そして、タップ操作がなされた座標が照準領域内である場合（ステップＳ１０９，Ｙｅｓ）には、タブレット端末１０は、次のような処理を実行する。すなわち、タブレット端末１０は、タップ操作がなされた照準領域の座標を、対応関係情報１３ｂに定義された目標領域の座標のうちタップ操作がなされた照準領域の座標に対応付けられた目標領域の座標に変換する（ステップＳ１１０）。その後、タブレット端末１０は、ステップＳ１１０で変換された目標領域の座標をＯＳやアプリケーションプログラムへ出力し（ステップＳ１１１）、処理を終了する。
【００５３】
また、所定期間内にタップ操作がなされなかった場合またはタップ操作がなされた座標が照準領域内でない場合（ステップＳ１０８，Ｎｏ  ｏｒ  ステップＳ１０９，Ｎｏ）には、タブレット端末１０は、次のような処理を実行する。すなわち、タブレット端末１０は、ステップＳ１０６で照準領域に表示させていた部分画像を削除し（ステップＳ１１２）、処理を終了する。
【００５４】
なお、上記のフローチャートでは、ステップＳ１０６の処理が実行された後にステップＳ１０７の処理が実行される場合を例示したが、これらステップＳ１０６及びステップＳ１０７の処理は順序を入れ換えることもできるし、並行して実行させることもできる。
【００５５】
［実施例１の効果］
上述してきたように、本実施例に係るタブレット端末１０は、タッチパネル１１の画面上で視線の検出位置が指す目標領域の部分画像を手元側の照準領域に表示させることによって端末を持つ手では届かない範囲の操作を受け付ける。それゆえ、本実施例に係るタブレット端末１０では、タブレット端末１０を持つ方の手でタッチパネルを片手操作させる場合に、目標とするオブジェクトの一点を注視させずとも、目標とするオブジェクトに対するタッチ操作が可能になる。したがって、本実施例に係るタブレット端末１０によれば、利用者の眼に掛かる負担を軽減できる。
【実施例２】
【００５６】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【００５７】
［目標領域の設定の応用例］
上記の実施例１では、タップ操作によってタイミングが指示された時点で検出された視線の位置を目標領域の設定に用いる場合を説明したが、タイミングが指示されるよりも前の時点で検出された視線の位置を目標領域の設定に用いることもできる。
【００５８】
すなわち、タップ操作を処理起動のトリガーとしたとき、タップ操作による衝撃が原因となってタブレット端末１０が揺れ、タップ操作を受け付ける前後で視線の検出位置がブレてしまう可能性がある。その一方で、タップ操作を行う前には、利用者は、目標とするオブジェクトを見る準備を行う可能性が高いと想定される。そこで、開示の装置は、タップ操作が実行される前の時点で検出された視線の位置を目標領域の設定に使用する。これによって、タップ操作による衝撃が原因となってタブレット端末１０が揺れた場合でも、利用者が目標と定めるオブジェクトを含めて目標領域を設定することができる。
【００５９】
［目標領域の再設定の応用例］
開示の装置は、目標領域の座標が出力される前後でタッチパネル１１の画面上に表示される画像の差分の割合を算出し、画像の差分の割合が所定の閾値以下である場合に、当該差分となる画像が表示される領域を目標領域として設定することもできる。これによって、メニューが階層化して表示される場合に、階層化して表示されるメニューを連鎖して選択することができる。
【００６０】
ここで、上記の閾値には、アプリケーションプログラムによって画面に出力されるウィンドウの画面そのものが遷移したのか、ウィンドウにタブやプルダウンメニューなどの一部の表示領域が出現したのかが判別できる程度の割合、例えば画面の５０％が設定される。また、目標領域の再設定時には、差分となる画像の幅および高さが照準領域情報１３ａの幅および高さよりも大きくとも、差分となる画像が表示される領域を目標領域の再設定し、照準領域の幅および高さも目標領域の幅および高さに合わせる。
【００６１】
図１１は、応用例を説明するための説明図である。図１１に示すように、目標領域に表示されたメニューバー２００Ａが照準領域にメニューバー２００Ａ´として表示された場合に、照準領域内のメニューバー２００Ａ´がタップされる。すると、メニューバー２００Ａに対応するドロップダウンメニュー２１０Ａがタッチパネル１１の画面に表示される。この場合には、ドロップダウンメニュー２１０Ａが差分となるが、タッチパネル１１の画面の５０％以下である。よって、ドロップダウンメニュー２１０Ａが目標領域に再設定される。かかる目標領域の再設定に連動して、照準領域にドロップダウンメニュー２１０Ａ´が表示される。
【００６２】
このとき、照準領域内のドロップダウンメニュー２１０Ａ´に含まれるメニューアイテムがタップされると、当該メニューアイテムに対応するサブメニュー２２０Ｂがタッチパネル１１の画面にさらに表示される。この場合には、サブメニュー２２０Ｂが差分となるが、タッチパネル１１の画面の５０％以下である。よって、サブメニュー２２０Ｂが目標領域に再設定される。かかる目標領域の再設定に連動して、照準領域にサブメニュー２２０Ｂ´が表示される。これによって、メニューバー２００Ａ、プルダウンメニュー２１０Ａのメニューアイテム、メニューアイテムのサブメニュー２２０Ｂの順にメニューを連鎖して選択することができる。
【００６３】
［対応関係情報の応用例］
上記の実施例１では、照準領域に含まれる各画素の座標と目標領域に含まれる各画素の座標との対応関係を対応関係情報１３ｂとして記録する場合を例示したが、画素間の座標以外の情報を対応付けて記録することもできる。例えば、開示の装置は、照準領域および目標領域の画素間の座標の対応関係とともに、目標領域に表示される部分画像の画素値を対応付けた対応関係情報を記録することもできる。そして、開示の装置は、制御部１５内で実行されるＯＳやアプリケーションプログラムによって目標領域に表示される部分画像が更新されるのに合わせて対応関係情報の記録を更新する。これによって、目標領域に表示される部分画像に変化がある場合、例えば動画が再生されていたり、バナー表示がなされていたりする場合でも、対応関係情報を用いて、照準領域に表示される部分画像を目標領域の部分画像と同期させることができる。
【００６４】
［部分画像の表示タイミングの応用例］
上記の実施例１では、目標領域が設定された時に照準領域に部分画像をリアルタイムで表示させる場合を例示したが、必ずしも照準領域に部分画像をリアルタイムで表示させる必要はない。例えば、開示の装置は、目標領域が設定された時点の画像を記憶部１３へ蓄積しておき、所定の条件、例えば画面のスクロールが最後まで移動される条件や部分画像の表示を開放する操作を受け付ける条件を満たした場合に照準領域に部分画像を表示させることもできる。
【００６５】
［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、受付部１５ｂ、設定部１５ｃ、表示制御部１５ｄ、記録部１５ｅ、変換部１５ｆ及び出力部１５ｇのうち少なくとも１つの機能部をタブレット端末１０の外部装置としてネットワーク経由で接続し、操作受付サービスを実行するサーバ装置として構成するようにしてもよい。また、受付部１５ｂ、設定部１５ｃ、表示制御部１５ｄ、記録部１５ｅ、変換部１５ｆまたは出力部１５ｇを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のタブレット端末１０の機能を実現するようにしてもよい。
【００６６】
［操作受付プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１２を用いて、上記の実施例と同様の機能を有する操作受付プログラムを実行するコンピュータの一例について説明する。
【００６７】
図１２は、実施例１及び実施例２に係る操作受付プログラムを実行するコンピュータの一例について説明するための図である。図１２に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
【００６８】
ＨＤＤ１７０には、図１２に示すように、上記の実施例１で示した受付部１５ｂ、設定部１５ｃ、表示制御部１５ｄ、記録部１５ｅ、変換部１５ｆ及び出力部１５ｇと同様の機能を発揮する操作受付プログラム１７０ａが予め記憶される。この操作受付プログラム１７０ａについては、図１に示した各々の受付部１５ｂ、設定部１５ｃ、表示制御部１５ｄ、記録部１５ｅ、変換部１５ｆ及び出力部１５ｇの各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。
【００６９】
そして、ＣＰＵ１５０が、操作受付プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１２に示すように、操作受付プログラム１７０ａは、操作受付プロセス１８０ａとして機能する。この操作受付プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、操作受付プロセス１８０ａは、図１に示した受付部１５ｂ、設定部１５ｃ、表示制御部１５ｄ、記録部１５ｅ、変換部１５ｆ及び出力部１５ｇにて実行される処理、例えば図１０に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。
【００７０】
なお、上記の操作受付プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
【００７１】
以上の実施例１〜２を含む実施形態に関し、さらに以下の付記を開示する。
【００７２】
（付記１）表示可能かつ入力可能なタッチパネルと、
視線の検出結果を有効化する契機の指示を受け付ける受付部と、
視線の検出位置を用いて、前記タッチパネルの画面上で目標とするオブジェクトの存在を想定する目標領域を設定する設定部と、
前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、前記画面に表示される画像のうち前記目標領域に表示される部分画像を表示させる表示制御部と、
前記照準領域の座標および前記目標領域の座標の対応関係を所定の記憶部に記録する記録部と、
前記照準領域内でタッチ操作を受け付けた場合に、前記記憶部に記憶された対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を前記目標領域へ投影された座標に変換する変換部と、
前記変換部によって変換された座標を出力する出力部と
を有することを特徴とするタブレット端末。
【００７３】
（付記２）前記設定部は、前記視線の検出結果のうち前記受付部によって指示が受け付けられる前の視線の検出位置を用いて、前記目標領域を設定することを特徴とする付記１に記載のタブレット端末。
【００７４】
（付記３）前記出力部によって座標が出力される前後で前記タッチパネルの画面上に表示される画像の差分の割合を算出する算出部をさらに有し、
前記設定部は、前記算出部によって算出された画像の差分の割合が所定の閾値以下である場合に、当該差分となる画像が表示される領域を目標領域として再設定することを特徴とする付記１または２に記載のタブレット端末。
【００７５】
（付記４）コンピュータに、
視線の検出結果を有効化する契機の指示を受け付け、
視線の検出位置を用いて、タッチパネルの画面上で目標とするオブジェクトの存在を想定する目標領域を設定し、
前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、前記画面に表示される画像のうち前記目標領域に表示される部分画像を表示させ、
前記照準領域の座標および前記目標領域の座標の対応関係を所定の記憶部に記録し、
前記照準領域内でタッチ操作を受け付けた場合に、前記記憶部に記憶された対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を前記目標領域へ投影された座標に変換し、
変換された座標を出力する
処理を実行させることを特徴とする操作受付プログラム。
【００７６】
（付記５）プロセッサ及びメモリを有するタブレット端末であって、
前記プロセッサは、
視線の検出結果を有効化する契機の指示を受け付け、
視線の検出位置を用いて、タッチパネルの画面上で目標とするオブジェクトの存在を想定する目標領域を設定し、
前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、前記画面に表示される画像のうち前記目標領域に表示される部分画像を表示させ、
前記照準領域の座標および前記目標領域の座標の対応関係を所定の記憶部に記録し、
前記照準領域内でタッチ操作を受け付けた場合に、前記記憶部に記憶された対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を前記目標領域へ投影された座標に変換し、
変換された座標を出力する
処理を実行することを特徴とするタブレット端末。
【００７７】
（付記６）コンピュータに、
視線の検出結果を有効化する契機の指示を受け付け、
視線の検出位置を用いて、タッチパネルの画面上で目標とするオブジェクトの存在を想定する目標領域を設定し、
前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、前記画面に表示される画像のうち前記目標領域に表示される部分画像を表示させ、
前記照準領域の座標および前記目標領域の座標の対応関係を所定の記憶部に記録し、
前記照準領域内でタッチ操作を受け付けた場合に、前記記憶部に記憶された対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を前記目標領域へ投影された座標に変換し、
変換された座標を出力する
処理を実行させる操作受付プログラムをコンピュータ読み取り可能な記録媒体。
【符号の説明】
【００７８】
１０    タブレット端末
１１    タッチパネル
１２    カメラ
１２ａ  光源
１３    記憶部
１３ａ  照準領域情報
１３ｂ  対応関係情報
１５    制御部
１５ａ  検出部
１５ｂ  受付部
１５ｃ  設定部
１５ｄ  表示制御部
１５ｅ  記録部
１５ｆ  変換部
１５ｇ  出力部
【図１】
0005942586.tif 000002
【図２】
0005942586.tif 000003
【図３】
0005942586.tif 000004
【図４】
0005942586.tif 000005
【図５】
0005942586.tif 000006
【図６】
0005942586.tif 000007
【図７】
0005942586.tif 000008
【図８】
0005942586.tif 000009
【図９】
0005942586.tif 000010
【図１０】
0005942586.tif 000011
【図１１】
0005942586.tif 000012
【図１２】
0005942586.tif 000013