(57)【要約】      （修正有）【課題】ユーザが選択しようとするオブジェクトを予測し、指示体とオブジェクトとが重なる前にこのオブジェクトを選択できるようにする。【解決手段】表示装置は、表示面１４１に画像を表示するとともに、指Ｆを表示面１４１に非接触により近接させて行う近接操作、及び、表示面１４１に指を接触させて行接触操作を検出可能である。表示装置は、点Ｐ１から点Ｐ２に指Ｆを移動させる近接操作を検出すると、点Ｐ２を中心とし、近接操作の操作方向（矢印Ｂ１方向）に広がる扇形の参照領域Ｔ１を特定する。そして、表示装置は、参照領域Ｔ１の弧Ａｒ１に重なるオブジェクトＩ１を受付可能状態に設定する。表示装置は、オブジェクトＩ１を受付可能状態に設定した後は、オブジェクトＩ１の表示位置以外を指示する接触操作（例えば点Ｐ２を指示する接触操作）を検出した場合にも、オブジェクトＩ１をユーザの選択オブジェクトとして特定する。【選択図】図６
2014071461.tif 000002
【特許請求の範囲】
【請求項１】
表示面に画像を表示する表示部と、
指示体を前記表示面に非接触により近接させて行う第１操作、及び、前記第１操作よりも前記指示体を前記表示面に近接させて行う第２操作をそれぞれ検出する操作検出部と、
ユーザに選択されるオブジェクトを含む画像を前記表示面に表示するように、前記表示部を制御する表示制御部と、
前記操作検出部により検出された前記第１操作の移動の軌跡に応じたオブジェクトを、ユーザによる選択を受け付け可能な第１状態に設定する第１設定部と、
前記第１設定部がオブジェクトを前記第１状態に設定した後は、前記操作検出部により当該オブジェクトの表示位置以外を指示する前記第２操作が検出された場合にも、当該オブジェクトを、ユーザによる選択を受け付けた第２状態に設定する第２設定部と
を備えることを特徴とするユーザインタフェース装置。
【請求項２】
前記第１設定部は、
前記第１操作の検出位置から前記第１操作の操作方向に位置するオブジェクトを前記第１状態に設定する
ことを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項３】
前記第１設定部は、
前記検出位置から前記操作方向に離れるにつれて広くなる参照領域を特定し、特定した参照領域に含まれるオブジェクトを前記第１状態に設定する
ことを特徴とする請求項２に記載のユーザインタフェース装置。
【請求項４】
前記第１設定部は、
前記検出位置を中心として前記操作方向に所定角度で広がる扇形の参照領域を特定し、特定した参照領域の弧に重なるオブジェクトを前記第１状態に設定する
ことを特徴とする請求項３に記載のユーザインタフェース装置。
【請求項５】
前記表示制御部は、
前記第１設定部により前記第１状態に設定されたオブジェクトの表示態様を変更する
ことを特徴とする請求項１から４のいずれか１項に記載のユーザインタフェース装置。
【請求項６】
画像が表示される表示面に指示体を非接触により近接させて行う第１操作、及び、前記第１操作よりも前記指示体を前記表示面に近接させて行う第２操作をそれぞれ検出する操作検出ステップと、
ユーザに選択されるオブジェクトを含む画像を前記表示面に表示する表示ステップと、
前記操作検出ステップで検出した前記第１操作の移動の軌跡に応じたオブジェクトを、ユーザによる選択を受け付け可能な第１状態に設定する第１設定ステップと、
前記第１設定ステップでオブジェクトを前記第１状態に設定した後は、前記操作検出ステップで当該オブジェクトの表示位置以外を指示する前記第２操作が検出された場合にも、当該オブジェクトを、ユーザによる選択を受け付けた第２状態に設定する第２設定ステップと
を有するユーザインタフェース方法。
【請求項７】
表示面に画像を表示する表示装置のコンピュータに、
前記表示面に指示体を非接触により近接させて行う第１操作、及び、前記第１操作よりも前記指示体を前記表示面に近接させて行う第２操作をそれぞれ検出する操作検出ステップと、
ユーザに選択されるオブジェクトを含む画像を前記表示面に表示するように、前記表示装置を制御する表示制御ステップと、
前記操作検出ステップで検出した前記第１操作の移動の軌跡に応じたオブジェクトを、ユーザによる選択を受け付け可能な第１状態に設定する第１設定ステップと、
前記第１設定ステップにおいてオブジェクトを前記第１状態に設定した後は、前記操作検出ステップで当該オブジェクトの表示位置以外を指示する前記第２操作が検出された場合にも、当該オブジェクトを、ユーザによる選択を受け付けた第２状態に設定する第２設定ステップ第２設定ステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザインタフェースにおけるオブジェクトを選択する操作を検出する技術に関する。
【背景技術】
【０００２】
スマートフォンやタブレット端末等の表示装置には、ユーザに選択されるオブジェクト（例えばアイコン画像）を表示し、タッチ操作等で選択されたオブジェクトに対応した機能を利用させるユーザインタフェースを備えたものがある。この種のユーザインタフェースでは、ユーザの指等の指示体とユーザが選択しようとするオブジェクトとが重なり、ユーザは、自身が選択しようとするオブジェクトが視認しにくくなることがある。これに対し、特許文献１，２は、ユーザが所望するオブジェクトを選択しやすくなるようにする技術を開示している。
【０００３】
特許文献１は、指やスタイラスの位置に基づいて表示領域上にポインタを表示する場合に、ユーザの指等が最も近接した位置よりも予め設定した画素分だけずらした位置に、ポインタを表示することを開示している。特許文献２は、ユーザの指の接触又は近接を検出した位置にカーソルを表示させ、カーソルの先端に存在するオブジェクトを選択可能にすることを開示している。また、特許文献２は、ユーザの２本の指の移動を検知して、カーソルの回転又は拡大／縮小を行うことを開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２６１５５号公報
【特許文献２】特開２０１１−２８５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１，２に記載の発明では、ユーザの指等の指示体の現在位置と、カーソル（ポインタ）又は入力フォーカスを与えるオブジェクトの位置との関係を工夫して、ユーザが所望するオブジェクトを選択しやすくなるようにしている。
これに対し、本発明の目的は、ユーザが選択しようとするオブジェクトを予測し、指示体とオブジェクトとが重なる前にこのオブジェクトを選択できるようにすることである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため、本発明のユーザインタフェース装置は、表示面に画像を表示する表示部と、指示体を前記表示面に非接触により近接させて行う第１操作、及び、前記第１操作よりも前記指示体を前記表示面に近接させて行う第２操作をそれぞれ検出する操作検出部と、ユーザに選択されるオブジェクトを含む画像を前記表示面に表示するように、前記表示部を制御する表示制御部と、前記操作検出部により検出された前記第１操作の移動の軌跡に応じたオブジェクトを、ユーザによる選択を受け付け可能な第１状態に設定する第１設定部と、前記第１設定部がオブジェクトを前記第１状態に設定した後は、前記操作検出部により当該オブジェクトの表示位置以外を指示する前記第２操作が検出された場合にも、当該オブジェクトを、ユーザによる選択を受け付けた第２状態に設定する第２設定部とを備えることを特徴とする。
【０００７】
本発明において、前記第１設定部は、前記第１操作の検出位置から前記第１操作の操作方向に位置するオブジェクトを前記第１状態に設定するようにしてもよい。
この発明において、前記第１設定部は、前記検出位置から前記操作方向に離れるにつれて広くなる参照領域を特定し、特定した参照領域に含まれるオブジェクトを前記第１状態に設定するようにしてもよい。
この発明において、前記第１設定部は、前記検出位置を中心として前記操作方向に所定角度で広がる扇形の参照領域を特定し、特定した参照領域の弧に重なるオブジェクトを前記第１状態に設定するようにしてもよい。
【０００８】
本発明において、前記表示制御部は、前記第１設定部により前記第１状態に設定されたオブジェクトの表示態様を変更するようにしてもよい。
【０００９】
本発明のユーザインタフェース方法は、画像が表示される表示面に指示体を非接触により近接させて行う第１操作、及び、前記第１操作よりも前記指示体を前記表示面に近接させて行う第２操作をそれぞれ検出する操作検出ステップと、ユーザに選択されるオブジェクトを含む画像を前記表示面に表示する表示ステップと、前記操作検出ステップで検出した前記第１操作の移動の軌跡に応じたオブジェクトを、ユーザによる選択を受け付け可能な第１状態に設定する第１設定ステップと、前記第１設定ステップでオブジェクトを前記第１状態に設定した後は、前記操作検出ステップで当該オブジェクトの表示位置以外を指示する前記第２操作が検出された場合にも、当該オブジェクトを、ユーザによる選択を受け付けた第２状態に設定する第２設定ステップとを有する。
【００１０】
本発明のプログラムは、表示面に画像を表示する表示装置のコンピュータに、前記表示面に指示体を非接触により近接させて行う第１操作、及び、前記第１操作よりも前記指示体を前記表示面に近接させて行う第２操作をそれぞれ検出する操作検出ステップと、ユーザに選択されるオブジェクトを含む画像を前記表示面に表示するように、前記表示装置を制御する表示制御ステップと、前記操作検出ステップで検出した前記第１操作の移動の軌跡に応じたオブジェクトを、ユーザによる選択を受け付け可能な第１状態に設定する第１設定ステップと、前記第１設定ステップにおいてオブジェクトを前記第１状態に設定した後は、前記操作検出ステップで当該オブジェクトの表示位置以外を指示する前記第２操作が検出された場合にも、当該オブジェクトを、ユーザによる選択を受け付けた第２状態に設定する第２設定ステップ第２設定ステップとを実行させるためのプログラムである。
【発明の効果】
【００１１】
本発明によれば、ユーザが選択しようとするオブジェクトを予測し、指示体とオブジェクトとが重なる前にこのオブジェクトを選択できるようにすることができる。
【図面の簡単な説明】
【００１２】
【図１】表示装置のハードウェア構成を示すブロック図。
【図２】近接センサ及び接触センサを用いて特定可能な操作の説明図。
【図３】オブジェクトを含む画面の説明図。
【図４】表示装置の制御部の機能構成を示す機能ブロック図。
【図５】表示装置の処理の手順を示すフローチャート。
【図６】ユーザの操作及び表示装置の動作の説明図。
【図７】受付可能状態に設定されたオブジェクトを含む画面の説明図。
【図８】ユーザの操作及び表示装置の動作の説明図。
【図９】受付可能状態に設定されたオブジェクトを含む画面の説明図。
【図１０】参照領域の特定の手順の説明図（変形例２）。
【図１１】参照領域の特定の手順の説明図（変形例４）。
【図１２】参照領域の特定の手順の説明図（変形例５）。
【発明を実施するための形態】
【００１３】
以下、図面を参照しつつ本発明の実施形態を説明する。
図１は、表示装置１０のハードウェア構成を示すブロック図である。図１に示すように、表示装置１０は、制御部１１と、操作部１２と、通信部１３と、表示部１４と、記憶部１５とを備える。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、及びＲＡＭ（Random Access Memory）を有するマイクロコンピュータを備える。ＣＰＵは、ＲＯＭや記憶部１５に記憶されたプログラムをＲＡＭに読み出して実行することにより、表示装置１０の各部を制御する。通信部１３は、無線通信回路やアンテナを有し、ネットワークに接続して通信するためのインタフェースである。表示部１４は、液晶パネル等の複数画素を配置した矩形の表示面１４１を有し、表示面１４１に画像を表示する。記憶部１５は、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）やフラッシュメモリ等の記憶装置を備え、制御部１１により実行されるプログラムを記憶する。
【００１４】
操作部１２は、近接センサ１２１及び接触センサ１２２を有し、ユーザに操作される操作装置である。近接センサ１２１は、ユーザの指（指先）が表示面１４１に非接触により近接している状態を検出するセンサである。近接センサ１２１は、例えば、静電容量の変化に応じてユーザの指の位置を検出する静電容量型のセンサであるが、超音波を用いる超音波センサや赤外光型のセンサ、電磁誘導を利用した高周波発振型、磁石を用いた磁気型のセンサ等を用いてもよく、センサの検出方式は特に問わない。接触センサ１２２は、ユーザの指が表示面１４１に接触している状態を検出するセンサである。接触センサ１２２は、例えば静電容量型のセンサであるが、抵抗膜型や赤外光型のセンサ等を用いてもよく、センサの検出方式は特に問わない。
近接センサ１２１及び接触センサ１２２は、ユーザの指で指示された位置を検出すると、検出した位置を示す位置情報を制御部１１に供給する。ここで、近接センサ１２１及び接触センサ１２２が供給する位置情報を用いて特定可能な操作について説明する。
【００１５】
図２は、近接センサ１２１及び接触センサ１２２が供給する位置情報を用いて特定可能な操作の説明図である。図２（ａ）は、表示装置１０を正面から見た様子を表す図である。図２（ｂ）は、表示装置１０を側面側から見た様子を表す図である。
本実施形態では、図２（ａ）に示すように表示装置１０を正面から見て、表示面１４１の上下方向における位置と、表示面１４１の左右方向における位置と、表示面１４１の法線方向における位置とを表す座標情報によって、近接センサ１２１及び接触センサ１２２の検出位置を示す位置情報を表す。
【００１６】
図２（ｂ）に「検出可能領域」と付して二点鎖線を用いて示した範囲のように、近接センサ１２１は、表示面１４１の法線方向に位置する空間領域を検出可能領域として、ユーザの指Ｆの位置を検出し、検出した位置を示す位置情報を供給する。近接センサ１２１が供給する位置情報によって特定される操作のことを、以下では「近接操作」（第１操作）という。接触センサ１２２は、表示面１４１に接触するユーザの指Ｆの位置を検出して、検出した位置を示す位置情報を供給する。接触センサ１２２が供給する位置情報によって特定される操作のことを、以下では「接触操作」（第２操作）という。接触操作は、近接操作よりも、ユーザの指Ｆを表示面１４１に近接させて行う操作に相当する。
なお、近接センサ１２１及び接触センサ１２２が位置を検出する指示体は、本実施形態ではユーザの指とするが、スタイラス等のユーザが手に持って動かす指示用の器具であってもよい。また、操作部１２は、ユーザに操作される対象として、物理キー等の他の操作子を有していてもよい。また、本実施形態において、表示装置１０は、近接操作を検出する近接センサ１２１と接触操作を検出する接触センサ１２２とを別個に備えているが、近接センサ１２１及び接触センサ１２２に代えて、近接操作及び接触操作を検出する単一のセンサを備えてもよい。
【００１７】
以上の構成を有する表示装置１０は、前述の操作部１２及び表示部１４を用いて、ＧＵＩ（Graphical User Interface）と呼ばれるユーザインタフェースを提供する。表示装置１０は、ここではスマートフォンであり、図１に示す構成以外にも、撮影するためのカメラや音声の入出力を行うためのマイクロホン及びスピーカ等、通常のスマートフォンと共通の構成を有している。表示装置１０は、スマートフォン以外の表示装置であってもよく、例えばタブレット型コンピュータや携帯電話機、携帯型ゲーム機、携帯型音楽プレーヤ、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）等の、ユーザインタフェースを提供する他の表示装置であってもよい。
【００１８】
図３は、表示装置１０が表示する画面の説明図である。
図３（ａ）に示す画面ＳＣは、ユーザに選択されるオブジェクトＩ１〜Ｉ３を含む画面である。オブジェクトＩ１〜Ｉ３は、例えばハイパーリンクが設定されたアイコン画像であり、ユーザが接触操作で指示することによって選択することのできるオブジェクトである。本実施形態のオブジェクトは、アプリケーションプログラムに対応したアイコン画像等の他のアイコン画像であってもよいし、各種のソフトボタンやハイパーリンクが選択された文字列等であってもよい。このように本実施形態のオブジェクトは、ユーザに選択された場合に、表示装置１０がこのオブジェクトに応じた特定の処理を行うものであればよい。表示装置１０は、オブジェクトを指示する接触操作がユーザにより行われると、このオブジェクトを選択オブジェクトとして特定し、選択オブジェクトに応じた特定の処理を実行する。
なお、表示部１４の表示面１４１に表示されるオブジェクトを含む画像（画面）はどのような画面であってもよい。また、表示画面に含まれるオブジェクトの数や位置、サイズ等も特定の態様に限定されない。
次に、表示装置１０におけるユーザインタフェースに関わる機能の構成を説明する。
【００１９】
図４は、表示装置１０の制御部１１の機能構成を示す機能ブロック図である。図４に示すように、表示装置１０の制御部１１は、操作検出部１１１と、表示制御部１１２と、第１設定部１１３と、第２設定部１１４と、処理実行部１１５とに相当する機能を実現する。
操作検出部１１１は、ユーザにより表示面１４１に対して行われた近接操作及び接触操作を検出する。操作検出部１１１は、近接センサ１２１から供給された位置情報に基づいて、ユーザの近接操作を検出する。操作検出部１１１は、接触センサ１２２から供給された位置情報に基づいて、ユーザの接触操作を検出する。
【００２０】
操作検出部１１１は、例えば、表示面１４１に表示されたオブジェクトの表示領域内の位置情報と、表示面１４１の水平方向におけるユーザの指の位置を示す位置情報とが一致した場合、この位置情報により特定される近接操作又は接触操作を、オブジェクトを指示する操作として検出する。また、操作検出部１１１は、表示面１４１に表示されたオブジェクトの表示領域内の位置情報と、表示面１４１の水平方向におけるユーザの指の位置を示す位置情報とが一致しなくとも、両位置情報が所定範囲内で一致した場合（例えば、オブジェクトの近傍に指が触れた場合）にも、オブジェクトを指示する操作として検出してもよい。この場合において、操作検出部１１１は、接触操作よりも近接操作の方を、オブジェクトを指示する操作として検出する範囲を広くしてもよい。
【００２１】
表示制御部１１２は、ユーザに選択される（つまりユーザが選択可能な）オブジェクトを含む画像を表示面１４１に表示するように、表示部１４を制御する。
【００２２】
第１設定部１１３は、表示面１４１に表示されたオブジェクトをユーザによる選択を受け付け可能な状態（以下、「受付可能状態」という。）に設定する。詳しくは後述するが、第１設定部１１３は、操作検出部１１１により検出された近接操作の移動の軌跡に応じたオブジェクトを受付可能状態（第１状態）に設定する。受付可能状態に設定されたオブジェクトは、いわば入力フォーカスが与えられた状態のオブジェクトである。
【００２３】
第２設定部１１４は、第１設定部１１３がオブジェクトを受付可能状態に設定した後は、操作検出部１１１により接触操作が検出された場合に、このオブジェクトを、ユーザによる選択を受け付けた状態（以下、「選択状態」という。）に設定する。ここにおいて、第２設定部１１４は、受付可能状態のオブジェクトの表示位置以外（例えば、表示面１４１上のオブジェクトが配置されていない領域）を指示する接触操作が検出された場合にも、このオブジェクトを選択状態（第２状態）に設定する。選択状態に設定されたオブジェクトは、いわば入力フォーカスが与えられた後に実際にユーザに選択されたオブジェクトである。
【００２４】
処理実行部１１５は、第２設定部１１４により選択状態に設定されたオブジェクト（以下、「選択オブジェクト」という。）に応じた処理を実行する。処理実行部１１５は、例えば、選択オブジェクトに対応する機能をユーザに利用させるための特定の処理を実行する。
【００２５】
図５は、表示装置１０がユーザインタフェースを提供するときの処理の手順を示すフローチャートである。表示装置１０は、オブジェクトを含む画像を表示面１４１に表示させているときは、以下の処理ステップを繰り返し実行する。以下、表示装置１０が図３に示す画面ＳＣを表示させた場合の動作例を示しながら、表示装置１０の動作説明を行う。図６は、画面ＳＣが表示装置１０において表示されているときのユーザの操作及び表示装置１０の動作を説明する図である。
表示装置１０は、近接センサ１２１から供給された位置情報に基づいて、近接操作を検出する（ステップＳ１）。表示装置１０は、検出可能領域内の位置情報が近接センサ１２１から供給されると、近接操作を検出する。ここでは、表示装置１０が、図６（ａ）に示すように、指Ｆにより点Ｐ１を指示する近接操作を検出したものとする。
【００２６】
次に、表示装置１０は、指を移動させる近接操作を近接センサ１２１により検出したか否かを判断する（ステップＳ２）。表示装置１０は、近接操作を連続して複数回検出した場合に、この複数の検出位置（例えば、検出位置の分布）に基づいて、ユーザの指を移動させる近接操作を検出する。本実施形態では、簡単のために、最新の近接操作とその１つ前の近接操作とに基づいて、表示装置１０は指を移動させる近接操作を検出するものとする。
表示装置１０は、未だ１点を指示する近接操作しか検出していないので（ステップＳ２；ＮＯ）、ステップＳ１の処理に戻る。そして、表示装置１０は、ステップＳ１の処理で近接操作を検出する。ここでは、表示装置１０は、図６（ｂ）に示すように、指Ｆにより点Ｐ２を指示する近接操作を検出したものとする。
【００２７】
次に、表示装置１０は、ステップＳ２の処理で指を移動させる近接操作を検出したか否かを判断する。ここでは、表示装置１０は、図６（ｂ）に示すように、矢印Ｂ１の方向に指Ｆを移動させる近接操作を検出したと判断する（ステップＳ２；ＹＥＳ）。
なお、表示装置１０は、２点の近接操作の検出位置に基づいて、指を移動させる近接操作の操作方向を特定する場合には、前回の検出位置から最新の検出位置を向く方向を操作方向とすればよい。また、表示装置１０は、３点以上の近接操作の検出位置に基づいて、近接操作の操作方向を特定する場合には、操作方向の時間変化に基づいて、例えば平均となる操作方向を特定するとよい。表示装置１０における、複数の近接操作の検出位置に基づいて操作方向を特定するための具体的な方法については特に問わない。
【００２８】
次に、表示装置１０は、ユーザにより行われた近接操作の移動の軌跡に基づいて参照領域を特定する（ステップＳ３）。ここでは、表示装置１０は、近接操作の操作方向と最新の近接操作の検出位置とに応じて、図６（ｃ）に斜線を付して表した参照領域Ｔ１を特定する。具体的に、表示装置１０は、最新の近接操作の検出位置である点を中心とし、中心角がα［度］（αは定数）であり、半径がｒ（ｒは定数）の扇形の領域を、参照領域として特定する。参照領域は、最新の近接操作の検出位置から近接操作の操作方向に引いた直線（言い換えれば、２つの検出位置を結ぶ直線）によって、中心角が２等分されるように定められる。ここでは、表示装置１０は、点Ｐ２から近接操作が行われた操作方向（矢印Ｂ１の方向）に引いた直線Ｌ１によって中心角が２等分されるように、中心角がα［度］であり、半径がｒである参照領域Ｔ１を特定する。図６（ｃ）に示すように、参照領域Ｔ１は、オブジェクトＩ１，Ｉ３の一部を含み、且つ、弧Ａｒ１にオブジェクトＩ１が重なっている。弧Ａｒ１は、半径がｒの円の円周の一部である。
なお、図６（ｃ）や後で説明する図８（ｃ）には、参照領域を図示しているが、実際には、表示面１４１には参照領域を意味する画像が表示されないものとする。また、α，ｒは、それぞれ設計段階等で決められた値であってもよいし、ユーザにより設定された値であってもよい。
【００２９】
次に、表示装置１０は、ステップＳ３の処理で特定した参照領域の弧に重なるオブジェクトを受付可能状態に設定する（ステップＳ４）。ここにおいて、表示装置１０は、ステップＳ３の処理で特定した参照領域Ｔ１の弧Ａｒ１に重なっているオブジェクトＩ１を受付可能状態に設定する（つまり、オブジェクトＩ１に入力フォーカスを与えた状態とする）。一方で、表示装置１０は、オブジェクトＩ２，Ｉ３が参照領域Ｔ１の弧Ａｒ１と重なっていないので、オブジェクトＩ２，Ｉ３を受付可能状態に設定しない（つまり、オブジェクトＩ２、Ｉ３に入力フォーカスを与えた状態としない）。
なお、表示装置１０は、単に参照領域の弧に重なっているオブジェクトを受付可能状態に設定するのではなく、重心等の所定位置が参照領域の弧に重なっているオブジェクトを受付可能状態に設定してもよい。
【００３０】
次に、表示装置１０は、受付可能状態に設定したオブジェクトの表示態様を変更する（ステップＳ５）。ここでは、表示装置１０は、図７に示す画面ＳＣ１を表示させ、受付可能状態に設定したオブジェクトがどれであるかをユーザに明示するように、オブジェクトＩ１の表示態様を変更する。表示装置１０は、例えば、オブジェクトの色や明るさ等の所定の表示態様を変更して、受付可能状態に設定したオブジェクトをユーザが視覚的に把握できるようにする。これ以外にも、表示装置１０は、受付可能状態に設定したオブジェクトに所定の画像（マーク）を付してもよいし、オブジェクトのサイズを変更してもよい（例えば、拡大する）。
【００３１】
次に、表示装置１０は、いずれかのオブジェクトを受付可能状態に設定した後に、接触操作を検出したか否かを判断する（ステップＳ６）。ここでは、表示装置１０は、いずれかのオブジェクトを受付可能状態に設定している期間において、表示面１４１上のオブジェクトが配置されていない位置、又は、このオブジェクトの表示位置を指示する接触操作を検出したか否かを判断する。
【００３２】
表示装置１０は、オブジェクトを受付可能状態に設定した後に、接触操作を検出したと判断すると（ステップＳ６；ＹＥＳ）、そのオブジェクトを選択状態に設定して、選択オブジェクトを特定する（ステップＳ７）。例えば、表示装置１０は、図７に示すように、点Ｐ２を指示する接触操作を検出した場合にも、オブジェクトＩ１を選択オブジェクトとして特定する。このように、ユーザは、表示装置１０において受付可能状態に設定されたオブジェクトが、自身が接触操作で指示しようとしていたオブジェクトであることを確認すると、その場で接触操作を行うことで、このオブジェクトを接触操作で選択することができる。
なお、表示装置１０は、いずれかのオブジェクトを受付可能状態に設定した場合に、他のオブジェクトを指示する接触操作を検出したときには、このオブジェクトを優先させて選択状態に設定してもよいし、受付可能状態に設定したオブジェクトを優先させて選択状態に設定してもよい。
【００３３】
次に、表示装置１０は、選択オブジェクトに応じた処理を実行する（ステップＳ８）。ここでは、表示装置１０は、オブジェクトＩ１に応じた処理として、オブジェクトＩ１に設定されたハイパーリンクに応じたアクセス処理を行う。ここにおいて、表示装置１０は、ステップＳ７の処理で選択オブジェクトを特定したか、又は、ステップＳ８の処理で選択オブジェクトに応じた処理を実行した場合にも、オブジェクトの受付可能状態の設定を解除する。
なお、表示装置１０がステップＳ８の処理で実行する選択オブジェクトに応じた処理はどのようなものでもよい。表示装置１０は、例えばＵＲＬ（Uniform Resource Locator）を用いてハイパーリンクが設定されたオブジェクトが選択された場合には、そのＵＲＬに対応したｗｅｂページを表示面１４１に表示させる。また、表示装置１０は、ユーザの入力データの送信を指示するためのオブジェクトが接触操作により選択された場合には、そのデータを通信部１３により送信する。
【００３４】
ところで、表示装置１０は、ステップＳ６の処理で接触操作を検出していないと判断すると（ステップＳ６；ＮＯ）、ステップＳ９の処理に進む。そして、表示装置１０は、静止している近接操作（つまり、ユーザが指を移動させない近接操作）を検出中であるか否かを判断する（ステップＳ９）。表示装置１０は、同じ位置を指示する近接操作を検出し続けた場合には、静止している近接操作を検出中であると判断する（ステップＳ９；ＹＥＳ）。この場合、制御部１１は、オブジェクトの受付可能状態の設定を維持したまま、ステップＳ６の処理に戻る。表示装置１０は、ステップＳ９の処理で静止している近接操作を検出していないと判断した場合には（ステップＳ９；ＮＯ）、ステップＳ１０の処理に進む。
【００３５】
表示装置１０は、近接操作の検出位置が変化したか否か、つまり、近接操作の検出位置が移動したか否かを判断する（ステップＳ１０）。ステップＳ１０での指を移動させる近接操作の検出方法は基本的にはステップＳ２の処理と同じでよいが、表示装置１０は、近接操作を検出した位置が変化した場合には、指を移動させる近接操作を検出したと判断すればよい。表示装置１０は、近接操作を検出した位置が変化したと判断すると（ステップＳ１０；ＹＥＳ）、ステップＳ３の処理に戻る。そして、表示装置１０は、処理ステップＳ３〜Ｓ５を実行して、受付可能状態に設定するオブジェクトを更新する。一方で、表示装置１０は、近接操作を検出した位置が変化していない場合は（ステップＳ１０；ＮＯ）、近接操作を検出しなくなったことを意味するので、ステップＳ１の処理に戻る。ステップＳ１の処理に戻った場合には、表示装置１０は、オブジェクトの受付可能状態の設定を解除するとともに、ステップＳ５で変更した表示態様を元に戻す。
以上が、表示装置１０の動作の説明である。
【００３６】
前述した表示装置１０の動作説明では、表示装置１０が、参照領域の弧に重なって位置するオブジェクトを１つだけ表示させていたが、参照領域の弧に重なって２つ以上のオブジェクトを表示させる場合もあると考えられる。この場合、表示装置１０は、所定条件に従って、参照領域の弧に重なって２つ以上のオブジェクトから、いずれか１つのオブジェクトを受付可能状態に設定するとよい。この具体的条件は何でもよいが、例えば、表示装置１０は、近接操作の位置から最も近いオブジェクトだけを受付可能状態に設定してもよいし、弧に重なる面積が最も大きいオブジェクトだけを受付可能状態に設定してもよい。また、表示装置１０は、弧に重なる複数のオブジェクトを時系列的に切り替えながら、いずれか１つのオブジェクトを受付可能状態に設定してもよい。また、表示装置１０は、２以上のオブジェクトを受付可能状態に設定してもよい場合には（例えば、複数のオブジェクトを同時選択できる場合）、参照領域に重なる２以上のオブジェクトを受付可能状態に設定してよい。
【００３７】
ところで、表示装置１０は、前述したように、ユーザにより行われた近接操作の移動の軌跡に応じて参照領域を特定する。よって、表示装置１０において最新の近接操作の検出位置が同じであっても、近接操作の操作方向が異なれば、受付可能状態に設定するオブジェクトも異なることがある。
図８（ａ）に示すように、ユーザが点Ｐ３を指示する近接操作を行った後、図８（ｂ）に示すように、矢印Ｂ２の方向に指Ｆを移動させて点Ｐ２を指示する近接操作を行った場合を考える。この点Ｐ２は、図６に示した点Ｐ２と同じ位置である。この場合、表示装置１０は、ステップＳ３の処理で、図８（ｃ）に示す参照領域Ｔ２を特定する。表示装置１０は、前述した手順により、最新の近接操作の検出位置である点Ｐ２を中心とし、中心角がα［度］であり、半径がｒの扇形の領域を、参照領域Ｔ２として特定する。参照領域Ｔ２は、点Ｐ２から近接操作が行われた方向（矢印Ｂ２の方向）に引いた直線Ｌ２によって中心角が２等分されるように定められる。よって、参照領域Ｔ２は、図８（ｃ）に示すように、オブジェクトＩ２の一部を内側に含むとともに、弧Ａｒ２がオブジェクトＩ２に重なっている。一方で、参照領域Ｔ２は、オブジェクトＩ１，Ｉ３を内側に含んでいない。
【００３８】
この場合、表示装置１０は、ステップＳ４の処理では、オブジェクトＩ２を受付可能状態に設定する。そして、表示装置１０は、ステップＳ５の処理では、図９に示す画面ＳＣ２を表示させ、オブジェクトＩ２の表示態様を変更する。そして、表示装置１０は、オブジェクトＩ２を受付可能状態に設定した後に、接触操作を検出した場合には、オブジェクトＩ２を選択オブジェクトとして特定する。
【００３９】
以上説明した実施形態のように、表示装置１０は、ユーザにより指を移動させる近接操作が行われると、近接操作の移動の軌跡に応じて参照領域として特定し、参照領域の弧に重なるオブジェクトを受付可能状態に設定する。ここにおいて、表示装置１０は、近接操作の検出位置を基準として、近接操作が行われた方向に位置するオブジェクトを受付可能状態に設定するので、ユーザがこれから接触操作で指示しようとしているオブジェクトを、近接操作の方法を参照して精度良く予測することができる。
【００４０】
また、表示装置１０は、現在の近接操作の位置から扇形領域の半径に相当する距離だけ離れた位置にあるオブジェクト（つまり、参照領域の弧に重なるオブジェクト）を受付可能状態に設定するので、ユーザの指が実際にオブジェクトに重なる前に、このオブジェクトを受付可能状態に設定することができる。
また、表示装置１０は、指の位置から離れるにつれて広くなる参照領域を特定するので、仮に、ユーザの指が移動する方向に変化した場合であっても、ユーザが操作しようとするオブジェクトを精度良く予測することができる。
以上の理由により、表示装置１０によれば、ユーザの指とオブジェクトとが実際に重なる前に、このオブジェクトを選択するための接触操作を行うことを可能として、ユーザの操作性を高めることができる。
【００４１】
［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。本発明は、例えば、以下のような形態で実施することも可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
（変形例１）
上述した実施形態において、表示装置１０は、受付可能状態に設定したオブジェクトの表示態様を変更して、受付可能状態に設定したオブジェクトをユーザが視覚的に把握できるようにしていた。これに代えて、表示装置１０は、受付可能状態に設定したオブジェクト以外のオブジェクトの色や明るさ、サイズ等の表示態様を変更して、受付可能状態に設定したオブジェクトをユーザが把握できるようにしてもよい。また、表示装置１０は、受付可能状態に設定したオブジェクト、及び、それ以外のオブジェクトの双方の表示態様を変更させてもよい。
また、表示装置１０は、ステップＳ３の処理で特定した参照領域を意味する画像を表示面１４１に表示するように、表示部１４を制御してもよい。
【００４２】
（変形例２）
上述した実施形態では、表示装置１０は、参照領域の弧に重なるオブジェクトを受付可能状態に設定していたが、参照領域に基づいて、これ以外のオブジェクトを受付可能状態に設定してもよい。図６の場合と同じように近接操作を検出した場合、表示装置１０は、例えば図１０に示すように、参照領域の内側に全体が含まれるオブジェクト（図１０ではオブジェクトＩ４）を受付可能状態に設定してもよい。
このようにすれば、表示装置１０は、サイズが比較的小さく、ユーザの指等によって全体が視認しにくくなりやすいオブジェクトだけを対象として、指とオブジェクトとが重なる前にこれを受付可能状態に設定することができる。
【００４３】
（変形例３）
表示装置１０は、サイズが閾値未満であるオブジェクトのみを対象として、指とオブジェクトとが重なる前にこれを受付可能状態に設定してもよい。ここでは、表示装置１０は、オブジェクトのサイズを面積によって特定してもよいし、別の方法でオブジェクトのサイズを特定してもよい。例えば、表示装置１０は、オブジェクトが正方形又は長方形であれば一辺の長さ（例えば、最大の長さ）や、対角線の長さ等の、所定方向の長さによってオブジェクトのサイズを特定してもよい。また、表示装置１０は、オブジェクトが円形であれば径方向の長さ（例えば、最大の長さ）でオブジェクトのサイズを特定してもよい。これ以外の形状であっても、表示装置１０は、面積でなく任意の方向の長さによってサイズを特定してもよい。また、表示装置１０は、面積と長さとによってオブジェクトのサイズを特定してもよい。
【００４４】
（変形例４）
上述した実施形態において、表示装置１０は、参照領域の半径をｒで一定としていたが、このｒを変化させる構成を有していてもよい。
表示装置１０は、例えば、近接操作が行われた速度が大きいほど、参照領域の半径を大きくしてもよい。図１１（ａ），（ｂ）に示すように、近接操作が行われた速度が大きいほど、近接操作の２つの検出位置間の距離が大きくなる。よって、表示装置１０は、近接操作の複数の検出位置同士の距離に基づいて、近接操作の速度を特定することができる。そして、表示装置１０は、図１１（ａ）に示すように、近接操作の速度が比較的大きい場合には、半径をｒ１という具合に比較的大きい半径として、サイズの大きい参照領域Ｔ３１を特定する。この場合、表示装置１０は、参照領域Ｔ３１の弧Ａｒ３１に重なるオブジェクトを受付可能状態に設定する。一方で、表示装置１０は、図１１（ｂ）に示すように、近接操作の速度が比較的小さい場合には、半径をｒ２（＜ｒ１）という具合に小さい半径として、サイズの大きい参照領域Ｔ３２を特定する。この場合、表示装置１０は、参照領域Ｔ３２の弧Ａｒ３２に重なるオブジェクトを受付可能状態に設定する。
【００４５】
ユーザの近接操作の速度が大きいということは、ユーザが接触操作で指示しようとするオブジェクトまでの距離が比較的大きいと推測できる。反対に、ユーザの近接操作の速度が小さいということは、ユーザが接触操作で指示しようとするオブジェクトまでの距離が比較的小さいと推測できる。このような推測の下、表示装置１０は、ユーザの近接操作の速度が大きいほど半径を大きくすれば、ユーザが選択しようとするオブジェクトを早期に予測して、このオブジェクトを受付可能状態に設定することができる。
また、表示装置１０は、近接操作の速度を３段階以上で特定してもよく、この場合も、速度が大きいほど参照領域の半径を大きくするとよい。
【００４６】
（変形例５）
上述した実施形態において、表示装置１０は、扇形の参照領域を特定していたが、他の形状の参照領域を特定してもよい。表示装置１０は、図１２に示すように、三角形の参照領域を特定してもよい。図６の場合と同じように近接操作を検出した場合、表示装置１０は、点Ｐ２を頂点とした参照領域Ｔ４を特定する。参照領域Ｔ４は，点Ｐ２から近接操作の操作方向に延びる直線Ｌ１が、点Ｐ２を頂点とした角を２等分するように定められる。また、参照領域Ｔ４は、点Ｐ２に一致する頂点の角がα、この角を挟んで同じ長さの２辺がある三角形である。表示装置１０は、参照領域Ｔ４において点Ｐ２に接していない辺ｓに重なるオブジェクトを受付可能状態に設定する。
【００４７】
表示装置１０は、これ以外の形状の参照領域を特定してもよいが、最新の近接操作の検出位置から離れるにつれて広くなる参照領域を特定すれば、仮にユーザの指が移動する方向が変化した場合であっても、ユーザが操作しようとするオブジェクトを精度良く予測することができる。表示装置１０は、少なくとも、最新の近接操作の検出位置から離れるにつれて広くなる参照領域を特定すれば、ユーザの指とオブジェクトが重なる前にこのオブジェクトの接触操作による選択を可能にして、ユーザの操作性を高めることができる。ただし、表示装置１０は、最新の近接操作の検出位置からの距離に関わらず幅が一定の参照領域を特定してもよい。
【００４８】
また、表示装置１０は、ユーザの近接操作の位置を基準として参照領域を特定しなくてもよく、例えば、その位置から所定距離範囲内にある別の点を基準として参照領域を特定してもよい。また、表示装置１０は、参照領域を特定することなく、近接操作の検出位置と、近接操作の操作方向とに応じた演算により、受付可能状態に設定するオブジェクトを決定してもよい。
また、表示装置１０は参照領域の中心角（α［度］）の大きさをどのように設定してもよい。また、表示装置１０は最新の近接操作の検出位置から近接操作の操作方向に引いた直線によって中心角が２等分されない参照領域を特定してもよい。
【００４９】
（変形例６）
上述した実施形態において、表示装置１０は、近接操作で指示されたオブジェクト受付可能状態に設定した後に、接触操作を検出した場合に、このオブジェクトを選択オブジェクトとして特定していた。この接触操作に代えて、表示装置１０は、オブジェクトを受付可能状態に設定するための近接操作よりも更に指をオブジェクトに近接させた、非接触の操作（第２操作）を検出した場合に、このオブジェクトを選択状態に設定して選択オブジェクトとして特定してもよい。この場合、表示装置１０は、例えば、近接センサ１２１の検出可能領域のうち、表示面１４１からその法線方向に第１距離までの操作に応じて選択オブジェクトを特定すればよい。このように本発明の表示装置は、表示面１４１に指示体が接触した状態を検出する接触センサを備えていなくてもよい。
【００５０】
（変形例７）
また、本発明のユーザインタフェース装置は、少なくとも、オブジェクトを表示してから選択オブジェクトを特定するまでの処理を行うものであればよく、選択オブジェクトに応じた処理を行う処理装置とは独立して構成された装置であってもよい。
【００５１】
（変形例８）
上述した実施形態において、表示装置１０は、受付可能状態に設定したオブジェクトを、入力フォーカスを与えたオブジェクトのように扱っていた。カーソル（ポインタ）を用いてオブジェクトを選択するユーザインタフェースを適用した場合には、表示装置１０は、カーソル（ポインタ）の位置を、強制的に受付可能状態に設定したオブジェクトを指示する位置に変更すればよい。また、表示装置１０は、受付可能状態に設定したオブジェクトの位置を、ユーザの指の位置（例えば、最新の近接操作の検出位置）に変更して表示させてもよい。
【００５２】
（変形例９）
上述した実施形態において、表示装置１０の制御部１１が実現する各機能は、複数のプログラムの組み合わせによって実現され、又は、複数のハードウェア資源の協働によって実現されうる。
また、本発明のユーザインタフェース装置は、コンピュータや制御部１１が実行するプログラムやユーザインタフェース方法として把握することも可能である。
【符号の説明】
【００５３】
１０…表示装置、１１…制御部、１１１…操作検出部、１１２…表示制御部、１１３…第１設定部、１１４…第２設定部、１１５…処理実行部、１２…操作部、１２１…近接センサ、１２２…接触センサ、１３…通信部、１４…表示部、１４１…表示面、１５…記憶部
【図１】
2014071461.tif 000003
【図２】
2014071461.tif 000004
【図３】
2014071461.tif 000005
【図４】
2014071461.tif 000006
【図５】
2014071461.tif 000007
【図６】
2014071461.tif 000008
【図７】
2014071461.tif 000009
【図８】
2014071461.tif 000010
【図９】
2014071461.tif 000011
【図１０】
2014071461.tif 000012
【図１１】
2014071461.tif 000013
【図１２】
2014071461.tif 000014