(57)【要約】【課題】タッチパネル操作等による連続的な操作の操作性の向上【解決手段】入力処理装置１は、表示画面に対する連続した入力操作の開始から終了までの入力過程で、表示画面に対する入力位置情報を検知して記憶していく。そして各時点で逐次、記憶されている各入力位置情報から、表示画面上での入力目的位置又は入力目的領域を算出する。また入力操作過程での表示も行う。その後、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する。例えば入力目的位置又は入力目的領域のオブジェクトの選択操作として認識する。【選択図】図１
2012190215.tif 000002
【特許請求の範囲】
【請求項１】
表示画面に対する入力を検知し、入力位置情報を得る入力検知部と、
上記入力位置情報を記憶する記憶部と、
上記表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、上記記憶部に記憶されている各入力位置情報から、上記表示画面上での入力目的位置又は入力目的領域を算出していくとともに、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する入力目的認識部と、
を備えた入力処理装置。
【請求項２】
上記入力過程において入力操作に応じた表示を上記表示画面上で実行させる表示制御部を、さらに備えた請求項１に記載の入力処理装置。
【請求項３】
上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する操作軌跡を示す表示の実行を制御する請求項２に記載の入力処理装置。
【請求項４】
上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する入力目的位置を提示する表示の実行を制御する請求項３に記載の入力処理装置。
【請求項５】
上記表示制御部は、上記入力目的位置を提示する表示として、入力目的位置となる重心位置を提示する表示を実行させる請求項４に記載の入力処理装置。
【請求項６】
上記表示制御部は、上記入力目的位置を提示する表示として、入力目的位置に該当するオブジェクトを提示する表示を実行させる請求項４に記載の入力処理装置。
【請求項７】
上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する入力目的領域を提示する表示の実行を制御する請求項２に記載の入力処理装置。
【請求項８】
上記表示制御部は、上記入力目的領域を提示する表示として、入力目的領域に含まれるオブジェクトを提示する表示を実行させる請求項７に記載の入力処理装置。
【請求項９】
上記入力目的認識部は、上記記憶部に記憶されている各入力位置情報から求められる重心位置を、上記入力目的位置として算出する請求項１に記載の入力処理装置。
【請求項１０】
上記入力目的認識部は、上記記憶部に記憶されている各入力位置情報を結んで得られる領域を、上記入力目的領域として算出する請求項１に記載の入力処理装置。
【請求項１１】
上記連続した入力操作の操作内容は、入力操作終了時点で上記入力目的認識部により算出される入力目的位置に該当するオブジェクト又は入力目的領域に含まれるオブジェクトの選択操作であるとする操作内容判定部を、さらに備えた請求項１に記載の入力処理装置。
【請求項１２】
上記入力目的認識部は、さらに、上記連続した入力操作により上記記憶部に記憶されている各入力位置情報から上記連続した入力操作の方向性を検出するとともに、
上記入力目的認識部により、入力操作終了時点で算出される入力目的位置又は入力目的領域と、上記方向性に基づいて、上記連続した入力操作の操作内容を判定する操作内容判定部を、さらに備えた請求項１に記載の入力処理装置。
【請求項１３】
表示画面に対する入力を検知し、入力位置情報を得、
上記入力位置情報を記憶し、
上記表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、上記記憶部に記憶されている各入力位置情報から、上記表示画面上での入力目的位置又は入力目的領域を算出していくとともに、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する入力処理方法。
【請求項１４】
表示画面に対する入力を検知して入力位置情報を得、
上記入力位置情報を記憶し、
上記表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、上記記憶部に記憶されている各入力位置情報から、上記表示画面上での入力目的位置又は入力目的領域を算出していくとともに、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する処理を、
演算処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、入力処理装置、入力処理方法、プログラムに関し、特に表示画面を用いた入力操作に対応する入力処理の技術に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００９−１１０１３５号公報
【背景技術】
【０００３】
例えば液晶パネルなどの表示画面上に、アイコンその他の操作用の画像を表示させ、ユーザがタッチパネル方式で各種の操作入力を行うことが一般化している。なお、アイコン、メニュー項目、キー表示等の各種の操作用の画像を、本明細書では「オブジェクト」と総称する。
【０００４】
タッチパネル方式の入力では、多くの場合、ユーザが画面上のオブジェクト表示部分を押圧することで行われる。例えば「処理Ａ」の機能に対応するオブジェクトが押されると、「処理Ａ」の操作が確定（エンター）され、その「処理Ａ」の機能が発動される。
また、或るエンター操作の前段階として、オブジェクトの選択を行うものもある。或るオブジェクトの選択操作を行うと、そのオブジェクトが選択状態となり、その後の確定（エンター）操作により、当該選択されたオブジェクトに対応する処理が発動するというものである。
【０００５】
上記特許文献１では、画面上でのカーソル操作軌跡の交差を検出し、交差点が生じた際に操作軌跡から閉空間を抽出し、その中のオブジェクトを選択状態とする技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、タッチパネル操作等、表示画面上で連続的な操作入力が可能な操作方式においては、よりユーザにとってなじみやすい操作、感覚的な操作が求められる。
その点、例えば上記特許文献１の技術は、感覚的な操作を可能とするものではあるが、問題が残されている。例えば操作軌跡の閉空間がなければ選択対象のオブジェクトを特定できない。したがって、選択までにユーザにある一定の動作を要求する。例えばユーザが入力軌跡の交差点を作らなかった場合、選択操作がなされない。またオブジェクトが画面の端に表示されている場合、そのオブジェクトを囲むような軌跡の入力を行うことができず、交差点を作れないこと、つまり選択不能の場合もある。さらに、閉空間が作成されるようにユーザが交差点を作る必要があるため時間を要する。
【０００７】
本開示では、表示画面上のオブジェクトに対して、選択や確定等の各種操作入力を行う場合に、よりユーザにとって良好な操作性、わかりやすい操作性を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本開示の入力処理装置は、表示画面に対する入力を検知し、入力位置情報を得る入力検知部と、上記入力位置情報を記憶する記憶部と、上記表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、上記記憶部に記憶されている各入力位置情報から、上記表示画面上での入力目的位置又は入力目的領域を算出していくとともに、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する入力目的認識部とを備える。
また、入力処理装置は、上記入力過程において入力操作に応じた表示を上記表示画面上で実行させる表示制御部を、さらに備えてもよい。
【０００９】
本開示の入力処理方法は、表示画面に対する入力を検知し、入力位置情報を得、上記入力位置情報を記憶し、上記表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、上記記憶部に記憶されている各入力位置情報から、上記表示画面上での入力目的位置又は入力目的領域を算出していくとともに、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する入力処理方法である。
本開示のプログラムは、この入力処理方法の処理を、演算処理装置に実行させるプログラムである。
【００１０】
即ち本開示では、タッチパネル入力等における連続的な入力において、その入力終了までの各入力位置情報を記憶しておく。そして入力終了までの各時点において逐次、その時点までの各入力位置情報から、入力目的位置又は入力目的領域を算出する。入力目的位置や入力目的領域とは、ユーザが連続的なタッチ操作で指定しようとしている画面上の位置や領域のことである。
ユーザの連続した入力操作の終了は、ユーザの任意であるが、操作入力が終了した時点で求められる入力目的位置又は入力目的領域を、最終的に今回の入力でユーザが指定しようとして位置又は領域として認識する。入力操作過程で、逐次、入力目的位置又は入力目的領域を算出していくため、ユーザがどの時点で入力操作を終了させても、最終的な入力目的の位置／領域を判定することができる。
また、逐次算出している入力目的位置又は入力目的領域に関する表示制御を行うようにすれば、よりユーザに良好な操作性を提供できる。
【発明の効果】
【００１１】
本開示の技術によれば、タッチパネルなど、表示画面に対する入力に関し、ユーザにわかりやすい感覚的な操作性や、レスポンスのよい操作性を提供できる。
【図面の簡単な説明】
【００１２】
【図１】本開示の実施の形態の入力処理装置の基本的な構成のブロック図である。
【図２】実施の形態の入力処理装置を備えた電子機器のブロック図である。
【図３】実施の形態の表示画面例の説明図である。
【図４】実施の形態のオブジェクトの選択状態の表示例の説明図である。
【図５】第１の実施の形態の入力処理のフローチャートである。
【図６】第１の実施の形態の入力操作態様の説明図である。
【図７】第１の実施の形態の入力操作態様の説明図である。
【図８】第１の実施の形態の入力操作態様の説明図である。
【図９】第２の実施の形態の入力処理のフローチャートである。
【図１０】第２の実施の形態の入力操作時の表示例の説明図である。
【図１１】第２の実施の形態の入力操作時の表示例の説明図である。
【図１２】第２の実施の形態の入力操作時の表示例の説明図である。
【図１３】第２の実施の形態の入力操作時の表示例の説明図である。
【図１４】第２の実施の形態の入力操作時の表示例の説明図である。
【図１５】第３の実施の形態の入力処理のフローチャートである。
【図１６】第３の実施の形態の入力操作態様の説明図である。
【図１７】第３の実施の形態の入力操作態様の説明図である。
【発明を実施するための形態】
【００１３】
以下、本開示の実施の形態を次の順序で説明する。
＜１．実施の形態の入力処理装置の基本構成＞
＜２．実施の形態の入力処理装置を備えた電子機器の構成例＞
＜３．第１の実施の形態の入力処理＞
［３−１：処理手順］
［３−２：入力目的位置認識による選択操作例］
［３−３：入力目的領域認識による選択操作例］
［３−４：第１の実施の形態のまとめ］
＜４．第２の実施の形態の入力処理＞
［４−１：処理手順］
［４−２：操作過程での入力目的位置表示例］
［４−３：操作過程での入力目的領域表示例］
［４−４：第２の実施の形態のまとめ］
＜５．第３の実施の形態の入力処理＞
［５−１：処理手順］
［５−２：方向性に応じた処理内容認例］
＜６．プログラム＞
＜７．変形例＞
【００１４】
＜１．実施の形態の入力処理装置の基本構成＞
実施の形態の入力処理装置の基本構成を図１で説明する。
入力処理装置１は、まず最小限の構成として、入力検知部２、座標記憶部３、入力目的認識部４を備える。
また図１では表示制御部７や操作内容判定部８を示しているが、これらが入力処理装置１としての構成に含まれる場合もある。
このような入力処理装置１の構成要素（入力検知部２、座標記憶部３、入力目的認識部４、場合によってはさらに表示制御部７、操作内容判定部８）は、それぞれハードウエアとしても実現可能であり、また例えばＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ内等で機能するソフトウエアとしても実現できる。
【００１５】
また図１では表示部６、入力部５を示しているが、実施の形態の入力処理装置１は、これらの部位と一体の機器内に搭載される場合もあるし、別体の機器として構成される場合もある。
【００１６】
図１に示した各構成について説明する。
表示部６は、例えば液晶ディスプレイ装置、有機ＥＬ（Electroluminescence）ディスプレイ装置、プラズマディスプレイ装置、ＣＲＴディスプレイ装置などの表示デバイスによって、ユーザに対して画像を表示する部位である。
この表示部６は、表示制御部７によって表示動作が制御され、各種の表示を行う。特にタッチパネル入力に対応して、アイコン等のオブジェクトの表示を行う。
【００１７】
入力部５は、例えばタッチパネルデバイス等で構成され、表示部６に対するユーザのタッチ入力等を検出する。例えば表示部６の画面上に貼り合わせられたタッチセンサ部などとされる。
なお本開示の入力処理はタッチパネル方式だけでなく、光照射によるポインティングデバイスによる入力をマウスによる入力にも適用できる。そのため入力部５とは、画面上のポインティングデバイスによる光入力位置を検出する光センサアレイとされる場合や、マウス及びマウス操作の検出部として構成される場合もある。
【００１８】
入力処理装置１を構成する入力検知部２は、表示部６の表示画面に対する入力を検知し、入力位置情報を得る。即ち入力検知部２は、入力部５の検出情報から、ユーザのタッチ位置を検知し、画面平面に対応するＸ−Ｙ座標の座標値に変換する処理を行う。
【００１９】
座標記憶部３は、入力検知部２が検知した座標値を入力位置情報として記憶する。特にユーザによる連続的な入力の場合は、入力検知部２から座標を連続的に受理し、一連の座標群を保持する。例えば連続的な入力として、ユーザが、画面上のある位置を起点として、画面上をなぞっていくようなタッチ操作を行った場合、入力検知部２は、逐次、ユーザ入力に係る座標値を検出していくが、座標記憶部３は、これらの座標値を逐次記憶していく。
【００２０】
入力目的認識部４は、座標記憶部３に記憶された座標値（入力位置情報）を用いた算出処理で、ユーザのタッチ操作の目的となる（ユーザが意図した）位置や領域を認識する。たとえば、一連の座標群から重心を算出することで、一意の座標を決定することができる。あるいは、一連の座標群から閉空間を生成することで面上の領域を決定することができる。
そしてこの入力目的認識部４は、例えばユーザが画面上の或る位置を押すようなタッチ操作を行った場合、入力検知部２はその位置の座標値を検出し、座標記憶部３に記憶させる。この場合、入力目的認識部４は、その１つの座標値から、ユーザの入力目的位置（又は入力目的領域）を判定する。
また、ユーザが、表示部６の記表示画面に対する連続した入力操作を行うことがある。例えば画面上をなぞるような操作入力である。その場合、上述のように操作入力の開始から終了までの入力過程で逐次、座標記憶部３に座標が記憶されていく。入力目的認識部４は、入力操作過程の各時点で、その時点で記憶されている各入力位置情報から、表示画面上での入力目的位置又は入力目的領域を算出していく。さらに、ユーザの連続したタッチ操作が終了したら（例えばユーザの指が表示画面から離れたら）、その時点で、記憶されている各座標値から算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する。
【００２１】
表示制御部７は、表示部６の表示内容を制御する。例えば各種アプリケーションの指示に応じて必要なオブジェクトの表示を表示部６に実行させる。
また後述する第２の実施の形態では、表示制御部７が、ユーザの連続的な入力操作の過程で、入力操作に応じた表示を表示部６の表示画面上で実行させる表示制御処理を行う。後述するが、例えば操作軌跡や、各時点で求められる入力目的位置／入力目的領域、或いはオブジェクトのハイライト表示などを行う。
このようにユーザの一連の入力操作が終了せずとも、入力目的認識部４からの認識情報（入力目的位置／入力目的領域の情報）に基づいて、表示制御を行うことで、リアルタイムにユーザに一連の動作をフィードバックできる。これは、操作過程で今どの座標や領域をユーザ自身が示しているのかを気づかせるように働く。
【００２２】
操作内容判定部８は、例えばオブジェクトの「選択」「確定」等の入力内容の決定処理に関する処理機能である。  
例えば操作内容判定部８は、ユーザの一連の入力操作が終了したときに、入力目的認識部４から通知された座標や領域（入力目的位置／入力目的領域）に基づいて、操作内容を判定するＵＩアプリケーションとして実現できる。
この操作内容判定部８は、操作内容を判定し、それに応じてＵＩ（ユーザインターフェース）オブジェクトに対して選択処理やエンター処理を実行する。
たとえば、通知された座標上に存在するオブジェクトを選択状態にしたり、通知された領域内に含まれるオブジェクトを選択状態にしたりする。通知された領域内に選択可能なオブジェクトが複数ある場合は、同じく通知された座標にもっとも近いオブジェクトを選択状態にしても良い。
また第３の実施の形態で述べるが、ユーザの一連の動作が時計回りの場合は通知された座標と領域により一つのオブジェクトの選択を行い、反時計回りの場合は通知された領域に含まれる複数のすべてのオブジェクトを選択状態にするなどの応用をしても良い。
【００２３】
以上の図１に示した各構成要素が、本開示の入力処理装置１の基本構成と、関連する周辺の構成である。
このような構成において、タッチパネル入力等における連続的な入力時に、その入力終了までの各入力位置情報の座標を座標記憶部３に記憶していく。そして入力目的認識部４は、入力終了までの各時点において逐次、その時点までの各座標値から、ユーザが連続的なタッチ操作で指定しようとしている入力目的位置又は入力目的領域を算出する。
ユーザの連続した入力操作の終了は、ユーザの任意であるが、操作入力が終了した時点で求められる入力目的位置又は入力目的領域を、最終的に今回の連続的な入力でユーザが指定しようとして位置又は領域として認識する。入力操作過程で、逐次、入力目的位置又は入力目的領域を算出していくため、ユーザがどの時点で入力操作を終了させても、最終的な入力目的の位置／領域を判定することができる。
また、表示制御部７が逐次算出している入力目的位置又は入力目的領域に関する表示制御を行うようにすれば、よりユーザに良好な操作性を提供できる。
さらに操作内容判定部８が、入力目的位置又は入力目的領域に加えて入力操作の方向性に応じてユーザの求める操作内容を判定することで、指でなぞるような単純な操作でありながら、多様な操作内容をユーザに提供することもできる。
これらによりタッチパネルなど、表示画面に対する入力に関し、ユーザにわかりやすい感覚的な操作性や、レスポンスのよい操作性を提供できる。
【００２４】
＜２．実施の形態の入力処理装置を備えた電子機器の構成例＞
実施の形態のより具体的な構成及び動作を、以下、説明していく。
図２は、実施の形態の入力処理装置１が搭載された電子機器１０の構成例を示している。ここで電子機器１０とは、タッチパネル入力を行う機器としている。電子機器１０は、具体的にはオーディオデータやビデオデータの再生装置や記録装置、テレビジョン装置などの放送受信機器、パーソナルコンピュータやＰＤＡ（Personal Digital Assistant）等の情報処理装置、携帯電話機、ネットワーク端末等の通信機器、家電機器などが想定される。
【００２５】
図２に示すように電子機器１０は、ＣＰＵ１１、記憶部１２、入力インターフェース（Ｉ／Ｆ）１８、表示ドライバ１６、主機能部１５を備える。さらに電子機器１０は一体又は別体の構成として入力部１９、表示部１７を備える。
これらはＣＰＵバス等の内部バスにより構成されるホストバスおよびＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バスから構成されるシステムバス２０により、相互に接続されている。
【００２６】
ＣＰＵ１１は、演算処理装置および制御装置として機能し、記憶部１２等に記録された各種プログラムに従って、電子機器１０内の動作全般またはその一部を制御する。
記憶部１２は、各種の記憶手段を包括的に示している。記録部１２としては、例えばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、不揮発性メモリ（例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory））を備える。またＨＤＤ（Hard Disk Drive）やメモリカードなどを備えても良い。
例えばＲＯＭやＥＥＰＲＯＭは、ＣＰＵ１１が使用するプログラムや演算パラメータ等を記憶する。プログラム（アプリケーションプログラム等）はＨＤＤ等に記憶されていてもよい。
ＲＡＭは、ＣＰＵ１１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。
【００２７】
表示ドライバ１６及び表示部１７は、図１で説明した表示部６に相当する。即ち表示ドライバ１６は、ＣＰＵ１１の表示制御や表示データの供給に従って表示部１７を駆動し、指示された内容の表示を実行させる。表示部１７には、タッチパネル入力に関しては、各種のオブジェクトを表示させることになる。
入力部１９及び入力インターフェース１８は、図１で説明した入力部５に相当する。即ち入力部１９は、表示部１７の画面上に対するユーザのタッチ操作を検出し、入力インターフェース１８は、当該タッチ操作の情報をＣＰＵ１１に通知する。
【００２８】
主機能部１５は、当該電子機器１０の主な機能を実行する部位を総括的に示している。例えばこの電子機器１０が記録装置、再生装置であれば、主機能部１５は記録回路系、再生回路系となる。また電子機器１０がテレビジョン装置であれば放送信号の受信系回路などである。電子機器１０が携帯電話機であれば主機能部１５は通信系回路などとなる。パーソナルコンピュータ等の情報処理装置の場合、ＣＰＵ１１が主機能部１５としての機能を実行する構成も想定される。
【００２９】
このような電子機器１０において、本実施の形態の入力処理装置１は、ＣＰＵ１１内の機能構成（記憶部１２の記憶領域を利用した動作を含む）によって実現される。
ＣＰＵ１１には、図１に示した入力処理装置１を実現する機能構成が例えばソフトウエアにより形成される。この図２では、機能構成として入力検知部２１、座標記憶処理部２２、入力目的認識部２３、操作内容判定部２４、表示制御部２５、主機能制御部２６を示している。
【００３０】
入力検知部２１は、図１の入力検知部２に相当し、入力部１９の検出情報から、ユーザのタッチ位置を検知し、表示部１７の画面平面に対応するＸ−Ｙ座標の座標値に変換する処理を行う。
座標記憶処理部２２は、図１の座標記憶部３を実現する処理を行う。即ち入力検知部２１から供給される座標値を、例えば記憶部１２の所定の記憶領域（例えばＲＡＭ）に記憶させる処理を行う。なお、座標記憶処理部２２は、ＣＰＵ１１の内部レジスタ等を用いて座標値を記憶させるようにしてもよい。
入力目的認識部２３は、図１の入力目的認識部４に相当し、座標記憶処理部２２の処理によって記憶部１２等に記憶された座標値を用いた算出処理で、ユーザのタッチ操作の目的となる位置や領域を認識する。図１で説明したように、ユーザの連続したタッチ操作の過程でも逐次、このような認識処理を行う。
【００３１】
表示制御部２５は、図１の表示制御部７に相当し、表示部１７での表示動作を制御する。
操作内容判定部２４は、図１の操作内容判定部８に相当し、入力目的認識部２３から通知された座標や領域（入力目的位置／入力目的領域）に基づいて、該当するオブジェクトに関する操作内容を判定し、操作内容に応じた処理（表示上の変化や、操作内容のアプリケーションへの通知等）を行う。
【００３２】
主機能制御部２６は、この電子機器１０の主機能の実行のための各種制御を行う部位であり、例えば電子機器１０が記録装置であれば主機能部１５の記録動作の制御プログラム、テレビジョン装置であれば主機能部１５での受信処理動作の制御プログラムなどとなる。また主機能制御部２４は、当該電子機器１０が情報処理装置の場合、各種アプリケーションプログラムに基づく処理機能部となる。
主機能制御部２４は、操作内容判定部２４で判定されたユーザの操作内容に応じて、必要な処理を実行し、ユーザの求めた動作を実現する。
【００３３】
なお本実施の形態の入力処理装置は、上記のように多様な機器に搭載が想定されるため、図２では電子機器１０として示したが、具体的な装置種別に応じて図示しない構成が加わることは当然に想定される。
例えば情報処理装置、通信装置等であれば、各種の外部インターフェース、ネットワーク通信部、ディスクドライブ、カードドライブなども設けられる。
また図２の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【００３４】
＜３．第１の実施の形態の入力処理＞
［３−１：処理手順］
例えば図２の電子機器１０において、入力処理装置１としての機能を備えたＣＰＵ１１による入力処理としての第１の実施の形態を説明する。
【００３５】
まず図３に、表示部１７の画面上でのオブジェクトの表示例を示す。図３では多数のオブジェクト３０がそれぞれ画面上の所定位置に配置して表示されている例を示している。
なお、各オブジェクトには「Ａ」〜「Ｑ」の文字を便宜上付しているが、以下の説明上では、各オブジェクトの個々を指す場合は、例えば「オブジェクトＡ」「オブジェクトＢ」・・・「オブジェクトＱ」というように、「Ａ」〜「Ｑ」の文字を用いる。
実際には、これらのオブジェクト３０は、アプリケーションプログラムや機器の機能に応じて、操作内容となるアイコンやメニュー項目等が文字や図形等で表示される。
【００３６】
第１の実施の形態では、ユーザの表示画面に対する連続的なタッチ操作（画面上をなぞるようなタッチ操作）により、ユーザが或るオブジェクトを選択状態とする操作を実現する。
図４（ａ）（ｂ）には、ユーザのタッチ操作によりオブジェクトＨが選択状態となった場合の表示例を示している。
図４（ａ）は、選択されたオブジェクトＨがハイライト表示（図では斜線で示す）とされるとともに、そのオブジェクトＨの機能説明３５が表示される例を示している。例えばユーザは、機能説明３５の内容を読んで、目的のオブジェクトであるか否かを判断できる。そしてその後の確定（エンター）操作（例えばオブジェクトＨを押したり、実行ボタンとされているオブジェクトにタッチするなど）を行うことで、オブジェクトＨに対応づけられた機能を発現させることができる。
図４（ｂ）は、選択されたオブジェクトＨを単にハイライト表示する例である。ユーザはこのようにオブジェクトＨを選択状態とした後、確定操作を行うことでオブジェクトＨに対応づけられた機能を発現させることができる。
【００３７】
以下では、この図４（ａ）又は図４（ｂ）のように、或るオブジェクトを選択状態とするためのユーザの操作態様と、ＣＰＵ１１の操作に対する入力処理について説明していく。
【００３８】
図５はＣＰＵ１１の入力処理のフローチャートである。この第１の実施の形態の場合、ＣＰＵ１１の入力検知部２１、座標記憶処理部２２、入力目的認識部２３、操作内容判定部２４の機能により図５の処理が実行される。
【００３９】
ＣＰＵ１１（入力検知部２１）は、図５のステップＦ１０１でユーザのタッチ入力の開始を検知したら、処理をステップＦ１０２に進める。
ステップＦ１０２でＣＰＵ１１（入力検知部２１）は、入力インターフェース１８を介して供給された入力部１９からのタッチ検出情報を、入力位置情報としての座標値に変換する。
次にＣＰＵ１１（座標記憶処理部２２）は、座標値を記憶する。
さらにＣＰＵ１１（入力目的認識部２３）は、ユーザの入力開始から現時点までにステップＦ１０３の処理で記憶されている座標値から、入力目的位置（以下では「入力目的座標」ともいう）又は入力目的領域を算出する。
【００４０】
ステップＦ１０５でＣＰＵ１１はユーザ入力が完了したか否かを判別する。ユーザ入力が完了していなければ、再びステップＦ１０２〜Ｆ１０４の処理を行う。
ユーザの入力完了とは、タッチパネル方式の場合は、ユーザのタッチ操作が終了したとき、つまりユーザの指が表示部１７の画面上から離れたときなどとする。
例えばユーザが、ある程度の時間、画面上に触れている場合（例えば画面上をなぞっている場合）は、ある程度の時間、ユーザ入力完了と判断されず、ステップＦ１０２〜Ｆ１０４の処理が繰り返される。
この結果、座標値としては、そのユーザの連続的なタッチ操作の軌跡に応じた各画面上のポイントの座標が記憶されていくこととなる。
【００４１】
上記ステップＦ１０４での入力目的座標の算出としては、ＣＰＵ１１は、例えばその時点で記憶されている１又は複数の座標値から重心位置を算出し、それを入力目的位置とすればよい。
またステップＦ１０４で入力目的領域を算出する場合は、ＣＰＵ１１は、例えばその時点で記憶されている１又は複数の座標値を結んで得られる領域を、入力目的領域として算出すればよい。
【００４２】
ユーザが指を離すなどしてユーザ入力完了と判断したら、ＣＰＵ１１（操作内容判定部２４）はステップＦ１０６に進む。その場合ＣＰＵ１１は、その時点で最新の算出座標又は領域に基づいて、或るオブジェクトを選択状態とする処理を行う。
最新の算出座標又は領域とは、ユーザ入力完了の直前のステップＦ１０４で算出された入力目的座標又は入力目的領域である。
例えばＣＰＵ１１は、ユーザの入力完了時点での入力目的座標により、その座標に存在するオブジェクトの選択を求めた操作であると操作内容を判定し、当該オブジェクトを選択状態とする処理を行う。
或いはＣＰＵ１１は、ユーザの入力完了時点での入力目的領域により、その領域内に存在する１又は複数のオブジェクトの選択を求めた操作であると操作内容を判定し、当該１又は複数のオブジェクトを選択状態とする処理を行う。
【００４３】
［３−２：入力目的位置認識による選択操作例］
上記図５の処理で実現されるオブジェクト選択操作のための入力態様について説明する。まずここでは、入力目的位置の認識による選択操作例を述べる。
【００４４】
図６（ａ）は、ユーザが画面上を、開始位置ＰＳから終了位置ＰＥまで、破線矢印で示す軌跡でなぞる操作を行った場合を示している。
この一連の入力操作に対して、図５の処理は次のように行われる。
まず開始位置ＰＳにユーザの指が触れた時点で、ＣＰＵ１１の処理はステップＦ１０１からＦ１０２に進み、ステップＦ１０３，Ｆ１０４で開始位置ＰＳに相当する座標値の記憶、及びその座標値からの入力目的座標を算出する。その時点では、開始位置ＰＳの座標が入力目的座標として算出される。
【００４５】
その後、ユーザの操作が破線矢印のように進む過程で、ＣＰＵ１１はステップＦ１０２からＦ１０５の処理を繰り返していく。つまり各時点でユーザが触れている座標値を記憶し、また、入力開始時点からその時点までに記憶された複数の座標値について、重心位置を求めて、それを入力目的座標としていく。従って、ユーザの操作が進むにつれ、入力目的座標は変化していくことになる。
【００４６】
ユーザの操作が終了位置ＰＥまで進み、その時点で指を離したとする。その際には、開始位置ＰＳから終了位置ＰＥに至るまでの軌跡上の各座標値が記憶され、その各座標値の重心位置が求められている。例えば図中、重心ＧＰで示す位置が、入力目的座標として算出されている。ＣＰＵ１１は、ユーザが指を離したことでステップＦ１０５で入力完了と判断し、ステップＦ１０６で、その時点で算出されている入力目的座標を、当該一連の操作の目的たる入力目的座標とする。そしてその入力目的座標、つまり重心ＧＰの位置に表示されているオブジェクトＨについて、選択操作がなされたものとし、オブジェクトＨをハイライト表示（斜線で示す）とさせる。
【００４７】
従ってユーザとしては、選択しようとするオブジェクトＨの周囲を囲むように指をなぞらせれば良い。またこのとき、オブジェクトＨの周囲を閉空間として交差が生じるように囲む必要は無く、大まかに、オブジェクトＨの周囲をなぞるような感覚でよい。このためユーザに対して、丁寧に円を描くような操作を行わなければならないなどの負担をかけないものとできる。
ＣＰＵ１１では、操作過程において常時、入力目的座標を算出しているので、単にユーザが指を離した時点の最新の入力目的座標を、ユーザが操作目的とした入力目的座標として、該当するオブジェクトを選択状態とすればよい。これは、ユーザが任意に指を離すことに対応できることを意味する。つまりＣＰＵ１１は、いつユーザが指を離して操作を完了させても、その操作の目的である入力目的座標を認識できるものとなる。
なお、複数の座標値からの重心位置の算出は、演算処理負担は比較的軽いものである。従って重心を入力目的座標とすることは、操作過程で常時入力目的座標を算出する本例の処理として、ＣＰＵ１１の処理負担をかけないという利点もある。
【００４８】
次に図６（ｂ）の操作入力態様を説明する。
この図６（ｂ）は表示画面の隅付近に表示されたオブジェクトを選択する場合の例である。ユーザは、オブジェクトＰを選択するための操作として、開始位置ＰＳから終了位置ＰＥまで指をなぞらせる。この場合も、ユーザの操作が破線矢印のように進む過程で、ＣＰＵ１１は図５のステップＦ１０２からＦ１０５の処理を繰り返し、重心位置として入力目的座標を算出していく。そして終了位置ＰＥでユーザが指を離したら、その時点での重心ＧＰの位置を今回の一連の操作の入力目的座標とし、重心ＧＰに表示されているオブジェクトＰを選択状態とする。
本実施の形態の場合、ユーザは必ずしも選択したいオブジェクトの周囲を丁寧に囲む用にする必要はない。このため、画面の隅にあって、周囲をなぞりにくいようなオブジェクトが存在しても、そのオブジェクトの選択操作も困難となることはない。
【００４９】
さらに例示すれば、本実施の形態では、必ずしも目的のオブジェクトの周囲を囲うようにする必要がないことから、図７（ａ）（ｂ）のようなタッチ操作でのオブジェクトの選択も可能となる。
図７（ａ）は、開始位置ＰＳから終了位置ＰＥまで指で略直線的になぞった場合を示している。この場合も図５の処理が同様に行われるが、操作完了時点（終了位置ＰＥに達して指を離した時点）での重心ＧＰの位置は、図示のようにオブジェクトＨ上となっている。この場合ＣＰＵ１１は、オブジェクトＨの選択操作がなされたと判断すればよい。
【００５０】
また図７（ｂ）は、ユーザがオブジェクトＡの付近で、開始位置ＰＳから終了位置ＰＥまでの軌跡がレ点状になるように入力操作した場合である。操作完了時点での重心ＧＰの位置は、図示のようにオブジェクトＡ上となっているため、ＣＰＵ１１は、オブジェクトＡの選択操作がなされたと判断すればよい。
本実施の形態では、例えばこのようにユーザの多様なタッチ入力の軌跡に対応して、オブジェクト選択が可能となる。ユーザからすれば、さほど注意を払わずに目的のオブジェクトの周囲や付近をなぞればよいという認識のみで、選択操作を行うことができ、ユーザにとって感覚的にわかりやすく簡易な操作を実現できるものとなる。
【００５１】
［３−３：入力目的領域認識による選択操作例］
次に、同じく上記図５の処理で実現されるオブジェクト選択操作のための入力態様として、入力目的領域の認識による選択操作例を述べる。
【００５２】
図８（ａ）は、ユーザが画面上を、開始位置ＰＳから終了位置ＰＥまで、破線矢印で示す軌跡でなぞる操作を行った場合を示している。
この一連の入力操作に対して、図５の処理は次のように行われる。
まず開始位置ＰＳにユーザの指が触れた時点で、ＣＰＵ１１の処理はステップＦ１０１からＦ１０２に進み、ステップＦ１０３，Ｆ１０４で開始位置ＰＳに相当する座標値の記憶、及びその座標値からの入力目的領域を算出する。
【００５３】
上述のように、入力目的領域は、記憶された各座標値を結んで得られる領域とする。即ち、各座標値間を線分で結んで、それによって囲まれる多角形状の領域とすればよい。
開始位置ＰＳのときは記憶された座標値は１つのみのため、最初に算出される入力目的領域は、実際には「領域」とは成らず１つの点である。２番目の座標値が得られた時点では、２つの座標値を結んだ線分が入力目的領域とされる。３番目の座標値が得られた時点では、三角形状の入力目的領域が算出される。以降、記憶される座標値が増えていくに従って多角形状の入力目的領域が算出されるとなるのが、一つの典型的な入力目的領域の算出状況となる。
操作入力過程において、図５のステップＦ１０２〜Ｆ１０４として、このような処理が繰り返されていく。従って、ユーザの操作が進むにつれ、入力目的領域は変化していくことになる。
【００５４】
ユーザの操作が終了位置ＰＥまで進み、その時点で指を離したとする。その際には、開始位置ＰＳから終了位置ＰＥに至るまでの軌跡上の各座標値が記憶され、その各座標値を結んだ多角形状の入力目的領域が求められている。図８（ａ）で言えば、その際の入力目的領域は、図示した波線矢印で囲まれた領域と考えて良い。
ＣＰＵ１１は、ユーザが指を離したことでステップＦ１０５で入力完了と判断し、ステップＦ１０６で、その時点で算出されている入力目的領域を、当該一連の操作の目的たる入力目的領域とする。そしてその入力目的領域に含まれている一又は複数のオブジェクトＨについて選択操作がなされたものとし、該当するオブジェクトをハイライト表示とさせる。
【００５５】
ここで、入力目的領域に含まれているというのは、２つの考え方を採ることができる。図８（ａ）は、入力目的領域内に全体が入っているオブジェクトを、「含まれている」オブジェクトとしている。
つまり図８（ａ）では、ほぼ波線矢印で囲まれた範囲となる入力目的領域内には、オブジェクトＣ、Ｈ、Ｍが完全に含まれている。そこでＣＰＵ１１はオブジェクトＣ、Ｈ、Ｍについて選択操作がなされたと判断し、オブジェクトＣ、Ｈ、Ｍをハイライト表示（斜線で示す）させる。
【００５６】
一方、入力目的領域内に一部でも入っているオブジェクトであれば、「含まれている」とするようにしてもよい。
図８（ｂ）は、同様の操作軌跡の場合であるが、この場合、オブジェクトＢ、Ｇ、Ｌ、Ｃ、Ｈ、Ｍは、それぞれ、少なくとも一部が入力目的領域内に存在する。そこでＣＰＵ１１はオブジェクトＢ、Ｇ、Ｌ、Ｃ、Ｈ、Ｍについて選択操作がなされたものと判断し、これらをハイライト表示させるようにしてもよい。
【００５７】
該当するオブジェクトを、入力目的領域に完全に含まれているオブジェクトとするか、少なくとも一部が含まれているオブジェクトとするかは、機器の種別、各種オブジェクトの内容、表示レイアウト等を考慮して選定されればよい。また入力設定としてユーザが選択的に設定できるようにしてもよい。
【００５８】
上記のように、従ってユーザとしては、１又は複数のオブジェクトを選択しようとする場合、目的のオブジェクト群の周囲を囲むように指をなぞらせれば良い。またこのとき、オブジェクト群の周囲を閉空間として交差が生じるように囲む必要は無く、大まかにオブジェクト群の周囲をなぞるような感覚でよい。このためユーザに対して、丁寧に円を描くような操作を行わなければならないなどの負担をかけないものとできる。
ＣＰＵ１１では、操作過程において常時、入力目的領域を算出しているので、単にユーザが指を離した時点の最新の入力目的領域から、該当するオブジェクトを選定し、それらを選択状態とすればよい。つまりＣＰＵ１１にとっては、ユーザがいつ指を離したとしても、その操作完了に対応して入力目的領域を認識できる。
【００５９】
このように、１又は複数のオブジェクトを容易に選択できることは、例えばオブジェクトがパーソナルコンピュータやデジタルスチルカメラ等で用いるファイルやフォルダを示すオブジェクトである場合などに有用である。
例えば表示部１７にオブジェクト３０として多数の画像データのサムネイル画像が表示されている場合を考える。ここで、ユーザがある一群の画像データを選択状態としたいときに、それらの周囲をなぞればよいという、簡易な入力インターフェースが実現できる。
【００６０】
入力目的領域は、通常は上記のように多数の座標値を結んだ多角形状の領域となると述べたが、ユーザの操作は任意であるため、多様な形状の領域が想定される。
例えばユーザが、入力部１９の分解能に対して完全に直線状となるように指をなぞらせた場合は、操作完了時点でも入力目的領域が直線として認識されるものとなる。上記図８（ｂ）のように、オブジェクトの一部でも入っていたら、そのオブジェクトは「含まれている」とする場合、直線状の入力目的領域が算出された場合でも、適正な選択操作とすることができる。例えば図８等に示す画面で、ユーザがオブジェクトＡ、Ｆ、Ｋ上を、まっすぐ指をなぞらせ、これによりＣＰＵ１１で直線状の入力目的領域が算出された場合、ＣＰＵ１１はオブジェクトＡ，Ｆ，Ｋを選択状態とする処理を行えばよい。
【００６１】
さらに、ユーザが８の字状になぞったとしたら、ＣＰＵ１１は、隣接した２つの入力目的領域として認識し、それら２つの領域に含まれるオブジェクトの選択操作と判断すればよい。
ユーザの入力における操作軌跡は全く多様であるが、入力目的領域として、点、線分、領域が把握できるような操作軌跡である限り、多様な操作軌跡に対応することは可能である。
【００６２】
また、一旦連続した入力操作が完了しても、次に他の位置で連続した入力操作が行われた場合、２つの領域が入力目的領域として指定されたと判断するようにしてもよい。
例えば図８（ａ）のようにオブジェクトＣ、Ｈ、Ｍを選択した状態で、確定操作などの他の操作を行わずに、オブジェクトＥ，Ｊ，Ｏに対して同様の選択操作を行ったとする。その場合に、オブジェクトＣ、Ｈ、Ｍ、Ｅ、Ｊ、Ｏが選択されたと判断するような例である。
【００６３】
［３−４：第１の実施の形態のまとめ］
以上のように第１の実施の形態では、表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、記憶されている各座標値から入力目的位置又は入力目的領域を算出していく。そして入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する。その入力目的位置又は入力目的領域から、該当するオブジェクトを選定して、それが「選択」されたものとして処理する。
【００６４】
これにより、ユーザは、感覚的かつ容易な（負担のない）操作で、オブジェクト選択操作が可能となり、また閉空間を作る等のユーザの負担はないため、選択操作の時短化もできる。そしてその後の確定操作等までをスムースに行うことができ、軽快な操作感を実現できる。
【００６５】
また、特にタッチパネル方式では「選択」の操作は、通常は存在しない。例えば多くの場合、タッチパネル方式で画面上のオブジェクトに触れる（タップする）ことは「確定」に相当するような操作となる。
一方で「選択」の操作を設ける場合、１回目に触れたときに「選択」とし、続けて再度触れたら「確定」とするようにする。これはユーザにとってわかりにくいことが多い。
本実施の形態の場合、指でなぞる操作で「選択」を行い、その後、選択状態のオブジェクトや確定キーとしてのオブジェクトを触れることで「確定」を行うようにしている。これは、「選択」と「確定」の操作の違いが明確であり、ユーザにとってわかりやすい操作性を提供できるものとなる。
【００６６】
また、本実施の形態では、特許文献１のようにユーザが交点を必ずしも作成する必要がないので、例えば図６（ｂ）で説明したように、画面端のオブジェクトも選択可能である。
【００６７】
またテレビジョン装置やビデオ機器など、リモートコントローラを前提としていた装置がタッチパネルを供えた装置へ移行・対応する場合に、本実施の形態を用いれば、カーソルＵＩとタッチＵＩ（タッチパネル方式）の両立を図りつつ、スムーズに対応していける。
カーソルＵＩではリモートコントローラの上下左右ボタンによって選択対象のオブジェクトを切り替えることができ、リモートコントローラの確定ボタンによって選択対象のオブジェクトに既定の動作を実行させることができた。また、選択対象を切り替えた際に選択対象の詳細情報を画面上に表示更新することができた。
上述したが、タッチＵＩでは、カーソルＵＩにあった「選択」という動作が通常存在しない。ユーザが表示された画面を見て画面上の対象を指でタップすると、そのタップしたオブジェクトへの選択と確定が同時に行われ、既定の動作が実行される。このタッチＵＩにおいては、カーソルＵＩにあった選択対象の切り替え及び選択対象の情報表示が出来ない。ところが本実施の形態によれば、タッチＵＩにおいて、「選択」操作を含み、ユーザに直感的で軽快な操作感を提供できる。またこれによって、選択対象を切り替えた際に選択対象の詳細情報を画面上に表示更新すること、即ち図４（ａ）に示した機能説明３５の表示を行うことも、そのまま適用できる。
【００６８】
＜４．第２の実施の形態の入力処理＞
［４−１：処理手順］
ＣＰＵ１１による入力処理としての第２の実施の形態を説明する。第２の実施の形態も、基本的には上記第１の実施の形態と同様に、ユーザの連続的なタッチ操作に応じて入力目的座標又は入力目的領域を認識し、それに応じて該当するオブジェクトを選択状態とする。この第２の実施の形態は、ＣＰＵ１１（表示制御部２５）が、ユーザの操作入力過程で入力操作に応じた表示を表示部１７の画面上で実行させることで、ユーザの操作性を格段に向上させるものである。
【００６９】
図９はＣＰＵ１１の入力処理のフローチャートである。上述した図５と同一の処理は同一のステップ番号を付し、説明を省略する。この第２の実施の形態の場合、ＣＰＵ１１の入力検知部２１、座標記憶処理部２２、入力目的認識部２３、操作内容判定部２４の機能に加え、表示制御部２５の機能により図９の処理が実行される。
【００７０】
第１の実施の形態と異なるのは、ステップＦ１１０としてＣＰＵ１１（表示制御部２５）が、入力操作に応じた表示制御を行うことである。具体的にはＣＰＵ１１は算出した入力目的座標又は入力目的領域に応じた表示制御を行う。
ステップＦ１０５で入力完了と判断されるまで、ステップＦ１０２、Ｆ１０３，Ｆ１０４、Ｆ１１０が繰り返されるため、入力操作過程において、画面上で即時にユーザに対するフィードバック表示が行われるものとなる。
【００７１】
その後、ユーザが指を離すなどしてユーザ入力完了と判断したら、ＣＰＵ１１はステップＦ１０６で、その時点で最新の算出座標又は領域に基づいて、或るオブジェクトを選択状態とする処理を行う。この場合、上記のフィードバック表示により、表示画面上でも、選択される対象となるオブジェクトが、ユーザには明示的に提示されていることとなる。換言すれば、ユーザは画面上を指でなぞりながら、その表示の変化で、選択対象を明確に知ることができるため、希望の選択状態となることを確認して、操作を終了すればよい。
【００７２】
［４−２：操作過程での入力目的位置表示例］
上記図９の処理で実現される、操作過程での入力目的位置（入力目的座標）の表示例について説明する。
まず図１０で、ユーザの操作過程において、操作軌跡と重心位置を逐次表示する例を説明する。
【００７３】
図１０（ａ）は、ユーザが開始位置ＰＳから位置ＰＭ１まで操作入力を進めた状態を示している。
位置ＰＭ１に至るまで、図９のステップＦ１０２〜Ｆ１１０の処理が何度も繰り返されるが、その結果、画面上には、図示のように操作軌跡３１の表示が行われる。操作軌跡３１は、その時点で記憶されている各座標値を結んだ線として表示される。
さらに、複数の矢印３２によって、その時点（位置ＰＭ１に進んだ時点）での重心位置が提示される。重心位置は、その時点で記憶されている各座標値から求められる。
重心位置は、ユーザの操作の進行によって逐次変化していくため、位置ＰＭ１に至るまでも、矢印３２の画像は変化していたことになる。
【００７４】
図１０（ｂ）は、その後さらに位置ＰＭ２までユーザの操作が進んだ状態を示している。この時点では、位置ＰＭ２に至る操作軌跡３１と、その時点での重心位置が、矢印３２によって提示される。
図１０（ｃ）は、ユーザが操作を終了位置ＰＥまで進めて指を離す直前の状態を示している。この時点では、終了位置ＰＥに至る操作軌跡３１と、その時点での重心位置が、矢印３２によって提示される。
そしてユーザは指を離して操作を完了すると、ＣＰＵ１１はその時点の重心位置の座標を入力目的座標として該当するオブジェクトを選択状態とする。この場合重心位置にはオブジェクトＨが存在している。このため表示上では、図１０（ｄ）のように、オブジェクトＨが選択状態のハイライト表示される。
【００７５】
従ってユーザは、操作軌跡３１や矢印３２による重心位置を確認しながら操作を進め、選択したいオブジェクト上に重心位置が重なったときに、指を離せばよい。
【００７６】
なお、操作軌跡３１のみ表示して、矢印３２による重心位置提示を行わない例も考えられる。
或いは、矢印３２による重心位置提示を行うが、操作軌跡３１は表示しないという例も考えられる。
【００７７】
次に図１１で、重心位置自体の提示ではなく、操作過程で選択状態とされうるオブジェクトを提示する例を説明する。
【００７８】
図１１（ａ）は、ユーザが開始位置ＰＳから位置ＰＭ１まで操作入力を進めた状態を示している。
位置ＰＭ１に至るまでの図９のステップＦ１０２〜Ｆ１１０の処理により、画面上には、図示のように操作軌跡３１の表示が行われる。さらに、その時点（位置ＰＭ１に進んだ時点）で算出された重心位置に基づいて、選択状態となりうるオブジェクトが例えばハイライト表示などによりユーザに提示される。
即ちこの図１１（ａ）のように操作が位置ＰＭ１に進んだ時点では、重心位置はオブジェクトＬ上に位置するため、これに応じてオブジェクトＬが他のオブジェクトよりも強調提示される。これは、「今、操作を終了したらオブジェクトＬが選択される」ということをユーザに伝えるものとなる。
【００７９】
図１１（ｂ）は、その後さらに位置ＰＭ２までユーザの操作が進んだ状態を示している。この時点では、位置ＰＭ２に至る操作軌跡３１と、その時点での重心位置に基づいて選択されうるオブジェクトが提示される。この場合、重心位置がオブジェクトＧ上に移動していることから、オブジェクトＧがハイライト表示されることとなる。
図１１（ｃ）は、ユーザが操作を終了位置ＰＥまで進めて指を離す直前の状態を示している。この時点では、終了位置ＰＥに至る操作軌跡３１と、その時点での重心位置に応じたオブジェクト（この例ではオブジェクトＨ）が提示される。
そしてユーザは指を離して操作を完了すると、ＣＰＵ１１はその時点の重心位置の座標を入力目的座標として、該当するオブジェクトを選択状態とする。この場合、オブジェクトＨを選択状態とし、図１１（ｄ）のように、オブジェクトＨがハイライト表示される。
【００８０】
従ってユーザは、操作軌跡３１や、操作過程での各時点で選択状態となりうるオブジェクトを確認しながら操作を進め、選択したいオブジェクトがハイライト表示されたときに指を離せばよい。
【００８１】
なお、このように操作過程で選択されうるオブジェクトを提示することに加え、上記図１０のように、矢印３２で重心位置を示す表示を行うようにしてもよい。
また、操作過程で選択されうるオブジェクトの提示を行うが、操作軌跡３１は表示しないという例も考えられる。
また、操作過程で選択したいオブジェクトを提示する際に、オブジェクトを単にハイライト表示するだけでなく、図４（ａ）に示したように、そのオブジェクトの機能説明３５の表示を行うようにしても良い。これにより、ユーザは目的のオブジェクトを探しながら入力操作を続けるということが可能となる。
【００８２】
図１２は、図１０と同様に、ユーザの操作過程において、操作軌跡と重心位置を逐次表示する他の例を示している。ここでは矢印３２ではなく、所定の形状（図では星形としている）の重心マークＧＭにより、重心位置を提示する。
【００８３】
図１２（ａ）は、ユーザが開始位置ＰＳから位置ＰＭ１まで操作入力を進めた状態を示している。この時点までの操作軌跡３１の表示が行われ、さらに、重心マークＧＭによってその時点での重心位置が提示される。
図１２（ｂ）は、その後さらに位置ＰＭ２までユーザの操作が進んだ状態を示している。この時点でも、位置ＰＭ２に至る操作軌跡３１と、その時点での重心位置が、重心マークＧＭによって提示される。
図１２ｃ）は、ユーザが操作を終了位置ＰＥまで進めて指を離す直前の状態を示している。この時点では、終了位置ＰＥに至る操作軌跡３１と、その時点での重心位置が、重心マークＧＭによって提示される。
そしてユーザは指を離して操作を完了すると、ＣＰＵ１１はその時点の重心位置の座標を入力目的座標として該当するオブジェクトを選択状態とする。この場合、表示上では、図１１（ｄ）のように、オブジェクトＨが選択状態のハイライト表示される。
【００８４】
従ってユーザは、操作軌跡３１や重心マークＧＭによる重心位置を確認しながら操作を進め、選択したいオブジェクト上に重心位置が重なったときに、指を離せばよい。操作の進行に応じて重心マークＧＭが移動していくことから、重心マークＧＭを目的のオブジェクト上に置くような感覚で操作を行うことができる。
【００８５】
なお、操作軌跡３１を表示せず、重心マークＧＭによる重心位置提示のみを行う例も考えられる。
また、重心位置を、図１０の矢印３２と、重心マークＧＭの両方で提示することも考えられる。
さらに図１１の例を組み合わせ、操作過程で重心位置に該当するオブジェクトをハイライト表示させていくようにしてもよい。
【００８６】
［４−３：操作過程での入力目的領域表示例］
続いて、上記図９の処理で実現される、操作過程での入力目的領域の表示例について説明する。
図１３は、ユーザの操作過程において、操作軌跡と入力目的領域を表示していく例を示している。
【００８７】
図１３（ａ）は、ユーザが開始位置ＰＳから位置ＰＭ１まで操作入力を進めた状態を示している。
位置ＰＭ１に至るまで、図９のステップＦ１０２〜Ｆ１１０の処理が何度も繰り返されるが、その結果、画面上には、図示のように操作軌跡３１の表示が行われ、さらに、図では斜線部としてしめすように、その時点（位置ＰＭ１に進んだ時点）での入力目的領域画像３４が提示される。第１の実施の形態で説明したように、入力目的領域は、例えば、その時点で記憶された各座標値を結んで得られる領域である。表示上の入力目的領域画像３４は、このように算出された領域を示すものとなる。
なお、例えば実際には、入力目的領域表示３４は、他の部分よりハイライトさせたり、異なる色で表示するなど、多様な表示態様が考えられる。
【００８８】
図１３（ｂ）は、その後さらに位置ＰＭ２までユーザの操作が進んだ状態を示している。この時点では、位置ＰＭ２に至る操作軌跡３１と、その時点での入力目的領域画像３４が提示される。
図１３（ｃ）は、ユーザが操作を終了位置ＰＥまで進めて指を離す直前の状態を示している。この時点でも、終了位置ＰＥに至る操作軌跡３１と入力目的領域画像３４が提示される。
そしてユーザは指を離して操作を完了すると、ＣＰＵ１１はその時点の入力目的領域に該当するオブジェクトを選択状態とする。例えばオブジェクトＢ、Ｇ、Ｌ、Ｃ、Ｈ、Ｍ，Ｄ、Ｉ、Ｎが該当する場合、表示上では、図１３（ｄ）のように、オブジェクトＢ、Ｇ、Ｌ、Ｃ、Ｈ、Ｍ，Ｄ、Ｉ、Ｎが選択状態としてハイライト表示される。
【００８９】
従ってユーザは、操作軌跡３１や入力目的領域画像３４を確認しながら操作を進め、選択したい１又は複数のオブジェクトが入力目的領域画像３４内となったときに、指を離せばよい。
【００９０】
ところで、図８（ａ）のように、全て含まれているオブジェクトを該当オブジェクトとする場合、図１３（ｃ）のような状態で操作入力を完了したら、オブジェクトＨ、Ｍのみが選択状態となることとなる。
【００９１】
なお、入力目的領域画像３４の表示を行うが、操作軌跡３１は表示しないという例も考えられる。但しこの場合、入力目的領域画像３４の輪郭線として、操作軌跡が提示されることとなる。
【００９２】
次に図１４で、入力目的領域自体の提示ではなく、操作過程で選択状態とされうるオブジェクトを提示する例を説明する。
【００９３】
図１４（ａ）は、ユーザが開始位置ＰＳから位置ＰＭ１まで操作入力を進めた状態を示している。
位置ＰＭ１に至るまでの図９のステップＦ１０２〜Ｆ１１０の処理により、画面上には、図示のように操作軌跡３１の表示が行われる。さらに、その時点（位置ＰＭ１に進んだ時点）で算出された入力目的領域に基づいて、選択状態となりうるオブジェクトが例えばハイライト表示などによりユーザに提示される。
この図１４（ａ）の場合、開始位置ＰＳから位置ＰＭ１までの各座標値から算出される入力目的領域に対しては、オブジェクトＬ、Ｇの一部が含まれている。そこで、「今、操作を終了したらオブジェクトＬ、Ｇが選択される」ということをユーザに伝えるように、オブジェクトＬ、Ｇが強調表示される。
【００９４】
図１４（ｂ）は、その後さらに位置ＰＭ２までユーザの操作が進んだ状態を示している。この時点では、位置ＰＭ２に至る操作軌跡３１と、その時点での入力目的領域に基づいて選択されうるオブジェクトが提示される。この場合、オブジェクトＢ、Ｇ、Ｌ、Ｃ、Ｈが入力目的領域に含まれ、これらがハイライト表示されることとなる。
図１４（ｃ）は、ユーザが操作を終了位置ＰＥまで進めて指を離す直前の状態を示している。この時点では、終了位置ＰＥに至る操作軌跡３１と、その時点での入力目的領域に含まれるオブジェクト（この例ではオブジェクトＢ、Ｇ、Ｌ、Ｃ、Ｈ、Ｍ）が提示される。
そしてユーザは指を離して操作を完了すると、ＣＰＵ１１はその時点の入力目的領域に含まれるオブジェクトを選択状態とする。この場合、オブジェクトＢ、Ｇ、Ｌ、Ｃ、Ｈ、Ｍを選択状態とし、図１４（ｄ）のように、これらがハイライト表示される。
【００９５】
従ってユーザは、操作軌跡３１や、操作過程での各時点で選択状態となりうるオブジェクトを確認しながら操作を進め、選択したい１又は複数のオブジェクトがハイライト表示されたときに指を離せばよい。
【００９６】
なお、このように操作過程で選択されうるオブジェクトを提示することに加え、上記図１３のように、入力目的領域画像３４で入力目的領域を示す表示を行うようにしてもよい。
また、操作過程で選択されうるオブジェクトの提示を行うが、操作軌跡３１は表示しないという例も考えられる。
また、操作過程で選択したいオブジェクトを提示する際に、オブジェクトを単にハイライト表示するだけでなく、図４（ａ）に示したように、そのオブジェクトの機能説明３５の表示を行うようにしても良い。
【００９７】
［４−４：第２の実施の形態のまとめ］
以上、第２の実施の形態での操作過程での表示例を説明した。
第２の実施の形態では、以上の各例ように、ＣＰＵ１１（表示制御部２５）は入力過程において入力操作に応じた表示を表示画面上で実行させる。
例えばＣＰＵ１１は、入力操作に応じた表示として、連続した入力操作による各座標値から認識される操作軌跡３１を示す表示を実行制御する。
またＣＰＵ１１は、入力操作に応じた表示として、連続した入力操作による各座標値から認識される入力目的座標（重心位置）を提示する表示として、例えば矢印３２や重心マークＧＭの表示の実行を制御する。
またＣＰＵ１１は、入力目的位置を提示する表示として、入力目的座標に該当するオブジェクトを例えばハイライト表示などとして提示する表示を実行させる。
【００９８】
またＣＰＵ１１は、入力操作に応じた表示として、連続した入力操作による各座標値から認識される入力目的領域を、入力目的領域画像３４により提示する表示の実行を制御する。
またＣＰＵ１１は、入力目的領域を提示する表示として、入力目的領域に含まれるオブジェクトを提示する表示を実行させる。
【００９９】
このように入力操作過程での表示を行うことにより、ユーザは指を動かし、確認しながら所望のオブジェクトの選択操作を行うことができ、これによって誤選択を軽減し、またわかりやすい操作とすることができる。
【０１００】
＜５．第３の実施の形態の入力処理＞
［５−１：処理手順］
ＣＰＵ１１による入力処理としての第３の実施の形態を説明する。第３の実施の形態も、基本的には上記第１の実施の形態と同様に、ユーザの連続的なタッチ操作に応じて入力目的座標又は入力目的領域を認識する。但し、この第３の実施の形態は、ＣＰＵ１１（操作内容判定部２４）が、ユーザの操作入力の態様により、操作内容を判定する。特には操作軌跡から判定される方向性によって操作内容を判定する。
【０１０１】
図１５はＣＰＵ１１の入力処理のフローチャートである。上述した図５、図９と同一の処理は同一のステップ番号を付し、説明を省略する。この図１５の場合、ユーザが操作入力を完了した後のステップＦ１２０、Ｆ１２１が、図９と異なる。
【０１０２】
即ち、ユーザの入力完了に応じて、ＣＰＵ１１（入力目的認識部２３）は、その時点での最新の入力目的座標又は入力目的領域を判定し、ユーザの操作内容を判定するのであるが、この場合ＣＰＵ１１（入力目的認識部２３）は、ユーザ入力が完了したステップＦ１２０の時点で、それまでの記憶されている座標値から、入力操作の方向性を判定する。例えば右回り操作か、左回り操作かを判定する。
そしてＣＰＵ１１（操作内容判定部２４）はステップＦ１２１で、入力目的座標又は入力目的領域と、判定された方向性に基づいて、ユーザの意図した操作内容を判定して、その操作内容に対応する処理を行う。
【０１０３】
［５−２：方向性に応じた処理内容認例］
具体例を説明する。図１６は、ユーザが右回りの軌跡で操作を行った場合は、入力目的座標（重心）による選択操作、左回りの軌跡で操作を行った場合は、入力目的領域による選択操作とする例である。
【０１０４】
図１６（ａ）は、ユーザが波線矢印で示すように右回りの軌跡でオブジェクトＨの周囲をなぞった操作を示している。
この場合、ＣＰＵ１１は右回り軌跡であることから、ステップＦ１２１で、重心位置に存在するオブジェクトＨに対する選択操作と認識し、図１６（ｂ）のようにオブジェクトＨをハイライト表示させる。
【０１０５】
一方、図１６（ｃ）は、ユーザが波線矢印で示すように左回りの軌跡で入力操作を行った場合を示している。
この場合、ＣＰＵ１１は左回り軌跡であることから、ステップＦ１２１では、ユーザの操作は入力目的領域の指定とし、入力目的領域に含まれるオブジェクトに対する選択操作と認識する。この場合、図１６（ｄ）のようにオブジェクトＣ，Ｈ，Ｍ，Ｄ，Ｉ，Ｏをハイライト表示させる。
【０１０６】
このように操作方向で、入力目的座標による選択と、入力目的領域による選択とを実行できることで、ユーザは、簡易な選択操作で多様な選択を行うことができる。
図１６には示していないが、実際には、ステップＦ１１０の処理で、操作過程での表示も行われる。その場合、操作過程では、逐次、右回りか左回りかも判定するようにし、右回りと判定した時点では、図１０〜図１２で説明したような表示を行い、左回りと判定した時点では図１３、図１４で説明したような表示を行うと良い。このようにすれば、ユーザが特に右回りと左回りの操作の違いを理解していなくとも、現在の操作がどういう操作であるかわかりやすい。従って多様な操作を可能としながら、ユーザの直感的な操作性を維持できる。
【０１０７】
図１７は他の例を示している。
図１７（ａ）は、ユーザが波線矢印で示すように右回りの軌跡でオブジェクトＨの周囲をなぞった操作を示している。
この場合、ＣＰＵ１１は右回り軌跡であることから、ステップＦ１２１で、重心位置に存在するオブジェクトＨに対する選択操作と認識し、図１６（ｂ）のようにオブジェクトＨをハイライト表示させる。ここでは機能説明３５も表示させる例としている。
【０１０８】
一方、図１７（ｃ）は、ユーザが波線矢印で示すように左回りの軌跡で入力操作を行った場合を示している。
この場合、ＣＰＵ１１は左回り軌跡であることから、ステップＦ１２１では、ユーザの操作は確定操作とし、重心位置に存在するオブジェクトＨが確定されたとして、オブジェクトＨに割り当てられた機能を実行する。
【０１０９】
このように、例えば右回りは「選択」、左回りは「確定」というように操作内容を区別できるようにしてもよい。もちろん「選択」と「確定」だけでなく、各種の操作内容を右回りと左回りに割り当てることが考えられる。
さらに方向性としては、軌跡が上昇傾向、下降傾向で区別したり、左向き傾向、右向き傾向で区別することも考えられる。
さらには、軌跡の方向性の組み合わせから判定される形状で区別することも考えられる。例えば連続した入力操作の軌跡が、結果として略円形となっているか、略三角形になっているか、略レ点状になっているか、などの違いに応じて操作内容を判定しても良い。
【０１１０】
これらのように、ユーザの入力操作の軌跡の方向性により操作内容を判定することとすれば、例えば図１６の例の単独選択、複数選択などの従来のカーソルＵＩにて難しかった操作を可能としたり、図１７の例のように、多様な操作内容をユーザに提供することが可能となる。
【０１１１】
＜６．プログラム＞
本開示の実施の形態のプログラムは、ＣＰＵ１１等の演算処理装置に図５、図９、又は図１５の処理を実行させるプログラムである。
このプログラムにより、上述した効果を得る入力処理装置を、特別な専用装置を用いずに実現できる。従って図２の電子機器１０として説明した多様な種類の機器において、本開示の入力処理装置を容易に搭載できることとなる。
さらに、そのようなプログラムが記録されたプログラム記録媒体によれば、各種の電子機器１０において、本開示の入力処理装置としての機能を備えた機器を実現することも容易となる。
【０１１２】
本実施の形態のプログラムは、パーソナルコンピュータその他の各種電子機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc：登録商標）、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、本開示のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【０１１３】
＜７．変形例＞
本開示の技術は上述した実施の形態の例に限定されず、多様な変形例が想定される。
第１，第２の実施の形態では、選択操作を目的とする入力操作として説明したが、当然、確定（エンター）操作を目的とする操作や、他の操作内容を目的とする操作にも、第１，第２の実施の形態は適用できる。
【０１１４】
また実施の形態の処理では、長押しを判定することも可能である。例えばユーザが画面上の或る一点を押し続けた場合、記憶される各座標値が殆ど変化しないこととなる。その場合、ＣＰＵ１１は、ユーザが長押しを行っていると判断し、例えば所定時間経過や、ユーザの指の離れによって長押し操作が完了したと認識してもよい。つまり、長押しの座標値に該当するオブジェクトに対して、長押しに対応づけられた機能内容の操作が行われたとして処理すればよい。
【０１１５】
また実施の形態ではユーザが指で画面に触れるタッチパネル方式の例で述べたが、本開示の技術は、表示画面上の位置を指定するように入力を行う各種のＵＩに適用できる。
例えばユーザが画面上に指を近接させる入力方式、ペン型のポインタで画面上の位置を示す入力方式、光学式のポインティングデバイスで、画面上に光を当てて画面上の位置を示す入力方式、マウス的な入力方式などに、本開示の技術は適用できる。
【０１１６】
なお本技術は以下のような構成も採ることができる。
（１）表示画面に対する入力を検知し、入力位置情報を得る入力検知部と、
上記入力位置情報を記憶する記憶部と、
上記表示画面に対する連続した入力操作の開始から終了までの入力過程で逐次、上記記憶部に記憶されている各入力位置情報から、上記表示画面上での入力目的位置又は入力目的領域を算出していくとともに、入力操作終了時点で算出される入力目的位置又は入力目的領域を、当該連続した入力操作による入力目的位置又は入力目的領域と認識する入力目的認識部と、
を備えた入力処理装置。
（２）上記入力過程において入力操作に応じた表示を上記表示画面上で実行させる表示制御部を、さらに備えた上記（１）に記載の入力処理装置。
（３）上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する操作軌跡を示す表示の実行を制御する上記（２）に記載の入力処理装置。
（４）上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する入力目的位置を提示する表示の実行を制御する上記（２）又は（３）に記載の入力処理装置。
（５）上記表示制御部は、上記入力目的位置を提示する表示として、入力目的位置となる重心位置を提示する表示を実行させる上記（４）に記載の入力処理装置。
（６）上記表示制御部は、上記入力目的位置を提示する表示として、入力目的位置に該当するオブジェクトを提示する表示を実行させる上記（４）又は（５）に記載の入力処理装置。
（７）上記表示制御部は、上記入力操作に応じた表示として、連続した入力操作による各入力位置情報から上記入力目的認識部が認識する入力目的領域を提示する表示の実行を制御する上記（２）乃至（６）のいずれかに記載の入力処理装置。
（８）上記表示制御部は、上記入力目的領域を提示する表示として、入力目的領域に含まれるオブジェクトを提示する表示を実行させる上記（７）に記載の入力処理装置。
（９）上記入力目的認識部は、上記記憶部に記憶されている各入力位置情報から求められる重心位置を、上記入力目的位置として算出する上記（１）乃至（８）のいずれかに記載の入力処理装置。
（１０）上記入力目的認識部は、上記記憶部に記憶されている各入力位置情報を結んで得られる領域を、上記入力目的領域として算出する上記（１）乃至（９）のいずれかに記載の入力処理装置。
（１１）上記連続した入力操作の操作内容は、入力操作終了時点で上記入力目的認識部により算出される入力目的位置に該当するオブジェクト又は入力目的領域に含まれるオブジェクトの選択操作であるとする操作内容判定部を、さらに備えた上記（１）乃至（１０）のいずれかに記載の入力処理装置。
（１２）上記入力目的認識部は、さらに、上記連続した入力操作により上記記憶部に記憶されている各入力位置情報から上記連続した入力操作の方向性を検出するとともに、
上記入力目的認識部により、入力操作終了時点で算出される入力目的位置又は入力目的領域と、上記方向性に基づいて、上記連続した入力操作の操作内容を判定する操作内容判定部を、さらに備えた上記（１）乃至（１１）のいずれかに記載の入力処理装置。
【符号の説明】
【０１１７】
１  入力処理装置、２  入力検知部、３  座標記憶部、４  入力目的認識部、５  入力部、６  表示部、７  表示制御部、８  操作内容判定部、１０  電子機器、１１  ＣＰＵ、１２  記憶部、１８  表示部、１９  入力部、２１  入力検知部、２２  座標記憶処理部、２３  座標記憶部、２３  入力目的認識部、２４  操作内容判定部、２５  表示制御部、２６  主機能制御部、３０  オブジェクト
【図１】
2012190215.tif 000003
【図２】
2012190215.tif 000004
【図３】
2012190215.tif 000005
【図４】
2012190215.tif 000006
【図５】
2012190215.tif 000007
【図６】
2012190215.tif 000008
【図７】
2012190215.tif 000009
【図８】
2012190215.tif 000010
【図９】
2012190215.tif 000011
【図１０】
2012190215.tif 000012
【図１１】
2012190215.tif 000013
【図１２】
2012190215.tif 000014
【図１３】
2012190215.tif 000015
【図１４】
2012190215.tif 000016
【図１５】
2012190215.tif 000017
【図１６】
2012190215.tif 000018
【図１７】
2012190215.tif 000019