(57)【要約】【課題】タッチパネルを操作する際、手から遠く離れたオブジェクトの操作性を向上させる。【解決手段】本発明の入力装置は、タッチパネルに接触した指の情報を検出し、指の接触位置とは異なる位置にある領域を操作対象とする入力装置であって、前記検出した指の情報から特徴量を抽出する指情報特徴量抽出部７と、前記抽出した特徴量から指の向きを推定する指方向推定部９と、予め定められた複数の操作モードのうち、前記指の情報および前記推定された指の向きに対応する操作モードを判別する操作モード判別部１１と、前記操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とする操作制御部１３と、を備える。【選択図】図１
2014109888.tif 000002
【特許請求の範囲】
【請求項１】
タッチパネルに接触した指の情報を検出し、指の接触位置とは異なる位置にある領域を操作対象とする入力装置であって、
前記検出した指の情報から特徴量を抽出する指情報特徴量抽出部と、
前記抽出した特徴量から指示方向を推定する指示方向推定部と、
指の接触位置とは異なる位置にある領域を操作対象とする操作制御部と、を備えることを特徴とする入力装置。
【請求項２】
予め定められた複数の操作モードのうち、前記指の情報および前記推定された指示方向に対応する操作モードを判別する操作モード判別部を備え、
前記操作制御部は、前記操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とすることを特徴とする請求項１記載の入力装置。
【請求項３】
前記指の情報および前記推定された指示方向と操作モードとを関連付けて記憶する操作モード記憶部を更に備えることを特徴とする請求項２記載の入力装置。
【請求項４】
前記操作モードは、前記特徴量並びに検出された指の接触位置の数および推定された各指示方向に基づいて定められることを特徴とする請求項２または請求項３記載の入力装置。
【請求項５】
前記操作制御部は、検出された指の接触面積および推定された指示方向に基づいて線分を定め、前記線分の端点に対応する領域を操作対象とすることを特徴とする請求項１記載の入力装置。
【請求項６】
前記操作制御部は、前記操作モードおよび任意の操作に基づいて、前記指示方向に平行な線分を平行移動または回転移動させることを特徴とする請求項１記載の入力装置。
【請求項７】
前記操作制御部は、前記線分が通過する領域を操作対象とすることを特徴とする請求項６記載の入力装置。
【請求項８】
前記指示方向推定部は、任意の複数の点から定まる線分に基づいて指示方向を推定することを特徴とする請求項１記載の入力装置。
【請求項９】
前記操作制御部は、圧力センサ、力覚センサまたは外部インタフェースから入力される情報および推定された指示方向に基づいて線分を定め、前記線分の端点に対応する領域を操作対象とすることを特徴とする請求項１記載の入力装置。
【請求項１０】
前記タッチパネルは、ディスプレイ機能を備えることを特徴とする請求項１記載の入力装置。
【請求項１１】
タッチパネルに接触した指の情報を検出し、指の接触位置とは異なる位置にある領域を操作対象とする入力装置のプログラムであって、
前記検出した指の情報から特徴量を抽出する処理と、
前記抽出した特徴量から指示方向を推定する処理と、
予め定められた複数の操作モードのうち、前記指の情報および前記推定された指示方向に対応する操作モードを判別する処理と、
前記操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とする処理と、の一連の処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネルに接触した指の情報を検出し、指の接触位置とは異なる位置にある領域を操作対象とする入力装置およびプログラム技術に関する。
【背景技術】
【０００２】
従来から、タッチパネルを備えた情報端末装置が知られている。タッチパネルでは、通常、ボタンなどのオブジェクトに対し、接触検知領域が設定されている。ユーザがこの接触検知領域に対して指を接触させることで、ボタン等が反応する。しかし、このような操作方法では、検知領域が指の下に来るため、タッチする際正確な位置が把握できない場合がある。また、遠くのオブジェクトを操作しにくい場合があるため、ジェスチャー操作による画面の拡大、縮小、スライドなど、画面自体を動かすという機能により、操作性改善が図られている。
【０００３】
特許文献１では、複数の指の動作とジェスチャーを対応付けし、操作中に、操作中の軌跡から想定されるガイドを表示することで操作性が向上するユーザインタフェース装置が開示されている。特許文献２では、複数の指の動作だけでなく、タッチパネル上での手のひらや指の開く具合、接触位置を結んで形成される多角形の面積などから操作を切り替える入力装置が開示されている。特許文献３では、手の位置や形状を検出し、手の影に相当する仮想画像を表示し、その仮想手により操作をする装置が開示されている。
【０００４】
一方、非特許文献１は、タッチする指を区別し、区別した指によって異なる意味を持たせるFinger-Specific Interactionを提案している（第7章）。そこでは、大画面向けペイントツール、操作する指によりモードを切り替えるソフトウェアキーボード・音楽プレイヤ、CSCW向けフォトビューア、操作する指も利用するPIN個人認証を提案している（7.6節）。指の識別は、手の上部に設置した可視光カメラとカラーマーカを用いた画像認識に基づいている。また、上記、特許文献以外にも、ジェスチャーによる入力方法は多々提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−０７０４８９号公報
【特許文献２】特開２０１１−００３０７４号公報
【特許文献３】特開２０１２−０２２４５８号公報
【非特許文献】
【０００６】
【非特許文献１】筑波大学  鈴木優氏  学位論文「併行可能な動作に基づくインタラクション手法の研究」２０１１年３月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１および２、並びに非特許文献１では、直接的に遠くにあるオブジェクトを操作することは考慮しておらず、あるジャスチャとコマンドを結びつけることにとどまっている。また、特許文献３では、手が画面から遠く離れている時は、手の影が遠い位置にできるため、手から遠い位置にあるオブジェクトの操作に有効であるが、手が画面に接近している場合は通常のタッチパネル操作と違いがない。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、タッチパネルを操作する際、手から遠く離れたオブジェクトの操作性を向上させることができる入力装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の入力装置は、タッチパネルに接触した指の情報を検出し、指の接触位置とは異なる位置にある領域を操作対象とする入力装置であって、前記検出した指の情報から特徴量を抽出する指情報特徴量抽出部と、前記抽出した特徴量から指示方向を推定する指示方向推定部と、指の接触位置とは異なる位置にある領域を操作対象とする操作制御部と、を備えることを特徴とする。
【００１０】
このように、タッチパネルに接触した指の情報を検出し、検出した指の情報から特徴量を抽出し、抽出した特徴量から指示方向を推定し、指の接触位置とは異なる位置にある領域を操作対象とするので、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。
【００１１】
（２）また、本発明の入力装置は、予め定められた複数の操作モードのうち、前記指の情報および前記推定された指示方向に対応する操作モードを判別する操作モード判別部を備え、前記操作制御部は、前記操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とすることを特徴とする。
【００１２】
このように、予め定められた複数の操作モードのうち、前記指の情報および前記推定された指示方向に対応する操作モードを判別する操作モード判別部を備え、前記操作制御部は、前記操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とするので、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。
【００１３】
（３）また、本発明の入力装置は、前記指の情報および前記推定された指の向きと操作モードとを関連付けて記憶する操作モード記憶部を更に備えることを特徴とする。
【００１４】
このように、指の情報および推定された指の向きと操作モードとを関連付けて記憶するので、処理速度の向上を図ることができ、その結果、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。
【００１５】
（４）また、本発明の入力装置において、前記操作モードは、前記特徴量並びに検出された指の接触位置の数および推定された各指示方向に基づいて定められることを特徴とする。
【００１６】
このように、操作モードは、特徴量並びに検出された指の接触位置の数および推定された各指示方向に基づいて定められるので、ユーザが複数の指を用いて操作した場合であっても、操作モードを容易に判別することが可能となる。
【００１７】
（５）また、本発明の入力装置において、前記操作制御部は、検出された指の接触面積および推定された指示方向に基づいて線分を定め、前記線分の端点に対応する領域を操作対象とすることを特徴とする。
【００１８】
このように、操作制御部は、検出された指の接触面積および推定された指示方向に基づいて線分を定め、線分の端点に対応する領域を操作対象とするので、操作対象とする領域を一意に特定することが可能となる。その結果、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。
【００１９】
（６）また、本発明の入力装置において、前記操作制御部は、前記操作モードおよび任意の操作に基づいて、前記指示方向に平行な線分を平行移動または回転移動させることを特徴とする。
【００２０】
このように、操作制御部は、操作モードおよび任意の操作に基づいて、前記指示方向に平行な線分を平行移動または回転移動させるので、操作対象とする領域を特定することが可能となる。その結果、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。
【００２１】
（７）また、本発明の入力装置において、前記操作制御部は、前記線分が通過する領域を操作対象とすることを特徴とする。
【００２２】
このように、操作制御部は、線分が通過する領域を操作対象とするので、操作対象とする領域を容易に特定することが可能となる。その結果、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。
【００２３】
（８）また、本発明の入力装置において、前記指示方向推定部は、任意の複数の点から定まる線分に基づいて指示方向を推定することを特徴とする。
【００２４】
このように、指示方向推定部は、任意の複数の点から定まる線分に基づいて指示方向を推定するので、操作対象とする領域を容易に特定することが可能となる。その結果、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。
【００２５】
（９）また、本発明の入力装置において、前記操作制御部は、圧力センサ、力覚センサまたは外部インタフェースから入力される情報および推定された指示方向に基づいて線分を定め、前記線分の端点に対応する領域を操作対象とすることを特徴とする。
【００２６】
このように、操作制御部は、圧力センサ、力覚センサまたは外部インタフェースから入力される情報および推定された指示方向に基づいて線分を定め、線分の端点に対応する領域を操作対象とするので、指の接触面積を検出しなくても、操作対象とする領域を容易に特定することが可能となる。その結果、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。
【００２７】
（１０）また、本発明の入力装置において、前記タッチパネルは、ディスプレイ機能を備えることを特徴とする。
【００２８】
このように、タッチパネルがディスプレイ機能を備えるため、画像を表示する機能を与えると共に、小型化を図ることが可能となり、本発明を携帯端末等に適用することが可能となる。
【００２９】
（１１）また、本発明のプログラムは、タッチパネルに接触した指の情報を検出し、指の接触位置とは異なる位置にある領域を操作対象とする入力装置のプログラムであって、前記検出した指の情報から特徴量を抽出する処理と、前記抽出した特徴量から指示方向を推定する処理と、予め定められた複数の操作モードのうち、前記指の情報および前記推定された指の向きに対応する操作モードを判別する処理と、前記操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とする処理と、の一連の処理をコンピュータに実行させることを特徴とする。
【００３０】
このように、タッチパネルに接触した指の情報を検出し、検出した指の情報から特徴量を抽出し、抽出した特徴量から指示方向を推定し、予め定められた複数の操作モードのうち、指の情報および推定された指の向きに対応する操作モードを判別し、操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とするので、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。
【発明の効果】
【００３１】
本発明によれば、タッチパネルに接触した指の情報を検出し、検出した指の情報から特徴量を抽出し、抽出した特徴量から指の向きを推定し、予め定められた複数の操作モードのうち、指の情報および推定された指示方向に対応する操作モードを判別し、操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とするので、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。
【図面の簡単な説明】
【００３２】
【図１】本実施形態に係る入力装置の概略構成を示すブロック図である。
【図２】指の検出角度および意図する指の向きを示す図である。
【図３】第１の実施形態に係る入力装置の動作を示すフローチャートである。
【図４】操作モード判別の動作例を示すフローチャートである。
【図５】操作モード１および２を示す図である。
【図６】操作方法２における長さの調整の一例を示す図である。
【図７】操作モード３を示す図である。
【図８】操作モード４および５を示す図である。
【図９】領域選択を示す図である。
【図１０】３Ｄに適応する操作モードの一例を示す図である。
【図１１】２本の指の成す線分を延長した方向を示す方向とする例を示す図である。
【図１２】スマートフォンにおける文字入力選択や候補文字選択へ応用した例を示す図である。
【図１３】小型ディスプレイと大型ディスプレイを連携させた状態を示す図である。
【図１４】本実施形態に係る入力装置を大型ディスプレイに適用した例を示す図である。
【図１５】本発明をゲームに適用した場合の表示例を示す図である。
【図１６】キーボードの画面表示例を示す図である。
【発明を実施するための形態】
【００３３】
本発明の実施形態に係る入力装置は、タッチパネルを操作する際に、手から遠く離れたオブジェクトの操作性向上のために、第一指の接触面を検出し、第一指の示す方向とその他の指のジェスチャー操作によりタッチパネルへの指の接触点から離れた位置でも操作可能な機能を有する。また、接触面の数や切り替え等で複数の操作が可能となる機能を有する。
【００３４】
図１は、本実施形態に係る入力装置の概略構成を示すブロック図である。図１において、表示部１は、種々操作画面を表示する。表示部１の水平方向をＸ方向、垂直方向をＹ方向と記す。タッチパネル入力部３は、ユーザがタッチパネルにより入力を行う。ユーザがタッチした一点また複数の点のタッチ座標情報を取得する。指形状情報取得部５は、操作中の指の形状情報を取得する。取得方法は、例えば、ＦＴＩＲ（Frustrated Total Internal Reflection）による接触部の取得を挙げるが、手段は限らない。
【００３５】
指情報特徴量抽出部７は、指形状情報取得部５から取得した指形状情報から、特徴量を抽出する。指方向推定部９は、抽出した特徴量から指の向きを推定する。この指方向推定部は、指示方向推定部を構成する。操作モード判別部１１は、指情報特徴量抽出部７の情報から、操作モードを判別する。操作制御部１３は、操作を制御する。特に、操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とする。表示制御部１５は、操作制御部１３からの情報を表示部に反映させる。操作モード記憶部１７は、指情報特徴量抽出部７の情報と操作モードの関係を記憶する。
【００３６】
［第１の実施形態］
第１の実施形態では、指の形状情報が取得できる場合について説明する。第１の実施形態では、外部カメラとカラーマーカなしで指の識別を可能とするために、ＦＴＩＲに基づく指の接触面の形状情報の検出が可能なタッチパネルを利用する。これにより、図２に示す接触面が示す楕円の長軸よりユーザの指の方向（指示方向）が判別可能になる。また、楕円の長軸とユーザの示す向きは必ずしも一致しないため、補正をかけてもよい。
【００３７】
図３は、第１の実施形態に係る入力装置の動作を示すフローチャートである。まず、タッチ入力の位置を取得する（ステップＳ１）。また、ユーザのタッチ入力時に、タッチした指の本数、各指のタッチ座標、指の形状情報の時系列情報を取得する（ステップＳ２）。次に、指情報特徴量を抽出する（ステップＳ３）。ここでは、指の形状情報より特徴量を抽出する。特徴量としては、それぞれの指の接触面積Ｓ、円周ｌ、近似楕円の長軸・短軸長ｄｍａｘ，ｄｍｉｎ、接触面積ΔＳ・円周の変化Δｌなどである。
【００３８】
次に、操作モード判別・制御を行なう（ステップＳ４）。タッチした指の接触点の数、各指のタッチ座標、各指の長軸のなす角、座標とそれらの距離などから操作モードを判別し、モードに応じた入力制御を行う。判別は、後述するフローチャートで示されるようにある条件に基づいてモードを切り替える手法のみならず、SVMやHMMなどのパターン認識を利用し、そのモデルはユーザによって切り替えたり、学習したものを用いてもよい。また指の特徴量、ジェスチャーなどを用いてユーザ識別を行い、ユーザごとに条件・モデルを切り替えても良い。
【００３９】
次に、操作モードＮの操作制御を行ない（ステップＳ５）、表示部１への操作結果を反映させる（ステップＳ６）。次に、操作を終了したかどうかを判断し（ステップＳ７）、操作を終了していない場合は、ステップＳ１へ遷移する。一方、ステップＳ７において、操作を終了した場合は、終了する。
【００４０】
図４は、図３における操作モード判別の動作例を示すフローチャートである。まず、接触指の本数を検出する（ステップＴ１）。ここで、<接触点が１点である場合>、接触面積について、Ｓ１とＳαの大小を判定する（ステップＴ２）。Ｓ１＜Ｓαである場合は、通常のタッチ操作と判定する（ステップＴ３）。一方、Ｓ１＜Ｓαでない場合は、すなわち、第一指の示す方向のみで操作する場合は、操作モードを１とし（ステップＴ４）、指が示す方向にβ１×Ｓ１ピクセルだけ線分を伸長し、端点の位置を操作対象とする（ステップＴ５）。
【００４１】
図５に示すように、指の示す方向に、指の指し示す方向に線分が伸び、その端点を操作対象となる機能を有する。他の線分長Ｌは、指の面積Ｓ１による関数から定まるものとする。例えば、Ｌ＝β１×Ｓ１である。
【００４２】
次に、ステップＴ１において、<接触点が２点である場合>、各接触面が示す楕円の長軸の交点がなす角度について、θ１＞θαを判定する。θ１＞θαである場合は、操作モードを２とする（ステップＴ７）。操作モード２は、２本指間の距離による長さの変化である。第一指が示す方向にβ２×ｄ（２点間の距離）だけ線分を伸長し、端点を操作対象とする（ステップＴ８）。図５に示すように、第一の指と第二の指の距離ｄを変数とする関数より長さＬが定まるものとする。変数は距離に加えて第一指および第二指の座標（ｘｉ，ｙｉ）を含んでもよい。例えば、Ｌ＝β２×ｄである。図６に示すように、画面内だけでなく画面外のインタフェースの操作による決定してもよい。
【００４３】
ステップＴ６において、θ１＞θαでない場合は、操作モードを３とする（ステップＴ９）。操作モード３は、指をつまむようなジェスチャーをした場合である。各指が示す方向にβｉ×Ｓｉピクセルだけ線分を伸長し、端点を操作対象とする（ステップＴ１０）。指をつまむようなジェスチャーの場合、図７に示すように、第一指、第二指の各々の示す方向に線分が伸び、端点を操作対象となる機能を有する。線分の長さは、各々の指の面積Ｓｉによる関数から定まるものとする。例えば、Ｌｉ＝βｉ×Ｓｉである。
【００４４】
ステップＴ１において、＜接触点が３点である場合＞は、各接触面が示す楕円の長軸の交点が成す角度について、θ２＞θαを判定する。θ２＞θαである場合、すなわち、図８の左側に示すように、操作モード２の始点をもう一本の指で操作する場合は、操作モードを４とする。操作モード２において、始点を第三指のスライド量だけ移動させる（ステップＴ１３）。移動距離は、第三指の移動距離ｄ３による関数から定まるものとする。
【００４５】
ステップＴ１１において、θ２＞θαでない場合、すなわち、図８の右側に示すように、操作モード３の始点をもう一本の指で操作する場合は、操作モードを５とする（ステップＴ１４）。操作モード３において、始点を第三指のスライド量だけ移動させる（ステップＴ１５）。移動距離は第三指の移動距離ｄ３による関数から定まるものとする。
【００４６】
ステップＴ１において、＜接触点が４点以上（Ｎ本）である場合＞や、<その他操作モード>では、例えば、図９に示すように、エリア選択として、操作モード1〜5において線分領域が通過した領域を選択する場合のモードである。
【００４７】
また、他の操作モードの例として、図１０に示すように、画面の3D表示の操作において、上記操作モードに加え、奥行き方向に対しても操作をするモードがあげられる。
【００４８】
機能の切り替えは他指操作または、装置本体に設けられた何らかのボタン操作で切り替えるものとする。
【００４９】
［第２の実施形態］
第２の実施形態では、指の形状情報が取得できない場合について説明する。第２の実施形態では、指の接触点の数とモードの対応付けを変更して定義する。例えば、操作モード１ (線分の伸縮)の定義変更である。指の向きを検出できない場合、図１１に示すように、２本の指の成す線分を延長した方向を示す方向とする。線分長の変更はタッチ操作時の圧力またはその他外部操作で行う。
【００５０】
また、操作モード２の定義変更である。２点をタッチして方向を確定，2点間距離で長さを変更する。
【００５１】
（その他特徴量を用いた判別）
上記第１の実施形態または第２の実施形態の操作では、指の面積を使ったが、その他の特徴量を用いてもよい。特徴量としては、例えば、接触面積Ｓ、円周ｌ、近似楕円の長軸・短軸長ｄｍａｘ、ｄｍｉｎ、接触面積ΔＳ・円周の変化Δｌ、タッチ座標、これらの時系列データ、またはその他センサから得られる情報を用いてもよい。その他のセンサとしては、例えば、圧力センサ，力覚センサなどがある。
【００５２】
本実施形態において、モードの分類は、上記条件に示した指の本数でなく、指の本数、指の角度、指間の距離から判別されるものでもよく、片手操作，両手操作による差異を含む分類でも構わない。
【００５３】
また、図１１に示すように、大型ディスプレイの場合、複数のユーザが操作するケースがあり、上記のような特徴量等からユーザ数を判別し、それぞれのユーザの操作を適用してもよい。
【００５４】
（モードの切り替え）
上記実施例では、モード切替をするために特徴量を用いたが、デバイスのボタンまたは画面上の選択画面でモードを選択してもよい。
【００５５】
（アプリケーション操作例）
図１２は、スマートフォンにおける文字入力選択や候補文字選択へ応用した例を示す図である。通常、文字入力がアクティブになる位置は、その位置にタッチすることで選択される。この場合、わざわざその位置をタッチしなければいけない点や、アクティブになる位置が指の下のため細かい調整が難しい点など不便を要する。そこで、本発明を適用することによって、指を大きく動かすことなく、アクティブにする位置を設定できる。
【００５６】
そして、アクティブにした位置で、描画ツール、画面の整理、まとめて選択して消去、整理、ドラック等の機能を発揮させることが可能となる。
【００５７】
図１３は、小型ディスプレイと大型ディスプレイを連携させた状態を示す図である。バーコードでディスプレイ端の位置関係をカメラ画像等から取得し、小型ディスプレイで操作モードに応じた操作が、大型ディスプレイの操作に反映されるという例である。この場合、通信部、位置推定部が必要となる。これを実施するためには既存技術を用いることが可能である。
【００５８】
また、図１４に示すように、大型ディスプレイ内のある領域を操作領域とし、この操作領域を用いて、操作の縮尺を変えて、大型ディスプレイの操作に反映する構成を採っても良い。
【００５９】
図１５は、本発明をゲームに適用した場合の表示例を示す図である。図１５では、敵の撃墜型のゲームを示している。このように、ゲームの操作を行なう場合においても、本発明を適用することが可能である。
【００６０】
図１６は、キーボードの画面表示例を示す図である。図１６に示すように、暗証番号などによるセキリュティへの応用が考えられる。暗証番号入力において、ユーザのタッチ位置と、指示位置、線分の通過位置、選択領域のいずれかを含むことが可能である。
【００６１】
以上説明したように、本実施形態によれば、タッチパネルに接触した指の情報を検出し、検出した指の情報から特徴量を抽出し、抽出した特徴量から指の向きを推定し、予め定められた複数の操作モードのうち、指の情報および推定された指の向きに対応する操作モードを判別し、操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とするので、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。
【符号の説明】
【００６２】
１  表示部
３  タッチパネル入力部
５  指形状情報取得部
７  指情報特徴量抽出部
９  指方向推定部
１１  操作モード判別部
１３  操作制御部
１５  表示制御部
１７  操作モード記憶部
【図１】
2014109888.tif 000003
【図２】
2014109888.tif 000004
【図３】
2014109888.tif 000005
【図４】
2014109888.tif 000006
【図５】
2014109888.tif 000007
【図６】
2014109888.tif 000008
【図７】
2014109888.tif 000009
【図８】
2014109888.tif 000010
【図９】
2014109888.tif 000011
【図１０】
2014109888.tif 000012
【図１１】
2014109888.tif 000013
【図１２】
2014109888.tif 000014
【図１３】
2014109888.tif 000015
【図１４】
2014109888.tif 000016
【図１５】
2014109888.tif 000017
【図１６】
2014109888.tif 000018