(57)【要約】【課題】ユーザの意図する操作を的確に推定し、実行する処理を決定することが可能な、操作制御装置を提供する。【解決手段】本発明の操作制御装置１００は、表示部１１２の表示面に対する操作体の接触を検出する検出部１１４と、検出部１１４による検出結果に基づいて、操作体の表示面との接触状態を判定する接触判定部１２０と、接触判定部１２０により表示面に操作体が接触していると判定された場合に、操作体が表示面に接触している接触領域を認識する接触領域認識部と、接触領域認識部により認識された接触領域の大きさに基づいて、表示面に接触している操作体の一の動作に関連付けられた複数の操作処理から、実行する１の操作処理を決定する操作決定部１４０と、を備える。【選択図】図５
2011014044.tif 000002
【特許請求の範囲】
【請求項１】
表示部の表示面に対する操作体の接触を検出する検出部と、
前記検出部による検出結果に基づいて、前記操作体の前記表示面との接触状態を判定する接触判定部と、
前記接触判定部により前記表示面に前記操作体が接触していると判定された場合に、前記操作体が前記表示面に接触している接触領域を認識する接触領域認識部と、
前記接触領域認識部により認識された接触領域の大きさに基づいて、前記表示面に接触している前記操作体の一の動作に関連付けられた複数の操作処理から、実行する１の前記操作処理を決定する操作決定部と、
を備える、操作制御装置。
【請求項２】
前記表示面に接触された状態で前記操作体を移動させる動作に対して、前記表示部に表示されている画面をスクロールするスクロール処理と、前記画面内のオブジェクトの選択位置を示すカーソルを移動するカーソル移動処理とが関連付けられており、
前記操作決定部は、
前記接触領域の大きさが前記操作処理を決定するためのサイズ閾値より小さい場合には、前記スクロール処理の実行を決定し、
前記接触領域の大きさが前記サイズ閾値以上である場合には、前記カーソル移動処理の実行を決定する、請求項１に記載の操作制御装置。
【請求項３】
前記検出部による検出結果に基づいて、前記操作体の移動速度を算出する速度算出部をさらに備え、
前記操作決定部は、前記操作体の移動速度が所定速度より大きくなった場合、前記接触領域の大きさが前記サイズ閾値以上であっても前記カーソル移動処理を実行させる、請求項２に記載の操作制御装置。
【請求項４】
前記操作決定部は、前記スクロール処理の実行を決定した場合、前記スクロール処理を前記操作体が前記表示面から離隔されるまで実行する、請求項２または３に記載の操作制御装置。
【請求項５】
前記接触領域の大きさは、前記接触領域の面積である、請求項１〜４のいずれか１項に記載の操作制御装置。
【請求項６】
前記接触領域の大きさは、前記接触領域の所定の方向の長さである、請求項１〜４のいずれか１項に記載の操作制御装置。
【請求項７】
表示部の表示面に対する操作体の接触を検出するステップと、
検出結果に基づいて、前記操作体の前記表示面との接触状態を判定するステップと、
前記表示面に前記操作体が接触していると判定された場合に、前記操作体が前記表示面に接触している接触領域を認識するステップと、
前記認識された接触領域の大きさに基づいて、前記表示面に接触している前記操作体の一の動作に関連付けられた複数の操作処理から、実行する１の前記操作処理を決定するステップと、
を含む、操作制御方法。
【請求項８】
表示部の表示面に対する操作体の接触を検出する検出部による検出結果に基づいて、前記操作体の前記表示面との接触状態を判定する接触判定手段と、
前記接触判定手段により前記表示面に前記操作体が接触していると判定された場合に、前記操作体が前記表示面に接触している接触領域を認識する接触領域認識手段と、
前記接触領域認識手段により認識された接触領域の大きさに基づいて、前記表示面に接触している前記操作体の一の動作に関連付けられた複数の操作処理から、実行する１の前記操作処理を決定する操作決定手段と、
を備える、操作制御装置として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作制御装置、操作制御方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、情報の入出力操作を誰でも容易に行うことができるようにするための手段として、タッチパネルを用いたＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）が普及している。このようなタッチパネルを用いたＵＩによれば、例えば、図１０Ａに示すように、画面１０においてボタン２０が存在する座標にペン１５をタッチさせる動作が行われると、ボタン２０が押下するという入力情報を入力することができる。あるいは、図１０Ｂに示すように、画面１０において、ペン１５が表示面に接触された位置を筆跡の始点として、ペン１５の動きに沿って筆跡の軌跡を表し、ペン１５が表示面から離隔された位置を終点とするように、ＵＩを用いて図形描写することもできる。
【０００３】
このような従来のパーソナルコンピュータにおけるＵＩ上では、特に、スクロールバーによって画面スクロールを行う操作を、画面を直接ドラッグすることで画面スクロールを行うジェスチャが直感的なＵＩが一般的に行われている。しかしながら、画面ドラッグという同一のジェスチャに対して、テキストや画像を選択する選択操作と画面をスクロールするスクロール操作とが対応付けられており、操作が衝突するという問題があった。
【０００４】
このような問題に対して、選択操作を行うための新しいジェスチャを学習させて設定する対応が考えられるが、操作性低下の要因となる。そこで、例えば特許文献１では、アプリケーション毎にドラッグ操作によるインタラクションを切り換える手法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−４１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、アプリケーションの内部でドラッグ操作に対して複数の処理が関連付けられるという多重化された状態では、これらの処理を動的に切り分けることは困難である。例えばＷｅｂブラウザにおいて、画面スクロール操作とテキストの選択操作とを同時的に行う場合、ユーザに新しい操作を学習させることなく動的に画面スクロール操作と選択操作とを切り分けることは難しい。また、ユーザにとっては画面スクロール操作あるいはテキスト選択操作といった、ドラッグ操作で行いたい操作は明確であるものの、ユーザの意図に反した操作処理が実行されてしまう場合もある。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの意図する操作を的確に推定し、実行する処理を決定することが可能な、新規かつ改良された操作制御装置、操作制御方法およびコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、表示部の表示面に対する操作体の接触を検出する検出部と、検出部による検出結果に基づいて、操作体の表示面との接触状態を判定する接触判定部と、接触判定部により表示面に操作体が接触していると判定された場合に、操作体が表示面に接触している接触領域を認識する接触領域認識部と、接触領域認識部により認識された接触領域の大きさに基づいて、表示面に接触している操作体の一の動作に関連付けられた複数の操作処理から、実行する１の操作処理を決定する操作決定部と、を備える、操作制御装置が提供される。
【０００９】
本発明によれば、操作体の表示面に対する接触領域の大きさに基づいて、操作体の位置の動作に関連付けられた複数の操作処理から実行する操作処理を決定する。これにより、操作制御装置は、操作体の接触領域の大きさからユーザが意図する操作を的確に推定し、実行する処理を決定することができる。また、ユーザは操作体の接触領域の大きさを変更させて同一の動作を行うだけで、新しい操作を学習することなく所望の操作処理を実行させることができる。
【００１０】
ここで、表示面に接触された状態で操作体を移動させる動作に対して、表示部に表示されている画面をスクロールするスクロール処理と、画面内のオブジェクトの選択位置を示すカーソルを移動するカーソル移動処理とを関連付けることができる。このとき、操作決定部は、接触領域の大きさが操作処理を決定するためのサイズ閾値より小さい場合には、スクロール処理の実行を決定し、接触領域の大きさがサイズ閾値以上である場合には、カーソル移動処理の実行を決定するようにしてもよい。
【００１１】
また、本発明の操作制御装置は、検出部による検出結果に基づいて、操作体の移動速度を算出する速度算出部を備えてもよい。操作決定部は、操作体の移動速度が所定速度より大きくなった場合、接触領域の大きさがサイズ閾値以上であってもカーソル移動処理を実行させることもできる。
【００１２】
さらに、操作決定部は、スクロール処理の実行を決定した場合、スクロール処理を操作体が表示面から離隔されるまで実行するようにしてもよい。
【００１３】
接触領域の大きさは、例えば接触領域の面積であってもよく、接触領域の所定の方向の長さであってもよい。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、表示部の表示面に対する操作体の接触を検出するステップと、検出結果に基づいて、操作体の表示面との接触状態を判定するステップと、表示面に操作体が接触していると判定された場合に、操作体が表示面に接触している接触領域を認識するステップと、認識された接触領域の大きさに基づいて、表示面に接触している操作体の一の動作に関連付けられた複数の操作処理から、実行する１の操作処理を決定するステップと、を含む、操作制御方法が提供される。
【００１５】
さらに、上記課題を解決するために、本発明の別の観点によれば、コンピュータに上記の操作制御装置として機能させるためのコンピュータプログラムが提供される。コンピュータプログラムは、コンピュータが備える記憶装置に格納され、コンピュータが備えるＣＰＵに読み込まれて実行されることにより、そのコンピュータを上記の操作制御装置として機能させる。また、コンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体も提供される。記録媒体は、例えば磁気ディスクや光ディスクなどである。
【発明の効果】
【００１６】
以上説明したように本発明によれば、ユーザの意図する操作を的確に推定し、実行する処理を決定することが可能な操作制御装置、操作制御方法およびコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１Ａ】テキスト選択処理が行われている状況を示す説明図である。
【図１Ｂ】画面スクロール処理が行われている状況を示す説明図である。
【図２】同実施形態にかかる操作制御装置のハードウェア構成を示すブロック図である。
【図３】同実施形態にかかる操作制御装置の機能構成を示す機能ブロック図である。
【図４】静電式タッチセンサにより検出された静電容量の大きさの分布を示す説明図である。
【図５】同実施形態にかかる操作制御方法を示すフローチャートである。
【図６】指の平で画面に接触しているときの指の接触状態および接触領域の大きさを示す説明図である。
【図７】指先で画面に接触しているときの指の接触状態および接触領域の大きさを示す説明図である。
【図８】ドラッグ操作のストローク速度が一定であるときの、操作体の速度変化を示す説明図である。
【図９】ドラッグ操作のストローク速度が増加しているときの、操作体の速度変化を示す説明図である。
【図１０Ａ】従来のタッチパネルにおける入力情報の入力方法の一例を示す説明図である。
【図１０Ｂ】従来のタッチパネルにおける入力情報の入力方法の他の一例を示す説明図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
なお、説明は以下の順序で行うものとする。
１．操作制御装置による制御の概要
２．操作制御装置の構成
３．操作制御装置による操作制御方法
【００２０】
＜１．操作制御装置による制御の概要＞
まず、図１Ａおよび図１Ｂに基づいて、本発明の実施形態にかかる操作制御装置による制御の概略について説明する。なお、図１Ａは、テキスト選択処理が行われている状況を示す説明図である。図１Ｂは、画面スクロール処理が行われている状況を示す説明図である。
【００２１】
本実施形態では、表示部と一体に構成されたタッチパネル装置を指やペン等の操作体でタッチして座標入力することによりアプリケーションの操作を行うような、いわゆるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）機能を有するシステムを考える。このようなシステムは、例えば指によるタッチ入力が可能な公共端末やノート型パーソナルコンピュータを用いた業務端末等に適用可能である。
【００２２】
本実施形態では、例えば、図１Ａおよび図１Ｂに示すように、一般的なＷｅｂページのような、スクロールできるページ上にテキスト等のオブジェクトが配置された画面２００の操作を想定している。テキスト上には文字等の入力位置を示す入力カーソル（例えばキャレット）が表示される。入力カーソルによってテキストの始点終点を指定したり、テキストを選択したりする等、一般的なコンピュータのＧＵＩでサポートされている操作が可能である。
【００２３】
本実施形態にかかる操作制御装置の特徴として、同一画面上で同一のドラッグ操作を実施しても、ユーザのドラッグ操作のストローク速度や操作体の接触面積に応じて、異なるインタラクションが実行される点がある。本実施形態では、画面上でのドラッグ操作に対して、オブジェクトの一例であるテキストを選択するテキスト選択処理と、画面をスクロールする画面スクロール処理とが関連付けられており、条件に応じていずれか１つの処理が実行される。
【００２４】
例えば、ユーザのドラッグ操作のストローク速度や操作体の接触面積からテキスト選択処理を実行すると操作制御装置により決定された場合には、図１Ａに示すように、画面２００に表示されたテキストが操作体である指Ｆの動きに沿って選択される。また、ユーザのドラッグ操作のストローク速度や操作体の接触面積から画面スクロール処理を実行すると操作制御装置により決定された場合には、図１Ｂに示すように、画面２００全体が指Ｆの動きに沿ってスクロールされる。
【００２５】
このように、本実施形態にかかる操作制御装置は、ユーザのドラッグ操作のストローク速度や操作体の接触面積からユーザが意図する操作を推定し、テキスト選択処理と画面スクロール処理とを動的に切り替える手段を提供する。以下、本実施形態にかかる操作制御装置とこれによる制御方法について詳細に説明する。
【００２６】
＜２．操作制御装置の構成＞
［ハードウェア構成］
まず、図２に基づいて、本実施形態にかかる操作制御装置１００のハードウェア構成について説明する。なお、図２は、本実施形態にかかる操作制御装置１００のハードウェア構成を示すブロック図である。
【００２７】
本実施形態にかかる操作制御装置１００は、図２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０２と、不揮発性メモリ１０３とを備える。さらに、操作制御装置１００は、タッチパネル１０４と、表示装置１０５とを備える。
【００２８】
ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って操作制御装置１００内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＡＭ１０２は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。不揮発性メモリ１０３は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。不揮発性メモリ１０３は、例えばＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やフラッシュメモリ等を用いることができる。
【００２９】
タッチパネル１０４は、ユーザが情報を入力する入力装置の一例であって、情報を入力ための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。ユーザは、タッチパネル１０４を操作することにより、操作制御装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。表示装置１０５は、情報を出力する出力装置の一例である。表示装置１０５として、例えばＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置などを用いることができる。
【００３０】
［機能構成］
次に、図３および図４に基づいて、本実施形態にかかる操作制御装置１００の機能構成について説明する。なお、図３は、本実施形態にかかる操作制御装置１００の機能構成を示す機能ブロック図である。図４は、静電式タッチセンサにより検出された静電容量の大きさの分布を示す説明図である。
【００３１】
本実施形態にかかる操作制御装置１００は、図３に示すように、表示入力部１１０と、接触判定部１２０と、接触面積算出部１３０と、操作決定部１４０と、速度算出部１５０と、画面表示処理部１６０と、メモリ１７０とを備える。
【００３２】
表示入力部１１０は、テキストやアイコン、図形などのオブジェクトを表示するとともに、操作体で触れることにより表示されたカーソルや画面内のオブジェクトを操作可能な装置である。表示入力部１１０に表示されたカーソル等を操作する操作体としては、例えば指やタッチペン等を用いることができる。表示入力部１１０は、オブジェクトを表示する表示部１１２と、操作体の表示部１１２の表示面に対する近接および接触を検出する検出部１１４とからなる。表示部１１２は、図２の表示装置１０５に相当し、例えば液晶ディスプレイや有機ＥＬディスプレイを用いることができる。また、検出部１１４は、図２のタッチパネル１０４に相当し、例えば、静電容量の変化を検出するセンサや、表示部１１２への圧力の変化を検出するセンサ、光量の変化（影の濃さ）を検出することで操作体の近接を検知する光学方式のセンサ等を用いることができる。
【００３３】
例えば、検出部１１４が静電容量の変化を検出する静電式のタッチパネルである場合、当該タッチパネルは、静電センサを格子状（例えば１０×６）に配置して構成することができる。タッチパネルは、静電容量の変化によってその値を常時変化させる。静電センサに指が近接したり接触したりした場合には、静電センサにより検出される静電容量は増加する。静電センサにより検出される静電容量の増加量の変化に基づいて、タップ等のインタラクションを検出することができる。また、個々の静電センサの静電容量は同時に取得することが可能となる。このため、後述するように、検出部１１４によりすべての静電センサの静電容量の変化を同時に検出し、補間することによってタッチパネルに近接または接触する操作体（例えば指Ｆ）の形状を取得することができる。なお、本実施形態にかかる検出部１１４は、少なくとも表示入力部１１０に対する操作体の接触を検出できればよい。
【００３４】
検出部１１４は、検出した検出値を検出結果として接触判定部１２０および画面表示処理部１６０へ出力する。なお、検出部１１４が表示部１１２のオブジェクト表示面側に設けられる場合、ユーザは、検出部１１４に操作体を接触させて表示部１１２に表示されたキャレット等のカーソルを操作する。このとき、操作体が実際に接触するのは検出部１１４の表面であるが、以下においては、このように操作体を接触させる面を「（表示入力部１１０の）表示面」として説明する。
【００３５】
接触判定部１２０は、操作体が表示入力部１１０の表示面に接触したか否かを判定する。例えば、検出部１１４が静電容量の変化を検出する静電式のタッチパネルである場合、接触判定部１２０は、検出部１１４が検出した静電容量の値に基づいて、操作体が表示入力部１１０の表示面に接触したか否かを判定する。静電式のタッチパネルを用いると、図４に示すように、表示面に対する操作体の接触または近接距離に応じて変化する静電容量の大きさを把握することができる。図４において黒色で表わされている領域は指Ｆがタッチパネルに接触している接触領域であって、静電容量が大きい領域である。一方、白色で表わされている領域はタッチパネルと対向して指が存在していない領域であって、静電容量は低い。
【００３６】
このように、タッチパネルにより検出される静電容量の大きさにより操作体がタッチパネルに接触しているか否かを判定することができる。接触判定部１２０は、操作体がタッチパネルに接触していると判定した場合、接触面積算出部１３０に画像化された接触領域の情報を出力する。また、接触判定部１２０は、少なくとも検出部１１４が静電容量を検出した検出時間と、当該検出時間における操作体の重心位置とを関連付けて、メモリ１７０に記録する。
【００３７】
接触面積算出部１３０は、操作体が表示入力部１１０の表示面に接触している接触領域の面積を算出する。すなわち、接触面積算出部１３０は、接触領域を認識する接触領域認識部として機能し、接触領域に関する情報を取得したり算出したりする。本実施形態では、接触領域の大きさの指標として接触領域の面積を用いる。接触面積算出部１３０は、接触判定部１２０から接触領域を示す画像が入力されると、接触領域の面積算出処理を開始する。そして、接触面積算出部１３０は、算出した接触面積の値を操作決定部１４０に出力する。
【００３８】
操作決定部１４０は、操作体の接触領域の面積や操作体のストローク速度に基づいて、実行する処理を決定する。操作決定部１４０は、例えば、ドラッグ操作にテキスト選択処理と画面スクロール処理とが関連付けられている場合に、操作体の接触領域の面積や操作体のストローク速度に基づいて、いずれの処理を実行するかを決定する。この判定を行うため、操作決定部１４０は、速度算出部１５０に対して操作体のストローク速度あるいはストローク加速度を算出させ、算出結果を受け取る。操作決定部１４０は、実行する処理を決定すると、決定した処理を実行するよう画面表示処理部１６０へ指示する。
【００３９】
速度算出部１５０は、表示面上を移動する操作体のストローク速度およびストローク加速度を算出する。速度算出部１５０は、操作決定部１４０から速度算出指示を受けると、メモリ１７０が記憶する過去複数時点における操作体の位置とその時間情報に基づいて、操作体のストローク速度およびストローク加速度を算出する。そして、速度算出部１５０は、操作決定部１４０および画面表示処理部１６０へ出力する。
【００４０】
画面表示処理部１６０は、操作決定部１４０により決定された処理を実行し、その処理結果に基づいて表示部１１２の表示内容を変更する。例えば操作決定部１４０にて画面上で行われたドラッグ操作からテキスト選択処理を実行すると決定された場合、画面表示処理部１６０は、検出部１１４による検出結果やメモリ１７０に記録された過去複数時点における操作体の位置情報に基づいて、カーソルを移動させる。また、例えば操作決定部１４０にて画面上で行われたドラッグ操作から画面スクロール処理を実行すると決定された場合、画面表示処理部１６０は、検出部１１４による検出結果やモリ１７０に記録された過去複数時点における操作体の位置情報に基づいて画面をスクロールさせる。画面表示処理部１６０は、必要に応じて速度算出部１５０により算出された操作体のストローク速度やストローク加速度を用いて表示処理を行うこともできる。画面表示処理部１６０により処理された表示情報は表示部１１２に出力され、表示部１１２の表示内容が変更される。
【００４１】
メモリ１７０は、複数時点における操作体の画面上の位置とその時間情報とを関連付けて記憶する。メモリ１７０は、検出部１１４による検出結果から算出された操作体の重心位置を検出時間と関連付けて記憶する。また、メモリ１７０には、テキスト選択処理と画面スクロール処理とから実行する処理を決定するために用いる、操作体の接触領域の大きさに関する閾値が記憶されている。
【００４２】
以上、本実施形態にかかる操作制御装置１００の構成について説明した。次に、図５〜図９に基づいて、本実施形態にかかる操作制御装置１００による操作制御方法について説明する。なお、図５は、本実施形態にかかる操作制御方法を示すフローチャートである。図６は、指の平で画面に接触しているときの指の接触状態および接触領域の大きさを示す説明図である。図７は、指先で画面に接触しているときの指の接触状態および接触領域の大きさを示す説明図である。図８は、ドラッグ操作のストローク速度が一定であるときの、操作体の速度変化を示す説明図である。図９は、ドラッグ操作のストローク速度が増加しているときの、操作体の速度変化を示す説明図である。
【００４３】
＜３．操作制御装置による操作制御方法＞
本実施形態にかかる操作制御装置１００による操作制御方法は、図５に示すように、まず、接触判定部１２０により表示入力部１１０の表示面に操作体が接触したか否かが判定される（ステップＳ１００）。接触判定部１２０は、上述したように、検出部１１４の検出結果に基づいて、操作体が表示入力部１１０の表示面に接触しているか否かを判定することができる。例えば検出部１１４が静電式のタッチパネルからなる場合を考える。このとき、接触判定部１２０は、指Ｆが表示入力部１１０の表示面に接触していないときの静電センサの検出値を基準として、検出される静電容量が所定の値以上に増加したとき、指Ｆが表示入力部１１０に接触したと判定する。接触判定部１２０は、指Ｆが表示入力部１１０の表示面に接触したと判定するまでステップＳ１００の処理を繰り返す。
【００４４】
指Ｆが表示入力部１１０の表示面に接触したと判定すると、接触判定部１２０は、接触面積算出部１３０に対して、指Ｆが表示面に接触している接触領域の面積を算出させる（ステップＳ１１０）。本ステップでは、接触領域の大きさを示す指標として用いる接触領域の面積が算出される。接触面積算出部１３０は、検出部１１４の検出結果である静電容量の変化から指Ｆが表示入力部１１０の表示面に接触する接触領域の形状を画像として認識する。そして、接触面積算出部１３０は、認識された画像から接触領域の大きさとして接触領域の面積を算出する。接触領域の面積の算出は、まず、各画素の静電容量において所定の閾値を超えている画素を１、所定の閾値以下の画素を０として２値化する。そして、２値化された画像から所定の閾値を超えている画素（すなわち、「１」である画素）の数を算出して、単位画素当たりの面積を乗ずることにより、接触領域の面積を算出することができる。
【００４５】
次いで、接触面積算出部１３０は、算出した接触領域の面積が所定の大きさ以上であるか否かを判定する（ステップＳ１２０）。本実施形態では、同一のドラック操作が行われる場合においてユーザが明確に画面スクロールとテキスト選択とを区別するための判断要素として、接触領域の面積が所定の大きさ以上であるか否かを用いる。例えば、図６に示すように、指Ｆが指の平で表示入力部１１０と接触している場合には、接触領域２２０の形状は指の長手方向に長い略楕円形状となり、接触領域２２０の面積は大きくなる。一方、図７に示すように、指Ｆが指先で表示入力部１１０と接触している場合には、接触領域２２０の形状は面積の小さい、指の幅方向に長い略楕円形状となる。
【００４６】
このように、表示面に対する指Ｆの接触の仕方によって、接触領域２２０の面積が変化する。これを利用して、例えば、テキストの選択を行う場合には指Ｆの平を表示面と接触させることが多く、接触領域が所定の大きさ以上となることから、操作決定部１４０は、接触領域の面積が所定の面積以上の場合にはテキスト選択処理を実行させる。一方、画面をスクロールさせるときには、指Ｆの先端を軽く表示面に接触させて移動させるようにドラックすることが多い。このため、指Ｆの先で表示面と接触しており、接触領域が所定の面積未満であるときには、操作決定部１４０は、画面スクロール処理を実行させる。ここで、サイズ閾値である所定の面積は、予め設定されていてもよく、ユーザ毎にキャリブレーションして、例えば指Ｆの平を接触させたときの接触領域の面積と指Ｆの先を接触させたときの接触領域の面積との中間値に設定してもよい。
【００４７】
なお、接触領域の面積の増減に応じて動的にインタラクションを変更させると、操作処理が複雑になってしまい操作し難くなってしまう。そこで、本実施形態では、かかる複雑さを排除するため、ドラッグ操作により実行される頻度の高い処理を優先して実行させるようにすることもできる。例えば、ドラッグ操作により画面スクロール処理が実行される頻度は、テキスト選択処理が実行される頻度に比べて一般的に高い。そこで、操作決定部１４０は、操作体の表示面に対する接触領域の面積が所定の面積以上の大きさであり、その後所定の面積未満の大きさとなった場合には、画面スクロール処理を実行させるが、その逆は行わないようにする。すなわち、操作決定部１４０は、接触領域の面積が所定の面積未満の状態から所定の面積以上となってもテキスト選択処理が実行されないようにする。このように、実行頻度の高い画面スクロール処理をテキスト選択処理より優先して実行させるようにすることで、操作処理の複雑さを排除することができる。
【００４８】
図５に戻り、ステップＳ１２０にて接触領域の面積が所定の大きさ未満と判定された場合には、操作決定部１４０は、画面スクロール処理の実行を決定する（ステップＳ１３０）。操作決定部１４０は、画面表示処理部１６０に対して、操作体のドラッグ操作により画面スクロール処理を実行する指示を出力する。そして、画面表示処理部１６０は、検出部１１４の検出結果から操作体の重心位置の動きを認識し、重心位置の移動方向に合わせて画面をスクロールさせる。操作体が表示面から離隔（リリース）されると、操作制御装置１００は当該操作制御を終了する。
【００４９】
一方、ステップＳ１２０にて接触領域の面積が所定の大きさ以上であると判定された場合には、操作決定部１４０は、速度算出部１５０に操作体のストローク速度を算出させる（ステップＳ１４０）。速度算出部１５０は、メモリ１７０を参照し、過去複数時点における操作体の位置とその時間情報に基づいて操作体のストローク速度を算出する。
【００５０】
その後、操作決定部１４０は、速度算出部１５０により算出された操作体のストローク速度が所定の速度以下であるか否かを判定する（ステップＳ１５０）。本実施形態にかかる操作制御方法によれば、ドラッグ操作時の操作体のストローク速度によってドラッグ操作におけるインタラクションが切り換えられる。ここで、図８に示すように、ドラック操作の移動速度が一定である場合には、ストローク速度は初め増加するが、その後ある一定の速度となる。一方、ストローク速度が増加し続ける場合には、図９に示すように、右肩上がりのグラフのようにストローク速度は変化する。
【００５１】
ステップＳ１５０において、ストローク速度が所定の速度以下と判定された場合には、操作決定部１４０はテキスト選択処理を実行させる（ステップＳ１６０）。一般に、テキスト選択は画面の表示内容を詳細に確認しながら行われるため、テキスト選択をするときのストローク速度は画面スクロールをするときのストローク速度と比較して遅い。そこで、ストローク速度が所定の速度Ｖ１以下である場合には、テキスト選択処理が実行される。例えば図８に示すように速度Ｖ１以下の一定のストローク速度で操作体が移動されている場合や、図９に示すようにストローク速度が速度Ｖ１を超えるまでは、操作決定部１４０はテキスト選択処理を実行させる。
【００５２】
そして、接触判定部１２０は操作体が表示面からリリースされたか否かを判定し（ステップＳ１７０）、操作体がリリースされたと判定した場合には、操作制御装置１００は当該操作制御を終了する。一方、操作体が表示面に接触され続けている状態と判定された場合には、ステップＳ１２０からの処理を繰り返す。
【００５３】
また、ステップＳ１５０においてストローク速度が所定の速度Ｖ１より大きいと判定された場合には、ステップＳ１３０に進み、操作決定部１４０は画面スクロール処理の実行を決定する。なお、上述したように、本実施形態では、操作性を向上させるため、ドラッグ操作においてテキスト選択処理よりも画面スクロール処理が優先して行われる。このため、ストローク速度が一度速度Ｖ１を超えて画面スクロール処理に切り替わると、その後ストローク速度が減少して速度Ｖ１以下になったとしてもさらにテキスト選択処理に切り替わることはない。この場合、テキスト選択処理を行いたい場合には、一度操作体を表示面からリリースさせ、再度表示面に接触させればよい。
【００５４】
以上、本実施形態にかかる操作制御装置１００による操作制御方法について説明した。本実施形態によれば、ユーザが操作体を表示面に接触された状態でドラッグしたときの操作体の表示面に対する接触領域の面積が所定の大きさ以下である場合、またはストローク速度が所定の速度Ｖ１以上の場合、ユーザは操作体を表示面からリリースさせるまでドラッグ操作に応じて画面スクロールを行うことができる。一方、ストローク速度が速度Ｖ１以下である場合、ドラッグ操作の軌跡に合わせてテキスト選択を行うことができる。この操作はパーソナルコンピュータに接続されたマウスで一般に左ボタンをドラッグしながらマウスを動かす操作（マウスイベント）に相当する。該当するマウスイベントをアプリケーションに通知すればアプリケーション側で例えばテキスト選択やセルの選択などの任意の操作を割り当てることができる。
【００５５】
このように、画面上のドラッグ操作における操作体のストローク速度と接触領域の面積とに基づいて、ドラッグ操作時のテキスト選択処理と画面スクロール処理とを弁別することができる。ユーザは、新しい操作を学習することなく、テキスト選択処理と画面スクロール処理とをドラッグ操作のみで切り分けることができる。
【００５６】
なお、本実施形態では接触領域の大きさを接触領域の面積により判定したが、かかる例に限定されず、例えば接触領域の所定の方向の長さにより判定してもよい。一具体例としては、タッチパネルの使用状態から決定される画面の上下方向における、接触領域の長さを接触領域の大きさを示す指標として用いることができる。図６に示すように、表示面に指Ｆの平を接触させたときには、接触領域２２０の画面の上下方向の長さｔは長くなる。一方、図７に示すように、表示面に指Ｆの先を接触させたときには、接触領域２２０の画面の上下方向の長さｔは短くなる。このような接触領域の長さｔの変化を利用して、操作決定部１４０は、長さｔが所定長さ以上である場合にはテキスト選択処理を実行させ、長さｔが所定長さより小さい場合には画面スクロール処理を実行させるようにすることができる。
【００５７】
また、ステップＳ１５０において、操作処理の判定に用いる操作体のストローク速度は、検出部１１４により検出され続ける検出値から速度算出部１５０によって随時算出されるストローク速度であったが、かかる例に限定されない。例えば、操作決定部１４０は、操作体が表示面に接触されてドラッグ操作が行われたときの初速度に基づいて、操作処理を決定するようにしてもよい。一般に、画面スクロール処理を行うときの操作体のストローク初速度は、テキスト選択処理を行うときのストローク初速度に比べて大きい傾向がある。そこで、ステップＳ１５０においてストローク初速度が所定速度以下であるか否かを判定するようにしてもよい。
【００５８】
あるいは、ステップＳ１５０において、操作決定部１４０は、操作体のストローク速度の代わりにストローク加速度に基づいて操作処理を決定するようにしてもよい。一般に、画面スクロール処理を行うときの操作体のストローク加速度は、テキスト選択処理を行うときのストローク加速度に比べて大きい傾向がある。そこで、ステップＳ１５０においてストローク加速度が所定加速度以下であるか否かを判定するようにしてもよい。
【００５９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００６０】
例えば、上記実施形態では、操作体の接触領域の面積が所定の大きさ以上である場合にテキスト選択処理を実行し、接触領域の面積が所定の大きさより小さい場合には画面スクロール処理を実行したが、本発明はかかる例に限定されない。例えば、操作体の接触領域の面積が所定の大きさ以上である場合に画面スクロール処理を実行させ、接触領域の面積が所定の大きさより小さい場合にはテキスト選択処理を実行させてもよい。接触領域の大きさに応じて関連付ける操作処理は、その操作を行うときに操作しやすい操作体の接触状態を考慮して決定することができる。
【００６１】
また、上記実施形態では、例えばＷｅｂページやスクロールできるページ上にテキストが配置された画面２００を例として説明したが、本実施形態にかかる操作制御装置１００による操作制御方法は、他の例にも適用可能である。例えば、表示入力部１１０に操作体を接触させて図形を描写する場合に、操作制御装置１００による操作制御方法を用いることができる。
【００６２】
例えば、図形等を描写する場合には、指の先を表示部に接触させて指を移動させる。一方、図形等の入力エリアが表示面よりも広い場合には、表示されていない入力エリアを表示するため、画面をスクロールさせる必要がある。この場合には、指の平を表示部に接触させて、画面をスクロールしたい方向に移動させる。このように、指の接触領域の大きさによって指の同一方向へのドラッグにおいてユーザが行おうとしている操作を推定することができ、１つの動作に対して操作処理を多重化することができる。
【符号の説明】
【００６３】
１００    操作制御装置
１１０    表示入力部
１１２    表示部
１１４    検出部
１２０    接触判定部
１３０    接触面積算出部
１４０    操作決定部
１５０    速度算出部
１６０    画面表示処理部
１７０    メモリ
２００    画面
２２０    接触領域
【図１Ａ】
2011014044.tif 000003
【図１Ｂ】
2011014044.tif 000004
【図２】
2011014044.tif 000005
【図３】
2011014044.tif 000006
【図４】
2011014044.tif 000007
【図５】
2011014044.tif 000008
【図６】
2011014044.tif 000009
【図７】
2011014044.tif 000010
【図８】
2011014044.tif 000011
【図９】
2011014044.tif 000012
【図１０Ａ】
2011014044.tif 000013
【図１０Ｂ】
2011014044.tif 000014