(57)【要約】【課題】シングルポインティングデバイスを用いてマルチタッチ操作によるマルチポイント操作を実現し、かつ、ソフトウェアの開発量を抑制することができる電子機器の操作入力方法および電子機器を提供する。【解決手段】電子機器の操作入力方法は、シングルポインティングデバイス１２０の操作に応じてポインタ２１１を表示画面に表示するステップと、シングルポインティングデバイス１２０の操作に応じて動作する擬似ポインタ２１２を表示画面１１１に表示するステップと、ポインタ２１１の表示位置と擬似ポインタ２１２の表示位置とに基づいて、タブレットＰＣ１１０に対する画面操作を判定するステップと、判定されたタブレットＰＣ１１０に対する画面操作に基づいて、擬似ポインタ２１２をポインタ２１１の動作と連動して動作させるステップとを含む。【選択図】図８Ａ
2015001898.tif 000002
【特許請求の範囲】
【請求項１】
シングルポインティングデバイスの操作によって動作する第１のポインタを備える電子機器において、
前記シングルポインティングデバイスの操作に応じて前記第１のポインタを表示画面に表示するステップと、
前記シングルポインティングデバイスの操作に応じて動作する第２のポインタを前記表示画面に表示するステップと、
前記第１のポインタの表示位置と前記第２のポインタの表示位置とに基づいて、前記電子機器に対する画面操作を判定するステップと、
前記判定された前記電子機器に対する画面操作に基づいて、前記第２のポインタを前記第１のポインタの動作と連動して動作させるステップとを含む、
電子機器の操作入力方法。
【請求項２】
請求項１記載の電子機器の操作入力方法であって、
前記表示画面における任意の箇所を中心点として定め、当該中心点を表示するステップをさらに含み、
前記第２のポインタを前記第１のポインタの動作と連動して動作させるステップにおいて、前記第２のポインタを、前記中心点を中心として前記第１のポインタと点対称となる位置に移動させる、
電子機器の操作入力方法。
【請求項３】
請求項２記載の電子機器の操作入力方法であって、
前記中心点を表示するステップにおいて、
前記中心点は、前記シングルポインティングデバイスの操作に応じて位置を変える、
電子機器の操作入力方法。
【請求項４】
請求項３記載の電子機器の操作入力方法であって、
前記中心点を表示するステップにおいて、
前記シングルポインティングデバイスの設定が右利き用である場合は、前記中心点を、前記第１のポインタの右下あるいは左上に配置し、
前記シングルポインティングデバイスの設定が左利き用である場合は、前記中心点を、前記第１のポインタの左下あるいは右上に配置する、
電子機器の操作入力方法。
【請求項５】
請求項１記載の電子機器の操作入力方法であって、
前記第２のポインタを前記第１のポインタの動作と連動して動作させるステップにおいて、
前記第２のポインタを、前記第１のポインタに対して並行に移動させる、
電子機器の操作入力方法。
【請求項６】
請求項５記載の電子機器の操作入力方法であって、
前記第２のポインタを表示するステップにおいて、
前記シングルポインティングデバイスの設定が右利き用である場合は、前記第２のポインタを、前記第１のポインタの右側に配置し、
前記シングルポインティングデバイスの設定が左利き用である場合は、前記第２のポインタを、前記第１のポインタの左側に配置する、
電子機器の操作入力方法。
【請求項７】
請求項１記載の電子機器の操作入力方法であって、
前記シングルポインティングデバイスは、第１のボタンと、第２のボタンとを備え、
前記第１のボタンおよび前記第２のボタンのそれぞれについて、ユーザーに操作されているか判定するステップをさらに含み、
前記第１のボタンが押されている場合は、前記第２のポインタを、前記中心点を中心として前記第１のポインタと点対称となる位置に移動させ、
前記第２のボタンが押されている場合は、前記第１のポインタに対して並行に移動させる、
電子機器の操作入力方法。
【請求項８】
請求項１から７のいずれか一項に記載の電子機器の操作入力方法の少なくともひとつを備える、
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、電子機器の操作入力方法および電子機器に関し、より具体的には、シングルポインティングデバイスを用いて、複数のポイントを同時操作するマルチポイント操作を実現する技術に関する。
【背景技術】
【０００２】
シングルポインティングデバイスとは、一度に１つの位置の特定しか行わない方式のユーザー入力デバイスのことである。例として、マウスやトラックボールが挙げられる。
【０００３】
マルチポイント操作とは、電子機器のグラフィックユーザーインターフェース（ＧＵＩ）の操作において同時に複数のポイントを操作することである。例として、タッチパネルを搭載した電子機器におけるマルチタッチ操作が挙げられる。マルチタッチ操作とは、タッチパネルを有するスマートフォンやタブレットＰＣ等の電子機器において、電子機器のユーザーが複数の箇所をタッチし、電子機器のＧＵＩを操作することである。
【０００４】
マルチタッチ操作は、タッチパネル上のセンサーと、電子機器上で動作するデバイスドライバ、ミドルウェア、アプリケーションといったソフトウェア群により実現される。例えば、タッチパネル上に接触した複数の指の位置をセンサーが検知し、デバイスドライバが座標として指の位置をセンサーから読み出し、ミドルウェアが座標と時系列における座標の変化からタッチイベントを識別し、アプリケーションがタッチイベントに応じてＧＵＩの処理や画面表示の更新を行うことでタッチパネル操作を実現する。
【０００５】
マルチタッチ操作の利便性は、スマートフォンやタブレットＰＣ等の電子機器において既に実証されており、数多くのアプリケーションがマルチタッチ操作に対応している。
【０００６】
マルチタッチ操作に対応したアプリケーションでは、マルチタッチ操作によって主に画面表示の拡大、縮小、回転又はスクロールといった操作が行われる。画面表示の拡大、縮小、回転又はスクロールといった操作は、シングルポインティングデバイスで行うこともでき、その技術は既に開示されている（例えば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２０１０−５３８４００号公報
【特許文献２】特開２０１２−２０８６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、既存の技術では、マルチタッチ操作を実現するものではなく、画面表示の拡大、縮小、回転又はスクロールといった個々の操作を実現するものである。したがって、シングルポインティングデバイスを使用して、マルチタッチ操作によるマルチポイント操作の実現が望まれている。
【０００９】
また、シングルポインティングデバイスを用いてマルチタッチ操作を実現するためのソフトウェア群について考えた場合、タッチイベントを識別するミドルウェアについては、マルチポイント操作と、シングルポインティングデバイスによる操作との２種類の操作に対するソフトウェアを実装する必要があり、ソフトウェアの開発量が増加する。
【００１０】
上記課題に鑑み、本開示は、シングルポインティングデバイスを用いてマルチタッチ操作によるマルチポイント操作を実現し、かつ、ソフトウェアの開発量を抑制することができる電子機器の操作入力方法および電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本開示の一態様にかかる電子機器の操作入力方法は、シングルポインティングデバイスの操作によって動作する第１のポインタを備える電子機器において、前記シングルポインティングデバイスの操作に応じて前記第１のポインタを表示画面に表示するステップと、前記シングルポインティングデバイスの操作に応じて動作する第２のポインタを前記表示画面に表示するステップと、前記第１のポインタの表示位置と前記第２のポインタの表示位置とに基づいて、前記電子機器に対する画面操作を判定するステップと、前記判定された前記電子機器に対する画面操作に基づいて、前記第２のポインタを前記第１のポインタの動作と連動して動作させるステップとを含む。
【００１２】
これにより、任意の箇所に配置された擬似ポインタと、ユーザーが操作するポインタとを用いたマルチポイント操作を実現することができる。また、ユーザーが擬似ポインタを操作することが可能となり、よりユーザーの意図を反映したマルチポイント操作を実現することができる。さらに、マルチポイント操作と、シングルポインティングデバイスによる操作との２種類の操作に対するソフトウェアを実装する必要がなく、ソフトウェアの開発量を抑制することができる。
【００１３】
さらに、前記表示画面における任意の箇所を中心点として定め、当該中心点を表示するステップをさらに含み、前記第２のポインタを前記第１のポインタの動作と連動して動作させるステップにおいて、前記第２のポインタを、前記中心点を中心として前記第１のポインタと点対称となる位置に移動させるとしても良い。
【００１４】
これにより、ユーザーは簡易なポインタ操作で拡大、縮小または回転と呼ばれるマルチタッチ操作及びそれらに相当するマルチポイント操作を行うことができる。
【００１５】
さらに、前記中心点を表示するステップにおいて、前記中心点は、前記シングルポインティングデバイスの操作に応じて位置を変えるとしても良い。
【００１６】
さらに、前記中心点を表示するステップにおいて、前記シングルポインティングデバイスの設定が右利き用である場合は、前記中心点を、前記第１のポインタの右下あるいは左上に配置し、前記シングルポインティングデバイスの設定が左利き用である場合は、前記中心点を、前記第１のポインタの左下あるいは右上に配置するとしても良い。
【００１７】
これにより、ポインタと擬似ポインタの位置関係は、ユーザーの親指と人差し指を、中心点をはさんで点対称に配置したのと同様の位置関係となり、ユーザーは直感的に擬似ポインタを利用できる。
【００１８】
また、前記第２のポインタを前記第１のポインタの動作と連動して動作させるステップにおいて、前記第２のポインタを、前記第１のポインタに対して並行に移動させるとしても良い。
【００１９】
これにより、ユーザーは簡易なポインタ操作で２本指タップ及び２本指スクロールと呼ばれるマルチタッチ操作及びそれらに相当するマルチポイント操作を行うことができる。
【００２０】
さらに、前記第２のポインタを表示するステップにおいて、前記シングルポインティングデバイスの設定が右利き用である場合は、前記第２のポインタを、前記第１のポインタの右側に配置し、前記シングルポインティングデバイスの設定が左利き用である場合は、前記第２のポインタを、前記第１のポインタの左側に配置するとしても良い。
【００２１】
これにより、ポインタと擬似ポインタの位置関係は、ユーザーの人差し指と中指を並行に配置したのと同様の位置関係となり、ユーザーは直感的に擬似ポインタを利用できる。
【００２２】
さらに、前記シングルポインティングデバイスは、第１のボタンと、第２のボタンとを備え、前記第１のボタンおよび前記第２のボタンのそれぞれについて、ユーザーに操作されているか判定するステップをさらに含み、前記第１のボタンが押されている場合は、前記第２のポインタを、前記中心点を中心として前記第１のポインタと点対称となる位置に移動させ、前記第２のボタンが押されている場合は、前記第１のポインタに対して並行に移動させるとしてもよい。
【００２３】
これにより、マウスのドラッグのような一連の操作を持って、第１のポインタおよび第２のポインタにより、画面の拡大、縮小及び回転などのマルチポイント操作をスムーズに実施できる。
【００２４】
また、本開示の一態様に係る電子機器は、上記した特徴を有する電子機器の操作入力方法の少なくともひとつを備える。
【００２５】
これにより、上記した特徴を有する電子機器を実現することができる。
【発明の効果】
【００２６】
上記実施の形態によれば、シングルポインティングデバイスを用いてマルチタッチ操作によるマルチポイント操作を実現し、かつ、ソフトウェアの開発量を抑制することができる。
【図面の簡単な説明】
【００２７】
【図１】実施の形態にかかるタブレットＰＣの構成を示す図である。
【図２】実施の形態にかかるタブレットＰＣのシングルポインティングデバイスの構成を示す図である。
【図３】実施の形態にかかるタブレットＰＣのシステム構成を示す図である。
【図４】実施の形態にかかるタブレットＰＣのソフトスタックを示す図である。
【図５】実施の形態にかかるタブレットＰＣの表示画面を示す図である。
【図６Ａ】実施の形態にかかるタブレットＰＣにおけるポインタと擬似ポインタの配置位置を示す図である。
【図６Ｂ】実施の形態にかかるタブレットＰＣにおけるポインタと擬似ポインタの配置を示す図である。
【図６Ｃ】実施の形態にかかるタブレットＰＣにおけるポインタと擬似ポインタの動きを示す図である。
【図６Ｄ】実施の形態にかかるタブレットＰＣにおけるポインタと擬似ポインタの動きを示す図である。
【図７Ａ】実施の形態にかかるタブレットＰＣにおけるポインタと擬似ポインタの配置位置を示す図である。
【図７Ｂ】実施の形態にかかるタブレットＰＣにおけるポインタと擬似ポインタの配置を示す図である。
【図８Ａ】実施の形態にかかるタブレットＰＣにおける擬似ポインタ表示のアルゴリズムを示す図である。
【図８Ｂ】実施の形態にかかるタブレットＰＣにおける擬似ポインタ表示のアルゴリズムを示す図である。
【発明を実施するための形態】
【００２８】
（実施の形態）
以下、実施の形態について、図面を用いて説明する。
【００２９】
図１に、本実施の形態にかかるタブレットＰＣ１１０の構成を示す。タブレットＰＣ１１０は、本開示において、電子機器に相当する。タブレットＰＣ１１０は、マルチタッチに対応したスマートフォンやタブレットＰＣのアプリケーションソフトウェアを動作させるコンピュータである。
【００３０】
図１に示すように、タブレットＰＣ１１０はディスプレイを備え、ディスプレイに表示画面１１１を表示する。タブレットＰＣ１１０には、シングルポインティングデバイス１２０が接続され、タブレットＰＣ１１０のユーザーは、シングルポインティングデバイス１２０を介してタブレットＰＣ１１０を操作する。その操作に応じて、タブレットＰＣ１１０上で動作するソフトウェアによって、表示画面１１１の内容が更新される。
【００３１】
図２に、本実施の形態にかかるタブレットＰＣ１１０のシングルポインティングデバイス１２０の構成を示す。シングルポインティングデバイス１２０は、通常マウスと呼ばれるものである。シングルポインティングデバイス１２０は、本体を前後左右に動かすことで、シングルポインティングデバイス１２０に接続されたタブレットＰＣ１１０の表示画面１１１に表示されるポインタ２１１を動かすものである。
【００３２】
シングルポインティングデバイス１２０は、タブレットＰＣ１１０からの問い合わせを受け、シングルポインティングデバイス１２０の本体の前後左右の移動量をタブレットＰＣ１１０に送信する。シングルポインティングデバイス１２０は、左ボタン１２１と、中ボタン１２２と、右ボタン１２３とを持ち、タブレットＰＣ１１０からの問い合わせを受けて、それぞれのボタンが押されているか又は離されているかというボタンの状態を判定し、判定したボタンの状態をタブレットＰＣ１１０に送信する。なお、右ボタン１２３および中ボタン１２２は、本実施の形態にかかる第１のボタンおよび第２のボタンに相当する。
【００３３】
図３に、本実施の形態にかかるタブレットＰＣ１１０のシステム構成を示す。なお、簡単のため、本実施の形態とは直接関係無い部分については、記載を省略している。
【００３４】
タブレットＰＣ１１０は、ソフトウェアを動作させ、システムを制御するためのメインモジュール１３０と、表示画面を映し出すディスプレイモジュール１５０と、メインモジュール１３０とディスプレイモジュール１５０を繋ぎ、メインモジュール１３０からディスプレイモジュール１５０へ画像表示用データを伝送するディスプレイケーブル１４０とで構成される。
【００３５】
メインモジュール１３０は、ソフトウェアを動作させるＣＰＵ（中央処理演算装置）１３１と、表示画面１１１に表示する内容を描画するＧＰＵ（画像処理演算装置）１３２と、ソフトウェアやソフトウェアで扱うデータを保持するメインメモリー１３５と、表示画面１１１に表示する画像表示用データを保持する画像表示用メモリー１３６と、画像表示用メモリー１３６に保持される画像表示用データをディスプレイケーブル１４０を介してディスプレイモジュール１５０に送出する画像出力制御回路１３７と、シングルポインティングデバイス１２０を接続し、シングルポインティングデバイス１２０の状態を取得する汎用入出力制御回路１３８と、メインモジュール１３０上の構成要素間を接続し、データを伝送するバス１３３と、バスを用いたデータ伝送を調停するバスコントローラ１３４とで構成される。なお、昨今では、メインモジュールの多くの部分をひとつのＬＳＩ上に集積する場合もある。
【００３６】
タブレットＰＣ１１０上で動作するソフトウェアは、メインメモリー１３５に配置される。
【００３７】
ＣＰＵ１３１は、メインメモリー１３５に配置されたソフトウェアを随時読み込み、ソフトウェアとして記述された内容に従って、演算及び入出力を行う。ＣＰＵ１３１で処理されるソフトウェアは、必要に応じて汎用入出力制御回路１３８を介してシングルポインティングデバイスの状態を読み出す。また、ＣＰＵ１３１で処理されるソフトウェアは、必要に応じて、表示画面１１１の内容を更新するためにＧＰＵ１３２を制御する。
【００３８】
ＧＰＵ１３２は、ＣＰＵ１３１で処理されるソフトウェアにより制御される。ＧＰＵ１３２は、画像表示用メモリー１３６に対して画像表示用データを生成する。ＧＰＵ１３２により生成された画像表示用データは、画像出力制御回路１３７によってディスプレイケーブル１４０を介してディスプレイモジュール１５０に送出される。これにより、表示画面１１１の表示が更新される。
【００３９】
また、特定の処理を行うソフトウェア群をソフトスタックと呼ぶ。
【００４０】
図４に、本実施の形態にかかるタブレットＰＣ１１０のソフトスタックを示す。なお、簡単のため、本実施の形態とは直接関係無い部分については、記載を省略している。
【００４１】
本実施の形態におけるソフトスタックは、タブレットＰＣ１１０上で動作し、汎用入出力制御回路１３８にアクセスすることにより、シングルポインティングデバイス１２０の移動量やボタンの状態を取得する、シングルポインティングデバイス用デバイスドライバ３１１と、ポインタ２１１と擬似ポインタ２１２を表示し、ポインティングデバイスで指定される複数のポイントを座標として取得する、擬似マルチポイント用デバイスドライバ３１２と、表示画面１１１に表示する内容をＧＰＵ１３２に描画させ、画像出力制御回路１３７にアクセスして表示画面１１１を更新する、描画用デバイスドライバ３１３と、ユーザーがマルチタッチ対応タッチパネルなどのポインティングデバイスを通して指定する複数の座標から、回転、拡大、縮小及びスクロールなどのマルチポイント操作を識別する、マルチポイント操作識別ミドルウェア３１４と、ユーザーからの入力を受け、表示画面１１１に表示する内容を決定する、アプリケーション３１５とで構成される。
【００４２】
図４に示す矢印４１１〜４１５は、通常、Ｃ言語の関数コールなどによって実装されるソフトウェアによる手続き呼び出し処理である。以下、矢印４１１〜４１５を、それぞれ、手続き呼び出し処理４１１〜４１５と呼ぶ。
【００４３】
マルチポイント操作識別ミドルウェア３１４は、擬似マルチポイント用デバイスドライバ３１２へ、一定期間毎にシングルポインティングデバイス１２０で指定される複数のポイントの座標を問い合わせるため、手続き呼び出し処理４１１を実施する。
【００４４】
擬似マルチポイント用デバイスドライバ３１２は、シングルポインティングデバイス用デバイスドライバ３１１へ、シングルポインティングデバイス１２０の移動量とボタンの状態とを問い合わせるため、手続き呼び出し処理４１２を実施する。
【００４５】
擬似マルチポイント用デバイスドライバ３１２は、手続き呼び出し処理４１２の結果を受け、描画用デバイスドライバ３１３へ、ポインタ２１１及び擬似ポインタ２１２を適宜表示させるため、手続き呼び出し処理４１３を実施する。
【００４６】
マルチポイント操作識別ミドルウェア３１４は、手続き呼び出し処理４１１の結果を受け、アプリケーション３１５へ、マルチポイント操作を通知するため、手続き呼び出し処理４１４を実施する。
【００４７】
アプリケーション３１５は、手続き呼び出し処理４１５を受け、マルチポイント操作の結果を表示画面１１１に反映させるため、描画用デバイスドライバ３１３へ、手続き呼び出し処理４１５を実施する。
【００４８】
図５に、本実施の形態にかかるタブレットＰＣ１１０の表示画面を示す。なお、簡単のため、本実施の形態とは直接関係無いアプリケーション３１５による表示内容については、記載を省略している。
【００４９】
表示画面１１１には、シングルポインティングデバイス１２０が指し示す表示画面１１１上の第１の位置をユーザーに示すポインタ２１１と、ポインタ２１１と連動してマルチポイント操作を実現するために表示画面１１１上の第２の位置をユーザーに示す擬似ポインタ２１２と、ポインタ２１１と擬似ポインタ２１２の中心を示す中心点２１３とが必要に応じて表示される。
【００５０】
図６Ａに、本実施の形態にかかるタブレットＰＣ１１０におけるポインタ２１１と擬似ポインタ２１２の配置位置を示す。
【００５１】
ポインタ２１１が表示画面１１１中の座標（Ｘｐ，Ｙｐ）にあるとき、シングルポインティングデバイス１２０の右ボタン１２３が押されると、擬似マルチポイント用デバイスドライバ３１２により、表示画面１１１の中心位置の座標（Ｘｃ，Ｙｃ）の位置に中心点２１３が表示され、表示画面１１１の座標（２Ｘｃ−Ｘｐ，２Ｙｃ−ｙｐ）に擬似ポインタ２１２が表示される。このとき、擬似ポインタ２１２は、中心点２１３を中心としてポインタ２１１の点対称となる位置となる。なお、簡単のため、中心点２１３の位置を表示画面１１１の中心位置としたが、中心点２１３の位置は必ずしも表示画面１１１の中心位置である必要は無く、中心点２１３は任意の位置でかまわない。
【００５２】
中心点２１３の位置については、シングルポインティングデバイス１２０が右利きのユーザー向けの設定になっている場合にはポインタ２１１の左下または右上、左利きのユーザー向けの設定であると分かる場合には、右下または左上に設定しても良い。
【００５３】
これにより、シングルポインティングデバイス１２０のユーザーが右利きのときは擬似ポインタ２１２がポインタ２１１の左下または右上に、左利きのときは擬似ポインタ２１２がポインタ２１１の右下または左上に表示される。したがって、ポインタ２１１と擬似ポインタ２１２の位置関係は、シングルポインティングデバイス１２０のユーザーの親指と人差し指あるいは人差し指と親指の位置関係と同じになる。これにより、直感的に、ポインタ２１１と擬似ポインタ２１２との位置関係を把握することができる。
【００５４】
擬似ポインタ２１２が上記のように表示される状態は、右ボタン１２３が押され続けていると判定された間、継続し、右ボタン１２３が離されると、擬似マルチポイント用デバイスドライバ３１２は、擬似ポインタ２１２と中心点２１３の表示をとりやめ、ポインタ２１１のみを用いた表示へと切り替わる。
【００５５】
図６Ｂに、本実施の形態にかかるタブレットＰＣ１１０におけるポインタ２１１と擬似ポインタ２１２の動きを示す。
【００５６】
図６Ａの状態からポインタ２１１が円弧を描くように右下に動くと、擬似ポインタ２１２はポインタ２１１に連動して、円弧を描くように左上に動く。すなわち、擬似ポインタ２１２は、中心点２１３に対して点対称となる位置に移動する。このようなポインタ２１１と擬似ポインタ２１２の動きは、一般的に知られている、タッチパネルを用いて画面を回転させるときのジェスチャーと同一となる。
【００５７】
図６Ｃに、本実施の形態にかかるタブレットＰＣ１１０におけるポインタ２１１と擬似ポインタ２１２の動きを示す。
【００５８】
図６Ａの状態からポインタ２１１が直線的に右上に動くと、擬似ポインタ２１２はポインタ２１１に連動して、直線的に左下に動く。すなわち、擬似ポインタ２１２は、中心点２１３に対して点対称となる位置に移動する。このようなポインタ２１１と擬似ポインタ２１２の動きは、一般的に知られている、タッチパネルを用いて画面を拡大させるときのジェスチャーと同一となる。
【００５９】
図６Ｄに、本実施の形態にかかるタブレットＰＣ１１０におけるポインタ２１１と擬似ポインタ２１２の動きを示す。
【００６０】
図６Ａの状態からポインタ２１１が直線的に左下に動くと、擬似ポインタ２１２はポインタ２１１に連動して、直線的に右上に動く。すなわち、擬似ポインタ２１２は、中心点２１３に対して点対称となる位置に移動する。このようなポインタ２１１と擬似ポインタ２１２の動きは、一般的に知られている、タッチパネルを用いて画面を縮小させるときのジェスチャーと同一となる。
【００６１】
上記の通り、図６Ａに示したポインタ２１１と擬似ポインタ２１２の配置に従えば、図６Ｂ、図６Ｃ、図６Ｄに示したとおり、ポインタ２１１と擬似ポインタ２１２は、一般的によく知られるマルチタッチ操作のジェスチャーと同一の動きを行うことができる。ポインタ２１１と擬似ポインタ２１２の座標は、マルチポイント操作識別ミドルウェア３１４が読み取り、その座標の変化から、回転、拡大及び縮小といったマルチポイント操作を識別する。マルチポイント操作識別ミドルウェア３１４に識別されたマルチポイント操作は、アプリケーション３１５へ通知され、アプリケーション３１５が表示画面１１１に表示している内容を回転、拡大及び縮小するよう、描画用デバイスドライバ３１３を操作する。
【００６２】
これにより、ユーザーは、タッチパネルにおけるマルチタッチ操作を行ったときと同様のジェスチャーを、シングルポインティングデバイス１２０の操作で行うことができ、表示画面１１１の表示している内容を回転、拡大及び縮小することができる。
【００６３】
図７Ａに、本実施の形態にかかるタブレットＰＣ１１０におけるポインタ２１１と擬似ポインタ２１２の配置位置を示す。
【００６４】
ポインタ２１１が表示画面１１１中の座標（Ｘｐ，Ｙｐ）にあるとき、シングルポインティングデバイス１２０の中ボタン１２２が押されると、擬似マルチポイント用デバイスドライバ３１２により、表示画面１１１の座標（Ｘｐ＋Ｋ，Ｙｃ）に擬似ポインタ２１２が表示される。Ｋは、あらかじめ設定された整数値とする。
【００６５】
Ｋの値については、シングルポインティングデバイス１２０が右利きのユーザー向けの設定になっている場合には正の値を、左利きのユーザー向けの設定になっている場合には、負の値を設定するとしても良い。
【００６６】
これにより、シングルポインティングデバイス１２０のユーザーが右利きのときは、擬似ポインタ２１２がポインタ２１１の右側に、ユーザーが左利きのときは擬似ポインタ２１２がポインタ２１１の左側に表示される。これにより、ポインタ２１１と擬似ポインタ２１２との位置関係は、シングルポインティングデバイス１２０のユーザーの人差し指と中指の位置関係と同じになる。したがって、ユーザーは、直感的に、ポインタ２１１と擬似ポインタ２１２との位置関係を把握することができる。
【００６７】
擬似ポインタ２１２が上記のように表示される状態は、ユーザーにより中ボタン１２２が押され続けていると判定された間、継続する。また、中ボタン１２２が離されると、擬似マルチポイント用デバイスドライバ３１２は、擬似ポインタ２１２の表示をとりやめ、ポインタ２１１のみを用いた表示へと切り替わる。
【００６８】
図７Ｂに、本実施の形態にかかるタブレットＰＣ１１０におけるポインタ２１１と擬似ポインタ２１２の配置を示す。図７Ａの状態からポインタ２１１が直線的に上方向に動くと、擬似ポインタ２１２はポインタ２１１に連動して、直線的に上方向に動く。すなわち、擬似ポインタ２１２は、ポインタ２１１に対して並行に移動する。このようなポインタ２１１と擬似ポインタ２１２の動きは、一般的に知られている、タッチパネルを用いて画面をスクロールさせるときのジェスチャーと同一となる。
【００６９】
上記の通り、図７Ａに示したポインタ２１１と擬似ポインタ２１２の配置に従えば、図７Ｂに示したとおり、ポインタ２１１と擬似ポインタ２１２は、一般的によく知られるマルチタッチ操作のジェスチャーと同一の動きを行うことができる。
【００７０】
ポインタ２１１と擬似ポインタ２１２の座標は、マルチポイント操作識別ミドルウェア３１４により読み取られ、その座標の変化から、スクロールなどのマルチポイント操作が識別される。マルチポイント操作識別ミドルウェア３１４に識別されたマルチポイント操作は、アプリケーション３１５へ通知され、アプリケーション３１５が表示画面１１１に表示している内容を回転、拡大及び縮小するよう、描画用デバイスドライバ３１３を操作する。これにより、ユーザーは、タッチパネルにおけるマルチタッチ操作を行ったときと同様のジェスチャーを、シングルポインティングデバイス１２０の操作で行うことができ、表示画面１１１の表示している内容をスクロールさせることができる。
【００７１】
図８Ａに、本実施の形態にかかるタブレットＰＣ１１０における擬似ポインタ２１２の表示のアルゴリズムを示す。擬似ポインタ表示ステップＳ１１０は、シングルポインティングデバイス１２０の右ボタン１２３が押されると、擬似マルチポイント用デバイスドライバ３１２で実施される。
【００７２】
擬似ポインタ表示ステップＳ１１０は、擬似ポインタ２１２と中心点２１３の配置位置を決定し、表示を開始する擬似ポインタ配置ステップＳ１１１と、シングルポインティングデバイス１２０の移動、ボタンが押される又は離されるといったイベントを待つイベント待ちステップＳ１１２と、右ボタン１２３が離されたかどうかを判定する右ボタン判定ステップＳ１１３と、擬似ポインタ２１２の座標を更新する、擬似ポインタ座標更新ステップＳ１１４と、擬似ポインタ２１２の表示を更新する、擬似ポインタ表示更新ステップＳ１１５と、擬似ポインタ２１２と中心点２１３の表示を解除する擬似ポインタ除去ステップＳ１１６とで構成される。
【００７３】
なお、擬似マルチポイント用デバイスドライバ３１２で擬似ポインタ表示ステップＳ１１０を実行している間も、ポインタ２１１は適宜表示され続ける。ポインタ２１１の表示については、一般的に実現されるものであるので、簡単のため、記載を省略する。
【００７４】
擬似ポインタ配置ステップＳ１１１は、図５に示した配置関係となるよう、擬似ポインタの座標を定め、描画用デバイスドライバ３１３に対し、手続き呼び出し処理４１３を実施し、擬似ポインタ２１２と中心点２１３とを表示し、イベント待ちステップＳ１１２へ進む。
【００７５】
イベント待ちステップＳ１１２は、一定期間毎にシングルポインティングデバイス用デバイスドライバ３１１に対し、手続き呼び出し処理４１２を実施し、シングルポインティングデバイス１２０が移動していないか、ボタンが押されたか、離されたかといったイベントの有無を確認し、イベントを検出したら、右ボタン判定ステップＳ１１３へ進む。
【００７６】
右ボタン判定ステップＳ１１３は、イベント待ちステップＳ１１２で検出されたイベントを確認し、右ボタン１２３が離されたか否かを判定する。右ボタン１２３が離されていない場合は、擬似ポインタ座標更新ステップＳ１１４へ進み、右ボタン１２３が離された場合は、擬似ポインタ除去ステップＳ１１６へ進む。
【００７７】
擬似ポインタ座標更新ステップＳ１１４は、イベント待ちステップＳ１１２で検出されたイベントを確認し、シングルポインティングデバイス１２０が移動していた場合には、移動量から擬似ポインタ２１２の座標を計算し、擬似ポインタ２１２の座標を更新し、擬似ポインタ表示更新ステップＳ１１５へ進む。
【００７８】
擬似ポインタ表示更新ステップＳ１１５は、擬似ポインタ座標更新ステップＳ１１４で更新された擬似ポインタ２１２の座標に応じて、描画用デバイスドライバ３１３に対し、手続き呼び出し処理４１３を実施し、擬似ポインタ２１２と中心点２１３の表示を更新し、イベント待ちステップＳ１１２へ戻る。
【００７９】
擬似ポインタ除去ステップＳ１１６は、描画用デバイスドライバ３１３に対し、手続き呼び出し処理４１３を実施し、擬似ポインタ２１２と中心点２１３の表示を解除し、擬似ポインタ表示ステップＳ１１０を終了する。
【００８０】
上記のように擬似ポインタ表示ステップＳ１１０を実装することで、擬似マルチポイント用デバイスドライバ３１２が、擬似ポインタ２１２を表示している最中に、マルチポイント操作識別ミドルウェア３１４から手続き呼び出し処理４１１を介して複数のポイントの座標を問い合わせられたときに、ポインタ２１１と擬似ポインタ２１２の両方の座標を返すことができる。また、マルチポイント操作識別ミドルウェア３１４は、あたかもマルチタッチに対応したタッチパネル用デバイスドライバから座標を受け取ったかのようにマルチポイント操作を識別することができる。さらに、マルチポイント操作識別ミドルウェア３１４は、アプリケーション３１５に手続き呼び出し処理４１４を実施してマルチポイント操作を通知することができ、アプリケーション３１５は、手続き呼び出し処理４１５を実施してマルチポイント操作の結果に基づき表示画面１１１を更新することができる。
【００８１】
上記の構成により、ユーザーは、右ボタン１２３を押し、ポインタ２１１を操作し、右ボタン１２３を離す、というマウスのドラッグのような一連の操作を持って、画面の拡大、縮小及び回転などのマルチポイント操作をスムーズに実施できる。
【００８２】
図８Ｂに、本実施の形態にかかるタブレットＰＣ１１０における擬似ポインタ２１２の表示のアルゴリズムを示す。擬似ポインタ表示ステップＳ１２０は、シングルポインティングデバイス１２０の中ボタン１２２が押されると、擬似マルチポイント用デバイスドライバ３１２で実施される。
【００８３】
擬似ポインタ表示ステップＳ１２０は、擬似ポインタ２１２の配置位置を決定し、表示を開始する擬似ポインタ配置ステップＳ１２１と、シングルポインティングデバイス１２０の移動、ボタンが押される又は離されるといったイベントを待つイベント待ちステップＳ１２２と、中ボタン１２２が離されたかどうかを判定する中ボタン判定ステップＳ１２３と、擬似ポインタ２１２の座標を更新する、擬似ポインタ座標更新ステップＳ１２４と、擬似ポインタ２１２の表示を更新する、擬似ポインタ表示更新ステップＳ１２５と、擬似ポインタ２１２の表示を解除する擬似ポインタ除去ステップＳ１２６とで構成される。
【００８４】
なお、擬似マルチポイント用デバイスドライバ３１２で擬似ポインタ表示ステップＳ１２０を実行している間も、ポインタ２１１は適宜表示され続ける。ポインタ２１１の表示については、一般的に実現されるものであるので、簡単のため、記載を省略する。
【００８５】
擬似ポインタ配置ステップＳ１２１は、図７Ａに示した配置関係となるよう、擬似ポインタ２１２の座標を定め、描画用デバイスドライバ３１３に対し、手続き呼び出し処理４１３を実施し、擬似ポインタ２１２を表示し、イベント待ちステップＳ１２２へ進む。
【００８６】
イベント待ちステップＳ１２２は、一定期間毎にシングルポインティングデバイス用デバイスドライバ３１１に対し、手続き呼び出し処理４１２を実施し、シングルポインティングデバイス１２０が移動していないか、ボタンが押されたか又は離されたかといったイベントの有無を確認する。イベントを検出すると、中ボタン判定ステップＳ１２３へ進む。
【００８７】
中ボタン判定ステップＳ１２３は、イベント待ちステップＳ１２２で検出されたイベントを確認し、中ボタン１２２が離されたか否かを判定する。中ボタン１２２が離されていない場合は、擬似ポインタ座標更新ステップＳ１１４へ進み、中ボタン１２２が離された場合は、擬似ポインタ除去ステップＳ１２６へ進む。
【００８８】
擬似ポインタ座標更新ステップＳ１２４は、イベント待ちステップＳ１２２で検出されたイベントを確認し、シングルポインティングデバイス１２０が移動していた場合には、移動量から擬似ポインタ２１２の座標を計算し、擬似ポインタ２１２の座標を更新し、擬似ポインタ表示更新ステップＳ１２５へ進む。
【００８９】
擬似ポインタ表示更新ステップＳ１２５は、擬似ポインタ座標更新ステップＳ１２４で更新された擬似ポインタ２１２の座標に応じて、描画用デバイスドライバ３１３に対し、手続き呼び出し処理４１３を実施し、擬似ポインタ２１２の表示を更新し、イベント待ちステップＳ１２２へ戻る。
【００９０】
擬似ポインタ除去ステップＳ１２６は、描画用デバイスドライバ３１３に対し、手続き呼び出し処理４１３を実施する。これにより、タブレットＰＣ１１０は、擬似ポインタ２１２の表示を解除し、擬似ポインタ表示ステップＳ１２０を終了する。
【００９１】
上記のように、擬似ポインタ表示ステップＳ１２０を実装することで、擬似マルチポイント用デバイスドライバ３１２が擬似ポインタ２１２を表示している最中に、マルチポイント操作識別ミドルウェア３１４から手続き呼び出し処理４１１を介して複数のポイントの座標を問い合わせられたときに、タブレットＰＣ１１０は、ポインタ２１１と擬似ポインタ２１２の両方の座標を返すことができる。これにより、マルチポイント操作識別ミドルウェア３１４は、あたかもマルチタッチに対応したタッチパネル用デバイスドライバから座標を受け取ったかのようにマルチポイント操作を識別することができる。したがって、マルチポイント操作識別ミドルウェア３１４は、アプリケーション３１５に手続き呼び出し処理４１４を実施してマルチポイント操作を通知することができる。さらに、アプリケーション３１５は、手続き呼び出し処理４１５を実施してマルチポイント操作の結果に基づき表示画面１１１を更新することができる。
【００９２】
上記の構成により、ユーザーは、中ボタン１２２を押してポインタ２１１を操作し、中ボタン１２２を離す、というマウスのドラッグのような一連の操作を持って、画面のスクロールなどのマルチポイント操作をスムーズに実施できる。
【００９３】
以上、本実施の形態にかかる電子機器の操作入力方法によると、任意の箇所に配置された擬似ポインタと、ユーザーが操作するポインタとを用いたマルチポイント操作を実現することができる。また、ユーザーが擬似ポインタを操作することが可能となり、よりユーザーの意図を反映したマルチポイント操作を実現することができる。さらに、マルチポイント操作と、シングルポインティングデバイスによる操作との２種類の操作に対するソフトウェアを実装する必要がなく、ソフトウェアの開発量を抑制することができる。
【００９４】
なお、本発明は上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形を行ってもよい。
【００９５】
例えば、上記したシングルポインティングデバイスは、マウスに限らず他の入力装置であってもよい。また、シングルポインティングデバイスは、右ボタン、中ボタンおよび左ボタンに限らず、他のボタンを備えていてもよい。
【００９６】
また、タブレットＰＣは、スマートフォンや他の電子機器であってもよい。
【００９７】
また、ポインタおよび擬似ポインタによる動作は、拡大、縮小、回転およびスクロールに限らず、他の動作であってもよい。
【００９８】
また、本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を上記したタブレットＰＣに施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。例えば、本開示に係るタブレットＰＣを備えた電子装置または電子システムも本開示に含まれる。
【産業上の利用可能性】
【００９９】
本開示に係る電子機器の操作入力方法は、スマートフォンやタブレットＰＣなどのタッチパネルを持つ電子機器において、タッチパネルの代わりにマウスのようなシングルポインティングデバイスを使用する場合に利用可能である。また、ＰＣやテレビのような、タッチパネルを持たない電子機器において、スマートフォンやタブレットＰＣなどのタッチパネルを持つ電子機器用のアプリケーションを動作させ、シングルポインティングデバイスで操作する場合に利用可能である。
【符号の説明】
【０１００】
１１０  タブレットＰＣ（電子機器）
１１１  表示画面
１２０  シングルポインティングデバイス
１２１  左ボタン
１２２  中ボタン（第２のボタン）
１２３  右ボタン（第１のボタン）
１３０  メインモジュール
１３１  ＣＰＵ（中央処理演算装置）
１３２  ＧＰＵ（画像処理演算装置）
１３３  バス
１３４  バスコントローラ
１３５  メインメモリー
１３６  画像表示用メモリー
１３７  画像出力制御回路
１３８  汎用入出力制御回路
１４０  ディスプレイケーブル
１５０  ディスプレイモジュール
２１１  ポインタ（第１のポインタ）
２１２  擬似ポインタ（第２のポインタ）
２１３  中心点
３１１  シングルポインティングデバイス用デバイスドライバ
３１２  擬似マルチポイント用デバイスドライバ
３１３  マルチポイント操作識別ミドルウェア
３１４  描画用デバイスドライバ
３１５  アプリケーション
４１１  手続き呼び出し処理
４１２  手続き呼び出し処理
４１３  手続き呼び出し処理
４１４  手続き呼び出し処理
４１５  手続き呼び出し処理
【図１】
2015001898.tif 000003
【図２】
2015001898.tif 000004
【図３】
2015001898.tif 000005
【図４】
2015001898.tif 000006
【図５】
2015001898.tif 000007
【図６Ａ】
2015001898.tif 000008
【図６Ｂ】
2015001898.tif 000009
【図６Ｃ】
2015001898.tif 000010
【図６Ｄ】
2015001898.tif 000011
【図７Ａ】
2015001898.tif 000012
【図７Ｂ】
2015001898.tif 000013
【図８Ａ】
2015001898.tif 000014
【図８Ｂ】
2015001898.tif 000015