(57)【要約】  情報処理装置は、情報を表示する表示部と、表示部に対する位置指示体の接触または近接を検出する第１の検出部と、操作キーに対するユーザによる操作を検出する第２の検出部と、第２の検出部により操作が検出された操作キーに対するイベントを発行する制御部と、を備える。制御部は、第２の検出部により操作キーに対する操作が検出されたときに位置指示体の接触また近接が検出されていない場合、当該操作キーに対するイベントを発行せず、その後に、位置指示体の接触または近接が検出されたときに、操作キーに対するイベントを発行する。
2016208099.tif 000002
【特許請求の範囲】
【請求項１】
位置指示体と操作キーによる情報入力が可能な情報処理装置であって、
情報を表示する表示部と、
前記表示部に対する前記位置指示体の接触または近接を検出する第１の検出部と、
前記操作キーに対するユーザによる操作を検出する第２の検出部と、
前記第２の検出部により操作が検出された前記操作キーに対するイベントを発行する制御部と、を備え、
前記制御部は、
前記第２の検出部により前記操作キーに対する操作が検出されたときに前記位置指示体の接触また近接が検出されていない場合、前記操作キーに対するイベントを発行せず、
その後に、前記位置指示体の接触または近接が検出されたときに、前記操作キーに対するイベントを発行する、
情報処理装置。
【請求項２】
前記制御部は、前記第２の検出部により前記操作キーに対する操作が検出されたときに前記位置指示体の接触また近接が検出されている場合、前記操作キーに対するイベントを発行する、
請求項１に記載の情報処理装置。
【請求項３】
前記操作キーに対する操作が検出されてから前記位置指示体の前記表示部への接触または近接が検出されるまでの間に操作された複数の前記操作キーの操作状態を示す情報を記憶する記憶部をさらに備え、
前記制御部は、前記操作キーに対する操作が検出された後、前記位置指示体の前記表示部への接触または近接が検出されたときに、前記記憶部に記憶された複数の前記操作キーの操作状態のそれぞれについてイベントを発行する、
請求項１に記載の情報処理装置。
【請求項４】
前記操作キーは前記表示部に表示されたキーである、請求項１から３のいずれかに記載の情報処理装置。
【請求項５】
前記位置指示体は電子ペンである、請求項１から４のいずれかに記載の情報処理装置。
【請求項６】
位置指示体と操作キーを用いた情報処理装置に対する入力を制御する入力制御方法であって、
前記情報処理装置の表示部に対する前記位置指示体の接触または近接を検出するステップと、
前記操作キーに対するユーザによる操作を検出するステップと、
操作が検出された前記操作キーに対するイベントを発行するステップと、を含み、
前記イベントを発行するステップにおいて、
前記操作キーに対する操作が検出されたときに、前記位置指示体の接触また近接が検出されていない場合、前記操作キーに対するイベントを発行せず、
その後に、前記位置指示体の接触または近接が検出されたときに、前記操作キーに対するイベントを発行する、
入力制御方法。
【請求項７】
請求項６記載の入力制御方法を情報処理装置に実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、位置指示体及び操作キーによる情報入力が可能な情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラムに関する。
【背景技術】
【０００２】
ペンと指タッチを組み合わせて情報の入力や操作が可能な情報処理装置がある。例えば、特許文献１は、ペンによってジェスチャや位置座標を入力するペン座標入力手段と、指タッチにより位置座標を入力する第２座標入力手段とを備える入力装置を開示する。この入力装置は、第２座標入力手段を介して指タッチによる位置の入力があった場合、この位置と、ペン座標入力手段を介してペンによって入力されたジェスチャとを入力イベントと決定する。一方、第２座標入力手段から位置の入力がなかった場合は、ペン座標入力手段から入力された位置及びジェスチャを入力イベントとして決定する。これにより、例えば利用者が左手の指により第２座標入力手段から位置を入力すると共に右手に持ったペンでペン座標入力手段からジェスチャを入力したり、右手に持ったペンのみでペン座標入力手段からジェスチャと位置の両者を入力したりと、自由に使い分けることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−８３５２４号公報
【発明の概要】
【０００４】
本開示の第一の態様において、位置指示体と操作キーによる情報入力が可能な情報処理装置が提供される。情報処理装置は、情報を表示する表示部と、表示部に対する位置指示体の接触または近接を検出する第１の検出部と、操作キーに対するユーザによる操作を検出する第２の検出部と、第２の検出部により操作が検出された操作キーに対するイベントを発行する制御部と、を備える。制御部は、第２の検出部により操作キーに対する操作が検出されたときに位置指示体の接触また近接が検出されていない場合、当該操作キーに対するイベントを発行せず、その後に、位置指示体の接触または近接が検出されたときに、操作キーに対するイベントを発行する。
【０００５】
本開示の第二の態様において、位置指示体と操作キーを用いた情報処理装置に対する入力を制御する入力制御方法が提供される。入力制御方法は、情報処理装置の表示部に対する位置指示体の接触または近接を検出するステップと、操作キーに対するユーザによる操作を検出するステップと、操作が検出された操作キーに対するイベントを発行するステップと、を含む。イベントを発行するステップにおいて、操作キーに対する操作が検出されたときに、位置指示体の接触また近接が検出されていない場合、当該操作キーに対するイベントを発行せず、その後に、位置指示体の接触または近接が検出されたときに、操作キーに対するイベントを発行する。
【０００６】
本開示によれば、ユーザが違和感なく、位置指示体と操作キーとを組み合わせて入力操作を行うことが可能な情報処理装置を提供できる。
【図面の簡単な説明】
【０００７】
【図１Ａ】図１Ａは、実施の形態における情報処理装置の平面図である。
【図１Ｂ】図１Ｂは、実施の形態における情報処理装置の構成を示す図である。
【図２】図２は、実施の形態における電子ペンの構成を示す図である。
【図３Ａ】図３Ａは、情報処理装置に表示されるオンスクリーンキーの表示例を示した図である。
【図３Ｂ】図３Ｂは、情報処理装置に表示されるオンスクリーンキーの別の表示例を示した図である。
【図４】図４は、ＯＳと、キー入力ユーティリティと、アプリケーションとの関係を説明した図である。
【図５Ａ】図５Ａは、オンスクリーンキーとペン入力とを併用したドラッグ操作の例を説明するための図である。
【図５Ｂ】図５Ｂは、オンスクリーンキーとペン入力とを併用したドラッグ操作の例を説明するための図である。
【図６】図６は、オンスクリーンキーとペン入力とを併用したドラッグ操作を行う場合の問題点を説明するための図である。
【図７】図７は、情報処理装置におけるキー入力ユーティリティの処理を示すフローチャートである。
【図８】図８は、オンスクリーンキーが押下されたときの情報処理装置の動作を説明するための図である。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
【０００９】
（実施の形態１）
以下に説明する実施の形態の情報処理装置は、ユーザの指及び電子ペンの両方またはいずれか一方による表示画面へのタッチにより情報の入力及び操作が可能な電子機器である。そのような電子機器の例として、スマートフォン、タブレット端末、ノート型パーソナルコンピュータ、電子黒板が考えられる。以下、添付の図面を用いて、実施の形態１の情報処理装置を説明する。
【００１０】
［１−１．構成］
［１−１−１．情報処理装置の構成］
図１Ａは、本実施の形態における情報処理装置の平面図である。図１Ａに示すように、本実施形態では、情報処理装置１０は一例としてタブレット端末で構成される。図１Ｂは、本実施の形態における情報処理装置１０の構成を示した図である。図１Ｂに示すように、情報処理装置１０は、ドットパターン付フィルム１００、カバーガラス１１０、タッチ検出用センサ１２０、液晶パネル１３０、タッチ検出部１４０、Ｂｌｕｅｔｏｏｔｈ制御部（「Ｂｌｕｅｔｏｏｔｈ」は登録商標で、以下「制御部」という）１５０、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１６０、液晶表示制御部１７０、メモリ１８０及びＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１８５を備える。
【００１１】
ドットパターン付フィルム１００は、電子ペンの画像処理部（後述）で、所定範囲内のドットパターンから画像位置を特定できるように、特定の配列でドットが実装されたフィルムである。カバーガラス１１０は、液晶パネル１３０や、タッチ検出用センサ１２０を保護するためのガラスである。タッチ検出用センサ１２０は、例えば、格子状に配置された透明電極と検出回路を備え、透明電極に対する電圧の変化等を監視することにより、指等の液晶パネル１３０の表示画面への接触を検出する。
【００１２】
液晶パネル１３０は、液晶表示制御部１７０が決定した表示パターンを表示する。液晶パネル１３０は、表示パターンに基づき、映像、各種アイコン等の画像、及びアプリケーションによる文字等の各種情報を表示する。
【００１３】
タッチ検出部１４０は、例えば、液晶パネル１３０上のタッチ検出用センサ１２０に対し電圧制御を行い、電圧の変化等を監視することにより、液晶パネル１３０に対する指やスタイラスペン等の接触を検出し、液晶パネル１３０上の接触位置情報（座標データ）を生成する回路である。なお、タッチ検出部１４０は、本実施の形態の電子ペンの液晶パネル１３０に対する接触は検知しない。すなわち、ユーザは、液晶パネル１３０に対して指やスタイラスペン等を接触させることで、情報処理装置に対して情報（座標データ）を入力することができる。
【００１４】
制御部１５０は、電子ペンのＢｌｕｅｔｏｏｔｈ制御部（「Ｂｌｕｅｔｏｏｔｈ」は登録商標で、以下制御部という）２３０（図２参照、後述する）から送信される、電子ペンが接触または近接した際の位置情報や筆圧センサ（後述する）の接触情報のデータを受信し、ＣＰＵ１６０に転送する。
【００１５】
ＣＰＵ１６０は、ＲＯＭ１８５に格納されたプログラムを読み出して実行し、情報処理装置１０の全体動作を制御する。ＣＰＵ１６０は、タッチ検出部１４０からタッチ位置情報を取得し、制御部１５０から電子ペンが接触または近接した際の位置情報を取得する。また、取得した電子ペンによる接触位置の軌跡を液晶パネル１３０に表示するように液晶表示制御部１７０に通知する。また、ＣＰＵ１６０は、タッチ検出部１４０からの検出信号に基づき、ユーザの指等によるタッチ操作によるタップ、フリック、ピンチイン、ピンチアウト等のジェスチャ操作を検出し、ジェスチャ操作に基づいた表示制御を行う。
【００１６】
液晶表示制御部１７０は、ＣＰＵ１６０から通知された表示パターンを生成し、液晶パネル１３０に表示する。液晶表示制御部１７０は、ＣＰＵ１６０で取得した電子ペンによる接触位置の軌跡を、液晶パネル１３０に表示する。
【００１７】
メモリ１８０、ＲＯＭ１８５は半導体メモリ素子で構成される。ＲＯＭ１８５はＣＰＵ１６０で実行されるプログラムを格納している。メモリ１８０はＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ等で構成できる。
【００１８】
［１−１−２．電子ペンの構成］
図２は、情報処理装置１０に情報を入力するための電子ペンの構成を示した図である。
【００１９】
図２において、電子ペン２０は、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）２００、画像センサ（カメラ）２１０、画像処理部２２０、制御部２３０、及び筆圧センサ２４０を備える。
【００２０】
ＬＥＤ２００は、光を照射する。画像センサ２１０は、ＬＥＤ２００から照射された光からの反射光に基づき、電子ペン２０がドットパターン付フィルム１００に接触した際のペン先に位置するフィルム１００のドットパターンを読み取り、取ったパターンを含む画像データを画像処理部２２０に転送する。なお、画像センサ２１０は、電子ペン２０がドットパターン付フィルム１００に近接しておれば、ドットパターン付フィルム１００に接触していなくても、電子ペン２０のペン先の先にあるドットパターンを読み取ることができる。
【００２１】
画像処理部２２０は、画像センサ２１０から取得した画像データ（ドットパターン）を解析し、ペン先の接触位置の位置情報（座標データ）を生成して、制御部２３０に転送する。電子ペン２０がドットパターン付フィルム１００に接触せずに近接し、さらにドットパターン付フィルム１００に対して傾いて保持されている場合、画像センサ２１０は、電子ペン２０のペン先からドットパターン付フィルム１００に対して垂直に降ろした位置ではなく、その位置からずれた位置のドットパターンを読み取る。電子ペン２０がドットパターン付フィルム１００に対して接触せずに傾いて保持されている場合、画像センサ２１０で取得したドットパターンは、電子ペン２０の傾きに応じて、その形状が変化する。このため、画像処理部２２０は、その形状の変化から電子ペン２０の傾きを算出し、傾きに応じて位置の補正を行う。これにより、電子ペン２０のペン先からドットパターン付フィルム１００に対して垂直に降ろした位置の位置情報を生成することができる。
【００２２】
電子ペン２０の制御部２３０は、画像処理部２２０から転送された位置情報と、筆圧センサ２４０から転送される接触情報とを、情報処理装置１０の制御部１５０に送信する。
【００２３】
筆圧センサ２４０は、電子ペン２０のペン先が他の物体に接触しているかを検出し、その検出結果を示す接触情報を、電子ペン２０の制御部２３０に転送する。
【００２４】
［１−２．動作］
［１−２−１．指によるタッチ入力］
上述のように、液晶パネル１３０の画面に対してユーザの指を接触させると、タッチ検出部１４０によりその接触が検出され、接触位置情報（座標データ）が生成される。このように、ユーザは、液晶パネル１３０の画面に対して指によるタッチ操作を行うことで、情報処理装置１０に対して情報の入力を行うことができる。なお、ユーザの指の代わりにスタイラスペンを用いてもよい。
【００２５】
［１−２−２．電子ペンによる入力］
情報処理装置１０に対する電子ペン２０による入力動作について説明する。
【００２６】
電子ペン２０は、画像センサ２１０によりペン先の被写体を撮影し画像データを生成する。画像処理部２２０は、画像センサ２１０により生成された画像データからドットパターンを解析し、ペン先の接触位置の位置情報（座標データ）を生成する。
【００２７】
電子ペン２０がドットパターン付フィルム１００に接触または近接していないため、ドットパターンを取得できない場合、画像処理部２２０は、位置情報を生成しない。一方、電子ペン２０がドットパターン付フィルム１００に接触または近接していた場合、画像処理部２２０は、画像データからドットパターンを解析することができる。この場合、画像処理部２２０は、位置情報を生成し、制御部２３０に転送する。
【００２８】
制御部２３０は、画像処理部２２０から位置情報を取得した際、筆圧センサ２４０から接触情報が通知されているか判断する。
【００２９】
電子ペン２０が情報処理装置１０の表面に接触している場合には、筆圧センサ２４０から制御部２３０に対し接触情報が通知され、制御部２３０は、接触情報と位置情報とを、情報処理装置１０の制御部１５０に送信する。
【００３０】
電子ペン２０が情報処理装置１０の表面に接触していない場合、すなわち、筆圧センサ２４０から接触情報が通知されていない場合は、制御部２３０は、位置情報のみを情報処理装置１０（制御部１５０）に送信する。
【００３１】
情報処理装置１０のＣＰＵ１６０は、制御部１５０によって電子ペン２０から、位置情報及び接触通知を受信し、それらの受信した情報に基づき電子ペン２０により情報が入力された液晶パネル１３０上の位置を把握する。
【００３２】
以上のようにして、本実施の形態の情報処理装置１０では、指や電子ペン２０による情報の入力や操作を行うことができる。
【００３３】
［１−２−３．オンスクリーンキー］
本実施の形態の情報処理装置１０は、液晶パネル１３０上に仮想的な操作ボタン（以下「オンスクリーンキー」という）を表示し、オンスクリーンキーに対してなされたユーザ操作を入力する機能を有する。この機能は、ＣＰＵ１６０で実行されるキー入力ユーティリティにより実現される。すなわち、キー入力ユーティリティは、液晶パネル１３０上にオンスクリーンキーを表示し、そのオンスクリーンキーに対してなされたユーザ操作を検出する機能を実現するソフトウェアである。
【００３４】
図３Ａ及び図３Ｂは、キー入力ユーティリティにより液晶パネル１３０上に表示されるキーパッドの例を示した図である。図３Ａに示すキーパッドは、オンスクリーンキーとして、マウスにおける左クリックボタン、中ボタン、右クリックボタンのそれぞれに対応するオンスクリーンキー４１ａ、４１ｂ、４１ｃを含んでいる。図３Ｂに液晶パネル１３０上に表示される別のキーパッドの例を示す。図３Ｂに示すキーパッドは、「Ａｌｔ」「Ｅｓｃａｐｅ」「Ｃｔｒｌ」等のキーや、「Ｃｔｒｌ＋Ｃ」のような複数のキーを組み合わせたショートカットキーに対応するキーを含む。
【００３５】
図４は、情報処理装置１０のＣＰＵ１６０により機能的に実現されるキー入力ユーティリティと、ＯＳ（オペレーティングシステム）と、アプリケーションとの関係を説明した図である。
【００３６】
ＯＳ３１は、タッチ検出部１４０や制御部１５０によって検出された指や電子ペン２０の接触位置（操作位置）をアプリケーション３５やキー入力ユーティリティ３３に通知する。
【００３７】
キー入力ユーティリティ３３は、ＯＳ３１からの通知に基づき、液晶パネル１３０上に表示したオンスクリーンキーがユーザにより押下（操作）されたことを検出したときに、押下（操作）されたオンスクリーンキーを示すイベントを発行する。このイベントは、ＯＳ３１を介してアプリケーション３５に通知される。アプリケーション３５は、通知されたイベントに基づき、押下されたボタンの種類を把握して、押下されたボタンに応じた処理を実行する。
【００３８】
例えば、マウスの右クリックボタンに対応するオンスクリーンキー（マウスの右クリックボタン）４１ｃが押下された場合、キー入力ユーティリティは、マウスの右クリックボタンを示すイベントを発行する。アプリケーション３５は、このイベントをＯＳ３１を介して受信すると、マウスの右クリックボタンが操作されたことを認識し、マウスの右クリックボタンが操作されたときの所定の処理を実行する。
【００３９】
アプリケーション３５は、ＯＳ３１から通知されたイベントが示す操作キーに応じて所定の処理を実行する。
【００４０】
情報処理装置１０は、液晶パネル１３０上で表示されたオンスクリーンキーの操作と、電子ペン２０による操作とを同時に検出することができる。オンスクリーンキーと電子ペン２０とを組み合わせて操作することでマウスによる操作を代替することができる。オンスクリーンキーと電子ペンの組み合わせ操作により実現される機能の例を、以下の［例１］から［例３］に示す。
【００４１】
［例１］“ＭＯＵＳＥ  Ｍ”のオンスクリーンキー押下と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの移動（ドラッグ）が実現される。
【００４２】
［例２］“ＭＯＵＳＥ  Ｍ”のオンスクリーンキーと“ＭＯＵＳＥ  Ｒ”のオンスクリーンキーの同時押下と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの回転が実現される。
【００４３】
［例３］“ＭＯＵＳＥ  Ｍ”のオンスクリーンキーと“ＭＯＵＳＥ  Ｒ”のオンスクリーンキーを同時押下後に“ＭＯＵＳＥ  Ｒ”のオンスクリーンキーの解放と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの拡大、縮小が実現される。
【００４４】
図５Ａ及び図５Ｂを用いて、オンスクリーンキーと電子ペン２０を用いて液晶パネル１３０上に表示されたオブジェクトを移動させるときの操作（ドラッグ操作）を説明する。図５Ａに示すように、液晶パネル１３０上にオンスクリーンキー４１ａ〜４１ｃとオブジェクトＡが表示されている場合に、オブジェクトＡを移動させる場合の操作を説明する。ユーザは、移動対象のオブジェクトＡを電子ペン等により指定した後、まず、オンスクリーンキー（“ＭＯＵＳＥ  Ｍ”）４１ｂを一方の手の指でタッチする（図５Ｂ参照）。次に、ユーザは、オンスクリーンキー（“ＭＯＵＳＥ  Ｍ”）４１ｂをタッチした状態で、他方の手で把持した電子ペン２０を画面に接触させる。その後、ユーザは、電子ペン２０を画面に接触させた状態で、オブジェクトＡを移動させたい方向に電子ペン２０を移動させる。このような操作によりオブジェクトＡは、電子ペン２０の移動に応じた方向に、電子ペン２０が移動した量だけ移動する。
【００４５】
しかしながら、上記のような一連の操作を行った場合、従来以下のような問題があった。すなわち、一連の操作において、ユーザがオンスクリーンキー（“ＭＯＵＳＥ  Ｍ”）４１ｂを押下した後に電子ペン２０を画面上に接触させると、その接触させた瞬間にオブジェクトＡが移動するという問題があった。図６は、オンスクリーンキーとペン入力とを併用したドラッグ操作を行う場合の問題点を説明するための図である。
【００４６】
この問題について本発明者が鋭意検討したところ、ユーザが、最初にオンスクリーンキー（“ＭＯＵＳＥ  Ｍ”）４１ｂを押下した時点でオンスクリーンキー（“ＭＯＵＳＥ  Ｍ”）４１ｂの操作を示すイベントが発行されることに原因があることが判明した。すなわち、オンスクリーンキー（“ＭＯＵＳＥ  Ｍ”）４１ｂが押下されたときに、オンスクリーンキーすなわちマウスの中ボタンが押下されたことを示すイベントが発行される。オブジェクトＡを表示するアプリケーションは、マウスの中ボタンが押下されたことを示すイベントを受けたときに、カーソルの移動に応じてオブジェクトを移動する動作を行う「ドラッグモード」に入る。そのため、アプリケーションは、電子ペン２０が画面に接触されたときには既にドラッグモードに入っているため、ドラッグモードの動作にしたがい、電子ペン２０の接触位置（すなわち、新たなカーソル位置）へオブジェクトを移動させる。この場合、移動の始点はオンスクリーンキー（“ＭＯＵＳＥ  Ｍ”）４１ｂの押下時のカーソル５１の位置となる。このカーソル５１の位置は通常電子ペン２０の接触位置とは異なっていることから、電子ペン２０の画面への接触操作によりオブジェクトが移動するという現象が生じていた。
【００４７】
そこで、本発明者は、最初にオンスクリーンキーが押下された時点で、電子ペン２０が画面に接触されていないときにはオンスクリーンキーに対するイベントを発行せず、その後に電子ペン２０による画面への接触が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行することを考案した。これによって、電子ペン２０が画面に接触されたときに初めてオンスクリーンキーが操作されたことがアプリケーションに伝達されるため、電子ペン２０の接触が検出された時点から、オンスクリーンキーに応じた処理が開始される。よって、不自然なオブジェクトの移動を防止でき、ユーザにとって違和感のない操作が可能となる。
【００４８】
［１−２−４．キー入力ユーティリティの動作］
図７は、情報処理装置におけるキー入力ユーティリティの処理を示すフローチャートである。図７のフローチャートを参照して、キー入力ユーティリティ３３の機能を説明する。キー入力ユーティリティの機能は、情報処理装置１０のＣＰＵ１６０により、所定のプログラムが実行されることにより実現される。図７に示す処理は、キー入力ユーティリティが有効に実行されている間、所定の周期で実行される。
【００４９】
キー入力ユーティリティ３３（ＣＰＵ１６０）は、オンスクリーンキーが押下されたか否かを判断する（Ｓ１）。キー入力ユーティリティ３３は、ユーザの指による画面上へのタッチ操作を検出した場合に、その接触位置に基づきオンスクリーンキーが押下されたか否かを判断できる。オンスクリーンキーが押下されていない場合（ステップＳ１でＮ）、メモリ１８０をクリアし、本処理は終了する。
【００５０】
オンスクリーンキーが押下されている場合（ステップＳ１でＹ）、キー入力ユーティリティ３３は、電子ペン２０による画面への操作がなされているか否かを判断する（Ｓ２）。具体的には、電子ペン２０が画面に接触しているか否かを判断する。
【００５１】
電子ペン２０の画面に対する接触が検出された場合（ステップＳ２でＹ）、キー入力ユーティリティ３３は、操作されたオンスクリーンキーに対応するキーを示す入力イベントをＯＳ３１に対して発行する（Ｓ３）。
【００５２】
一方、オンスクリーンキーの押下時に電子ペン２０の接触（すなわち、電子ペン２０による操作）が検出されていない場合（ステップＳ２でＮ）、キー入力ユーティリティ３３は、押下されたオンスクリーンキーの操作に関する情報（操作されたキーの種類及びその操作等を示す情報）をメモリ１８０に記憶し（Ｓ５）、ステップＳ１に戻る。ここで、今回操作されたオンスクリーンキーの種類及び操作の内容が前回操作のものと同じであれば、今回操作されたオンスクリーンキーの操作についてはメモリ１８０に記憶しない。今回操作されたオンスクリーンキーの種類と操作の内容の少なくともいずれかが前回と異なる場合に、既にメモリ１８０に記憶されている情報を保持したまま、今回操作されたオンスクリーンキーの操作に関する情報を追加的にメモリに記憶する。このように、オンスクリーンキーが一旦押下されてから電子ペン２０の接触（電子ペン２０による操作）が検出されるまでの間に新たに発生したオンスクリーンキーの操作に関する情報がメモリ１８０に記憶される。
【００５３】
その後、電子ペン２０の接触が検出されると（Ｓ２でＹ）、キー入力ユーティリティ３３は、メモリ１８０に記憶している全てのオンスクリーンキーの操作に関してイベントをＯＳ３１に対して発行する（Ｓ３）。
【００５４】
発行されたイベントはＯＳ３１の機能を介して実行中のアプリケーションに通知され、当該アプリケーションは、通知されたイベントが示す操作キーに応じた処理を実行する。
【００５５】
イベントの発行後、メモリ１８０はクリアされる（Ｓ４）。
【００５６】
以上のように本実施形態では、オンスクリーンキーがユーザにより操作された場合であっても、同時に電子ペン２０による画面への接触（電子ペン２０による操作）が検出されないときは、オンスクリーンキーの操作を示すイベントが発行されない。その後に電子ペン２０による接触（操作）が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行する。このような制御により、アプリケーションにおいて、ユーザが電子ペンで最初にタッチ操作した位置からオンスクリーンキーに応じた処理が開始され、ユーザに違和感を与えることなく、オンスクリーンキーに応じた処理が実行される。
【００５７】
また、一のオンスクリーンキー操作がなされてから、電子ペン２０によるタッチ操作が検出されるまでの間に他のオンスクリーンキー操作がなされた場合、それら複数のオンスクリーンキー操作を記憶しておく。そして、その後に、電子ペン２０によるタッチ操作がなされたときに、複数のオンスクリーンキー操作についてまとめてイベントを発行する。例えば、オブジェクトの拡大・縮小を行う場合、最初にマウスの中ボタンと右クリックボタンに対応するオンスクリーンキー４１ｂ、４１ｃが同時に押下され、その後マウスの右クリックボタンに対応するオンスクリーンキー４１ｃの押下が解除される操作が行われた状態で、電子ペン２０のタッチ操作がなされる。このような操作が行われた場合に、電子ペン２０の操作が検出された時に、マウスの中ボタンと右クリックボタンの同時押下操作を示す入力イベントと、その後のマウスの右クリックボタンの解除操作の入力イベントとを順に発行する。これにより、オンスクリーンキーの複数の操作の組み合わせをアプリケーションに伝えることができる。
【００５８】
図８は、オンスクリーンキーと電子ペン２０による入力操作がなされた場合における、ＯＳ３１、キー入力ユーティリティ３３及びアプリケーション３５間の操作情報のやりとりの一例を具体的に説明した図である。
【００５９】
キー入力ユーティリティ３３が起動されている場合、液晶パネル１３０上に図３Ａまたは図３Ｂに示すようなオンスクリーンキーを含むキーパッドが表示される（Ｓ１１）。この状態で、ユーザの指によりオンスクリーンキーが押下（操作）されると、ＯＳ３１は、キー入力ユーティリティ３３に、指の接触位置を示す情報を通知する（Ｓ１２）。キー入力ユーティリティ３３は、接触位置情報に基づきオンスクリーンキーが押下されたか否かを判断する。図８の例では、キー入力ユーティリティ３３は、オンスクリーンキーが押下されたと判断するが、電子ペン２０による接触が検出されていないため、直ぐにはオンスクリーンキーの押下に関するイベントを発行せず、操作されたオンスクリーンキーに関する情報をメモリ１８０に記憶し（Ｓ１３）、電子ペン２０の接触（電子ペン２０の操作）の検出を待つ。
【００６０】
その後、ユーザによる電子ペン２０による画面へのタッチ操作があると、ＯＳ３１は、電子ペン２０の接触に関する情報（接触情報、位置情報）をキー入力ユーティリティ３３及びアプリケーション３５に通知する（Ｓ１４、Ｓ１５）。
【００６１】
キー入力ユーティリティ３３は、電子ペン２０の接触に関する情報を受けると、メモリ１８０に記憶しているオンスクリーンキーの操作についてイベントを発行する（Ｓ１６）。これにより、当該オンスクリーンキーに対応するキーが操作されたことが、ＯＳ３１を介してアプリケーション３５に通知される（Ｓ１７）。アプリケーション３５は、通知されたキーと、電子ペン２０の接触位置とに基づいて所定の処理を行う。
【００６２】
その後、オンスクリーンキーが押下されている状態で、電子ペン２０が画面上で移動されると、ＯＳ３１からキー入力ユーティリティ３３に電子ペンの接触が連続して通知される。このとき、同時に、キー入力ユーティリティ３３は、ＯＳ３１から指の接触位置を示す情報が通知され、その情報に基づきオンスクリーンキーの押下を認識しつづける。オンスクリーンキーの押下が検出されたときに電子ペン２０の接触が検出されていることから、キー入力ユーティリティ３３は、即座にオンスクリーンキーに対応するイベントを発行する（Ｓ１９、Ｓ２０）。アプリケーション３５は、通知されたボタンを示す情報と、電子ペン２０のタッチ位置に基づいて所定の処理を行う。
【００６３】
［１−３．効果等］
以上のように、本実施の形態の情報処理装置１０は、情報を表示する液晶パネル１３０（表示部の一例）と、液晶パネル１３０に対する電子ペン２０（位置指示体の一例）の接触または近接を検出する制御部１５０（第１の検出部の一例）と、オンスクリーンキー（操作キーの一例）に対するユーザによる操作を検出するタッチ検出部１４０（第２の検出部の一例）及びキー入力ユーティリティ３３と、タッチ検出部１４０及びキー入力ユーティリティ３３により操作が検出されたオンスクリーンキーの種類を示すイベントを発行するＣＰＵ１６０と、を備える。ＣＰＵ１６０は、オンスクリーンキーに対する操作が検出されたときに電子ペン２０の接触（または近接）が検出されていない場合、当該オンスクリーンキーに対するイベントを発行せず、その後に、電子ペン２０の接触（または近接）が検出されたときに、オンスクリーンキーに対するイベントを発行する（図７のステップＳ２，Ｓ３）。
【００６４】
以上の構成により、オンスクリーンキーがユーザにより操作された場合であっても、同時に電子ペン２０による画面への接触（電子ペン２０による操作）が検出されないときは、オンスクリーンキーの操作を示すイベントが発行されない。その後に電子ペン２０による接触（操作）が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行する。このような制御により、アプリケーションにおいて、ユーザが電子ペンで最初にタッチ操作した位置からオンスクリーンキーに応じた処理が開始され、ユーザに違和感を与えることなく、オンスクリーンキーに応じた処理が実行される。
【００６５】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【００６６】
上記の実施の形態１では、表示部の一例として液晶パネル１３０を説明した。表示部は、情報を表示するものであればよい。したがって、表示部は、液晶パネル１３０に限定されない。ただし、表示部として液晶パネル１３０を用いれば、様々なサイズのパネルを安価に手に入れることができる。有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルや、プラズマパネルを表示部として用いてもよい。
【００６７】
上記の実施の形態１では、タッチ位置検知部の一例として、液晶パネル１３０上のタッチ検出用センサ１２０に対し電圧制御を行い、電圧の変化等を監視することにより指等のタッチを検出するタッチ検出部１４０を説明した。タッチ位置検知部は、ユーザによる表示部上のタッチ位置を検知するものであればよい。したがって、タッチ位置検知部は、上記方式に限定されない。表示部上のタッチ位置を検出する方式として、圧電素子を取り付けて振動波を発生させる表面弾性波方式や、赤外光の遮断による位置を検出する赤外線方式、又は指先の静電容量の変化を捉えて位置を検出する静電容量方式を用いてもよい。
【００６８】
上記の実施の形態１では、位置指示体の一例として、電子ペンを用いる方式を説明した。しかしながら、位置指示体は、表示部に対する接触または近接が第１の検出部により検出されることで、表示部上の位置（座標）を指示することができるものであれば、電子ペンに限定されるものではない。電子ペン以外の位置指示体の例としては、ユーザの指または手、静電タッチペンなどのポインティングデバイスが挙げられる。位置指示体として、ユーザの指あるいは静電タッチペンを利用する場合には、第１の検出部に、位置指示体と表示部との間に生じる静電容量を検出するセンサを採用することができる。
【００６９】
上記の実施の形態１では、電子ペンの一例として、所定範囲内のドットパターンから画像位置を特定できるように、特定の配列でドットが実装されたドットパターン付フィルム１００から、画像センサ２１０を用いてドットパターンを読み取り、読み取ったドットパターンを解析して位置情報（座標データ）を生成する方式を説明した。電子ペンは、ユーザが表示部上で手書きした内容をデータ化し、表示部上に表示できるものであればよい。したがって、電子ペンは、上記方式に限定されない。電子ペンの方式として、表示部表面の磁界の上を、電子ペンを動かすことで発生する誘導信号を受信して電子ペンの軌跡を把握する電磁誘導方式や、電子ペンが発する赤外線・超音波を表示部側のセンサで感知する赤外線・超音波方式や、表示部側の光学センサで遮った電子ペンの軌跡を把握する光学式方式や、表示部側で押された静電容量の違いにより位置を検出する静電容量方式を用いてもよい。さらに電子ペンの方式として、プラズマの発光原理を活用して位置情報を把握する方式であってもよい。
【００７０】
上記の実施の形態１では、情報処理装置１０の制御部１５０と電子ペン２０の制御部２３０とが、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いて通信する方式を説明した。電子ペン２０は、接触または近接した際の位置情報や筆圧センサ２４０の接触情報のデータを、情報処理装置１０に送信できればよい。したがって、通信方式は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に限定されない。通信方式は、無線ＬＡＮであってもよいし、有線のＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）や有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）であってもよい。さらに、電子ペンの方式により、情報処理装置１０側で、電子ペン２０の接触または近接した位置情報を検出できる場合には、情報処理装置１０と電子ペン２０との間で通信を行わなくてもよい。
【００７１】
上記の実施形態１では、図７のステップＳ２において、電子ペン２０の操作の有無を判断するために、電子ペン２０が液晶パネル１３０の画面に接触したことを検出したが、電子ペン２０の接触を検出する代わりに電子ペン２０が液晶パネル１３０の画面に近接したことを検出してもよい。すなわち、ステップＳ２において電子ペン２０の位置情報が得られる程度に近接したことが検出されたときに、オンスクリーンキーのイベントを発行してもよい。
【００７２】
上記の実施の形態１においては、操作キーの一例として、液晶パネル１３０に表示される仮想的なキーであるオンスクリーンキーを用いる方式を説明した。しかしながら、操作キーは、オンスクリーンキーに限定されるものではなく、情報処理装置１０の外部に接続された又は情報処理装置１０内に組み込まれた、入力デバイス（キーパッド、キーボード、マウス、ポインティングデバイス等）であってもよい。その際、キー入力ユーティリティ３３は、マウスのクリックボタンや中ボタンのような特定のキー入力をフックし、電子ペン２０の接触の検出に基づいて特定のキーに対するイベントを発行するようにすればよい（図７のステップＳ２、Ｓ３）。
【００７３】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
【００７４】
したがって、添付図面及び詳細な説明に記載された構成要素の中には、必須な構成要素だけでなく、上記技術を例示するために、必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００７５】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００７６】
本開示は、位置指示体及び操作キーによる情報の入力が可能な電子機器に適用可能である。具体的には、スマートフォンやタブレット、電子黒板などの機器に、本開示は適用可能である。
【符号の説明】
【００７７】
１０  情報処理装置
２０  電子ペン
３１  ＯＳ
３３  キー入力ユーティリティ
３５  アプリケーション
４１ａ，４１ｂ，４１ｃ  オンスクリーンキー
１００  ドットパターン付フィルム
１１０  カバーガラス
１２０  タッチ検出用センサ
１３０  液晶パネル
１４０  タッチ検出部
１５０  Ｂｌｕｅｔｏｏｔｈ制御部
１６０  ＣＰＵ
１７０  液晶表示制御部
１８０  メモリ
１８５  ＲＯＭ
２００  ＬＥＤ
２１０  画像センサ（カメラ）
２２０  画像処理部
２３０  Ｂｌｕｅｔｏｏｔｈ制御部
２４０  筆圧センサ
【図１Ａ】
2016208099.tif 000003
【図１Ｂ】
2016208099.tif 000004
【図２】
2016208099.tif 000005
【図３Ａ】
2016208099.tif 000006
【図３Ｂ】
2016208099.tif 000007
【図４】
2016208099.tif 000008
【図５Ａ】
2016208099.tif 000009
【図５Ｂ】
2016208099.tif 000010
【図６】
2016208099.tif 000011
【図７】
2016208099.tif 000012
【図８】
2016208099.tif 000013
【手続補正書】
【提出日】平成29年9月20日(2017.9.20)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、位置指示体及び操作キーによる情報入力が可能な情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラムに関する。
【背景技術】
【０００２】
ペンと指タッチを組み合わせて情報の入力や操作が可能な情報処理装置がある。例えば、特許文献１は、ペンによってジェスチャや位置座標を入力するペン座標入力手段と、指タッチにより位置座標を入力する第２座標入力手段とを備える入力装置を開示する。この入力装置は、第２座標入力手段を介して指タッチによる位置の入力があった場合、この位置と、ペン座標入力手段を介してペンによって入力されたジェスチャとを入力イベントと決定する。一方、第２座標入力手段から位置の入力がなかった場合は、ペン座標入力手段から入力された位置及びジェスチャを入力イベントとして決定する。これにより、例えば利用者が左手の指により第２座標入力手段から位置を入力すると共に右手に持ったペンでペン座標入力手段からジェスチャを入力したり、右手に持ったペンのみでペン座標入力手段からジェスチャと位置の両者を入力したりと、自由に使い分けることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−８３５２４号公報
【発明の概要】
【０００４】
本開示の第一の態様において、位置指示体と操作キーによる情報入力が可能な情報処理装置が提供される。情報処理装置は、情報を表示する表示部と、表示部に対する位置指示体の接触または近接を検出する第１の検出部と、操作キーに対するユーザによる操作を検出する第２の検出部と、第２の検出部により操作が検出された操作キーに対するイベントを発行する制御部と、を備える。制御部は、第２の検出部により操作キーに対する操作が検出されたときに位置指示体の接触また近接が検出されていない場合、当該操作キーに対するイベントを発行せず、その後に、位置指示体の接触または近接が検出されたときに、操作キーに対するイベントを発行する。
【０００５】
本開示の第二の態様において、位置指示体と操作キーを用いた情報処理装置に対する入力を制御する入力制御方法が提供される。入力制御方法は、情報処理装置の表示部に対する位置指示体の接触または近接を検出するステップと、操作キーに対するユーザによる操作を検出するステップと、操作が検出された操作キーに対するイベントを発行するステップと、を含む。イベントを発行するステップにおいて、操作キーに対する操作が検出されたときに、位置指示体の接触また近接が検出されていない場合、当該操作キーに対するイベントを発行せず、その後に、位置指示体の接触または近接が検出されたときに、操作キーに対するイベントを発行する。
【０００６】
本開示によれば、ユーザが違和感なく、位置指示体と操作キーとを組み合わせて入力操作を行うことが可能な情報処理装置を提供できる。
【図面の簡単な説明】
【０００７】
【図１Ａ】図１Ａは、実施の形態における情報処理装置の平面図である。
【図１Ｂ】図１Ｂは、実施の形態における情報処理装置の構成を示す図である。
【図２】図２は、実施の形態における電子ペンの構成を示す図である。
【図３Ａ】図３Ａは、情報処理装置に表示されるオンスクリーンキーの表示例を示した図である。
【図３Ｂ】図３Ｂは、情報処理装置に表示されるオンスクリーンキーの別の表示例を示した図である。
【図４】図４は、ＯＳと、キー入力ユーティリティと、アプリケーションとの関係を説明した図である。
【図５Ａ】図５Ａは、オンスクリーンキーとペン入力とを併用したドラッグ操作の例を説明するための図である。
【図５Ｂ】図５Ｂは、オンスクリーンキーとペン入力とを併用したドラッグ操作の例を説明するための図である。
【図６】図６は、オンスクリーンキーとペン入力とを併用したドラッグ操作を行う場合の問題点を説明するための図である。
【図７】図７は、情報処理装置におけるキー入力ユーティリティの処理を示すフローチャートである。
【図８】図８は、オンスクリーンキーが押下されたときの情報処理装置の動作を説明するための図である。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
【０００９】
（実施の形態１）
以下に説明する実施の形態の情報処理装置は、ユーザの指及び電子ペンの両方またはいずれか一方による表示画面へのタッチにより情報の入力及び操作が可能な電子機器である。そのような電子機器の例として、スマートフォン、タブレット端末、ノート型パーソナルコンピュータ、電子黒板が考えられる。以下、添付の図面を用いて、実施の形態１の情報処理装置を説明する。
【００１０】
［１−１．構成］
［１−１−１．情報処理装置の構成］
図１Ａは、本実施の形態における情報処理装置の平面図である。図１Ａに示すように、本実施形態では、情報処理装置１０は一例としてタブレット端末で構成される。図１Ｂは、本実施の形態における情報処理装置１０の構成を示した図である。図１Ｂに示すように、情報処理装置１０は、ドットパターン付フィルム１００、カバーガラス１１０、タッチ検出用センサ１２０、液晶パネル１３０、タッチ検出部１４０、Ｂｌｕｅｔｏｏｔｈ制御部（「Ｂｌｕｅｔｏｏｔｈ」は登録商標で、以下「制御部」という）１５０、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１６０、液晶表示制御部１７０、メモリ１８０及びＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１８５を備える。
【００１１】
ドットパターン付フィルム１００は、電子ペンの画像処理部（後述）で、所定範囲内のドットパターンから画像位置を特定できるように、特定の配列でドットが実装されたフィルムである。カバーガラス１１０は、液晶パネル１３０や、タッチ検出用センサ１２０を保護するためのガラスである。タッチ検出用センサ１２０は、例えば、格子状に配置された透明電極と検出回路を備え、透明電極に対する電圧の変化等を監視することにより、指等の液晶パネル１３０の表示画面への接触を検出する。
【００１２】
液晶パネル１３０は、液晶表示制御部１７０が決定した表示パターンを表示する。液晶パネル１３０は、表示パターンに基づき、映像、各種アイコン等の画像、及びアプリケーションによる文字等の各種情報を表示する。
【００１３】
タッチ検出部１４０は、例えば、液晶パネル１３０上のタッチ検出用センサ１２０に対し電圧制御を行い、電圧の変化等を監視することにより、液晶パネル１３０に対する指やスタイラスペン等の接触を検出し、液晶パネル１３０上の接触位置情報（座標データ）を生成する回路である。なお、タッチ検出部１４０は、本実施の形態の電子ペンの液晶パネル１３０に対する接触は検知しない。すなわち、ユーザは、液晶パネル１３０に対して指やスタイラスペン等を接触させることで、情報処理装置に対して情報（座標データ）を入力することができる。
【００１４】
制御部１５０は、電子ペンのＢｌｕｅｔｏｏｔｈ制御部（「Ｂｌｕｅｔｏｏｔｈ」は登録商標で、以下制御部という）２３０（図２参照、後述する）から送信される、電子ペンが接触または近接した際の位置情報や筆圧センサ（後述する）の接触情報のデータを受信し、ＣＰＵ１６０に転送する。
【００１５】
ＣＰＵ１６０は、ＲＯＭ１８５に格納されたプログラムを読み出して実行し、情報処理装置１０の全体動作を制御する。ＣＰＵ１６０は、タッチ検出部１４０からタッチ位置情報を取得し、制御部１５０から電子ペンが接触または近接した際の位置情報を取得する。また、取得した電子ペンによる接触位置の軌跡を液晶パネル１３０に表示するように液晶表示制御部１７０に通知する。また、ＣＰＵ１６０は、タッチ検出部１４０からの検出信号に基づき、ユーザの指等によるタッチ操作によるタップ、フリック、ピンチイン、ピンチアウト等のジェスチャ操作を検出し、ジェスチャ操作に基づいた表示制御を行う。
【００１６】
液晶表示制御部１７０は、ＣＰＵ１６０から通知された表示パターンを生成し、液晶パネル１３０に表示する。液晶表示制御部１７０は、ＣＰＵ１６０で取得した電子ペンによる接触位置の軌跡を、液晶パネル１３０に表示する。
【００１７】
メモリ１８０、ＲＯＭ１８５は半導体メモリ素子で構成される。ＲＯＭ１８５はＣＰＵ１６０で実行されるプログラムを格納している。メモリ１８０はＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ等で構成できる。
【００１８】
［１−１−２．電子ペンの構成］
図２は、情報処理装置１０に情報を入力するための電子ペンの構成を示した図である。
【００１９】
図２において、電子ペン２０は、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）２００、画像センサ（カメラ）２１０、画像処理部２２０、制御部２３０、及び筆圧センサ２４０を備える。
【００２０】
ＬＥＤ２００は、光を照射する。画像センサ２１０は、ＬＥＤ２００から照射された光からの反射光に基づき、電子ペン２０がドットパターン付フィルム１００に接触した際のペン先に位置するフィルム１００のドットパターンを読み取り、取ったパターンを含む画像データを画像処理部２２０に転送する。なお、画像センサ２１０は、電子ペン２０がドットパターン付フィルム１００に近接しておれば、ドットパターン付フィルム１００に接触していなくても、電子ペン２０のペン先の先にあるドットパターンを読み取ることができる。
【００２１】
画像処理部２２０は、画像センサ２１０から取得した画像データ（ドットパターン）を解析し、ペン先の接触位置の位置情報（座標データ）を生成して、制御部２３０に転送する。電子ペン２０がドットパターン付フィルム１００に接触せずに近接し、さらにドットパターン付フィルム１００に対して傾いて保持されている場合、画像センサ２１０は、電子ペン２０のペン先からドットパターン付フィルム１００に対して垂直に降ろした位置ではなく、その位置からずれた位置のドットパターンを読み取る。電子ペン２０がドットパターン付フィルム１００に対して接触せずに傾いて保持されている場合、画像センサ２１０で取得したドットパターンは、電子ペン２０の傾きに応じて、その形状が変化する。このため、画像処理部２２０は、その形状の変化から電子ペン２０の傾きを算出し、傾きに応じて位置の補正を行う。これにより、電子ペン２０のペン先からドットパターン付フィルム１００に対して垂直に降ろした位置の位置情報を生成することができる。
【００２２】
電子ペン２０の制御部２３０は、画像処理部２２０から転送された位置情報と、筆圧センサ２４０から転送される接触情報とを、情報処理装置１０の制御部１５０に送信する。
【００２３】
筆圧センサ２４０は、電子ペン２０のペン先が他の物体に接触しているかを検出し、その検出結果を示す接触情報を、電子ペン２０の制御部２３０に転送する。
【００２４】
［１−２．動作］
［１−２−１．指によるタッチ入力］
上述のように、液晶パネル１３０の画面に対してユーザの指を接触させると、タッチ検出部１４０によりその接触が検出され、接触位置情報（座標データ）が生成される。このように、ユーザは、液晶パネル１３０の画面に対して指によるタッチ操作を行うことで、情報処理装置１０に対して情報の入力を行うことができる。なお、ユーザの指の代わりにスタイラスペンを用いてもよい。
【００２５】
［１−２−２．電子ペンによる入力］
情報処理装置１０に対する電子ペン２０による入力動作について説明する。
【００２６】
電子ペン２０は、画像センサ２１０によりペン先の被写体を撮影し画像データを生成する。画像処理部２２０は、画像センサ２１０により生成された画像データからドットパターンを解析し、ペン先の接触位置の位置情報（座標データ）を生成する。
【００２７】
電子ペン２０がドットパターン付フィルム１００に接触または近接していないため、ドットパターンを取得できない場合、画像処理部２２０は、位置情報を生成しない。一方、電子ペン２０がドットパターン付フィルム１００に接触または近接していた場合、画像処理部２２０は、画像データからドットパターンを解析することができる。この場合、画像処理部２２０は、位置情報を生成し、制御部２３０に転送する。
【００２８】
制御部２３０は、画像処理部２２０から位置情報を取得した際、筆圧センサ２４０から接触情報が通知されているか判断する。
【００２９】
電子ペン２０が情報処理装置１０の表面に接触している場合には、筆圧センサ２４０から制御部２３０に対し接触情報が通知され、制御部２３０は、接触情報と位置情報とを、情報処理装置１０の制御部１５０に送信する。
【００３０】
電子ペン２０が情報処理装置１０の表面に接触していない場合、すなわち、筆圧センサ２４０から接触情報が通知されていない場合は、制御部２３０は、位置情報のみを情報処理装置１０（制御部１５０）に送信する。
【００３１】
情報処理装置１０のＣＰＵ１６０は、制御部１５０によって電子ペン２０から、位置情報及び接触情報を受信し、それらの受信した情報に基づき電子ペン２０により情報が入力された液晶パネル１３０上の位置を把握する。
【００３２】
以上のようにして、本実施の形態の情報処理装置１０では、指や電子ペン２０による情報の入力や操作を行うことができる。
【００３３】
［１−２−３．オンスクリーンキー］
本実施の形態の情報処理装置１０は、液晶パネル１３０上に仮想的な操作ボタン（以下「オンスクリーンキー」という）を表示し、オンスクリーンキーに対してなされたユーザ操作を入力する機能を有する。この機能は、ＣＰＵ１６０で実行されるキー入力ユーティリティにより実現される。すなわち、キー入力ユーティリティは、液晶パネル１３０上にオンスクリーンキーを表示し、そのオンスクリーンキーに対してなされたユーザ操作を検出する機能を実現するソフトウェアである。
【００３４】
図３Ａ及び図３Ｂは、キー入力ユーティリティにより液晶パネル１３０上に表示されるキーパッドの例を示した図である。図３Ａに示すキーパッドは、オンスクリーンキーとして、マウスにおける左クリックボタン、中ボタン、右クリックボタンのそれぞれに対応するオンスクリーンキー４１ａ、４１ｂ、４１ｃを含んでいる。図３Ｂに液晶パネル１３０上に表示される別のキーパッドの例を示す。図３Ｂに示すキーパッドは、「Ａｌｔ」「Ｅｓｃａｐｅ」「Ｃｔｒｌ」等のキーや、「Ｃｔｒｌ＋Ｃ」のような複数のキーを組み合わせたショートカットキーに対応するキーを含む。
【００３５】
図４は、情報処理装置１０のＣＰＵ１６０により機能的に実現されるキー入力ユーティリティと、ＯＳ（オペレーティングシステム）と、アプリケーションとの関係を説明した図である。
【００３６】
ＯＳ３１は、タッチ検出部１４０や制御部１５０によって検出された指や電子ペン２０の接触位置（操作位置）をアプリケーション３５やキー入力ユーティリティ３３に通知する。
【００３７】
キー入力ユーティリティ３３は、ＯＳ３１からの通知に基づき、液晶パネル１３０上に表示したオンスクリーンキーがユーザにより押下（操作）されたことを検出したときに、押下（操作）されたオンスクリーンキーを示すイベントを発行する。このイベントは、ＯＳ３１を介してアプリケーション３５に通知される。アプリケーション３５は、通知されたイベントに基づき、押下されたボタンの種類を把握して、押下されたボタンに応じた処理を実行する。
【００３８】
例えば、マウスの右クリックボタンに対応するオンスクリーンキー（マウスの右クリックボタン）４１ｃが押下された場合、キー入力ユーティリティは、マウスの右クリックボタンを示すイベントを発行する。アプリケーション３５は、このイベントをＯＳ３１を介して受信すると、マウスの右クリックボタンが操作されたことを認識し、マウスの右クリックボタンが操作されたときの所定の処理を実行する。
【００３９】
アプリケーション３５は、ＯＳ３１から通知されたイベントが示す操作キーに応じて所定の処理を実行する。
【００４０】
情報処理装置１０は、液晶パネル１３０上で表示されたオンスクリーンキーの操作と、電子ペン２０による操作とを同時に検出することができる。オンスクリーンキーと電子ペン２０とを組み合わせて操作することでマウスによる操作を代替することができる。オンスクリーンキーと電子ペンの組み合わせ操作により実現される機能の例を、以下の［例１］から［例３］に示す。
【００４１】
［例１］“ＭＯＵＳＥ  Ｍ”のオンスクリーンキー押下と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの移動（ドラッグ）が実現される。
【００４２】
［例２］“ＭＯＵＳＥ  Ｍ”のオンスクリーンキーと“ＭＯＵＳＥ  Ｒ”のオンスクリーンキーの同時押下と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの回転が実現される。
【００４３】
［例３］“ＭＯＵＳＥ  Ｍ”のオンスクリーンキーと“ＭＯＵＳＥ  Ｒ”のオンスクリーンキーを同時押下後に“ＭＯＵＳＥ  Ｒ”のオンスクリーンキーの解放と、電子ペン移動とが組み合わせて操作されることにより、オブジェクトの拡大、縮小が実現される。
【００４４】
図５Ａ及び図５Ｂを用いて、オンスクリーンキーと電子ペン２０を用いて液晶パネル１３０上に表示されたオブジェクトを移動させるときの操作（ドラッグ操作）を説明する。図５Ａに示すように、液晶パネル１３０上にオンスクリーンキー４１ａ〜４１ｃとオブジェクトＡが表示されている場合に、オブジェクトＡを移動させる場合の操作を説明する。ユーザは、移動対象のオブジェクトＡを電子ペン等により指定した後、まず、オンスクリーンキー（“ＭＯＵＳＥ  Ｍ”）４１ｂを一方の手の指でタッチする（図５Ｂ参照）。次に、ユーザは、オンスクリーンキー（“ＭＯＵＳＥ  Ｍ”）４１ｂをタッチした状態で、他方の手で把持した電子ペン２０を画面に接触させる。その後、ユーザは、電子ペン２０を画面に接触させた状態で、オブジェクトＡを移動させたい方向に電子ペン２０を移動させる。このような操作によりオブジェクトＡは、電子ペン２０の移動に応じた方向に、電子ペン２０が移動した量だけ移動する。
【００４５】
しかしながら、上記のような一連の操作を行った場合、従来以下のような問題があった。すなわち、一連の操作において、ユーザがオンスクリーンキー（“ＭＯＵＳＥ  Ｍ”）４１ｂを押下した後に電子ペン２０を画面上に接触させると、その接触させた瞬間にオブジェクトＡが移動するという問題があった。図６は、オンスクリーンキーとペン入力とを併用したドラッグ操作を行う場合の問題点を説明するための図である。
【００４６】
この問題について本発明者が鋭意検討したところ、ユーザが、最初にオンスクリーンキー（“ＭＯＵＳＥ  Ｍ”）４１ｂを押下した時点でオンスクリーンキー（“ＭＯＵＳＥ  Ｍ”）４１ｂの操作を示すイベントが発行されることに原因があることが判明した。すなわち、オンスクリーンキー（“ＭＯＵＳＥ  Ｍ”）４１ｂが押下されたときに、オンスクリーンキーすなわちマウスの中ボタンが押下されたことを示すイベントが発行される。オブジェクトＡを表示するアプリケーションは、マウスの中ボタンが押下されたことを示すイベントを受けたときに、カーソルの移動に応じてオブジェクトを移動する動作を行う「ドラッグモード」に入る。そのため、アプリケーションは、電子ペン２０が画面に接触されたときには既にドラッグモードに入っているため、ドラッグモードの動作にしたがい、電子ペン２０の接触位置（すなわち、新たなカーソル位置）へオブジェクトを移動させる。この場合、移動の始点はオンスクリーンキー（“ＭＯＵＳＥ  Ｍ”）４１ｂの押下時のカーソル５１の位置となる。このカーソル５１の位置は通常電子ペン２０の接触位置とは異なっていることから、電子ペン２０の画面への接触操作によりオブジェクトが移動するという現象が生じていた。
【００４７】
そこで、本発明者は、最初にオンスクリーンキーが押下された時点で、電子ペン２０が画面に接触されていないときにはオンスクリーンキーに対するイベントを発行せず、その後に電子ペン２０による画面への接触が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行することを考案した。これによって、電子ペン２０が画面に接触されたときに初めてオンスクリーンキーが操作されたことがアプリケーションに伝達されるため、電子ペン２０の接触が検出された時点から、オンスクリーンキーに応じた処理が開始される。よって、不自然なオブジェクトの移動を防止でき、ユーザにとって違和感のない操作が可能となる。
【００４８】
［１−２−４．キー入力ユーティリティの動作］
図７は、情報処理装置におけるキー入力ユーティリティの処理を示すフローチャートである。図７のフローチャートを参照して、キー入力ユーティリティ３３の機能を説明する。キー入力ユーティリティの機能は、情報処理装置１０のＣＰＵ１６０により、所定のプログラムが実行されることにより実現される。図７に示す処理は、キー入力ユーティリティが有効に実行されている間、所定の周期で実行される。
【００４９】
キー入力ユーティリティ３３（ＣＰＵ１６０）は、オンスクリーンキーが押下されたか否かを判断する（Ｓ１）。キー入力ユーティリティ３３は、ユーザの指による画面上へのタッチ操作を検出した場合に、その接触位置に基づきオンスクリーンキーが押下されたか否かを判断できる。オンスクリーンキーが押下されていない場合（ステップＳ１でＮ）、メモリ１８０をクリアし、本処理は終了する。
【００５０】
オンスクリーンキーが押下されている場合（ステップＳ１でＹ）、キー入力ユーティリティ３３は、電子ペン２０による画面への操作がなされているか否かを判断する（Ｓ２）。具体的には、電子ペン２０が画面に接触しているか否かを判断する。
【００５１】
電子ペン２０の画面に対する接触が検出された場合（ステップＳ２でＹ）、キー入力ユーティリティ３３は、操作されたオンスクリーンキーに対応するキーを示す入力イベントをＯＳ３１に対して発行する（Ｓ３）。
【００５２】
一方、オンスクリーンキーの押下時に電子ペン２０の接触（すなわち、電子ペン２０による操作）が検出されていない場合（ステップＳ２でＮ）、キー入力ユーティリティ３３は、押下されたオンスクリーンキーの操作に関する情報（操作されたキーの種類及びその操作等を示す情報）をメモリ１８０に記憶し（Ｓ５）、ステップＳ１に戻る。ここで、今回操作されたオンスクリーンキーの種類及び操作の内容が前回操作のものと同じであれば、今回操作されたオンスクリーンキーの操作についてはメモリ１８０に記憶しない。今回操作されたオンスクリーンキーの種類と操作の内容の少なくともいずれかが前回と異なる場合に、既にメモリ１８０に記憶されている情報を保持したまま、今回操作されたオンスクリーンキーの操作に関する情報を追加的にメモリに記憶する。このように、オンスクリーンキーが一旦押下されてから電子ペン２０の接触（電子ペン２０による操作）が検出されるまでの間に新たに発生したオンスクリーンキーの操作に関する情報がメモリ１８０に記憶される。
【００５３】
その後、電子ペン２０の接触が検出されると（Ｓ２でＹ）、キー入力ユーティリティ３３は、メモリ１８０に記憶している全てのオンスクリーンキーの操作に関してイベントをＯＳ３１に対して発行する（Ｓ３）。
【００５４】
発行されたイベントはＯＳ３１の機能を介して実行中のアプリケーションに通知され、当該アプリケーションは、通知されたイベントが示す操作キーに応じた処理を実行する。
【００５５】
イベントの発行後、メモリ１８０はクリアされる（Ｓ４）。
【００５６】
以上のように本実施形態では、オンスクリーンキーがユーザにより操作された場合であっても、同時に電子ペン２０による画面への接触（電子ペン２０による操作）が検出されないときは、オンスクリーンキーの操作を示すイベントが発行されない。その後に電子ペン２０による接触（操作）が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行する。このような制御により、アプリケーションにおいて、ユーザが電子ペンで最初にタッチ操作した位置からオンスクリーンキーに応じた処理が開始され、ユーザに違和感を与えることなく、オンスクリーンキーに応じた処理が実行される。
【００５７】
また、一のオンスクリーンキー操作がなされてから、電子ペン２０によるタッチ操作が検出されるまでの間に他のオンスクリーンキー操作がなされた場合、それら複数のオンスクリーンキー操作を記憶しておく。そして、その後に、電子ペン２０によるタッチ操作がなされたときに、複数のオンスクリーンキー操作についてまとめてイベントを発行する。例えば、オブジェクトの拡大・縮小を行う場合、最初にマウスの中ボタンと右クリックボタンに対応するオンスクリーンキー４１ｂ、４１ｃが同時に押下され、その後マウスの右クリックボタンに対応するオンスクリーンキー４１ｃの押下が解除される操作が行われた状態で、電子ペン２０のタッチ操作がなされる。このような操作が行われた場合に、電子ペン２０の操作が検出された時に、マウスの中ボタンと右クリックボタンの同時押下操作を示す入力イベントと、その後のマウスの右クリックボタンの解除操作の入力イベントとを順に発行する。これにより、オンスクリーンキーの複数の操作の組み合わせをアプリケーションに伝えることができる。
【００５８】
図８は、オンスクリーンキーと電子ペン２０による入力操作がなされた場合における、ＯＳ３１、キー入力ユーティリティ３３及びアプリケーション３５間の操作情報のやりとりの一例を具体的に説明した図である。
【００５９】
キー入力ユーティリティ３３が起動されている場合、液晶パネル１３０上に図３Ａまたは図３Ｂに示すようなオンスクリーンキーを含むキーパッドが表示される（Ｓ１１）。この状態で、ユーザの指によりオンスクリーンキーが押下（操作）されると、ＯＳ３１は、キー入力ユーティリティ３３に、指の接触位置を示す情報を通知する（Ｓ１２）。キー入力ユーティリティ３３は、接触位置情報に基づきオンスクリーンキーが押下されたか否かを判断する。図８の例では、キー入力ユーティリティ３３は、オンスクリーンキーが押下されたと判断するが、電子ペン２０による接触が検出されていないため、直ぐにはオンスクリーンキーの押下に関するイベントを発行せず、操作されたオンスクリーンキーに関する情報をメモリ１８０に記憶し（Ｓ１３）、電子ペン２０の接触（電子ペン２０の操作）の検出を待つ。
【００６０】
その後、ユーザによる電子ペン２０による画面へのタッチ操作があると、ＯＳ３１は、電子ペン２０の接触に関する情報（接触情報、位置情報）をキー入力ユーティリティ３３及びアプリケーション３５に通知する（Ｓ１４、Ｓ１５）。
【００６１】
キー入力ユーティリティ３３は、電子ペン２０の接触に関する情報を受けると、メモリ１８０に記憶しているオンスクリーンキーの操作についてイベントを発行する（Ｓ１６）。これにより、当該オンスクリーンキーに対応するキーが操作されたことが、ＯＳ３１を介してアプリケーション３５に通知される（Ｓ１７）。アプリケーション３５は、通知されたキーと、電子ペン２０の接触位置とに基づいて所定の処理を行う。
【００６２】
その後、オンスクリーンキーが押下されている状態で、電子ペン２０が画面上で移動されると、ＯＳ３１からキー入力ユーティリティ３３に電子ペンの接触が連続して通知される。このとき、同時に、キー入力ユーティリティ３３は、ＯＳ３１から指の接触位置を示す情報が通知され、その情報に基づきオンスクリーンキーの押下を認識しつづける。オンスクリーンキーの押下が検出されたときに電子ペン２０の接触が検出されていることから、キー入力ユーティリティ３３は、即座にオンスクリーンキーに対応するイベントを発行する（Ｓ１９、Ｓ２０）。アプリケーション３５は、通知されたボタンを示す情報と、電子ペン２０のタッチ位置に基づいて所定の処理を行う。
【００６３】
［１−３．効果等］
以上のように、本実施の形態の情報処理装置１０は、情報を表示する液晶パネル１３０（表示部の一例）と、液晶パネル１３０に対する電子ペン２０（位置指示体の一例）の接触または近接を検出する制御部１５０（第１の検出部の一例）と、オンスクリーンキー（操作キーの一例）に対するユーザによる操作を検出するタッチ検出部１４０（第２の検出部の一例）及びキー入力ユーティリティ３３と、タッチ検出部１４０及びキー入力ユーティリティ３３により操作が検出されたオンスクリーンキーの種類を示すイベントを発行するＣＰＵ１６０と、を備える。ＣＰＵ１６０は、オンスクリーンキーに対する操作が検出されたときに電子ペン２０の接触（または近接）が検出されていない場合、当該オンスクリーンキーに対するイベントを発行せず、その後に、電子ペン２０の接触（または近接）が検出されたときに、オンスクリーンキーに対するイベントを発行する（図７のステップＳ２，Ｓ３）。
【００６４】
以上の構成により、オンスクリーンキーがユーザにより操作された場合であっても、同時に電子ペン２０による画面への接触（電子ペン２０による操作）が検出されないときは、オンスクリーンキーの操作を示すイベントが発行されない。その後に電子ペン２０による接触（操作）が検出されたときに、先のオンスクリーンキーの操作に関するイベントを発行する。このような制御により、アプリケーションにおいて、ユーザが電子ペンで最初にタッチ操作した位置からオンスクリーンキーに応じた処理が開始され、ユーザに違和感を与えることなく、オンスクリーンキーに応じた処理が実行される。
【００６５】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【００６６】
上記の実施の形態１では、表示部の一例として液晶パネル１３０を説明した。表示部は、情報を表示するものであればよい。したがって、表示部は、液晶パネル１３０に限定されない。ただし、表示部として液晶パネル１３０を用いれば、様々なサイズのパネルを安価に手に入れることができる。有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルや、プラズマパネルを表示部として用いてもよい。
【００６７】
上記の実施の形態１では、タッチ位置検知部の一例として、液晶パネル１３０上のタッチ検出用センサ１２０に対し電圧制御を行い、電圧の変化等を監視することにより指等のタッチを検出するタッチ検出部１４０を説明した。タッチ位置検知部は、ユーザによる表示部上のタッチ位置を検知するものであればよい。したがって、タッチ位置検知部は、上記方式に限定されない。表示部上のタッチ位置を検出する方式として、圧電素子を取り付けて振動波を発生させる表面弾性波方式や、赤外光の遮断による位置を検出する赤外線方式、又は指先の静電容量の変化を捉えて位置を検出する静電容量方式を用いてもよい。
【００６８】
上記の実施の形態１では、位置指示体の一例として、電子ペンを用いる方式を説明した。しかしながら、位置指示体は、表示部に対する接触または近接が第１の検出部により検出されることで、表示部上の位置（座標）を指示することができるものであれば、電子ペンに限定されるものではない。電子ペン以外の位置指示体の例としては、ユーザの指または手、静電タッチペンなどのポインティングデバイスが挙げられる。位置指示体として、ユーザの指あるいは静電タッチペンを利用する場合には、第１の検出部に、位置指示体と表示部との間に生じる静電容量を検出するセンサを採用することができる。
【００６９】
上記の実施の形態１では、電子ペンの一例として、所定範囲内のドットパターンから画像位置を特定できるように、特定の配列でドットが実装されたドットパターン付フィルム１００から、画像センサ２１０を用いてドットパターンを読み取り、読み取ったドットパターンを解析して位置情報（座標データ）を生成する方式を説明した。電子ペンは、ユーザが表示部上で手書きした内容をデータ化し、表示部上に表示できるものであればよい。したがって、電子ペンは、上記方式に限定されない。電子ペンの方式として、表示部表面の磁界の上を、電子ペンを動かすことで発生する誘導信号を受信して電子ペンの軌跡を把握する電磁誘導方式や、電子ペンが発する赤外線・超音波を表示部側のセンサで感知する赤外線・超音波方式や、表示部側の光学センサで遮った電子ペンの軌跡を把握する光学式方式や、表示部側で押された静電容量の違いにより位置を検出する静電容量方式を用いてもよい。さらに電子ペンの方式として、プラズマの発光原理を活用して位置情報を把握する方式であってもよい。
【００７０】
上記の実施の形態１では、情報処理装置１０の制御部１５０と電子ペン２０の制御部２３０とが、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いて通信する方式を説明した。電子ペン２０は、接触または近接した際の位置情報や筆圧センサ２４０の接触情報のデータを、情報処理装置１０に送信できればよい。したがって、通信方式は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に限定されない。通信方式は、無線ＬＡＮであってもよいし、有線のＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）や有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）であってもよい。さらに、電子ペンの方式により、情報処理装置１０側で、電子ペン２０の接触または近接した位置情報を検出できる場合には、情報処理装置１０と電子ペン２０との間で通信を行わなくてもよい。
【００７１】
上記の実施形態１では、図７のステップＳ２において、電子ペン２０の操作の有無を判断するために、電子ペン２０が液晶パネル１３０の画面に接触したことを検出したが、電子ペン２０の接触を検出する代わりに電子ペン２０が液晶パネル１３０の画面に近接したことを検出してもよい。すなわち、ステップＳ２において電子ペン２０の位置情報が得られる程度に近接したことが検出されたときに、オンスクリーンキーのイベントを発行してもよい。
【００７２】
上記の実施の形態１においては、操作キーの一例として、液晶パネル１３０に表示される仮想的なキーであるオンスクリーンキーを用いる方式を説明した。しかしながら、操作キーは、オンスクリーンキーに限定されるものではなく、情報処理装置１０の外部に接続された又は情報処理装置１０内に組み込まれた、入力デバイス（キーパッド、キーボード、マウス、ポインティングデバイス等）であってもよい。その際、キー入力ユーティリティ３３は、マウスのクリックボタンや中ボタンのような特定のキー入力をフックし、電子ペン２０の接触の検出に基づいて特定のキーに対するイベントを発行するようにすればよい（図７のステップＳ２、Ｓ３）。
【００７３】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
【００７４】
したがって、添付図面及び詳細な説明に記載された構成要素の中には、必須な構成要素だけでなく、上記技術を例示するために、必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００７５】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００７６】
本開示は、位置指示体及び操作キーによる情報の入力が可能な電子機器に適用可能である。具体的には、スマートフォンやタブレット、電子黒板などの機器に、本開示は適用可能である。
【符号の説明】
【００７７】
１０    情報処理装置
２０    電子ペン
３１    ＯＳ
３３    キー入力ユーティリティ
３５    アプリケーション
４１ａ，４１ｂ，４１ｃ    オンスクリーンキー
１００    ドットパターン付フィルム
１１０    カバーガラス
１２０    タッチ検出用センサ
１３０    液晶パネル
１４０    タッチ検出部
１５０    Ｂｌｕｅｔｏｏｔｈ制御部
１６０    ＣＰＵ
１７０    液晶表示制御部
１８０    メモリ
１８５    ＲＯＭ
２００    ＬＥＤ
２１０    画像センサ（カメラ）
２２０    画像処理部
２３０    Ｂｌｕｅｔｏｏｔｈ制御部
２４０    筆圧センサ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
位置指示体と操作キーによる情報入力が可能な情報処理装置であって、
情報を表示する表示部と、
前記表示部に対する前記位置指示体の接触または近接を検出する第１の検出部と、
前記操作キーに対するユーザによる操作を検出する第２の検出部と、
前記第２の検出部により操作が検出された前記操作キーに対するイベントを発行する制御部と、を備え、
前記制御部は、
前記第２の検出部により前記操作キーに対する操作が検出されたときに前記位置指示体の接触また近接が検出されていない場合、前記操作キーに対するイベントを発行せず、
その後に、前記位置指示体の接触または近接が検出されたときに、前記操作キーに対するイベントを発行する、
情報処理装置。
【請求項２】
前記制御部は、前記第２の検出部により前記操作キーに対する操作が検出されたときに前記位置指示体の接触また近接が検出されている場合、前記操作キーに対するイベントを発行する、
請求項１に記載の情報処理装置。
【請求項３】
前記操作キーに対する操作が検出されてから前記位置指示体の前記表示部への接触または近接が検出されるまでの間に操作された複数の前記操作キーの操作状態を示す情報を記憶する記憶部をさらに備え、
前記制御部は、前記操作キーに対する操作が検出された後、前記位置指示体の前記表示部への接触または近接が検出されたときに、前記記憶部に記憶された複数の前記操作キーの操作状態のそれぞれについてイベントを発行する、
請求項１に記載の情報処理装置。
【請求項４】
前記操作キーは前記表示部に表示されたキーである、請求項１から３のいずれかに記載の情報処理装置。
【請求項５】
前記位置指示体は電子ペンである、請求項１から４のいずれかに記載の情報処理装置。
【請求項６】
位置指示体と操作キーを用いた情報処理装置に対する入力を制御する入力制御方法であって、
前記情報処理装置の表示部に対する前記位置指示体の接触または近接を検出するステップと、
前記操作キーに対するユーザによる操作を検出するステップと、
操作が検出された前記操作キーに対するイベントを発行するステップと、を含み、
前記イベントを発行するステップにおいて、
前記操作キーに対する操作が検出されたときに、前記位置指示体の接触また近接が検出されていない場合、前記操作キーに対するイベントを発行せず、
その後に、前記位置指示体の接触または近接が検出されたときに、前記操作キーに対するイベントを発行する、
入力制御方法。
【請求項７】
請求項６記載の入力制御方法を情報処理装置に実行させるためのプログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１Ａ】
2016208099.tif 000014
【図１Ｂ】
2016208099.tif 000015
【図２】
2016208099.tif 000016
【図３Ａ】
2016208099.tif 000017
【図３Ｂ】
2016208099.tif 000018
【図４】
2016208099.tif 000019
【図５Ａ】
2016208099.tif 000020
【図５Ｂ】
2016208099.tif 000021
【図６】
2016208099.tif 000022
【図７】
2016208099.tif 000023
【図８】
2016208099.tif 000024
【国際調査報告】
2016208099.tif 000025
2016208099.tif 000026