(57)【要約】【課題】安価な構成で操作性に優れ容易に操作位置を特定することができる操作入力装置及び入力操作処理方法を提供する。【解決手段】操作入力装置は、フローティングタッチ操作又はタッチ操作のいずれの操作が入力されたかを判定する操作判定部、操作パネル上での操作の入力位置を算出する算出部、操作判定部でフローティングタッチ操作が入力されたと判定した場合、算出部で算出した入力位置に対応する表示画面上の位置にポインタを表示させるための表示情報を生成する表示情報生成部、表示情報生成部で生成した表示情報を、ポインタを表示する表示画面を有する表示機器へ出力する表示機器出力部などを備える。【選択図】図１
2015011679.tif 000002
【特許請求の範囲】
【請求項１】
フローティングタッチ操作及びタッチ操作の入力を受け付ける操作パネルを備える操作入力装置において、
フローティングタッチ操作又はタッチ操作のいずれの操作が入力されたかを判定する操作判定部と、
前記操作パネル上での前記操作の入力位置を算出する算出部と、
前記操作判定部でフローティングタッチ操作が入力されたと判定した場合、前記算出部で算出した入力位置に対応する表示画面上の位置にポインタを表示させるための表示情報を生成する表示情報生成部と、
該表示情報生成部で生成した表示情報を、前記ポインタを表示する前記表示画面を有する表示機器へ出力する表示機器出力部と
を備えることを特徴とする操作入力装置。
【請求項２】
前記操作判定部でタッチ操作が入力されたと判定した場合、該タッチ操作に基づいてタッチ操作情報を生成するタッチ操作情報生成部と、
前記タッチ操作情報生成部で生成したタッチ操作情報を前記タッチ操作又はフローティングタッチ操作により制御される制御機器へ出力する制御機器出力部と
を備えることを特徴とする請求項１に記載の操作入力装置。
【請求項３】
前記操作判定部でフローティングタッチ操作が入力されたと判定した場合、該フローティングタッチ操作に基づいてフローティングタッチ操作情報を生成するフローティングタッチ操作情報生成部を備え、
前記制御機器出力部は、
前記フローティングタッチ操作情報生成部で生成したフローティングタッチ操作情報を前記制御機器へ出力するようにしてあることを特徴とする請求項２に記載の操作入力装置。
【請求項４】
前記表示機器の表示画面の解像度及び前記操作パネルの入力位置の分解能に基づいて、前記算出部で算出した入力位置を前記表示画面上の表示位置に変換する変換部を備えることを特徴とする請求項１から請求項３までのいずれか１項に記載の操作入力装置。
【請求項５】
フローティングタッチ操作及びタッチ操作の入力を受け付ける操作パネルを備える操作入力装置による入力操作処理方法において、
フローティングタッチ操作又はタッチ操作のいずれの操作が入力されたかを判定するステップと、
前記操作パネル上での前記操作の入力位置を算出するステップと、
フローティングタッチ操作が入力されたと判定した場合、算出された入力位置に対応する表示画面上の位置にポインタを表示させるための表示情報を生成するステップと、
生成された表示情報を、前記ポインタを表示する前記表示画面を有する表示機器へ出力するステップと
を含むことを特徴とする入力操作処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フローティングタッチ操作及びタッチ操作の入力を受け付ける操作入力装置及び入力操作処理方法に関する。
【背景技術】
【０００２】
従来、タッチパネルを有するタッチパネルディスプレイでは、タッチパネルに対するタッチ操作を受け付け、受け付けたタッチ操作に基づくタッチ情報を、タッチ操作により動作するソース機器へ出力することにより、コンテンツを操作する。
【０００３】
また、加速度センサを装着したワイヤレスマウス又はワイヤレスポインティングデバイスを操作することにより、相対的な移動情報（相対的な座標情報）をソース機器へ送信し、その移動情報に基づいて画面上にマウスカーソル又はポインタ等を表示し、所望の位置において決定用ボタン等により決定操作することによりコンテンツ操作を行う。
【０００４】
例えば、特許文献１、２には、ディスプレイに接続したポインティングデバイスを操作することでディスプレイ上に表示されたカーソルを操作する装置が開示され、また、特許文献１には、ディスプレイとポインティングデバイスとをワイヤレス接続した装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−９１６４２号公報
【特許文献２】特開平３−２５７５２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、タッチパネルディスプレイの場合、大画面のタッチパネルは高価であり、また視距離が長く、操作対象が大きくなるため直接のタッチ操作には不向きである。一方、相対的な移動情報を用いるワイヤレスデバイスの場合、相対的な移動情報又は座標情報を計算してポインタを表示するため、画面上の特定の箇所を指定するのに時間を要し、また特定の箇所を指定することが比較的難しい。さらに、ポインティング操作と決定操作とで別々のキー等を操作する必要があり操作が煩雑である。
【０００７】
本発明は斯かる事情に鑑みてなされたものであり、安価な構成で操作性に優れ容易に操作位置を特定することができる操作入力装置及び入力操作処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る操作入力装置は、フローティングタッチ操作及びタッチ操作の入力を受け付ける操作パネルを備える操作入力装置において、フローティングタッチ操作又はタッチ操作のいずれの操作が入力されたかを判定する操作判定部と、前記操作パネル上での前記操作の入力位置を算出する算出部と、前記操作判定部でフローティングタッチ操作が入力されたと判定した場合、前記算出部で算出した入力位置に対応する表示画面上の位置にポインタを表示させるための表示情報を生成する表示情報生成部と、該表示情報生成部で生成した表示情報を、前記ポインタを表示する前記表示画面を有する表示機器へ出力する表示機器出力部とを備えることを特徴とする。
【０００９】
本発明に係る入力操作処理方法は、フローティングタッチ操作及びタッチ操作の入力を受け付ける操作パネルを備える操作入力装置による入力操作処理方法において、フローティングタッチ操作又はタッチ操作のいずれの操作が入力されたかを判定するステップと、前記操作パネル上での前記操作の入力位置を算出するステップと、フローティングタッチ操作が入力されたと判定した場合、算出された入力位置に対応する表示画面上の位置にポインタを表示させるための表示情報を生成するステップと、生成された表示情報を、前記ポインタを表示する前記表示画面を有する表示機器へ出力するステップとを含むことを特徴とする。
【００１０】
本発明に係る操作入力装置は、前記操作判定部でタッチ操作が入力されたと判定した場合、該タッチ操作に基づいてタッチ操作情報を生成するタッチ操作情報生成部と、前記タッチ操作情報生成部で生成したタッチ操作情報を前記タッチ操作又はフローティングタッチ操作により制御される制御機器へ出力する制御機器出力部とを備えることを特徴とする。
【００１１】
本発明に係る操作入力装置は、前記操作判定部でフローティングタッチ操作が入力されたと判定した場合、該フローティングタッチ操作に基づいてフローティングタッチ操作情報を生成するフローティングタッチ操作情報生成部を備え、前記制御機器出力部は、前記フローティングタッチ操作情報生成部で生成したフローティングタッチ操作情報を前記制御機器へ出力するようにしてあることを特徴とする。
【００１２】
本発明に係る操作入力装置は、前記表示機器の表示画面の解像度及び前記操作パネルの入力位置の分解能に基づいて、前記算出部で算出した入力位置を前記表示画面上の表示位置に変換する変換部を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、安価な構成で操作性に優れ容易に操作位置を特定することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態の操作入力装置の構成の一例を示すブロック図である。
【図２】操作パネルに対する指による操作の一例を示す説明図である。
【図３】操作パネル内の電極の静電容量の変化の一例を示す説明図である。
【図４】本実施の形態の操作入力装置による入力操作の一例を示す説明図である。
【図５】本実施の形態の操作入力装置の使用態様の第１例を示す説明図である。
【図６】本実施の形態の操作入力装置の使用態様の第２例を示す説明図である。
【図７】本実施の形態の操作入力装置による入力操作処理の手順の一例を示すフローチャートである。
【図８】本実施の形態の操作入力装置による入力操作処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本実施の形態の操作入力装置１００の構成の一例を示すブロック図である。操作入力装置１００は、ホバータッチ入力ユニット１０、ホバータッチ制御ユニット５０などを備える。ホバータッチ入力ユニット１０とホバータッチ制御ユニット５０との間は、無線ＬＡＮ又はブルートゥース（登録商標）などのワイヤレス通信を介して接続される。また、ホバータッチ制御ユニット５０には、制御機器２００、表示機器３００などを接続してある。
【００１６】
制御機器２００は、操作コマンド受信部２０１、表示画像出力部２０２などを備える。また、表示機器３００は、表示画面３０１などを備える。表示画像出力部２０２は、表示機器３００の表示画面３０１に表示する映像又は画像（動画、静止画）を出力する。すなわち、制御機器２００は、表示機器３００の表示画面３０１に表示する映像又は画像（動画、静止画）を出力するソース機器としての機能を有する。
【００１７】
ホバータッチ入力ユニット１０は、操作パネル１１、制御部１３、通信部１６などを備える。操作パネル１１は、操作検出部１２を備える。また、制御部１３は、ホバータッチ識別部１４、操作コマンド変換部１５などを備える。
【００１８】
操作パネル１１は、例えば、静電パッド等で構成することができ、フローティングタッチ操作及びタッチ操作の入力を受け付ける。操作パネル１１は、例えば、フレキシブル基板上に電極パターンを形成した薄膜構造をなす。電極パターンには、複数の電極が２次元的（例えば、ＸＹ方向）に配置され、各電極の静電容量を検出することにより、指又はペン等によるフローティングタッチ操作又はタッチ操作を判定することができる。
【００１９】
図２は操作パネル１１に対する指による操作の一例を示す説明図であり、図３は操作パネル１１内の電極の静電容量の変化の一例を示す説明図である。図２Ａは、フローティングタッチ操作の一例を示す。フローティングタッチ操作は、操作パネル１１の表面１１１に指又はペン等を直接接触させずに近づけた状態での操作である。図２Ａの例では、符号ｘ１で示す位置に指を近づけている。フローティングタッチ操作は、指又はペン等をホバー状態にした操作であり、例えば、ホバー操作、ホバーフリック操作、ホバー手のひら操作などがある。各操作の詳細は後述する。本実施の形態では、フローティングタッチ操作をホバー操作とも称する。
【００２０】
図２Ｂは、タッチ操作の一例を示す。タッチ操作は、操作パネル１１の表面１１１に指又はペン等を直接接触させた状態での操作である。図２Ｂの例では、符号ｘ１で示す位置に指を接触させている。タッチ操作は、指又はペン等をタッチ状態にした操作であり、例えば、タッチ操作（シングルタッチ操作）、マルチタッチ操作、ロングタッチ操作、フリック操作などがある。各操作の詳細は後述する。
【００２１】
図３に示すように、操作パネル１１の位置ｘ１に指を接触又は近づけた場合、タッチ状態では、操作パネル１１の電極と指との間に大きな静電容量が発生するため、位置ｘ１付近での静電容量は、第１閾値Ｃｔｈ１を超える。また、ホバー状態では、操作パネル１１の電極と指との間に発生する静電容量は増加するものの、タッチ状態の場合よりは小さくなる。すなわち、ホバー状態では、位置ｘ１付近での静電容量は、第１閾値Ｃｔｈ１より小さく第２閾値Ｃｔｈ２（＜Ｃｔｈ１）を超える。なお、図３において、静電容量Ｃ０は、指を近づけていない状態での静電容量である。
【００２２】
操作検出部１２は、操作判定部としての機能を有し、操作パネル１１に入力された操作がホバー操作又はタッチ操作のいずれの操作であるかを判定する。すなわち、操作検出部１２は、操作パネル１１の各電極の静電容量の変化を検知して、ホバー操作又はタッチ操作の入力の有無を検出する。
【００２３】
また、操作検出部１２は、算出部としての機能を有し、操作パネル１１上での操作の入力位置を算出する。前述のとおり、操作パネル１１に指又はペン等を近づけると、電極と指等との間の静電容量が発生するので、指等に近い位置に存在する電極ほど静電容量が増加する。この静電容量の変化を検知することにより、操作の入力位置を、操作パネル１１上の絶対座標として算出することができる。
【００２４】
より具体的には、操作検出部１２は、静電容量の時間的変化及び空間的変化を検出する。これにより、指の数、指の動き方などの違いを検出することができる。操作検出部１２は、検出結果（ホバー操作又はタッチ操作の入力の有無、入力位置の座標、静電容量の時間的変化及び空間的変化など）を制御部１３へ出力する。
【００２５】
ホバータッチ識別部１４は、操作検出部１２が出力した検出結果に基づいて、ホバー操作又はタッチ操作が入力されたことを識別する。より具体的には、ホバータッチ識別部１４は、ホバー操作が入力された場合、例えば、ホバー操作、ホバーフリック操作、ホバー手のひら操作などを識別することができる。また、ホバータッチ識別部１４は、タッチ操作が入力された場合、例えば、タッチ操作（シングルタッチ操作）、マルチタッチ操作、ロングタッチ操作、フリック操作などを識別することができる。
【００２６】
操作コマンド変換部１５は、ホバータッチ識別部１４による識別結果を操作コマンド情報に変換する。操作コマンド情報は、ホバー操作、ホバーフリック操作、ホバー手のひら操作、タッチ操作（シングルタッチ操作）、マルチタッチ操作、ロングタッチ操作、フリック操作などのコマンド情報である。
【００２７】
通信部１６は、通信部５１との間で、無線ＬＡＮ又はブルートゥース（登録商標）などのワイヤレス通信機能を有し、操作コマンド変換部１５が変換した操作コマンド情報をホバータッチ制御ユニット５０へ送信する。
【００２８】
ホバータッチ制御ユニット５０は、通信部５１、操作コマンド変換部５２、制御インタフェース部５３、ポインタ表示情報生成部５４、表示インタフェース部５５などを備える。
【００２９】
通信部５１は、ホバータッチ入力ユニット１０が送信した操作コマンド情報を受信する。
【００３０】
操作コマンド変換部５２は、通信部５１で受信した操作コマンド情報を、制御機器２００に対応するフォーマットに変換することにより操作コマンドを生成する。操作コマンドは、制御機器２００に対して所定の動作を通知するためのものである。例えば、制御機器２００として、マウスを接続したパーソナルコンピュータを用いる場合には、マウスの移動、左クリック、右クリック、ダブルクリックなどの操作をパーソナルコンピュータに通知する必要がある。また、この場合、操作コマンド変換部５２は、表示機器３００の表示画面３０１の解像度に応じたマウスの位置（座標）を自動で変換する処理も行うことができる。
【００３１】
ポインタ表示情報生成部５４は、表示情報生成部としての機能を有し、フローティングタッチ操作が入力されたと判定された場合、算出された入力位置に対応する表示画面３０１上の位置にポインタを表示させるための表示情報を生成する。
【００３２】
表示情報は、例えば、ポインタの画像、ポインタの位置情報などを含む。ポインタの画像は、例えば、マウスカーソル画像などであり、表示画面上のクリック操作できる領域にマウスカーソルをホバーした状態を示す画像である。また、表示情報は、制御機器２００が出力した映像又は画像に重畳した態様（付加した状態）で表示することができる。また、ポインタの位置情報は、操作パネル１１上の座標と、表示画面３０１上の座標との対応関係を予め定めておくことにより、操作パネル１１上の入力位置に対応する表示画面３０１上の位置を絶対座標として特定することができる。
【００３３】
表示インタフェース部５５は、表示機器出力部としての機能を有し、ポインタ表示情報生成部５４で生成した表示情報を、ポインタを表示する表示画面３０１を有する表示機器３００へ出力する。
【００３４】
上述の構成により、操作パネル１１上でホバー操作を行った場合に、ホバー操作の入力位置に対応する表示画面３０１上の位置（絶対座標）にポインタを表示させることができる。これにより、高価な大画面タッチパネルを表示装置に装着する必要がなく、操作パネルという比較的安価な構成でホバー操作及びタッチ操作の入力を受け付けることができる。
【００３５】
また、ホバー操作及びタッチ操作の両方の操作の入力位置を算出し、算出した入力位置に対応する表示画面３０１上の位置にポインタを表示させるので、絶対座標での操作を実現することができ、操作位置を容易に特定することができる。
【００３６】
また、特定のキーを押す等の付加的な操作を行う必要がなく、ホバー操作及びタッチ操作という一連の操作により表示画面３０１上のポインタのホバー状態及びタッチ状態を実現することができ操作性を向上させることができる。
【００３７】
また、操作コマンド変換部５２は、タッチ操作情報生成部としての機能を有し、タッチ操作が入力されたと判定された場合、当該タッチ操作に基づいてタッチ操作情報を生成する。操作コマンド変換部５２が生成するタッチ操作情報は、制御機器２００に対応するフォーマットに変換された操作コマンドであり、例えば、タッチ操作に応じた操作コマンドである。
【００３８】
制御インタフェース部５３は、制御機器出力部としての機能を有し、操作コマンド変換部５２で変換した操作コマンド（タッチ操作に応じた操作コマンド）を制御機器２００へ出力する。
【００３９】
制御機器２００の操作コマンド受信部２０１は、操作入力装置１００が操作コマンドを受信する。制御機器２００は、受信した操作コマンド（タッチ操作に応じた操作コマンド）に応じた動作を行う。上述の構成により、ユーザは、例えば、ポインタが表示されている表示画面３０１から目を離すことなく、操作パネル１１上でホバー操作を行ってポインタを所望の位置に移動させた後、タッチ操作により直接表示画面３０１をタッチするのと同じ感覚で操作することにより、制御機器２００の制御（動作）を行うことができ、操作性を向上させることができる。
【００４０】
また、制御インタフェース部５３は、表示画像出力部２０２が出力した映像又は画像を取得し、表示インタフェース部５５へ出力する。表示インタフェース部５５は、制御インタフェース部５３から取得した映像又は画像を表示機器３００へ出力する。
【００４１】
また、操作コマンド変換部５２は、フローティングタッチ操作情報生成部としての機能を有し、ホバー操作が入力されたと判定された場合、当該ホバー操作に基づいてホバー操作情報を生成する。操作コマンド変換部５２が生成するホバー操作情報は、制御機器２００に対応するフォーマットに変換された操作コマンドであり、例えば、ホバー操作に応じた操作コマンドである。
【００４２】
制御インタフェース部５３は、操作コマンド変換部５２で変換した操作コマンド（ホバー操作に応じた操作コマンド）を制御機器２００へ出力する。
【００４３】
制御機器２００の操作コマンド受信部２０１は、操作入力装置１００が操作コマンドを受信する。制御機器２００は、受信した操作コマンド（ホバー操作に応じた操作コマンド）に応じた動作を行う。上述の構成により、ユーザは、例えば、ポインタが表示されている表示画面３０１から目を離すことなく、操作パネル１１上でホバー操作を行ってポインタを所望の位置に移動させ、直接表示画面３０１に対してホバー操作するのと同じ感覚で操作することができ、制御機器２００の制御（動作）を行うことができ、操作性を向上させることができる。
【００４４】
また、操作検出部１２は、変換部としての機能を有し、表示機器３００の表示画面３０１の解像度及び操作パネル１１の入力位置の分解能（解像度）に基づいて、算出した入力位置を表示画面３０１上の表示位置に変換する。これにより、操作パネル１１及び表示機器３００の表示画面３０１との間で解像度が異なる場合でも、操作パネル１１上の指又はペン等の位置に対応した表示画面３０１上の位置にポインタを表示させることができるとともに、操作パネル１１上の指又はペン等の移動距離に応じて表示画面３０１上のポインタを移動させることができ、表示画面３０１上のアイコン又はボタンなどの図表を直感的に操作することができ操作性を向上させることができる。
【００４５】
図４は本実施の形態の操作入力装置１００による入力操作の一例を示す説明図である。図４に示すように、入力操作の種別は、ホバー状態及びタッチ状態がある。ホバー状態においては、例えば、ホバー操作、ホバーフリック操作、ホバー手のひら操作などがある。
【００４６】
ホバー操作は、指を操作パネル１１にかざす操作である。ホバー操作に対応する操作コマンド（例えば、ホバーコマンド）により実現する機能は、マウスカーソルを表示させる機能、マウスカーソルの移動機能などである。ホバー操作の用途としては、制御機器２００が、例えば、タッチ操作に対応したＡＶ機器などである場合には、メニュー操作である。また、制御機器２００がパーソナルコンピュータ（ＰＣ）などである場合には、ＰＣ上の操作である。
【００４７】
ホバーフリック操作は、指を操作パネル１１にかざした状態で素早く指をスライドさせる操作である。ホバーフリック操作に対応する操作コマンド（例えば、ホバーフリックコマンド）により実現する機能は、右へフリック（次）させる機能、左へフリック（前）させる機能などである。ホバーフリック操作の用途としては、スライドショー又は動画再生などである。
【００４８】
ホバー手のひら操作は、手のひらを操作パネル１１にかざす操作である。ホバー手のひら操作に対応する操作コマンド（例えば、手のひらホバーコマンド）により実現する機能は、手のひらをかざした場合には一時停止させる機能、手のひらをどけた場合には再生開始する機能などである。ホバー手のひらフリック操作の用途としては、スライドショー又は動画再生などである。
【００４９】
タッチ操作は、いわゆるシングルタッチ操作であり、指を操作パネル１１に触れる操作である。タッチ操作に対応する操作コマンド（例えば、タッチコマンド）により実現する機能は、マウスの左クリック動作に対応する機能などである。タッチ操作の用途は、ホバー操作と同様である。
【００５０】
ロングタッチ操作は、指を操作パネル１１に、例えば、２秒以上触れる操作である。ロングタッチ操作に対応する操作コマンド（例えば、ロングタッチコマンド）により実現する機能は、マウスの右クリック動作に対応する機能、コンテキストメニューを表示させる機能などである。ロングタッチ操作の用途は、ホバー操作と同様である。
【００５１】
フリック操作は、指を操作パネル１１に触れた状態で素早く指をスライドさせる操作である。フリック操作に対応する操作コマンド（例えば、フリックコマンド）により実現する機能は、スクロール動作に対応する機能などである。フリック操作の用途は、ホバー操作と同様である。
【００５２】
マルチタッチ操作は、２本の指を操作パネル１１に触れる操作である。マルチタッチ操作に対応する操作コマンド（例えば、マルチタッチコマンド）により実現する機能は、拡大機能、縮小機能などである。フリック操作の用途は、ホバー操作と同様である。
【００５３】
なお、図４の例では、指を１本又は２本使用する操作を例示しているが、指の数はこれに限定されるものではなく、３本、４本使用する操作でもよい。
【００５４】
図５は本実施の形態の操作入力装置１００の使用態様の第１例を示す説明図である。図５の例は、制御機器２００として、表示画面上でのタッチ操作により動作を制御することができるタッチ操作対応機器（例えば、タッチ操作ＡＶ機器）を使用し、表示機器３００として、タッチ操作未対応の表示装置を使用する場合を示す。この場合、図５の表示装置は、タッチ操作未対応のため、タッチ操作対応機器の動作を制御することができない。
【００５５】
そこで、本実施の形態の操作入力装置１００を用いる。すなわち、タッチ操作対応機器は、ホバータッチ制御ユニット５０を介して映像をタッチ操作未対応表示装置へ出力する。ホバータッチ入力ユニット１０で行われたホバー操作又はタッチ操作は、ホバータッチ制御ユニット５０を介して操作情報（操作コマンド）としてタッチ操作対応機器へ出力される。また、ホバータッチ入力ユニット１０で行われたホバー操作は、ホバータッチ制御ユニット５０を介してマウス（ポインタ）を表示するためのマウス表示としてタッチ操作未対応表示装置へ出力される。
【００５６】
ホバータッチ制御ユニットは、ソース機器からの映像に、ホバータッチ入力ユニット１０からのホバー操作に基づき、独自のポインタ（マウス表示）を重ねてタッチ操作未対応表示装置に表示する。また、ホバータッチ制御ユニットは、ホバータッチ入力ユニット１０で行われたホバー操作及びタッチ操作をホバーコマンド及びタッチコマンドとしてタッチ操作対応機器へ出力する。これにより、タッチ操作未対応の表示装置を使用する場合でも、タッチ操作対応機器の動作を制御することができる。
【００５７】
上述のように、図５の例では、ＡＶ機器連携として、タッチ操作に対応するソース機器と表示装置との間にホバータッチ制御ユニット５０を介し、ホバータッチ入力ユニット１０からの入力（操作）をワイヤレスで受信し、ソース機器に通知する。ホバータッチ制御ユニット５０は、ソース機器から入力された映像に対してホバータッチ入力ユニット１０からの操作入力として独自のマウスカースル（ポインタ）を重ねて表示装置へ出力することにより、タッチ操作に対応していない表示装置であってもワイヤレスによるホバー操作及びタッチ操作が可能となる。
【００５８】
図６は本実施の形態の操作入力装置１００の使用態様の第２例を示す説明図である。図６の例は、制御機器２００として、ＰＣ（パーソナルコンピュータ）を使用し、表示機器３００として、タッチ操作対応の表示装置を使用する場合を示す。この場合、表示装置の表示画面上でタッチ操作を行うことにより、ＰＣの動作を制御することができるが、ユーザは、表示画面に触れることができる程度に表示装置の傍にいる必要があり、表示装置から離れることができない。
【００５９】
そこで、本実施の形態の操作入力装置１００を用いる。この場合、ホバータッチ制御ユニット５０に相当する機能を、ホバータッチ入力ユニット専用ドライバ６０という形で実現し、ＰＣにホバータッチ入力ユニット専用ドライバ６０をインストールしておく。ホバータッチ入力ユニット専用ドライバ６０は、ＰＣのオペレーティングシステム（ＯＳ）に対して、ホバータッチ入力ユニット１０からのイベントを仮想マウス・キーイベントとして渡すことができる。また、ホバータッチ入力ユニット１０は、ＰＣにワイヤレス受信機のＵＳＢドングルを差し込むことにより、ＰＣとの間でワイヤレス接続を行うことができる。なお、ＰＣに無線ＬＡＮ等の通信機能がある場合には、ＰＣ内蔵の通信機能を利用してもよい。これにより、表示装置から離れた場所からＰＣの動作を制御することができる。
【００６０】
上述のように、図６の例では、ＰＣ連携として、ＰＣとホバータッチ入力ユニット１０をＰＣ内蔵のワイヤレス受信機又は外付けのＵＳＢドングルを用いてワイヤレス接続し、ホバー操作及びタッチ操作の入力を、ＰＣ側の専用ドライバで変換し、仮想マウスイベント、仮想キーイベント（ジェスチャー）としてＯＳ（オペレーティングシステム）に通知することにより、ワイヤレスによるホバー操作及びタッチ操作が可能となる。
【００６１】
図７及び図８は本実施の形態の操作入力装置１００による入力操作処理の手順の一例を示すフローチャートである。操作入力装置１００は、ホバー（ホバー操作）を検出したか否かを判定する（Ｓ１１）。ホバーを検出したか否かは、例えば、図３に示すように、操作検出部１２で検出した静電容量が、第２閾値Ｃｔｈ２より大きく、かつ第１閾値Ｃｔｈ１より小さい電極の有無で判定することができる。
【００６２】
ホバーを検出した場合（Ｓ１１でＹＥＳ）、操作入力装置１００は、シングルホバー（シングルホバー操作）を検出したか否かを判定する（Ｓ１２）。
【００６３】
シングルホバーを検出していない場合（Ｓ１２でＮＯ）、操作入力装置１００は、手のひらホバー（ホバー手のひら操作）を検出したか否かを判定する（Ｓ１３）。手のひらホバーを検出した場合（Ｓ１３でＹＥＳ）、操作入力装置１００は、手のひらホバーコマンド（手のひらホバーのジェスチャーコマンド）を発行し（Ｓ１４）、後述のステップＳ３４の処理を行う。手のひらホバーを検出していない場合（Ｓ１３でＮＯ）、操作入力装置１００は、後述のステップＳ３４の処理を行う。
【００６４】
シングルホバーを検出した場合（Ｓ１２でＹＥＳ）、操作入力装置１００は、入力位置を検出し（Ｓ１５）、ホバー移動を検出したか否かを判定する（Ｓ１６）。ホバー移動は、例えば、前回の最終入力位置と今回の入力位置とが異なる場合、ホバー移動があったと判定することができる。
【００６５】
ホバー移動を検出した場合（Ｓ１６でＹＥＳ）、操作入力装置１００は、ホバーフリック（ホバーフリック操作）を検出したか否かを判定する（Ｓ１７）。
【００６６】
ホバーフリックを検出した場合（Ｓ１７でＹＥＳ）、操作入力装置１００は、ホバーフリックコマンド（ホバーフリックのジェスチャーコマンド）を発行し（Ｓ１８）、後述のステップＳ３４の処理を行う。
【００６７】
ホバー移動を検出していない場合（Ｓ１６でＮＯ）、あるいは、ホバー検出時にホバーフリックを検出していない場合（Ｓ１７でＮＯ）、操作入力装置１００は、ホバーコマンドを発行する（Ｓ１９）。ホバーコマンドの発行は、マウスイベントの発行と同義である。この際、操作パネル１１の解像度を用いてタッチ位置座標を標準化し、表示機器３００の表示画面３０１の解像度に合わせてタッチ座標を自動的に変換した上でマウス座標を出力する。
【００６８】
操作入力装置１００は、マウスカーソル（ポインタ）の表示情報を生成する（Ｓ２０）。ホバーを検出していない場合（Ｓ１１でＮＯ）、操作入力装置１００は、後述のステップＳ２１の処理を行う。
【００６９】
操作入力装置１００は、タッチ（タッチ操作）を検出したか否かを判定する（Ｓ２１）。タッチを検出したか否かは、例えば、図３に示すように、操作検出部１２で検出した静電容量が、第１閾値Ｃｔｈ１より大きい電極の有無で判定することができる。
【００７０】
タッチを検出していない場合（Ｓ２１でＮＯ）、すなわち、タッチ操作が検出されなくなった場合には、操作入力装置１００は、タッチフラグを解除し（Ｓ２２）、後述のステップＳ３４の処理を行う。タッチを検出した場合（Ｓ２１でＹＥＳ）、操作入力装置１００は、シングルタッチ（シングルタッチ操作）を検出したか否かを判定する（Ｓ２３）。
【００７１】
シングルタッチを検出していない場合（Ｓ２３でＮＯ）、操作入力装置１００は、マルチタッチ（マルチタッチ操作）を検出したか否かを判定する（Ｓ２４）。マルチタッチを検出した場合（Ｓ２４でＹＥＳ）、操作入力装置１００は、マルチタッチコマンド（マルチタッチのコマンドジェスチャー）を発行し（Ｓ２５）、後述のステップＳ３４の処理を行う。マルチタッチを検出していない場合（Ｓ２４でＮＯ）、操作入力装置１００は、後述のステップＳ３４の処理を行う。
【００７２】
シングルタッチを検出した場合（Ｓ２３でＹＥＳ）、操作入力装置１００は、入力位置を検出し（Ｓ２６）、タッチフラグを設定する（Ｓ２７）。操作入力装置１００は、シングルタッチを検出した時点からタッチ状態のままで所定時間（例えば、２秒など）経過したか否かを判定し（Ｓ２８）、所定時間経過した場合（Ｓ２８でＹＥＳ）、ロングタッチコマンド（ロングタッチのジェスチャーコマンド）を発行し（Ｓ２９）、後述のステップＳ３４の処理を行う。
【００７３】
所定時間経過していない場合（Ｓ２８でＮＯ）、操作入力装置１００は、タッチ移動を検出したか否かを判定する（Ｓ３０）。タッチ移動は、例えば、前回の最終入力位置と今回の入力位置とが異なる場合、タッチ移動があったと判定することができる。
【００７４】
タッチ移動を検出した場合（Ｓ３０でＹＥＳ）、操作入力装置１００は、フリック（フリック操作）を検出したか否かを判定する（Ｓ３１）。フリックを検出した場合（Ｓ３１でＹＥＳ）、操作入力装置１００は、フリックコマンド（フリックのジェスチャーコマンド）を発行し（Ｓ３２）、後述のステップＳ３４の処理を行う。
【００７５】
タッチ移動を検出していない場合（Ｓ３０でＮＯ）、あるいは、タッチ移動検出時にフリックを検出していない場合（Ｓ３１でＮＯ）、操作入力装置１００は、タッチコマンド（タッチのジェスチャーコマンド）を発行し（Ｓ３３）、後述のステップＳ３４の処理を行う。操作入力装置１００は、処理が終了であるか否かを判定し（Ｓ３４）、処理が終了でない場合（Ｓ３４でＮＯ）、ステップＳ１１以降の処理を繰り返す。処理が終了である場合（Ｓ３４でＹＥＳ）、操作入力装置１００は、処理を終了する。
【００７６】
上述のとおり、本実施の形態の操作入力装置１００によれば、ホバータッチ入力ユニット１０の操作パネル１１に対してホバー操作（フローティングタッチ操作）又はタッチ操作が行われた場合、ホバー操作及びタッチ操作を含むジェスチャー操作（指や手のひらを使ったジェスチャー）を識別し、マウス移動、マウス左クリック、マウス右クリック又はジェスチャー操作として、制御機器２００において操作コマンドが実行される。制御機器２００が、例えば、パーソナルコンピュータ又はスマートフォンなどのソース機器の場合は、ソース機器のオペレーティングシステム（ＯＳ）に対してマウス、タッチの操作情報及び入力座標を通知することにより、ロングタッチやジェスチャー操作等の判断はオペレーティングシステム側、ドライバ又はアプリケーション側で実施されることになる。このように、本実施の形態によれば、ユーザは高価な大画面タッチパネルを表示装置に装着する必要がなく、表示装置から離れた場所から表示画面にタッチパネルを付加した場合と同じ絶対座標でのタッチ操作、ホバー操作が可能となる。
【００７７】
本実施の形態において、表示機器３００の表示画面３０１の画面サイズに応じて、操作パネル１１のタッチ及びホバーの検出時のサンプリング周期、あるいはタッチ数（マルチタッチの数）を自動的に変更してもよい。これにより、タッチ操作の追従性を最適にして操作性を向上させることができる。
【００７８】
本実施の形態の操作入力装置（１００）は、フローティングタッチ操作及びタッチ操作の入力を受け付ける操作パネル（１１）を備える操作入力装置において、フローティングタッチ操作又はタッチ操作のいずれの操作が入力されたかを判定する操作判定部（１２、１４）と、前記操作パネル上での前記操作の入力位置を算出する算出部（１２）と、前記操作判定部でフローティングタッチ操作が入力されたと判定した場合、前記算出部で算出した入力位置に対応する表示画面（３０１）上の位置にポインタを表示させるための表示情報を生成する表示情報生成部（５４）と、該表示情報生成部で生成した表示情報を、前記ポインタを表示する前記表示画面を有する表示機器（３００）へ出力する表示機器出力部（５５）とを備えることを特徴とする。
【００７９】
本実施の形態の入力操作処理方法は、フローティングタッチ操作及びタッチ操作の入力を受け付ける操作パネル（１１）を備える操作入力装置（１００）による入力操作処理方法において、フローティングタッチ操作又はタッチ操作のいずれの操作が入力されたかを判定するステップと、前記操作パネル上での前記操作の入力位置を算出するステップと、フローティングタッチ操作が入力されたと判定した場合、算出された入力位置に対応する表示画面（３０１）上の位置にポインタを表示させるための表示情報を生成するステップと、生成された表示情報を、前記ポインタを表示する前記表示画面を有する表示機器（３００）へ出力するステップとを含むことを特徴とする。
【００８０】
本実施の形態にあっては、操作判定部（１２、１４）は、操作パネルに入力された操作がフローティングタッチ操作又はタッチ操作のいずれの操作であるかを判定する。タッチ操作は、操作パネルの表面に指又はペン等を直接接触させた状態での操作であり、フローティングタッチ操作は、操作パネルの表面に指又はペン等を直接接触させずに近づけた状態での操作である。操作パネルは、例えば、複数の電極が配置され、各電極の静電容量を検出することにより、指又はペン等によるフローティングタッチ操作又はタッチ操作を判定することができる。
【００８１】
算出部（１２）は、操作パネル上での操作の入力位置を算出する。操作パネルに指又はペン等を近づけると、電極と指等との間の静電容量が発生するので、指等に近い位置に存在する電極ほど静電容量が増加する。この静電容量の変化を検知することにより、操作の入力位置を、操作パネル上の絶対座標として算出することができる。
【００８２】
表示情報生成部（５４）は、操作判定部でフローティングタッチ操作が入力されたと判定した場合、算出部で算出した入力位置に対応する表示画面（３０１）上の位置にポインタを表示させるための表示情報を生成する。表示情報は、例えば、ポインタの画像、ポインタの位置情報などを含む。ポインタの画像は、例えば、マウスカーソル画像などであり、表示画面上のクリック操作できる領域にマウスカーソルをホバーした状態を示す画像である。ポインタの位置情報は、操作パネル上の座標と、表示画面上の座標との対応関係を予め定めておくことにより、操作パネル上の入力位置に対応する表示画面上の位置を絶対座標として特定することができる。
【００８３】
表示機器出力部（５５）は、表示情報生成部で生成した表示情報を、ポインタを表示する表示画面（３０１）を有する表示機器（３００）へ出力する。
【００８４】
上述の構成により、操作パネル上でフローティングタッチ操作を行った場合に、フローティングタッチ操作の入力位置に対応する表示画面上の位置（絶対座標）にポインタを表示させることができる。これにより、高価な大画面タッチパネルを表示装置に装着する必要がなく、操作パネルという比較的安価な構成でフローティングタッチ操作及びタッチ操作の入力を受け付けることができる。また、フローティングタッチ操作及びタッチ操作の両方の操作の入力位置を算出し、算出した入力位置に対応する表示画面上の位置にポインタを表示させるので、絶対座標での操作を実現することができ、操作位置を容易に特定することができる。また、特定のキーを押す等の付加的な操作を行う必要がなく、フローティングタッチ操作及びタッチ操作という一連の操作により表示画面上のポインタのホバー状態及びタッチ状態を実現することができ操作性を向上させることができる。
【００８５】
本実施の形態の操作入力装置は、前記操作判定部（１２、１４）でタッチ操作が入力されたと判定した場合、該タッチ操作に基づいてタッチ操作情報を生成するタッチ操作情報生成部（１５、５２）と、前記タッチ操作情報生成部で生成したタッチ操作情報を前記タッチ操作又はフローティングタッチ操作により制御される制御機器（２００）へ出力する制御機器出力部（５３）とを備えることを特徴とする。
【００８６】
本実施の形態にあっては、タッチ操作情報生成部（１５、５２）は、操作判定部（１２、１４）でタッチ操作が入力されたと判定した場合、当該タッチ操作に基づいてタッチ操作情報を生成する。タッチ操作には、例えば、タッチ操作（シングルタッチ操作）、マルチタッチ操作、ロングタッチ操作、フリック操作などがあり、タッチ操作情報は、例えば、タッチ操作に応じた操作コマンド情報である。制御機器出力部（５３）は、タッチ操作情報生成部で生成したタッチ操作情報をタッチ操作又はフローティングタッチ操作により制御される制御機器（２００）へ出力する。これにより、ユーザは、例えば、ポインタが表示されている表示画面から目を離すことなく、操作パネル上でフローティングタッチ操作を行ってポインタを所望の位置に移動させた後、タッチ操作により直接表示画面をタッチするのと同じ感覚で操作することにより、制御機器の制御（動作）を行うことができ、操作性を向上させることができる。
【００８７】
本実施の形態の操作入力装置は、前記操作判定部（１２、１４）でフローティングタッチ操作が入力されたと判定した場合、該フローティングタッチ操作に基づいてフローティングタッチ操作情報を生成するフローティングタッチ操作情報生成部（１５、５２）を備え、前記制御機器出力部（５３）は、前記フローティングタッチ操作情報生成部で生成したフローティングタッチ操作情報を前記制御機器（２００）へ出力するようにしてあることを特徴とする。
【００８８】
本実施の形態にあっては、フローティングタッチ操作情報生成部（１５、５２）は、操作判定部（１２、１４）でフローティングタッチ操作が入力されたと判定した場合、当該フローティングタッチ操作に基づいてフローティングタッチ操作情報を生成する。フローティングタッチ操作には、例えば、ホバー操作、ホバーフリック操作、ホバー手のひら操作などがあり、フローティングタッチ操作情報は、例えば、フローティングタッチ操作に応じた操作コマンド情報である。制御機器出力部（５３）は、フローティングタッチ操作情報生成部で生成したフローティングタッチ操作情報を制御機器（２００）へ出力する。これにより、ユーザは、例えば、ポインタが表示されている表示画面から目を離すことなく、操作パネル上でホバー操作を行ってポインタを所望の位置に移動させ、直接表示画面に対してホバー操作するのと同じ感覚で操作することができ、制御機器の制御（動作）を行うことができ、操作性を向上させることができる。
【００８９】
本実施の形態の操作入力装置は、前記表示機器（３００）の表示画面（３０１）の解像度及び前記操作パネル（１１）の入力位置の分解能に基づいて、前記算出部（１２）で算出した入力位置を前記表示画面上の表示位置に変換する変換部（１２）を備えることを特徴とする。
【００９０】
本実施の形態にあっては、変換部（１２）は、表示機器（３００）の表示画面（３０１）の解像度及び操作パネル（１１）の入力位置の分解能（解像度）に基づいて、算出部（１２）で算出した入力位置を表示画面上の表示位置に変換する。これにより、操作パネル及び表示機器の表示画面との間で解像度が異なる場合でも、操作パネル上の指又はペン等の位置に対応した表示画面上の位置にポインタを表示させることができるとともに、操作パネル上の指又はペン等の移動距離に応じて表示画面上のポインタを移動させることができ、表示画面上のアイコン又はボタンなどの図表を直感的に操作することができ操作性を向上させることができる。
【符号の説明】
【００９１】
１００  操作入力装置
１０  ホバータッチ入力ユニット
１１  操作パネル
１２  操作検出部
１３  制御部
１４  ホバータッチ識別部
１５  操作コマンド変換部
１６  通信部
５０  ホバータッチ制御ユニット
５１  通信部
５２  操作コマンド変換部
５３  制御インタフェース部
５４  ポインタ表示情報生成部
５５  表示インタフェース部
２００  制御機器
２０１  操作コマンド受信部
２０２  表示画像出力部
３００  表示機器
３０１  表示画面
【図１】
2015011679.tif 000003
【図２】
2015011679.tif 000004
【図３】
2015011679.tif 000005
【図４】
2015011679.tif 000006
【図５】
2015011679.tif 000007
【図６】
2015011679.tif 000008
【図７】
2015011679.tif 000009
【図８】
2015011679.tif 000010