(57)【要約】【課題】ユーザが複数の指で操作できる接触情報検知部のみを用いてユーザの左右手を判定することができる入力装置および入力方法を提供する。【解決手段】操作面におかれた指によって機器を操作する入力装置であって、操作面と複数の指との複数の接触座標を検知する接触情報検知部と、検知した接触座標を格納する接触情報履歴格納部と、格納されている各接触座標に対してＩＤを付与する関連ＩＤ作成部と、同じＩＤを付与された各接触座標の履歴に基づいてジェスチャーを認識するジェスチャー認識部と、接触情報履歴格納部に格納されている各接触座標に基づいて、操作面に置かれた指が右手もしくは左手のものであるかを判定する左右手判定部と、ジェスチャー認識部による認識結果と左右手判定部の判定結果とに基づいて、予め決められたコマンドを機器に送信するコマンド送信部とを備える。【選択図】図３
2010117748.tif 000002
【特許請求の範囲】
【請求項１】
操作面におかれた指によって機器を操作する入力装置であって、
前記操作面と複数の指との複数の接触座標を検知する接触情報検知部と、
前記接触情報検知部で検知した接触座標を格納する接触情報履歴格納部と、
前記接触情報履歴格納部に格納されている各接触座標に対してＩＤを付与する関連ＩＤ作成部と、
前記関連ＩＤ作成部により同じＩＤを付与された各接触座標の履歴に基づいてジェスチャーを認識するジェスチャー認識部と、
前記接触情報履歴格納部に格納されている各接触座標に基づいて、前記操作面に置かれた指が右手もしくは左手のものであるかを判定する左右手判定部と、
前記ジェスチャー認識部による認識結果と前記左右手判定部の判定結果とに基づいて、予め決められたコマンドを前記機器に送信するコマンド送信部とを備える入力装置。
【請求項２】
前記左右手判定部は、複数の前記接触座標の相対的な位置関係に基づいて左右手を判定することを特徴とする請求項１記載の入力装置。
【請求項３】
前記接触情報検知部は前記操作面と複数の指との複数の接触座標に加えて接触面積を検知し、
前記接触情報履歴格納部は前記接触情報検知部で検知した接触座標と接触面積を格納し、
前記左右手判定部は前記接触情報履歴格納部に格納されている各接触座標の相対的な位置関係と接触面積に基づいて左右手を判定することを特徴とする請求項２記載の入力装置。
【請求項４】
前記ジェスチャー認識手段は、さらに、前記関連ＩＤ作成部により同じＩＤを付与された各接触座標の履歴に基づいて各接触座標の移動方向を算出し、
前記左右手判定部は、前記ジェスチャー認識手段により算出された複数の前記接触座標の移動方向に基づいて左右手を判定することを特徴とする請求項１記載の入力装置。
【請求項５】
前記ジェスチャー認識手段は、さらに、前記関連ＩＤ作成部により同じＩＤを付与された各接触座標の履歴に基づいて各接触座標の移動方向を算出し、
前記左右手判定部は、前記ジェスチャー認識手段により算出された複数の前記接触座標の移動方向および複数の前記接触座標の相対的な位置関係に基づいて左右手を判定することを特徴とする請求項１記載の入力装置。
【請求項６】
前記左右手判定部は、さらに複数の前記接触座標の移動量を算出し、算出された複数の前記接触座標の移動方向と移動量に基づいて左右手を判定することを特徴とする請求項４記載の入力装置。
【請求項７】
前記接触情報検知部は前記操作面と複数の指との複数の接触座標に加えて接触面積を検知し、
前記接触情報履歴格納部は前記接触情報検知部で検知した接触座標と接触面積を格納し、
前記左右手判定部は、前記ジェスチャー認識手段により算出された複数の前記接触座標の移動方向と、前記接触情報履歴格納部に格納されている接触面積とに基づいて左右手を判定することを特徴とする請求項４記載の入力装置。
【請求項８】
操作面におかれた指によって機器を操作する入力方法であって、
前記操作面と複数の指との複数の接触座標を検知する接触情報検知ステップと、
前記接触情報検知ステップで検知した接触座標を格納する接触情報履歴格納ステップと、
前記接触情報履歴格納ステップで格納されてた各接触座標に対してＩＤを付与する関連ＩＤ作成ステップと、
前記関連ＩＤ作成ステップにより同じＩＤを付与された各接触座標の履歴に基づいてジェスチャーを認識するジェスチャー認識ステップと、
前記接触情報履歴格納ステップに格納されている各接触座標に基づいて、前記操作面に置かれた指が右手もしくは左手のものであるかを判定する左右手判定ステップと、
前記ジェスチャー認識ステップによる認識結果と前記左右手判定ステップの判定結果とに基づいて、予め決められたコマンドを前記機器に送信するコマンド送信ステップとを備える、入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが機器に対して命令等を入力するための入力装置および入力方法に関し、より特定的には、ユーザがディスプレイ等に表示された情報に基づいて手等の身体部分を用いて、命令等を入力することのできる入力装置および入力方法に関する。
【背景技術】
【０００２】
カーナビゲーションや携帯電話、パソコン、デジタルカメラ等の機器を操作するためのデバイスとして、ユーザが触った位置を検知するタッチパネルが一般的に普及している。近年では更に、接触している複数点を検知できるデバイスも徐々に様々な機器に搭載されてきている（例えば、特許文献1）
また、この中で、デジタルカメラにタッチパネルを搭載し、ユーザの左右の手を判別してタッチパネル上のメニュー位置を変更する装置がある（例えば、特許文献２参照）。
【０００３】
これは、ユーザによって左右どちらの手を用いてもシャッターが切れ、かつシャッターに配置されたセンサーを用いて、どちらの手で操作しているかを判定し、タッチパネルを操作する際に、操作する手の近くにメニューが表示されるようになっている。
【特許文献１】特公平７−８２４１９号公報
【特許文献２】特開２００４−３４０９９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記特許文献２の従来技術では、左右の手を判別するために別途センサーを設ける必要があり、コストがかかってしまうという問題があった。
【０００５】
本発明は、前記従来の問題を解決するためになされたもので、タッチパネルを操作する際に、タッチパネルへの接触情報のみで、ユーザの左右の手を特定することのできる入力装置および入力方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一の局面は、操作面におかれた指によって機器を操作する入力装置であって、操作面と複数の指との複数の接触座標を検知する接触情報検知部と、接触情報検知部で検知した接触座標を格納する接触情報履歴格納部と、接触情報履歴格納部に格納されている各接触座標に対してＩＤを付与する関連ＩＤ作成部と、関連ＩＤ作成部により同じＩＤを付与された各接触座標の履歴に基づいてジェスチャーを認識するジェスチャー認識部と、接触情報履歴格納部に格納されている各接触座標に基づいて、操作面に置かれた指が右手もしくは左手のものであるかを判定する左右手判定部と、ジェスチャー認識部による認識結果と左右手判定部の判定結果とに基づいて、予め決められたコマンドを前記機器に送信するコマンド送信部とを備える。
【０００７】
また、左右手判定部は、複数の接触座標の相対的な位置関係に基づいて左右手を判定する。
【０００８】
また、接触情報検知部は操作面と複数の指との複数の接触座標に加えて接触面積を検知し、接触情報履歴格納部は接触情報検知部で検知した接触座標と接触面積を格納し、左右手判定部は接触情報履歴格納部に格納されている各接触座標の相対的な位置関係と接触面積に基づいて左右手を判定する。
【０００９】
また、ジェスチャー認識手段は、さらに、関連ＩＤ作成部により同じＩＤを付与された各接触座標の履歴に基づいて各接触座標の移動方向を算出し、左右手判定部は、ジェスチャー認識手段により算出された複数の接触座標の移動方向に基づいて左右手を判定する。
【００１０】
また、ジェスチャー認識手段は、さらに、関連ＩＤ作成部により同じＩＤを付与された各接触座標の履歴に基づいて各接触座標の移動方向を算出し、左右手判定部は、ジェスチャー認識手段により算出された複数の接触座標の移動方向および複数の接触座標の相対的な位置関係に基づいて左右手を判定する。
【００１１】
また、左右手判定部は、さらに複数の接触座標の移動量を算出し、算出された複数の接触座標の移動方向と移動量に基づいて左右手を判定する。
【００１２】
また、接触情報検知部は操作面と複数の指との複数の接触座標に加えて接触面積を検知し、接触情報履歴格納部は接触情報検知部で検知した接触座標と接触面積を格納し、左右手判定部は、ジェスチャー認識手段により算出された複数の接触座標の移動方向と、接触情報履歴格納部に格納されている接触面積とに基づいて左右手を判定する。
【００１３】
本発明の第２の局面は、操作面におかれた指によって機器を操作する入力方法に向けられている。そして、上記目的を達成させるために、本発明の入力方法は、操作面と複数の指との複数の接触座標を検知する接触情報検知ステップと、接触情報検知ステップで検知した接触座標を格納する接触情報履歴格納ステップと、接触情報履歴格納ステップで格納されてた各接触座標に対してＩＤを付与する関連ＩＤ作成ステップと、関連ＩＤ作成ステップにより同じＩＤを付与された各接触座標の履歴に基づいてジェスチャーを認識するジェスチャー認識ステップと、接触情報履歴格納ステップに格納されている各接触座標に基づいて、操作面に置かれた指が右手もしくは左手のものであるかを判定する左右手判定ステップと、ジェスチャー認識ステップによる認識結果と左右手判定ステップの判定結果とに基づいて、予め決められたコマンドを機器に送信するコマンド送信ステップとを備える。
【発明の効果】
【００１４】
本発明の入力装置および入力方法によれば、別途センサーを設けることなくユーザの左右手を判定することができるため、コストアップすることなく、左右の手に応じてアプリケーションを動作させることができるという効果を有する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態の入力装置および入力方法について、図面を用いて説明する。
【００１６】
図１は、本発明の実施形態に係る入力装置１００のハードウエア構成例を示す図である。図１において、入力装置１００は、接触情報検知部１と、演算部２とを備える。演算部２は、データの入出力を行うＩ／Ｏ１１と、データやプログラム等を記憶するＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１２と、ＢＩＯＳ等の基本プログラムを格納するＲＯＭ１３と、ＨＤＤ１２に記憶されたプログラム及びＲＯＭ１３に格納されたプログラムを実行するＣＰＵ１４と、データを保持するＲＡＭ１５と、画像データを処理する画像プロセッサ１７と、画像データを保持するＶＲＡＭ１８と、これらの構成要素を接続するバス線１６とを備える。
【００１７】
接触情報検知部１は、Ｉ／Ｏ１１の入力側に接続され、ユーザの複数の指で接触した座標と面積（以後、座標と面積をあわせて接触情報とよぶ）を検知できるタッチパネルやタッチスクリーンであり、方式としては、静電容量式、抵抗膜式、光学式などを用いることができる。接触情報検知部１からＩ／Ｏ１１の入力側に入力される接触情報は、ＲＡＭ１５に保持される。
【００１８】
なお、接触情報検知部１が例えば光学式のタッチパネルの場合には、図２に示すようにＸ軸とＹ軸でそれぞれ独立に接触位置を判定するため、一意に接触座標を検知できない場合が存在する。これは、図２において、実際は点Ａ（ｘ１，ｙ２）と点Ｂ（ｘ２，ｙ１）を接触しているにも関わらず、別の点Ｃ（ｘ１，ｙ１）と点Ｄ（ｘ２，ｙ２）が検出されるためである。このような場合、座標検知の際のサンプリングレートが十分（約２０Ｈｚ以上）であれば、ユーザは意識的に同時に２点以上を接触させない限り時間差が生じるため、それぞれを区別して検知することができる。例えば、まず最初に点Ａが接触し、次に点Ｂが接触されたとする。ここで、まず検知した座標（ｘ１，ｙ２）を点Ａの座標として保存する。その後、次のタイミングでその他に新たに３点の座標である点Ｂ（ｘ２，ｙ１）、点Ｃ（ｘ１，ｙ１）、点Ｄ（ｘ２，ｙ２）が検知されるが、点Ａの座標成分（ｘ１，ｙ２）を除いたものが新たにユーザの指の接触によって検知されるべき点と推定できる。それにより、（ｘ２，ｙ１）をユーザが接触した点Ｂの座標として保存する。このような処理を行うことで、簡易的に２点以上の座標が検知することができるようになる。
【００１９】
図１に戻り、Ｉ／Ｏ１１の出力側には、表示部３が接続される。表示部３は、画像データに対応する画像を表示するディスプレイである。また、Ｉ／Ｏ１１の出力側には、入力装置１００によって操作されるカーナビゲーション装置、オーディオ装置、エアコン等の操作対象機器４が接続される。演算部２は、接触情報検知部１で検知されたユーザの指示に基づいて、操作対象機器４に指示を出力する。
【００２０】
ＨＤＤ１２は、接触情報検知部１へのユーザの入力に基づいて操作対象機器４に送るコマンドを決定・送信したり、あるいは操作対象機器４を操作するためのＧＵＩを表示部３に表示させるようにＣＰＵ１４を機能させるための制御プログラム等を記憶している。
【００２１】
なお、入力装置１００における制御は、ハードウエア、又はハードウエア及びソフトウエアの協働によって実行される。
【００２２】
以下では、入力装置１００の構成及び動作について、より詳しく説明する。まずは、入力装置１００の構成から説明する。図３は、入力装置１００の機能ブロックを示す図である。図３に示すように、入力装置１００は、接触情報検知部１と、演算部１３０から構成される。
【００２３】
演算部１３０は、関連ＩＤ作成部１３１と、接触情報履歴格納部１３２と、ジェスチャー認識部１３３と、左右手判定部１３４と、コマンド送信部１３５から構成される。
【００２４】
関連ＩＤ作成部１３１は、過去の接触情報から現在取得した接触情報との関連性を算出し、各接触情報にＩＤを付与して、再度、接触情報履歴格納部１３２に現在の接触情報を格納する。この関連性とは、現在検知した接触情報が過去の接触情報のどの接触情報に対応するかを表したものである。
【００２５】
接触情報履歴格納部１３２は、現在までの座標と接触面積の履歴を紐付けして保存している。
【００２６】
ジェスチャー認識部１３３は、接触情報履歴格納部１３２に格納されている接触情報履歴からユーザのジェスチャーを認識する。
【００２７】
左右手判定部１３４は、認識したジェスチャーからユーザが左右の手のどちらで操作したかを判別する。
【００２８】
コマンド送信部１３５は、左右手の判別結果から制御対象機器４に送信するコマンドを決定する。
【００２９】
次に、以上の様に構成される入力装置の全体の処理の流れを図４のフローチャートを用いて説明する。
【００３０】
まず、ステップＳ１０１において、接触情報検知部１は、接触情報検知部１に触れたユーザの指の座標と面積（接触情報）を検知し、それらを出力する。接触情報検知部１の座標と面積の取得方法については、後述する。
【００３１】
次にステップＳ１０２において、関連ＩＤ作成部１３１は、接触情報検知部１が取得した接触情報と過去の接触情報と現在取得した接触情報との紐付けを行う。まず、関連ＩＤ作成部１３１は、接触情報履歴格納部１３２を参照し、過去の接触情報から取得した接触情報の関連性を算出する。この関連性の算出方法については後述する。次に、関連ＩＤ作成部１３１は、今回検知した接触情報に過去の接触情報との関連を表すＩＤを付与して、接触情報履歴格納部１３２に保存する。
【００３２】
次にステップＳ１０３において、ジェスチャー認識部１３３は、複数の接触情報の履歴を接触情報履歴格納部１３２から参照し、接触情報履歴から各ＩＤで関連付けられた各接触情報の移動方向や移動量や出現／消失パターンを用いて、各種ジェスチャーを認識する。このジェスチャーの認識方法については後述する。
【００３３】
次にステップＳ１０４において、左右手判定部１３４は、各ＩＤによって関連付けられた接触情報の移動方向や移動量や出現／消失パターンなどからユーザの指による操作が右手、もしくは左手で操作されたものかを判定し、コマンド送信部１３５に判定結果を出力する。この左右手の判定方法については後述する。
【００３４】
次にステップＳ１０５において、コマンド送信部１３５は、入力されたジェスチャーの結果と左右手の判定結果に基づいて、制御対象機器４に各種パラメータを送信する。
【００３５】
例えば、図５のように、親指と人指し指の２点を接触情報検知部１に接触させ、開いたり閉じたりするジェスチャーをジェスチャー認識部１３３が認識し、かつ左右手判定部１３４が右手による操作であることを判定した場合に、音量を変更するというコマンドが割り当てられているとする。その場合、接触している２点の座標の距離に応じて音量のパラメータを制御対象機器４に送信する。
【００３６】
また別の例として、車両運転の安全性確保のために走行中の運転者の制御対象機器４への入力を一部規制／制限するカーナビゲーション等において、接触情報検知部１が図６（ａ）のようにセンターコンソールの位置に取り付けられ、遠隔で操作するような形態で使用されるとする。その場合、運転席からの操作は必然的に左手で操作するようになり、また助手席からの操作は右手で操作するようになる。この性質を利用して、例えば図５のようなジェスチャーが、カーナビゲーションの地図の縮尺変更のコマンドに割り当てられており、かつこれを認識し、左右手判定部１３４が左手による操作であると判定した場合には、操作しているユーザが運転手であると推定する。そして、コマンド送信部１３５は、縮尺のパラメータを図５（ａ）の状態から図５（ｂ）の状態になったときに、初めて縮尺のパラメータを変更する。
【００３７】
また、同様に右手を検出した場合は、助手席からの操作と推定し、接触している２点間の距離に応じてパラメータを細かく変更する。これにより、運転中に運転者が操作した場合、細かい操作を行うことがないため、運転操作に集中でき、安全に制御対象機器を操作することができるようになる。また、助手席の操作では１度のジェスチャーで細かい操作ができ、かつ直感的に操作することができるようになる。なお、右側の座席が助手席、左側の座席が運転席の場合は左右手の判定結果から制御対象機器４に出力するパラメータは反対になる。
【００３８】
なお、左右手判定部１３４が、左右手の判定が不能であった場合は、左右手の判定が不能であったことをユーザに伝えるために、ポップアップを用いた表示や、エラーを伝えるための音声などを出力しても良い。
【００３９】
また、本実施の形態では、接触情報検知部１に対して操作者がどの方向から手を進入させたかを知る必要がある。そのため、接触情報検知部１に対して操作者がどの方向から手を進入させるかは、予め分っているものとする。
【００４０】
図６は接触情報検知部１の車への設置位置の例を示している。図６（ａ）は車両のセンターコンソールに取り付けられた場合の一例を示す図である。図６（ｂ）は、接触情報検知部１が車両のハンドルに取り付けられた場合の一例を示す図である。図６（ｃ）は、接触情報検知部１が、カーナビゲーションなどのディスプレイに取り付けられた場合の一例を示す図である。図６（ａ）に示すような車両の位置に、接触情報検知部１を取り付けることで、ドライバであるユーザは接触情報検知部１に対して左手を矢印６０１の方向に進入させることは予め分る。また、図６（ｂ）に示すような車両の位置に、取り付けることで、ドライバであるユーザは接触情報検知部１に対して左手を矢印６０２の方向に進入させることは予め分る。また、図６（ｃ）に示すような車両位置に、取り付けることで、ドライバであるユーザは接触情報検知部１に対して左手を矢印６０３の方向に進入させることは予め分る。
【００４１】
次に、以下では、図４を用いて説明した各ステップについて、詳細に説明する。
【００４２】
図７は、図４のステップＳ１０１における接触情報検知部１の動作について説明するための図である。図７（ａ）は、接触情報検知部１の操作面に操作者の手か置かれた状態の一例を示す。図７（ｂ）は、接触情報検知部１が検知した接触点群を黒丸群で表した図である。図７に示すように、接触情報検知部１は、図４のステップＳ１０１において、接触点（接触点群）を検知することによって、指の接触領域を検知する。
【００４３】
図８は、図４のステップＳ１０１を詳細に説明するためのフローチャートである。図９は、図４のステップＳ１０１で取得される接触座標を説明するための図である。以下、図８および図９を用いて、図４のステップＳ１０１の処理を詳細に説明する。
【００４４】
まず、Ｓ１０１−１において、接触情報検知部１は、図７（ｂ）を用いて説明した接触点群を示すデータを取得する。
【００４５】
次に、ステップＳ１０１−２において、接触情報検知部１は、接触点の位置関係に基づいて、図９の楕円で示す複数の領域を算出する。Ｓ１０１−２において複数の領域を算出する方法は、一般的な方法でよい。例えば、接触点の近傍に他の接触点が存在する場合はこれらの接触点を同一の領域とみなすことによって、複数の領域に区分する方法がある。
【００４６】
次に、ステップＳ１０１−３において、接触情報検知部１は、ステップＳ１０１−２で算出した各領域に対して、楕円フィッティング処理を行う。図９は、接触座標の算出方法について説明するための図ある。ステップＳ１０１−３において、接触情報検知部１は、図９（ａ）の楕円Ａで示すように指の接触点群を楕円で囲む。その後、接触情報検知部１は、例えば、楕円Ａの中心を接触座標とする（図９（ｂ）を参照）。なお、接触座標は、他の方法を用い、また、他の位置に決定してもよい。
【００４７】
接触座標を決定した後、接触座標について接触面積を求める。接触面積は、各指先が接触情報検知部１に接触している面積で、例えば、上記の様に接触座標を楕円フィッティングで求めた場合には楕円の面積を計算することで求めることができる。また、各領域内にある接触点の数を接触面積とすることもできる。
【００４８】
次に、ステップＳ１０１−４において、接触情報検知部１は、ステップＳ１０１−３で取得した接触座標と接触面積を接触情報履歴格納部１３２に保存する。図１０は、図８のステップＳ１０１−３で取得された接触座標の位置の一例を示す図である。図１０において、黒丸は接触座標１００１、点線の楕円１００２は接触面積の領域を示している。
【００４９】
図４のステップＳ１０２における関連ＩＤ作成部の処理の流れについて、図１１と図１２を用いて説明する。
【００５０】
ここで、今回ステップＳ１０２の処理を、接触情報検知部１をユーザの片手全ての指先（５点）が接触した例を用いて説明する。
【００５１】
図１２（ａ）は、前回ユーザが接触情報検知部１に接触した状態を表しており、また、図１２（ｂ）は、このときの接触情報履歴格納部１３２に格納されている各点の情報を表している。つまり、図１２（ａ）の各点（点Ａ、点Ｂ、点Ｃ、点Ｄ、点Ｅ）は、点ＡがＩＤ“１”、点ＢがＩＤ“２”、点ＣがＩＤ“３”、点ＤがＩＤ“４”、点ＥがＩＤ“５”と関連付けて格納され、それぞれ同様のグループ名“１０”を付与されていることを表している。このグループ名とは、同じタイミングで取得された各接触情報をグループ化したものであり、関連ＩＤ作成部１３１は、同じタイミングで取得された各接触情報に同様の名前、もしくは番号を付与し、グループ化する。
【００５２】
次に、前回、図１２（ｂ）のように接触情報履歴格納部１３２に各点の接触情報が格納されているとして、図１１を用いてＳ１０２の処理の詳細な流れを説明する。
【００５３】
まず、ステップＳ１０２−１において、関連ＩＤ作成部１３１は、接触情報検知部１から接触情報が入力されたかを判定する。接触情報が取得された場合にはステップＳ１０２−２に移行し、接触情報が１つも入力されていない場合（ユーザが接触情報検知部１にどの指も接触していない場合）は、ステップＳ１０２−１３に移行し、関連ＩＤ作成部１３１は、グループ名のみを付与して接触情報履歴格納部１３２に保存する。これにより、接触していないことを表すことができる。
【００５４】
次に、ステップＳ１０２−２とステップＳ１０２−３において、関連ＩＤ作成部１３１は、接触情報履歴格納部１３２に格納されている前回の各接触情報の座標値を参照し、前回のタイミングで各座標が接触情報履歴格納部１３２に格納されているかを確認する。図１２（ｂ）のように５点の接触情報が格納されている場合にはステップＳ１０２−４に移行し、前回ユーザが指を接触情報検知部１に接触していないため接触情報が格納されていない場合は、ステップＳ１０２−１１に移行する。
【００５５】
次に、ステップＳ１０２−４において、関連ＩＤ作成部１３１は、前回の各接触情報と今回検知した各接触情報の座標間の距離を算出する。例えば、図１３（ａ）に示すように、前回検知した各点（点Ａ、点Ｂ、点Ｃ、点Ｄ、点Ｅ）から、今回検知した各点（点Ａ’、点Ｂ’、点Ｃ’、点Ｄ’、点Ｅ’）に移動する。ここで、今回検知した各点の接触情報を図１３（ｂ）に示す。このとき、例えば今回と前回取得した各点間の距離は、図１３（ｃ）に示すように算出される。
【００５６】
次に、ステップＳ１０２−５において、関連ＩＤ作成部１３１は、Ｓ１０２−４で算出した座標間の距離のうち、最も距離が短くなった前回の接触情報を２つ１組としてそれぞれ抽出する。図１３（ｃ）のような結果の場合は、今回取得した点Ａ’に対して一番距離の短い点は点Ａになり、点Ｂ’は点Ｂ、点Ｃ’は点Ｃ、点Ｄ’は点Ｄ、点Ｅ’は点Ｅがお互いの組として抽出する。
【００５７】
次に、ステップＳ１０２−６、Ｓ１０２−７において、関連ＩＤ作成部１３１は、前回と今回取得した接触情報の座標数を比較し、互いの座標数に応じて移行する処理を変更する。図１３の場合は、前回は５点、今回も５点を接触情報検知部１で検知しているため、同じ数となり、ステップＳ１０２−８に移行する。その他の場合については後述する。
【００５８】
次に、ステップＳ１０２−８において、関連ＩＤ作成部１３１は、今回検知した接触情報に対応する前回の接触情報のＩＤを継承して接触情報履歴格納部１３２に保存する。つまり、ステップＳ１０２−５で抽出した組から、継承するＩＤを決定し、保存する。図１３の場合、点Ａ’に対応する前回の接触情報は点Ａとなるため、点ＡのＩＤ“１”を点Ａ’に継承する。その他の点についても同様にＩＤを継承する。
【００５９】
次に、ステップＳ１０２−１２において、関連ＩＤ作成部１３１は、今回取得した各接触情報に同一のグループ名を付与して、接触情報履歴格納部１に保存する。その後ステップＳ１０３に移行する。
【００６０】
ステップＳ１０２−７において、接触情報検知部１が取得した今回の座標数が、前回取得した座標数に比べ少ない場合は、ステップＳ１０２−９に移行する。
【００６１】
次に、ステップＳ１０２−９において、関連ＩＤ作成部１３１は、今回取得した各接触情報ごとに、距離が短くなる前回の接触情報を抽出し、前回の接触情報のＩＤを今回取得した接触情報のＩＤとして継承し、接触情報履歴格納部１に保存する。ここで、図１４（ａ）のように、前回の接触情報が５点（点Ａ、点Ｂ、点Ｃ、点Ｄ、点Ｅ）であり、今回入力された接触情報が４点（点Ａ’、点Ｂ’、点Ｄ’、点Ｅ’）のときを例として説明する。前回と今回取得した各座標間の距離は図１４（ｂ）に示すような値であったとする。図１４（ｂ）において、点Ａ’との距離が一番短くなるのは点Ａであり、点Ｂ’は点Ｂ、点Ｄ’は点Ｄ、点Ｅ’は点Ｅとなる。そして、点Ａ’については点ＡのＩＤを継承し、その他の点Ｂ’、点Ｄ’、点Ｅ’についても、対応するＩＤを継承し、接触情報履歴格納部１３２に保存する。その後ステップＳ１０２−１２に移行する。
【００６２】
ステップＳ１０２−７において、接触情報検知部１が取得した今回の座標数が、前回取得した座標数に比べ多い場合は、ステップＳ１０２−１０に移行する。
【００６３】
次に、ステップＳ１０２−１０おいて、関連ＩＤ作成部１３１は、今回取得した各接触情報と、前回取得した各接触情報との距離が短い方から順に、前回の接触情報のＩＤを今回の接触情報に継承して接触情報履歴格納部１３２に保存する。ここで、図１５（ａ）のように、前回の接触情報が４点（点Ａ、点Ｂ、点Ｄ、点Ｅ）であり、今回入力された接触情報が５点（点Ａ’、点Ｂ’、点Ｃ’、点Ｄ’、点Ｅ’）のときを例として説明する。前回と今回取得した各座標間の距離は図１５（ｂ）に示すような値であったとする。図１５（ｂ）に示すように一番短い２点間の距離は、“１”であり、点Ａ’は点Ａ、点Ｅ’は点Ｅの組を抽出し、点Ａと点ＥのＩＤをそれぞれ点Ａ’と点Ｅ’に継承し保存する。次に、短い距離としては“２”であり、点Ｂ’は点Ｂ、点Ｄ’は点ＤのＩＤをそれぞれ継承し保存する。
【００６４】
次に、ステップＳ１０２−１１において、関連ＩＤ作成部１３１は、今回接触情報検知部１が検知した接触情報の中でＩＤが付与されていない接触情報に新規ＩＤを付与して、接触情報履歴格納部１３２に保存する。図１５の場合、ステップＳ１０２−１０でＩＤが検証されていない接触情報は点Ｃ’となるため、関連ＩＤ作成部１３１は、点Ｃ’に新規ＩＤを付与して保存する。その後、ステップＳ１０２−１２に移行する。
【００６５】
次に、ステップＳ１０３のジェスチャー認識の処理と、ステップＳ１０４の左右手判定の処理について詳細に説明する。ここで、これらの処理について、いくつかの方法に分けて、それぞれの方法についてフローチャート等を用いて説明する。
【００６６】
（１）静的な相対位置から左右手を判別する場合
図１６のフローチャートは、ユーザが接触情報検知部１に指を接触させたときに、接触情報の各座標の相対位置からユーザの左右手を判定する場合の処理の流れを示している。
【００６７】
まず、ステップＳ１０３−１ａにおいて、ジェスチャー認識部１３３は、制御対象となる制御対象機器４から現在のモードを取得する。このモードとは、どのような画面を表示しているか、または、どのような機能を実行しているか、もしくはどのような機能を実行できるかを表すものである。例えば、制御対象機器４がカーナビゲーションで地図画面を表示している場合、地図のスクロールや縮尺の変更、目的地の設定等の機能を実行できる。ここで、図１６における取得したモードは、地図画面上で地図の縮尺が変更できるモードとする。そして、この機能を実行するためには、図５のように、人指し指と親指を接触情報検知部１に接触し、互いの指を開いたり閉じたりすることで、縮尺を変更できることとする。
【００６８】
次に、Ｓ１０３−２ａにおいて、ジェスチャー認識部１３３は、接触情報履歴格納部１３２から各グループ名単位で、最新の接触情報から過去数個の接触情報を取得する。このとき取得する接触情報の数は、接触情報検知部１が接触情報を取得するサンプリングレートに依存する。例えば、接触情報検知部１のサンプリングレートが２０Ｈｚだとすると、１秒間に２０回各接触情報を取得し、接触情報履歴格納部１３２にそれぞれ格納している。そのため、１秒間の接触情報を取得したい場合は、２０個の接触情報を取得すればよいこととなる。
【００６９】
次に、Ｓ１０３−３ａにおいて、ジェスチャー認識部１３３は、一定時間内に同数の接触情報が存在するかを判定する。例えば、接触情報履歴格納部１から１０個のグループ（０．５秒間）を取得したとし、連続して１グループにつき２点の接触情報が存在しているかを判定する。このとき、１グループでも２点以外（１点や３点）が存在する場合は、ステップＳ１０１に処理を移行する。また、同数存在した場合は、ステップＳ１０３−４ａに移行する。
次に、Ｓ１０３−４ａにおいて、ジェスチャー認識部１３３は、各接触情報の移動量は閾値以内かを判定する。例えば、取得した１０個のグループの各接触情報のＩＤを参照し、同じＩＤの接触情報の移動量が閾値以内であるかどうかを判定する。つまり、一定時間（本例の場合は０．５秒）の間、各座標が大きく動いていないかを判定する。ジェスチャー認識部１３３が、各座標が所定の閾値より大きく動いたと判定した場合は、ステップＳ１０１に処理を移行し、所定の閾値以内と判定した場合は、ステップＳ１０４−１ａに移行する。
【００７０】
次に、ステップＳ１０４−１ａにおいて、左右手判定部１３４は、取得した接触情報のうち一番新しく格納された接触情報の座標値を参照し、それぞれの相対位置から左右手を判定する。この相対位置の関係から左右手を判定する場合は、２点のうちのＹ座標が小さい（図１７の座標系）方が親指であることに着目している。これは、図５のような動作を行う場合、通常、人指し指のＹ座標の値に比べ、親指のＹ座標の値の方が小さくなるためである。
【００７１】
次に、図１７〜１９を用いて左右手を判定する方法について説明する。
【００７２】
図１７（ａ）は、２点Ａ、ＢのＹ座標を比較した結果、Ｙ座標が小さい点ＡのＸ座標より、もう一方の点ＢのＸ座標が大きいことを表している。この場合、親指の右側（Ｘ座標が大きい）に他の点が接触情報として検知されているため、図５のような操作を行っている場合、左右手判定部１３４は右手と判定する。また、図１７（ｂ）は、Ｙ座標が小さい点ＢのＸ座標より、もう一方の点ＡのＸ座標が小さいため、左右手判定部１３２は左手と判定する。なお、図１８（ａ）に示すように２点のＸ座標が一致もしくはＸ座標同士の距離が閾値以下の場合や、図１８（ｂ）に示すように２点のＹ座標が一致もしくはＹ座標同士の距離が閾値以下の場合には、左右手の判定不能とする。
【００７３】
以上のように、接触情報検知部１に接触した状態で、指を動かさずに左右手を判別することによって、左右手を判別するために特別に指を動かさなくてよく、処理負荷もかからずに左右手を判別することが可能になる。
【００７４】
また、図１６の処理の流れにおいて、取得したモードが、ユーザの左右手を判別するためだけのモードであっても構わない。さらに、上記の例では、２点の接触情報の座標を用いた例で処理を説明したが、５点まで接触情報を用いても構わない。
【００７５】
例えば、制御対象機器４が、左右手を判別するために、ユーザに全ての指を伸ばした状態で接触情報検知部１に各指先を接触することを促していた場合、左右手判定部１３４は、以下のように左右手を判別することができる。
【００７６】
この場合について、図１９を用いて説明する。図１９（ａ）に示すように、左右手判定部１３４は、５点の接触情報を用いて左右手を判定する場合、全ての点の中で最もＸ座標の座標値が小さい点（点Ａ）のＹ座標が、その他の点（この場合、点Ｂ，点Ｃ，点Ｄ，点Ｅ）に比べて一番小さい場合、これを右手と判定する。また、図１９（ｂ）に示すように、全ての点の中で最もＸ座標の座標値が大きい点（点Ｅ）のＹ座標が、その他の点（この場合、点Ａ，点Ｂ，点Ｃ，点Ｄ）に比べて一番小さい場合、これを左手と判定する。これは、通常指を伸ばした状態で接触情報検知部１に接触すると、親指が位置する座標は、他の指よりＹ座標が最も小さくなることに着目している。この性質より、Ｙ座標が一番小さい点が他の座標の左側（Ｘ座標が最も小さい）に存在する場合は右手、右側（Ｘ座標が最も大きい）に存在する場合は左手の指が接触されていると考えられる。
【００７７】
（２）静的な相対位置＋接触面積から左右手を判別する場合
図１６のフローチャートには記述をしていないが、更に左右手の判定結果を確実にするために、各接触情報の接触面積を条件とあわせて用いることができる。これは、通常、人間の指が何かに接触したときには、接触面積が一番大きくなるのは親指であるということに着目している。このような処理を、ステップＳ１０４−１ａ、もしくはその後の処理にて、左右手判定部１３４は、各点の接触面積の比較を行い、左右手の判定を行う。
【００７８】
図１９（ａ）の場合は親指に位置する点Ａ、図１９（ｂ）の場合は点Ｅの接触面積が、その他の点の接触面積に比べ大きいかを判別し、左右手を判定する。それらの点の接触面積が大きい場合は、図１９（ａ）の場合は右手、図１９（ｂ）の場合は左手と判定する。
【００７９】
これにより、ユーザが左右手の判定を逆にしたい場合に、意図的に手を裏返して接触情報検知部１に接触すると、各接触情報の座標値の相対関係は左右が反対になるが、接触面積をあわせて判定条件として用いることで、これを防ぐことが可能になる。
【００８０】
（３）移動方向から左右手を判別する場合
図２０のフローチャートは、ユーザが接触情報検知部１に指を接触させた状態で、その指を動かした移動方向によってユーザの左右手を判定する場合の処理の流れを示している。この場合も、図１６と同様に、制御対象機器４から取得するモードは、地図画面上で、地図の縮尺が変更できるモードとし、この機能を実行するためには、図５のように、ユーザが人指し指と親指を接触情報検知部１に接触し、互いの指を開いたり閉じたりすることで、縮尺を変更できることとする。このような例を用いて各処理のフローを説明する。
【００８１】
まず、ステップＳ１０３−１ｂ〜Ｓ１０３−３ｂにおいて、ジェスチャー認識部１３３はステップＳ１０３−１ａ〜Ｓ１０３−３ａと同様の処理を行う。
【００８２】
次に、ステップＳ１０３−４ｂにおいて、ジェスチャー認識部１３３は、各接触情報履歴から各座標の移動方向を算出する。この移動方向は、取得した接触情報のうち、過去の接触情報の座標値から最新の接触情報を引くことで算出することができる。
【００８３】
例えば、過去の２点（点Ａと点Ｂ）の各接触情報が図２１（ａ）に示すような状態で、最新の２点（点Ａ’と点Ｂ’）の各接触情報が図２１（ｂ）に示すような状態であった場合、点Ａから点Ａ’へのＸ軸方向の移動方向は（ｘ１’−ｘ１）＜０、Ｙ軸方向の移動方向は（ｙ１’−ｙ１）＜０となり、点Ｂから点Ｂ’へのＸ軸方向の移動方向は（ｘ２’−ｘ２）＞０、Ｙ軸方向の移動方向は（ｙ２’−ｙ２）＞０となる。なお、ここでは点Ａと点Ａ’、点Ｂと点Ｂ’は同じＩＤを持っているものとする。
【００８４】
次に、ステップＳ１０３−５ｂにおいて、ジェスチャー認識部１３３は、パラメータの算出を行う。ここで、取得したモードが地図の縮尺を変更するモードの場合、接触情報検知部１に接触した親指と人指し指との間の距離の変化率を縮尺のパラメータとする。なお、最初に２点接触した座標間の距離を初期位置とし、そこから距離が長くなった場合は正のパラメータを持ち、さらに初期位置の距離と、現在の座標間の距離の変化率を算出してパラメータとして決定しても良い。
【００８５】
次に、ステップＳ１０４−１ｂにおいて、左右手判定部１３４は、各接触情報の移動方向から左右手を判定する。このときの判定方法を、図２２を用いて説明する。
【００８６】
図２２は、接触情報検知部１に接触した任意の２点（点ａと点ｂ）がＸ及びＹ軸のいずれの方向に移動したかによって左右手を判定する条件を示す図である。ただし、座標系は図２１に示した座標系とする。これは、通常、図６に記載されているのような取付位置に接触情報検知部１が設置されている場合、親指にあたる点がＸ軸方向へ移動しやすく、人指し指に当たる点がＹ軸方向に移動しやすいことに着目している。図２１の場合は、状態ａから状態ｂに移行した２点の内のいずれかの点を抽出する。仮に点Ａを抽出すると、ステップＳ１０３−４ｂで算出されるＸ座標の移動方向は負の方向になる。次に、点ＢのＹ座標の移動方向は正方向になる。これらの結果を図２２の一覧に当てはめて、左右手の判定を行う。
【００８７】
図２２の判定条件は、右手で図５（ａ）から図５（ｂ）に遷移する場合、１点のＸ座標は負方向へ、もう１点のＹ座標は正方向への移動し、左手では、１点のＸ座標は正方向へ、もう一点のＹ座標は正方向へ移動することに着目している。そのため、図２２に示す、２点のＸ，Ｙ座標の移動方向の組み合わせによって左右手を判定することができる。つまり図２１場合は、右手と判定をする。
【００８８】
以上の様に、モードが機能を実行するジェスチャー（本例では、地図の縮尺変更を図５のような指の開閉で行う）を行っているときに左右手を判定することによって、ユーザが左右手を判定するためだけに何かしらのジェスチャーを行わなくてよく、利便性が非常に高い。
【００８９】
なお、図２１、２２の場合は、２点の座標の移動方向で左右手を判定する例を用いて説明をしたが、３，４，５点の移動方向を用いて判定しても構わない。ここでは、５点の移動方向を用いて判定する例を説明する。
【００９０】
まず、図２０のステップＳ１０３−１ｂにおいて、ジェスチャー認識部１３３は、制御対象機器４からモードを取得する。このとき取得したモードは、上記と同様に地図の縮尺を変更できるモードとする。そしてユーザが接触情報検知部１に、片手の全ての指先を集合させて接触させた状態から、接触させながら開くような状態になったとき（その逆でも構わない）に、縮尺を変更できることとする。図２３に、そのときの接触情報検知部１が取得した各座標の位置を図示したものと、ユーザの手の動きと、各状態での接触情報履歴格納部１３２から取得した接触情報の一部の情報を示す。図２３（ａ）の状態ａは片手の全ての指先を集合させた状態を表しており、図２３（ｂ）の状態ｂは片手の全ての指を開いた状態を表している。
【００９１】
次に、ステップＳ１０３−２ｂとＳ１０３−３ｂにおいて、ジェスチャー認識部１３３は、図２３に示す各接触情報の座標を取得し、一定時間内に同数（この場合は５点）の接触情報が存在するかを判定する。この処理は前述した処理と同様である。
【００９２】
次に、ステップＳ１０３−４ｂにおいて、各座標の移動方向を算出する。算出方法は前述したものと同様であり、その結果を図２４に示す。
【００９３】
次に、ステップＳ１０４−１ｂにおいて、左右手判定部１３４は、各接触情報の移動方向から左右手を判定する。図６に記載されているのような取付位置に接触情報検知部１が設置されている場合、図２３に示すようなジェスチャーをすると、状態ａから状態ｂに移行したときに、親指にあたる点がＸ軸方向へ移動しやすく、その他の指に当たる４点がＹ軸方向に移動しやすいことに着目している。その結果、図２５に示す一覧のような移動方向のいずれかに該当するかを判別して、左右手を判定することができる。
【００９４】
図２３の場合は、状態ａから状態ｂに移行した５点のうちのいずれか１点を抽出する。仮に点Ａを抽出した場合、この点Ａから点Ａ’に移行するまでのＸ軸方向の移動方向を参照する。図２４の算出結果より、Ｘ軸の移動方向は負方向であることが分かる。その後、その他の４点（点Ｂ，点Ｃ，点Ｄ，点Ｅ）のＹ軸方向の移動方向を参照する。これも図２４の算出結果より、Ｙ軸の移動方向は全ての点に対して正方向であることが分かる。これは、図２５に示すＸ座標の移動方向が負方向で、Ｙ座標の移動方向が正方向である条件に当てはまるため、左右手判定部１３４は、右手と判定する。
【００９５】
また、今回は初めに抽出した１点が点Ａであったため、一度で左右手の判別が行えたが、抽出した初めの１点が点Ａ以外の場合は、図２５の一覧に該当しない。このような場合は、全ての点に対して同様の処理を行い、左右手の判定を行うことができる。
【００９６】
（４）移動方向＋相対位置から左右手を判別する場合（５本指、親指スライド）
５点の接触情報から移動方向を用いて左右手を判定する別の方法を以下で説明する。
【００９７】
図２０のステップＳ１０３−１ｂにおいて、ジェスチャー認識部１３３は、制御対象機器４からモードを取得する。このとき取得したモードは、上記と同様に地図の縮尺を変更できるモードとする。そして、ユーザが接触情報検知部１に、片手の全ての指先を接触させた状態から、親指のみを接触させながら左右に動かすことで、縮尺を変更できることとする。図２６に、そのときの接触情報検知部１が取得した各座標の位置を図示したものと、ユーザの手の動きと、各状態での接触情報履歴格納部１３２から取得した接触情報の一部の情報を示す。図２６において、状態ａは片手の全ての指を開いている状態、状態ｂは、状態ａから親指のみを右に動かした状態を表している。
【００９８】
次に、ステップＳ１０３−２ｂとＳ１０３−３ｂにおいて、ジェスチャー認識部１３３は、前述の５点のときの処理と同様の処理を行う。
【００９９】
次に、ステップＳ１０３−４ｂにおいて、ジェスチャー認識部１３３は、各座標の移動方向を算出する。算出方法は前述したものと同様であり、その結果を図２７の一覧に示す。図２７においてＸ軸移動方向、Ｙ軸移動方向の欄に「−」という記載があるが、これは、点が移動していない、もしくは、移動量が微少であったことを表している。親指のみ移動させるジェスチャーであるため、その他の指は移動しない。
【０１００】
次に、ステップＳ１０４−１ｂにおいて、左右手判定部１３４は、各座標の移動方向と座標値から左右手を判定する。図６に記載されているのような取付位置に接触情報検知部を設置している場合、図２６に示すようなジェスチャーをすると、状態ａから状態ｂに移行したときに、親指にあたる点がＸ軸方向へ移動しやすいことに着目している。また、親指にあたる点のＹ座標はその他の点のＹ座標より小さいことに着目している。その結果、図２８に示す一覧のような移動方向、及び各指先の接触座標の相対的な位置関係から、全ての条件を満たす場合に左右手の判定を行う。
【０１０１】
図２７に各点の算出結果と各軸方向への移動方向を示す。また、本例の場合は、移動方向に併せて各点の座標値を用いる。この座標値は、移動方向を算出した際の始点、もしくは終点で使用した座標値をそれぞれ用いる。まず、左右手判定部１３４は、取得した座標履歴のもっとも過去の５点（点Ａ，点Ｂ，点Ｃ，点Ｄ，点Ｅ）のうち、Ｘ座標が最大と最小となる２点を抽出する。本例の場合は、点Ａと点Ｅが抽出される。次に、最も最近の５点のうち、Ｘ座標が最大と最小となる２点を抽出する。本例の場合は、点Ｂ’と点Ｅ’が抽出される。
【０１０２】
次に、左右手判定部１３４は、同一ＩＤの任意の１点を抽出し、仮に点Ａを抽出したとする。このとき、先ほど抽出した点に含まれているかどうかを判定する。本例の場合は、始点時のＸ座標が、その他の座標に比べ最小であるため、次の処理に移行する。このとき、含まれていない場合は、その他の点について同様の処理を行う。
【０１０３】
次に、左右手判定部１３４は、抽出した１点と他のＹ座標と比較し、その他の４点と比べてＹ座標が最小であるかを判定する。本例の場合は、点Ａは図２６から最小であることが分かる。次に、左右手判定部１３４は、抽出した点（点Ａ）のＸ軸の移動方向を参照する。本例では、点ＡのＸ軸方向の移動方向は正方向であるため、この結果、図２８に示す条件を全て満たすため、左右手の判定結果は右手となる。このように５点の接触情報から左右手を判定することも可能である。
【０１０４】
（５）移動方向＋移動量から左右手を判別する場合（２本指）
図２９のフローチャートは、ユーザが接触情報検知部１に指を接触させた状態で、その指を動かした移動方向と移動量を算出し、これらを用いることによってユーザの左右手を判定する場合の処理の流れを示している。
【０１０５】
まず、ステップＳ１０３−１ｃにおいて、ジェスチャー認識部１３３は、制御対象機器４から現在のモードを取得する。本例におけるモードは、図２０と同様に、地図画面上で、地図の縮尺が変更できるモードとする。そして、この機能を実行するためには、図５のように、人指し指と親指を接触情報検知部１に接触し、互いの指を開いたり閉じたりすることで、縮尺を変更できることとする。
【０１０６】
次に、ステップＳ１０３−２ｃからステップＳ１０３−５ｃにおいて、ジェスチャー認識部１３３は、それぞれ図２０のステップＳ１０３−２ｂからステップＳ１０３−５ｂと同様の処理を行う。
【０１０７】
次に、ステップＳ１０４−１ｃにおいて、左右手判定部１３４は、各接触情報履歴から各接触情報の移動量を算出する。なお、この移動量の算出方法は、一般的な２点間の距離を算出する方法（三平方の定理）を用いればよいが、演算量を少なくするためにその他の近似値を算出する方法を用いて、その値を用いても構わない。
【０１０８】
次に、ステップＳ１０４−２ｃにおいて、左右手判定部１３４は、各接触情報の移動方向と移動量から左右手を判定する。これは、人指し指と親指を用いて、開いたり閉じたりする際には、通常、親指は人指し指に比べ、指の長さが短く、かつ人指し指の方が動かしやすいことに着目している。そのため、親指の移動量の方が人指し指の移動量に比べ小さい。このときの一例を図３０に示す。
【０１０９】
図３０では、状態ａから状態ｂに遷移したときに、各接触情報（点Ａから点Ａ’、点Ｂから点Ｂ’）が、それぞれｌ１，ｌ２（ｌ１＜ｌ２）の長さを移動している様子を表している。このような場合、左右手判定部１３４は、移動距離ｌ１の方が移動距離ｌ２よりも短いため、点Ａ（もしくは点Ａ’）に対応する指が親指で、点Ｂ（もしくは点Ｂ’）に対応する指が人指し指と判定する。そして、ユーザの手が図６に示すようなの進入方向の場合は、これを右手での操作と判定する。
【０１１０】
上記のような方法で左右手を判定すれば、移動方向のみで検出できなかった図１８の様な場合でも、左右手の判定を確実に行うことができる。
【０１１１】
（６）移動方向＋移動量から左右手を判別する場合（３点ピンチ操作）
図３１のフローチャートは、ユーザが接触情報検知部１に２本の指とさらに他の指が接触している状態で、２本の指を動かした移動方向と移動量とその他の指との相対位置とを算出し、これらを用いることによってユーザの左右手を判定する場合の処理の流れを示している。
【０１１２】
まず、ステップＳ１０３−１ｄにおいて、ジェスチャー認識部１３３は、制御対象機器４から現在のモードを取得する。本例におけるモードは、図２０と同様に、地図画面上で、地図の縮尺が変更できるモードとする。そして、この機能を実行するためには、図５のように、人指し指と親指を接触情報検知部１に接触した状態で、互いの指を開いたり閉じたりすることで、縮尺を変更できることとする。
【０１１３】
次に、ステップＳ１０３−２ｄとステップＳ１０３−３ｄまでの処理において、ジェスチャー認識部１３３は、ステップＳ１０３−２ｂとステップＳ１０３−２ｂと同様の処理を行う。
【０１１４】
次に、ステップＳ１０３−４ｄにおいて、ジェスチャー認識部１３３は、各接触情報の移動量を算出する。これは、上述のステップＳ１０４−１ｃで用いた方法によって各接触情報の移動量を算出する。
【０１１５】
次に、ステップＳ１０３−５ｄにおいて、ジェスチャー認識部１３３は、移動量が大きい上位２個の接触情報の移動方向を算出する。ここで、本処理を説明するために、図３２の例を用いて説明する。
【０１１６】
図３２は、状態ａから状態ｂに遷移したときに、各接触情報（点Ａから点Ａ’、点Ｂから点Ｂ’）が、それぞれ移動している様子を表している。この際、点Ａから点Ａ’の移動距離をｌ１、点Ｂから点Ｂ’の移動距離をｌ２、点Ｃから点Ｃ’の移動距離をｌ３とし、それぞれの移動距離を算出した結果、ｌ２＞ｌ１＞ｌ３だったとする。このような場合、ステップＳ１０３−５ｄにおいて、ジェスチャー認識部１３３は、ｌ１とｌ２に対応する点となる点Ａ（ＩＤ：１）と点Ｂ（ＩＤ：２）を抽出し、これらの移動方向を算出する。このときに移動方向の算出方法は図２２の結果で示した方法と同様の処理を行う。
【０１１７】
次に、ステップＳ１０３−６ｄにおいて、ジェスチャー認識部１３３は、パラメータの算出を行う。これは図２０のステップＳ１０３−５ｂと同様の処理を行う。
【０１１８】
次に、ステップＳ１０４−１ｄにおいて、左右手判定部１３４は、各接触情報の相対位置を算出する。この相対関係とは、移動距離の大きい２点と、それ以外の点のＸ座標に着目し、算出する。図３２の場合は、移動距離の大きい２点（点Ａ（ＩＤ：１）と点Ｂ（ＩＤ：２））とそれ以外の点（点Ｃ、ＩＤ：３）のＸ座標に着目し、点ＣのＸ座標と、点Ａと点ＢのＸ座標とを比較する。図３２では、点ＣのＸ座標は点Ａと点ＢのＸ座標より大きくなっている。
【０１１９】
次に、ステップＳ１０４−２ｄにおいて、左右手判定部１３４は、各接触情報の移動量と相対位置から左右手の判定を行う。
【０１２０】
図３２の場合は、移動量の大きい２点（点Ａ（ＩＤ：１）と点Ｂ（ＩＤ：２））とそれ以外の点（点Ｃ、ＩＤ：３）のＸ座標の相対位置関係は、移動量の小さい点Ｃが移動量の大きい点Ａと点Ｂより大きくなっている。縮尺を変更するためのジェスチャーとして親指と人指し指を接触情報検知部１に接触させた状態で、開いたり閉じたりしていることに加え、その他の指は接触情報検知部１に接触している。通常、右手でこの操作を行っている場合は、その他の指は移動量が大きい２点（親指と人指し指）より右側（Ｘ座標が大きい）に位置する。左手でこの操作を行っている場合は左側（Ｘ座標が小さい）に位置することになる。つまり、図３２の場合は、移動量の小さい点（点Ｃ）のＸ座標が他と比べて大きいため、左右手判定部１３４は、右手であると判定する。
【０１２１】
このような処理を行うことによって、移動方向のみで検出できなかった図１８（ｂ）のような場合でも左右手の判定を確実に行うことができる。
【０１２２】
（７）座標の相対位置と接触面積から左右手を判別する場合
図３３のフローチャートは、ユーザが接触情報検知部に２本以上の指を接触させた状態から、ある特定の１本の指を用いてタップしたことによって、ユーザの左右手を判定する場合の処理の流れを示している。
【０１２３】
本例においては、制御対象機器４から取得するモードは、画面上にボタンが配置されており、そのボタンをタップすることで、特定の機能が実行されるモードとする。ここでのタップの方法としては、あらかじめ２本以上の指が接触情報検知部１に接触している状態から、１本の指（親指）でタップすることとする。このような例を用いて各処理のフローを説明する。
【０１２４】
なお、タップとは、ノートパソコンなどに使われるポインティングデバイスであるタッチスクリーンを用いてボタン選択を行う際に用いられる動作を表す単語であり、その方法は、タッチスクリーンを短い時間の間に接触して、離すことである。
【０１２５】
まず、ステップＳ１０３−１ｅとＳ１０３−２ｅにおいて、ジェスチャー認識部１３３は図１６のステップＳ１０３−１ａとＳ１０３−２ａと同様の処理を行う。
【０１２６】
次に、ステップＳ１０３−３ｅにおいて、ジェスチャー認識部１３３は、接触情報履歴格納部１３２から取得した接触情報の内、最新の接触情報が１点以上存在するかを判定する。ここで、１点も接触情報が存在しない場合は、ステップＳ１０１に処理を移行し、存在する場合は、ステップＳ１０３−４ｅに移行する。
【０１２７】
次に、ステップＳ１０３−４ｅにおいて、ジェスチャー認識部１３３は、タップ検出を行う。このときのタップ検出の方法としては、一般的な方法を用いればよい。例えば、取得した接触情報の履歴を用いて、一定時間内の座標数の増減からタップを検出する方法などが考えられる。本例では、図３４を用いて説明する。図３４（ｃ）の最新状態（状態ｃ）の接触情報の座標数が４点で、例えば１秒間の間にタップ検出を行うとした場合、この間に接触情報の座標数が４個（図３４（ａ）の状態ａ時）、５個（図３４（ｂ）の状態ｂ時）、４個（図３４（ｃ）の状態ｃ時）と遷移するように、現在の接触情報の個数より１個だけ増えていればこれをタップとして検出する。
【０１２８】
次に、ステップＳ１０３−５ｅにおいて、ジェスチャー認識部１３３は、ステップＳ１０３−４ｅでタップ検出がされていれば、ステップＳ１０４−１ｅに移行し、検出されなければステップＳ１０１に処理を移行する。
【０１２９】
次に、ステップＳ１０４−１ｅにおいて、左右手判定部１３４は、タップ時（接触している座標数が増加したタイミング）の各接触情報の接触面積を参照する。図３４に示す例の場合は、図３４（ｂ）の状態ｂでの各接触情報の接触面積として、Ｓ１’、Ｓ２’、Ｓ３’、Ｓ４’、Ｓ５’を参照する。
【０１３０】
次に、ステップＳ１０４―２ｅにおいて、左右手判定部１３４は、タップを検出した根拠となった接触情報と、その他の接触情報の接触面積を比較して、タップを検出した根拠となった接触情報の接触面積が１番大きいかを判定する。これは、通常、人間の指が何かに接触したときに、接触面積が一番大きくなるのは親指であるということに着目している。
【０１３１】
図３４に示す例の場合は、状態ａから状態ｃにしたときに、点Ａ’（ＩＤ：１）が座標数の増減に起因するため、点Ａ’（ＩＤ：１）の接触面積（Ｓ１’）が、その他の点（点Ｂ’，点Ｃ’，点Ｄ’，点Ｅ’）の接触面積より大きいかを判定する。本例の場合は、状態ｂでの各接触情報の接触面積の大小は、Ｓ１’＞Ｓ３’＞Ｓ２’＞Ｓ４’＞Ｓ５’、としているため、ステップＳ１０４−３ｅに移行する。このとき、タップ検出に起因した接触情報の接触面積が一番大きくない場合は、ステップＳ１０１に処理を移行する。
【０１３２】
次に、ステップＳ１０４−３ｅにおいて、左右手判定部１３４は、タップ検出時に検出するトリガーとなった接触情報の座標値と、その他の接触情報の座標値との相対位置関係により左右手を判定する。この相対関係とは、トリガーとなった接触情報の座標値のＸ座標が、その他の各接触情報の座標値に比べ、最も大きいか、もしくは最も小さいかのことを指している。これは、通常、検出した指の接触面積が他より大きく、かつその指が他の指の左側（Ｘ座標が小さい位置）にある場合は右手となり、また、他の指の右側（Ｘ座標が大きい位置）にある場合は左手になるということに着目している。
【０１３３】
図３４の例の場合は、状態ｂにて点Ａ’（ＩＤ：１）の出現がタップ検出のトリガーとなったため、状態ｂでの点Ａ’とその他の各点（点Ｂ’、点Ｃ’、点Ｄ’，点Ｅ’）とのＸ座標の座標値の相対関係を参照すると、点Ａ’は他の各点（点Ｂ’、点Ｃ’、点Ｄ’，点Ｅ’）のＸ座標と比べ最も小さい値を取っているため、この場合は、右手と判定する。
【０１３４】
なお、ステップＳ１０４−２ｅにおいて、接触面積の相対比較のみの判定を行ったが、一定の閾値を設けてから比較を行っても良い。また、ステップＳ１０４−３ｅにおいて、座標値の相対位置関係を算出するときに、Ｘ座標のみを用いていたが、通常、親指は他の指よりＹ座標が小さくなるため、左右手を判定する際にＹ座標を併せて用いても良い。
【０１３５】
このように、他の接触情報と比べ、接触面積が大きく、かつＸ座標が最も小さい（もしくは大きい）親指の特性をいかすことで、タップという一般的な操作時に左右手を併せて判定することができるため、左右手判定のために別途モードを設ける必要が無い。そして、ユーザにとっても左右手を判定するために、特別な操作をする必要がない。
【０１３６】
（８）移動方向と接触面積から左右手を判別する場合（２本、座標変換）
図３５のフローチャートは、ユーザが接触情報検知部１に２本の指を接触させた状態で、２本の指を動かした移動方向と、各接触情報の接触面積を用いることによってユーザの左右手を判定する場合の処理の流れを示している。
【０１３７】
まず、ステップＳ１０３−１ｆからステップＳ１０３−５ｆにおいて、ジェスチャー認識部１３３は、図２０におけるステップ１０３−１ｂからＳ１０３−５ｂまでの処理と同様の処理を行う。また、取得するモードと機能の実行方法についても同様である。
【０１３８】
次に、ステップ１０４−１ｆとステップＳ１０４−２ｆにおいて、左右手判定部１３４は、各接触情報の接触面積を抽出し、左右手判定座標系を構築する。この処理について図３６を用いて説明する。
【０１３９】
図３６（ａ）は、初めて接触情報検知部１で２点の接触情報を検知したときの様子を表している。このとき点Ａ（ＩＤ：１）は、点Ｂ（ＩＤ：２）の接触面積より大きいとしている。次に、接触情報の中で最も接触面積が大きい接触情報（点Ａ）の座標値（ｘ１，ｙ１）を左右手判定座標系の原点とし、接触面積が大きい接触情報の座標（ｘ１，ｙ１）から接触面積が小さい接触情報の座標（ｘ２，ｙ２）へのベクトル成分を算出する。その後、算出したベクトル成分から、原点（点Ａ：Ｏ）を中心に右回りを正方向として、−４５°回転させたベクトル成分をＸ’軸、＋４５°回転させたベクトル成分をＹ’軸と定義する。図３６（ａ）の場合は、図３６（ｂ）に示す座標系が構築される。
【０１４０】
次に、ステップＳ１０４−３ｆとステップＳ１０４−４ｆにおいて、左右手判定部１３４は、左右手判定座標系における各接触情報の移動方向を算出し、移動方向から左右手の判定を行う。これは、通常、接触情報検知部１に接触させながら親指と人指し指での操作を行った場合、親指のほうが接触面積が大きくなり、また更に、親指と人指し指を開いたり閉じたりする動作をユーザが行った場合、親指と人指し指の指関節の可動範囲から、お互いの指は直交に近い軌跡を描くことに着目している。つまり、構築した左右手判定座標系は、親指を原点とし、２点を結ぶベクトル成分を４５°ずつに成分を分配した座標系を用いて移動方向を算出し、左右手を判定することで、ユーザが接触情報検知部１に対して、どのような方向から手を進入させても確実に左右の手を判定することができる。
【０１４１】
例えば、図３６（ｃ）において、点Ａと点Ｂが、点Ａ’と点Ｂ’に移動したとする。なお、左右手判定座標系としてはＸ’Ｙ’座標系が構築されている。このときの各点の移動方向を算出したときに、点Ａから点Ａ’への移動方向は、Ｘ’軸方向には負方向（（ｘ’１−０）＜０）、Ｙ’軸方向には移動無し（（ｙ’１−０）＝０）、点Ｂから点Ｂ’への移動方向は、Ｘ’軸方向には移動無し（（ｘ’２’−ｘ’２）＝０）、Ｙ’軸方向には正方向（（ｙ’１’− ｙ’２）＞０）だったとする。このような場合、左右手判定部１３４は、図３６（ｄ）に従って、各点の移動方向から右手と判定する。
【０１４２】
このような処理を行うことで、接触情報検知部１に対して任意の方向から操作した場合でも、左右の手を判別することが可能となる。
【０１４３】
なお、移動方向の算出の際に、各接触情報の各成分（Ｘ’座標、Ｙ’座標）の移動量を移動方向のパラメータとして利用することで、より高い精度で左右手の判定が行える。
【０１４４】
なお、上記に様に（１）〜（８）に示したいくつかの方法を組み合わせ左右手を判定しても構わない。それにより、より確実な左右手判定が可能になる。
【産業上の利用可能性】
【０１４５】
以上のように、本発明にかかる入力装置および入力方法は、接触情報検知部のみを用いてユーザの左右手を判定することができるため、コストアップすることなく、左右の手に応じてアプリケーションを動作させることができる、という効果を有し、カーナビゲーション装置等の機器に対してユーザが命令等を入力するための入力装置および入力方法に利用できる。
【図面の簡単な説明】
【０１４６】
【図１】本発明の実施の形態における入力装置１００のハードウエア構成の一例を示す図
【図２】Ｘ軸とＹ軸でそれぞれ独立に接触位置を判定するタッチパネルで検出される接触位置を説明するための図
【図３】本発明の実施の形態における入力装置１００の機能ブロック図
【図４】本発明の実施の形態における入力装置１００の全体の処理の流れを示すフローチャート
【図５】接触情報検知部１に入力するユーザの操作の一例を示す図で、（ａ）親指と人指し指を閉じた状態を示す図、（ｂ）親指と人指し指を開いた状態を示す図
【図６】接触情報検知部１の車への設置位置の例を示す図で、（ａ）車両のセンターコンソールに取り付けられた場合の一例を示す図、（ｂ）車両のハンドルに取り付けられた場合の一例を示す図、（ｃ）カーナビゲーションなどのディスプレイに取り付けられた場合の一例を示す図
【図７】図４のステップＳ１０１における接触情報検知部１の動作について説明するための図で、（ａ）接触情報検知部１の操作面に操作者の手か置かれた状態の一例を示す図、（ｂ）接触情報検知部１が検知した接触点群を黒丸群で表した図
【図８】図４のステップＳ１０１を詳細に説明するためのフローチャート
【図９】図８のステップＳ１０１−２、Ｓ１０１−３の接触座標と接触面積の算出方法について説明するための図
【図１０】図８のステップＳ１０１−３で取得された接触座標の位置の一例を示す図
【図１１】図４のステップＳ１０２を詳細に説明するためのフローチャート
【図１２】接触情報履歴格納部１３２に格納されている情報を説明するための図で、（ａ）前回ユーザが接触情報検知部１に接触した状態を説明するための図、（ｂ）接触情報履歴格納部１３２に格納されている各点の情報を示す図
【図１３】図１１のステップＳ１０２−４の処理を説明するための図で、（ａ）前回の各接触情報（５点）と今回検知した各接触情報（５点）を説明するための図、（ｂ）今回検知した接触情報を説明するための図、（ｃ）前回（５点）と今回（５点）取得した各座標間の距離の一例を示す図
【図１４】図１１のステップＳ１０２−９の処理を説明するための図で、（ａ）前回の各接触情報（５点）と今回検知した各接触情報（４点）を説明するための図、（ｂ）前回（５点）と今回（４点）取得した各座標間の距離の一例を示す図
【図１５】図１１のステップＳ１０２−１０の処理を説明するための図で、（ａ）前回の各接触情報（４点）と今回検知した各接触情報（５点）を説明するための図、（ｂ）前回（４点）と今回（５点）取得した各座標間の距離の一例を示す図
【図１６】図４のステップＳ１０３、Ｓ１０４において、ユーザが接触情報検知部１に指を接触させたときに、接触情報の各座標の相対位置からユーザの左右手を判定する場合の処理の流れを示すフローチャート
【図１７】図１６のステップＳ１０４−１ａにおいて左右手を判定する方法を説明するための図で、（ａ）ユーザが右手で操作した場合を説明するための図、（ｂ）ユーザが左手で操作した場合を説明するための図
【図１８】図１６のステップＳ１０４−１ａにおいて左右手の判定が不能になる一例を説明するための図で、（ａ）２点のＸ座標が一致もしくはＸ座標同士の距離が閾値以下の場合を示す図、（ｂ）２点のＹ座標が一致もしくはＹ座標同士の距離が閾値以下の場合を示す図
【図１９】図１６のステップＳ１０４−１ａにおいて５点の接触情報の各座標の相対位置から左右手を判定する方法を説明するための図で、（ａ）ユーザが右手で操作した場合を説明するための図、（ｂ）ユーザが左手で操作した場合を説明するための図
【図２０】図４のステップＳ１０３、Ｓ１０４において、ユーザが接触情報検知部１に指を接触させた状態で、その指を動かした移動方向によってユーザの左右手を判定する場合の処理の流れを示すフローチャート
【図２１】図２０のステップＳ１０３−４ｂにおいて、各接触情報履歴から各座標の移動方向を算出する処理を説明するための図で、（ａ）親指と人指し指を閉じた状態ａを示す図、（ｂ）親指と人指し指を開いた状態ｂを示す図
【図２２】図２０のステップＳ１０４−１ｂにおいて、接触情報検知部１に接触した任意の２点（点ａと点ｂ）がＸ及びＹ軸のいずれの方向に移動したかによって左右手を判定する条件を示す図
【図２３】図２０のフローチャートにおいて、５点の移動方向を用いてユーザの左右手を判定する場合を説明するための図で、（ａ）片手の全ての指先を集合させた状態ａの場合を示す図、（ｂ）片手の全ての指を開いた状態ｂの場合を示す図
【図２４】図２０のステップＳ１０３−４ｂにおいて、５点の移動方向を用いてユーザの左右手を判定する場合の移動方向の算出式と移動方向を示す図
【図２５】図２０のステップＳ１０４−１ｂにおいて、５点の移動方向を用いてユーザの左右手を判定する条件を示す図
【図２６】図２０のフローチャートにおいて、親指のみを左右に動かす操作により左右手を判定する方法を説明するための図で、（ａ）片手の全ての指を開いている状態ａを示す図、（ｂ）状態ａから親指のみを右に動かした状態ｂを示す図
【図２７】図２６の片手の全ての指を開いている状態ａから親指のみを右に動かした状態ｂにした場合の各点の移動方向を示す図
【図２８】図２６の親指のみを左右に動かす操作をした場合、図２０のステップＳ１０４−１ｂにおいて、移動方向を用いてユーザの左右手を判定する条件を示す図
【図２９】図４のステップＳ１０３、Ｓ１０４において、ユーザが接触情報検知部１に指を接触させた状態で、その指を動かした移動方向と移動量を算出し、これらを用いることによってユーザの左右手を判定する場合の処理の流れを示すフローチャート
【図３０】図５の人指し指と親指を用いて開いたり閉じたりする際の親指と人指し指の移動量を示す図
【図３１】図４のステップＳ１０３、Ｓ１０４において、ユーザが接触情報検知部１に２本の指とさらに他の指が接触している状態で、２本の指を動かした移動方向と移動量とその他の指との相対位置とを算出し、これらを用いることによってユーザの左右手を判定する場合の処理の流れを示すフローチャート
【図３２】図３１のフローチャートにおいて、左右手を判定する方法を説明するための図で、（ａ）人指し指と親指を閉じた状態ａを示す図、（ｂ）人指し指と親指を開いた状態ｂを示す図、（ｃ）各点の移動距離を示す図
【図３３】図４のステップＳ１０３、Ｓ１０４において、ユーザが接触情報検知部に２本以上の指を接触させた状態から、ある特定の１本の指を用いてタップしたことによって、ユーザの左右手を判定する場合の処理の流れを示すフローチャート
【図３４】図３３のユーザが接触情報検知部に２本以上の指を接触させた状態から、ある特定の１本の指を用いてタップしたことによって、ユーザの左右手を判定する方法を説明するための図で、（ａ）接触情報の座標数が４個の状態ａを示す図、（ｂ）状態ａから接触情報の座標数が５個に遷移した状態ｂを示す図、（ｃ）状態ｂから接触情報の座標数が４個に遷移した状態ｃを示す図
【図３５】図４のステップＳ１０３、Ｓ１０４において、ユーザが接触情報検知部１に２本の指を接触させた状態で、２本の指を動かした移動方向と、各接触情報の接触面積を用いることによってユーザの左右手を判定する場合の処理の流れを示すフローチャート
【図３６】図３５のフローチャートにおいて、左右手を判定する方法を説明するための図で、（ａ）初めて接触情報検知部１で２点の接触情報を検知したときの様子を示す図、（ｂ）各接触情報の接触面積を抽出して構築される左右手判定座標系を説明するための図、（ｃ）左右手判定座標系における各接触情報の移動状態を示す図、（ｄ）各点の移動方向から左右手を判定する条件を示す図
【符号の説明】
【０１４７】
１    接触情報検知部
２    演算部
３    表示部
４    操作対象機器
１００    入力装置
１３１    関連ＩＤ作成部
１３２    接触情報履歴格納部
１３３    ジェスチャー認識部
１３４    左右手判別部
１３５    コマンド送信部
【図１】
2010117748.tif 000003
【図２】
2010117748.tif 000004
【図３】
2010117748.tif 000005
【図４】
2010117748.tif 000006
【図５】
2010117748.tif 000007
【図６】
2010117748.tif 000008
【図７】
2010117748.tif 000009
【図８】
2010117748.tif 000010
【図９】
2010117748.tif 000011
【図１０】
2010117748.tif 000012
【図１１】
2010117748.tif 000013
【図１２】
2010117748.tif 000014
【図１３】
2010117748.tif 000015
【図１４】
2010117748.tif 000016
【図１５】
2010117748.tif 000017
【図１６】
2010117748.tif 000018
【図１７】
2010117748.tif 000019
【図１８】
2010117748.tif 000020
【図１９】
2010117748.tif 000021
【図２０】
2010117748.tif 000022
【図２１】
2010117748.tif 000023
【図２２】
2010117748.tif 000024
【図２３】
2010117748.tif 000025
【図２４】
2010117748.tif 000026
【図２５】
2010117748.tif 000027
【図２６】
2010117748.tif 000028
【図２７】
2010117748.tif 000029
【図２８】
2010117748.tif 000030
【図２９】
2010117748.tif 000031
【図３０】
2010117748.tif 000032
【図３１】
2010117748.tif 000033
【図３２】
2010117748.tif 000034
【図３３】
2010117748.tif 000035
【図３４】
2010117748.tif 000036
【図３５】
2010117748.tif 000037
【図３６】
2010117748.tif 000038