(57)【要約】【課題】動作の応答性を低下させることなく、タッチパッドを操作する操作者の意図を正しく反映した方向の情報を含む入力指示を検出可能にする。【解決手段】タッチパッド１１上の接触領域を検出する接触領域検出部１２と、接触領域の代表座標を決定する代表座標決定部２１と、代表座標の移動方向を算出する移動方向算出部３１と、接触領域の形状や大きさに関連する特徴量と代表座標とに基づいて移動方向を判定する移動方向判定部３２と、移動方向算出部３１と移動方向判定部３２がそれぞれ検出した移動方向が一致しない場合にはタッチパッド１１上の接触操作に対応して出力する操作移動量を補正する移動量補正部３３とを備える。このように補正した操作移動量を出力することで、応答性を悪化させることなく親指の動きの制約に伴う移動方向のぶれを抑制可能となる。【選択図】図１
2010250455.tif 000002
【特許請求の範囲】
【請求項１】
タッチパッドを備えた携帯端末装置であって、
前記タッチパッド上の接触領域を検出する接触領域検出部と、
前記接触領域の位置に関する代表座標を決定する代表座標決定部と、
前記代表座標の移動方向を算出する移動方向算出部と、
前記接触領域の形状及び大きさの少なくとも一方に関連する特徴量と前記代表座標とに基づいて移動方向を判定する移動方向判定部と、
前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、前記タッチパッド上での接触操作に対応して出力する操作移動量を補正する移動量補正部と、
を備える携帯端末装置。
【請求項２】
請求項１に記載の携帯端末装置であって、
前記タッチパッド上には互いに異なる位置に複数の領域が分割領域として予め割り当てられ、
前記移動方向判定部は、前記代表座標の属する分割領域の区分と、前記接触領域の特徴量とに基づいて移動方向を判定する携帯端末装置。
【請求項３】
請求項２に記載の携帯端末装置であって、
前記タッチパッド上には、操作者の視野における上下方向に対応する操作上の上下方向を区分する特定の境界の上側に第１の分割領域が、前記境界の下側に第２の分割領域がそれぞれ予め割り当てられ、
前記移動方向判定部は、前記接触領域の特徴量に基づき操作者の指の関節の曲がり具合が所定以下かどうかに相当する状態を把握し、指の関節の曲がりが所定以下の状態で、かつ前記代表座標が前記第１の分割領域に属している場合には、前記上下方向の上から下に向かう方向として前記移動方向を判定する携帯端末装置。
【請求項４】
請求項１に記載の携帯端末装置であって、
前記移動量補正部は、前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、出力する操作移動量の正負の符号を反転する携帯端末装置。
【請求項５】
請求項１に記載の携帯端末装置であって、
前記移動量補正部は、前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、出力する操作移動量を無効化する携帯端末装置。
【請求項６】
請求項１に記載の携帯端末装置であって、
前記移動方向判定部は、前記接触領域の面積、前記接触領域の形状が縦長か横長かを区別する情報、前記接触領域の上端から下端までの長さ、前記接触領域の縦方向の長さと横方向の長さとの比率のうちの、少なくとも１つに関連する特徴量と、前記代表座標とに基づいて移動方向を判定する携帯端末装置。
【請求項７】
タッチパッドを備えた電子機器の入力装置であって、
前記タッチパッド上の接触領域を検出する接触領域検出部と、
前記接触領域の位置に関する代表座標を決定する代表座標決定部と、
前記代表座標の移動方向を算出する移動方向算出部と、
前記接触領域の形状及び大きさの少なくとも一方に関連する特徴量と前記代表座標とに基づいて移動方向を判定する移動方向判定部と、
前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、前記タッチパッド上での接触操作に対応して出力する操作移動量を補正する移動量補正部と、
を備える入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力指示を行うためのタッチパッドを備えた携帯端末装置、及びこのタッチパッドを含む入力装置に関する。
【背景技術】
【０００２】
携帯電話端末、携帯情報端末、携帯音楽プレーヤなどの各種携帯型電子機器は、ＰＣ（パーソナルコンピュータ）などと同様に、高性能化、多機能化、小型化が進んでいる。また、このような電子機器の進化に対応するため、入力指示を行う入力装置に関して様々な工夫が施されている。電子機器の入力装置として、最近では、操作面上の任意の位置を触れる操作をすることで入力指示を行うタッチパッドを備えたものが広く用いられつつある。
【０００３】
タッチパッドを備えた電子機器を操作する場合、操作者はタッチパッドの操作面を指で触れ、そのまま操作面上で指を引きずるように移動させることで、移動に関する入力指示を与える。このような入力指示に対して、電子機器は表示装置の画面上で操作対象箇所を指示するカーソルの表示位置を移動したり、操作対象のアイコンの表示位置を移動したり、画面の表示内容をスクロールするような制御を一般的に実施する。
【０００４】
しかし、タッチパッドを用いて入力操作を行う際には、細かな操作が行いづらく、カーソルなどを所望の位置に動かすことや、所望の位置をタッチ操作することなどが難しい場合があった。特に、携帯電話端末のような携帯型電子機器を操作する場合には、操作者は携帯型電子機器を片手で把持し、携帯型電子機器の表面に配置されたタッチパッドの操作面を同じ手の親指で触れこの親指を移動させながら入力操作を行う場合が多いので、所望の入力操作を行いにくいのが実情である。
【０００５】
タッチパッドを用いて入力操作を行う際には、電子機器は指の入力操作によって指示された移動方向を特定する必要がある。一般的な電子機器においては、例えば特許文献１に開示されているように、指が接触している領域の状態を繰り返し検出し、領域の代表座標（例えば領域の中心や重心位置）の変化、すなわち移動前の領域の代表座標と移動後の領域の代表座標とに基づいて移動方向を特定している。特許文献１においては、スクロールモードと呼ばれる特定の状態において、最初に指が触れた位置により基準検出領域を決定し、指が接触している領域が前記基準検出領域から他の領域に移動したことを検出した場合に、移動及び移動方向を認識することを提案している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１６３５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示されているような従来の方法でタッチパッドを操作する指の移動方向を検出する場合には、操作者が意図している移動方向と検出される移動方向とが一致しない場合がある。特に、操作者が電子機器を把持している片手の親指一本だけでタッチパッドを操作しようとする場合には、指が動き始める際に実際の指の移動方向と検出される移動方向とが反対になることがある。そのため、画面に表示されるカーソル等の移動対象物が、操作者の意志とは逆方向にぶれて移動する場合があり、良好な操作性が得られない。
【０００８】
実際の指の移動方向と検出される移動方向とが反対になる原因は、実際の接触領域の代表座標の変化に移動方向とは反対方向のぶれが生じるためである。例えば、操作者が親指の第１関節を伸ばした状態でタッチパッドに触れ、そのまま親指をタッチパッド上で移動させようとする場合には、親指の第１関節を曲げる以外に操作する方法がないので、親指の動きに大きな制約が生じる（図４参照）。この場合、親指が接触している接触領域の面積が変化するので、この面積変化によって接触領域の代表座標の変位が生じ、代表座標の移動軌跡を追跡すると、例えば最初に上側に移動してから下側に移動するような状態遷移が観測されることがある。
【０００９】
したがって、指が接触している領域の代表座標に関する位置の変化から移動方向を検出する場合には、検出される移動方向にぶれが生じるのは避けられない。例えば、指が接触している領域の代表座標に関するサンプリングを数回繰り返し、数回のサンプリングの結果に基づいて正しい移動方向を判定するように制御すれば、検出される移動方向のぶれを抑制することが可能になる。しかし、その場合には正しい移動方向を判定できる状態になるまでに代表座標に関するサンプリングを数回繰り返す必要があるので、時間がかかるという課題がある。つまり、操作者が指を移動しても電子機器はすぐには正しい移動方向を判定できないので、操作者の入力操作に対して電子機器の動作が遅れることになり、応答性が悪化する。
【００１０】
本発明は、上記事情に鑑みてなされたもので、その目的は、動作の応答性を低下させることなく、タッチパッドを操作する操作者の意図を正しく反映した方向の情報を含む入力指示を検出することが可能な携帯端末装置及び入力装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明は、タッチパッドを備えた携帯端末装置であって、前記タッチパッド上の接触領域を検出する接触領域検出部と、前記接触領域の位置に関する代表座標を決定する代表座標決定部と、前記代表座標の移動方向を算出する移動方向算出部と、前記接触領域の形状及び大きさの少なくとも一方に関連する特徴量と前記代表座標とに基づいて移動方向を判定する移動方向判定部と、前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、前記タッチパッド上での接触操作に対応して出力する操作移動量を補正する移動量補正部と、を備える携帯端末装置を提供する。
上記構成により、検出した代表座標の移動方向にぶれが生じる場合であっても、移動方向算出部において代表座標のサンプリングを複数回行うことなく、操作者の意図を正しく反映した移動方向を検出可能である。
【００１２】
また、本発明は、上記の携帯端末装置であって、前記タッチパッド上には互いに異なる位置に複数の領域が分割領域として予め割り当てられ、前記移動方向判定部は、前記代表座標の属する分割領域の区分と、前記接触領域の特徴量とに基づいて移動方向を判定するものを含む。
上記構成により、操作者の意図を正しく反映した移動方向を検出可能である。例えば、接触領域の特徴量から操作者の親指の第１関節が伸びている状態を認識可能であり、この状態であれば、親指の動きに関する制約があるので、代表座標がいずれの分割領域に属しているのかを区別することにより、操作者が意図している移動方向を判定可能である。
【００１３】
また、本発明は、上記の携帯端末装置であって、前記タッチパッド上には、操作者の視野における上下方向に対応する操作上の上下方向を区分する特定の境界の上側に第１の分割領域が、前記境界の下側に第２の分割領域がそれぞれ予め割り当てられ、前記移動方向判定部は、前記接触領域の特徴量に基づき操作者の指の関節の曲がり具合が所定以下かどうかに相当する状態を把握し、指の関節の曲がりが所定以下の状態で、かつ前記代表座標が前記第１の分割領域に属している場合には、前記上下方向の上から下に向かう方向として前記移動方向を判定するものを含む。
上記構成により、操作者の意図を正しく反映した移動方向を検出可能である。例えば、操作者の視野における上下方向に対応する操作上の上方向又は下方向に向かって親指を動かそうとする場合には、親指の関節の曲がり具合に応じて、親指の動きに制約が生じるので、指の関節の曲がり具合と代表座標がどの分割領域に属しているかによって正しい移動方向の判定が可能である。
【００１４】
また、本発明は、上記の携帯端末装置であって、前記移動量補正部は、前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、出力する操作移動量の正負の符号を反転するものを含む。
上記構成により、例えば代表座標の移動方向のぶれによって移動方向算出部が算出した移動方向と移動方向判定部が判定した移動方向とが異なる状態になった場合は、出力する操作移動量の正負の符号を反転することで、操作者か意図している方向に向かうような操作移動量を出力できる。
【００１５】
また、本発明は、上記の携帯端末装置であって、前記移動量補正部は、前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、出力する操作移動量を無効化するものを含む。
上記構成により、例えば代表座標の移動方向のぶれによって移動方向算出部が算出した移動方向と移動方向判定部が判定した移動方向とが異なる状態になった場合は、出力する操作移動量を無効化することで、操作者が意図している方向の操作移動量のみを出力でき、意図しない方向へのカーソル移動等を防止できる。
【００１６】
また、本発明は、上記の携帯端末装置であって、前記移動方向判定部は、前記接触領域の面積、前記接触領域の形状が縦長か横長かを区別する情報、前記接触領域の上端から下端までの長さ、前記接触領域の縦方向の長さと横方向の長さとの比率のうちの、少なくとも１つに関連する特徴量と、前記代表座標とに基づいて移動方向を判定するものを含む。
上記構成により、移動方向判定部は、操作者の意図している移動方向を正しく判定することが可能になる。この際、接触領域の面積の大小、接触領域の形状が縦長か横長かの区分、接触領域の上端から下端までの長さの大小、接触領域の縦方向の長さと横方向の長さとの比率の大小などの特徴量に基づき、操作者の親指の関節が伸びている状態か否かを識別可能である。したがって、指の関節の曲がり具合の識別結果とタッチパッド上の代表座標の位置とによって移動方向を正しく判定できる。
【００１７】
また、本発明は、タッチパッドを備えた電子機器の入力装置であって、前記タッチパッド上の接触領域を検出する接触領域検出部と、前記接触領域の位置に関する代表座標を決定する代表座標決定部と、前記代表座標の移動方向を算出する移動方向算出部と、前記接触領域の形状及び大きさの少なくとも一方に関連する特徴量と前記代表座標とに基づいて移動方向を判定する移動方向判定部と、前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、前記タッチパッド上での接触操作に対応して出力する操作移動量を補正する移動量補正部と、を備える入力装置を提供する。
【発明の効果】
【００１８】
本発明によれば、動作の応答性を低下させることなく、タッチパッドを操作する操作者の意図を正しく反映した方向の情報を含む入力指示を検出することが可能な携帯端末装置及び入力装置を提供できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る携帯端末装置の主要部の構成を示すブロック図
【図２】本実施形態における接触領域の移動方向を判定する処理の手順を示すフローチャート
【図３】本実施形態における接触領域の操作移動量判定及びカーソル表示に関する処理の手順を示すフローチャート
【図４】操作者の親指の状態及び親指と操作面との接触状況に関する具体例を示す模式図
【図５】操作者が親指を操作面上で矢印Ａ１方向に移動する場合の接触領域の状態変化の具体例を示す模式図
【図６】操作者が親指を操作面上で矢印Ａ２方向に移動する場合の接触領域の状態変化の具体例を示す模式図
【図７】操作者が親指を操作面上で矢印Ａ３方向に移動する場合の接触領域の状態変化の具体例を示す模式図
【図８】操作者が親指を操作面上で矢印Ａ４方向に移動する場合の接触領域の状態変化の具体例を示す模式図
【図９】本実施形態の携帯端末装置における接触領域と代表座標との対応関係の状態遷移を示す模式図
【発明を実施するための形態】
【００２０】
以下の実施形態では、携帯端末装置及び入力装置の一例として、携帯電話端末等の電子機器に適用した構成例を説明する。なお、本発明に係る携帯端末装置及び入力装置は、携帯電話端末、携帯情報端末、携帯音楽プレーヤ、リモコンなど、種々の電子機器に適用可能である。
【００２１】
図１は本発明の実施形態に係る携帯端末装置の主要部の構成を示すブロック図である。携帯端末装置は、操作入力部１０、データ処理部２０、操作方向判定部３０、制御部４０、表示部４１、通信部４２、音声処理部４３を備えて構成される。
【００２２】
操作入力部１０はタッチパッド１１と接触領域検出部１２とを有して構成され、データ処理部２０は接触領域代表座標算出部２１及び接触領域特徴量算出部２２を有して構成され、操作方向判定部３０は移動方向算出部３１、移動方向判定部３２、移動方向補正部３３を有して構成されている。操作者がタッチパッド上で指を動かして入力指示の操作を行う場合、操作入力部１０、データ処理部２０、操作方向判定部３０において、その操作移動量の検出、判定を行い、検出した操作移動量を出力する。
【００２３】
タッチパッド１１は、この携帯端末装置を操作しようとするユーザ（操作者）が指で触れることが可能な平面状の操作面を有し、この操作面に対する指の接触の有無及び接触している領域の位置に関する情報を読み取り可能となっている。操作面と指とが接触している領域を検出するために、具体例として静電容量型センサを有する平面状の操作デバイスがタッチパッド１１として用いられる。タッチパッド１１は、接触領域の各位置を表す信号を出力する。接触領域検出部１２は、タッチパッド１１が出力する信号に基づき、操作のためにユーザが触れている接触領域を検出し、検出結果を接触情報として出力する。
【００２４】
データ処理部２０の接触領域代表座標算出部２１は、接触領域検出部１２が出力する接触情報に基づき、接触領域の代表座標を算出する。この代表座標はユーザの操作に関する操作点となる指示座標を示すものである。代表座標の具体例としては、接触領域のパターンに関する中心位置あるいは重心位置、放物線近似のピーク位置などを算出して用いることが可能である。
【００２５】
データ処理部２０の接触領域特徴量算出部２２は、接触領域検出部１２が出力する接触情報に基づき、接触領域に関する特徴量を算出する。この特徴量は移動方向の予測に利用可能な接触領域の情報である。この特徴量の具体例としては、接触領域の面積の大きさ、形状が縦長か横長かの違いを表す情報、接触領域の縦方向（指の長さ方向）の長さ、接触領域のアスペクト比（縦横の長さの比率）などを算出して用いることが可能である。
【００２６】
操作方向判定部３０の移動方向算出部３１は、接触領域代表座標算出部２１が出力する代表座標の変化を検出し、この変化から移動方向及び移動量を算出する。一方、操作方向判定部３０の移動方向判定部３２は、接触領域代表座標算出部２１が出力する１つの代表座標（例えば指が最初に触れた位置）と、接触領域特徴量算出部２２が出力する接触領域の特徴量とに基づいて移動方向を判定（予測）する。
【００２７】
操作方向判定部３０の移動方向補正部３３は、移動方向算出部３１の算出した移動方向と移動方向判定部３２が判定した移動方向との両者に基づいて、正しい移動方向の補正を実施し、移動方向に応じた操作移動量を出力する。
【００２８】
表示部４１は、例えば液晶表示デバイスのように、平面状の表示面上に画像、文字、図形、カーソルなどの様々な可視情報を表示可能な装置である。
【００２９】
制御部４０は、図１に示した携帯端末装置全体の各部の制御を行う制御要素であり、操作入力部１０からの操作情報を入力し、各種信号処理、表示制御、通信制御などを行う。通信部４２は、セルラー通信網などの通信回線に対応した通信処理を行うもので、ＲＦ部、ベースバンド処理部等を有している。なお、通信部４２は、対応する通信手段、通信方式に応じて適宜構成されるものである。音声処理部４３は、通話音声の入力、出力等の音声処理、音楽コンテンツの再生処理等を行うものである。
【００３０】
なお、データ処理部２０、操作方向判定部３０及び制御部４０の各処理要素については、マイクロプロセッサや情報を格納するためのメモリ等の回路要素で構成され、予め用意したプログラムをマイクロプロセッサで実行することにより所定の機能を実現している。勿論、それぞれの機能を専用のハードウェアで実現することも可能である。
【００３１】
次に、本実施形態の携帯端末装置において、ユーザの入力操作に対して検出する操作点の移動方向について説明する。ここで、理解を容易にするために、まず実際のユーザの親指とタッチパッド１１の操作面との接触状態の具体例について説明する。
【００３２】
図４は操作者の親指の状態及び親指と操作面との接触状況に関する具体例を示す模式図である。携帯電話端末等の携帯型電子機器の代表的な使用状況を想定すると、ユーザは携帯端末装置を片手で把持し、同じ手の親指を操作面に触れた状態で親指を動かしながら入力操作を行うことになる。したがって、タッチパッドの操作面と親指との接触状態及び親指の状態としては図４に示すような複数種類の状態が考えられる。
【００３３】
図４の左側に示す状態のように、親指６０の第一関節６１及び第二関節６２が伸びている状態では、この親指６０をタッチパッド１１の操作面上で上下方向（矢印ｙ方向及びその逆方向）に移動させるためには第一関節６１を曲げる以外に動かす方法はないという制約がある。また、親指６０の第一関節６１が伸びている状態では接触領域ＴＥの面積が比較的大きくなることが分かる。一方、図４の中央及び右側に示す状態のように、親指６０の第一関節６１がある程度曲がっている状態では、親指６０の第一関節６１を動かすことにより、上方向及び下方向のいずれの方向にも操作面上で親指を移動することができる。また、親指６０の第一関節６１がある程度曲がっている状態では接触領域ＴＥの面積が比較的小さくなることが分かる。
【００３４】
以下に、接触領域の位置及び状態遷移の具体例として、４種類の異なる状況について図５〜図８にそれぞれ示す。図５〜図８において、それぞれのタイミングの接触領域ＴＥがハッチングを施して示した領域として示されており、タッチパッド１１の操作面上の位置については、横方向をｘ、縦方向をｙとする座標で表されている。ここで、横方向（ｘ）、縦方向（ｙ）は、携帯端末装置を操作するユーザの視野の向きに対する横方向及び縦方向（上下方向）と対応している。
【００３５】
図５は操作者が親指を操作面上で矢印Ａ１方向に移動する場合の接触領域の状態変化の具体例を示す模式図である。図５に示す例では、図４の左側に示すように親指の第１関節が伸びている状態で、上から下に向かって（矢印Ａ１方向に）親指を移動する状態を想定している。
【００３６】
この図５の状態では、最初に親指をタッチパッド１１に接触させた時（時刻ｔ０）に、親指はタッチパッド１１のｙ方向の上端と下端の範囲の中央位置Ｙｃよりも上側の位置にあると考えられる（操作のし易さのため）。また、図５に示すように、接触領域の面積は比較的大きく、接触領域の形状は縦長の楕円形であり、時間の経過に伴って、すなわち親指の移動に伴って接触領域の形状や面積や位置が変化することが分かる。また、注目すべきことに、接触領域の中心座標のｙ方向の位置については、時間の経過に伴いユーザの意図に従って単純に矢印Ａ１方向に移動するのではなく、矢印Ａ１とは逆の方向に一旦移動した後で矢印Ａ１方向に移動する。したがって、接触領域の中心座標の変化から移動方向を検出しようとすれば、検出される移動方向に一時的に上下のぶれが生じることになり、ユーザの意図する操作方向とは逆の移動方向が検出される場合もある。
【００３７】
図６は操作者が親指を操作面上で矢印Ａ２方向に移動する場合の接触領域の状態変化の具体例を示す模式図である。図６に示す例では、図４の左側に示すように親指の第１関節が伸びている状態で、下から上に向かって（矢印Ａ２方向に）親指を移動する状態を想定している。
【００３８】
この図６の状態では、最初に親指をタッチパッド１１に接触させた時（時刻ｔ０）に、親指はタッチパッド１１のｙ方向の上端と下端の範囲の中央位置Ｙｃよりも下側の位置にあると考えられる（操作のし易さのため）。また、図６に示すように、接触領域の面積は比較的大きく、接触領域の形状は縦長の楕円形であり、時間の経過に伴って、すなわち親指の移動に伴って接触領域の形状や面積や位置が変化することが分かる。また、注目すべきことに、接触領域の中心座標のｙ方向の位置については、時間の経過に伴いユーザの意図に従って単純に矢印Ａ２方向に移動するのではなく、矢印Ａ２とは逆の方向に一旦移動した後で矢印Ａ２方向に移動する。したがって、接触領域の中心座標の変化から移動方向を検出しようとすれば、検出される移動方向に一時的に上下のぶれが生じることになり、ユーザの意図する操作方向とは逆の移動方向が検出される場合もある。
【００３９】
図７は操作者が親指を操作面上で矢印Ａ３方向に移動する場合の接触領域の状態変化の具体例を示す模式図である。図７に示す例では、図４の右側に示すように親指の第１関節がある程度曲がっている状態で、下から上に向かって（矢印Ａ３方向に）親指を移動する状態を想定している。
【００４０】
この図７の状態では、最初に親指をタッチパッド１１に接触させた時（時刻ｔ０）に、親指はタッチパッド１１のｙ方向の上端と下端の範囲の中央位置Ｙｃよりも上側の位置にあると考えられる（操作のし易さのため）。また、図７に示すように、接触領域の面積は図５、図６の場合と比べて小さく、接触領域の形状は横長の楕円形であり、時間の経過に伴って、すなわち親指の移動に伴って接触領域の形状や面積や位置が変化することが分かる。また、接触領域の中心座標のｙ方向の位置については、時間の経過に伴いユーザの意図に従って単純に矢印Ａ３方向に移動する。したがって、接触領域の中心座標の変化から移動方向を検出しても、検出される移動方向にぶれは生じない。
【００４１】
図８は操作者が親指を操作面上で矢印Ａ４方向に移動する場合の接触領域の状態変化の具体例を示す模式図である。図８に示す例では、図４の右側に示すように親指の第１関節がある程度曲がっている状態で、上から下に向かって（矢印Ａ４方向に）親指を移動する状態を想定している。
【００４２】
この図８の状態では、最初に親指をタッチパッド１１に接触させた時（時刻ｔ０）に、親指はタッチパッド１１のｙ方向の上端と下端の範囲の中央位置Ｙｃよりも下側の位置にあると考えられる（操作のし易さのため）。また、図８に示すように、接触領域の面積は図５、図６の場合と比べて小さく、接触領域の形状は横長の楕円形であり、時間の経過に伴って、すなわち親指の移動に伴って接触領域の形状や面積や位置が変化することが分かる。また、接触領域の中心座標のｙ方向の位置については、時間の経過に伴いユーザの意図に従って単純に矢印Ａ４方向に移動する。したがって、接触領域の中心座標の変化から移動方向を検出しても、検出される移動方向にぶれは生じない。
【００４３】
本実施形態では、上記の図５、図６に示したような状況で検出される移動方向にぶれが生じるのを防止するために、接触領域特徴量算出部２２、移動方向判定部３２、及び移動方向補正部３３を設けてある。
【００４４】
ここで、接触領域特徴量算出部２２は、図５、図６に示すような接触領域の特徴と図７、図８に示すような接触領域の特徴とを区別するために利用可能な特徴量を算出する。したがって、接触領域特徴量算出部２２については、接触領域の面積の大きさ、接触領域の形状が縦長か横長かの区別、接触領域の縦方向（指の長さ方向）の長さ、接触領域のアスペクト比（縦横の長さの比率）などのうち少なくとも１つの特徴量を算出する機能を搭載していればよい。
【００４５】
移動方向判定部３２は、接触領域代表座標算出部２１が出力する１つの代表座標と、接触領域特徴量算出部２２が出力する接触領域の特徴量とに基づいて移動方向を判定（予測）する。例えば、親指が最初にタッチパッド１１に触れた時（時刻ｔ０）の接触領域の位置（領域中心などの代表座標）が図５に示す中央位置Ｙｃよりも上側であり、且つ接触領域の面積が所定以上（図５に示すように大きい）であれば、矢印Ａ１方向すなわち上から下に向かう方向にユーザが親指を移動するものと予測できる。また、例えば親指が最初にタッチパッド１１に触れた時（時刻ｔ０）の接触領域の位置（領域中心などの代表座標）が図６に示す中央位置Ｙｃよりも下側であり、且つ接触領域の面積が所定以上（図６に示すように大きい）であれば、矢印Ａ２方向すなわち下から上に向かう方向にユーザが親指を移動するものと予測できる。
【００４６】
なお、接触領域の特徴量として、面積の代わりに、接触領域の形状が縦長か横長かの区別、接触領域の縦方向（指の長さ方向）の長さ、接触領域のアスペクト比（縦横の長さの比率）などを利用しても、同様に移動方向を予測できる。また、移動方向判定部３２が参照する代表座標については、親指が最初にタッチパッド１１に触れた時（時刻ｔ０）に検出された接触領域の位置に限らず、接触領域の面積が所定量以上となった時点など、他の時刻に検出された接触領域の位置を表すものであっても良い。
【００４７】
なお、ユーザが携帯端末装置を操作する時の操作方向（端末の筐体をユーザから見て縦長又は横長の状態で使用するなど）が予め固定されている場合には、筐体の向きやタッチパッド１１の向きとユーザが操作する際の視野の向きとの関係が一定なので、筐体の向きやタッチパッド１１の向きと図５、図６に示す上下左右の各軸方向（ｘ，ｙ）とを予め対応付けることができる。もしも、縦長／横長などの使用時の操作方向をユーザが必要に応じて選択できる場合には、例えばジャイロセンサなどを用いて検出した筐体の傾きから操作方向を判別することもできるし、表示装置が表示している可視情報の向きから操作方向を判別することもできる。また、筐体の開閉検出センサによって検出した筐体の開閉方向から操作者が把持している筐体の上下方向を検出し、操作方向を判別することもできる。したがって、ユーザの操作方向や視野の向きと、図５、図６に示す上下左右の各軸方向（ｘ，ｙ）とを対応付けることができる。
【００４８】
図２は本実施形態における接触領域の移動方向を判定する処理の手順を示すフローチャートである。この図２では、図１に示した本実施形態の携帯端末装置の構成において、移動方向判定部３２が移動方向を検出、判定するために行う基本的な処理の内容を示している。なお、図２に示す処理の内容は一例であり、前述のような様々な変形が可能である。図２に示す処理は、例えばユーザの指がタッチパッド１１に接触したことを最初に検知した時（図５中の時刻ｔ０）などの適当なタイミングで実施される。
【００４９】
ステップＳ１１では、接触領域検出部１２によって検出された接触領域の情報に基づき、接触領域特徴量算出部２２が特徴量として、接触領域の面積Ｓの大きさを計算する。次のステップＳ１２では、接触領域代表座標算出部２１が代表座標として、現在の接触領域の中心位置の座標（Ｘ０，Ｙ０）を計算する。
【００５０】
ステップＳ１３では、移動方向判定部３２はステップＳ１１で求められた面積Ｓを予め定めた閾値Ｓｔｈと比較する。例えば図５、図６に示すように接触領域の面積Ｓが閾値Ｓｔｈ以上の場合にはステップＳ１４に進み、図７、図８に示すように接触領域の面積Ｓが閾値Ｓｔｈより小さい場合にはこの処理を終了する。
【００５１】
ステップＳ１４では、移動方向判定部３２はステップＳ１２で求められた接触領域の中心座標（代表座標）のｙ方向の位置を予め定めた閾値Ｙｃと比較する。この際、タッチパッド１１上の分割領域として、例えばタッチパッド１１上の領域を上下方向に分割して得られる第１の分割領域及び第２の分割領域を予め割り当てておく。閾値Ｙｃの具体例としては、例えば、上記２つの分割領域の間の境界位置、つまり図５に示すようにタッチパッド１１のｙ方向の上端から下端までの範囲の中間位置の座標を採用することが考えられる。図５に示す例のように接触領域の中心座標の位置が閾値Ｙｃ以上である（第１の分割領域に属している）場合にはステップＳ１５に進み、図６に示す例のように接触領域の中心座標の位置が閾値Ｙｃより小さい（第２の分割領域に属している）場合はステップＳ１６に進む。
【００５２】
ステップＳ１５では、移動方向判定部３２はユーザが指で指示する移動方向が下方向（図５に示す矢印Ａ１の方向）であるものと判定する。ステップＳ１６では、移動方向判定部３２はユーザが指で指示する移動方向が上方向（図６に示す矢印Ａ２の方向）であるものと判定する。なお、ステップＳ１５、Ｓ１６における判定は、実際に指が動き始める前でも行うことができる。したがって、すばやく方向を判定でき、ユーザの操作に対する応答性の低下を防止できる。
【００５３】
これに対し、移動方向算出部３１の算出した移動方向及び移動量をそのままユーザの操作量として制御部４０が認識する場合を想定する。この場合、例えば図５に示すような状況では、検出される中心座標の位置が、上方向に移動してから下方向に移動することになり、画面に表示されるカーソルなどの位置も上下方向にぶれながら移動することになる。
【００５４】
本実施形態では、上記のようなぶれの発生を防止するための機能が移動方向補正部３３に搭載されている。すなわち、移動方向補正部３３は、移動方向算出部３１の算出した移動方向と移動方向判定部３２が判定した移動方向との両者に基づいて、正しい移動方向を判定し、ユーザの操作量として出力すべき操作移動量を正しく補正する。
【００５５】
移動方向算出部３１が算出した移動方向と移動方向判定部３２が判定した移動方向とが一致する場合には、図５、図６に示すような移動方向のぶれは生じないが、一致しない場合にはぶれが生じる。したがって、移動方向補正部３３は、具体例として、次のような動作を行う。すなわち、移動方向算出部３１が算出した移動方向と移動方向判定部３２が判定した移動方向とを比較し、両者の移動方向が一致する場合には、移動方向算出部３１が算出した移動量をそのまま操作移動量として出力する。また、移動方向が一致しない場合には、移動方向算出部３１が算出した移動量を無効化し、０を操作移動量として出力する。したがって、図５、図６に示すような移動方向のぶれが生じる場合であっても、ユーザが意図している方向と逆の方向には動かないように補正された操作移動量が移動方向補正部３３から出力される。
【００５６】
移動方向補正部３３の動作については、次のような変形も考えられる。例えば、移動方向算出部３１が算出した移動方向と移動方向判定部３２が判定した移動方向とを比較し、両者の移動方向が一致する場合には、移動方向算出部３１が算出した移動量をそのまま操作移動量として出力する。また、移動方向が一致しない場合には、移動方向算出部３１が算出した移動方向を逆に変更し、移動方向判定部３２が判定した移動方向に合わせる。つまり、検出した移動方向が一致しない場合は、移動方向算出部３１が算出した移動量の正負の符号（方向）を反転する。
【００５７】
図３は本実施形態における接触領域の操作移動量判定及びカーソル表示に関する処理の手順を示すフローチャートである。この図３では、図１に示した本実施形態の携帯端末装置の構成において、ユーザの入力操作に応じた操作移動量の検出、判定と、その操作移動量に対応してカーソル表示を移動させるために行う処理の内容を示している。図３に示す処理は、タッチパッド１１に対するユーザの入力操作に応じた動作を実現するために必要に応じて繰り返し実行される。
【００５８】
ステップＳ２１では、図２のステップＳ１１と同様に、接触領域検出部１２によって検出された接触領域の情報に基づき、接触領域特徴量算出部２２が特徴量として、接触領域の面積Ｓの大きさを計算する。また、ステップＳ２２では、接触領域代表座標算出部２１が代表座標として、現在の接触領域の中心位置の座標（Ｘ０，Ｙ０）を計算する。
【００５９】
ステップＳ２３では、所定のフラグの状態を参照することにより方向の判定が終了しているか否かを識別する。判定済みならステップＳ２９に進み、処理を開始した直後のように判定済みでない場合はステップＳ２４に進む。
【００６０】
ステップＳ２４では、移動方向判定部３２はステップＳ２１で求められた面積Ｓを予め定めた閾値Ｓｔｈと比較する。例えば図５、図６に示すように接触領域の面積Ｓが閾値Ｓｔｈ以上の場合にはステップＳ２５に進み、図７、図８に示すように接触領域の面積Ｓが閾値Ｓｔｈより小さい場合にはステップＳ２８に進む。
【００６１】
ステップＳ２５では、移動方向判定部３２はステップＳ２２で求められた接触領域の中心座標（代表座標）のｙ方向の位置を予め定めた閾値Ｙｃと比較する。閾値Ｙｃの具体例としては、例えば図５に示すようにタッチパッド１１のｙ方向の上端から下端までの範囲の中間位置の座標を採用することが考えられる。図５に示す例のように接触領域の中心座標の位置が閾値Ｙｃ以上の場合にはステップＳ２６に進み、図６に示す例のように接触領域の中心座標の位置が閾値Ｙｃより小さい場合はステップＳ２７に進む。
【００６２】
ステップＳ２６では、移動方向判定部３２はユーザが指で指示する移動方向が下方向（図５に示す矢印Ａ１の方向）であるものと判定し、方向判定済みを表すフラグをセットする。ステップＳ２７では、移動方向判定部３２はユーザが指で指示する移動方向が上方向（図６に示す矢印Ａ２の方向）であるものと判定し、方向判定済みを表すフラグをセットする。
【００６３】
ステップＳ２８では、検出された接触領域の座標データの変化方向、すなわち移動方向算出部３１の算出した移動方向を操作上の正しい移動方向として判定し、方向判定済みを表すフラグをセットする。
【００６４】
つまり、検出された接触領域の面積Ｓが閾値Ｓｔｈ以上の場合には、移動方向として移動方向算出部３１の出力は採用せず、移動方向判定部３２の出力する移動方向を採用する。
【００６５】
ステップＳ２６、Ｓ２７、Ｓ２８のいずれかにより方向判定が終了すると、次にステップＳ２３を実行する時には方向判定済みのフラグがセットされているのでステップＳ２９に進む。ステップＳ２９では、移動方向算出部３１が接触領域に関するｘ方向、ｙ方向それぞれの軸方向の移動量ΔＸ、ΔＹを求める。すなわち、周期的に繰り返し検出される接触領域の代表座標のデータが接触領域代表座標算出部２１から順次に出力されるので、前回のサンプリングで得られた代表座標（Ｘ１，Ｙ１）と、今回のサンプリングで得られた代表座標（Ｘ２，Ｙ２）との差分を移動量ΔＸ、ΔＹとして求める。なお、この移動量ΔＸ、ΔＹには数値の符号として方向の情報も含まれている。
【００６６】
ステップＳ３０では、移動方向判定部３２は最後に検出された接触領域の面積Ｓを予め定めた閾値Ｓａと比較する。なお（Ｓａ＜Ｓｔｈ）であり、閾値Ｓａは例えば図５に示す時刻ｔ４の接触領域の面積と同程度の値に定められる。接触領域の面積Ｓが閾値Ｓａ以上の場合はステップＳ３１に進み、閾値Ｓａ未満の場合はステップＳ３２に進む。
【００６７】
ステップＳ３１では、移動方向補正部３３はステップＳ２６、Ｓ２７、Ｓ２８のいずれかで判定した方向に向かってカーソルを移動するための補正された操作移動量を出力する。例えば、図５に示す時刻ｔ０〜ｔ３の範囲内のような状況では、ステップＳ２９で検出されるｙ方向の移動量ΔＹの方向がユーザの意図している移動方向（Ａ１）と逆になっているので、その場合は方向が反転するように、移動量ΔＹの符号（正負）を反転した結果を操作移動量として出力する。ステップＳ２８で方向を判定した場合には、移動方向算出部３１の算出した移動方向と移動方向判定部３２の判定した移動方向とが一致するので、移動量ΔＹをそのまま操作移動量として出力する。この操作移動量により、移動量ΔＹ又は−ΔＹだけｙ軸方向にカーソルが移動する。
【００６８】
例えば図５に示すような状況であっても、時刻ｔ４以降では接触領域の代表座標の移動方向とユーザの意図する操作の方向とが一致する。また、この時には接触領域の面積が時刻ｔ０と比べてかなり小さくなっている。そこで、接触領域の面積Ｓが閾値Ｓａ未満になると、ステップＳ３０からステップＳ３２に進む。ステップＳ３２では、方向判定済みを表すフラグをクリアする。
【００６９】
ステップＳ３３では、接触領域の代表座標の移動方向とユーザの意図する操作の方向とが一致する状態なので、移動方向補正部３３は移動方向算出部３１の算出した移動量ΔＹをそのまま操作移動量として出力する。したがって、代表座標の移動方向に向かって移動量ΔＹだけカーソルの表示位置が移動する。
【００７０】
図９は本実施形態の携帯端末装置における接触領域と代表座標との対応関係の状態遷移を示す模式図である。この図９では、上記図３に示した処理を実施する場合における、操作者の親指の接触領域の代表座標と表示部の画面に表示されるカーソルの位置との対応関係に関して、その状態遷移の具体例を示している。
【００７１】
図９に示す例では、図５の例と同様に、最初に（時刻ｔ０で）親指の第１関節が伸びている状態で、下（矢印Ａ１方向）に向かって親指を移動する場合を想定している。したがって、親指の実際の移動に伴って移動方向算出部３１で算出される接触領域の代表座標の変化（移動量ΔＹ）は、時刻ｔ０−ｔ１、ｔ１−ｔ２、ｔ２−ｔ３の範囲でそれぞれ上方向に移動し、その後の時刻ｔ３−ｔ４、ｔ４−ｔ５、ｔ５−ｔ６の範囲でそれぞれ下方向に移動する。
【００７２】
図３に示す処理を実施する場合には、時刻ｔ０−ｔ１、ｔ１−ｔ２、ｔ２−ｔ３の範囲で検出される移動量ΔＹについては、移動方向判定部３２が判定した移動方向に合わせるために、ステップＳ３１で符号を反転した移動量（−ΔＹ）をカーソルを移動するための操作移動量として出力する。また、時刻ｔ４以降は（面積Ｓ＜閾値Ｓａ）になるので、時刻ｔ３−ｔ４、ｔ４−ｔ５、ｔ５−ｔ６の範囲で検出される移動量ΔＹについては、移動方向算出部３１が算出した移動方向をそのまま採用し、ステップＳ３３で符号を反転しない移動量（＋ΔＹ）をカーソルを移動するための操作移動量として出力する。
【００７３】
したがって、表示されるカーソルの位置Ｐ１〜Ｐ６は、図９に示すように時刻ｔ０からｔ６にかけて、（−ΔＹ）、（−ΔＹ）、（−ΔＹ）、（＋ΔＹ）、（＋ΔＹ）、（＋ΔＹ）だけ順次に移動することになる。このため、上下方向にぶれが発生することがなく、ユーザの入力操作の意図を正しく反映した方向への操作移動量を検出でき、この操作移動量の方向に向かってカーソルを移動させることができる。
【００７４】
上述したように、本実施形態によれば、入力操作に対する動作の応答性を低下させることなく、タッチパッドを操作する操作者の意図を正しく反映した方向の情報を含む入力指示を検出することができる。例えば、操作者の親指の動きの制約や指の形状等の関係により、検出される代表座標の移動方向にぶれが生じる場合であっても、代表座標のサンプリングを複数回行うなどの処理を必要とせず、操作者の意図を正しく反映した移動方向を検出できる。
【００７５】
接触領域の特徴量として、例えば接触領域の面積が所定以上の場合には、操作者の親指の第１関節が伸びている状態として認識することが可能である。よって、この状態における親指の動きの制約と接触領域の代表座標の位置とから、指が動き始める前であっても、正しい移動方向を判定して予測することができる。例えば、接触領域の特徴量とともに、代表座標がタッチパッド上のいずれの分割領域に属しているのかを区別することにより、操作者が意図している移動方向を判定可能である。
【００７６】
また、操作者の視野における上下方向に対応する操作上の上方向又は下方向に向かって親指を動かそうとする場合には、親指の関節の曲がり具合に応じて、親指の動きに制約が生じるので、指の関節の曲がり具合と代表座標がどの分割領域に属しているかによって移動方向の予測が可能である。つまり、接触領域の特徴量によって判定される指の関節の曲がりが所定以下の状態で、かつ代表座標が第１の分割領域に属している場合には、関節を曲げる動きにより上下方向の上から下に向かう方向にのみ移動するものと判定できる。したがって、入力操作に対する応答性を低下させることなく操作移動量を補正し、操作者が意図している方向にカーソル等を移動することができる。
【００７７】
なお、本発明は、本発明の趣旨ならびに範囲を逸脱することなく、明細書の記載、並びに周知の技術に基づいて、当業者が様々な変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。
【産業上の利用可能性】
【００７８】
本発明は、動作の応答性を低下させることなく、タッチパッドを操作する操作者の意図を正しく反映した方向の情報を含む入力指示を検出することが可能となる効果を有し、入力指示を行うためのタッチパッドを備えた携帯端末装置、及びこのタッチパッドを含む入力装置等として有用である。
【符号の説明】
【００７９】
１０  操作入力部
１１  タッチパッド
１２  接触領域検出部
２０  データ処理部
２１  接触領域代表座標算出部
２２  接触領域特徴量算出部
３０  操作方向判定部
３１  移動方向算出部
３２  移動方向判定部
３３  移動方向補正部
４０  制御部
４１  表示部
４２  通信部
４３  音声処理部
【図１】
2010250455.tif 000003
【図２】
2010250455.tif 000004
【図３】
2010250455.tif 000005
【図４】
2010250455.tif 000006
【図５】
2010250455.tif 000007
【図６】
2010250455.tif 000008
【図７】
2010250455.tif 000009
【図８】
2010250455.tif 000010
【図９】
2010250455.tif 000011