(57)【要約】【課題】指の接触位置を容易に補正できるようにし、操作者の操作性を向上させる手段を提供する。【解決手段】タッチパネル１４を操作する指の画像を撮影するカメラ１２と、カメラ１２が撮影したタッチパネル１４に接触している指の画像から指の関節の位置を特定し、指の角度を検出する角度解析部１１２と、検出された指の角度に基づいて指とタッチパネル１４の接触位置を補正する補正値計算部１１４とを備えた。【選択図】        図１
2015162079.tif 000002
【特許請求の範囲】
【請求項１】
タッチパネルを操作する指の画像を撮影する撮影手段と、
前記撮影手段が撮影した前記タッチパネルに接触している指の画像から前記指の関節の位置を特定し、指の角度を検出する角度検出手段と、
前記検出された指の角度に基づいて前記指と前記タッチパネルの接触位置を補正する補正手段とを備えたことを特徴とするタッチ位置補正システム。
【請求項２】
請求項１に記載のタッチ位置補正システムにおいて、
前記角度検出手段は、前記指の画像から指の近似直線を算出し、
前記補正手段は、前記近似直線から算出した前記タッチパネルに対する鉛直方向の指の角度に基づいて前記接触位置を補正することを特徴とするタッチ位置補正システム。
【請求項３】
請求項２に記載のタッチ位置補正システムにおいて、
前記角度検出手段は、前記指の関節の位置から前記指の先端に伸びる３次元の近似直線を算出することを特徴とするタッチ位置補正システム。
【請求項４】
請求項３に記載のタッチ位置補正システムにおいて、
前記角度検出手段は、前記指の関節の位置を、第２関節の位置とし、前記第２関節の位置が特定できないときは、第３関節の位置とすることを特徴とするタッチ位置補正システム。
【請求項５】
請求項１から請求項４のいずれかに記載のタッチ位置補正システムにおいて、
前記補正手段は、前記鉛直方向に対する指の角度が増加するに従い、前記接触位置の座標が前記指の関節から前記指の先端の方向へ移動するように補正することを特徴とするタッチ位置補正システム。
【請求項６】
請求項１から請求項５のいずれかに記載のタッチ位置補正システムにおいて、
前記補正手段は、補正後の前記接触位置が前記指と前記タッチパネルの接触領域から外れる場合、前記接触位置が前記接触領域の端部となるように補正することを特徴とするタッチ位置補正システム。
【請求項７】
請求項１から請求項６のいずれかに記載のタッチ位置補正システムを有することを特徴とする自動取引装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネルを備えたタッチ位置補正システムおよび自動取引装置に関する。
【背景技術】
【０００２】
近年、銀行等の金融機関の金融システムにおいて、操作者の指による操作を検知するタッチパネルを備えた表示装置を有する自動取引装置が普及してきており、タッチパネルに対する操作者の指の接触の仕方によっては操作者が目的としているボタンとは異なったボタンが押下されたと判定されることがある。
そのため、従来のタッチ位置補正システムは、操作者の指による操作を受付けるタッチパネルを備えた表示画面を有し、表示画面上で操作が行われた操作領域の形状と、その操作領域の位置である操作位置とを検出し、操作領域の向きである領域方向、操作位置および補正パラメータに基づいて補正位置を決定して操作者により指定された指定位置として決定するようにしているものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−３７４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術においては、タッチパネルへの操作者の指の接触方法の癖や習慣、指のけがの有無等により、接触させる指の形状、指の傾き、指をタッチパネルに接触させる際の圧力等が異なり、指による操作領域の形状と、その操作領域の位置である操作位置とにより、指の接触位置を補正することが難しく、操作者の操作性を向上させることができないという問題がある。
本発明は、このような問題を解決することを課題とし、指の接触位置を容易に補正できるようにし、操作者の操作性を向上させることを目的とする。
【課題を解決するための手段】
【０００５】
そのため、本発明は、タッチパネルを操作する指の画像を撮影する撮影手段と、前記撮影手段が撮影した前記タッチパネルに接触している指の画像から前記指の関節の位置を特定し、指の角度を検出する角度検出手段と、前記検出された指の角度に基づいて前記指と前記タッチパネルの接触位置を補正する補正手段とを備えたことを特徴とする。
【発明の効果】
【０００６】
このようにした本発明は、指の接触位置を容易に補正することができ、操作者の操作性を向上させることができるという効果が得られる。
【図面の簡単な説明】
【０００７】
【図１】実施例におけるタッチ位置補正システムの制御構成を示すブロック図
【図２】実施例におけるタッチ位置補正システムの構成を示す説明図
【図３】実施例におけるタッチ位置補正処理の流れを示すフローチャート
【図４】実施例における補正テーブルの説明図
【図５】実施例におけるタッチ位置補正の説明図
【図６】実施例における近似直線の説明図
【図７】実施例におけるタッチ位置補正の説明図
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明によるタッチ位置補正システムおよび自動取引装置の実施例を説明する。
【実施例】
【０００９】
図２は実施例におけるタッチ位置補正システムの構成を示す説明図である。
図２において、タッチ位置補正システム１は、制御用端末１１と、カメラ１２と、制御用端末１１とカメラ１２とを通信可能に接続する通信ケーブル１３と、タッチパネル１４と、御用端末１１とタッチパネル１４とを接続する制御用ケーブル１５および画面表示用ケーブル１６とにより構成されている。なお、タッチ位置補正システム１は、タッチパネルを備えた自動取引装置等に搭載されたものであっても良い。
【００１０】
制御用端末１１は、パーソナルコンピュータ等の汎用コンピュータであり、タッチパネル１４の画面表示用のプログラム（ソフトウェア）や画面データ、カメラ１２およびタッチパネル１４の制御を行うためのプログラム等を記憶部に記憶し、タッチ位置補正システム１全体の動作を制御するものである。
撮影手段としてのカメラ１２は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサ等の撮像手段を備え、動画または静止画により、タッチパネル１４を操作する操作者の手指（以下、「指」という。）の画像を撮影するものである。このカメラ１２は、通信ケーブル１３を介して制御用端末１１と通信可能に接続され、撮影した動画または静止画を画像データとして制御用端末１１へ送信し、制御用端末１１はカメラ１２で撮影された操作者の指およびその周辺の画像情報を取得することができるようになっている。
【００１１】
タッチパネル１４は、操作者の指が接触したことを検知するタッチセンサ等を配設した操作面を有する入力手段と、操作者による指の接触領域である操作ボタン（キー）や各種情報等を表示するディスプレイ等を有する表示手段とを備えた操作表示手段である。このタッチパネル１４は、制御用ケーブル１５および画面表示用ケーブル１６を介して制御用端末１１と接続され、制御用端末１１から取得した画面情報に基づいて各種画面を表示する。また、タッチパネル１４は、操作者の指による接触を検知すると、接触位置を表す座標の情報や接触圧を表す情報等を接触情報として制御用端末１１へ送信し、制御用端末１１はタッチパネル１４で検知された指の接触情報を取得することができるようになっている。
【００１２】
図１は実施例におけるタッチ位置補正システムの制御構成を示すブロック図である。
図１において、カメラ１２は、撮影部１２１と、撮影情報送信部１２２とから構成されている。
撮影部１２１は、タッチパネル１４を操作する操作者の指を撮影し、操作者の指の画像情報を撮影情報として取得する。
撮影情報送信部１２２は、撮影部１２１で取得した撮影情報を制御用端末１１へ送信する。
【００１３】
タッチパネル１４は、操作情報検知部１４１と、操作情報送信部１４２と、画面情報受信部１４３と、画面表示部１４４とから構成されている。
操作情報検知部１４１は、操作者がタッチパネル１４の操作面に指で触れると、その接触を検知して接触位置を表すタッチパネル１４上の座標の情報や接触圧を表す情報等の接触情報を生成する。
操作情報送信部１４２は、操作情報検知部１４１で生成された接触情報を制御用端末１１へ送信する。
【００１４】
画面情報受信部１４３は、制御用端末１１から表示手段に表示する画面情報を受信する。
画面表示部１４４は、画面情報受信部１４３で受信した画面情報に基づいて表示手段に画面を表示する。
制御用端末１１は、撮影情報受信部１１１と、指角度解析部１１２と、操作情報受信部１１３と、補正値計算部１１４と、制御部１１５と、画面情報送信部１１６とから構成されている。
撮影情報受信部１１１は、操作者の指の画像を撮影したカメラ１２から撮影情報を受信する。
【００１５】
角度検出手段としての指角度解析部１１２は、カメラ１２が撮影したタッチパネル１４に接触している指の画像から指の関節の位置を特定し、指の角度を検出するものであり、撮影情報受信部１１１が受信した撮影情報を解析し、タッチパネル１４を操作している操作者の指の角度を表す近似直線を算出する。
ここで、近似直線とは、タッチパネル１４を操作している操作者の指の第２関節または第３関節から指の先端に向かって伸びる３次元の直線であり、カメラ１２で撮影した操作者の撮影情報である画像を３次元解析して算出される３次元における直線である。
本実施例では、この近似直線から操作者の指の水平方向および鉛直方向の傾きを算出し、操作者の指の水平方向および鉛直方向の角度を導出する。
【００１６】
操作情報受信部１１３は、操作者により指が接触したタッチパネル１４から接触情報を受信する。
補正手段としての補正値計算部１１４は、検出された指の角度に基づいて指とタッチパネル１４の接触位置を補正するものであり、指角度解析部１１２が算出した近似直線に基づいて操作情報受信部１１３が受信した接触情報に含まれる座標情報を補正する。この補正値計算部１１４は、近似直線から鉛直方向の指の角度を算出し、算出した鉛直方向の指の角度に基づいて指とタッチパネル１４との接触位置を補正する。
【００１７】
制御部１１５は、補正値計算部１１４により補正された接触情報に基づいて各種アプリケーションソフトウェアによる処理を行い、画面情報を生成する。
画面情報送信部１１６は、制御部１１５により生成された画面情報をタッチパネル１４へ送信する。
なお、制御用端末１１、カメラ１２、およびタッチパネル１４は、制御手段としてのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等を備え、メモリ等の記憶手段に記憶された制御プログラム（ソフトウェア）に基づいてそれぞれの装置全体の動作を制御する。
【００１８】
上述した構成の作用について説明する。
タッチ位置補正システムが行うタッチ位置補正処理を図３の実施例におけるタッチ位置補正処理の流れを示すフローチャートの図中Ｓで表すステップに従って図１を参照しながら説明する。
まず、タッチ位置補正システム１のカメラ１２や赤外線センサ等で操作者がタッチ位置補正システムに接近したことを検知すると、タッチ位置補正システム１はタッチ位置補正処理を開始する。
Ｓ１：操作者が指によりタッチパネル１４に触れると、タッチパネル１４の操作情報検知部１４１は、その接触を検知して接触位置を表すタッチパネル１４上の座標の情報や接触圧を表す情報等の接触情報を生成し、操作情報送信部１４２が接触情報を制御用端末１１へ送信する。
【００１９】
Ｓ２：制御用端末１１の補正値計算部１１４は、操作情報受信部１１３で受信した接触情報に基づいて操作者の指が接触しているタッチパネル１４の領域（範囲）の座標を取得し、その領域の中央となる位置の座標を算出し、中央値とする。操作者の指が接触しているタッチパネル１４の領域（接触領域）が、例えば図５に示す領域５１である場合、領域５１のＸ座標の最小値Ｘ１および最大値Ｘ２、領域５１のＹ座標の最小値Ｙ１および最大値Ｙ２を抽出し、中央の座標（（Ｘ１＋Ｘ２）／２、（Ｙ１＋Ｙ２）／２）を算出する。
Ｓ３：補正値計算部１１４が中央値を算出すると、制御用端末１１はカメラ１２に指画像を撮影する命令を送信する。
【００２０】
Ｓ４：指画像を撮影する命令を受信したカメラ１２の撮影部１２１はタッチパネル１４を操作する操作者の指およびその周辺の画像を撮影して撮影情報を取得し、撮影情報送信部１２２がその撮影情報を制御用端末１１に送信する。
Ｓ５：制御用端末１１の撮影情報受信部１１１が撮影情報を受信すると、指角度解析部１１２は、撮影情報を解析し、指の先端および第２関節の３次元位置座標を算出する。なお、撮影情報から指の先端および第２関節の３次元位置座標を算出する処理は既知の技術を使用して行うものとする。
【００２１】
Ｓ６：指角度解析部１１２は、撮影情報から第２関節の３次元位置座標を算出することができたか否かを判定し、算出することができたと判定すると処理をＳ７へ移行し、算出することができなかったと判定すると処理をＳ８へ移行する。ここで、第２関節の３次元位置座標が算出できない場合として、撮影した指の画像から第２関節が認識できない場合等が挙げられる。
Ｓ７：第２関節の３次元位置座標が算出することができたと判定した指角度解析部１１２は、指の先端および第２関節の３次元位置座標から３次元の近似直線を算出し、処理をＳ１０へ移行する。
なお、この近似直線は、第２関節から指の先端の方向へ伸びる直線である。
【００２２】
Ｓ８：Ｓ６において、第２関節の３次元位置座標を算出することができなかったと判定した指角度解析部１１２は、撮影情報を解析し、指の先端および第３関節の３次元位置座標を算出する。
Ｓ９：指角度解析部１１２は、指の先端および第３関節の３次元位置座標から３次元の近似直線を算出し、処理をＳ１０へ移行する。
なお、この近似直線は、第３関節から指の先端の方向へ伸びる直線である。
このように、指角度解析部１１２は、指の関節の位置を第２関節の位置とし、第２関節の位置が特定できないときは、第３関節の位置として近似直線を算出する。
【００２３】
Ｓ１０：指角度解析部１１２は、近似直線のタッチパネル１４の操作面と平行する面における水平成分を解析し、近似直線の水平方向における傾き（指の方向）を算出する。指角度解析部１１２は、例えば図６（ａ）に示すように、近似直線５５の任意の始点５５ａおよび任意の終点５５ｂの座標から水平面におけるＸ成分５５ｘおよびＹ成分５５ｙを解析し、Ｘ軸に対する近似直線５５の傾きαを算出して第２関節または第３関節から指の先端へ向かう方向を算出する。
【００２４】
Ｓ１１：指角度解析部１１２は、近似直線のタッチパネル１４の操作面と直交する方向である鉛直方向に対する指の傾き（角度）を算出する。指角度解析部１１２は、例えば図６（ｂ）に示すように、近似直線５５の任意の始点５５ａおよび任意の終点５５ｂの座標からＹ成分５５ｙおよびＺ成分５５ｚを解析し、鉛直Ｚ軸５６に対する近似直線５５の傾き（角度）βを算出して第２関節または第３関節から指の先端へ向かう指の鉛直方向に対する傾きを算出する。
【００２５】
Ｓ１２：補正値計算部１１４は、指角度解析部１１２が算出した指の傾き（角度）に基づいて補正値を算出し、Ｓ２において算出した中央値の座標に対して近似直線のタッチパネル１４の操作面における傾き方向（指の方向）に補正値を適用する。
補正値計算部１１４は、例えば図４に示すように、指の傾き（角度）と補正値とを対応付けて記憶した補正値テーブルを記憶手段に記憶しておき、鉛直方向の指の傾き（角度）に基づいて補正値を抽出し、図５に示すように、Ｓ２において算出した中央値の座標５２に対して近似直線の水平方向における傾き方向（矢印Ａが示す指の方向）に補正値を加算して補正後の中央値の座標５３とする。
【００２６】
例えば、図６（ａ）に示すように、近似直線５５の傾きがα、補正値がＬの場合、中央値のＸ座標にＬｃｏｓα、Ｙ座標にＬｓｉｎαを加算して補正後の中央値の座標とする。
このように、補正値計算部１１４は、タッチパネル１４の操作面における鉛直（操作面に直交する）方向に対する指の角度が増加するに従い、指のタッチパネル１４の操作面との接触位置の座標が指の関節から指の先端の方向へ移動するように補正する。
Ｓ１３：補正値計算部１１４は、中央値に補正値を適用した結果、補正後の中央値が操作者の指が接触しているタッチパネル１４の領域内（例えば、図５に示すように、補正後の中央値５３が操作者の指が接触しているタッチパネル１４の領域５１内）に収まるか否かを判定し、収まると判定すると補正後の中央値を接触情報として制御部１１５へ渡して本処理を終了し、収まらないと判定すると処理をＳ１４へ移行する。
【００２７】
Ｓ１４：補正後の中央値が操作者の指が接触しているタッチパネル１４の領域内に収まらないと判定した補正値計算部１１４は、操作者の指が接触しているタッチパネル１４の領域内に収まるように中央値をさらに補正し、再補正後の中央値を接触情報として制御部１１５へ渡して本処理を終了する。
補正値計算部１１４は、例えば図７（ａ）に示すように、補正後の中央値５３ａが操作者の指が接触しているタッチパネル１４の領域５１（接触領域）内に収まらない（領域５１から外れる）と判定すると、領域５１内に収まるように、補正後の中央値５３ｂの座標を、図７（ｂ）に示すように、領域５１内の端部の座標となるように再補正する。
【００２８】
このように、制御用端末１１の指角度解析部１１２は、カメラ１２で撮影したタッチパネル１４を操作する操作者の指の画像から操作者の指の近似直線を算出し、補正値計算部１１４が、その近似直線から算出した鉛直方向の指の傾きに基づいて指とタッチパネル１４との接触領域の中心座標を補正するようにしたことにより、鉛直方向に対して傾きを持った状態の指でタッチパネル１４を操作した場合であっても、目的としている接触位置とは異なる位置が接触されたと判定することを抑制することができ、操作者の操作性を向上させることができる。
また、操作者の指の３次元の位置を解析してタッチパネル１４との接触位置を補正するようにしたことにより、接触面積や指先の怪我等による接触位置の誤検知を抑制することができ、操作者の操作性を向上させることができる。
【００２９】
以上説明したように、本実施例では、鉛直方向の指の傾きに基づいて指とタッチパネルとの接触領域の中心座標を補正するようにしたことにより、鉛直方向に対して傾きを持った状態の指でタッチパネルを操作した場合であっても、目的としている接触位置とは異なる位置が接触されたと判定することを抑制することができ、操作者の操作性を向上させることができるという効果が得られる。
また、接触位置の誤検知を抑制することができ、操作者の操作性を向上させることができるという効果が得られる。
【００３０】
なお、本実施例では、制御用端末にタッチパネルとカメラを直接接続したスタンドアローンの構成としたが、それに限られることなく、制御用端末をサーバ等としてＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネット等の通信回線を介してタッチパネルとカメラを接続する構成としても良い。
また、金融機関の現金自動預払機や交通機関の自動券売機等の自動取引装置に制御用端末、タッチパネルおよびカメラを設け、１つの装置としても良い。
さらに、１台のカメラで操作者の指を撮影して指の３次元位置を解析するようにしたが、複数台のカメラ、赤外線カメラ、レーザーレーダ等により操作者の指を撮影するようにしても良い。
【００３１】
またさらに、本実施例では、指とタッチパネルの接触領域から中央値を算出する例で説明したが、指がタッチパネルに接触してから離れるまでの間のすべての時間の情報を利用する必要はなく、例えば指がタッチパネルに接触してから離れるまでの接触領域情報を時間軸に沿って記憶手段に記憶し、その接触領域情報の時間軸における中間の３分の１の情報を破棄し、最初と最後の３分の１ずつの情報を利用して中央値を算出するようにすることにより、より中央値の算出精度を高めることができる。
【符号の説明】
【００３２】
１    タッチ位置補正システム
１１  制御用端末
１２  カメラ
１４  タッチパネル
１２１  撮影部
１２２  撮影情報送信部
１４１  操作情報検知部
１４２  操作情報送信部
１４３  画面情報受信部
１４４  画面表示部
１１１  撮影情報受信部
１１２  指角度解析部
１１３  操作情報受信部
１１４  補正値計算部
１１５  制御部
１１６  画面情報送信部
【図１】
2015162079.tif 000003
【図２】
2015162079.tif 000004
【図３】
2015162079.tif 000005
【図４】
2015162079.tif 000006
【図５】
2015162079.tif 000007
【図６】
2015162079.tif 000008
【図７】
2015162079.tif 000009