(57)【要約】【課題】スマートフォンやタブレット端末といった携帯情報端末の操作にジェスチャを用いる場合には、携帯情報端末を片手で持ったまま操作したり、テーブルや作業台などの上に置いて操作するなど、携帯情報端末と操作者との距離や操作者の操作可能な動作範囲が操作者の操作状況によって大きく異なる場合に、操作性が損なわれてしまうという課題がある。【解決手段】操作者の手指の撮影画像を取得する画像取得部と、前記画像取得部で撮影した撮影画像に基づいて算出する前記操作者の手指のサイズと、前記撮影画像から算出するジェスチャ入力エリアのサイズと、に基づいて、前記操作者のジェスチャ入力のモードを判定するキャリブレーション処理部と、を備える【選択図】図６
2014203367.tif 000002
【特許請求の範囲】
【請求項１】
操作者の手指の撮影画像を取得する画像取得部と、
前記画像取得部で撮影した撮影画像に基づいて算出する前記操作者の手指のサイズと、前記撮影画像から算出するジェスチャ入力エリアのサイズと、に基づいて、前記操作者のジェスチャ入力のモードを判定するキャリブレーション処理部と、を備えることを特徴とするジェスチャ入力装置。
【請求項２】
請求項１に記載のジェスチャ入力装置であって、
前記キャリブレーション処理部は、
前記操作者の前記手指のサイズと前記ジェスチャ入力エリアのサイズとの比率により、前記操作者のジェスチャ入力の入力モードを判定することを特徴とするジェスチャ入力装置。
【請求項３】
請求項１に記載のジェスチャ入力装置であって、
前記ジェスチャ入力エリアのサイズは該装置の有効画像のサイズであり、
前記キャリブレーション処理部は、
前記操作者の前記手指のサイズと前記装置の有効画像のサイズとの比率、及び、予め設定される手指のサイズと有効画像のサイズとの比率に基づいて、前記操作者のジェスチャ入力モードを判定することを特徴とするジェスチャ入力装置。
【請求項４】
請求項１に記載のジェスチャ入力装置であって、
前記判定された入力モードと前記撮影画像とに基づいて、前記操作者のジェスチャを認識するジェスチャ入力処理部を備えることを特徴とするジェスチャ入力装置。
【請求項５】
請求項４に記載のジェスチャ入力装置であって、
前記操作者のジェスチャ入力の認識結果を前記操作者のジェスチャ入力を反映させる作業支援アプリケーションの操作コマンドに反映部とを備えることを特徴とするジェスチャ入力装置。
【請求項６】
請求項１に記載のジェスチャ入力装置であって、
前記キャリブレーション処理部は、前記操作者の手指のサイズと前記撮影画像から算出するジェスチャ入力エリアのサイズとに基づいて、指入力モードまたは手入力モードのいづれのモードかを決定することを特徴とするジェスチャ入力装置。
【請求項７】
請求項６に記載のジェスチャ入力装置であって、
前記操作者の手指のサイズ、前記操作者の手指のサイズの２次元座標と、前記操作者のジェスチャ入力エリアのサイズ、前記操作者のジェスチャ入力エリアのサイズの２次元座標、及び、前記携帯情報端末の有効画像サイズに基づいて、前記操作者のジェスチャ入力の認識結果の誤検出を判断する誤認識検出部を備えることを特徴とするジェスチャ入力装置。
【請求項８】
コンピュータに
操作者の手指の撮影画像を取得させるステップと、
前記撮影した撮影画像に基づいて算出する前記操作者の手指のサイズと、前記撮影画像から算出するジェスチャ入力エリアのサイズと、に基づいて、前記操作者のジェスチャ入力のモードを判定するステップと、を実行させることを特徴とするジェスチャ入力識別プログラム。
【請求項９】
請求項８に記載のプログラムであって、
前記操作者の前記手指のサイズと前記ジェスチャ入力エリアのサイズとの比率により、前記操作者のジェスチャ入力の入力モードを判定することを特徴とするジェスチャ入力識別プログラム。
【請求項１０】
請求項８に記載のジェスチャ入力装置であって、
前記ジェスチャ入力エリアのサイズは該装置の有効画像のサイズであり、
前記操作者の前記手指のサイズと前記装置の有効画像のサイズとの比率、及び、予め設定される手指のサイズと有効画像のサイズとの比率に基づいて、前記操作者のジェスチャ入力モードを判定するジェスチャ入力識別プログラム。
【請求項１１】
操作者の手指の撮影画像を取得し、
前記撮影した撮影画像に基づいて算出する前記操作者の手指のサイズと、前記撮影画像から算出するジェスチャ入力エリアのサイズと、に基づいて、前記操作者のジェスチャ入力のモードを判定するジェスチャ入力識別方法。
【請求項１２】
前記操作者の前記手指のサイズと前記ジェスチャ入力エリアのサイズとの比率により、前記操作者のジェスチャ入力の入力モードを判定することを特徴とする請求項１１に記載のジェスチャ入力識別方法。
【請求項１３】
前記ジェスチャ入力エリアのサイズは該装置の有効画像のサイズであり、
前記操作者の前記手指のサイズと前記装置の有効画像のサイズとの比率、及び、予め設定される手指のサイズと有効画像のサイズとの比率に基づいて、前記操作者のジェスチャ入力モードを判定する請求項１１に記載のジェスチャ入力識別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者により行われるジェスチャを携帯情報端末により認識し、その認識結果を携帯情報端末上で起動する作業支援アプリケーションの動作を制御するための指示に変換するジェスチャ入力装置、及び方法に関する。
【背景技術】
【０００２】
現在、スマートフォンやタブレット等の携帯情報端末を操作するためのインターフェース装置として、タッチパネルを用いて捜査を行うものが一般的である。しかしながら、これらのインターフェース装置は手が汚れている場合や手袋をしている場合では操作できなくなってしまう。
【０００３】
そこで、上記問題を解決するためのインターフェース装置の一つとして、操作者が体の一部または全体を動かしたり姿勢を変化させるなどすることにより、機器の操作を実現する、ジェスチャ入力装置に関する技術が提案されてきた。
【０００４】
例えば、特許文献１では、ディスプレイに内蔵されたＣＣＤカメラによって撮影した操作者を含む画像から、操作者の手の形状及び動きを認識し、これに基づき画面に表示されている指示アイコンの形状及び位置を変化させるといった表示制御を行うことにより、ハンドジェスチャによる指示を可能にしたインターフェース装置が開示されている。
【０００５】
また、例えば、特許文献２では、ＣＣＤカメラなどによって撮影した操作者の手を含む画像から、操作者の手の形状と位置を認識し、これに基づき制御内容を決定し、制御対象装置の制御を行う。また、認識した操作者の手の形状と位置から、ジェスチャ情報表示部に操作に用いるジェスチャの一覧、ジェスチャ認識結果、操作者の手と思われる部分の画像を表示し、操作者の操作性を向上させることを可能にしたインターフェース装置が開示されている。
【０００６】
また、例えば、特許文献３では、カメラによって撮影される人物の人物全体又は人物の一部を検出し、撮影された画像から人物全体又は人物の一部の大きさ及び位置を算出し、算出された人物全体又は人物の一部の大きさ及び位置に基づいて、画像に重畳表示するグラフィカルユーザインターフェース（ＧＵＩ）部品を映像内に配置することを可能にした画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−７８９７７公報
【特許文献２】特開２００８−５２５９０公報
【特許文献３】特開２０１１−１８６８９２公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献では、スマートフォンやタブレット端末といった携帯情報端末の操作にジェスチャを用いる場合には、携帯情報端末を片手で持ったまま操作したり、テーブルや作業台などの上に置いて操作するなど、携帯情報端末と操作者との距離や操作者の操作可能な動作範囲が操作者の操作状況によって大きく異なる場合に、操作性が損なわれてしまうという課題がある。
【０００９】
そこで本発明は、上記問題点に鑑みなされたものであり、携帯情報端末と操作者との距離や操作者の操作可能な動作範囲が作業ごとに異なった場合であっても、操作者の操作状況によってジェスチャの入力方法を変化することで、操作性が損なわれることのないジェスチャ入力装置、及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、操作者の手指の撮影画像を取得する画像取得部と、前記画像取得部で撮影した撮影画像に基づいて算出する前記操作者の手指のサイズと、前記撮影画像から算出するジェスチャ入力エリアのサイズと、に基づいて、前記操作者のジェスチャ入力のモードを判定するキャリブレーション処理部と、を備えることを特徴とする
【発明の効果】
【００１１】
本発明によれば、操作者の操作状況に応じたジェスチャの入力方法を変更することで、携帯情報端末と操作者との距離や操作者の操作可能な動作範囲が作業ごとに異なった場合でも操作性が損なわれることのないジェスチャ入力が可能となる。
【図面の簡単な説明】
【００１２】
【図１】携帯情報端末本体外観を示した図である。
【図２】携帯情報端末のデバイス構成を示した図である。
【図３】ジェスチャ入力処理フローを示した図である。
【図４Ａ】ジェスチャ入力を行う際の携帯情報端末を操作者が手に持っている場合の携帯情報端末と操作者との関係を示した図である。
【図４Ｂ】ジェスチャ入力を行う際の携帯情報端末から操作者が少し離れた場所にいる場合の携帯情報端末と操作者との関係を示した図である。
【図５Ａ】携帯情報端末を操作者が手に持っている場合の携帯情報端末内蔵インカメラで撮影した操作者と操作者の手指の撮影画像を示した図である。
【図５Ｂ】携帯情報端末から操作者が少し離れた場所にいる場合の携帯情報端末内蔵インカメラで撮影した操作者と操作者の手指の撮影画像を示した図である。
【図６】キャリブレーションモード処理の内部構成を示した図である。
【図７】ジェスチャ入力処理の内部構成を示した図である。
【図８】作業支援アプリケーション上でのジェスチャ入力操作コマンドの反映を示した図である。
【図９】携帯情報端末が持つデータを用いたキャリブレーションモード処理の内部構成を示した図である。
【図１０】携帯情報端末が持つデータを用いたジェスチャ入力処理の内部構成を示した図である。
【図１１】ジェスチャ入力誤検出処理の内部構成を示した図である。
【図１２】誤検出判断処理を実装した際のジェスチャ入力処理のフローを示した図である。
【図１３】誤検出判断処理を実装した際の本発明のジェスチャ入力装置、及び方法の全体構成を示した図である。
【発明を実施するための形態】
【００１３】
以下、本発明のジェスチャ入力装置、及び方法について例を挙げて説明する。
【００１４】
まず、本発明を実装する携帯情報端末の構成と、本発明を実行するフローについて図１〜３を用いて説明する。次に、携帯情報端末上で従来のジェスチャ入力装置を用いた際の課題を図４〜５を用いて説明する。続いて、上記課題を解決する本発明の第１の実施形態について、図６〜図８を用いて説明する。次に第２の実施形態について、図９〜１０を用いて説明する。次に第３の実施形態について、図１１〜１３を用いて説明する。
【００１５】
図１は、携帯情報端末本体１００の外観を示した図である。
【００１６】
携帯情報端末本体１００は、携帯情報端末本体１００に内蔵されている内蔵インカメラ１１０と、作業支援アプリケーションの表示と操作の大部分を行うタッチパネルディスプレイ１２０と、複数個の物理ボタン１３０から構成される。
【００１７】
図２は、携帯情報端末のデバイス構成２００を示した図である。
【００１８】
携帯情報端末のデバイス構成は、ジェスチャ入力処理プログラム２１１や作業支援アプリケーション２１２を保存しておくためのメモリ２１０と、携帯情報端末内蔵アウトカメラ２２０と、内蔵インカメラ１１０と、ジャイロセンサや加速度センサや方位センサなどのセンサ群２３０と、マイク２４０と、ＣＰＵ２５０と、タッチパネルディスプレイ１２０と、物理ボタン群１３０から構成される。
【００１９】
メモリ２００には、ジェスチャ入力を行うためのジェスチャ入力処理プログラム２１１やジェスチャ入力を反映させるための作業支援アプリケーション２１２のプログラム、キャリブレーションモード処理プログラム６００を保存している。
【００２０】
図３は、ジェスチャ入力処理フロー３００を示した図である。
【００２１】
ジェスチャ入力は、作業支援アプリケーション２１２を起動３１０後、作業支援アプリケーションの操作画面上にあるジェスチャ入力処理開始ボタンを選択３２０することで実施される。作業支援アプリケーション２１２は、ジェスチャ入力処理開始ボタンが選択されると（ステップ３２０）、キャリブレーションモード処理プログラム６００を起動３３０させ、操作者の操作状況に合わせて、ジェスチャ入力モードを切替え３４０、作業支援アプリケーションを操作するためのジェスチャ入力を開始３５０する。ジェスチャ入力は、作業支援アプリケーションの操作画面上にあるジェスチャ入力処理終了ボタンが選択されると終了する（ステップ３６０）。
【００２２】
図４は、ジェスチャ入力を行う際の携帯情報端末と操作者との関係を示した図である。
【００２３】
図４Ａは、携帯情報端末を操作者が手に持っている場合の携帯情報端末と操作者との関係４００と、図４Ｂは、携帯情報端末から操作者が少し離れた場所にいる場合の携帯情報端末と操作者との関係４０１である。
【００２４】
携帯情報端末を操作者が手に持っている場合、携帯情報端末本体１００と操作者４２０の距離は３０〜５０ｃｍ程度となる。そのため、携帯情報端末本体１００の撮影範囲４１０に入るよう操作者の手指４３０を動かし、更に操作者４２０が携帯情報端末本体１００の画面が見えるように操作者の手指４３０を動かすと、携帯情報端末本体１００と操作者の手指４３０の距離は非常に近くなり、撮影範囲４１０の大部分に操作者の手指４３０が映ることになる。
【００２５】
また、携帯情報端末から操作者が少し離れた場所にいる場合、携帯情報端末本体１００は作業台４４０などの上に固定するなどする場合がある。このような場合、携帯情報端末本体１００と操作者４２０の距離は５０ｃｍ以上となる。そのため、携帯情報端末本体１００の撮影範囲４１０に入るように操作者の手指４３０を動かしても携帯情報端末本体１００と操作者の手指４３０の距離は遠くなり、撮影範囲４１０の一部に操作者の手指４３０が映ることになる。
【００２６】
図５は、携帯情報端末内蔵インカメラ１１０で撮影した操作者と操作者の手指の撮影画像を示した図である。
【００２７】
図５Ａは、携帯情報端末を操作者が手に持っている場合の操作者と操作者の手指の撮影画像５００と、図５Ｂは、携帯情報端末から操作者が少し離れた場所にいる場合の操作者と操作者の手指の撮影画像５０１である。
【００２８】
携帯情報端末を操作者が手に持っている場合、撮影画像サイズ５３０に対して、撮影画像内の操作者の手指５２０は大部分を占めることになる。そのため、撮影画像内の操作者の手指５２０の動きをジェスチャとして認識する場合には、撮影画像内の操作者の手指５２０の移動量が少なくなる。したがって、携帯情報端末上の作業支援アプリケーションの操作にジェスチャ入力を用いる際に、細かい入力を反映できずに操作性を損なう場合がある。
【００２９】
また、携帯情報端末から操作者が少し離れた場所にいる場合、撮影画像サイズ５３０に対して、撮影画像内の操作者の手指５２０は一部分を占めることになる。そのため、撮影画像内の操作者の手指５２０の形状をジェスチャとして認識する場合には、撮影画像をズームするなどしてジェスチャ認識をすることになる。したがって、携帯情報端末上の作業支援アプリケーションの操作にジェスチャ入力を用いる際に、ジェスチャ認識のプログラム処理量が大きくなり、リアルタイム性がなくなり、操作性を損なう場合がある。
【００３０】
したがって、携帯情報端末と操作者との距離や操作者の手指の操作可能範囲によって、ジェスチャ入力モードを変更し、操作状況に合ったジェスチャ入力モードを提供する必要がある。
【００３１】
以下、図１に示すような携帯情報端末において、ジェスチャ入力による作業支援アプリケーションの操作性を損なうことを防ぐ方法について説明する。
【実施例１】
【００３２】
図６〜８を用いて、本発明のジェスチャ入力装置、及び方法のジェスチャ入力モード判定方法の概要について説明する。
【００３３】
図６は、キャリブレーションモード起動３３０した際のキャリブレーションモード処理プログラム６００の処理フローを示した図である。
【００３４】
キャリブレーションモード処理プログラム６００は、携帯情報端末の内蔵インカメラ２２０から得られる画像生データをデータ処理しやすいようＲＧＢの配列データに変換する（画像取得６１０）。また、画像取得６１０で変換した撮影画像データ６１１から、操作者の手指の縦サイズ及び横サイズを示す手指サイズ（Ｘｐｏ、Ｘｌａ）を算出する。例えば、撮影画像データ６１１中で操作者の手指と認識された最上部座標、最下部座標、最右部座標、最左部座標を算出し、手指の縦サイズＸｐｏは最上部座標と最下部座標の差分、手指の横サイズＸｌａは最右部座標と最左部座標との差分から算出する。（手指サイズ認識６２０）。また、画像取得６１０で変換した撮影画像データ６１１から、操作者の手指が動く最上部座標、最下部座標、最右部座標、最左部座標を算出し、最上部座標と最下部座標との差分からジェスチャ入力エリアの縦サイズＹｐｏを、最右部座標と最左部座標との差分からジェスチャ入力エリアの横サイズＹｌａを算出する（ジェスチャ入力エリア認識６３０）。
【００３５】
次に、キャリブレーションモード処理プログラム６００は、手指サイズ認識６２０で算出された手指サイズデータ６２１と、ジェスチャ入力エリア認識６３０で算出されたジェスチャ入力エリアデータ６３１から、ジェスチャ入力モードを判定する（ジェスチャ入力モード判定６４０）。ジェスチャ入力モード判定６４０では、手指サイズデータ６２１から得られる手指の縦サイズＸｐｏと、手指の横サイズＸｌａと、ジェスチャ入力エリアデータ６３１から得られるジェスチャ入力エリアの縦サイズＹｐｏと、ジェスチャ入力エリアの横サイズＹｌａとの比率であるＸｐｏ／Ｙｐｏと、Ｘｌａ／Ｙｌａによって、ジェスチャ入力モードを判定する。具体的には、Ｘｐｏ／Ｙｐｏ≒１となる場合には、指でのジェスチャ入力を判定結果として出力する。また同様に、Ｘｌａ／Ｙｌａ≒１の場合には、指でのジェスチャ入力を判定結果として出力する。また、ｍ１＜Ｘｐｏ／Ｙｐｏ＜ｍ２の場合には、手でのジェスチャ入力を判定結果として出力する。また同様に、ｎ１＜Ｘｌａ／Ｙｌａ＜ｎ２の場合には、手でのジェスチャ入力を判定結果として出力する。
【００３６】
ここで、ｍ１、ｍ２、ｎ１、ｎ２は、手指サイズデータ６２１とジェスチャ入力エリアデータ６３１の比率によりジェスチャ入力モードの判定基準となる値である。これらの値は、ジェスチャ入力を実装する作業支援アプリケーションの操作方針によって異なる値とする。例えば、作業支援アプリケーションの操作画面を縦３個、横３個の合計９個のエリアに分割して、操作用ボタンなどを配置する場合は、ｍ１＝０、ｍ２＝１／３、ｎ１＝０、ｎ２＝１／３とすることが望ましい。
【００３７】
キャリブレーションモード処理プログラム６００は、ジェスチャ入力モード判定６４０で判定された判定結果６４１と、手指サイズ認識６２０で算出された手指サイズデータ６２１と、ジェスチャ入力エリア認識６３０で算出されたジェスチャ入力エリアデータ６３１をメモリ２１０に保存する（入力判定データ記憶６５０）。
【００３８】
図７は、ジェスチャ入力開始３５０した際のジェスチャ入力処理プログラム２１１の処理フローを示した図である。
【００３９】
ジェスチャ入力処理プログラム２１１は、前記画像取得６１０から得られる撮影画像データ６１１と、前記得られた手指サイズデータ６２１と、ジェスチャ入力エリアデータ６３１と、判定結果６４１から、操作者が入力したジェスチャを認識する（ジェスチャ入力認識７１０）。また、ジェスチャ入力認識７１０で得られる認識結果７１１を、作業支援アプリケーションを操作するコマンドに反映する（作業支援アプリケーション操作コマンド反映７２０）。作業支援アプリケーション操作コマンド反映７２０は、ジェスチャ入力認識７１０で得られる認識結果７１１である操作者の手指の位置座標や形状のデータと、あらかじめ作業支援アプリケーション操作コマンド反映７２０に記憶しておいた作業支援アプリケーションを操作するための手指の形状データと、作業支援アプリケーション２１２の携帯情報端末上に表示している画面構成データとを比較する。その際、作業支援アプリケーション操作コマンド反映７２０は、操作者の手指の位置座標と作業支援アプリケーション２１２の画面構成データから得られる画面座標データとの相対関係を計算し、操作者の手指の位置座標を作業支援アプリケーション２１２の画面座標に反映する。またさらに、作業支援アプリケーション操作コマンド反映７２０は操作者の手指の形状データの特徴と一致する作業支援アプリケーションを操作するための手指の形状データを検出し、検出した手指の形状データに対応したアイコンを得られた作業支援アプリケーション２１２の画面座標に表示する。
【００４０】
図８は、作業支援アプリケーション上でのジェスチャ入力操作コマンドの反映８００を示した図である。
【００４１】
上記キャリブレーションモード処理プログラムで判定した、ジェスチャ入力モードをタッチパネルディスプレイ１２０上にジェスチャ入力モード表示８１０として表示する。また、例えば、操作者の手指の動きに合わせて、ジェスチャ入力位置反映アイコン８２０の表示位置を変化させたり、操作者の手指の形状に合わせて、ジェスチャ入力位置反映アイコン８２０の種類を変化させて表示する。
【００４２】
また、例えば、操作者の手指の動きや形状に合わせて、タッチパネルディスプレイ１２０上に配置されている作業支援アプリケーション内操作ボタン８３０や、作業支援アプリケーション内操作コンボボックス８４０を選択し、実行する。
【００４３】
これまで説明したような構成とすることで、本発明のジェスチャ入力装置、及び方法は、携帯情報端末上での作業支援アプリケーション操作において、様々な操作者の操作状況に合わせて、操作性を損なうことなくジェスチャ入力することができる。
【００４４】
以上、本発明の第１の実施形態について説明した。
【００４５】
続いて、本発明の第２の実施形態について、図９〜１０を用いて説明する。
【実施例２】
【００４６】
図９〜１０を用いて、本発明のジェスチャ入力装置、及び方法のもう一つのジェスチャ入力モード判定方法の概要について説明する。
【００４７】
図９は、キャリブレーションモード起動３３０した際の携帯情報端末が持つデータを用いたキャリブレーションモード処理プログラム９００の処理フローを示した図である。
【００４８】
本発明のジェスチャ入力装置、及び方法のキャリブレーションモード処理プログラム９００は、携帯情報端末の内蔵インカメラ１１０の有効画像サイズを取得する（９１０）。
【００４９】
キャリブレーションモード処理プログラム９００は、端末情報取得９１０から得られる有効画像サイズデータ９１１と、手指サイズ認識６２０で得られる手指サイズデータ６２１とからジェスチャ入力モードを判定する。ジェスチャ入力モード判定６５０では、手指サイズデータ６２１から得られる手指の縦サイズＸｐｏと、手指の横サイズＸｌａと、有効画像データサイズ９１１から得られる携帯情報端末の有効画像の縦サイズＺｐｏと、有効画像の横サイズＺｌａとの比率であるＸｐｏ／Ｚｐｏと、Ｘｌａ／Ｚｌａによって、ジェスチャ入力モードを判定する。
【００５０】
具体的には、Ｘｐｏ／Ｚｐｏ≒１となる場合には、指でのジェスチャ入力を判定結果として出力する。また同様に、Ｘｌａ／Ｚｌａ≒１の場合には、指でのジェスチャ入力を判定結果として出力する。また、ｓ１＜Ｘｐｏ／Ｚｐｏ＜ｓ２の場合には、手でのジェスチャ入力を判定結果として出力する。また同様に、ｔ１＜Ｘｌａ／Ｚｌａ＜ｔ２の場合には、手でのジェスチャ入力を判定結果として出力する。
【００５１】
ここで、ｓ１、ｓ２、ｔ１、ｔ２は、手指サイズデータ６２１と有効画像サイズデータ９１１の比率によりジェスチャ入力モードの判定基準となる値である。これらの値は、ジェスチャ入力を実装する作業支援アプリケーションの操作方針によって異なる値とする。例えば、作業支援アプリケーションの操作画面を縦３個、横３個の合計９個のエリアに分割して、操作用ボタンなどを配置する場合は、ｓ１＝０、ｓ２＝１／３、ｔ１＝０、ｔ２＝１／３とすることが望ましい。
【００５２】
図１０は、ジェスチャ入力開始３５０した際の携帯情報端末が持つデータを用いたジェスチャ入力処理プログラム２１１の処理フローを示した図である。本発明のジェスチャ入力装置、及び方法のジェスチャ入力処理プログラム２１１は、前記画像取得６１０で得られる撮影画像データ６１１と、前記ジェスチャ入力判断データ記憶６５０から得られる手指サイズデータ６２１と、ジェスチャ入力エリアデータ６３１と、有効画像サイズデータ９１１と、判定結果６４１とから、操作者が入力したジェスチャを認識（ジェスチャ入力認識部７１０）。
【００５３】
その他の構成は、第１の実施例と同様であるため、説明を省略する。
【００５４】
なお、図９〜１０に挙げた構成はあくまで例であり、本発明の適用例はこれらに限るものではない。
【００５５】
これまで説明したような構成とすることで、本発明のジェスチャ入力装置、及び方法は、携帯情報端末上での作業支援アプリケーション操作において、様々な操作者の操作状況に合わせて、操作性を損なうことなくジェスチャ入力することができる。
【００５６】
以上、本発明の第２の実施形態について説明した。
【００５７】
続いて、本発明の第３の実施形態について図１１〜１３を用いて説明する。
【実施例３】
【００５８】
図１１〜１３を用いて、本発明のジェスチャ入力装置、及び方法の誤検出判断方法の概要について説明する。
【００５９】
図１１は、ジェスチャ入力開始３５０した際のジェスチャ入力誤検出処理プログラム１１００の処理フローを示した図である。
【００６０】
本発明のジェスチャ入力装置、及び方法のジェスチャ入力誤検出処理プログラム１１００は、前記ジェスチャ入力認識７１０から得られる認識結果７１１と、前記ジェスチャ入力判断データ記憶６５０から得られる手指サイズデータ６２１と、ジェスチャ入力エリアデータ６３１と、判定結果６４１と、有効画像サイズデータ９１１とから、入力された操作者のジェスチャが誤検出となっていないかを判断する（誤検出判断１１１０）。
【００６１】
誤検出判断１１１０は、手指サイズデータ６２１から得られる手指の縦サイズＸｐｏと、手指の横サイズＸｌａと、ジェスチャ入力エリアデータ６３１から得られるジェスチャ入力エリアの最上部座標Ｅｔと、ジェスチャ入力エリアの最下部座標Ｅｂと、ジェスチャ入力エリアの最右部座標Ｅｒと、ジェスチャ入力エリアの最左部座標Ｅｌと、ジェスチャ入力認識７１０から得られる認識結果７１１に含まれる操作者の手指のサイズデータと２次元座標データによって、誤検出であるかを判断する。
【００６２】
具体的には、例えば、ジェスチャ入力認識７１０で得られる認識結果７１１に含まれる操作者の手指の縦サイズＳｐｏと、横サイズＳｌａと、ジェスチャ入力判定データ記憶６５０から得られるジェスチャ入力エリアの縦サイズＹｐｏと、横サイズＹｌａの比率であるＳｐｏ／Ｙｐｏと、Ｓｌａ／Ｙｌａと、ジェスチャ入力判定データ記憶６５０から得られる手指の縦サイズＸｐｏと、横サイズＸｌａと、ジェスチャ入力エリアの縦サイズＹｐｏと、横サイズＹｌａの比率であるＸｐｏ／Ｙｐｏと、Ｘｌａ／Ｙｌａとの関係が、Ｓｐｏ／Ｙｐｏ＞Ｘｐｏ／Ｙｐｏ×ａ１（ただし、１．５＜ａ１）となる場合には誤検出として判断する。また同様に、Ｓｐｏ／Ｙｐｏ＜Ｘｐｏ／Ｙｐｏ×ａ２（ただし、０＜ａ２＜０．５）となる場合も誤検出として判断する。また同様に、Ｓｌａ／Ｙｌａ＞Ｘｌａ／Ｙｌａ×ｂ１（ただし、１．５＜ｂ１）となる場合も誤検出として判断する。また同様に、Ｓｌａ／Ｙｌａ＜Ｘｌａ／Ｙｌａ×ｂ２（ただし、０＜ｂ２＜０．５）となる場合も誤検出として判断する。
【００６３】
また、例えば、ジェスチャ入力認識７１０で得られる認識結果７１１に含まれる操作者の手指の縦サイズＳｐｏと、横サイズＳｌａと、ジェスチャ入力判定データ記憶６５０から得られる有効画像サイズの縦サイズＺｐｏと、横サイズＺｌａの比率であるＳｐｏ／Ｚｐｏと、Ｓｌａ／Ｚｌａと、ジェスチャ入力判定データ記憶６５０から得られる手指の縦サイズＸｐｏと、横サイズＸｌａと、有効画像サイズの縦サイズＺｐｏと、横サイズＺｌａの比率であるＸｐｏ／Ｚｐｏと、Ｘｌａ／Ｚｌａとの関係が、Ｓｐｏ／Ｚｐｏ＞Ｘｐｏ／Ｚｐｏ×ａ３（ただし、１．５＜ａ３）となる場合には誤検出として判断する。また同様に、Ｓｐｏ／Ｚｐｏ＜Ｘｐｏ／Ｚｐｏ×ａ４（ただし、０＜ａ４＜０．５）となる場合も誤検出として判断する。また同様に、Ｓｌａ／Ｚｌａ＞Ｘｌａ／Ｚｌａ×ｂ３（ただし、１．５＜ｂ３）となる場合も誤検出として判断する。また同様に、Ｓｌａ／Ｚｌａ＜Ｘｌａ／Ｚｌａ×ｂ４（ただし、０＜ｂ４＜０．５）となる場合も誤検出として判断する。
【００６４】
また、例えば、ジェスチャ入力認識７１０から得られる認識結果７１１に含まれる操作者の手指の縦サイズＳｐｏと、横サイズＳｌａと、ジェスチャ入力判定データ記憶６５０から得られる手指の縦サイズＸｐｏと、横サイズＸｌａとの関係が、Ｓｐｏ＞Ｘｐｏ×ｉ１（ただし、１．５＜ｉ１）となる場合には、誤検出として判断する。また同様に、Ｓｐｏ＜Ｘｐｏ×ｉ２（ただし、０＜ｉ２＜０．５）となる場合も誤検出として判断する。また同様に、Ｓｌａ＞Ｘｌａ×ｊ１（ただし、１．５＜ｊ１）となる場合も誤検出として判断する。また同様に、Ｓｌａ＜Ｘｌａ×ｊ２（ただし、０＜ｊ２＜０．５）となる場合も誤検出として判断する。
【００６５】
また、例えば、ジェスチャ入力認識７１０から得られる認識結果７１１に含まれる操作者の手指の２次元位置データ（Ｓｘ、Ｓｙ）と、ジェスチャ入力判定データ記憶６５０から得られるジェスチャ入力エリア最上部座標Ｅｔと、最下部座標Ｅｂと、最右部座標Ｅｒと、最左部座標Ｅｌとの関係が、Ｓｘ＞Ｅｒとなる場合には、誤検出として判断される。また同様に、Ｓｘ＜Ｅｌとなる場合にも誤検出として判断される。また同様に、Ｓｙ＞Ｅｂとなる場合にも誤検出として判断される。また同様に、Ｓｙ＜Ｅｔとなる場合も誤検出として判断される。
【００６６】
図１２は、誤検出判断処理を実装した際のジェスチャ入力処理プログラム２１１の処理フロー１２００を示した図である。
【００６７】
ジェスチャ入力処理プログラム２１１は、ジェスチャ入力開始３５０した後、前記認識されるジェスチャがキャリブレーションモード起動３３０した際に記憶されている、操作者の手指サイズデータ６２１やジェスチャ入力エリアデータ６３１と、認識結果７１１とを比較して得られた判断結果１１１１が、誤検出となる数が少ない場合や、連続して誤検出が検出されなかった場合には、ジェスチャ入力処理ボタン選択３６０までは、ジェスチャ入力による作業支援アプリケーションの操作を実行することができる（３７０）。
【００６８】
しかしながら、操作者の手指サイズデータ６２１やジェスチャ入力エリアデータ６３１と、認識結果７１１とを比較して得られた判断結果１１１１が、誤検出となる数が多い場合や、連続して誤検出が検出された場合には、作業支援アプリケーション上に「ジェスチャ入力モード切替えますか？」１２２０というコメントを表示し、操作者に対してジェスチャ入力操作を続行するかの確認を行う（１２２０）。
【００６９】
また、ジェスチャ入力処理プログラム２１１は、「ジェスチャ入力モード切替えますか？」１２２０というコメント表示後、ジェスチャ入力モードの切り替えが選択されると、キャリブレーションモード起動３３０が実行され、ジェスチャ入力モードを再度判定することになる。
【００７０】
図１３は、誤検出判断処理を実装した際の本発明のジェスチャ入力装置、及び方法の全体処理フロー１３００を示した図である。
【００７１】
その他の構成は、第１の実施例、第２の実施例と同様であるため、説明は省略する。
【００７２】
以上のようにジェスチャ入力装置、及び方法を構成することで、操作者の操作状況に応じたジェスチャの入力方法を変更し、携帯情報端末と操作者との距離や操作者の操作可能な動作範囲が作業ごとに異なった場合でも操作性が損なわれることのないジェスチャ入力が可能となる。
【符号の説明】
【００７３】
１００：携帯情報端末本体
１１０：内蔵インカメラ
１２０：タッチパネルディスプレイ
１３０：物理ボタン
２００：携帯情報端末デバイス構成
２１０：メモリ
２２０：内蔵アウトカメラ
２３０：センサ群
２４０：マイク
２５０：ＣＰＵ
３００：ジェスチャ入力処理フロー
３１０：作業支援アプリケーション起動
３２０：ジェスチャ入力処理開始ボタン選択
３３０：キャリブレーションモード起動
３４０：ジェスチャ入力モード切替え
３５０：ジェスチャ入力開始
３６０：ジェスチャ入力処理終了ボタン選択
３７０：作業支援アプリケーション終了
４００：携帯情報端末と操作者との関係（手に持っている場合）
４０１：携帯情報端末と操作者との関係（少し離れた場所にいる場合）
４１０：撮影範囲
４２０：操作者
４３０：操作者の手指
４４０：作業台
５００：携帯情報端末内蔵インカメラの撮影画像（手に持っている場合）
５０１：形態譲歩端末内蔵インカメラの撮影画像（少し離れた場所にいる場合）
５１０：撮影画像内の操作者
５２０：撮影画像内の操作者の手指
５３０：撮影画像サイズ
６００：キャリブレーション処理内部構成
６１０：画像取得部
６１１：撮影画像データ
６２０：手指サイズ認識部
６２１：手指サイズデータ
６３０：ジェスチャ入力エリア認識部
６３１：ジェスチャ入力エリアデータ
６４０：ジェスチャ入力モード判定部
６４１：判定結果
６５０：ジェスチャ入力判定データ記憶
７００：ジェスチャ入力処理内部構成
７１０：ジェスチャ入力認識
７１１：認識結果
７２０：作業支援アプリケーション操作コマンド反映部
８００：作業支援アプリケーション上でのジェスチャ入力操作コマンド反映
８１０：ジェスチャ入力モード表示
８２０：ジェスチャ入力位置反映アイコン
８３０：作業支援アプリケーション内操作ボタン
８４０：作業支援アプリケーション内操作コンボボックス
９００：携帯情報端末が持つデータを用いたキャリブレーションモード処理内部構成
９１０：携帯情報取得
９１１：有効画像サイズデータ
１０００：携帯情報端末が持つデータを用いたジェスチャ入力処理内部構成
１１００：ジェスチャ入力誤検出処理内部構成
１１１０：誤検出判断部
１１１１：判断結果
１２００：誤検出判断処理を実装した際のジェスチャ入力処理フロー
１２２０：誤検出判断結果
１２２０：ジェスチャ入力モード切替えますか？
１３００：ジェスチャ入力装置全体構成
【図１】
2014203367.tif 000003
【図２】
2014203367.tif 000004
【図３】
2014203367.tif 000005
【図４Ａ】
2014203367.tif 000006
【図４Ｂ】
2014203367.tif 000007
【図５Ａ】
2014203367.tif 000008
【図５Ｂ】
2014203367.tif 000009
【図６】
2014203367.tif 000010
【図７】
2014203367.tif 000011
【図８】
2014203367.tif 000012
【図９】
2014203367.tif 000013
【図１０】
2014203367.tif 000014
【図１１】
2014203367.tif 000015
【図１２】
2014203367.tif 000016
【図１３】
2014203367.tif 000017