(57)【要約】【課題】タッチパネル等の直接指を接触させる操作を必要とせず、操作者に負担が少ない動作入力を的確に判定すること。【解決手段】携帯電話１０１に備えられた前面撮像手段であるカメラ２０１により右手１０３の指の位置を取得し、指の位置の付近に携帯電話１０１の画面２０３に対応するように操作領域を空中に設定し、操作者の指の操作領域内での位置に対応させて、指を移動させると画面２０３上のカーソルを移動させたり、あるいはアイコンを強調表示して指定させたりする。例えば、図２においては、アイコン２０５に操作者の操作はフォーカスされている。このような状態で、左手１０２の指で確定ボタン２０２が押下されると、例えば現在フォーカスしているアイコンが示す操作が確定され、実行される。【選択図】図２
2013171529.tif 000002
【特許請求の範囲】
【請求項１】
操作者が閲覧する画像を表示する表示手段と、
前記表示手段の前面に配置され、該表示手段の前面にある前記操作者の一部を撮像する前面撮像手段と、
前記前面撮像手段により読取られた画像から前記表示手段の前面にある操作者の一部を抽出して、前記表示手段に該操作者の一部と前記表示手段との位置関係に応じた標示を表示し、前記操作者の一部の移動に対応して該標示を移動させる前面制御手段と、
装置筐体のいずれかの位置に配置され、前記標示の前記表示手段の表示面上の位置に関連する操作を確定する確定手段と、
前記確定手段により前記操作が確定すると、所定の信号を出力する信号出力手段と
を備えたことを特徴とする操作入力装置。
【請求項２】
操作者が閲覧する画像を表示する表示手段と、
前記表示手段の背面に配置され、該表示手段の背面にある前記操作者の一部を撮像する背面撮像手段と、
前記背面撮像手段により読取られた画像から前記表示手段の背面にある操作者の一部を抽出して、前記表示手段に該操作者の一部と前記表示手段との位置関係に応じた標示を表示し、前記操作者の一部の移動に対応して該標示を移動させる背面制御手段と、
装置筐体のいずれかの位置に配置され、前記標示の前記表示手段の表示面上の位置に関連する操作を確定する確定手段と、
前記確定手段により前記操作が確定すると、所定の信号を出力する信号出力手段と
を備えたことを特徴とする操作入力装置。
【請求項３】
前記表示手段の前面に配置され、前記表示手段の前面にある前記操作者の一部を撮像する前面撮像手段と、
前記前面撮像手段により読取られた画像から前記表示手段の背面にある操作者の一部を抽出して、前記表示手段に該操作者の一部と前記表示手段との位置関係に応じた標示を表示し、前記操作者の一部の移動に対応して該標示を移動させる前面制御手段と
をさらに備えたことを特徴とする請求項２に記載の操作入力装置。
【請求項４】
前記前面撮像手段により読取られた操作者の画像により定められる領域であって、前記操作者の一部が前記表示手段に表示された所定の標示を制御することができる制御領域を予め設定する領域設定手段をさらに備えたことを特徴とする請求項３に記載の操作入力装置。
【請求項５】
前記制御領域は、前記操作者の視点と前記表示手段の表示面の各頂点とを結んで定められる領域にかからない領域であることを特徴とする請求項４に記載の操作入力装置。
【請求項６】
操作者が閲覧する画像を表示する表示手段と、
前記表示手段の前面に配置され、前記表示手段の前面にある前記操作者の一部を撮像する前面撮像手段と、
前記前面撮像手段により読取られた画像から前記表示手段の背面にある操作者の一部を抽出して、前記表示手段に該操作者の一部と前記表示手段との位置関係に応じた標示を表示し、前記操作者の一部の移動に対応して該標示を移動させる前面制御手段と、
前記表示手段の背面に配置され、該表示手段の背面にある前記操作者の一部を撮像し、所定の動作が行われたとき前記標示の前記表示手段の表示面上の位置に関連する操作を確定する確定手段と、
前記確定手段により前記操作が確定すると、所定の信号を出力する信号出力手段と
を備えたことを特徴とする操作入力装置。
【請求項７】
操作者が閲覧する画像を表示する表示手段と、前記表示手段の前面に配置され、該表示手段の前面にある前記操作者の一部を撮像する前面撮像手段とを備えた操作入力装置により操作入力をする方法であって、
前記前面撮像手段により読取られた画像から前記表示手段の前面にある操作者の一部を抽出して、前記表示手段に該操作者の一部と前記表示手段との位置関係に応じた標示を表示し、前記操作者の一部の移動に対応して該標示を移動させる前面制御ステップと、
装置筐体のいずれかの位置に配置された確定手段により、前記標示の前記表示手段の表示面上の位置に関連する操作を確定する確定ステップと、
前記確定ステップにおいて前記操作が確定すると、所定の信号を出力する信号出力ステップと
を備えたことを特徴とする操作入力方法。
【請求項８】
操作者が閲覧する画像を表示する表示手段と、前記表示手段の背面に配置され、該表示手段の背面にある前記操作者の一部を撮像する背面撮像手段とを備えた操作入力装置により操作入力をする方法であって、
前記背面撮像手段により読取られた画像から前記表示手段の背面にある操作者の一部を抽出して、前記表示手段に該操作者の一部と前記表示手段との位置関係に応じた標示を表示し、前記操作者の一部の移動に対応して該標示を移動させる背面制御ステップと、
装置筐体のいずれかの位置に配置された確定手段により、前記標示の前記表示手段の表示面上の位置に関連する操作を確定する確定ステップと、
前記確定ステップにおいて前記操作が確定すると、所定の信号を出力する信号出力ステップと
を備えたことを特徴とする操作入力方法。
【請求項９】
操作者が閲覧する画像を表示する表示手段と、前記表示手段の前面に配置され、前記表示手段の前面にある前記操作者の一部を撮像する前面撮像手段と、該表示手段の背面にある前記操作者の一部を撮像する背面撮像手段とを備えた操作入力装置により操作入力をする方法であって、
前記前面撮像手段により読取られた画像から前記表示手段の背面にある操作者の一部を抽出して、前記表示手段に該操作者の一部と前記表示手段との位置関係に応じた標示を表示し、前記操作者の一部の移動に対応して該標示を移動させる前面制御ステップと、
前記背面撮像手段により撮像された、前記表示手段の背面にある前記操作者の一部を用いて所定の動作が行われたとき前記標示の前記表示手段の表示面上の位置に関連する操作を確定する確定ステップと、
前記確定ステップにおいて前記操作が確定すると、所定の信号を出力する信号出力ステップと
を備えたことを特徴とする操作入力方法。
【請求項１０】
操作者が閲覧する画像を表示する表示手段と、前記表示手段の前面に配置され、前記表示手段の前面にある前記操作者の一部を撮像する前面撮像手段と、装置筐体のいずれかの位置に配置された確定手段とを備えた操作入力装置に操作入力方法を実行させるプログラムであって、該操作入力方法は、
前記前面撮像手段により読取られた画像から前記表示手段の前面にある操作者の一部を抽出して、前記表示手段に該操作者の一部と前記表示手段との位置関係に応じた標示を表示し、前記操作者の一部の移動に対応して該標示を移動させる前面制御ステップと、
前記確定手段により、前記標示の前記表示手段の表示面上の位置に関連する操作を確定する確定ステップと、
前記確定ステップにおいて前記操作が確定すると、所定の信号を出力する信号出力ステップと
を備えたことを特徴とするプログラム。
【請求項１１】
操作者が閲覧する画像を表示する表示手段と、装置筐体のいずれかの位置に配置された確定手段と、該表示手段の背面にある前記操作者の一部を撮像する背面撮像手段とを備えた操作入力装置に操作入力方法を実行させるプログラムであって、該操作入力方法は、
前記背面撮像手段により読取られた画像から前記表示手段の背面にある操作者の一部を抽出して、前記表示手段に該操作者の一部と前記表示手段との位置関係に応じた標示を表示し、前記操作者の一部の移動に対応して該標示を移動させる背面制御ステップと、
前記確定手段により、前記標示の前記表示手段の表示面上の位置に関連する操作を確定するための確定ステップと、
前記確定ステップにおいて前記操作が確定すると、所定の信号を出力する信号出力ステップと
を備えたことを特徴とするプログラム。
【請求項１２】
操作者が閲覧する画像を表示する表示手段と、前記表示手段の前面に配置され、前記表示手段の前面にある前記操作者の一部を撮像する前面撮像手段と、該表示手段の背面にある前記操作者の一部を撮像する背面撮像手段とを備えた操作入力装置に操作入力方法を実行させるプログラムであって、該操作入力方法は、
前記前面撮像手段により読取られた画像から前記表示手段の背面にある操作者の一部を抽出して、前記表示手段に該操作者の一部と前記表示手段との位置関係に応じた標示を表示し、前記操作者の一部の移動に対応して該標示を移動させる前面制御ステップと、
前記背面撮像手段により撮像された、前記表示手段の背面にある前記操作者の一部を用いて所定の動作が行われたとき前記標示の前記表示手段の表示面上の位置に関連する操作を確定する確定ステップと、
を備えたことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作入力装置、操作判定方法およびプログラムに関し、より詳細には、カメラ等により撮影した画像から操作者の動作の判定を行う操作入力装置、操作判定方法およびプログラムに関する。
【背景技術】
【０００２】
コンピュータ、携帯電話を含む携帯端末やゲーム機器などにおいてデータを入力する場合、通常はキーボード、タッチパネルあるいはマウスなどが用いられる。特に、近年普及が著しいスマートフォンやタブレット型ＰＣ、携帯型ゲーム機等の機器は、タッチパネル機能を設けることで、直感的に操作が可能となっている（例えば特許文献１を参照）。
【０００３】
また、操作者が特別な機器を装着することなく、操作者の操作に関する利便性をより向上させることを目的とし、操作者に対して、キーボードやマウス等に相当する操作手段を適切な空間部分に、例えば仮想平面Ｇや仮想キーボードＨを定義することで、操作者が表示画像に対して、マウス操作であるクリック操作、ドラック操作、ダブルクリック操作等を行うことや、所望する線、図形、或いは、文字等を描画、入力することを可能にする技術が提案されている（例えば特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００９−５２２６６９号公報
【特許文献２】特開２００４−２５８７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、タッチパネル等のデバイスを使用すると指で操作する際、直接指がタッチパネルに触れることとなるため、指紋や脂の付着による恒常的な画面の汚れ、操作する指で対象画面を隠すことによる視野の妨げおよびドラッグ操作時の指先への摩擦ストレス（主として抵抗膜感圧式）などの問題がある。また、タッチパネルセンサを設ける必要があるためタッチパネルコストがかかり、スマートフォン等で主流技術の静電容量式のタッチパネルでの手袋装着使用は専用の通電性のある手袋が必要であるという問題がある。
【０００６】
また、引用文献２の技術を用いると、非接触で入力操作を行うことができるが、スクリーンに画像を投影するなど大掛かりな装置が必要となるので、コストが高くなり、または構造が大型化するという問題がある。
【０００７】
本発明は、このような問題に鑑みてなされたもので、タッチパネル等の直接指を接触させる操作を必要とせず、操作者に負担が少ない動作入力を的確に判定することが可能な操作入力装置、操作判定方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
このような目的を達成するために、請求項１に記載の発明は、操作入力装置であって、操作者が閲覧する画像を表示する表示手段と、表示手段の前面に配置され、表示手段の前面にある操作者の一部を撮像する前面撮像手段と、前面撮像手段により読取られた画像から示手段の前面にある操作者の一部を抽出して、表示手段に操作者の一部と表示手段との位置関係に応じた標示を表示し、操作者の一部の移動に対応して標示を移動させる前面制御手段と、装置筐体のいずれかの位置に配置され、標示の表示手段の表示面上の位置に関連する操作を確定する確定手段と、確定手段により操作が確定すると、所定の信号を出力する信号出力手段とを備えたことを特徴とする。
【０００９】
請求項２に記載の発明は、操作入力装置であって、操作者が閲覧する画像を表示する表示手段と、表示手段の背面に配置され、表示手段の背面にある操作者の一部を撮像する背面撮像手段と、背面撮像手段により読取られた画像から表示手段の背面にある操作者の一部を抽出して、表示手段に操作者の一部と表示手段との位置関係に応じた標示を表示し、操作者の一部の移動に対応して標示を移動させる背面制御手段と、装置筐体のいずれかの位置に配置され、標示の表示手段の表示面上の位置に関連する操作を確定する確定手段と、確定手段により操作が確定すると、所定の信号を出力する信号出力手段とを備えたことを特徴とする。
【００１０】
請求項３に記載の発明は、請求項２に記載の操作入力装置において、表示手段の前面に配置され、表示手段の前面にある操作者の一部を撮像する前面撮像手段と、前面撮像手段により読取られた画像から表示手段の背面にある操作者の一部を抽出して、表示手段に操作者の一部と表示手段との位置関係に応じた標示を表示し、操作者の一部の移動に対応して標示を移動させる前面制御手段とをさらに備えたことを特徴とする。
【００１１】
請求項４に記載の発明は、請求項３に記載の操作入力装置において、前面撮像手段により読取られた操作者の画像により定められる領域であって、操作者の一部が表示手段に表示された所定の標示を制御することができる制御領域を予め設定する領域設定手段をさらに備えたことを特徴とする。
【００１２】
請求項５に記載の発明は、請求項４に記載の操作入力装置において、制御領域は、操作者の視点と表示手段の表示面の各頂点とを結んで定められる領域にかからない領域であることを特徴とする。
【００１３】
請求項６に記載の発明は、操作入力装置であって、操作者が閲覧する画像を表示する表示手段と、表示手段の前面に配置され、表示手段の前面にある操作者の一部を撮像する前面撮像手段と、前面撮像手段により読取られた画像から表示手段の背面にある操作者の一部を抽出して、表示手段に操作者の一部と表示手段との位置関係に応じた標示を表示し、操作者の一部の移動に対応して標示を移動させる制御手段と、表示手段の背面に配置され、表示手段の背面にある操作者の一部を撮像し、所定の動作が行われたとき標示の表示手段の表示面上の位置に関連する操作を確定する確定手段と、確定手段により操作が確定すると、所定の信号を出力する信号出力手段とを備えたことを特徴とする。
【００１４】
請求項７に記載の発明は、操作者が閲覧する画像を表示する表示手段と、表示手段の前面に配置され、表示手段の前面にある操作者の一部を撮像する前面撮像手段とを備えた操作入力装置により操作入力をする方法であって、前面撮像手段により読取られた画像から示手段の前面にある操作者の一部を抽出して、表示手段に操作者の一部と表示手段との位置関係に応じた標示を表示し、操作者の一部の移動に対応して標示を移動させる前面制御ステップと、装置筐体のいずれかの位置に配置された確定手段により、標示の表示手段の表示面上の位置に関連する操作を確定する確定ステップと、確定ステップにおいて操作が確定すると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。
【００１５】
請求項８に記載の発明は、操作者が閲覧する画像を表示する表示手段と、表示手段の背面に配置され、表示手段の背面にある操作者の一部を撮像する背面撮像手段とを備えた操作入力装置により操作入力をする方法であって、背面撮像手段により読取られた画像から示手段の背面にある操作者の一部を抽出して、表示手段に操作者の一部と表示手段との位置関係に応じた標示を表示し、操作者の一部の移動に対応して標示を移動させる背面制御ステップと、装置筐体のいずれかの位置に配置された確定手段により、標示の表示手段の表示面上の位置に関連する操作を確定する確定ステップと、確定ステップにおいて操作が確定すると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。
【００１６】
請求項９に記載の発明は、操作者が閲覧する画像を表示する表示手段と、表示手段の前面に配置され、表示手段の前面にある操作者の一部を撮像する前面撮像手段と、表示手段の背面にある操作者の一部を撮像する背面撮像手段とを備えた操作入力装置により操作入力をする方法であって、前面撮像手段により読取られた画像から表示手段の背面にある操作者の一部を抽出して、表示手段に操作者の一部と表示手段との位置関係に応じた標示を表示し、操作者の一部の移動に対応して標示を移動させる前面制御ステップと、背面撮像手段により撮像された、表示手段の背面にある操作者の一部を用いて所定の動作が行われたとき標示の表示手段の表示面上の位置に関連する操作を確定する確定ステップと、確定ステップにおいて操作が確定すると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。
【００１７】
請求項１０に記載の発明は、操作者が閲覧する画像を表示する表示手段と、表示手段の前面に配置され、表示手段の前面にある操作者の一部を撮像する前面撮像手段と、装置筐体のいずれかの位置に配置された確定手段とを備えた操作入力装置に操作入力方法を実行させるプログラムであって、操作入力方法は、面撮像手段により読取られた画像から示手段の前面にある操作者の一部を抽出して、表示手段に操作者の一部と表示手段との位置関係に応じた標示を表示し、操作者の一部の移動に対応して標示を移動させる前面制御ステップと、確定手段により、標示の表示手段の表示面上の位置に関連する操作を確定する確定ステップと、確定ステップにおいて操作が確定すると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。
【００１８】
請求項１１に記載の発明は、操作者が閲覧する画像を表示する表示手段と、装置筐体のいずれかの位置に配置された確定手段と、表示手段の背面にある操作者の一部を撮像する背面撮像手段とを備えた操作入力装置に操作入力方法を実行させるプログラムであって、操作入力方法は、背面撮像手段により読取られた画像から表示手段の背面にある操作者の一部を抽出して、表示手段に操作者の一部と表示手段との位置関係に応じた標示を表示し、操作者の一部の移動に対応して標示を移動させる背面制御ステップと、確定手段により、標示の表示手段の表示面上の位置に関連する操作を確定するための確定ステップと、確定ステップにおいて操作が確定すると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。
【００１９】
請求項１２に記載の発明は、操作者が閲覧する画像を表示する表示手段と、表示手段の前面に配置され、表示手段の前面にある操作者の一部を撮像する前面撮像手段と、表示手段の背面にある操作者の一部を撮像する背面撮像手段とを備えた操作入力装置に操作入力方法を実行させるプログラムであって、操作入力方法は、前面撮像手段により読取られた画像から表示手段の背面にある操作者の一部を抽出して、表示手段に操作者の一部と表示手段との位置関係に応じた標示を表示し、操作者の一部の移動に対応して標示を移動させる前面制御ステップと、背面撮像手段により撮像された、表示手段の背面にある操作者の一部を用いて所定の動作が行われたとき標示の表示手段の表示面上の位置に関連する操作を確定する確定ステップとを備えたことを特徴とするプログラム。
【図面の簡単な説明】
【００２０】
【図１】本実施形態の操作入力システムの一例を説明するための図である。
【図２】本実施形態の操作入力システムの動作を模式的に示す図である。
【図３】本実施形態の操作入力システムの動作を模式的に示す図である。
【図４】本実施形態の指先の認識を説明するための図である。
【図５】本発明の一実施形態にかかる入力装置のハードウェア構成を示すブロック図である。
【図６】本発明の一実施形態にかかる入力方法を実現するための機能ブロック図である。
【図７】本実施形態の処理のフローチャートである。
【図８】本発明の一実施形態にかかる指認識における画像の補正を説明するための図である。
【図９】本発明の別の一実施形態の操作方法を示す図である。
【図１０】本発明の別の一実施形態の操作方法を示す図である。
【図１１】本発明の別の一実施形態の操作方法を示す図である。
【図１２】本発明をパソコンの操作に適用した一実施形態を示す図である。
【図１３】本発明を自動預け払い機の操作に適用した一実施形態を示す図である。
【図１４】本発明の一実施形態において確定ボタンとしてアウトカメラを使用した例を示す図である。
【図１５】本発明の一実施形態において確定ボタンとしてアウトカメラを使用した例を示す図である。
【図１６】本発明の別の一実施形態にかかる操作入力システムの例を示す図である。
【図１７】本発明の別の一実施形態にかかる操作入力システムの例を示す図である。
【図１８】本実施形態にかかる操作入力装置のハードウェア構成を示すブロック図である。
【図１９】本発明の別の一実施形態の操作方法を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００２２】
（第１実施形態）
図１は、本実施形態の操作入力システムの一例を説明するための図である。本実施形態では、操作者左手１０２で操作入力手段である携帯電話１０１を保持し、右手１０３の指で携帯電話１０１の操作を行うが、もちろん右手で携帯電話を保持して左手で操作することもできる。図１に示すように、操作者は、携帯電話１０１の画面に触れることなく、右手１０３の指を空中に浮かせたまま、画面に表示されたアイコンを指定したり、カーソルを移動させたりすることができる。一方、左手１０２は携帯電話を保持するとともに、その指で携帯電話１０１の任意の場所に配置された確定ボタンを押下することにより、右手１０３の指で特定された操作や位置を確定させる。このようにして、携帯電話１０１に対して操作を行うことができる。
【００２３】
図２は、本実施形態の操作入力システムの動作を模式的に示す図である。図２を参照して、本実施形態の動作原理を説明する。スマートフォン、あるいは携帯電話１０１に備えられた前面撮像手段であるカメラ２０１により右手１０３の指の位置を取得し、指の位置の付近に携帯電話１０１の画面２０３に対応するように操作領域を空中に設定し、操作者の指の操作領域内での位置に対応させて、指を移動させると画面２０３上のカーソルを移動させたり、あるいはアイコンを強調表示して指定させたりする。例えば、図２においては、アイコン２０５に操作者の操作はフォーカスされている。このような状態で、左手１０２の指で確定ボタン２０２が押下されると、例えば現在フォーカスしているアイコンが示す操作が確定され、実行される。例えば、カーソル２０５が何らかのアプリのアイコンである場合は、操作の確定によりそのアプリが実行される。
【００２４】
さらに、カーソルの移動やアイコンの選択のほかにも、通常タッチパネルやマウスで行うことができる操作、例えばドラッグなども、操作の確定を行わない方の手で実行することができる。具体的には、所望のアイコン上にカーソルを置いた状態で確定ボタン２０２を押下し続け、所望の位置にアイコンを移動させた後確定ボタン２０２を話すことによりマウスによるドラッグと同じ操作ができるが、これに限られず、本技術分野の技術により任意のジェスチャを使用することができる。また、例えば図１９に示すように、手のひらを上下左右に振る、いわゆるフリップジェスチャにより、画面内の表示も連動してスクロースさせることができ、ドラッグと別に、移動させる対象物が単一ではなく表示グループ単位であったり、慣性を効かせてスムーズに動くようにしたりすることができる。
【００２５】
ここで、本実施形態の場合、カメラ２０１として、携帯電話１０１に内蔵されたいわゆるインカメラを使用するが、これに限られず外付けの簡易カメラなど、操作者の一部を撮像できるものであれば、様々な撮像機器を用いることもできる。また、確定ボタン２０２は、装置やシステムの構成に合わせ、キーボードの１つを使用したり、特定のタッチセンサを使用したりするなど、カメラ２０１を用いずに確定動作を認識できるものであればいずれのものを使用することもできる。
【００２６】
すなわち、本実施形態では、装置に内蔵されたカメラあるいは簡易に取り付けられるカメラを用いて操作者の指の位置を認識することにより、指の位置や動きにより所望の操作を特定し、別途設けられた確定キーあるいはボタンにより操作を確定することにより非接触で、簡易、確実に操作入力を可能にする。本実施形態では、操作者の指により操作の特定を行うように説明するが、これに限られず操作者の身体の一部であればどの部位を使用することもでき、また操作者が保持し、あるいは装着等した器具も操作者の一部に含むことができる。なお、図３に示すように、携帯電話１０１を横向きにして操作することもできる。図３に示す操作入力の例では、装置右側にあるカメラにより操作者の手１０３の指の位置が特定され、操作領域３０１を基準に指の位置および動きを判定し、対応する位置のアイコン３０２を拡大表示するなどしてフォーカスする。この場合、端末に内蔵されたセンサに対応して縦持ち、横持ちの区別を判断して対象画面の画面表示に対応して、カメラによるジェスチャ操作判定のＸＹ座標を変更する。このため、カメラ撮影で取得する動画像を操作対象画面とおおよそ合致した縦横比に切り出すことにより的確な指先端の認識が可能となる。
【００２７】
また、図９に示すように、操作者が携帯電話の下部を保持して操作する場合は、確定ボタン９０１は、装置の下部に設けることもできる。
【００２８】
ここで、指の位置および動きを認識する基準となる仮想面により形成される作業領域は、操作入力動作で操作者が手を動かしても画面２０３に表示された画面を遮ることはなく、通常の操作時の視認性を確保するように設定する。例えば、操作環境により、図１０や図１１に示すように操作者の画面への視線をさえぎらないように操作領域を設定することにより、画面の表示を確認しながら指を動かして所望の操作を特定することができる。また、一般に操作領域は、おおよそ対象画面の上部に同様の面積で位置するような場合が多いが、対象画面が小さい場合は、それよりも大きいことが望ましく、逆に操作対象画面が大きい場合は判定画像領域を小さくする方が操作しやすい。したがって、本実施形態では、利用環境下で予め最適な操作判定用の領域を設定し記録しておいたり、カメラに対して専用の位置指定用キャリブレーション用のシートを最初に撮像させ、あるいは片手で指示したりすることもできる。
【００２９】
図４は、本実施形態の指先の認識を説明するための図である。予め定め、あるいは設定したジェスチャ制御エリア内における操作者の指をカメラ２０１で撮像し、指画像を生成する。生成された指画像から、図４に示すように、指の輪郭画像の抽出し、画像の二値化により先端部およびボーンを認識する。ここで、輪郭、先端の認識は、本技術分野で知られたいずれの手法を用いることもできる。このように認識された指の先端の位置および動きに基づいて、画面上のカーソルを移動させたり、アイコンを指定したりする。
【００３０】
また、指の先端を認識するに当たっては、指の画像のゆがみも考慮する必要がある。図８は、本実施形態にかかる指認識における画像の補正を説明するための図である。本実施形態のカメラは、上述のとおり携帯電話１０１の上端や右端などの設置されているため、通常のレンズのゆがみに加え、操作者の指の画像は図８に示すように一定のゆがみを生じることがある。例えば、図８の（ａ）に示すような樽型収差の起きた画像であったり、（ｂ）に示すような収縮収差の起きた画像であったりするが、指輪郭画像を抽出する前後において、（ｃ）のように補正し、作業領域内におけるドラッグ等の移動動作の軌跡が実際の動作と適合するようにする。
【００３１】
（本実施形態のシステム構成）
図５は、本発明の一実施形態にかかる入力装置のハードウェア構成を示すブロック図である。ＣＰＵ５０１には、ディスプレイ２０３、カメラ２０１および確定ボタン２０２が接続されており、画像の入出力や信号の入力が行われる。ここには図示しないが、通常の装置が有する機能、例えば携帯電話であれば、電話や通信機能、パソコンであればハードディスク等の記憶装置やマウスなども含まれるが、ここでは本実施形態に必要な機能のみ説明する。
【００３２】
カメラ２０１の撮影により得られた画像は、ＣＰＵ５０１において本実施形態の特徴である操作者の一部である右手の指の画像を抽出する。本実施形態の携帯電話１０１は、一般にＣＰＵ５０１を備え、ＲＯＭ５０２等に記憶されたプログラムをＲＡＭ５０３上で実行して、カメラ２０１から入力した画像に基づいた処理結果をディスプレイ２０３等に出力する。本実施形態では、ディスプレイ２０３は、上述の操作者の指の動作によりフォーカスされるアイコンなどのほか、操作者が体験しようとする様々なアプリケーションにより提供される種々の映像を出力することができ、また操作入力の支援となるような情報も表示することもできる。
【００３３】
図６は、本実施形態の携帯電話１０１のＣＰＵ５０１内で処理されるプログラムの機能モジュールの一例を示すブロック図である。図６に示すように、本システムにおける処理は、画像読取部６０１、画像抽出部６０２、画像位置算出部６０３、操作判定部６０４および標示制御部６０５により実行される。なお、本実施形態では、カメラ２０３からの画像を受取ってから、データの出力を行うまでの処理をこの５つのモジュールにより実行するが、これに限られることなく、その他のモジュールを用い、あるいはより少ないモジュールで処理することもできる。
【００３４】
（本実施形態の操作判定処理）
本実施形態の操作判定処理を、図２、６および７を参照して説明する。図７は、本実施形態の処理のフローチャートである。カメラ２０３等で撮影した操作者の一部である右手１０３の指の位置を定めるとともに、これらの位置とディスプレイ上の対応する点との相対的な位置や、形状に基づいて、ディスプレイ上のカーソルを移動させたり、アイコンを特定し、あるいは一定の操作と判定したりする。まず、図６の画像読取部６０１においてカメラ２０３等で撮影されたデータを読取り、そのデータから操作者の指の画像を、画像抽出部６０２により抽出する（Ｓ７０１および７０２）。ここで、記憶手段などに予め記憶していた有効な動作領域の位置、大きさを読み出して、領域内の指の動きだけを使用することもできる。指の抽出ができた後に、本技術分野で知られたいずれかの方法で、指の位置に対応するディスプレイ２０３上の位置にカーソルを表示したり、アイコンをフォーカス表示したり等して、標示制御部６０５により表示が制御され、指の動きとともに移動するよう制御される。したがって、操作者は表示されたカーソルの動きやアイコンの表示形態に合わせて指を動かすことにより、表示面に表示された画像を制御して操作を特定することができる（Ｓ７０３）。
【００３５】
操作判定部６０４は、操作者が確定ボタン２０２を押下したことを認識すると、ステップＳ７０３で特定した操作が行われた判断し、特定された操作内容とともに、操作が実行されたことをＣＰＵに通知し（Ｓ７０４および７０５）、確定された操作に基づいてその後の処理が行われる（Ｓ７０６）。例えば、カーソル移動であれば、移動した入力フィールドで入力が可能になるなどの処理が行われ、アプリのアイコンが指定されたのであれば、指定されたアプリが実行される。
【００３６】
（その他の応用例）
本実施形態では、主に携帯電話における操作入力を例に本発明を説明したが、本発明の操作入力装置、操作判定方法およびプログラムは、他の様々な装置、システムに適用することができる。図１２および１３に、そのような適用例の１つを示す。図１２は、本発明をパソコンの操作に適用した一実施形態を示す図である。パソコンに内蔵、あるいは外付けのウェブカメラ１２０１等により操作者の右手１０３の指を認識して操作することにより、マウスなしでパソコンの操作が可能になる。特に、ノートパソコン等携帯型のパソコンを外出先などで使用する場合、マウスが使用できないことが多く、マウスパッドなどの付属のポインターでは操作性が低下するときなどに有効である。
【００３７】
また、図１３は、本発明を自動預払機の操作に適用した一実施形態を示す図である。筐体１３０１の適当な位置にカメラを設置し、画面１３０２に対し右手１０３の指で操作をすることにより、入力操作を行うことができる。この場合、操作の確定は左手１０２で備え付けのキーボードを押下するなどにより行うことが可能である。これにより、本発明を適用した現金預払機によれば、パスワード等の操作で特定の暗証番号等のボタンに操作痕が残りセキュリティホールになるといった問題を防止することができる。すなわち、通常のタッチパネルの操作は、操作者が直接ターゲットを押すことになるが、パスワードや暗証番号などの操作の場合、第三者がその入力の様子を見たり、動画等で記録したりすることによって、容易に秘密の情報が流出する可能性がある。しかし、本発明によると、ポインティング操作は一連の流れの動作として行われ、別の位置にあるボタンやセンサに向けた、ごく小さな動きの操作で入力決定されるため、外観からではどのタイミングで何が入力されているかは、非常にわかりにくい。また、決定操作用のボタンにカバーを施すことで完全に入力タイミングを隠すことも可能となる。よって、現金預払機やセキュリティロック等の利用の場においても、非常に有効な操作方法を提供することが可能となる。
【００３８】
以上、本実施形態によれば、タッチパネル等の直接指を接触させる操作を必要とせず、操作者に負担をかけずに入力操作を的確に判定することが可能となる。
【００３９】
（第２実施形態）
上述の第１実施形態では、操作の確定に、装置の適当な位置に配置された確定キーまたはボタンを使用するが、本実施形態では、携帯電話等の画面とは反対の面、すなわち背面に取り付けられたカメラ、いわゆるアウトカメラを使用して操作の確定を指示する。図１４および１５に、本実施例の操作例を示す。また、図１８は、本実施形態にかかる操作入力装置のハードウェア構成を示すブロック図である。第１実施形態に比し、インカメラ２０１に加え、背面撮像手段である、アウトカメラ１５０１が内蔵されているが、その他は基本的に第１実施形態の構成と同様である。
【００４０】
本実施形態の操作は、図１４に示すように、右手の指によるカーソルやアイコンの制御は第１実施形態と同様であるが、左手は装置背面にあるアウトカメラに対し動作を行って、操作の確定処理を指示する。具体的な左手の動作は、図１５に示すように、アウトカメラ１４０１のレンズを左手１０２の指で塞ぐことにより操作の確定とすることができるが、これに限られず、アウトカメラ１４０１を使用して様々な方法で操作を確定させることができる。
【００４１】
以上、本実施形態によると、通常携帯電話に装備されている２つのカメラ（アウトカメラ、インカメラ）を選択と決定という異なる動作に割り振ることで、タッチパネルセンサの代替とし、省コスト化することができ、また画面に接触しないことにより汚れ防止をすることもできる。
【００４２】
（第３実施形態）
上述の第１および第２実施形態では、カーソルの移動やアイコンの指示などの操作制御を表示部の前面にあるインカメラで捉えた指の動作に基づいて判定するが、本実施形態では表示部の背面にあるアウトカメラで捉えた指の動作に基づいて操作制御を行う。すなわち、図１６に示すようにアウトカメラ１５０１で指の動きを撮像して、装置の背面に設定された操作領域１５０２内の指の位置および動きに対応させて画面上のカーソルを移動したり、アイコンを強調表示したりする。
【００４３】
図１７に示すように、指の動きにより画面２０３上の、例えばアイコン１７０１が特定され、強調表示される。この状態で。確定ボタン２０２が押下されると、アイコン１７０１の指定が確定され、アイコン１７０１がアプリのアイコンである場合は、そのアプリが実行される。このように、操作領域を背面に設けることで、操作者は画面の延長に操作領域を把握することが可能となり、直感的操作がより容易になる。ここで、操作の確定は、上述の第１および２実施形態で用いた確定方法を適宜調整して、用いることができる。
【００４４】
以上、本実施形態によると、操作領域をディスプレイを挟んだ向こう側に設定し、対象画面に指の先端認識によるカーソルを置いたり、フォーカスが合っているアイコンを拡大縮小したりすることで操作入力を行うことができる。これにより、携帯端末やタブレットＰＣ等の対象画面が小さい場合、操作する指で画面を塞がないので全画面の視野を確保したまま操作が行え、操作者と画面の間に手など介在させなくとも良いので双方の距離が近いままで操作でき、タッチパネルセンサが省略できることにより省コストとすることが可能である。
【図１】
2013171529.tif 000003
【図２】
2013171529.tif 000004
【図３】
2013171529.tif 000005
【図４】
2013171529.tif 000006
【図５】
2013171529.tif 000007
【図６】
2013171529.tif 000008
【図７】
2013171529.tif 000009
【図８】
2013171529.tif 000010
【図９】
2013171529.tif 000011
【図１０】
2013171529.tif 000012
【図１１】
2013171529.tif 000013
【図１２】
2013171529.tif 000014
【図１３】
2013171529.tif 000015
【図１４】
2013171529.tif 000016
【図１５】
2013171529.tif 000017
【図１６】
2013171529.tif 000018
【図１７】
2013171529.tif 000019
【図１８】
2013171529.tif 000020
【図１９】
2013171529.tif 000021