(57)【要約】【課題】携帯型情報機器を両手で持った状態でも、あるいは、片方の手で機器を持ちかつ他方の手が塞がって使えない状態でも、簡単な動作で入力操作ができる携帯型情報機器用入力装置を提供する。【解決手段】表示装置２側にカメラ３を備えた携帯型情報機器１用入力装置であって、カメラ３で撮像された対象物の縦方向あるいは横方向の少なくとも２点の射影情報を基に、表示装置２内の２次元位置情報と、携帯型情報機器１と対象物との間の距離情報を検知する携帯型情報機器用入力装置。携帯型情報機器１に備えられたカメラ３のレンズを覆うように可視光カットフィルター４を設置し、カメラ３の視野内に、一定距離離れた少なくとも２点の赤外光発光装置６を設置し、２点間の射影情報から、２次元位置情報と携帯型情報機器１との間の距離を求める。【選択図】  図３
2013164736.tif 000002
【特許請求の範囲】
【請求項１】
表示装置側にカメラを備えた携帯型情報機器用入力装置であって、前記カメラで撮像された対象物の縦方向あるいは横方向の少なくとも２点の射影情報を基に、前記表示装置内の２次元位置情報と、前記携帯型情報機器と前記対象物との間の距離情報を検知することを特徴とする携帯型情報機器用入力装置。
【請求項２】
前記携帯型情報機器に備えられたカメラのレンズを覆うように可視光カットフィルターを設置し、当該カメラの視野内に、一定距離離れた少なくとも２点の赤外光発光源を設置したことを特徴とする請求項１に記載の携帯型情報機器用入力装置。
【請求項３】
前記カメラと前記表示装置を傾けることによって、前記カメラで検知している人に装着された前記赤外光発光源の視認位置を相対的に変化させ、前記表示装置内の２次元位置情報を決定することを特徴とする請求項２に記載の携帯型情報機器用入力装置。
【請求項４】
何らかの操作の実行タイミングを決定するスイッチ動作を、前記携帯型情報機器に内蔵された加速度センサーもしくは角速度センサーもしくは前記カメラとは別のイメージセンサーの出力の瞬間的な変化量を基に実行することを特徴とする請求項１〜３のいずれかの項に記載の携帯型情報機器用入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮像された物体の相対的な位置情報を用いたユーザー・インターフェース技術であって、スマートフォンやタブレット端末などのカメラ付き携帯型情報機器に利用できる入力装置に関する。
【背景技術】
【０００２】
一般にパソコンなどの情報機器への操作入力には、キーボードやマウスなどが主に使われている。キーボードではキャラクター（文字や数字）情報をそれぞれ対応するボタンを指等で押すことにより入力することができる。また、マウスではその平面上の動きで表示装置内の２次元指示位置を自由に移動させることができ、マウスと一体となったボタン等によって何らかの操作を実行するタイミングを決定することができる。テレビやオーディオ機器などでは、それぞれの操作機能毎のボタンが多数搭載された赤外線通信方式のリモコン装置によって所望の機能を手元で入力操作することができる。
【０００３】
これら何れの入力方式においても、情報機器とは別に用意されたボタンや移動検知機能を備えた専用装置を用いて、手や指等でそれらを操作することを特徴としている。
【０００４】
一方、スマートフォンやタブレット端末などの携帯型情報機器においては、その機器に備えられた小型のボタン群や、表示装置と一体となったタッチパネル等を指などで操作して入力を行っている。これらは携帯端末向けに小さな領域でもストレス無く操作できるように、操作入力予想機能等を用いて少ないボタン数や操作数で所望の入力ができるように工夫されている。しかし、何れの携帯情報端末においても、その入力操作には少なくとも片方の手が必要である。携帯情報端末は通常、手で保持する場合が多いので、保持する手と操作する手の両方が塞がり、他の物を持ったままや他の作業をしながら操作するのが難しい。また、タブレット端末など片手で安定して持つのが難しいサイズのものは、一旦何処かに置かないと操作できない。
今後、携帯型情報端末の利便性を更に向上させるためには、入力方法の工夫が必要である。
【０００５】
本発明に係る、携帯型情報機器に付属したカメラで撮像された物体の相対的な位置情報を用いた入力装置は、このような背景のもとに考案され、先に出願した発明（出願番号：特願２０１１−０１３２８９、発明の名称：「携帯型情報機器用入力装置」）に関連するものである。先の発明では三次元空間センサーを用いてその機能を実現していたが、本発明では、携帯型情報機器に付属したカメラを利用して、当該携帯型情報機器の入力操作を可能にする。
【０００６】
パソコン等の入力装置として、カメラ（２次元イメージセンサー）で撮像した画像データを用いる方法が提案されている（例えば、特許文献１〜５参照）。それらは、カメラで撮像された画像から顔内の眼や瞳、虹彩、口などをパターンマッチング手法等によって検知し、その２次元的位置情報あるいは、その形状の変化情報を、表示装置内の２次元指示位置情報や何らかの操作情報として用いることを共通の特徴としている。
【０００７】
これらの手法は、特定の対象に対するパターンマッチング手法等で対象物の位置や形状の変化を検知しており、様々な環境で安定に検知動作させるためには、様々な画像調整処理やパターンマッチング処理を大量に行う必要があり、装置コストや処理時間が大きくなる。
【０００８】
また、携帯端末に内蔵された多数の加速度センサーや角速度センサー（ジャイロ等）を用いて、その装置を傾けることで表示装置内のカーソル等を移動させる方法が考案されている（例えば、特許文献６，７参照）。
【０００９】
しかし、一般的に用いられる加速度センサーは角度の変化に対する検知感度が低く、また角速度センサーは回転動作しか検知できない。従って、装置を傾ける場合の静的な角度精度が十分に得られない。そこで一般には、傾きの変化の大きさに比例して、その方向への力という表現でカーソル等を移動させる方法をとるが、所望の所に精度良くカーソルを静止させることが難しい。また、仮にコスト等を犠牲にして加速度センサーの感度を十分に高くできたとしても、傾き角度を検知するために利用する重力加速度と装置自体に掛かるその他の加速度を原理的に分離できず、移動している場合や、体勢が変化する場合など、生活上頻繁に遭遇する状況での利用が難しくなる。
【００１０】
その他、ステレオ画像により３次元位置を検知し、検知した手で指し示した方向の画像を出力する装置（例えば、特許文献８参照）が提案されているが、本発明とは装置構成要件が異なる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００６−５９１４７号公報
【特許文献２】特開２００６−３０９２９１号公報
【特許文献３】特開２００７−１０２４１５号公報
【特許文献４】特開２００４−３６２５６９号公報
【特許文献５】特開平９−３０５７４３号公報
【特許文献６】特表２００７−５０９４４８号公報
【特許文献７】特開２００３−５１５９６１号公報
【特許文献８】特開２００３−１４１５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述したように、スマートフォンなどの携帯型情報機器に備えられた入力装置は多数のボタンやタッチパネル等であり、それらは指やタッチペンなどで操作する必要がある。通常、携帯機器を保持するために片方の手が用いられるので、操作する手と合わせて両方の手が、その機器を操作するのに必要である。
【００１３】
また、タブレット端末など片手で安定に保持するのが難しいサイズの携帯機器に対しては、両手で保持すると入力操作ができなくなるので、机や膝などの上にその機器を置いて操作することになる。この制約は利用環境や使用機会を大きく損なうことになり、その機器の利用範囲を狭くしている。そこで、両手で保持しながらでも容易に操作ができる入力装置の開発が望まれている。
【００１４】
本発明は、携帯型情報機器を両手で持った状態でも、あるいは、片方の手で機器を持ちかつ他方の手が塞がって使えない状態でも、簡単な動作で入力操作ができる携帯型情報機器用入力装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
前記課題を解決するため、本発明は、携帯型情報機器の利用環境を考慮し、手の他にその機器周辺に存在する物体を利用して入力する手法を提案する。
本発明の第１の構成は、表示装置側にカメラを備えた携帯型情報機器用入力装置であって、前記カメラで撮像された対象物の縦方向あるいは横方向の少なくとも２点の射影情報を基に、前記表示装置内の２次元位置情報と、前記携帯型情報機器と前記対象物との間の距離情報を検知することを特徴とする携帯型情報機器用入力装置である。
【００１６】
この第１の構成においては、携帯型情報機器に備えられているカメラによって対象物の縦方向あるいは横方向の少なくとも２点の射影情報を検知する。２点の射影情報に対応する表示装置上の中間位置が２次元位置情報となる。またこの２点の射影情報の間の長さは予め設定されているので、２点の射影情報の長さと撮像された表示装置における２点の長さに基づいて、携帯型情報機器と対象物との間の距離を求めることができる。
【００１７】
本発明の第２の構成は、前記携帯型情報機器に備えられたカメラのレンズを覆うように可視光カットフィルターを設置し、当該カメラの視野内に赤外光発光源を設置することを特徴とする。カメラで撮像された画像には、所望の画像以外に、多くの画像が含まれており、２次元的位置を求める基礎になる情報以外はノイズとなる。そこで、この第２の構成においては、２次元的位置を求めるための情報を赤外光発生源（少なくとも２つ）とし、カメラではそれ以外の情報を除去するために、可視光カットフィルターをレンズに装着する。これにより、２つの赤外光発生源に基づいて、精度よく携帯型情報機器と赤外光発生源との間の距離を求めることができる。
【００１８】
本発明の第３の構成は、第２の構成において、カメラと表示装置を傾けることによって、前記カメラで検知している人に装着された赤外光発光源の視認位置を相対的に変化させ、表示装置内の２次元位置情報を決定することを特徴とする。この第３の構成では、カメラと表示装置を傾けることにより、傾ける前後の赤外光発光源の変化を表示装置上のカーソルの動きと捉え、２次元指示位置を決定する。これにより、表示装置上で指等でなぞると同様の操作を行うことができる。
【００１９】
本発明の第４の構成は、第１〜３の構成において、何らかの操作の実行タイミングを決定するスイッチ動作を、前記携帯型情報機器に内蔵された加速度センサーもしくは角速度センサーもしくは前記カメラとは別のイメージセンサーの出力の瞬間的な変化量を基に実行することを特徴とする。この第４の構成においては、携帯型情報機器に内蔵された加速度センサーなどの信号の瞬間的変化情報をもとにボタン機能に相当する任意の機能の操作タイミングを決定することができる。これによって、携帯型情報機器を保持している手でその機器を少し傾けたり移動したりするだけで、検知している対象物を表示装置上で相対的に移動させることができ、高い精度（感度）で位置を静的に設定できると共に任意のタイミングでスイッチ操作を行うことが可能となる。
【発明の効果】
【００２０】
本発明によれば、スマートフォン等の片手で保持できる携帯情報端末に関しては、その保持した片方の手だけで入力操作が可能になり、他のものを持った状態での操作や、他の作業をしながらの操作が可能となる。また、タブレット端末等両手で保持する必要がある機器に関しては、両手で保持したままで入力操作が可能になり、様々な状況での利用が出来るようになる。これらのことから、携帯型情報機器の利用が更に容易になり、それぞれの利用分野を拡大できる効果がある。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態に係る携帯型情報機器の構成例を示す正面図である。
【図２】本発明の実施の形態に係る携帯型情報機器を人が持っている状態を示す斜視図である。
【図３】本発明の実施の形態に係る携帯型情報機器を近赤外線発光装置付きのメガネを装着した人が持っている状態を示す斜視図である。
【図４】図３で示した近赤外線発光装置付きのメガネの正面図である。
【図５】携帯型情報機器の表示装置に撮像された検知画像の例を示す説明図である。
【図６】本発明の実施の形態に係る携帯型情報機器を操作している状態を示す背面図である。
【図７】本発明の実施の形態に係る携帯型情報機器による処理の例を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態を、図面を参照しながら説明する。
図１に示すように、本発明の実施の形態に係る携帯型情報機器１は、表示装置２とカメラ（イメージセンサー）３を一体に備えている。本例では、カメラ３のレンズを覆うように短波長カットフィルター（可視光カットフィルター）４が装着されている。
また、図２で示す別の実施例の場合では短波長カットフィルター４を設けないこともある。
【００２３】
図２に示す実施例では、携帯型情報機器１に設置されたカメラ３の視野内にそれを操作する人の頭ないし顔が撮像され、表示装置２上に映し出されるようにする。例えば、操作する人、特に当該携帯型情報機器１の所有者の頭や顔の目や鼻や顎などのパーツのうちの特徴点の２点を予め認識させておく。使用に際しては、カメラ３でその２点の射影情報を検知する。その２点の射影情報に対応する表示装置上の中間位置が２次元位置情報となる。この２点の射影情報の間の長さを予め入力しておくことにより、２点の射影情報の長さと撮像された表示装置における２点の長さに基づいて、携帯型情報機器と対象物との間の距離を求めることができる。
【００２４】
他の好ましい実施例は、図４内に示す赤外線発光装置６を取り付けたメガネ５を、図３に示すように利用者が装着して使用することである。赤外線発光装置６は、図４に示すように、２つの近赤外線発光ダイオード７が備えられており、それらは、携帯型情報機器１に搭載されたカメラ３の視野内に映るよう、その携帯機器に向けて装着治具８等でメガネ５等に装着されている。ここでは、近赤外線発光ダイオード７が２つ設けられている場合を例示しているが、その数は特に限定しない。近赤外線発光ダイオード７を発光させる電源として、一般には、赤外線発光装置６内もしくは電源線で繋がれたバッテリーボックス内に二次電池などを内蔵し、必要に応じてその充電用端子や発光のＯＮ，ＯＦＦを制御するスイッチ等が設置される。図４では、メガネ５に赤外線発光装置６を設置する場合の例を示しているが、携帯型情報機器１に搭載されたカメラ３の視野内に映れば設置場所は何処でも良く、襟元やイヤホーン、胸ポケット等に装着しても良い。
【００２５】
図５の背面図および図７のフローチャートを用いて、図３で示した実施形態における、位置検知方法の例を示す。使用者が２つの光源（近赤外線発光ダイオード７）を含む赤外線発光装置６の像をカメラ３で撮像すると（図７ステップＳ１００）、カメラ３の撮像例９内に、１０で示す発光体の検知の例が映っている。視野内に別の発熱体等がない場合には、赤外線発光装置６からの発光体のみが検知される。そこで、その画面の横方向および縦方向に、検知画像の輝度等の射影を算出する（ステップＳ１１０）。図５内では、横方向射影１１と縦方向射影１２をそれぞれ対応する画像の辺に例示している。そして、それぞれの射影の最大値（１３、１４）を検出して（ステップＳ１２０）、一定のオフセット値１５を引いた値となる射影の値の最も外側の間の幅（１６、１７）を算出する（ステップＳ１３０）。そして、それぞれの中央の座標を表示装置内カーソル等の２次元位置座標（ｘ、ｙ）とし、それらの幅の大きい方の値を携帯型情報機器１と赤外線発光装置６との距離（ｚ）と関連付ける（ステップＳ１４０）。
【００２６】
図２で示した実施例の場合の位置検知方式では、発光体の代わりに、顔等の特定の色情報を用いる。特定の色を検知した画素の数に関して、縦方向及び横方向の射影を取り、その後の処理は前述と同様に行う。
【００２７】
図６に示すように、携帯型情報機器１に内蔵されている加速度センサー１８や裏面カメラ１９などの出力情報を用いて、任意のタイミングでスイッチ操作を行うことが可能となる（ステップＳ１５０）。具体的には、その携帯型情報機器１を保持している手２０の指２１を使って、その携帯型情報機器１を軽く叩けば、携帯型情報機器１の平面に垂直な方向の加速度センサー１８の出力値が急激に変化するので、その変化を捉えることでスイッチ操作を実行することができる。また、裏面カメラ１９のレンズ等を指２１で覆ったりする動作によって、その出力信号の変化からスイッチ操作が可能となる。このように保持している手の指による操作によって、携帯型情報機器１の傾きとは独立に、任意のタイミングでスイッチ操作（マウスにおけるクリック操作）を実行できるので、携帯型情報機器１を保持している片手だけで表示画面内の指示位置の移動とスイッチ操作（マウスと同様の操作）が可能となる。次のスイッチ操作に対応する操作が行われると、ステップＳ１００に戻って繰り返し携帯型情報機器の操作を行うことができる。
【００２８】
なお、図７に示す各ステップの処理は、携帯型端末装置１にアプリケーションを組み込むことで、既存のカメラ付きスマートフォンやタブレット端末等の携帯型情報機器で実行することができる。
【産業上の利用可能性】
【００２９】
本発明は、スマートフォンやタブレット端末などの携帯型情報端末に付属しているカメラを用いて、両手を用いないでカーソル操作が可能な入力装置として、好適に利用することができる。
【符号の説明】
【００３０】
１  携帯型情報端末
２  表示装置
３  イメージセンサー（カメラ）
４  短波長カットフィルター（可視光カットフィルター）
５  メガネ
６  赤外線発光装置
７  近赤外線発光ダイオード
８  装着治具
９  撮像例
１０  発光体検知例
１１  横方向射影
１２  縦方向射影
１３，１４  射影の最大値
１５  オフセット値
１６，１７  射影の値の最も外側の間の幅
１８  加速度センサー
１９  裏面カメラ
２０  手
２１  指
【図１】
2013164736.tif 000003
【図２】
2013164736.tif 000004
【図３】
2013164736.tif 000005
【図４】
2013164736.tif 000006
【図６】
2013164736.tif 000007
【図７】
2013164736.tif 000008
【図５】
2013164736.tif 000009