(57)【要約】【課題】直接装置に触れなくても容易に操作可能な入力装置【解決手段】ユーザ操作によるキー入力を受け付ける入力装置において、当該装置の表面の少なくとも一部の領域であって、各々が発光し、各々にキーが割り当てられた複数の領域であるキー領域部と、領域各々に対して鉛直な方向にある物体までの距離を検出する距離センサ部と、距離センサ部が領域に対して第一の距離内に近づいた物体を検出したときは、領域に割り当てられたキーの入力を表す情報を出力するキー入力制御部と、記距離センサ部が前記領域に対して前記第一の距離より大きい第二の距離内に近づいた物体を検出したときは、該領域の発光を変化させるように前記キー領域部を制御する発光制御部とを具備することを特徴とする入力装置。【選択図】図３
2009217465.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによるボタン操作の入力を受け付ける入力装置において、
当該装置の表面の少なくとも一部の領域であって、各々にボタンが割り当てられた複数の領域であるボタン領域部と、
前記ユーザへの通知を行う通知部と、
当該装置から離れた空間を含む空間における物体の位置を検出する位置検出部と、
前記位置検出部が前記領域に対して第一の距離内に近づいた物体を検出したときは、該領域に割り当てられたボタンが操作されたことを表す情報を出力するボタン入力制御部と、
前記位置検出部が前記領域に対して前記第一の距離より大きい第二の距離内に近づいた物体を検出したときは、該領域に対応した通知を前記通知部に行わせる通知制御部と
を具備することを特徴とする入力装置。
【請求項２】
前記通知制御部は、前記位置検出部が前記領域に対して前記第一の距離内に近づいた物体を検出したときは、該領域に対応した通知を前記通知部に行わせることを特徴とする請求項１に記載の入力装置。
【請求項３】
前記ボタン入力制御部は、前記ボタンが操作されたことを表す情報を出力する際に、前記位置検出部が位置を検出した物体から前記領域までの距離または該距離の時間変化を表す情報を出力し、
前記通知制御部は、前記領域に加えて、前記位置検出部が位置を検出した物体から前記領域までの距離または該距離の時間変化に対応した通知を前記通知部に行わせることを特徴とする請求項１または請求項２に記載の入力装置。
【請求項４】
前記通知部は、前記ボタン領域部の領域各々を発光させ、
前記通知制御部は、前記領域に対応した通知を、前記通知部に、前記領域の発光を変化させることで行わせ、
前記発光の変化は、発光の輝度、発光する色、発光する面積のうち、少なくともいずれか１つの変化であることを特徴とする請求項１から請求項３のいずれかの項に記載の入力装置。
【請求項５】
前記ボタン領域部は、前記領域各々への加圧または接触の少なくとも一方を検出し、
前記ボタン入力制御部は、前記ボタン領域部が前記領域について加圧または接触を検出したときは、該領域に割り当てられたボタンが操作されたことを表す情報とともに、前記加圧または接触による検出を示す情報を出力すること
を特徴とする請求項１から請求項４のいずれかの項に記載の入力装置。
【請求項６】
前記位置検出部が検出した位置を時間順に繋いで前記物体の軌跡情報を生成する軌跡生成部と、
複数の軌跡パターン情報を記憶する軌跡パターン記憶部と、
前記軌跡パターン記憶部が記憶する軌跡パターン情報各々に対応付けられたコマンドを記憶するコマンド記憶部と、
前記軌跡生成部が生成した軌跡情報が表す軌跡と、前記軌跡パターン記憶部が記憶している軌跡パターン情報各々が表す軌跡とを比較し、この比較結果の差分が所定の範囲内の軌跡パターン情報を検出し、該検出した軌跡パターン情報に対応付けられたコマンドを前記コマンド記憶部から読み出して出力するコマンド出力部と
を具備することを特徴とする請求項１から請求項５のいずれかの項に記載の入力装置。
【請求項７】
前記位置検出部が検出した位置を時間順に繋いで前記物体の軌跡情報を生成する軌跡生成部と、
認証軌跡パターン情報を記憶する認証軌跡パターン記憶部と、
前記認証軌跡パターン記憶部が記憶する認証軌跡パターン情報に対応付けられた認証情報を記憶する認証情報記憶部と、
前記軌跡生成部が生成した軌跡情報が表す軌跡と、前記認証軌跡パターン記憶部が記憶している認証軌跡パターン情報が表す軌跡とを比較し、この比較結果の差分が所定の範囲内にあるときは、該認証軌跡パターン情報に対応付けられた認証情報を前記認証情報記憶部から読み出して出力する認証軌跡照合部と
を具備することを特徴とする請求項１から請求項５のいずれかの項に記載の入力装置。
【請求項８】
前記位置検出部は、液晶パネルに画像を表示するとともに、該液晶パネルに外部から入射する光を検出して撮像する光センサ内蔵システム液晶パネルが撮像した画像に基づき前記距離の検出を行なうこと
を特徴とする請求項１から請求項７のいずれかの項に記載の入力装置。
【請求項９】
前記光センサ内蔵システム液晶パネルが撮像するときは、前記光センサ内蔵システム液晶パネルは、該パネルの光センサが検出し易い色からなる画像を表示することを特徴とする請求項８に記載の入力装置。
【請求項１０】
当該装置の表面の少なくとも一部の領域であって、各々にボタンが割り当てられた複数の領域であるボタン領域部と、ユーザへの通知を行う通知部と、当該装置から離れた空間を含む空間における物体の位置を検出する位置検出部とを具備し、ユーザによるボタン操作の入力を受け付ける入力装置における入力操作受付方法において、
前記入力装置が、前記位置検出部が前記領域に対して第一の距離内に近づいた物体を検出したときは、該領域に割り当てられたボタンが操作されたことを表す情報を出力する第１の過程と、
前記入力装置が、前記位置検出部が前記領域に対して前記第一の距離より大きい第二の距離内に近づいた物体を検出したときは、該領域に対応した通知を前記通知部に行わせる第２の過程と
を備えることを特徴とする入力操作受付方法。
【請求項１１】
当該装置の表面の少なくとも一部の領域であって、各々にボタンが割り当てられた複数の領域であるボタン領域部と、ユーザへの通知を行う通知部と、当該装置から離れた空間を含む空間における物体の位置を検出する位置検出部とを具備し、ユーザによるボタン操作の入力を受け付ける入力装置が具備するコンピュータを、
前記位置検出部が前記領域に対して第一の距離内に近づいた物体を検出したときは、該領域に割り当てられたボタンが操作されたことを表す情報を出力するボタン入力制御部、
前記位置検出部が前記領域に対して前記第一の距離より大きい第二の距離内に近づいた物体を検出したときは、該領域に対応した通知を前記通知部に行わせる通知制御部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力装置、入力操作受付方法およびそのプログラムに関する。
【背景技術】
【０００２】
従来の携帯電話機やＰＤＡ（Personal Digital Assistants；個人情報端末）は、加圧された座標を検出可能なタッチパネルや、物理的なスイッチ（キーボタン）を用いた複数のキーを備え、ユーザがこのタッチパネルに触れたこと、あるいは、キーを押下したことを検出して、操作入力としている。
また、装置の側面や、側面からの突起物に光学センサを備え、あるいは、キーに代えて光学センサを備え、この光学センサにより、装置本体から離れた空間にある指を検出し、この指の空間座標位置、移動速度、加速度および移動方向のいずれかを算出し、その算出結果に応じて、キー操作やクリック操作がなされたものと判定しているものもある（例えば、特許文献１参照）。
【特許文献１】特開２００４−２８８０２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、タッチパネルやキーボタンを備えた装置にあっては、爪の長い人は、指で操作し難いことがあるということと、指が直接触れることになるので、汚れた指で操作すると装置が汚れてしまうという問題がある。
また、上述の光学センサを備えた装置にあっては、ユーザは、装置本体から離れた空間にて指を動かすため、操作結果を得るまで、装置がどのキー操作やクリック操作がなされたものと判定するかが分からないため、誤操作を起こしてしまい、ユーザが思い通りに操作し難いことがあるという問題がある。
【０００４】
本発明は、このような事情に鑑みてなされたもので、その目的は、直接装置に触れなくても容易に操作可能な入力装置、入力操作受付方法およびそのプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
この発明は上述した課題を解決するためになされたもので、本発明の入力装置は、ユーザによるボタン操作の入力を受け付ける入力装置において、当該装置の表面の少なくとも一部の領域であって、各々にボタンが割り当てられた複数の領域であるボタン領域部と、前記ユーザへの通知を行う通知部と、当該装置から離れた空間を含む空間における物体の位置を検出する位置検出部と、前記位置検出部が前記領域に対して第一の距離内に近づいた物体を検出したときは、該領域に割り当てられたボタンが操作されたことを表す情報を出力するボタン入力制御部と、前記位置検出部が前記領域に対して前記第一の距離より大きい第二の距離内に近づいた物体を検出したときは、該領域に対応した通知を前記通知部に行わせる通知制御部とを具備することを特徴とする。
【０００６】
また、本発明の入力装置は、上述の入力装置であって、前記通知制御部は、前記位置検出部が前記領域に対して前記第一の距離内に近づいた物体を検出したときは、該領域に対応した通知を前記通知部に行わせることを特徴とする。
【０００７】
また、本発明の入力装置は、上述のいずれかの入力装置であって、前記ボタン入力制御部は、前記ボタンが操作されたことを表す情報を出力する際に、前記位置検出部が位置を検出した物体から前記領域までの距離または該距離の時間変化を表す情報を出力し、前記通知制御部は、前記領域に加えて、前記位置検出部が位置を検出した物体から前記領域までの距離または該距離の時間変化に対応した通知を前記通知部に行わせることを特徴とする。
【０００８】
また、本発明の入力装置は、上述のいずれかの入力装置であって、前記通知部は、前記ボタン領域部の領域各々を発光させ、前記通知制御部は、前記領域に対応した通知を、前記通知部に、前記領域の発光を変化させることで行わせ、前記発光の変化は、発光の輝度、発光する色、発光する面積のうち、少なくともいずれか１つの変化であることを特徴とする。
【０００９】
また、本発明の入力装置は、上述のいずれかの入力装置であって、前記ボタン領域部は、前記領域各々への加圧または接触の少なくとも一方を検出し、前記ボタン入力制御部は、前記ボタン領域部が前記領域について加圧または接触を検出したときは、該領域に割り当てられたボタンが操作されたことを表す情報とともに、前記加圧または接触による検出を示す情報を出力することを特徴とする。
【００１０】
また、本発明の入力装置は、上述のいずれかの入力装置であって、前記位置検出部が検出した位置を時間順に繋いで前記物体の軌跡情報を生成する軌跡生成部と、複数の軌跡パターン情報を記憶する軌跡パターン記憶部と、前記軌跡パターン記憶部が記憶する軌跡パターン情報各々に対応付けられたコマンドを記憶するコマンド記憶部と、前記軌跡生成部が生成した軌跡情報が表す軌跡と、前記軌跡パターン記憶部が記憶している軌跡パターン情報各々が表す軌跡とを比較し、この比較結果の差分が所定の範囲内の軌跡パターン情報を検出し、該検出した軌跡パターン情報に対応付けられたコマンドを前記コマンド記憶部から読み出して出力するコマンド出力部とを具備することを特徴とする。
【００１１】
また、本発明の入力装置は、上述のいずれかの入力装置であって、前記位置検出部が検出した位置を時間順に繋いで前記物体の軌跡情報を生成する軌跡生成部と、認証軌跡パターン情報を記憶する認証軌跡パターン記憶部と、前記認証軌跡パターン記憶部が記憶する認証軌跡パターン情報に対応付けられた認証情報を記憶する認証情報記憶部と、前記軌跡生成部が生成した軌跡情報が表す軌跡と、前記認証軌跡パターン記憶部が記憶している認証軌跡パターン情報が表す軌跡とを比較し、この比較結果の差分が所定の範囲内にあるときは、該認証軌跡パターン情報に対応付けられた認証情報を前記認証情報記憶部から読み出して出力する認証軌跡照合部とを具備することを特徴とする。
【００１２】
また、本発明の入力装置は、上述のいずれかの入力装置であって、前記位置検出部は、液晶パネルに画像を表示するとともに、該液晶パネルに外部から入射する光を検出して撮像する光センサ内蔵システム液晶パネルが撮像した画像に基づき前記距離の検出を行なうことを特徴とする。
【００１３】
また、本発明の入力装置は、上述の入力装置であって、前記光センサ内蔵システム液晶パネルが撮像するときは、前記光センサ内蔵システム液晶パネルは、該パネルの光センサが検出し易い色からなる画像を表示することを特徴とする。
【００１４】
また、本発明の入力操作受付方法は、当該装置の表面の少なくとも一部の領域であって、各々にボタンが割り当てられた複数の領域であるボタン領域部と、ユーザへの通知を行う通知部と、当該装置から離れた空間を含む空間における物体の位置を検出する位置検出部とを具備し、ユーザによるボタン操作の入力を受け付ける入力装置における入力操作受付方法において、前記入力装置が、前記位置検出部が前記領域に対して第一の距離内に近づいた物体を検出したときは、該領域に割り当てられたボタンが操作されたことを表す情報を出力する第１の過程と、前記入力装置が、前記位置検出部が前記領域に対して前記第一の距離より大きい第二の距離内に近づいた物体を検出したときは、該領域に対応した通知を前記通知部に行わせる第２の過程とを備えることを特徴とする。
【００１５】
また、本発明のプログラムは、当該装置の表面の少なくとも一部の領域であって、各々にボタンが割り当てられた複数の領域であるボタン領域部と、ユーザへの通知を行う通知部と、当該装置から離れた空間を含む空間における物体の位置を検出する位置検出部とを具備し、ユーザによるボタン操作の入力を受け付ける入力装置が具備するコンピュータを、前記位置検出部が前記領域に対して第一の距離内に近づいた物体を検出したときは、該領域に割り当てられたボタンが操作されたことを表す情報を出力するボタン入力制御部、前記位置検出部が前記領域に対して前記第一の距離より大きい第二の距離内に近づいた物体を検出したときは、該領域に対応した通知を前記通知部に行わせる通知制御部として機能させる。
【発明の効果】
【００１６】
この発明によれば、位置検出部が、当該装置から離れた空間を含む空間における物体の位置を検出し、ボタンが操作されたことを表す情報をボタン入力制御部が出力する第一の距離よりも大きい第二の距離内に前記領域に対して近づいた物体を検出したときは、通知制御部が、該領域に対応した通知を前記通知部に行わせるので、ユーザは該物体を当該装置に近づけることにより操作することになるボタンを事前に把握することができるので、誤操作を防止し、直接装置に触れなくても容易に操作することができる。
【発明を実施するための最良の形態】
【００１７】
［第１の実施形態］
以下、図面を参照して、本発明の第１の実施形態について説明する。本実施形態では、赤外線センサやカメラを用いてユーザの指の位置を検出し、指がキーボタンから一定距離（入力検出距離）内にあると判定したときは、該キーボタンが押下されたものとする非接触でのキー入力を可能とする入力装置を備えた携帯電話機１００について説明する。図１を参照して携帯電話機１００の外観を説明した後、図２を参照して携帯電話機１００の構成を説明する。
図１は、本実施形態における携帯電話機１００の外観図である。本実施形態では、本発明による入力装置の機能をクラムシェルタイプ（折り畳み構造）の携帯電話機１００に実装した例を説明する。図１（ａ）は、この携帯電話機１００を開いた状態で入力操作用のキーが設けられている側を表わし、図１（ｂ）は、その背面を表わす。
【００１８】
図１（ａ）の上部のスピーカ１１７、下部のマイク１１６は通話に用いられる。
図１（ａ）の操作部（ボタン領域部）１０８は、携帯機器１００の表面の少なくとも一部の領域であって、各々にキーボタンが設けられた複数の領域からなる。これらの領域には、カーソルキー１０８１、決定キー１０８２、テンキー、＊、＃キー１０８３が含まれる。カーソルキー１０８１には、十字方向のうちの１方向のキーが一つずつ割り当てられたボタンであるキーボタンが４つ設けられている。決定キー１０８２には、決定を表すキーが割当てられた１つのキーボタンが設けられている。テンキー、＊、＃キー１０８３には、０〜９の数字と＊と＃とのうちのいずれかのキーが一つずつ割当てられた１２のキーボタンが設けられている。これらのキーボタン（ボタン）は、その裏側に発光部１０８４であるＬＥＤ（発光ダイオード）が設置されており、各ＬＥＤが発した光をユーザが認識できるように、これらの光を透過する。このＬＥＤは、キーボタン毎に緑、オレンジ、赤の３色が設置されており、主制御部１０４からの指示に従い発光する。これらのキーボタンは、通話先の電話番号入力、電子メールの文字入力、メニュー選択、機能選択等に使用される。また、本実施形態における操作部１０８の各キーボタン（１０８１、１０８２、１０８３）には、赤外線を検出する赤外線センサ１０７１が配置されている。これら、赤外線センサ１０７１の詳細については、後述する。
【００１９】
図１（ａ）の主表示部１１１、図１（ｂ）の副表示部１１２は、画像、文字等を表示する表示装置である。主表示部１１１は、液晶パネル１１１１を備え、操作部１０８による操作に応じて電子メール、画像、メニュー画面、機能設定画面等が表示される。副表示部１１２は主表示部１１１の背面に設けられ、主表示部１１１より表示領域が小さいが、携帯電話機１００を折り畳んだ状態でもユーザが見ることができる位置に設けられており、折り畳んだ状態でユーザに情報を通知する表示装置として用いられる。
図１（ａ）の副カメラ１１０はテレビ電話機能のためのカメラであり、図１（ｂ）の主カメラ１０９はデジタルカメラ機能のためのカメラである。図１（ｂ）のフラッシュ１０９１は、主カメラ１０９を用いて暗い所等で被写体を撮像する場合に使用される。
【００２０】
次に、図２を参照して携帯電話機１００の構成を説明する。図２は、第１の実施形態による携帯電話機１００の構成を示す概略ブロック図である。
無線部１０２は、アンテナ１０１が受信する受信信号をベースバンドの受信信号に変換して通信制御部１０３に出力する。また、無線部１０２は通信制御部１０３から入力する送信信号を送信周波数の信号に変調し、アンテナ１０１へ出力して送信する。
通信制御部１０３は、無線部１０２から入力した受信信号の復調処理と、主制御部１０４から入力した送信信号の変調処理とを行う。
これらアンテナ１０１や無線部１０２や通信制御部１０３は、携帯通信網やＷ−ＬＡＮ（無線ＬＡＮ、ワイヤレス・ローカル・エリア・ネットワーク）などによる通信を行なうための通信手段である。
主制御部１０４は、不揮発性のメモリであるプログラムメモリ１０５に記憶されたプログラムを実行して各部を制御する。
【００２１】
メモリ１０６は、通話、電子メール等を行う場合に使用されるデータに加え、ユーザにより設定された情報など、その他の管理情報を記憶する不揮発性のメモリである。また、メモリ１０６は、後述するように、ユーザの指の３次元的な動き（ジェスチャー）の軌跡を表す軌跡パターン情報を記憶するジェスチャー記憶部（軌跡パターン記憶部）１０６１、主制御部１０４で動作するアプリケーション各々について、各軌跡パターン情報に対応付けられたコマンドを記憶するＡＰ固有設定記憶部（コマンド記憶部）１０６２、ユーザの認証情報として用いる軌跡パターン情報を記憶する認証ジェスチャー記憶部（認証軌跡パターン記憶部）１０６３、認証ジェスチャー記憶部１０６３が記憶する軌跡パターン情報各々に対応付けられた認証情報であるパスワードを記憶するパスワード記憶部（認証情報記憶部）１０６４を備える。
【００２２】
距離センサ部（位置検出部）１０７は、図１を参照して説明したように各キーボタンに配置された赤外線センサ１０７１を具備し、これらのセンサ群が検出した情報に基づき、操作部１０８のキー群（１０８１、１０８２、１０８３）を操作しているユーザの指の携帯電話機１００から離れた空間を含む空間における３次元的な位置（キーボタンと該キーボタンからの鉛直方向の距離）を検出する。赤外線センサ１０７１は、ユーザの指が発する赤外線を検出し、距離センサ部１０７は、どの赤外線センサ１０７１が赤外線を検出しているかに基づき、ユーザの指が操作部１０８のキーボタンのうち、どのキーボタンの上にあるかを判定する。さらに、距離センサ部１０７は、赤外線センサ１０７１が検出する赤外線の強度に基づき、キーボタンからユーザの指までの距離を判定する。また、このとき、距離センサ部１０７は、赤外線センサ１０７１が検出する赤外線の強度による距離の判定に替えて、別に音波（超音波）や赤外線を用いた三角測定などで距離を測定する測距センサを設ける、あるいはいずれかの赤外線センサ１０７１に替えて測距センサを設けて、この測距センサにより指までの距離を判定するようにしてもよいし、カメラまたはラインセンサを設けて、このカメラまたはラインセンサによる撮像結果の焦点があっているか否かに基づき、カメラまたはラインセンサの焦点距離付近に指があるか否かを判定するようにしてもよい。
【００２３】
操作部１０８は、図１を参照して説明した通りであり、操作に応じた信号を主制御部１０４に出力する。また、操作部１０８の各キーボタンの裏側（内部）に発光部（通知部）１０８４であるＬＥＤ（発光ダイオード）が設置されており、各ＬＥＤが発した光をユーザが認識できるように、これらの光を透過する。
主カメラ１０９、副カメラ１１０は、光学素子、撮像部、映像信号処理部を備え、被写体の像をデジタル信号に変換して主制御部１０４に出力する。
主表示部１１１は、図１を参照して説明した通りであり、主制御部１０４から入力する表示用の信号に基づいて画像、文字等を表示する液晶パネル１１１１を具備する。
副表示部１１２は、主制御部１０４から入力する表示用の信号に基づいて画像、文字等を表示する液晶ディスプレイであるが、有機ＥＬ（エレクトロルミネセンス）ディスプレイなどの、その他の画像表示手段であってもよい。
振動部１１３は、ユーザが認識できる程度にモータにより振動を発生させる。
ＧＰＳ（Global Positioning System）機能部１１４は、ＧＰＳ衛星からの電波信号をアンテナを介して受信し、地上における携帯電話機１００の位置を求める。
【００２４】
音声処理部１１５は、マイク１１６から入力される音声信号をデジタル信号に変換して主制御部１０４に出力し、また、主制御部１０４からデジタルの音声信号を入力してアナログの音声信号に変換し、スピーカ１１７に出力して発音させる。
ＲＦＩＤ（Radio Frequency IDentification）リーダ１１８は、アンテナを介して近距離の無線通信によって外部のタグに埋め込まれたＩＣチップのＩＤ情報を読み取る。
Ｉｒ送信部１１９、Ｉｒ受信部１２０は、赤外線を利用して外部の機器とデータ通信を行う。
【００２５】
インジケータ１２１は、例えば、光を発してユーザに認識させるＬＥＤ（発光ダイオード）である。インジケータ１２１は、携帯電話機１００を折り畳んだ状態でもユーザが見ることができる位置に設けられており、折り畳んだ状態でユーザに情報を通知する表示装置として用いられる。このインジケータ１２１として、異なる色の複数のＬＥＤを用いて、携帯電話機１００の処理状態に基づき場合分けしてユーザに通知する表示装置として用いてもよい。
なお、ユーザの注意をひくために使用される振動部１１３、インジケータ１２１に代えて、または、これらに加えて、匂いを発生する匂い発生部を備えてもよい。匂いを発生するには、携帯電話機１００の内部に複数の化学物質を保持し、これらを混合させる等、各種の既存技術を用いることができる。
電源制御部１２３は電池１２４から電力の供給を受け、各部に電力を供給する。
その他、携帯電話機１００は、例えばブルートゥース（登録商標）のような近距離無線通信技術を用いて、携帯電話機１００と録画機器との間の近距離通信を行う機能を有することができる。
【００２６】
なお、以下で説明する実施形態においては、アンテナ１０１、無線部１０２、通信制御部１０３、主カメラ１０９、副表示部１１２、振動部１１３、ＧＰＳ機能部１１４、音声処理部１１５、マイク１１６、スピーカ１１７、ＲＦＩＤリーダ１１８、Ｉｒ送信部１１９、Ｉｒ受信部１２０、インジケータ１２１、電源制御部１２３、電池１２４は、本発明の説明において、特に使用しない。
【００２７】
図３は、主制御部１０４が、プログラムメモリ１０５に格納されたプログラムを実行することにより機能するセンサ入力処理部１３０と関連する携帯電話機１００の部分を示した概略ブロック図である。センサ入力処理部１３０は、ジェスチャー軌跡生成部１３０１、キー入力制御部１３０２、発光制御部１３０３、コマンド出力部１３０４、認証ジェスチャー照合部１３０５を具備する。後述するように、アプリケーション（コマンド受付部）１４０１、アプリケーション（パスワード受付部）１４０２、アプリケーション（キー入力受付部）１４０３についても、プログラムメモリ１０５に格納されたプログラムを実行することにより機能する。
【００２８】
アプリケーション（コマンド受付部）１４０１は、主制御部１０４がプログラムメモリ１０５からアプリケーションプログラムを読み込んで実行していることにより機能している例えば、Ｗｅｂブラウザや電子メールソフトなどのアプリケーションのコマンド受付部であり、コマンド出力部１３０４が出力する該アプリケーション固有のコマンドを受け付ける。アプリケーション（パスワード受付部）１４０２は、そのとき主制御部１０４がプログラムメモリ１０５からアプリケーションプログラムを読み込んで実行していることにより機能しているアプリケーションのパスワード受付部であり、認証ジェスチャー照合部１３０５が出力する該アプリケーション向けのパスワードを受け付ける。アプリケーション（キー入力受付部）１４０３は、そのとき主制御部１０４がプログラムメモリ１０５からアプリケーションプログラムを読み込んで実行していることにより機能しているアプリケーションのキー入力受付部であり、キー入力制御部１３０２が出力する該アプリケーション向けのキー入力を受け付ける。
【００２９】
ジェスチャー軌跡生成部（軌跡生成部）１３０１は、距離センサ部１０７が検出したユーザの指までの距離とその距離を検出したキーボタンと検出したキーボタン間の移動速度とを時間順に繋いでユーザの指の軌跡情報を生成する。
キー入力制御部（ボタン入力制御部）１３０２は、いずれかのキーボタンに対して予め決められた入力検出距離（第一の距離）内にユーザの指が近付いたことを距離センサ部１０７が検出したときは、該キーボタンに割り当てられたキーボタンが操作されたことを表す情報、すなわち該当するキーが入力されたことを表す情報をアプリケーション（キー入力受付部）１４０３に出力する。
【００３０】
発光制御部（通知制御部）１３０３は、距離センサ部１０７が、いずれかのキーボタンに対して入力検出距離より大きい値であって、予め決められた入力予告距離（第二の距離）内にユーザの指が近付いたことを検出したときは、該キーボタンの発光を緑色からオレンジ色に変化させるように発光部１０８４を制御する。さらに、発光制御部１３０３は、距離センサ部１０７が、入力検出距離内にユーザの指が近付いたことを検出したときは、該キーの発光をオレンジ色から赤色に変化させるように発光部１０８４を制御する。
【００３１】
コマンド出力部１３０４は、ジェスチャー軌跡生成部１３０１が生成した軌跡情報が表す軌跡と、ジェスチャー記憶部１０６１（軌跡パターン記憶部）が記憶している軌跡パターン情報各々が表す軌跡とを比較し、この比較結果の差分が所定の範囲内の軌跡パターン情報を検出し、該検出した軌跡パターン情報に対応付けられたコマンドをＡＰ固有設定記憶部（コマンド記憶部）１０６２から読み出して、アプリケーション（コマンド受付部）１４０１に出力する。認証ジェスチャー照合部（認証軌跡照合部）１３０５は、ジェスチャー軌跡生成部１３０１が生成した軌跡情報が表す軌跡と、認証ジェスチャー記憶部（認証軌跡パターン記憶部）１０６３が記憶している認証軌跡パターン情報が表す軌跡とを比較し、この比較結果の差分が所定の範囲内にあるときは、この認証軌跡パターン情報に対応付けられたパスワード（認証情報）をパスワード記憶部（認証情報記憶部）１０６４から読み出して、アプリケーション（パスワード受付部）１４０２に出力する。
【００３２】
図４は、ジェスチャー記憶部１０６１が記憶する軌跡パターン情報と各軌跡パターン情報に対応付けてＡＰ固有設定記憶部１０６２が記憶するコマンドを例示する図である。図４の例は、左の列（「軌跡パターン情報」の列）に「２→５→８→０」、「２⇒５⇒８⇒０」、「６⇒５⇒４」、「５↑」、「１，２，３→４，５，６→７，８，９」などの軌跡パターン情報を示す。真ん中の列（「ＷＥＢブラウザへのコマンド」の列）に「下に１画面移動」、「上にスクロール」、「左に１画面移動」、「文字を大きくする」、「素早く上にスクロール」などの左の列の同じ行の軌跡パターン情報に対応付けられたＷＥＢブラウザ（アプリケーションの一例）へ処理を指示するコマンドを示す。右の列（「コミックビューアへのコマンド」の列）に該当なし（図中では「−」）「上にスクロール」、「右ページめくり」、「拡大」、「閲覧中のコミックを閉じる」などの左の列の同じ行の軌跡パターン情報に対応付けられたコミックビューア（アプリケーションの一例）へ処理を指示するコマンドを示す。このように「右ページめくり」には「６⇒５⇒４」のようにテンキー、＊、Ｅキー１０８３の中央部を右から左へ動かす「右ページめくり」に似せた動作を割当てるができる。
【００３３】
なお、ここでは、図示しないが、真ん中の列のコマンドはＷＥＢブラウザの識別情報と対応付けられてＡＰ固有設定記憶部１０６２に記憶されており、右の列のコマンドはコミックビューアと対応付けられてＡＰ固有設定記憶部１０６２に記憶されている。また、ＡＰ固有設定記憶部１０６２が記憶するアプリケーションのコマンドとしてＷＥＢブラウザおよびコミックビューアのコマンドを示し、各軌跡パターン情報に対応付けられたコマンドを示したが、一つの軌跡パターン情報に対して２つを超える数のコマンドが対応付けられていてもよい。
【００３４】
また、本実施形態では、軌跡パターン情報に対応付けるコマンドとして、携帯電話機１００で動作するアプリケーションへのコマンドを説明したが、アプリケーション以外にも携帯電話機１００そのものへのコマンド（例えば、主表示部１１１のバックライトのオン／オフを指示するコマンド）を対応づけてもよい。また、コマンド出力部１３０４がアプリケーション（コマンド受付部）１４０１にコマンドを出力する際に、このコマンドを表す情報に加えて、軌跡情報中の座標や速度などをパラメータとして出力するようにしてもよい。
【００３５】
図４に示した軌跡パターン情報と、コマンドとは、携帯電話機１００の製造時に、それぞれジェスチャー記憶部１０６１とＡＰ固有設定記憶部１０６２とに記憶されるようにしてもよいし、ユーザ操作により設定されるようにしてもよいし、これらが製造時に記憶されるものとユーザ操作により設定されるものとが混在するようにしてもよい。また、ユーザ操作により設定される場合には、軌跡パターン情報、コマンド、軌跡パターン情報とコマンドとの対応付けのいずれかのみをユーザ操作により設定されるようにしてもよい。
【００３６】
図５は、センサ入力処理部１３０の動作を説明するフローチャートである。センサ入力処理部１３０は、処理を開始すると、まず距離センサ部１０７の各センサの動作を開始する（Ｓａ１）。次に、センサ入力処理部１３０は、主制御部１０４がプログラムメモリ１０５から読み込んで実行しているアプリケーションプログラムを識別する情報を取得する（Ｓａ２）。次に、センサ入力処理部１３０は、ＡＰ固有設定記憶部１０６２からステップＳａ２にて取得したアプリケーションプログラムを識別する情報に対応付けて、各軌跡パターン情報とコマンドとの対応を取得する（Ｓａ３）。次に、センサ入力処理部１３０は、距離センサ部１０７の各センサが起動しているか否かを判定する（Ｓａ４）。この判定において、起動していないと判定したときは、センサ入力処理部１３０は、操作部１０８のいずれかのキーボタンが押下される、あるいは、携帯電話機１００のクラムシェルが開けられるなど、携帯電話機１００を待機状態から起動状態に遷移させる要因を検出すると、距離センサ部１０７を起動させて、ステップＳａ４に遷移する（Ｓａ５）。
【００３７】
一方、ステップＳａ４において、距離センサ部１０７が起動されていると判定したときは、センサ入力処理部１３０は、距離センサ部１０７を用いたセンサ入力を行うようにユーザによる設定がなされている（設定ＯＮ）か否かを判定する（Ｓａ６）。設定がなされていないと判定したときは、センサ入力処理部１３０は、処理を終了する。一方、ステップＳａ６において、設定がなされていると判定したときは、センサ入力処理部１３０のジェスチャー軌跡生成部１３０１は、距離センサ部１０７が検出した指の位置（指を検出したキーと該キーからの距離）を時間順に繋いでユーザの指のジェスチャーを表す軌跡情報を生成する（Ｓａ７）。次にコマンド出力部１３０４は、ジェスチャー記憶部１０６１が記憶している軌跡パターン情報と、認証ジェスチャー照合部１３０５は、認証ジェスチャー記憶部１０６３が記憶している軌跡パターン情報と、ステップＳａ７において生成した軌跡情報とが一致しているか否かを判定する（Ｓａ８）
【００３８】
このステップＳａ８の判定において、一致していると判定したときは、該一致していると判定した軌跡パターン情報に対応するコマンドまたはパスワードを出力し（Ｓａ１１）、ステップＳａ１２に遷移する。すなわち、コマンド出力部１３０４が、軌跡情報の一致を判定したときは、ステップＳａ３にて取得した軌跡パターン情報とコマンドとの対応に基づき、一致を判定した軌跡情報に対応するコマンドを出力し、認証ジェスチャー照合部１３０５が、軌跡情報の一致を判定したときは、この軌跡パターン情報に対応付けられたパスワードをパスワード記憶部１０６４から読み出して出力する。
【００３９】
一方、ステップＳａ８において、軌跡情報が一致していないと判定したときは、非接触でのキー入力を行うようにユーザによる設定がなされているか否かを判定する（Ｓａ９）。設定されていないと判定したときは、ステップＳａ１２に遷移する。一方、このステップＳａ９において、設定されていると判定したときは、センサ入力処理部１３０は、非接触でのキー入力処理を行う（Ｓａ１０）。このステップＳａ１０の処理の詳細については図６を用いて後述する。次にステップＳａ１２では、センサ入力処理部１３０は、距離センサ部１０７のタイムアウトを行うようにユーザによる設定がなされているか否かを判定する（Ｓａ１２）。この判定にて設定されていないと判定したときは、ステップＳａ１４に遷移する。
【００４０】
一方、このステップＳａ１２の判定にて設定されていると判定したときは、センサ入力処理部１３０は、予め設定されている時間、距離センサ部１０７が指を検出しているか否かに基づき、距離センサ部１０７がタイムアウトしたか否かを判定する（Ｓａ１３）。タイムアウトしたと判定したときは、センサ入力処理部１３０は、後述するステップＳａ１８に遷移する。一方、ステップＳａ１３の判定において、タイムアウトしていないと判定したときは、メインディスプレイである主表示部１１１の液晶パネル１１１１と距離センサ部１０７のタイムアウトを連動させるようにユーザによる設定がなされているか否かを判定する（Ｓａ１４）。連動させないと設定されていると判定したときは、後述するステップＳａ１６に遷移する。
【００４１】
一方、ステップＳａ１４において、連動させるように設定されていると判定したときは、センサ入力処理部１３０は、メインディスプレイである主表示部１１１の液晶パネル１１１１がタイムアウトしているか否かを判定する（Ｓａ１５）。タイムアウトしていると判定したときは、センサ入力処理部１３０は、後述するステップＳａ１８に遷移する。次に、ステップＳａ１６においては、センサ入力処理部１３０は、距離センサ部１０７を用いたセンサ入力を行わない（設定ＯＦＦ）ようにユーザによる設定がなされたか否かを判定する（Ｓａ１６）。設定ＯＦＦが設定されていると判定したときは、センサ入力処理部１３０は、距離センサ部１０７を停止させ（Ｓａ１７）、処理を終了する。
【００４２】
一方、ステップＳａ１６において、設定ＯＦＦが設定されていない、すなわちセンサ入力を行うと設定されていると判定したときは、ステップＳａ４に遷移して上述の処理を繰り返す。また、ステップＳａ１３およびステップＳａ１５の判定の結果、ステップＳａ１８に遷移したときは、センサ入力処理部１３０は、距離センサ部１０７を一時的に停止させ、ステップＳａ４に遷移して上述の処理を繰り返す（Ｓａ１８）。
【００４３】
図６は、図５におけるステップＳａ１０のキー非接触入力処理を説明するフローチャートである。距離センサ部１０７がユーザの指の３次元的な位置（キーボタンとキーボタンからの距離）を検出すると（Ｓｂ１）、センサ入力処理部１３０は、これを取得した後、キー非接触入力における予告発光を行うようにユーザによる設定がなされているか否かを判定する（Ｓｂ２）。ここで、設定されていないと判定したときは、センサ入力処理部１３０は、ステップＳｂ５に遷移する。一方、ステップＳｂ２の判定において、設定されていると判定したときは、発光制御部１３０３は、先にセンサ入力処理部１３０が距離センサ部１０７から取得したキーボタンからの距離が、予め決められた入力予告距離内であるか否かを判定する（Ｓｂ３）。入力予告距離内でないと判定したときは、センサ入力処理部１３０は、ステップＳｂ５に遷移する。一方、ステップＳｂ３の判定において、入力予告距離内であると判定したときは、発光制御部１３０３は、先にセンサ入力処理部１３０が距離センサ部１０７から取得したキーの発光を緑色からオレンジ色に変化させるように、すなわち予告発光をするように発光部１０８４を制御する（Ｓｂ４）。
【００４４】
次に、ステップＳｂ５では、センサ入力処理部１３０の発光制御部１３０３とキー入力制御部１３０２とは、先にセンサ入力処理部１３０が距離センサ部１０７から取得したキーボタンからの距離が、予め決められた入力検出距離内であるか否かを判定する（Ｓｂ５）。入力検出距離内でないと判定したときは、センサ入力処理部１３０は、キーボタン非接触入力処理を終了する。一方、ステップＳｂ５の判定において、入力検出距離内であると判定したときは、発光制御部１３０３は、先にセンサ入力処理部１３０が距離センサ部１０７から取得したキーボタンの発光をオレンジ色から赤色に変化させるように、すなわちキー入力受付発光をするように発光部１０８４を制御する（Ｓｂ６）。さらに、ボタン入力制御部１３０２は、先にセンサ入力処理部１３０が距離センサ部１０７から取得したキーボタンの入力を表す情報を、アプリケーション（キー入力受付部）１４０３に出力し（Ｓｂ７）、キー非接触入力処理を終了する。
【００４５】
このように、距離センサ部１０７が、ユーザの指とキーボタンとの距離を検出し、該距離が入力検出距離よりも大きい入力予告距離内であるときは、発光制御部１３０３が、発光部１０８４に該当キーの発光を変化させるので、ユーザは自らの動作によりキー入力することになるキーを事前に把握することができるので、誤入力を防止し、直接装置に触れなくても容易に操作することができる。
【００４６】
また、コマンドや認証など、限られたパターン数で充分な情報の入力については、距離センサ部１０７が検出した指の軌跡との差分が一定範囲内である軌跡パターン情報を、メモリ１０６が記憶している軌跡パターン情報から検出し、該軌跡パターン情報に対応付けられたコマンドまたはパスワードをメモリ１０６から取得してアプリケーションに入力することで、直接装置に触れなくても容易に操作することができる。
また、パスワードの入力に関しては、キーボードなどを用いた入力においては、アプリケーションは、表示されているパスワードの入力領域を選択する操作がユーザによりなされた後に、キーボードから入力された情報をパスワードとして扱うが、本実施形態では、パスワードの入力領域が表示されているときに、距離センサ部１０７が検出した指の軌跡と認証ジェスチャーの軌跡パターン情報との差分が一定範囲内であるときは、これをパスワードの入力として扱うようにすることで、表示されているパスワードの入力領域をユーザが選択する操作が不要となる。
【００４７】
なお、本実施形態において、発光制御部１３０３は、距離センサ部１０７が検出した指までの距離が入力予告距離内または入力検出距離内となったときには、発光部１０８４に該当するキーボタンの発光の色を変化させるとして説明したが、各キーボタンに配置されるＬＥＤを複数にするなどして、発光の輝度や発光する面積を変化させるようにしてもよい。
また、距離センサ部１０７が検出した指までの距離が入力予告距離内または入力検出距離内となったときに発光部１０８４に、発光制御部１３０３が、キーボタンの発光を変化させる際の発光変化パターンを、例えば、距離が短いほど、点滅間隔を短くするなど、距離センサ部１０７が検出した距離または該距離の時間変化に応じて決め、さらにボタン入力制御部１３０２が、この距離センサ部１０７が検出した距離または該距離の時間変化を表す情報を、キーボタンの入力を表す情報とともに出力するようにしてもよい。このようにすることで、これらの情報を入力されたアプリケーションは、距離またはその時間変化を表す情報をキーを押す強さを意味する情報として用いて、入力されたキーの文字を表示する際の大きさや色を、距離またはその時間変化を表す情報に応じて変えることができる。
【００４８】
また、本実施形態では、発光部１０８４により、ユーザに入力予告や入力検出を通知していたが、発音部を設けて、音の高さや長さ、発音の間隔などを変化させて通知するようにしてもよいし、主表示部１１１の表示内容を変化させて通知するようにしてもよいし、振動部１１３により、筺体を振動させて通知するようにしてもよい。また、発光部１０８４を、各キーボタンではなく、各キーボタンの近傍あるいはキーボタンから離れた箇所に設けてもよい。
【００４９】
また、操作部１０８のキーボタン各々は、加圧されたことを検出できるように機械接点式のスイッチを備えていたり、接触されたことを検出できるように静電容量パッドなどのタッチパッドを備えていたりしており、ボタン入力制御部１３０２は、キーボタンへの加圧または接触を検出したときは、そのキーボタンに割当てられたキーの入力を表す情報とともに、該キーの入力が加圧または接触による検出であることを示す情報を、アプリケーション（キー入力受付部）１４０３に出力するようにしてもよい。操作部１０８のキーボタンに静電容量パッドなどのタッチパッドを用いる場合は、キーボタン各々にタッチパッドを用いるのでなく、１つのタッチパッドを複数の領域に区切り、各領域をキーと対応させたキーボタンとし、接触を検出した領域に対応するキーの入力を表す情報を、ボタン入力制御部１３０２は出力するようにしてもよい。
【００５０】
また、本実施形態において、軌跡情報および軌跡パターン情報は、指までの距離とその距離を検出したキーボタンとキーボタン間の移動速度とを時間順に繋いだ情報であるとして説明したが、これら距離、キーボタン、移動速度（あるいは時間間隔）のうち、少なくとも一つを時間順に繋いだ情報であればよい、例えば、指までの距離を時間順に繋いだ情報であってもよいし、キーボタンと移動速度とを時間順に繋いだ情報であってもよい。
【００５１】
また、軌跡情報および軌跡パターン情報における、指までの距離に指がキーボタンを触れることを含めるようにしてもよい。これにより、携帯電話機１００の主カメラ１０９などでの撮影時に、シャッターボタンとして用いるキーボタンから指までの距離が、予め決められた距離になるまで動かした軌跡の軌跡パターン情報に、ピント合わせを指示するコマンドを割当て、上述のキーボタンに指が触れる軌跡の軌跡パターン情報に、シャッターを切ることを指示するコマンドを割当てるにしてもよい。また、キーボタンを触れない軌跡に、フォント選択のコマンドを割当て、キーボタンを触れる軌跡に文字入力（キーボタン押下）を表すコマンドを割当てるようにしてもよい。キーボタンを触れない軌跡に、画面スクロールまたはポインタの移動のコマンドを割当て、キーボタンを触れる軌跡にクリックを表すコマンドを割当てるようにしてもよい。
また、本実施形態において、指までの距離を、距離センサ部１０７が備える赤外線センサ１０７１にて判定するとして説明したが、副カメラ１１０が撮像した画像を併せて用いるようにしてもよい。
【００５２】
［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。本実施形態における携帯電話機１００ａは、図１に示す携帯電話機１００とは、距離センサ部１０７ａが備える赤外線センサ１０７１ａの配置のみが異なる。携帯電話機１００では、赤外線センサ１０７１は、各キーボタンに配置されたのに対し、本実施形態における携帯電話機１００ａでは、図７に示すように、赤外線センサ１０７１ａは、カーソルキー１０８１、決定キー１０８２、テンキー、＊、＃キー１０８３の各キーボタンの間に配置されている。
【００５３】
このように赤外線センサ１０７１ａを配置した場合でも、距離センサ部１０７ａは、ユーザの指の３次元的な位置を検出し、その他の各部は、携帯電話機１００と同様に動作することで、ユーザは自らの動作によりキー入力することになるキーを事前に把握することができるので、誤入力を防止し、直接装置に触れなくても容易に操作することができる。
【００５４】
［第３の実施形態］
以下、図面を参照して、本発明の第３の実施形態について説明する。本発明による入力装置を備えた本実施形態における携帯電話機１００ｂは、図１に示す携帯電話機１００とは異なる点が２つある。一つ目は、携帯電話機１００ｂの主表示部１１１ｂが、液晶パネル１１１１と、そのガラス基板の画素一つ一つに対応する位置に外光を検出する光センサ１１１２とを備えた光センサ内蔵システム液晶パネルにより構成されており、画像、文字等を表示するとともに、この主表示部１１１ｂに外部から入射する光を検出して撮像し、指までの距離を、主表示部１１１ｂの光センサ１１１２が撮像した画像に基づき判定する点である。２つ目は、操作部１０８を備えず、主表示部１１１ｂにボタンを表示し、これらのボタンに対するユーザ操作を前述の光センサ１１１２にて検出する点である。
【００５５】
図８は、本実施形態における携帯電話機１００ｂの外観図である。同図において、図１の各部に対応する部分には同一の符号（１１６、１１７、１０９、１１０、１０９１）を付け、その説明を省略する。携帯電話機１００ｂは、バータイプの携帯電話機であり、携帯電話機１００、１００ａとは異なり、テンキー、＊、＃キー１０８３のようなキーボタンを有する操作部１０８と、距離センサ部１０７と、副表示部１１２とを備えず、主表示部１１１ｂの液晶パネル１１１１のうち、操作用のボタンが割り当てられた領域に、該操作用のボタンを表す画像を表示し、該ボタンに対する操作を光センサ（位置検出部）１１１２にて検出する。このボタンには、数字などのキーが割当てられたキーボタンの他に、携帯電話機１００ｂを操作するためのボタン、例えばオフフックボタン、オンフックボタンや、携帯電話機で動作するアプリケーションを操作するためのボタン、例えばＷｅｂブラウザのホームボタンや戻るボタンなどを含む。
【００５６】
また、メモリ１０６ｂのジェスチャー記憶部１０６１ｂ、認証ジェスチャー記憶部１０６３ｂにて記憶する軌跡パターン情報のフォーマットが、携帯電話機１００、１００ａにおける軌跡パターン情報のフォーマットと異なる。図８（ａ）は、この携帯電話機１００ｂの入力操作用の主表示部１１１ｂが設けられている側を表わし、図１（ｂ）は、その背面を表わす。
【００５７】
図９は、本実施形態における携帯電話機１００ｂの構成を示す概略ブロック図である。同図において、図２の各部に対応する部分には同一の符号（１０１〜１０５、１１０、１１３〜１２１、１２４、１２５）を付け、その説明を省略する。メモリ１０６ｂは、図２におけるメモリ１０６と同様に通話、電子メール等を行う場合に使用されるデータに加え、ユーザにより設定された情報など、その他の管理情報を記憶する不揮発性のメモリである。しかし、メモリ１０６ｂは、図２におけるメモリ１０６とは、ジェスチャー記憶部１０６１と認証ジェスチャー記憶部１０６３とに替えて、ジェスチャー記憶部１０６１ｂと認証ジェスチャー記憶部１０６３ｂとを備える点が異なる。
【００５８】
ジェスチャー記憶部１０６１ｂおよび認証ジェスチャー記憶部１０６３ｂは、図２におけるジェスチャー記憶部１０６１および認証ジェスチャー記憶部１０６３とは、記憶している軌跡パターン情報のフォーマットが異なる。具体的には、図２におけるジェスチャー記憶部１０６１および認証ジェスチャー記憶部１０６３では、軌跡パターン情報において位置を表すのにキーボタンと、該キーボタンからの距離とを用いていたが、ジェスチャー記憶部１０６１ｂおよび認証ジェスチャー記憶部１０６３ｂでは、主表示部１１１ｂを基準とした相対座標（Ｘ，Ｙ，Ｚなどの３次元座標）を用いる点が異なる。
【００５９】
図１０は、主制御部１０４が、プログラムメモリ１０５に格納されたプログラムを実行することにより機能するセンサ入力処理部１３０ｂと関連する携帯電話機１００ｂの部分を示した概略ブロック図である。センサ入力処理部１３０ｂは、ジェスチャー軌跡生成部１３０１ｂ、ボタン入力制御部１３０２ｂ、発光制御部１３０３ｂ、コマンド出力部１３０４ｂ、認証ジェスチャー照合部１３０５ｂを具備する。アプリケーション（コマンド受付部）１４０１、アプリケーション（パスワード受付部）１４０２、アプリケーション（ボタン入力受付部）１４０３ｂについても、プログラムメモリ１０５に格納されたプログラムを実行することにより機能する。
【００６０】
アプリケーション（コマンド受付部）１４０１は、図３におけるアプリケーション（コマンド受付部）１４０１と同様に、Ｗｅｂブラウザや電子メールソフトなどのアプリケーションのコマンド受付部であり、コマンド出力部１３０４ｂが出力する該アプリケーション固有のコマンドを受け付ける。アプリケーション（パスワード受付部）１４０２は、図３におけるアプリケーション（パスワード受付部）１４０２と同様に、アプリケーションのパスワード受付部であり、認証ジェスチャー照合部１３０５ｂが出力する該アプリケーション向けのパスワードを受け付ける。アプリケーション（ボタン入力受付部）１４０３ｂは、アプリケーションのボタン入力受付部であり、ボタン入力制御部１３０２ｂが出力する該アプリケーション向けのボタンが操作されたことを表す情報を受け付ける。
【００６１】
ジェスチャー軌跡生成部（軌跡生成部）１３０１ｂは、光センサ１１１２が検出したユーザの指の位置と検出した指の移動速度とを時間順に繋いでユーザの指の軌跡情報を生成する。ボタン入力制御部１３０２ｂは、液晶パネル１１１１に表示されたボタンに対して予め決められた入力検出距離（第一の距離）内にユーザの指が近付いたことを光センサ１１１２が検出したときは、該ボタンが操作されたことを表す情報、すなわち該ボタンが押下されたことを表す情報をアプリケーション（キー入力受付部）１４０３に出力する。
【００６２】
発光制御部（通知制御部）１３０３ｂは、光センサ１１１２が、液晶パネル１１１１に表示されたいずれかのボタンに対して入力検出距離より大きい値であって、予め決められた入力予告距離（第二の距離）内にユーザの指が近付いたことを検出したときは、該ボタンの影を表示するように液晶パネル１１１１を制御する。さらに、発光制御部１３０３ｂは、光センサ１１１２が、入力検出距離内にユーザの指が近付いたことを検出したときは、該ボタンの画像を変化させるように液晶パネル１１１１を制御する。
【００６３】
コマンド出力部１３０４ｂは、ジェスチャー軌跡生成部１３０１ｂが生成した軌跡情報が表す軌跡と、ジェスチャー記憶部（軌跡パターン記憶部）１０６１ｂが記憶している軌跡パターン情報各々が表す軌跡とを比較し、この比較結果の差分が所定の範囲内の軌跡パターン情報を検出し、該検出した軌跡パターン情報に対応付けられたコマンドをＡＰ固有設定記憶部（コマンド記憶部）１０６２から読み出して、アプリケーション（コマンド受付部）１４０１に出力する。また、コマンド出力部１３０４ｂがアプリケーション（コマンド受付部）１４０１にコマンドを出力する際に、このコマンドを表す情報に加えて、軌跡情報中の座標や速度などをパラメータとして出力するようにしてもよい。例えば、軌跡情報中で、主表示部１１１ｂとの距離がゼロとなったとき（主表示部１１１ｂをタッチしたとき）の座標を、拡大または縮小のコマンドとともに出力し、これを受けたアプリケーションは、パラメータの座標を中心にして画像を拡大または縮小するようにしてもよい。なお、蛍光灯の光や太陽光などの強い光が光センサ１１１２に入射しており、光センサ１１１２が指までの距離を判定できないときは、コマンド出力部１３０４ｂおよび認証ジェスチャー照合部１３０５ｂは、軌跡パターン情報および軌跡情報からキーボタンからの距離を除いた情報を用いてコマンドやパスワードを判定するようにしてもよい。
【００６４】
タッチパネル付きのディスプレイに、操作用のボタンなどを含む操作用の画像を表示する際には、タッチパネルを操作する手により画像が隠されてしまう。このため、タッチパネル付きのディスプレイを用いた装置では、ユーザが画像の切り替えを認識し易いように、ユーザがディスプレイにタッチしたときではなく、タッチした手を離したときに画像の切り替えを行なう。しかしながら、本実施形態の携帯電話機１００ｂは、このように、光センサ１１１２により、主表示部１１１ｂから離れたところにある指の動きを検出し、この検出結果に基づき画像の切り替えを行なう。このため、操作する手により隠される画像がタッチパネルより少なく、操作する手があっても、ユーザは画像の切り替えを認識することができるので、光センサ１１２が指の動きを検出したときに、すなわち操作の動作を終えたあと、携帯電話機１００ｂは、操作する手が退けられるのを待つことなく、アプリケーションによる画像の切り替えを行なうことができる。
【００６５】
また、アプリケーションでは、アプリケーション（コマンド受付部）１４０１、アプリケーション（パスワード受付部）１４０２、アプリケーション（ボタン入力受付部）１４０３ｂが、センサ入力処理部１３０ｂからコマンド、パスワード、ボタン操作の入力を受け付けるとともに、光センサ１１１２からの直接入力を受け付けるようにしてもよい。これにより、例えば、画像編集を行うアプリケーションの場合、センサ入力処理部１３０ｂからのコマンドにより編集機能を切り替え、光センサ１１１２からの直接入力により、手書き文字や絵を描画することができる。
【００６６】
認証ジェスチャー照合部（認証軌跡照合部）１３０５ｂは、ジェスチャー軌跡生成部１３０１ｂが生成した軌跡情報が表す軌跡と、認証ジェスチャー記憶部（認証軌跡パターン記憶部）１０６３ｂが記憶している認証軌跡パターン情報が表す軌跡とを比較し、この比較結果の差分が所定の範囲内にあるときは、この認証軌跡パターン情報に対応付けられた認証情報をパスワード記憶部（認証情報記憶部）１０６４から読み出して、アプリケーション（パスワード受付部）１４０２に出力する。
【００６７】
光センサ１１１２は、前述のように撮像し、この撮像により得られた画像中の指を検出する。このとき、光センサ１１１２は、画像中の指の大きさから主表示部１１１ｂから指までの距離を判定し、この距離と、画像中の指の位置から主表示部１１１ｂに対する空間的な位置を検出する。また、光センサ１１１２は、画像中の指の大きさの変化から指の主表示部１１１ｂに対して鉛直方向の速度を判定する。この判定した距離または速度に基づき、発光制御部１３０３ｂは、ボタンの画像を変化させるように液晶パネル１１１１を制御するようにしてもよい。このボタンの画像を変化させ方の例としては、例えば、距離が近い、あるいは、速度が速いほど、ボタンの明度を上げる、ボタンのサイズを大きくする、ボタンに表示する文字のフォントを変更する、ボタンの影の大きさを変えるなどである。
【００６８】
また、光センサ１１１２が画像中に指を検出したときは、発光制御部１３０３ｂが液晶パネル１１１１に、光センサ１１１２が検出し易い色の画像を表示させるようにしてもよい。さらに、このとき、指を検出した位置に相当する領域のみを、光センサ１１１２が検出し易い色とした画像としてもよい。これにより、光センサ１１１２は指の位置をより正確に検出し易くなり、また、携帯電話機１００ｂが検出している指の位置を、ユーザは把握することができる。携帯電話機１００ｂは、主表示部１１１ｂから指までの距離を指の輝度に基づき判定（輝度が高いほど近いと判定する）し、前述のように距離または速度に基づきボタンの画像を変化させることができる。このとき、指を検出した位置以外の領域には画像を表示しておくことで、ユーザは迷わずに操作することもできる。
【００６９】
また、本実施形態において光センサ１１１２は、主表示部１１１ｂから指までの距離または該方向の速度の判定を行うとして説明したが、これに替えて、別に音波（超音波）や赤外線を用いた三角測定などで距離を測定する測距センサを設けて、この測距センサにより指までの距離を判定するようにしてもよいし、カメラまたはラインセンサを設けて、このカメラまたはラインセンサによる撮像結果の焦点があっているか否かに基づき、カメラまたはラインセンサの焦点距離付近に指があるか否かを判定するようにしてもよい。
【００７０】
このように、光センサ１１１２が、ユーザの指とボタンとの距離を検出し、該距離が入力検出距離よりも大きい入力予告距離内であるときは、発光制御部１３０３ｂが、液晶パネル１１１１に該ボタンの画面表示を変化させるので、ユーザは自らの動作によりボタン操作することになるボタンを事前に把握することができるので、誤入力を防止し、直接装置に触れなくても容易に操作することができる。
【００７１】
なお、図３におけるセンサ入力処理部１３０、および図４におけるセンサ入力処理部１３０ｂの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりセンサ入力処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００７２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００７３】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【産業上の利用可能性】
【００７４】
本発明は、携帯電話機などの携帯機器に用いて好適であるが、これに限定されない。
【図面の簡単な説明】
【００７５】
【図１】この発明の第１の実施形態による携帯電話機１００の外観図である。
【図２】同実施形態における携帯電話機１００の構成を示す概略ブロック図である。
【図３】同実施形態におけるセンサ入力処理部１３０と関連する携帯電話機１００の部分を示した概略ブロック図である。
【図４】同実施形態におけるジェスチャー記憶部１０６１が記憶する軌跡情報と各軌跡情報に対応付けてＡＰ固有設定記憶部１０６２が記憶するコマンドを例示する図である。
【図５】同実施形態におけるセンサ入力処理部１３０の動作を説明するフローチャートである。
【図６】同実施形態におけるステップＳａ１０のキー非接触入力処理を説明するフローチャートである。
【図７】この発明の第２の実施形態による携帯電話機１００ａの外観図である。
【図８】この発明の第３の実施形態による携帯電話機１００ｂの外観図である。
【図９】同実施形態における携帯電話機１００ｂの構成を示す概略ブロック図である。
【図１０】同実施形態におけるセンサ入力処理部１３０ｂと関連する携帯電話機１００ｂの部分を示した概略ブロック図である。
【符号の説明】
【００７６】
１００、１００ａ…携帯電話機
１０１…アンテナ
１０２…無線部
１０３…通信制御部
１０４…主制御部
１０５…プログラムメモリ
１０６…メモリ
１０６１…ジェスチャー記憶部
１０６２…ＡＰ固有設定記憶部
１０６３…認証ジェスチャー記憶部
１０６４…パスワード記憶部
１０７…距離センサ部
１０７１、１０７１ａ…赤外線センサ
１０８…操作部
１０８１…カーソルキー
１０８２…決定キー
１０８３…テンキー、＊、＃キー
１０９…主カメラ
１１０…副カメラ
１１１…主表示部
１１１１…液晶パネル
１１１２…光センサ
１１２…副表示部
１１３…振動部
１１４…ＧＰＳ機能部
１１５…音声処理部
１１６…マイク
１１７…スピーカ
１１８…ＲＦＩＤリーダ
１１９…Ｉｒ送信部
１２０…Ｉｒ受信部
１２１…インジケータ
１２３…電源制御部
１２４…電池
１３０…センサ入力処理部
１３０１…ジェスチャー軌跡生成部
１３０２…キー入力制御部
１３０３…発光制御部
１３０４…コマンド出力部
１３０５…認証ジェスチャー照合部  
【図１】
2009217465.tif 000003
【図２】
2009217465.tif 000004
【図３】
2009217465.tif 000005
【図４】
2009217465.tif 000006
【図５】
2009217465.tif 000007
【図６】
2009217465.tif 000008
【図７】
2009217465.tif 000009
【図８】
2009217465.tif 000010
【図９】
2009217465.tif 000011
【図１０】
2009217465.tif 000012