(57)【要約】【課題】  小型で、高分解能かつ高精度の情報入力装置を提供する。【解決手段】  測距手段１３は、特定波の照射と反射波の捕捉により対象物までの距離を測定する。焦点調整手段１１は、測距手段１３で測定された距離に応じて撮影手段１２の焦点距離を調整する。撮影手段１２は、所定空間の画像を撮影する。画像処理手段１４は、撮影手段１２で撮影された画像から、情報入力指示を行なう対象物を特定し、対象物の位置および動きを検出する。制御手段２１は、画像処理手段１４で検出された対象物の位置および動きに基づいて、対象物によりなされた情報入力指示を認識し、その情報入力指示に応じた処理を実行する。表示手段２３は、画像処理手段１４で検出された対象物の位置および動きと、制御手段２１にて実行された処理とを反映した画面を表示する。【選択図】      図１
2005190283.tif 000002
【特許請求の範囲】
【請求項１】
情報機器に情報を入力するための情報入力装置であって、
所定空間の画像を撮影する撮影手段と、
前記撮影手段で撮影された前記画像から、情報入力指示を行なう対象物を特定し、該対象物の位置および動きを検出する画像処理手段と、
前記画像処理手段で検出された前記対象物の位置および動きに基づいて、前記対象物によりなされた情報入力指示を認識し、該情報入力指示に応じた処理を実行する制御手段と、
前記画像処理手段で検出された前記対象物の位置および動きと、前記制御手段にて実行された前記処理とを反映した画面を表示する表示手段とを有する情報入力装置。
【請求項２】
特定波の照射と反射波の捕捉により前記対象物までの距離を測定する測距手段と、
前記測距手段で測定された距離に応じて前記撮影手段の焦点距離を調整する焦点調整手段とをさらに有する、請求項１に記載の情報入力装置。
【請求項３】
特定波の照射と反射波の捕捉により前記対象物が前記所定空間に存在するか否か判定し、判定結果を前記制御手段に通知する測距手段をさらに有し、
前記制御手段は、前記測距手段による前記判定結果に基づき、前記対象物が前記所定空間に存在しないとき、前記撮影手段、前記画像処理手段、および前記表示手段への給電を停止する、請求項１記載の情報入力装置。
【請求項４】
特定波の照射と反射波の捕捉により前記対象物が前記所定空間に存在するか否か判定し、判定結果を前記制御手段に通知する測距手段をさらに有し、
前記制御手段は、前記測距手段による前記判定結果に基づき、前記対象物が前記所定空間に存在するとき、前記表示手段に情報入力画面を表示させる、請求項１記載の情報入力装置。
【請求項５】
前記撮影手段は固定された１台のカメラ部を有する、請求項１〜４のいずれか１項に記載の情報入力装置。
【請求項６】
前記制御部は、前記所定空間内に仮想的な平面操作盤を構成し、前記所定空間内での前記対象物の位置および動きから該仮想的な平面操作盤への情報入力指示を認識する、請求項１〜５のいずれか１項に記載の情報入力装置。
【請求項７】
前記対象物が、特定の形態を有する物体である、請求項１〜６のいずれか１項に記載の情報入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報機器においてオペレータによって指示された情報を入力する情報入力装置に関し、特に非接触型の情報入力装置に関する。
【背景技術】
【０００２】
情報入力のための一般的な装置は、操作スイッチ、キーボード、マウス、タッチパネル、リモコンのように、手で触れて操作するもの（接触型情報入力装置）である。しかし、近年では情報機器の用途が広がり、様々な場面や状況で使用されている。そして、使用される場面や状況によっては情報入力装置に手で触れることが困難な場合があり、そのような場合には非接触型情報入力装置を用いるのが好ましい。
【０００３】
例えば、キッチンで情報機器に情報を入力する場合、調理作業中の手が濡れた状態でも非接触で情報入力できることが好ましい。これと同様に、工事現場、手術室などでも非接触で情報入力できることが好ましいと考えられる。また、情報入力装置が大きい場合や、情報入力装置まで距離があって手が届かない場合もある。
【０００４】
これに対して従来より様々な非接触型情報入力装置が提案されている。
【０００５】
一例として、複数の特定箇所に光検出器が埋め込まれたディスプレイと、そのディスプレイに光を照射する指示装置を用いる情報入力装置が特許文献１に開示されている。この情報入力装置は、指示装置からディスプレイ面の特定箇所の光検出器に照射された光を検出して情報入力指示を認識する。オペレータは指示装置を用いて光検出器に光を照射することで情報機器に情報を入力することができる。
【０００６】
また、他の例として、赤外線をディスプレイ面に対応した所定の空間に走査し、その空間内に入った対象物に赤外線が照射されたことを赤外線センサによって検知してディスプレイ面上の特定箇所を位置決めし、その位置指定による所定の操作命令を出力する情報入力装置が特許文献２に開示されている。この情報入力装置によれば、対象物（例えば人の指先）を空間内の特定箇所に置くことにより、情報機器に情報を入力することができる。
【０００７】
また、他の例として、カーナビゲーションシステムのような車載用情報機器に対して情報入力を行なう情報入力装置であって、カメラで人体の一部を撮像して得られた映像信号から入力情報を判定するものが特許文献３に開示されている。この情報入力装置によれば、情報機器に触れる必要がないだけでなく、情報入力装置またはディスプレイを見なくとも情報入力が可能となる。
【特許文献１】特開平０１−１４２５９１号公報
【特許文献２】特開平０８−２０２４８０号公報
【特許文献３】特開２０００−７５９９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１に開示された情報入力装置は、特定箇所に埋め込んだ光検出器で指示装置からの光を検出するので、光検出器が埋め込まれた箇所でしか入力情報を判定できず、そのため多様な入力操作ができなかった。また、この情報入力装置は、光検出器の位置で分解能を得る構成なので、認識すべき情報が多くなれば、ディスプレイの小型化が困難となる。
【０００９】
特許文献２に開示された情報入力装置は、複数のミラーを用いて赤外線で対象物を動的に追尾し、その位置を複数の赤外線センサで検知する構成なので、機械的要素に依存する光学系の小型化が困難であった。
【００１０】
特許文献３に開示された情報入力装置は、オペレーターがディスプレイを見ないで入力操作を行うものであり、ディスプレイ表示は事後の確認、あるいは他者による確認のためのものである。この情報入力装置では、オペレーターは視覚的に選択箇所を捉えながら入力情報を決定できず、高い精度で情報を入力することが困難であった。つまり、この情報入力装置は、操作の確実性の面で、画面を見て行なう情報入力に及ぶものではなかった。さらに、所定の空間に意図しない物が入ることにより誤入力が発生する可能もあった。
【００１１】
本発明の目的は、小型で、高分解能かつ高精度の情報入力装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の情報入力装置は、情報機器に情報を入力するための情報入力装置であって、所定空間の画像を撮影する撮影手段と、
前記撮影手段で撮影された前記画像から、情報入力指示を行なう対象物を特定し、該対象物の位置および動きを検出する画像処理手段と、前記画像処理手段で検出された前記対象物の位置および動きに基づいて、前記対象物によりなされた情報入力指示を認識し、該情報入力指示に応じた処理を実行する制御手段と、前記画像処理手段で検出された前記対象物の位置および動きと、前記制御手段にて実行された前記処理とを反映した画面を表示する表示手段とを有している。
【００１３】
したがって、本発明によれば、撮影手段が画像を撮影し、画像処理手段が一時解析により、対象物およびその動きを求め、制御手段が、二次解析により、入力指示された情報を特定して処理に反映させることができる。
【００１４】
また、本発明の情報入力装置は、特定波の照射と反射波の捕捉により前記対象物までの距離を測定する測距手段と、前記測距手段で測定された距離に応じて前記撮影手段の焦点距離を調整する焦点調整手段とをさらに有することとしてもよい。したがって、対象物との距離に応じて撮影手段の焦点距離が調整されるので、撮影手段は対象物との距離が変化しても良好な画像を撮影することができる。
【００１５】
あるいは、特定波の照射と反射波の捕捉により前記対象物が前記所定空間に存在するか否か判定し、判定結果を前記制御手段に通知する測距手段をさらに有し、前記制御手段は、前記測距手段による前記判定結果に基づき、前記対象物が前記所定空間に存在しないとき、前記撮影手段、前記画像処理手段、および前記表示手段への給電を停止することとしてもよい。したがって、対象物の存否に応じて給電を最小限に制御することができる。
【００１６】
あるいは、特定波の照射と反射波の捕捉により前記対象物が前記所定空間に存在するか否か判定し、判定結果を前記制御手段に通知する測距手段をさらに有し、前記制御手段は、前記測距手段による前記判定結果に基づき、前記対象物が前記所定空間に存在するとき、前記表示手段に情報入力画面を表示させることとしてもよい。したがって、オペレータが情報入力指示を行ないたいときにメニュー画面のような情報入力画面を表示することができる。
【００１７】
また、前記撮影手段は固定された１台のカメラ部を有することとしてもよい。したがって、１台のカメラからなる小型で簡易な構成により情報入力が可能である。
【００１８】
また、前記制御部は、前記所定空間内に仮想的な平面操作盤を構成し、前記所定空間内での前記対象物の位置および動きから該仮想的な平面操作盤への情報入力指示を認識することとしてもよい。したがって、本発明の情報入力装置は対象物の位置および動きを仮想的な平面操作盤により面で捉えることができる。
【００１９】
また、前記対象物が、特定の形態を有する物体であることとしてもよい。したがって、特定の形状や大きさにより対象物を容易に特定可能である。
【発明の効果】
【００２０】
本発明によれば、撮影手段が画像を撮影し、画像処理手段が一時解析により、対象物およびその動きを求め、制御手段が、二次解析により、入力指示された情報を特定して処理に反映させるので、オペレータは画面表示を見ながら情報機器に触れることなく高分解能かつ高精度の情報入力を行うことができ、また光学系を物理的に制御することなく小型の機器構成で実現できる。
【００２１】
また、対象物との距離に応じて撮影手段の焦点距離が調整されるので、撮影手段は対象物との距離が変化しても良好な画像を撮影することができ、距離によらず高い精度の情報入力が可能である。
【００２２】
また、対象物の存否に応じて給電を最小限に制御することができるので、情報機器の消費電力を低減することができる。
【００２３】
また、オペレータが情報入力指示を行ないたいときにメニュー画面のような情報入力画面を表示することができるので、操作性が向上する。
【００２４】
また、１台のカメラからなる小型で簡易な構成により情報入力が可能である。
【００２５】
また、本発明の情報入力装置は対象物の位置および動きを仮想的な平面操作盤により面で捉えるので、接触型の情報入力装置と同等の高度な情報入力指示を高い精度で認識することができる。
【００２６】
また、特定の形状や大きさにより対象物を容易に特定可能なので、誤認識を低減でき、また検出時間を短縮できる。
【発明を実施するための最良の形態】
【００２７】
本発明の一実施形態について図面を参照して詳細に説明する。
【００２８】
図１は、本発明の一実施形態による情報入力装置の構成を示すブロック図である。図１を参照すると、情報入力装置は、画像入力ブロック１０および制御ブロック２０を有している。画像入力ブロック１０は焦点調整部１１、カメラ部１２、測距部１３、および画像処理部１４を有している。制御ブロック２０は、制御部２１、表示制御部２２、およびディスプレイ２３を有している。
【００２９】
カメラ部１２は、レンズ部（不図示）と、光学的な映像を電気的な情報信号に変換する受光素子部（不図示）とを有している。そして、カメラ部１２は、ディスプレイ２３前方の所定空間内の対象物を撮影可能な範囲（画角）を有しており、所定空間を撮影可能な位置および方向に配置され、レンズ部を通した映像を受光素子部で電気的な映像情報に変換する。なお、対象物が情報入力指示を行なえる位置は所定空間内なので、固定された１台のカメラ部１２により得られる画像情報から情報入力指示を特定可能である。本実施形態の情報機器は、カメラ部１２が１台でよく、またそれが固定されているので駆動機構や駆動回路が不要であり、小型化が可能となっている。
【００３０】
ここで所定空間は、オペレーターがディスプレイ２３を見ながら情報入力指示の動作（操作）を行う空間であり、例えば、ディスプレイ２３の表示部の前方において、ディスプレイ２３の面積に対応した空間である。
【００３１】
所定空間では、対象物がディスプレイ２３の前方でディスプレイ２３に表示されるメニューに対する情報入力指示をする。ここで対象物はオペレーターの手である。オペレータは、ディスプレイ２３を見ながら情報を入力するための動作（操作）を行う。ディスプレイ２３にはメニュー画面や情報入力可能な画面が表示されており、オペレータは画面表示に応じた動作（操作）を行う。カメラ部１２は、所定範囲を撮影し、その映像情報を取得して画像処理部１４に送る。
【００３２】
測距部１３は、カメラ部１２によって撮影される対象物までの距離を測定し、距離情報を取得する。その際、測距部１３は、特定波の照射と反射波の捕捉によって、入力操作を行う対象物の有無および対象物までの距離を測定する。例えば、測距部１３は、赤外線、レーザー、マイクロ波または超音波を対象物に照射する照射部（不図示）と、対象物からの反射波を受信する受信部（不図示）とで構成できる。測距部１３は、取得した距離情報を画像処理部１４および制御部２１に送る。
【００３３】
焦点調整部１１は、画像処理部１４からの制御に従ってカメラ部１２の焦点距離を調整する。
【００３４】
画像処理部１４は、カメラ部１２からの映像情報と測距部１３からの距離情報を入力とし、それら情報を用いて画像処理を行って対象物を特定し、特定結果の画像処理情報を制御部２１に送る。その際、画像処理部１４は、最適な画像取得のために、距離情報に基づいて焦点調整部１４を制御する。また、画像処理部１４は、カメラ部１２からの映像情報の画像各部の位置、大きさ、色、形状などから対象物の存在およびその位置を特定し、対象物の位置、大きさ、形状、移動量、速度、および加速度などの対象物情報を含む画像処理情報を制御部２１に送る。対象物情報には、少なくとも対象物の位置および動きの情報が含まれている。
【００３５】
制御部２１は、本情報機器全体を制御する中央処理制御機能を有している。情報入力時、制御部２１は、所定のタイミングで画像処理部１４に対して画像処理情報を要求して取得する。そして、制御部２１は、画像処理部１４からの画像処理情報に基づき、オペレーターによる情報入力指示を認識する。そのとき、制御部２１は、画像処理情報に含まれる対象物情報に基づきオペレータの動作を推定し、画面表示と関連づけて情報入力指示を特定する。例えば、空間上に仮想的な平面の操作盤（例えばタッチパネル）が存在するとして、オペレータがそれを操作するように手を動かすと、制御部２１は、その動作に応じて仮想的なタッチパネルに対する情報入力指示を特定する。本実施形態では、カメラ部１２の有効画素数相当の分解能により対象物およびその動きを面で捉えることができるので、赤外線を走査して対象物を空間内の点または線で捕らえる手法と比べて高度な情報入力指示が可能である。また、本実施形態の情報機器は、対象物およびその動きを面で捉えるので、タッチパネルと同等の高度な情報入力指示を１台のカメラ部１２による簡易な構成で、かつ高い精度で認識することができる。
【００３６】
そして、制御部２１は、特定した情報入力指示に従って情報、その情報に従った処理の状況および結果を画面に反映させるように表示制御部２２に指示する。例えば、制御部２１はメニュー内の項目をオペレータの入力した情報に従って選択し、その項目に対応する処理を実行して画面を更新する。
【００３７】
表示制御部２２は、制御部２１からの指示に従ってディスプレイ２３に画像または情報を表示する。
【００３８】
なお、本実施形態では、距離によらず高い精度での情報入力を可能とするために、測距部１３で測定された距離情報に基づき、焦点調整部１１でカメラ部１２の焦点距離を調整することとしたが、オペレータが情報入力を行なう空間範囲によっては、焦点距離を固定とし、焦点調整部１１を省いてもよい。
【００３９】
また、測距部１３は対象物までの距離を測定する機能を有するので、その機能を利用して対象物が存在するか否かを検知することとしてもよい。例えば、撮影対象範囲となる所定距離以内に対象物が無いとき、対象物が存在しない判断すればよい。そして、対象物が存在しないとき、情報機器内の給電を最小限にすることにより情報機器の消費電力を低減することができる。例えば、対象物が存在しないときには、測距部１３から通知を受けた制御部２１が、制御部２１自身と測距部１３を除く他の部分への給電を停止すればよい。
【００４０】
また、対象物がディスプレイ２３の前方の所定空間に存在しないとき、ディスプレイ２３のメニュー画面のような情報入力画面の表示を停止し、対象物が所定空間に来たときだけ情報入力画面の表示を行なうこととしてもよい。これにより、オペレータの意思に沿った画面表示により操作性を向上させることができる。
【００４１】
また、本実施形態の情報機器はオペレータの動作により情報入力を行なうが、それに加えてディスプレイ２３に既存のタッチパネル機能を持たせることで、接触および非接触のどちらでも情報入力を可能としてもよい。オペレータは状況に応じて入力方法を選択でき、さらに高い操作性を提供することができる。
【００４２】
本実施形態の情報機器によれば、ディスプレイ２３の表示内容に応じて、オペレーターが情報入力指示の動作（操作）を行なうと、カメラ部１２が映像を撮影し、画像処理部１４が一時解析により、対象物であるオペレータの手の存在および動きの情報（対象物情報）を求め、制御部２１が、二次解析により、入力指示された情報を特定し、情報機器の処理に反映させるので、情報機器に触れることなく、また光学系を物理的に制御することなく、高分解能かつ高精度の情報入力を小型の機器構成で実現することができる。
【００４３】
本実施形態の情報機器の具体的な動作例について説明する。
【００４４】
図２は、本実施形態による情報機器の動作例を説明するための図である。図２を参照すると、ディスプレイ２３の上方にカメラ部１２および測距部１３が設置されている。ディスプレイ２３前方の撮影可能範囲３１には対象物３０であるオペレータの手がある。
【００４５】
対象物３０が撮影可能範囲３１に一定時間以上置かれると、測距部１３が対象物３０の存在を検出し、制御部２１に通知する。制御部２１は、ディスプレイ２３にメニュー画面を表示するように表示制御部２２に指示する。
【００４６】
また、制御部２１は画像処理部１４に動作の開始を指示する。画像処理部１４は、カメラ部１２で撮影された画像に基づいて対象物の形状、位置および動きを検出する。
【００４７】
また、制御部２１は、画像処理部１４から対象物情報を取得し、ディスプレイ２３の画面に反映させる。図２では、ディスプレイ２３の画面に、対象物３０であるオペレータの手に対応する矢印３２が表示されている。オペレータが手を動かせば、この矢印３２もそれに伴って移動する。オペレータはディスプレイ２３に表示されたメニュー（不図示）および矢印３２を見ながら情報入力動作を行うことができる。
【００４８】
このように、情報入力動作は、ディスプレイ２３前方における、ディスプレイ２３に接触しないよう適当な距離を隔てた空間にて、手を動かすことにより行なうことができる。オペレータは、ディスプレイ２３表示を見て確認しながら情報入力動作をできるので、空間上に仮想的なタッチパネルが存在するかのような、接触型情報入力装置と同様の感覚で情報の入力が可能である。
【００４９】
図３は、オペレータが空間上の仮想的なタッチパネルに対する情報入力指示を行なう様子を示す図である。図３を参照すると、ディスプレイ２３の前方空間に仮想的なタッチパネル４０が示されている。その仮想的なタッチパネル４０に対してオペレータが手で情報入力指示を行なうと、その指示が制御部２１で特定され処理に反映される。例えば、オペレータが手で仮想的なタッチパネル４０のボタン４１を押す動作を行うと、制御部２１ではタッチパネルのボタンの押下に対応する処理を行う。また、制御部２１による処理はディスプレイ２３にも反映され、ディスプレイ２３上では、そこに表示されているボタン４２が押されたことが表示される。このように本実施形態の制御部２１が仮想的なタッチパネル４０に対するオペレータの情報入力指示を対象物（オペレータの手）３０の動きにより特定して情報入力指示を行なうので、接触型と同様に、高精度の情報入力を容易に行なうことができる。
【００５０】
なお、本実施形態では、対象物３０がオペレータの手である例を示したが、本発明はそれに限定されるものではない。例えば、特定形態物を対象物３０としてもよい。ここで特定形態物とは、特定の形状および大きさを有する物体であり、例えば指し棒である。また、特定形態物は特定の色を有してもよい。特定形態物はその形状や大きさにより特定可能であるため、人の手のように形状や大きさに幅のあるもので情報入力指示を行なうよりも誤認識が少なく高い精度で情報を入力することができ、また検出時間の短縮を図ることもできる。特定形態物を用いる構成は、例えばディスプレイ画面を用いてプレゼンテーションを行うような状況において有効である。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施形態による情報入力装置の構成を示すブロック図である。
【図２】本実施形態による情報機器の動作例を説明するための図である。
【図３】オペレータが空間上の仮想的なタッチパネルに対する情報入力指示を行なう様子を示す図である。
【符号の説明】
【００５２】
１０    画像入力ブロック
１１    焦点調整部
１２    カメラ部
１３    測距部
１４    画像処理部
２０    制御ブロック
２１    制御部
２２    表示制御部
２３    ディスプレイ
３０    対象物
３１    撮影可能範囲
３２    矢印
４０    タッチパネル
４１、４２    ボタン
【図１】
2005190283.tif 000003
【図２】
2005190283.tif 000004
【図３】
2005190283.tif 000005