(57)【要約】【課題】  手や指だけでなく、顔、目、鼻などや、その他の物体を動かすことにより、コンピュータの画面上のポインタの位置（座標）を入力する装置を提供する。【解決手段】  対象物体７は、立体、平面の物体、または顔、目、鼻、指などの身体の部位、あるいは発光器で、その対象物体７を撮像手段８で撮像し、画像処理９で対象物体を検出し、その検出した位置の変化から移動量と移動方向を計算する手段４により、コンピュータの画面上のポインタの位置（座標）を入力することを特徴とする。【選択図】図２
2014157592.tif 000002
【特許請求の範囲】
【請求項１】
動きを検出するための物体と、その物体を撮影する撮像手段と、その撮像手段の画像から物体の位置を検出する手段により、コンピュータの画面上のポインタ位置（座標）を入力する装置。
【請求項２】
請求項１に、色の識別の手段と、ボタンを操作する手段を付加した装置である。
【発明の詳細な説明】
【技術分野】
【０００１】本発明は、コンピュータの入力装置に関する。
【背景技術】
【０００２】  コンピュータの画面上のポインタ位置（座標）を入力する装置には、マウス、トラックボール、タッチパネルなどがある。これらの入力装置は、手や指を動かす動作を行う。この動きから移動量と移動方向を検出して、その移動情報の信号をコンピュータへ送ることにより、コンピュータの画面上のポインタ位置（座標）を入力する。【０００３】  マウス、トラックボール、タッチパネルで動きを検出する方法には、いくつかの方式がある。機械式のマウスではマウスを動かすと、底部にあるボールが机の上をころがり、このボールの移動量と移動方向を検出している。光学式のマウスでは、光学センサーによって、机の上の模様や微妙な凹凸を読み取り、マウスがどの方向にどれくらい移動したかを検出している。タッチパネルでは指の動きなどをパネル面の透明な薄膜センサーにより、圧力や静電容量の変化から移動量と移動方向を検出している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】  従来の入力装置であるマウス、トラックボール、タッチパネルは手や指の操作が必要であり、例えば、マウスの場合はコンピュータの作業中にキーボードから手を離して、その手をマウスに移す動作が必要であった。また、手や指に怪我をしていると手や指の動きが困難になる場合があり、マウスの操作が難しくなることがある。【０００５】  ケーブルのない無線方式のマウスでは、マウスの移動情報をコンピュータへ送信するための電源として乾電池などを使用しており、コンピュータの作業中にその電池が切れると新しい電池と交換する作業が発生して、煩わしさを感じることがある。【０００６】  タッチパネルの入力装置では、汚れた手で画面を触ると画面が汚れたり、手袋をはめていると操作し難くなることがある。【０００７】
【発明が解決するための手段】
【０００８】  コンピュータの画面上のポインタ位置（座標）を入力する操作は、手や指だけでなく、自由に動かすことができて、静止させることもできる物体とする。その対象物体をカメラなどで撮像して、その画像を画像処理により対象物体の位置を検出し、その検出した位置の動きから移動量と移動方向を求める。
【０００９】  対象物体は、例えば、文房具の消しゴムなどの小物や名刺などの平面的なカード類、または、手、指先、顔、目、鼻などの身体の部位、あるいは小型のペン型ライトなどの照明器具や発光器などである。
【発明の効果】
【００１０】  コンピュータの画面上のポインタ位置（座標）を入力するときは、従来はコンピュータの作業中にキーボードから手を離して、その手をマウスに移す操作が必要であった。しかし、本発明では、例えば、顔、目、鼻などを対象物体とすれば、キーボートから手を離さずに、顔の動きだけでコンピュータの画面上のポインタ位置（座標）を入力できる。
【００１１】  手や指に怪我をしていると手や指の動きが困難になる場合は、顔、目、鼻などを対象物体とすることで、顔の動きでコンピュータの画面上のポインタ位置（座標）の入力が可能になる。また、手の動きが不自由な人でも顔の動きでコンピュータの画面上のポインタ位置（座標）の入力が可能になる。
【００１２】  対象物体の文房具の消しゴムなどの小物、指先、顔、目、鼻などは、従来のマウスのようにマウス本体とコンピュータを繋ぐケーブルは不要で、乾電池のような電源も必要ない。
【００１３】  タッチパネルの入力装置は画面に手を触れる操作が必要であるが、本発明では手が汚れていても、手袋をはめていても、画面に手を触れずに操作できる。
【図面の簡単な説明】
【００１４】
【図１】従来の光学式マウスの原理を説明する図
【図２】請求項１の原理を説明する図
【図３】請求項１の撮像手段と画像処理を説明する図
【図４】請求項２の原理を説明する図
【図５】請求項２の実施例
【発明を実施するための形態】
【００１５】  以下、図面を参照して、本発明の一実施形態について説明する。本発明の原理は、説明をわかりやすくするため、従来の光学式のマウスと比較して説明する。
【００１６】  図１は従来の光学式のマウスの処理を示す図である。１は対象物体で、例えば、机の上面の平面的な模様や微妙な凹凸などである。光学センサー２によって対象物体の模様や微妙な凹凸を読み取る。画像処理３により、対象物体の模様や微妙な凹凸の動きを追跡して、４で移動量と移動方向を計算する。５のボタン操作は、左ボタン、右ボタン、ホイールなどのボタン操作を検出する手段である。これらの移動量と移動方向、各ボタンの状態をコンピュータ６へ送る。
【００１７】  図２は本発明の処理を示す図である。図２の７は対象物体で、自由に動かすことができ、静止させることもできる物体で、例えば、文房具の消しゴムなどの小物や名刺などの平面的なカード類、または、指先、顔、目、鼻などの身体の部位、あるいは小型のペン型ライトなどの照明器具や発光器などである。
【００１８】  ８の撮像手段は対象物を撮影するカメラなどである。カメラには白黒、カラー、赤外線などがあるが、対象物体が明瞭に映り、対象物体の検出が容易になるカメラを用いる。９の画像処理は、撮像手段のカメラの画像から対象物体を検出する手段であり、対象物体を検出する最も適した画像処理の方法を用いる。４は移動量と移動方向を計算する手段であり、画像処理で検出した対象物の動きから移動量と移動方向を計算する。５のボタン操作は、左ボタン、右ボタン、ホイールなどのボタン操作を検出する手段である。これらの移動量と移動方向、各ボタンの状態をコンピュータ６へ送る。
【００１９】  従来方法の図１と本発明の図２の違いは、図１の対象物体１、光学センサー２、画像処理３と図２の対象物体７、撮像手段８、画像処理９の違いである。次に、本発明の図２の対象物体７、撮像手段８、画像処理９について、図３で説明する。図３の対象物体７は立体でも平面でもよい。画像処理９で対象物体を検出できるように対象物体の表面には色や模様などがあってもよい。例えば、背景が黒色で対象物体も黒色の場合には、画像処理９での対象物体の検出が困難なるので、背景の色と異なる色や模様を付けて検出しやすくしてもよい。あるいは、対象物体を発光させて検出しやすくしてもよい。
【００２０】  撮像手段８のカメラの設置は、対象物体が明瞭に映るように自由に設置してよい。例えば、机より高い位置からカメラを下向きにして、机の上にある消しゴムやカードなどを撮影してもよい。操作者の顔を対象物体とするときはカメラと向き合うように設置してもよい。対象物体がペンの先や指先などの場合には、カメラを斜め下向きに設置してもよい。
【００２１】  撮像手段８のカメラには白黒、カラー、赤外線などがあるが、対象物体が検出し易いカメラを用いる。例えば、対象物体の色を識別するときは、カラーカメラを用いる。対象物体が顔や指などの身体の部位の場合には、赤外線カメラなどを用いてもよい。
【００２２】  画像処理９により、撮像手段で撮影した画像から対象物体を検出するが、その対象物体を検出するために、最も適した画像処理の方法を用いる。例えば、対象物体の模様を検出する方法として、パターンマッチングなどの処理を用いてもよい。対象物体の動きを検出する方法として、現在の画像と前回の画像の差分を行って、動く部分を抽出する方法でもよい。対象物体の色を検出する方法として、カラーカメラを用いて、ＲＧＢ成分の比率から色を識別する方法でもよい。対象物体が丸い発光器の場合には、明るさ、大きさ、丸い形状から対象物体を見つけるような方法でもよい。また、それらの方法や他の方法を組み合わせて、対象物体を検出してもよい。
【００２３】  特に、対象物体を検出する方法として、パターンマッチングを用いる場合については、次のような方法でもよい。パターンマッチングは、画像の中からテンプレートとよく似たパターンを見つける処理で、例えば、鼻をテンプレートとすると、画像の中から鼻（テンプレート）によく似たパターンを見つける。顔を動かすこと、カメラに映った鼻の見え方は、正面から見た形だったり、斜めからの方向から見た形だったりして、一定ではない。もし、最初のテンプレートが鼻を正面から見た形だとしたら、顔を動かして斜めからの方向から見た形になったときに、パターンマッチングでパターンが見つからない場合も生じる。そこで、パターンマッチングで、鼻（テンプレート）によく似たパターンを見つかったら、それを新しいテンプレートとして更新することで、鼻の形状的な変化に追尾できるようにしてもよい。ただし、無条件にテンプレートを更新すると、誤った箇所をテンプレートとして更新してしまう危険があるので、見つかったパターンとテンプレートとの類似度（相関係数など）を求め、その類似度がある程度の値以上のときに、テンプレートを更新する条件を設けてもよい。
【００２４】  対象物体が、例えば、文房具の消しゴムのような物体の場合には、消しゴムが静止していれば、コンピュータの画面上のポインタも静止する。しかし、対象物体が顔、目、鼻などの身体の部位のときは、完全に静止することが難しく、コンピュータの画面上のポインタが意図しない動きをすることがある。これを回避する方法として、ボタン操作５に１個のボタンを設け、そのボタンが押されたときだけ、対象物体の動きに合わせてコンピュータの画面上のポインタが動き、そのボタンが押されてないときは、対象物体が動いてもコンピュータの画面上のポインタは静止するようにしてもよい。
【００２５】  図３の１０は画像処理により対象物体の位置の検出を示した図であり、画像から検出した対象物体の位置情報は画像の座標（ピクセル）である。１１は前回の対象物体の位置（ピクセル）で、１２は現在の対象物体の位置（ピクセル）を示す。対象物体の前回の位置１２と現在位置１１から対象物体のｘ方向の移動量と移動方向１３とｙ方向の移動量と移動方向１４を計算する。例えば、対象物体７が操作者の顔、目、鼻などの場合は、操作者とカメラは対面するので、操作性を良くするために、撮像手段８の画像を鏡変換（画像の左右を逆に変換する）してから対象物体検出を行と、操作者の顔の動きの方向とコンピュータ画面上のポインタの移動方向が一致するので、違和感がなくなる。あるいは、撮像手段８の画像を鏡変換せずに、ｘ方向の移動方向を逆にしてもよい。
【００２６】  本発明の実施として、図２の撮像手段８、画像処理９を１つの入力装置としてもよいし、図２の対象物体７とコンピュータ６を除く全体を１つの入力装置としてもよい。あるいは、コンピュータ、多機能携帯電話（スマートフォン）、タブレット端末、同類の装置の場合には、画像処理９をそれらに組み込んで、本発明の機能を有するようにしてもよい。例えば、コンピュータに撮像手段８を取り付けて、コンピュータに画像処理９を組み込み、操作者の顔を対象物体７としてもよい。以上の説明は本発明の請求項１である。
【００２７】  次に、図４を参照して、請求項２について説明する。請求項２は、請求項１に色の識別処理による手段を付加して、ボタン操作を可能にした装置である。図４の対象物体１５と色の識別１６以外は、図２と同様である。
【００２８】  １５の対象物体は色を変えられる物体、または発光器などである。
撮像手段８のカメラは、色の識別ができるカラーカメラなどである。１６の色の識別は、撮像手段の画像から対象物体の色を識別する手段である。
【００２９】  対象物体１５の色を変えられる物体の場合は、例えば、サイコロのような正立方体の面に色を塗ったもので、正立方体の６面の各面に赤色、緑色、青色、その他の色を塗ったもの。撮像手段８のカメラは、高い位置に下向きに設置して、カメラの下で、色を塗った正立方体を転がすことにより、正立方体の上面の色を変える。あるいは、他の方法で対象物体の色を変化させてもよい。
【００３０】  対象物体１５の色を変えられる発光器などの場合は、手で握れるペン型ライトまたは小型ライトなど、指輪や腕時計のように指や手首に装着できるもの、帽子やヘッドバンドのように頭に装着できるもの、洋服のポケットなどに装着できるも、またはその他の方法で体に装着できるものでもよい。あるいは、身体に装着せずに机の上に置くような発光物体でもよい。発光器は、例えば、発光ダイオードを使用して赤色、緑色、青色、その他の色を発光させてもよい。対象物体の色を変える方法は、手で握れる小型なものであれば指でボタンスイッチを押したときに色を変えてもよい。身体に装着するものであれば足でフットペダルを踏んだときに色を変えてもよいし、他の方法でもよい。
【００３１】  色の識別１６により、撮像手段８のカラーカメラの画像から対象物体の色を識別する。５のボタン操作はマウスのボタンの操作を行う手段である。左ボタン、右ボタン、中ボタン、ホイールなどの操作を行う。
【００３２】  以下では、説明を簡単にするために１つの例を挙げて説明する。
図５の対象物体１７は、正立方体の６面の４面には赤色、緑色、青色、黄色の色が塗られており、残りの２面にはそれ以外の色として黒色が塗られているとする。５のボタン操作は、左ボタンと右ボタンだけとして説明する。
【００３３】  撮像手段８のカメラは、色の識別ができるカラーカメラなどを用いる。カメラは高い位置に下向きに設置して、カメラの下で、正立方体（対象物体１７）を転がすことにより、正立方体の上面の色を変える。色の識別１６により、撮像手段８のカラーカメラの画像から正立方体の上面の色を識別する。色の識別の方法として、カラー画像のＲＧＢ成分を調べて、その成分の比率から色を識別してもよいし、他の方法でもよい。検出する色は、正立方体の面に塗られた、赤色、青色、緑色、黄色として、その他の色は無視（無反応とする）する。
【００３４】  正立方体（対象物体１７）の上面が赤色のときは、正立方体の動きに合わせてコンピュータの画面上のポインタ位置（座標）を移動させる。上面が赤色の状態で正立方体が静止すれば、コンピュータの画面上のポインタも静止するが、不用意にコンピュータの画面上のポインタが移動しないように、正立方体の上面を黒色にすれば、無反応となり、正立方体が動いてもコンピュータの画面上のポインタは動かない。あるいは、正立方体の上面を手で覆い隠したときも、黒色と同様に、無反応となり、正立方体が動いてもコンピュータの画面上のポインタは動かない。
【００３５】  ボタン操作５は、正立方体（対象物体１７）の上面が青色のときは、マウスの左ボタンが押された状態とし、正立方体の上面が緑色のときは、マウスの右ボタンが押された状態とする。そして、正立方体の上面が黄色のときは、マウスの左ボタンが押された状態で、コンピュータの画面上のポインタ位置（座標）を移動できる状態とする。つまり、マウスのドラッグ操作である。
【００３６】  正立方体の上面が黄色の状態から、上面を黒色に変えたときは、マウスの左ボタンが離れて、静止した状態になる。つまり、ドラッグ操作からドロップ操作に変わることである。あるいは、正立方体の黄色の上面を手で覆い隠しても、同様である。
【００３７】  実際に実施するときは、正立方体（対象物体１７）は赤色、緑色、青色、黄色、黒色でなく他の色を用いてもよい。ボタンの操作は、左ボタンと右ボタンだけでなく、中ボタンやホイールの操作を行ってもよい。また、対象物体１７の色とボタン操作の組み合わせはどのように組み合わせてもよい。
【符号の説明】
【００３８】  １：従来の検出方法による平面状の対象物体
２：対象物体の撮像手段（光学センサーなど）
３：光学センサーのデータから対象物体を検出する手段
４：対象物体の位置の変化から移動量と移動方向を計算する手段
５：ボタン操作を検出する手段
６：コンピュータ
７：請求項１の検出方法による対象物体
８：対象物体の撮像手段（カメラなど）
９：画像から対象物体を検出する手段（画像処理）
１０：前回の対象物体の位置と現在の象物体の位置を示す図
１１：前回の対象物体の位置を示す
１２：現在の対象物体の位置を示す
１３：対象物体のｘ方向の移動量と移動方向を示す
１４：対象物体のｙ方向の移動量と移動方向を示す
１５：請求項２の色が変化する対象物体
１６：対象物体の色を識別する手段
１７：正立方体の面に赤色、緑色、青色、黄色、黒色を塗った対象物体
【図１】
2014157592.tif 000003
【図２】
2014157592.tif 000004
【図３】
2014157592.tif 000005
【図４】
2014157592.tif 000006
【図５】
2014157592.tif 000007