(57)【要約】【課題】インターフェース装置によって、操作者の指の動作を良好に検出する。【解決手段】インターフェース装置（１）は、操作者の手に装着されるインターフェース装置である。該インターフェース装置は、操作者の一方の手の平の少なくとも一部に接触する部材（１０）と、該部材の一方の手の平に対向する面とは反対側の面上に配置されたカメラ（２０）と、該カメラにより撮像された画像に基づいて、一方の手の動作を検出する検出手段（１１）とを備える。【選択図】図１
2012073830.tif 000002
【特許請求の範囲】
【請求項１】
操作者の手に装着されるインターフェース装置であって、
当該インターフェース装置の装着時に、前記操作者の一方の手の平の少なくとも一部に接触する部材と、
前記部材の前記一方の手の平に対向する面とは反対側の面上に配置されたカメラと、
前記カメラにより撮像された画像に基づいて、前記一方の手の動作を検出する検出手段と
を備えることを特徴とするインターフェース装置。
【請求項２】
前記一方の手に生じる慣性を検出する慣性センサを更に備え、
前記検出手段は、前記撮像された画像及び前記検出された慣性に基づいて、前記一方の手の動作を検出する
ことを特徴とする請求項１に記載のインターフェース装置。
【請求項３】
当該インターフェース装置が前記一方の手に装着された際に、前記部材上で平面的に見て、前記カメラは、前記一方の手の掌底部上に配置されていることを特徴とする請求項２に記載のインターフェース装置。
【請求項４】
前記カメラは、広角レンズを有していることを特徴とする請求項２に記載のインターフェース装置。
【請求項５】
前記カメラは、発光部を有していることを特徴とする請求項２に記載のインターフェース装置。
【請求項６】
前記慣性センサは、加速度センサ又はジャイロセンサであることを特徴とする請求項２に記載のインターフェース装置。
【請求項７】
前記慣性センサは、前記一方の手の指が対象物に接触したことを検出することを特徴とする請求項２に記載のインターフェース装置。
【請求項８】
前記慣性センサは、前記一方の手の複数の指が互いに接触したことを検出することを特徴とする請求項７に記載のインターフェース装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば電子機器等に対して、操作者の指示を入力するためのインターフェース装置に関し、特に、カメラにより操作者の指の動き等を検出するインターフェース装置の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、例えば、操作者の手指を撮像して、撮像された画像データから操作者の手指の動きを検出し、その軌跡を抽出する装置が提案されている（特許文献１参照）。或いは、測定対象物の周囲の画像を魚眼レンズにより撮像し、第１のタイミングで撮像された画像と第２のタイミングで撮像された画像とを比較することによって、測定対象物の位置及び姿勢を検出する装置が提案されている（特許文献２参照）。
【０００３】
或いは、ユーザの手首に取り付けられた傾斜センサによってユーザの手の位置を検出すると共に、ユーザの手首に取り付けられたカメラによって撮像された画像からユーザの指先の位置をフレーム毎に検出して、打鍵動作を検知する装置が提案されている（特許文献３参照）。
【０００４】
尚、カメラを備えていない装置として、例えば、操作者の指を伝播してきた衝撃或いは加速度を検出した検出信号に含まれる特定の周波数成分を検出して、操作者の指の打鍵動作の有無を判定してトリガ信号を出力し、該出力されたトリガ信号に対応するコマンド群を出力する装置が提案されている（特許文献４及び５参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−４９４５５号公報
【特許文献２】特許第４００７８９９号公報
【特許文献３】特開２００５−３０１５８３号公報
【特許文献４】特開２０００−３２２１８６号公報
【特許文献５】特許第３２９８５７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術では、操作者から離れた（即ち、操作者に装着されていない）カメラにより操作者の手指を撮像している。このため、特許文献１に記載の技術を、操作者に装着して用いる装置に適用することは極めて困難であるという技術的問題点がある。
【０００７】
特許文献２に記載の技術では、測定対象物の周囲の画像を撮像しなければならない。このため、例えば指を測定対象物とする場合は、各指に魚眼レンズを装着しなければならない。すると、例えば装置の着脱に比較的時間がかかるという技術的問題点がある。
【０００８】
特許文献３に記載の技術では、カメラ等を操作者の手首に取り付けるためのリング状の部材に手首を通す必要があり、着脱に比較的時間がかかるという技術的問題点がある。加えて、操作者の手の傾きによっては、カメラの視野から手が外れてしまう可能性があるという技術的問題点がある。
【０００９】
特許文献４及び５に記載の技術では、例えば指の形状に対してコマンドを割り当てることが困難になるという技術的問題点に加え、各指にセンサを装着しなければどの指が打鍵動作を行ったか判別できないという技術的問題点がある。
【００１０】
本発明は、例えば上記問題点に鑑みてなされたものであり、比較的容易に着脱でき、且つ操作者の指の動作を良好に検出することができるインターフェース装置を提案することを課題とする。
【課題を解決するための手段】
【００１１】
本発明のインターフェース装置は、上記課題を解決するために、操作者の手に装着されるインターフェース装置であって、当該インターフェース装置の装着時に、前記操作者の一方の手の平の少なくとも一部に接触する部材と、前記部材の前記一方の手の平に対向する面とは反対側の面上に配置されたカメラと、前記カメラにより撮像された画像に基づいて、前記一方の手の動作を検出する検出手段とを備える。
【００１２】
本発明のインターフェース装置によれば、当該インターフェース装置は、操作者の手に装着される。つまり、操作者は、当該インターフェース装置を使用する際に、該操作者の一方の手に当該インターフェース装置を装着する。
【００１３】
尚、当該インターフェース装置の形状を、操作者の指先側から見て、例えば「逆Ｕ字型」とすれば、操作者が比較的容易にして当該インターフェース装置の着脱を行うことができ、実用上非常に有利である。
【００１４】
当該インターフェース装置は、装着された際に、操作者の一方の手の平の少なくとも一部に接触する部材を備えており、該部材の操作者の一方の手の平に対向する面とは反対側の面上には、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ等のカメラが配置されている。
【００１５】
例えばメモリ、プロセッサ等を備えてなる検出手段は、カメラにより撮像された画像に基づいて、操作者の一方の手の動作を検出する。具体的には例えば、検出手段は、撮像された画像に対して画像解析処理を施すことによって、操作者の一方の手の動作を検出する。尚、画像解析処理には、公知の各種画像解析処理を適用可能である。
【００１６】
本発明では特に、当該インターフェース装置を操作者が装着した際に、カメラが操作者の手の平上に配置される。すると、カメラにより撮像された画像における操作者の指等が占める面積が比較的大きくなる。このため、比較的低解像度のカメラであっても、撮像された画像から操作者の指等を特定（又は抽出）することができ、例えば製造コストを抑制することができる。
【００１７】
加えて、カメラにより撮像される操作者の指等の形状は、主に、各指の関節の角度により決定される。このため、例えばテンプレートマッチング等により、比較的容易にして、撮像された画像から操作者の指等の形状を特定することができる。また、撮像される操作者の指等の形状が、各指の関節の角度以外に起因して大きく変化することがないので、操作者の指等の形状が誤認識される可能性を低減することができる。
【００１８】
仮に、例えば操作者の手首にカメラが取り付けられると、該カメラにより撮像される指等の形状は、各指の関節の角度に加えて、手首の角度によっても大きく変化する。このため、例えば撮像された画像から操作者の指等を特定するための画像解析処理が比較的複雑になる可能性がある。そして、該画像解析処理の処理時間を実用可能な範囲内にするためには、比較的高性能のプロセッサ等が必要となり、例えば製造コストが増加する可能性がある。
【００１９】
しかるに本発明では、上述の如く、当該インターフェース装置を操作者が装着した際に、カメラが操作者の手の平上に配置されるので、操作者の指等の形状を、比較的容易に且つ精度良く、特定することができる。また、当該インターフェース装置は、例えば操作者の手首に装着する装置に比べて、容易に着脱することができる。更に、当該インターフェース装置は、例えば各指に装着する装置比べて、快適な装着感を操作者に与えることができる。
【００２０】
本発明のインターフェース装置の一態様では、前記一方の手に生じる慣性を検出する慣性センサを更に備え、前記検出手段は、前記撮像された画像及び前記検出された慣性に基づいて、前記一方の手の動作を検出する。
【００２１】
この態様によれば、当該インターフェース装置は、更に、操作者の一方の手に生じる慣性を検出する慣性センサを備えて構成されている。そして、検出手段は、カメラにより撮像された画像、及び慣性センサにより検出された慣性に基づいて、操作者の一方の手の動作を検出する。
【００２２】
このため、当該インターフェース装置を介して実行可能なコマンドの数を増加させることができる。加えて、例えば、操作者の指同士が接触している場合と、操作者の指同士が交差している場合と、のように、撮像された画像からだけでは判別が困難な形状を適切に特定することができる。
【００２３】
慣性センサを備える態様では、当該インターフェース装置が前記一方の手に装着された際に、前記部材上で平面的に見て、前記カメラは、前記一方の手の掌底部上に配置されていてよい。
【００２４】
このように構成すれば、カメラのレンズから操作者の指までの距離が比較的長くなるので、レンズの視野角が比較的小さい場合であっても、操作者の一方の手の全ての指を好適に撮像することができる。加えて、例えば操作者の指がカメラのレンズに触れることによって、レンズに汚れが付着することを抑制することができる。
【００２５】
慣性センサを備える態様では、前記カメラは、広角レンズを有していてよい。
【００２６】
このように構成すれば、操作者の一方の手の全ての指を好適に撮像することができる。
【００２７】
慣性センサを備える態様では、前記カメラは、発光部を有していてよい。
【００２８】
このように構成すれば、周囲が比較的暗い場合であっても、操作者の指等の動作を比較的容易に検出することができる。尚、発光部は、例えばＬＥＤ（Ｌｉｇｉｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ライト等により構成すればよい。
【００２９】
慣性センサを備える態様では、前記慣性センサは、加速度センサ又はジャイロセンサであってよい。
【００３０】
このように構成すれば、比較的容易にして、操作者の一方の手に生じる慣性を検出することができる。
【００３１】
慣性センサを備える態様によれば、前記慣性センサは、前記一方の手の指が対象物に接触したことを検出してよい。
【００３２】
このように構成すれば、操作者が、何らかの対象物に指で触れたことを検出することができる。
【００３３】
この態様では、前記慣性センサは、前記一方の手の複数の指が互いに接触したことを検出してよい。
【００３４】
このように構成すれば、慣性センサは、本発明に係る「対象物」としての「指」に接触したことを検出することができる。
【００３５】
本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態に係るインターフェース装置の具体的な構成を示す図である。
【図２】本発明の実施形態に係るインターフェース装置の構成を示すブロック図である。
【図３】本発明の実施形態に係るインターフェース装置が備えるカメラにより撮像された画像の一例である。
【図４】本発明の実施形態の変形例に係るインターフェース装置の具体的な構成を示す図である。
【図５】操作者の手の動作に起因してインターフェース装置が検出する信号と、文字と、の対応関係の一例を示す表である。
【発明を実施するための形態】
【００３７】
本発明のインターフェース装置の実施形態を、図面に基づいて説明する。
【００３８】
本発明の実施形態に係るインターフェース装置の構成について、図１及び図２を参照して説明する。図１は、本実施形態に係るインターフェース装置の具体的な構成を示す図である。尚、図１（ａ）は、操作者の手の平側から見たインターフェース装置であり、図１（ｂ）は、操作者の手の甲側から見たインターフェース装置である。図２は、本実施形態に係るインターフェース装置の構成を示すブロック図である。
【００３９】
インターフェース装置１は、例えばメモリ、プロセッサ等を備えてなる制御回路１１と、例えば液晶モニタ等であるディスプレイ１２と、当該インターフェース装置１が対象とする電子機器等に対して所定の信号を送信可能な無線通信モジュール１３と、例えばリチウムイオン電池等の充電式のバッテリ１４と、スピーカ１５と、例えば当該インターフェース装置１の電源ボタン等である押ボタン１６と、カメラモジュール２０と、歪センサ３１と、電極パッド３２と、加速度センサ３３と、ジャイロセンサ３４と、を備えて構成されている。
【００４０】
図１（ａ）において、インターフェース装置１は、操作者の一方の手の平（ここでは、右手の手の平）の少なくとも一部に接触する部材１０を備えている。該部材１０の操作者の手の平に対向する面とは反対側の面上には、広角レンズ２１及びライト２２を備えるカメラモジュール２０が配置されている。
【００４１】
また、部材１０の内部には、加速度センサ３３及びジャイロセンサ３４が搭載されている。加速度センサ３３及びジャイロセンサ３４により、例えば、操作者の手首の回転や、手の上下左右への振れ等を検出することができる。尚、図１（ａ）では、説明の便宜上、加速度センサ３３及びジャイロセンサ３４を、部材１０上に記載している。
【００４２】
本実施形態では特に、図１（ａ）に示すように、操作者がインターフェース装置１を装着した際に、カメラモジュール２０の位置が操作者の手の掌底部に該当するように、該カメラモジュール２０が配置されている。
【００４３】
このように構成することにより、カメラモジュール２０のレンズ２１から操作者の指までの距離を比較的長くすることができる。すると、レンズ２１の視野角が比較的小さい場合であっても、操作者の一方の手の指を好適に撮像することができる。
【００４４】
具体的には例えば図３に示すように、操作者の一方の手の指を、指の付け根から撮像することができるので、撮像された画像を解析する際に、インターフェース装置１が指を誤認識する可能性を抑制することができる。図３は、本実施形態に係るインターフェース装置が備えるカメラにより撮像された画像の一例である。
【００４５】
加えて、例えば操作者の指がカメラモジュール２０のレンズ２１に触れることによって、レンズ２１に汚れが付着することを抑制することができる。
【００４６】
また、カメラモジュール２０は、本発明に係る「発光部」の一例としての、ライト２２を備えている。このため、周囲が比較的暗い場合であっても、操作者の指をカメラモジュール２０により好適に撮像することができる。従って、インターフェース装置１を、例えばカーナビゲーション装置のリモートコントローラとして用いた場合に、夜間の車内においても、好適にカーナビゲーション装置を操作することができる。
【００４７】
歪センサ３１は、操作者の各指の付け根部に接触するパッドと、該パッドとインターフェース装置１本体とを接続するバネ状構造とを備えて構成されている。歪センサ３１は、歪抵抗効果や圧電性を利用して、操作者の指の付け根部の変位を示す信号を出力する。尚、歪センサ３１は、比較的柔らかい樹脂フィルム等で覆われていることが好ましい。
【００４８】
電極バッド３２は、操作者の指の付け根部に接触するように、インターフェース装置１本体に接続されている。電極パッド３２の操作者の指の付け根部に接触する面には、操作者の手の筋電位を測定する電極部（図示せず）が設けられている。
【００４９】
図１（ｂ）において、インターフェース装置１の、操作者の手の甲側の部材には、制御回路１１、無線通信モジュール１３、バッテリ１４及びスピーカ１５が内蔵さえており、ディスプレイ１２がカバーとして、手の甲側の部材の表面の一部を覆っている。
【００５０】
図２に示すように、制御回路１１、ディスプレイ１２、無線通信モジュール１３、バッテリ１４、スピーカ１５、押ボタン１６、カメラモジュール２０、歪センサ３１、電極パッド３２、加速センサ３３及びジャイロセンサ３４は、相互に電気的に接続されている。
【００５１】
制御回路１１は、カメラモジュール２０により撮像された画像に対して画像解析処理を施して、撮像された画像から操作者の指を抽出すると共に、指の形状を判別する。制御回路１１は、更に、複数枚の連続して撮像された画像から、操作者の指の動き（例えば、軌跡、速度等）を検出する。
【００５２】
制御回路１１は、歪センサ３１から出力される、操作者の指の付け根部の動きを示す信号に基づいて、例えば、操作者の指が何らかの対象物に接触したか否かを判定する。また、制御回路１１は、電極パッド３２から出力される、筋電位を示す信号、電極パッド３２の電極と周辺部材との間に生じる静電容量（即ち、浮遊容量）を示す信号、及び電極間の抵抗値を示す信号に基づいて、例えば、操作者の指が何らかの対象物に接触したか否かを判定する。
【００５３】
このように構成すれば、撮像された画像から得られた操作者の指が動いていない場合であっても、歪センサ３１及び電極パッド３２各々から出力される信号に基づいて、操作者の指が何らかの対象物に接触していることを検出することができる。
【００５４】
尚、制御回路１１は、歪センサ３１から出力される信号、及び電極パッド３２から出力される信号のうち一方の信号のみに基づいて、操作者の指が何らかの対象物に接触したか否かを判定してよい。
【００５５】
制御回路１１は、撮像された画像に基づく操作者の指の形状及び動作と、歪センサ３１、電極パッド３２、加速度センサ３３及びジャイロセンサ３４各々から出力された信号と、に基づいて、操作者の手の動作（例えば、ジェスチャ）を検出する。
【００５６】
制御回路１１は、予め格納されているデータベースから、検出された手の動作に対応するコマンドを特定する。続いて、制御回路１１は、（ｉ）該特定されたコマンドを示す信号を無線通信モジュール１３を介して、インターフェース装置１が対象とする電子機器等に送信する、（ｉｉ）該特定されたコマンドに対応する情報をディスプレイ１２に表示する、及び（ｉｉｉ）該特定されたコマンドに対応する音声をスピーカ１５から出力する、の少なくとも一つを実行する。
【００５７】
尚、インターフェース装置１は、電極パッド３２に代えて、例えば加速度センサ又は圧電体からなる片持ち梁構造等の振動センサを備えていてもよい。
【００５８】
本実施形態に係る「制御回路１１」は、本発明に係る「検出手段」の一例である。本実施形態に係る「歪センサ３１」、「電極パッド３２」、「加速度センサ３３」及び「ジャイロセンサ３４」は、本発明に係る「慣性センサ」の一例である。
【００５９】
＜変形例＞
本実施形態に係るインターフェース装置の変形例について、図４を参照して説明する。図４は、図１（ａ）と同趣旨の、本実施形態の変形例に係るインターフェース装置の具体的な構成を示す図である。尚、図４では、図１（ａ）に示した部材を適宜省略して示している。
【００６０】
図４に示すように、インターフェース装置２が備える歪センサ３１は、そのパッドが、操作者の指の中手指節間間接と近位指節間間接との間に接触するように構成されている。
【実施例】
【００６１】
以下、本実施形態に係るインターフェース装置の実施例について説明する。
【００６２】
＜第１実施例＞
インターフェース装置１を、例えばターンテーブル、ミキサー等の音響機器のコントローラとして使用する場合、例えば、演奏されている楽曲に対するエフェクトの変更、演奏されている楽曲の再生位置の変更、楽曲の選択等が、操作者の手の動作に対応するコマンドとしてデータベースに格納されている。
【００６３】
このように構成すれば、例えばＤＪ（Ｄｉｓｃ  Ｊｏｃｋｅｙ）が、音響機器（この場合は、ＤＪ機器）から比較的離れた位置で、スクラッチするようなジェスチャをすることにより、スクラッチ音を発生させることができる。この結果、ＤＪが大げさなジェスチャでオーディエンスにアピールしながら、ＤＪプレイを行うことができる。
【００６４】
尚、インターフェース装置１を、ＤＪ機器のコントローラとして使用する場合、該ＤＪ機器が設置される施設内の照明のコントローラとして使用されてもよい。このように構成すれば、ＤＪが、ＤＪ機器と照明とのコントロールをインターフェース装置１のみにより行うことができるので、実用上非常に有利である。
【００６５】
＜第２実施例＞
インターフェース装置１を、コミュニケーション支援装置として使用する場合、例えば文字コードが、操作者の手の動作に対応するコマンドとしてデータベースに格納されている。具体的には例えば、図５（ａ）に示すように、操作者が親指と人差し指又は中指とを接触させるという動作のパターン毎に、図５（ｂ）に示すような文字が割り当てられる。図５は、操作者の手の動作に起因してインターフェース装置が検出する信号と、文字と、の対応関係の一例を示す表である。
【００６６】
例えば、親指と人差し指とが一瞬接触した際の信号を「・」とし、親指と人差し指とが０．５秒程度接触した際の信号を「−」とする。そして、操作者が手首を回転させた際に、一文字の入力が終了するものとする。
【００６７】
この場合、操作者が、親指と人差し指とを一瞬接触した後に、親指と人差し指とを０．５秒程度接触し、その後手首を回転すると、インターフェース装置１の制御回路１１は、入力された信号を「・−」と認識する。続いて、制御回路１１は、文字「Ａ」を示す信号を、例えば無線通信モジュール１３を介して、外部のモニタに送信する。この結果、外部のモニタに「Ａ」という文字が表示される。
【００６８】
このように構成すれば、操作者が、例えば親指と人差し指との接触を時系列的に繰り返すことにより、他者とコミュニケーションを図ることができる。この結果、例えば、病気や作業環境により会話が困難な人が、自分の意思を適切に他者に伝えることができる。
【００６９】
＜第３実施例＞
インターフェース装置１を、コンピュータのインターフェースとして使用する場合、例えば、コンピュータの画面上に表示されるカーソルの移動、アイコンやテキストボックスの選択、文字コード等が、操作者の手の動作に対応するコマンドとしてデータベースに格納されている。
【００７０】
インターフェース装置１は、図１に示すように、操作者の指先には何らの部材も接触していない。このため、操作者がインターフェース装置１を装着したまま、例えばペンやカップ等を、ほとんど支障なく、使用したり持ったりすることができる。
【００７１】
特に、ユーザの体に装着するコンピュータ（所謂、ウェアラブルコンピュータ）やユーザの頭部に装着するディスプレイ（所謂、ウェアラブルディスプレイ）のインターフェースとして、インターフェース装置１を使用すれば、ユーザが例えばマウスやキーボード等を持ち歩く必要がなくなるので、ユーザの利便性を向上させることができる。
【００７２】
＜第４実施例＞
インターフェース装置１を、例えば産業用ロボット等のロボットのコントローラとして使用する場合、対象とするロボットの動作に対応するコマンドが、操作者の手の動作に対応するコマンドとしてデータベースに格納されている。
【００７３】
このように構成すれば、危険な空間（例えば、災害現場等）や遠隔地等で作業させるロボットを、操作者が適切に制御することができる。
【００７４】
ところで、操作者の手の複数の部位に慣性運動センサを装着して、例えばロボットアームを制御するコントローラは既に存在する。しかしながら、インターフェース装置１では、カメラモジュール２０により撮像された画像も利用しているので、より精度良く操作者の手の動作を検出することができる。
【００７５】
＜第５実施例＞
インターフェース装置１を、例えば照明器具、テレビ、オーディオ機器、ゲーム機等の家電のコントローラとして使用する場合、例えば機器のＯＮ／ＯＦＦ、音量の変更、選局、明るさの変更等が、操作者の手の動作に対応するコマンドとしてデータベースに格納されている。
【００７６】
このように構成すれば、家電のリモートコントローラの小型化を図ることができる。更に、インターフェース装置１により複数の家電を制御可能なように構成すれば、例えばリモートコントローラの持ち替え動作を無くすことができ、ユーザの利便性を向上させることができる。
【００７７】
特に、３次元映像のゲーム機のコントローラとして、インターフェース装置１を使用すれば、例えばユーザが表示された物体を押す等の動作を、反映させることができる。
【００７８】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うインターフェース装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００７９】
１、２…インターフェース装置、１１…制御回路、１２…ディスプレイ、１３…無線通信モジュール、１４…バッテリ、１５…スピーカ、２０…カメラモジュール、２１…広角レンズ、２２…ライト、３１…歪センサ、３２…電極パッド、３３…加速度センサ、３４…ジャイロセンサ
【図１】
2012073830.tif 000003
【図２】
2012073830.tif 000004
【図３】
2012073830.tif 000005
【図４】
2012073830.tif 000006
【図５】
2012073830.tif 000007