(57)【要約】      （修正有）【課題】指をさし示すジェスチャから特定されるポインティング位置が、ユーザの意図する位置からずれにくいポインティング入力装置を提供する。【解決手段】手による非接触入力がなされるポインティング対象領域のポインティング位置を検知するポインティング入力装置１であって、手の姿勢を検出する第１センサ１ｂと、手からポインティング対象領域までの距離を取得する第２センサ１ｃと、第１センサ１ｂにより検出された手の姿勢から手の中手骨の姿勢を解析する解析部１ｄと、解析部１ｄにより解析された中手骨の姿勢に基づいて手によるポインティング方向を特定するポインティング方向特定部１ｅと、ポインティング方向特定部１ｅにより特定されたポインティング方向と、第２センサ１ｃにより取得された距離Ｌとに基づいて、ポインティング入力位置を特定するポインティング位置特定部１ｆとを備えている。【選択図】図１
2016184203.tif 000002
【特許請求の範囲】
【請求項１】
手による非接触入力がなされるポインティング対象領域のポインティング位置を検知するポインティング入力装置であって、
前記手の姿勢を検出する検出部と、
前記手から前記ポインティング対象領域までの距離を取得する距離取得部と、
前記検出部により検出された前記手の姿勢から前記手の中手骨の姿勢を解析する解析部と、
前記解析部により解析された前記中手骨の姿勢に基づいて前記手によるポインティング方向を特定する方向特定部と、
前記方向特定部により特定された前記ポインティング方向と、前記距離取得部により取得された前記距離とに基づいて、前記ポインティング位置を特定する位置特定部とを備えているポインティング入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手による非接触のポインティング入力を検知する技術に関する。
【背景技術】
【０００２】
コンピュータ機器への入力内容を認識してコンピュータ機器に伝達するインタフェースであるポインティング入力装置として、ユーザのジェスチャから入力内容を認識する構成のものがある。特許文献１には、手の甲の動きまたは姿勢と指先の姿勢とをセンサにより検出して手の甲に対する指先の角度位置を決定する、手形状の推定手法が開示されている。そして、当該手法で得た指先の角度位置に基づいて、指をさすジェスチャを解析し、入力コマンドへの変換を行うようにした入力装置を開示している。特許文献２には、ユーザの肢（例えば、指、手、腕）の画像を取り込んで、当該肢の位置を求めることによりポインティングベクトルを決定する車載システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１１２４５９号公報
【特許文献２】特開２０１２−６９１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
指をさすジェスチャを上記従来技術のように指のさす方向を認識し、当該指のさす方向にポインティング位置を特定することもできる。しかしながら、指をさすジェスチャにおいては、指の姿勢に個人差が存在する。また、疲労や慣れによって指の伸縮の仕方が変化するため、同じ人のジェスチャにも指の姿勢にばらつきが発生する。したがって、指のさす方向にポインティング位置を特定する場合には、特定したポインティング位置がユーザの意図した位置からずれやすくなる虞がある。
【０００５】
本発明は、上記課題に鑑み、指をさし示すジェスチャから特定されるポインティング位置が、ユーザの意図する位置からずれにくいポインティング入力装置を提供するものである。
【課題を解決するための手段】
【０００６】
第１の発明は、手による非接触入力がなされるポインティング対象領域のポインティング位置を検知するポインティング入力装置であって、前記手の姿勢を検出する検出部と、前記手から前記ポインティング対象領域までの距離を取得する距離取得部と、前記検出部により検出された前記手の姿勢から前記手の中手骨の姿勢を解析する解析部と、前記解析部により解析された前記中手骨の姿勢に基づいて前記手によるポインティング方向を特定する方向特定部と、前記方向特定部により特定された前記ポインティング方向と、前記距離取得部により取得された前記距離とに基づいて、前記ポインティング位置を特定する位置特定部とを備えている。
【０００７】
第１の発明によれば、検出部が手の姿勢を検出し、解析部が検出された手の姿勢から手の中手骨の姿勢を解析する。そして、解析された中手骨の姿勢から、方向特定部が手によるポインティング方向を特定する。特定されたポインティング方向と距離取得部が取得した手からポインティング対象領域までの距離とに基づいて、位置特定部がポインティング対象領域上でのポインティング入力位置を特定する。中手骨の可動範囲の個人差は小さいので、中手骨の姿勢に個人間のばらつきは生じにくい。また、同じ人の中手骨の姿勢にもばらつきは生じにくい。したがって、このように特定されるポインティング方向の確からしさは大きい。これにより、特定されるポインティング位置は、ユーザの意図する位置からずれにくい。
【発明の効果】
【０００８】
本発明によれば、指をさし示すジェスチャから特定されるポインティング位置が、ユーザの意図する位置からずれにくいポインティング入力装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るポインティング入力装置の構成を示すブロック図
【図２】本発明の実施形態に係るポインティング入力を説明する図
【図３】本発明の実施形態に係るポインティング位置の算出原理を示す図
【図４】本発明の実施形態に係るポインティング位置の特定処理手順を説明するフローチャート
【図５】本発明の実施形態の変形例に係るポインティング位置の特定処理を説明する図
【図６】本発明の実施形態の効果を説明する図であって、（ａ）〜（ｃ）は第１の比較例からの改善を示す図
【図７】本発明の実施形態の効果を説明する図であって、第２の比較例からの改善を示す図
【発明を実施するための形態】
【００１０】
以下、図１〜図７を参照しながら、実施の形態について詳細に説明する。
[概要]
本実施形態に係るポインティング入力装置は、手による非接触のポインティング入力に対して、手の姿勢を検出し、当該検出結果から、ばらつきが生じにくい中手骨の姿勢を解析する。そして、当該中手骨の姿勢に基づいてポインティング方向を特定する。次いで、特定されたポインティング方向と、手とポインティング対象領域との間の距離とに基づいて、当該領域上でのポインティング位置を特定する。
【００１１】
[ポインティング入力装置の構成]
図１に、本実施形態に係るポインティング入力装置１の構成を示す。図２に、ポインティング位置の算出原理を説明する図を示す。図３に、当該算出原理に用いられるベクトル図を示す。
【００１２】
図１に示すように、ポインティング入力装置１は、表示部１ａ、第１センサ（検出部）１ｂ、第２センサ１ｃ、解析部１ｄ、ポインティング方向特定部（方向特定部）１ｅ、ポインティング位置特定部（位置特定部）１ｆ、および、距離情報記憶部１ｇを備えている。解析部１ｄ、ポインティング方向特定部１ｅ、および、ポインティング位置特定部１ｆはコンピュータの構成を有するＥＣＵ１１により実現される。また、第２センサ１ｃおよび距離情報記憶部１ｇにより、距離取得部が構成されている。
【００１３】
表示部１ａは、例えば車載ディスプレイからなり、ＥＣＵ１１による制御にしたがって、ユーザにポインティング入力を促す画像を表示する。当該画像には、ポインティング入力がなされるインタフェース領域（ポインティング対象領域）αが含まれている。後述するＥＣＵ１１は、インタフェース領域αに手のジェスチャによるポインティング入力がなされると、入力箇所に応じた所定のコマンドを発行するようになっている。
【００１４】
第１センサ１ｂは、図２に示すように、手に装着される装着型センサである。第１センサ１ｂは、親指、人差し指、中指、薬指、および、小指に順に対応した中手骨Ｍ１、中手骨Ｍ２、中手骨Ｍ３、中手骨Ｍ４、および、中手骨Ｍ５を検出することで、ユーザの手（手の平または甲）の姿勢を検出する。これら中手骨の検出は、第１センサ１ｂの位置を基準にして定義されたｘｙｚ座標空間においてこれら中手骨の位置変化が検出されることにより行われる。図２では、インタフェース領域αはｘｙ平面上にあり、第１センサ１ｂすなわち手は、インタフェース領域αからｚ軸方向に距離Ｌだけ離れている。第１センサ１ｂは、これら中手骨の位置変化を検出し、検出結果を逐次出力する。
【００１５】
第２センサ１ｃは、上記距離Ｌを測定する測距センサである。第２センサ１ｃは、任意の場所に設置可能であり、第１センサ１ｂと一体に設けられていてもよいし、表示部１ａに設けられていてもよい。第２センサ１ｃにより測定された距離Ｌの情報は、距離情報記憶部１ｇに記憶される。
【００１６】
解析部１ｄは、第１センサ１ｂから逐次入力される中手骨の位置変化の検出結果から、これら中手骨の位置座標を逐次算出することにより、中手骨の姿勢を解析する。解析部１ｄは、ポインティング入力装置１の初期状態において第１センサ１ｂの存在する位置を、上記ｘｙｚ空間での基準位置とする。そして、解析部１ｄは、当該基準位置に対する中手骨の各検出部位の相対的な位置変化を追跡する。
【００１７】
ポインティング方向特定部１ｅは、算出された中手骨の現時点の位置座標から、中手骨Ｍ１、中手骨Ｍ２、および、中手骨Ｍ５の手首側端部および指先側端部の各位置座標を抽出する。図２に、中手骨Ｍ１、中手骨Ｍ２、および、中手骨Ｍ５の手首側端部を順に、点ＰＴｂ、ＰＩｂ、ＰＰｂで示し、中手骨Ｍ１、中手骨Ｍ２、および、中手骨Ｍ５の指先側端部を順に、点ＰＴｆ、ＰＩｆ、ＰＰｆで示す。そして、図３に示すように、点ＰＴｂから点ＰＴｆに至るベクトルＶ１（ベクトル記号の表記を省略）と点ＰＩｂから点ＰＩｆに至るベクトルＶ２（ベクトル記号の表記を省略）とで作る平面が、点ＰＰｂから点ＰＰｆに至るベクトルＶ５（ベクトル記号の表記を省略）と交わる点を点Ｏとする。点Ｏをポインティングベクトルの起点とする。なお、ここでは、説明の簡略化のために点ＰＴｂと点ＰＩｂと点ＰＰｂとは互いに一致するものとし、したがって、これらの一致点が点Ｏになるものとする。
【００１８】
図３に示すように、ポインティング方向特定部１ｄは、線分ＰＴｆＰＰｆを２等分する点Ｑを求める。次に、ポインティング方向特定部１ｄは、線分ＰＩｆＱを２等分する点ＰＸを求める。こうして、ポインティング方向特定部１ｄは、点Ｏから点ＰＸに至る推定ベクトルＶＰ（ベクトル記号の表記を省略）を生成する。すなわち、ベクトルＶＰは、次の（１）式で表される。
【数１】
2016184203.tif 000003
【００１９】
ポインティング方向特定部１ｅは、推定ベクトルＶＰの方向がポインティング方向であると特定する。上述の推定ベクトルＶＰの算出では、人差し指の中手骨Ｍ２のみならず親指の中手骨Ｍ１および小指の中手骨Ｍ５の位置座標をも使用している。親指と人差し指と小指とにより手の平（または甲）の外郭が形成されるため、これら３指の中手骨の位置座標を用いると、人差し指の中手骨Ｍ２の位置座標のみを用いる場合よりも高精度にユーザの意図するポインティング方向を特定することができる。また、上述の推定ベクトルＶＰの算出では、（１）式から分かるように、ポインティングの意味合いが強い人差し指のベクトルの重み（＝１／２）を、親指および小指のベクトルの重み（＝１／４）よりも大きくしている。
【００２０】
ポインティング位置特定部１ｆは、図２に示すように、ポインティング方向特定部１ｅによって生成された推定ベクトルＶＰをインタフェース領域αと交わるまで延長する。そして、ポインティング位置特定部１ｆは、延長された推定ベクトルＶＰとインタフェース領域αとの交点ＰＥがポインティング位置であると特定する。すなわち、点Ｏから交点ＰＥに至るベクトルをポインティングベクトルとする。交点ＰＥを求めるために、ポインティング位置特定部１ｆは、距離情報記憶部１ｇに記憶された距離Ｌの情報を読み出して推定ベクトルＶＰのｚ軸方向成分と距離Ｌとの比率を求め、当該ｚ軸方向成分が距離Ｌに等しくなるよう推定ベクトルＶＰをスカラー倍する。なお、ポインティング位置に要求される分解能に応じて、交点ＰＥの近隣を含めてある程度の面積を有するようにポインティング位置の特定を行ってもよい。
【００２１】
ポインティング入力装置１の初期状態において、交点ＰＥはインタフェース領域αの原点（例えば画面の中心）に定められる。その後に特定されるポインティング位置は、中手骨の姿勢の追跡に伴って生じる、交点ＰＥの原点からの相対的な位置変化が累積したものである。
【００２２】
距離情報記憶部１ｇは、メモリなどの記憶媒体からなり、第２センサ１ｃにより測定された距離Ｌの情報を逐次記憶する。距離情報記憶部１ｇは、ＥＣＵ１１の一部を構成していてもよい。
【００２３】
なお、表示部１ａは必ずしも備えられていなくてよく、車外の景色など任意の領域がポインティング対象領域となり得る。車外の景色をポインティング対象領域とする場合に、例えば、測定される距離Ｌに代えて、距離情報記憶部１ｇに予め記憶された定数からなる距離が使用される。
【００２４】
また、第１センサ１ｂは、ユーザの手（手の平または甲）を撮像により検出するカメラであってもよい。この場合の第１センサ１ｂによる手の検出結果は手の撮像データである。第１センサ１ｂがカメラである場合には、解析部１ｄは、第１センサ１ｂから入力される撮像データを画像解析することにより、中手骨の位置座標を算出する。また、ポインティング位置を特定する処理のアルゴリズムは、左右のいずれの手にも適用可能である。
【００２５】
[ポインティング位置の特定処理手順]
次に、図４のフローチャートを参照して、ポインティング入力装置１のＥＣＵ１１が実行するポインティング位置の特定処理手順を説明する。当該手順は、ＥＣＵ１１が有するコンピュータにより行われるものであり、当該コンピュータに含まれるプロセッサが記憶媒体に格納されたプログラムを読み出して実行することにより実現される。
【００２６】
まず、ステップＳ１０１において、ポインティング方向特定部１ｅは、第１センサ１ｂから手の姿勢の検出結果が入力されたか否かを判定する。当該検出結果が入力されたと判定されるまでステップＳ１０１を繰り返し、当該検出結果が入力されたと判定されるとステップＳ１０２へ進む。
【００２７】
次いで、ステップＳ１０２において、解析部１ｄは、入力された手の姿勢の検出結果から、中手骨Ｍ１、中手骨Ｍ２、中手骨Ｍ３、中手骨Ｍ４、および、中手骨Ｍ５の位置座標を算出する。続くステップＳ１０３において、ポインティング方向特定部１ｅは、算出された位置座標の中から、中手骨Ｍ１、中手骨Ｍ２、および、中手骨Ｍ５の位置座標を抽出する。続くステップＳ１０４において、ポインティング方向特定部１ｅは、中手骨Ｍ１、中手骨Ｍ２、および、中手骨Ｍ５の位置座標から、推定ベクトルＶＰを生成する。
【００２８】
次いで、ステップＳ１０５において、ポインティング位置特定部１ｆは、距離情報記憶部１ｇから距離Ｌの情報を読み出して取得する。そして、続くステップＳ１０６において、ポインティング位置特定部１ｆは、距離Ｌに基づいて、推定ベクトルＶＰをインタフェース領域αと交わるまで延長し、交点ＰＥをポインティング位置であると特定する。以上により、当該フローは終了する。
【００２９】
[変形例]
図５に、本実施形態の変形例を示す。当該変形例は、ポインティング位置が中手骨の位置座標から求まることから、指の動作をその他の入力内容として認識するものである。図５（ａ）に、ポインティング方向Ｄｒにおいてポインティング位置が特定されていながら、人差し指のさす方向が、ポインティング方向Ｄ０よりも下方に向く方向Ｄａに向いている状態を示す。当該人差し指の姿勢は第１センサ１ｂまたはその他のセンサにより検出される。この状態では、インタフェース領域α上のポインティング位置が選択状態とされるが、ポインティング入力は確定しない。図５（ｂ）に、人差し指のさす方向が図５（ａ）の方向Ｄａからポインティング方向Ｄｒにほぼ平行な方向Ｄｂに変えられた状態を示す。当該人差し指の姿勢が検出されると、選択状態にあったポインティング入力が確定する。
【００３０】
［実施の形態の効果等］
次に、本実施形態による効果を説明する。
【００３１】
図６および図７を参照して、本実施形態の効果を比較例とともに説明する。図６において、指先の向きおよび第３関節の検出結果から求めた人差し指の指す方向をＤ１、ユーザの意図する方向をＤ０とする。図６（ａ）には、方向Ｄ１が方向Ｄ０と一致している標準の指さし状態が示されている。図６（ｂ）には、人差し指が反った状態に指されているために、方向Ｄ１が方向Ｄ０よりも上方にずれている状態が示されている。図６（ｃ）には、人差し指の指先が垂れているために、方向Ｄ１が方向Ｄ０よりも下方にずれている状態が示されている。図７には、肩および指の位置を使用して求めた人差し指の指す方向Ｄ２が、方向Ｄ０よりも下方にずれている状態が示されている。
【００３２】
図６（ａ）、図６（ｂ）、および、図７のように、指の検出結果を用いて特定したポインティング位置は指の姿勢のばらつきにより、方向Ｄ０からずれやすい。これに対して、本実施形態のように中手骨の検出結果に基づいて特定したポインティング位置は、方向Ｄ０とほぼ一致する。
【００３３】
以上のように、本実施形態のポインティング入力装置によれば、手の姿勢を検出し、当該検出結果から手の中手骨の位置座標を算出することにより中手骨の姿勢を解析する。そして、当該位置座標に基づいて推定ベクトルＶＰを生成することにより、当該手によるポインティング方向を特定する。さらに、特定されたポインティング方向と、手とインタフェース領域αとの間の距離Ｌとに基づいて、インタフェース領域α上でのポインティング位置（交点ＰＥ）を特定する。中手骨の可動範囲の個人差は小さいので、中手骨の姿勢に個人間のばらつきは生じにくい。また、同じ人の中手骨の姿勢にもばらつきは生じにくい。したがって、このように特定されるポインティング方向の確からしさは大きい。これにより、特定されるポインティング位置は、ユーザの意図する位置からずれにくい。以上により、指をさし示すジェスチャから特定されるポインティング位置が、ユーザの意図する位置からずれにくいポインティング入力装置を提供することができる。
【産業上の利用可能性】
【００３４】
本発明は、非接触で操作入力可能な画面を備えた車載機器などに適用可能である。
【符号の説明】
【００３５】
１            ポインティング入力装置
１ａ          表示部
１ｂ          第１センサ
１ｃ          第２センサ
１ｄ          解析部
１ｅ          ポインティング方向特定部
１ｆ          ポインティング位置特定部
１ｇ          距離情報記憶部
α            インタフェース領域
Ｄｒ          ポインティング方向
Ｄａ、Ｄｂ、Ｄ０、Ｄ１、Ｄ２          方向
Ｌ            距離
Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５          中手骨
ＰＥ           交点
Ｏ、ＰＴｂ、ＰＴｆ、ＰＩｂ、ＰＩｆ、ＰＰｂ、ＰＰｆ、ＰＸ、Ｑ          点
Ｖ１、Ｖ２、Ｖ５          ベクトル
Ｖｐ          推定ベクトル
【図１】
2016184203.tif 000004
【図２】
2016184203.tif 000005
【図３】
2016184203.tif 000006
【図４】
2016184203.tif 000007
【図５】
2016184203.tif 000008
【図６】
2016184203.tif 000009
【図７】
2016184203.tif 000010