(57)【要約】【課題】外乱光にロバストで、容易かつ精度良く被検出対象物を検出可能な、ジェスチャ認識に基づく制御装置及び制御方法を提供すること。【解決手段】本発明に係るジェスチャ認識に基づく制御装置は、検出平面２内に存在する被検出対象物４までの距離を測定するレーザレンジセンサ１と、測定した距離から被検出対象物４の存在位置を検出する存在検出手段と、検出した被検出対象物４の存在位置の時系列データから、被検出対象物４の動きを検出する動作検出手段と、被検出対象物４の動きからジェスチャを抽出する動作解釈手段と、抽出したジェスチャに応じた制御指令を生成して被制御対象機器５へと与えるジェスチャ認識制御手段と、を備える。【選択図】図１
2010244480.tif 000002
【特許請求の範囲】
【請求項１】
検出平面内に存在する被検出対象物までの距離を測定するレーザレンジセンサと、
前記測定した距離から前記被検出対象物の存在位置を検出する存在検出手段と、
前記検出した前記被検出対象物の存在位置の時系列データから、前記被検出対象物の動きを検出する動作検出手段と、
前記被検出対象物の動きからジェスチャを抽出する動作解釈手段と、
前記抽出した前記ジェスチャに応じた制御指令を生成して被制御対象機器へと与えるジェスチャ認識制御手段と、
を備えることを特徴とするジェスチャ認識に基づく制御装置。
【請求項２】
前記動作検出手段は、
前記検出した前記被検出対象物の存在位置の時系列データから、前記被検出対象物の移動軌跡及び移動速度の少なくとも一つを前記被検出対象物の動きとして検出する
ことを特徴とする請求項１に記載のジェスチャ認識に基づく制御装置。
【請求項３】
前記レーザレンジセンサは、
水平方向に前方に向けてレーザを照射して、当該レーザの検出平面を鉛直方向に横切る被検出対象物までの距離を測定する
ことを特徴とする請求項１に記載のジェスチャ認識に基づく制御装置。
【請求項４】
レーザレンジセンサを用いて検出平面内に存在する被検出対象物までの距離を測定する測定ステップと、
前記測定した距離から前記被検出対象物の存在位置を検出する存在検出ステップと、
前記検出した前記被検出対象物の存在位置の時系列データから、前記被検出対象物の移動軌跡及び移動速度の少なくとも一つを前記被検出対象物の動きとして検出する動作検出ステップと、
前記被検出対象物の動きからジェスチャを抽出する動作解釈ステップと、
前記抽出した前記ジェスチャに応じた制御指令を生成して被制御対象機器へと与えるジェスチャ認識制御ステップと、
を有することを特徴とするジェスチャ認識に基づく制御方法。
【請求項５】
前記レーザレンジセンサは、
水平方向に前方に向けてレーザを照射して、当該レーザの検出平面を鉛直方向に横切る被検出対象物までの距離を測定する
ことを特徴とする請求項４に記載のジェスチャ認識に基づく制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は制御装置及び制御方法に関し、特に、レーザレンジセンサにより検出した被検出対象物のジェスチャ認識に基づく被制御対象機器の制御装置及び制御方法に関する。
【背景技術】
【０００２】
人間の動作を認識することにより、被制御対象機器の制御を行う制御装置が開発されている。特許文献１には、人の手首にセンサユニットを取り付け、センサユニットから計測された動作から、ジェスチャを認識する技術が開示されている。特許文献２には、手に付けた発信機の位置を環境センサにより測定して、手の３Ｄ位置を特定する技術が開示されている。特許文献３には、仮想キーボードの入力装置が開示されており、机の上に表示されたキーボードのタイピングを認識する。特許文献３に係る技術では、指の動きを検出対象として、対象面と指の接触・非接触を推定する。特許文献４には、距離画像により認識したジェスチャに基づいて、制御出力を与える技術が開示されている。
【０００３】
また、特許文献５にはレーザ装置を利用した３次元画像センサにより、操作者のハンドパターンを認識して、抽出されたハンドパターンに基づいて操作者の指示操作を判別するハンドパターンスイッチ装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１１３３４３号公報
【特許文献２】特開平１０−１７７４４９号公報
【特許文献３】特表２００４−５００６５７号公報
【特許文献４】特開２００６−０９９７４９号公報
【特許文献５】特開２００６−２８５３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１乃至３に記載の従来技術では、装着した器具の位置を測定してジェスチャを認識するために、器具の装着が必要となり不便なものである。
【０００６】
また、特許文献４に記載の従来技術では、距離画像は処理の計算コストが高く、外乱光の影響を受けるなどの問題がある。また、ジェスチャ認識の対象が「形状の時系列的なデータ」であるため、形状変化が無い場合（即ち、同一の形状であるような場合）を認識の対象とはしていない。さらに、ジェスチャ認識の対象は「指及び手のひら」であって、それぞれの「３Ｄ重心」であり、「指及び手のひら」以外を認識の対象とするものではない。また、重心以外の代表点についても、認識の対象とはしていない。
【０００７】
特許文献５に記載の従来技術では、３次元検出領域内の対象物の形状及び距離を３次元画像センサにより検出するものであるため、検出領域内にハンド以外の意図しない物体が入った場合にはその形状を誤検出して、誤動作を招くおそれがある。例えば、運転者の左手がシフトレバー上ではなく膝上におかれた場合にはハンド以外の多くの対象物もが検出の対象となり、誤検出されるおそれがある。また、例えば、３次元画像センサを水平方向に向けて設置し、当該センサの前方に位置する対象物を検出しようとする場合には、検出領域がセンサ前方の上下方向へと広がってしまうために、対象物の位置が検出しにくくなるという問題がある。
尚、特許文献５に記載の従来技術では、認識対象は、運転中が操作者でもその意図を容易に表現可能な手指形状のハンドパターンである。例えば人差し指及び親指を立てた状態の手指形状のハンドパターンを距離画像から抽出し、各ハンドパターンの形状に対して設定された指示操作に基づいて、動作を行うものである。
【０００８】
従って、本発明は、上述した課題を解決して、外乱光にロバストで、容易かつ精度良く被検出対象物を検出可能な、ジェスチャ認識に基づく制御装置及び制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係るジェスチャ認識に基づく制御装置は、検出平面内に存在する被検出対象物までの距離を測定するレーザレンジセンサと、前記測定した距離から前記被検出対象物の存在位置を検出する存在検出手段と、前記検出した前記被検出対象物の存在位置の時系列データから、前記被検出対象物の動きを検出する動作検出手段と、前記被検出対象物の動きからジェスチャを抽出する動作解釈手段と、前記抽出した前記ジェスチャに応じた制御指令を生成して被制御対象機器へと与えるジェスチャ認識制御手段と、を備えるものである。
【００１０】
これにより、レーザセンサを使用することで、外乱光に対してもロバストな検出が可能となるため、屋内・屋外問わずに利用することができる。また、例えば手などの被検出対象物の位置の動きを検出平面において検出することで、誤検出を抑制して、容易かつ精度良く被検出対象物を検出することができる。
【００１１】
また、前記動作検出手段は、前記検出した前記被検出対象物の存在位置の時系列データから、前記被検出対象物の移動軌跡及び移動速度の少なくとも一つを前記被検出対象物の動きとして検出するようにしてもよい。これにより、例えば被検出対象物が手である場合には、人間の意図をより直感的に容易に反映させることができる。
【００１２】
さらにまた、前記レーザレンジセンサは、水平方向に前方に向けてレーザを照射して、当該レーザの検出平面を鉛直方向に横切る被検出対象物までの距離を測定するようにしてもよい。これにより、水平面方向での検出をより容易かつ精度良く行なうことができる。
【００１３】
本発明に係るジェスチャ認識に基づく制御方法は、レーザレンジセンサを用いて検出平面内に存在する被検出対象物までの距離を測定する測定ステップと、前記測定した距離から前記被検出対象物の存在位置を検出する存在検出ステップと、前記検出した前記被検出対象物の存在位置の時系列データから、前記被検出対象物の移動軌跡及び移動速度の少なくとも一つを前記被検出対象物の動きとして検出する動作検出ステップと、前記被検出対象物の動きからジェスチャを抽出する動作解釈ステップと、前記抽出した前記ジェスチャに応じた制御指令を生成して被制御対象機器へと与えるジェスチャ認識制御ステップと、を有するものである。
【００１４】
また、前記レーザレンジセンサは、水平方向に前方に向けてレーザを照射して、当該レーザの検出平面を鉛直方向に横切る被検出対象物までの距離を測定するようにしてもよい。
【発明の効果】
【００１５】
本発明によれば、外乱光にロバストで、容易かつ精度良く被検出対象物を検出可能なジェスチャ認識に基づく制御装置及び制御方法を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】実施の形態１に係るジェスチャ認識に基づく制御装置の構成図である。
【図２】実施の形態１に係る制御装置の処理を示すフローチャートである。
【図３】実施の形態１に係る制御装置の各処理の詳細を説明するための図である。
【図４】実施の形態２に係るジェスチャ認識に基づく制御装置の構成図である。
【発明を実施するための形態】
【００１７】
実施の形態１．
以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施の形態１に係るジェスチャ認識に基づく制御装置の構成図である。図１に例示するように、ジェスチャに基づく制御装置は、人間３の動作を認識して、テレビ５などの被制御対象機器の制御を行う。即ち、入力インタフェースとして、レーザレンジセンサ１を利用したジェスチャ認識に基づく制御装置である。
【００１８】
制御装置は、レーザレンジセンサ１と、図示しない存在検出手段と、動作検出手段と、動作解釈手段と、ジェスチャ認識制御手段と、を備えている。これら各手段は、例えば、レーザレンジセンサ１からの測定データを受信する、図示しないコンピュータにより実現することができる。図示しないコンピュータは、レーザレンジセンサ１からの測定データに基づいて、テレビ５などの被制御対象機器を制御する制御信号を生成する。
【００１９】
レーザレンジセンサ１は、検出平面２内に存在する被検出対象物４までの距離を測定する。本実施の形態１では、鉛直方向に上方向から下方向に向けてレーザを照射して、そのレーザの検出平面２を水平方向に横切る被検出対象物４までの距離を測定する。レーザレンジセンサ１に基づく検出範囲を平面に限定することで、例えば人間３の腕を被検出対象物４とした場合には、人間３は単に腕を下ろすことで簡単に検出範囲から腕を外すことができるために、制御装置に基づく誤検出を起こりにくくすることができる。
【００２０】
存在検出手段は、測定した距離から被検出対象物４の存在位置を検出する。動作検出手段は、検出した被検出対象物４の存在位置の時系列データから、被検出対象物４の動きを検出する。ここでは、被検出対象物４の動きとして、被検出対象物４の移動軌跡及び移動速度の少なくとも一つを検出する。動作解釈手段は、被検出対象物４の動きからジェスチャを抽出する。ジェスチャ認識制御手段は、抽出したジェスチャに応じた制御指令を生成して被制御対象機器５へと与える
【００２１】
図１に示す例では、被制御対象機器５への入力インタフェースとして、マウスの代わりにジェスチャ認識に基づく制御装置を利用した場合を示している。図１では、レーザレンジセンサ１を人間３に対して鉛直方向の上方向から下方向へと照射し、レーザの検出平面２を垂直方向に設定している。人間３が、前方に置かれたテレビ５を見ながら、検出平面２内で自身の腕（手）４を動かしてやることで、制御装置により腕４の動きを検出する。この動きのパターンにより、人間３のジェスチャの意図を制御装置により読み取る。これにより、人間３の腕４の動きのみによって、例えば、マウスのクリック操作やポインタの移動などを簡単かつ直感的に実現することができる。また、例えばリモコンなどの操作具を人間３が所持する必要が無く、手軽に制御を行うことができる。
【００２２】
図２は、実施の形態１に係る制御装置の処理の概要を示すフローチャートである。ステップＳ１０１では、レーザレンジセンサ１を用いて検出平面２内に存在する被検出対象物４までの距離を測定する。ステップＳ１０２では、測定した距離から被検出対象物４の存在位置を検出する。ステップＳ１０３では、検出した被検出対象物４の存在位置の時系列データから、被検出対象物４の移動軌跡及び移動速度の少なくとも一つを被検出対象物４の動きとして検出する。ステップＳ１０４では、被検出対象物４の動きからジェスチャを抽出する。ステップＳ１０５では、抽出したジェスチャに応じた制御指令を生成して被制御対象機器５へと与える。
【００２３】
ここで、図２に示す各処理ステップは、同時に並列実行が可能である。例えば、ステップＳ１０１での処理に続いてステップＳ１０２での処理を行うが、このステップＳ１０２での処理を行っている際に、同時に、ステップＳ１０１での処理をパイプライン処理として実行させることができる。これにより、ステップＳ１０１〜ステップＳ１０５の処理を全て終えた後に新たにステップＳ１０１での処理を開始する場合に比べて、レーザレンジセンサ１を用いた測定の開始から被制御対象機器５の制御指令を与えるまでに要する処理時間を短縮することができる。
【００２４】
図３は、実施の形態１に係る制御装置の各処理の詳細を説明するための図である。図３では、被検出対象物４が人間３の両腕である場合を例に説明する。まず、図３（ａ）に示すように、ステップＳ１０１では、レーザレンジセンサ１を用いて検出平面２を切断するそれぞれの腕までの距離を測定する。尚、検出平面２のうち、レーザにより測定されるエリアを、斜線で示すハッチングを用いて検出エリア６として示している。
【００２５】
次いで、図３（ｂ）に示すように、ステップＳ１０２では、測定した距離から各腕の存在位置を検出する。図３（ｂ）では、測定により検出した腕の特定部分を半円により近似して示している。尚、検出平面２内に腕が存在しない場合には、床面が検出される。
【００２６】
次いで、図３（ｃ）に示すように、ステップＳ１０３では、検出した各腕の存在位置の時系列データから、各腕がレーザを切断する方向の動きを検出する。これにより、各腕の移動軌跡である時間軌跡や、その移動速度を検出する。例えば、図に示す例では、検出された腕の時系列データを示す各半円について、その重心位置（代表点）を算出し、それら代表点を結ぶ軌跡を時間軌跡として算出する。
【００２７】
次いで、図３（ｄ）に示すように、ステップＳ１０４では、各腕の動きからジェスチャを抽出する。例えば、図に示す例では、両腕をともに左回りに回した場合の動作を想定しており、ジェスチャとして、左回りの動きを抽出する。尚、ジェスチャとしては、他にも、右回りの動きや、直線により近似した動きを抽出しても良い。さらに、動きの速度も合わせて考慮したジェスチャとしても良い。
【００２８】
ステップＳ１０５では、抽出したジェスチャに応じた制御指令を生成して、本発明に係る機能を搭載したジェスチャ認識コントローラ７から、被制御対象機器である家電製品など８へと与える。即ち、抽出したジェスチャが示す動きのパターンに応じて、人間３が意図した操作を実行させるための制御指令を生成する。例えば、左回りのジェスチャの場合には、ビデオなどの機器を被制御対象機器として、再生の巻き戻しを行わせる制御指令を生成する。また、右回りのジェスチャの場合には、再生の早送りの操作を行わせるための制御指令を生成するなどが考えられる。
【００２９】
実施の形態２．
次に、図４を参照して、本発明の実施の形態２に係るジェスチャ認識に基づく制御装置について説明する。図４は、実施の形態２に係るジェスチャ認識に基づく制御装置の構成図である。図４に示す例では、入力インタフェースとしてジェスチャ認識に基づく制御装置を利用して、検出した人間３の動きをビデオゲームなどに応用した場合を示している。図４では、レーザレンジセンサ１を人間３に対して図面の奥方向から前方向へと照射し、レーザの検出平面２を水平方向に設定している。人間３が、前方に置かれたテレビ５を見ながら、検出平面２内で自身の胴体４を動かしてやることで、制御装置により胴体４の動きを検出する。この動きのパターンを入力とすることで、人間３のジェスチャの意図を制御装置により読み取る。
【００３０】
これにより、人間３の胴体３の動きのみによって、例えば、ビデオゲーム実行中のテレビ５内のキャラクタを操作するなどの機能を簡単かつ直感的に実現することができる。また、例えばビデオゲームのコントローラなどの操作具を人間３が所持する必要が無く、手軽に制御を行うことができる。
【００３１】
さらに、このようにレーザを照射することで、人間３が立っている位置を測定することができ、また、人間３が座っているか否かなども検出することができる。これにより、例えば、人間３が座っている方向（位置）に応じて、テレビ５に表示させる内容を変更させるなどの、インタラクションが可能である。
【００３２】
以上説明したように、本発明によれば、レーザセンサを使用することで、外乱光に対してもロバストな検出が可能となるため、屋内・屋外問わずに利用することができる。また、例えば手などの被検出対象物の位置の動きを検出平面において検出することで、誤検出を抑制して、容易かつ精度良く被検出対象物を検出することができる。
【００３３】
尚、本発明は上述した各実施の形態に限定されず、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００３４】
１  レーザレンジセンサ、
２  検出平面、
３  人間、
４  被検出対象物、
５  テレビ、
６  検出エリア、
７  ジェスチャ認識制御装置、
８  家電製品など
【図１】
2010244480.tif 000003
【図２】
2010244480.tif 000004
【図３】
2010244480.tif 000005
【図４】
2010244480.tif 000006