(57)【特許請求の範囲】
【請求項１】
人間のジェスチャを撮影する撮像手段と、当該撮影されたジェスチャの画像の種類を認識するジェスチャ認識手段と、該ジェスチャ認識手段により認識された種類に対応する少なくとも１以上の制御命令を生成する制御命令生成手段とを備え、前記制御命令に基づいて制御対象の機器を制御する制御装置であって、前記ジェスチャ認識手段が、前記撮像手段により撮影されたジェスチャ画像からジェスチャの特徴パターンを画像分析により取得する特徴分析手段と、予め種類が判明している複数のジェスチャの特徴パターンと前記特徴分析手段により取得されたジェスチャの特徴パターンとを比較することによりジェスチャの種類を認識する処理手段とを有する制御装置において、前記生成する制御命令に対応するジェスチャの特徴パターンを登録するジェスチャの登録方法であって、
前記制御命令によって動作する内容が登録されたリストの内容を合成音声により発声させる第１ステップと、
前記第１ステップの終了後に、前記撮像手段により撮影されたジェスチャ画像から前記特徴分析手段が画像分析により取得したジェスチャの特徴パターンのベクトルの数値を全部足した値を所定の区間に渡って判定する第２ステップと、
判定の結果、前記値がある閾値より高く、その前後にその閾値より低い区間の存在を判別する第３ステップと、
判別の結果に応じて、前記値が閾値より高い区間のジェスチャの特徴パターンを、前記リストの内容に対応するジェスチャの特徴パターンとして登録する第４ステップと
からなることを特徴とするジェスチャの登録方法。
【請求項２】
人間のジェスチャを撮影する撮像手段と、当該撮影されたジェスチャの画像の種類を認識するジェスチャ認識手段と、該ジェスチャ認識手段により認識された種類に対応する少なくとも１以上の制御命令を生成する制御命令生成手段とを備え、前記制御命令に基づいて制御対象の機器を制御する制御装置であって、前記ジェスチャ認識手段が、前記撮像手段により撮影されたジェスチャ画像からジェスチャの特徴パターンを画像分析により取得する特徴分析手段と、予め種類が判明している複数のジェスチャの特徴パターンと前記特徴分析手段により取得されたジェスチャの特徴パターンとを比較することによりジェスチャの種類を認識する処理手段とを有する制御装置において、前記生成する制御命令に対応するジェスチャの特徴パターンを登録するジェスチャの登録処理をコンピュータにより実行させるプログラムであって、
前記制御命令によって動作する内容が登録されたリストの内容を合成音声により発声させる第１ステップと、
前記第１ステップの終了後に、前記撮像手段により撮影されたジェスチャ画像から前記特徴分析手段が画像分析により取得したジェスチャの特徴パターンのベクトルの数値を全部足した値を所定の区間に渡って判定する第２ステップと、
判定の結果、前記値がある閾値より高く、その前後にその閾値より低い区間の存在を判別する第３ステップと、
判別の結果に応じて、前記値が閾値より高い区間のジェスチャの特徴パターンを、前記リストの内容に対応するジェスチャの特徴パターンとして登録する第４ステップと
の処理をコンピュータにより実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ロボット、玩具、その他、撮像手段を有し、撮像手段により撮影された人間のジェスチャを認識してその認識結果に応じて何らかの制御処理を行う制御装置においてジェスチャを登録するジェスチャの登録方法に関する。
【０００２】
【従来の技術】
近年、人間と対話する小型ロボットの開発がなされており、この小型ロボットは犬や猫などの動物に類似した形態をとっている。従ってこれらは玩具の一種と考えてよい。この玩具ロボットの使用目的として、それを老人や身障者へ与えることにより、その精神的なリハビリに有用であることがわかってきた。現在も一部は市販されるようになってきた。今後、その市場は拡大していくと思われる。
【０００３】
現在、玩具ロボットと人間とのコミュニケーションの手段は、主として、たとえば、特開２００２−１１６７９４号公報に見られるように、人間側からのロボットへの接触と音声による声かけに限られている。しかし、より人間と玩具ロボットとのコミュニケーションの幅を広げることが極めて重要であり、これが、この種のロボットの市場拡大に決定的な要因となる。現在、使われているコミュニケーション手段は、接触と音声による手段であり、これ自体もその性能が低い。しかし、使い勝手からその重要性が高い。ここでは、例えば、接触センサーによるロボットへの人間の接触は、限られた部署への単純な接触回数などの情報を収集し、その情報が用いられているのみであり、音声でも１０単語以内の極めて少ない語彙しか扱うことができない。
【０００４】
【発明が解決しようとする課題】
ロボットに対する人間の接触による情報入力は、人間がロボットに接触できない環境、たとえば、高温度の環境、極低温度の環境等では難しい。また、音声による情報入力は、雑音が発生する環境下では難しい。
【０００５】
そこで、本発明の目的は、環境の影響の少ないコミュニケーション手段を有する制御装置として、撮像手段を有し、撮像手段により撮影された人間のジェスチャを認識してその認識結果に応じて何らかの制御処理を行う制御装置において、ジェスチャを登録するジェスチャの登録方法を提供することにある。
【０００７】
【課題を解決するための手段】
本発明にかかる制御装置は、基本的な構成として、人間のジェスチャを撮影する撮像手段と、当該撮影されたジェスチャ画像の種類を認識するジェスチャ認識手段と、該ジェスチャ認識手段により認識された種類に対応する少なくとも１以上の制御命令を生成する制御命令生成手段とを備え、前記制御命令に基づいて制御対象の機器を制御する制御装置であり、前記ジェスチャ認識手段が、前記撮像手段により撮影されたジェスチャ画像からジェスチャの特徴パターンを画像分析により取得する特徴分析手段と、予め種類が判明している複数のジェスチャの特徴パターンと前記特徴分析手段により取得されたジェスチャの特徴パターンとを比較することによりジェスチャの種類を認識する処理手段とを有する制御装置である。
【０００８】
本発明のジェスチャの登録方法は、前記制御装置において、前記生成する制御命令に対応するジェスチャの特徴パターンを登録するジェスチャの登録方法であって、前記制御命令によって動作する内容が登録されたリストの内容を合成音声により発声させる第１ステップと、前記第１ステップの終了後に、前記撮像手段により撮影されたジェスチャ画像から前記特徴分析手段が画像分析により取得したジェスチャの特徴パターンのベクトルの数値を全部足した値を所定の区間に渡って判定する第２ステップと、判定の結果、前記値がある閾値より高く、その前後にその閾値より低い区間の存在を判別する第３ステップと、判別の結果に応じて、前記値が閾値より高い区間のジェスチャの特徴パターンを、前記リストの内容に対応するジェスチャの特徴パターンとして登録する第４ステップとからなることを特徴とするものである。
【０００９】
本発明のジェスチャの登録方法によれば、音声で述べた内容を表すと思われる動きを当人が理解して行った当人のジェスチャが登録されることになる。登録された後には、その登録されたものと類似したジェスチャを含むジェスチャをすれば、それが認識されることとなる。たとえば、そのジェスチャがなされたとき、制御装置により制御命令が生成されて、制御命令に基づいて制御対象の機器が制御される。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
（制御装置の制御方法の説明）
制御装置としてここでは玩具ロボットを例に説明するが、制御装置についてはこれに限ることはない。
【００１１】
ここにおいて、現在もっとも重要な人間と玩具ロボットとのコミュニケーション手段はジェスチャなどの動作によるものである。人間側がジェスチャや身振りによってロボットへの働きかけを行い、それに反応して、同じくロボット側が、鳴き声や動作で応える、というコミュニケーションである。
【００１２】
このような人間側のジェスチャや身振りは、実際の生きた犬や猫を家で飼う場合においては、それらの動物と極めて通常に行われている交流手段である。例えば、「こっちへおいで」、「おてて」、「ぶつよ」、「あっちへいってらっしゃい」、「ぐるっとまわって」などの意味のジェスチャや身振りを、人間が動物に対して行い、コミュニケーションを図っている。このジェスチャや身振りを理解する機能を玩具ロボットに付加する技術が本発明の主体となっている。ジェスチャや身振りを理解するためのジェスチャ認識方法については、本願発明者がすでに開示している公知文献として以下にリストされるものを用いるとする。そのリストとは、
（１）ＵＳＰ−４９８９２４９  音声の特徴抽出方法、認識方法及び認識装置
（２）特願平５−２１７５６６号  ジェスチャ動画像認識方法
（３）特願平８−４７５１０号  ジェスチャ動画像認識方法
（４）特願平８−１４９４５１号  ジェスチャ認識装置および方法
（５）特願平８−３２２８３７号  ジェスチャ認識方法
（６）特願平８−３０９３３８号  ジェスチャ認識方法および装置
である。
【００１３】
本発明は、これらのジェスチャや身振りの認識方法を適用した制御装置に関する。これを以下に説明する。
（小型玩具ロボットへの応用）
ロボットの目として、小型ＣＣＤカメラを１個または複数個を頭部につける。また、このカメラからの動画像をキャプチャして、ジェスチャを学習や認識処理するＣＰＵをロボット内に内蔵する。さらに、このＣＰＵによるジェスチャ認識結果を、ロボットの発声する合成音やロボット身体の動作へと変換する機能を付加する。
【００１４】
図１に示すような小型の玩具ロボット１内、たとえば、目２の位置にＣＣＤカメラを１つ、または２つを装着する。これによってロボットの正面でなされるジェスチャを動画像として捉える。このジェスチャはロボットの目には図２に示すようなイメージ３として捉えられることになる。これらの動画像の系列の中に、既に登録されたジェスチャの区間時系列が出現してきたときのみ、それが認識される。この認識されるジェスチャの種類を、１２個登録した場合、現在の時点で何が認識されているかの結果を文字によって示すと、図２の右の上部に示されるようになる。ここにおいて、ジェスチャ認識の結果に応答するロボット側の動きを事前に決めておけば、その動作をロボットに実行させると、人間とロボットのジェスチャによる対話が実現する。
【００１５】
例えば、いま人間側が、Ｓｔｏｐ  （止まれ）というジェスチャをした場合、そのジェスチャの動作が認識され、Ｓｔｏｐ  という認識コードを、ロボットの走行や首ふりの動きなどを行わせる運動系に伝達され、その走行や首ふりの運動を停止させることとなる。
【００１６】
同様に、手を右左に動かすジェスチャ動作の動画像区間系列を、「動け」という意味であるとするとき、（これは後述するように簡単にオンラインで登録できる）、この動作を人間がした場合、それをカメラで動画像として観測し、その動作を認識すると、つまり、「Ｍｏｖｅ」という認識コードが得られたとき、その認識コードをロボット駆動系に伝達して、動いていない場合には、ロボットを動かすこととする。
【００１７】
さて、おもちゃのロボットが動いている状況で、周辺にいる人物がジェスチャを行っているとき、これを良好に認識できるものであるかということが問題となる。つまり、これらの状況でも頑強であるジェスチャ認識方法が必要となる。この頑強さを得るには、一つは、動画像からの特徴抽出において頑強さを確保することが重要となる。より具体的には、時間的な流れの中で、そのジェスチャ動作を認識できることが必要となる。このために、特願平８−３２２８３７号で提案したジェスチャ認識方法を使用するとよい。この方法を図３に示す。
【００１８】
図３において、複数の連続する静止画像、いわゆる動画像１０の中の隣接する２つ静止画像の画像データの時間差分値がＣＰＵ等の情報処理装置により計算される。時間差分値は、同一画素の２つの異なる時刻の画像データの値の差である。差の値はしきい値より大きいものと、小さいものに分けられ、大きい値はビット“１”で表し、小さい値はビット“０”で表す。このようにして差分値を２値化して、画素位置に対応させたビット値の分布を符号１１で示す。符号１１のビット分布がジェスチャの特徴を表す。ジェスチャの特徴を数値により表すために、符号１１の分布領域（画面に対応）が複数の領域に分割される。分割された領域内のビット“１”の個数を計数し、１つの静止画のジェスチャにおける特徴値として設定される。複数の連続する静止画の特徴の値の連続（時系列）が、いわゆるジェスチャの特徴パターンとなる。符号１３は分割された各領域内のビット“１”の個数を示すマトリクスである。このような認識方法を使用することにより２ｘ２程度まで落とすことによって、ジェスチャ認識における頑健さを得ることができる。
【００１９】
次に問題になるのは、解像度を落としたときに、認識できるジェスチャの数の問題である。図３の解像度においては、４０種類のジェスチャの認識が限界となっているが、おもちゃのロボットを相手には１０種類以下のジェスチャで十分と思われるので、各フレームの画像からの特徴パターンは２ｘ２で十分であるといえる。
【００２０】
さらに、問題になるのは、ジェスチャをするタイミングの問題である。特定の指示がないとそのジェスチャを受け付けないということでは、実用的な制約が強すぎるものとなる。しかし、これについても、特願平８−１４９４５１号や特願平８−３２２８３７号で開示されている連続ＤＰとよばれる整合方法を用いれば、このような制約を、一切なくすことができる。図４および図５がこの連続ＤＰによる整合方法を使用したジェスチャの認識方法を示している。
【００２１】
図４は縦軸がリファレンスベクトルシーケンスであり、１つのジェスチャについての、いわゆる標準パターンである。図３に示す方法で取得した特徴パターンである。横軸が入力の時系列パターン（入力ベクトルシーケンス）であり、これには始めと終わりを示すいかなる目印もついていないものである。分かりやすく説明すると，認識対象のジェスチャの撮影画像から、図３の方法により取得された特徴値の連続が横軸（入力ベクトルシーケンス）となる。
【００２２】
時刻ｔ１〜ｔ２までの間の入力ベクトルシーケンスとリファレンスベクトルシーケンスとの間の距離（ＣＤＰと称す）が連続ＤＰ（動的計画法）により計算され、その計算結果が図５の時刻ｔ２のＣＤＰ出力値となる。全ての時刻について、距離計算を行うと、図５に示すようなＣＤＰの出力分布が得られる。認識対象の入力ベクトルシーケンスが、参照ベクトルシーケンスと同じジェスチャであった場合には、出力分布５０が得られ、そうでない場合には、出力分布５１または５２が得られる。
【００２３】
同一ジェスチャの場合には、図５の符号Ｐに示すように出力値がしきい値よりも低くなるという特性を有する。
【００２４】
複数種類のジェスチャに対応するリファレンスベクトルシーケンスを予めロボット内のメモリに用意しておき、ＣＣＤの撮影結果から得られる入力ベクトルシーケンスとそれぞれＣＰＵ等により比較し、上記Ｐ点を有するリファレンスベクトルシーケンスの示すジェスチャが認識結果となる。認識結果はリファレンスジェスチャの種類を示す識別情報の形態で得られる。
【００２５】
この整合方法は連続する静止画像を認識対象とすることができるので、ビデオカメラのスイッチがＯＮになっている間中にデータがとぎれもなく入ってきているとう状態を許している。この状態で、人間側が、ロボットのカメラの視野にそのジェスチャが入ってきて、かつ登録したジェスチャを行った瞬間にその結果を瞬時に出力することができる。
【００２６】
この連続ＤＰの出力は１つの標準パターンには１つ作られるが、この数値が局所的に小さくなると、それに対応する標準パターンに類似しているジェスチャが存在しているということを判定する。そのとき、登録されていても入力中にそれがなければ連続ＤＰ値の値は小さくならない。図５では、３つの標準パターンの出力の様子が表示されているが、そのうちの１つがマッチして、連続ＤＰ値が小さくなっている様子が示されている。また、このとき、カメラがジェスチャを絶え間なく捉え、また、人間側も絶え間なくジェスチャを繰り返していても、登録したものを人間が行わない限り連続ＤＰの値は小さくならない。このことは、ユーザにとって、ジェスチャをするべき時刻を一切指定されなくてもよいということで、極めて負担が少ないものとなっており、それゆえ自然なジェスチャをすることができるものとなる。このような使い方は、おもちゃのロボットが、子供や老人や身障者に使われるものであることを想定すると、極めて重要な機能であると思われる。その意味で、おもちゃのロボットに実装するソフトとしては、極めその有用性が強いということができる。
【００２７】
次に、人間によるジェスチャのオンラインによる教示の第２の実施形態を説明する。人間側とすれば、どのような意味のジェスチャをどのように行った場合に、ロボットがその意図どおりに動いて欲しいという要求は様々である。これは、例えば、「おいでおいで」「お手手を上げて」という意味はそれぞれ決まっていても、それをどうジェスチャで表現するかには、個性があるということである。このような、実際の使用状況において、その場で、新しい意味のジェスチャを与え、これの動きを指定できるものであることは、極めて重要な機能であるということができる。そこで、この機能を以下のように実現する。
【００２８】
まず、ロボットの動作で可能な動きのリストを作っておく。次に、この動作の内容を合成音声でロボットに発声させる。例えば、「おいでおいでしてください」と発声する。そのあと、人間側が、おいでおいでのジェスチャをする。そうすると、このジェスチャが動画像系列として登録されることになる。この登録の方法を図６で説明する。いま、動画像（ジェスチャ）の特徴ベクトル（ジェスチャの特徴パターン）の数値を全部足したものをＰ（ｔ）とする。
【００２９】
このＰ（ｔ）の値がある閾値より高く、その前後にその閾値より低い区間が存在するとき、そのＰ（ｔ）の値が閾値より高い区間の動画像の特徴の時系列区間（ジェスチャの特徴パターン）を登録するとする。このような登録により、ロボット側が音声で述べた内容を表すジェスチャが登録されることになる。登録された後には、その登録されたものと類似したジェスチャを含むジェスチャをすれば、それが認識されることとなる。また、合成音声で話す動きをロボット側で行うものであれば、それをジェスチャによってなされたとき、そのような動きをとる事にすればよい。このようにして、ジェスチャによるロボットと人間の対話が進行することになる。
【００３０】
上記の技術において、動画像のみを参照パターンとして議論したが、ジェスチャが静止状態で示される場合、例えば、じゃんけんのグー、チョキ、パーや、指を、１本、２本、と立てることで、その意味を表示する場合、静止状態の系列を、動画像のように扱うこともできるので、このような静止型のジェスチャについても応用が可能である。
【００３１】
以上は、おもちゃのロボットについての応用であったが、これと類似したやり方で、例えば携帯電話における番号呼び出しをジェスチャによって行うことも可能である。携帯電話には、最近画像を取り込むことができるようなカメラがついているので、このような機能の実装が容易であるといえる。
【００３２】
例えば、息子Ａを呼び出したい場合、携帯電話から、「Ａさんは、どうやってよぶ」という合成音を聞かせ、携帯電話を片手でもって、他方の手でジェスチャを行って、そのジェスチャとＡさんとの対応を教示する。このようにして、区別できるジェスチャの数だけ、教示すれば、番号やワンタッチのボタンも押さずにその番号を呼び出すことができる。
【００３３】
また、携帯電話を切るなどの、現在いろいろの操作をボタンを押すことでやっている機能を、ジェスチャ動作で指示するということも、同じ方法で可能である。さらに、身障者や病人が声も出すことができない場合、その意志を片手でのジェスチャで意志を伝えるということも、同じような構成で実現できる。
【００３４】
このように、音声を発生することやボタン操作がわずらわしいときや、それができない状況での指示や、ジェスチャの方がその意志を伝えるのが便利であるというような状況での利用が以上のような、技術を利用することで可能となる。
【００３５】
以上、説明したジェスチャ認識方法を適用する制御装置のハードウェアの構成を図７に示す。
【００３６】
図７において、１００は人間のジェスチャを撮影する撮像手段であり、ＣＣＤカメラ、ビデオカメラ等、光学的な画像を画像信号に変換する機器を使用することができる。撮像手段１００は周知のものを使用することができ、どのような撮像手段を使用するかは、制御装置の大きさや使用環境により適宜定めればよい。
【００３７】
１１０はジェスチャ認識手段であり、デジタルプロセッサ、ＣＰＵ等を使用することができる。上述したジェスチャ認識方法で、撮像手段１００により撮影されたジェスチャ画像を認識するためのプログラムをデジタルプロセッサやＣＰＵが実行してジェスチャ認識が行われる。１２０は制御命令生成手段であり、ジェスチャ認識手段の認識結果に基づいて、ジェスチャに対応する制御命令を生成する。
【００３８】
制御命令の作成方法のいちばん簡単な例は、テーブルによる変換である。ジェスチャの１つの種類に対応する少なくとも１以上の制御命令で１つのデータセットを構成し、複数種類のジェスチャに対応する複数のデータセットをテーブルに記載しておく。ジェスチャの認識結果が得られると、その認識結果に対応するデータセットを取り出すことにより、後述の制御手段１３０に与える制御命令を生成することができる。
【００３９】
他の方法としては、テーブルの代わり、関数などを使用することもできる。制御命令生成手段１２０には、上記デジタルプロセッサやＣＰＵを兼用してもよいし、ルックアップテーブルと呼ばれるメモリを使用してもよい。
【００４０】
１３０は制御手段であり、ロボットのアクチュエータやモータを上記制御命令に基づいて制御する回路を使用することができる。制御手段はドライバとも呼ばれ、従来から周知であるので、詳細な説明を要しないであろう。
【００４１】
上述の各手段の間は、本発明の利用形態により好適な通信手段により結合すればよい。利用形態がロボットある場合には、各手段は信号線により結合される。また、利用形態がＣＣＤカメラ付携帯電話による遠隔的な制御である場合には、ＣＣＤカメラにより撮影されたジェスチャ画像は、電話回線を解して制御装置本体に通信される。
【００４２】
また、本発明の利用形態としては、玩具用ロボット、工業用ロボット、などとすることができる。さらにその他電子機器ＣＣＤカメラ付携帯電話による遠隔的な制御（制御対象は電化製品など各種）にも本発明を適用できる。
【００４３】
撮像手段１００により撮影したジェスチャ画像の特徴をジェスチャ認識手段１１０に登録する場合には次のようにすればよい。ジェスチャ認識手段１２０は撮影手段１００により撮影したジェスチャ画像（動画像）を図３に示す方法で特徴を抽出する。したがって、抽出された特徴をメモリに登録することで、種類の認識に使用するジェスチャの特徴を新規に登録することができる。また、このために、音声合成手段（ＣＰＵが周知の音声合成プログラムを実行することで実現）により、登録すべきジェスチャを案内する音声を出力すればよいこと勿論である。音声合成手段の代わりにディスプレイのような画像表示手段により文字形態でメッセージを表示してもよい。
【００４４】
上述のジェスチャ認識手段１１０、制御命令生成手段１２０をＣＰＵなどのプログラムを実行する手段で実現する場合には、その実行プログラムは記録媒体に記録しておけばよい。記録媒体としては、ＩＣメモリ、ハードディスク、フロッピー（登録商標）ディスク、ＣＤＲＯＭ等周知の記録媒体を使用することができる。
【００４５】
【発明の効果】
以上、説明したように、本発明によれば、ジェスチャにより制御内容を指示することができるので、雑音環境下や人間が装置近くに接触できない環境下での指示に好適である。また、音声とジェスチャとを併用することにより新規な制御指示を行うことも可能となる。
【図面の簡単な説明】
【図１】ジェスチャ認識方法を適用する玩具ロボットを示す説明図である。
【図２】玩具ロボットが撮影するジェスチャ画像を示す説明図である。
【図３】ジェスチャ認識方法を説明するための図である。
【図４】ジェスチャ認識方法を説明するための図である。
【図５】ジェスチャ認識方法を説明するための図である。
【図６】ジェスチャの登録を説明するための図である。
【図７】制御装置の一構成例を示すブロック図である。
【符号の説明】
１００  撮像手段
１１０  ジェスチャ認識手段
１２０  制御命令生成手段
１３０  制御手段
【図１】
0003837505.tif 000002
【図２】
0003837505.tif 000003
【図３】
0003837505.tif 000004
【図４】
0003837505.tif 000005
【図５】
0003837505.tif 000006
【図６】
0003837505.tif 000007
【図７】
0003837505.tif 000008