(57)【特許請求の範囲】
【請求項１】
エンドエフェクタ（１７、２１）を備えた手術用機器（１５、１９）が固定された少なくとも１つのロボットアーム（１４、１８）を有するロボットシステム（１１）の制御用制御装置であって、前記制御装置が、少なくとも片手（３０Ｌ、３０Ｒ）の制御入力を記録、評価し、ロボットシステム（１１）の１つ又は複数の構成部品に対する対応する制御命令に変換する撮像システムを含み、
制御ユニット（２５）が前記制御装置の一部であり、
前記制御ユニット（２５）が、
−手術用機器（１５、１９）のエンドエフェクタ（１７、２１）の向き及び／又は位置及び／又は開き幅が第一の値として検知され、更に、
−少なくとも片手（３０Ｌ、３０Ｒ）の向き及び／又は位置及び／又は開き幅が第二の値として検知され、１つ又は複数の前記第一の値がそれぞれ対応する前記第二の値から偏差した場合、または操作する手が検知領域の範囲外で動作する場合に前記エンドエフェクタ（１７、２１）のジェスチャ制御が自動的に停止され、１つ又は複数の前記第一の値がそれぞれ対応する前記第二の値と一致した場合で、かつ、操作する手が検知領域の範囲内で動作する場合にジェスチャ制御を用いて前記エンドエフェクタ（１７、２１）が操作できるようにジェスチャ制御が許可されるように設計されていることを特徴とする、制御装置。
【請求項２】
請求項１に記載の制御装置であって、前記ジェスチャ制御を起動するために、少なくとも２つの前記第二の値がそれぞれ対応する前記第一の値と一致する必要があることを特徴とする、制御装置。
【請求項３】
請求項１又は２に記載の制御装置であって、１つ又は複数の前記第一の値がそれぞれ対応する前記第二の値から偏差した場合、少なくとも片手（３０Ｌ、３０Ｒ）の前記向き及び／又は前記位置及び／又は前記開き幅を前記エンドエフェクタ（１７、２１）の対応する状態に適合させるように前記ロボットシステム（１１）のユーザに促すことになる信号を前記制御ユニット（２５）が発することを特徴とする、制御装置。
【請求項４】
請求項１から３のいずれか一項に記載の制御装置であって、１つ又は複数の前記第二の値がそれぞれ対応する前記第一の値と一致した場合に、手（３０Ｌ、３０Ｒ）と制御される前記エンドエフェクタ（１７、２１）との調整が達成されたことを前記ユーザに伝える信号を前記制御ユニット（２５）が発することを特徴とする、制御装置。
【請求項５】
請求項１から４のいずれか一項に記載の制御装置であって、その向き及び／又は位置及び／又は開き幅が前記手（３０Ｌ、３０Ｒ）の向き及び／又は位置及び／又は開き幅に対応する仮想要素（１７‘）を前記制御ユニット（２５）がスクリーン（２９）に表示することを特徴とする、制御装置。
【請求項６】
請求項１から５のいずれか一項に記載の制御装置であって、その向き及び／又は位置及び／又は開き幅が制御される前記エンドエフェクタ（１７）の向き及び／又は位置及び／又は開き幅に対応する別の仮想要素（１７‘‘）を前記制御ユニット（２５）がスクリーン（２９）に表示し、操作する前記手（３０Ｌ、３０Ｒ）と制御される前記エンドエフェクタ（１９、２１）との間の調整用の目標設定値として前記仮想要素が使用されることを特徴とする、制御装置。
【請求項７】
請求項１から６のいずれか一項に記載の制御装置であって、更に手動操作補助要素（３５Ｌ、３５Ｒ）を備えていることを特徴とする、制御装置。
【請求項８】
請求項１から７のいずれか一項に記載の制御装置であって、前記制御ユニット（２５）が、前記手の上の点又は関連している前記腕上の点、あるいは関連している補助要素（３５Ｌ、３５Ｒ）上の点（Ｐ１Ｌ、Ｐ１Ｒ、３７Ｌ、３７Ｒ）を確定する前記手（３０Ｌ、３０Ｒ）の前記位置を検知し、これらの点（Ｐ１Ｌ、Ｐ１Ｒ、３７Ｌ、３７Ｒ）を前記撮像システムの座標系（ＫＧ）で検知することを特徴とする、制御装置。
【請求項９】
請求項１から８のいずれか一項に記載の制御装置であって、前記制御ユニット（２５）が、少なくとも１つのベクトル（Ｖ１Ｌ、Ｖ１Ｒ）を確定する少なくとも片手（３０Ｌ、３０Ｒ）の前記向きを検知し、前記ベクトルを前記撮像システムの座標系（ＫＧ）で特定することを特徴とする、制御装置。
【請求項１０】
請求項９に記載の制御装置であって、前記制御ユニット（２５）が、前記ベクトル（Ｖ１Ｌ、Ｖ１Ｒ）を確定するために前記手（３０Ｌ、３０Ｒ）の上及び／又は補助要素（３５Ｌ、３５Ｒ）上の少なくとも１つの別の点（Ｐ２Ｌ、Ｐ２Ｒ、Ｐ３Ｌ、Ｐ３Ｒ、３７Ｌ、３７Ｒ）を確定することを特徴とする、制御装置。
【請求項１１】
請求項１０に記載の制御装置であって、前記ベクトル（Ｖ１Ｌ、Ｖ１Ｒ）が、確定された前記点（Ｐ１Ｌ、Ｐ１Ｒ、Ｐ２Ｌ、Ｐ２Ｒ、Ｐ３Ｌ、Ｐ３Ｒ、３７Ｌ、３７Ｒ）のうち少なくとも３つを通って拡がる平面内に存在することを特徴とする、制御装置。
【請求項１２】
請求項１から１１のいずれか一項に記載の制御装置であって、前記制御ユニット（２５）が、前記手（３０Ｌ、３０Ｒ）の上及び／又は補助要素（３５Ｌ、３５Ｒ）上の少なくとも１つの点（Ｐ２Ｌ、Ｐ２Ｒ、Ｐ３Ｌ、Ｐ３Ｒ）を確定し、前記点が指先上又は前記補助要素（３５Ｌ、３５Ｒ）上に存在することを特徴とする、制御装置。
【請求項１３】
請求項１から１２のいずれか一項に記載の制御装置であって、前記制御ユニット（２５）が、２つの直線（３１、３２、３３、３４）を確定する少なくとも片手（３０Ｌ、３０Ｒ）の前記開き幅を検知し、前記撮像システムの前記座標系（ＫＧ）での前記直線（３１、３２、３３、３４）間の角度（αＬ、αＲ）を特定することを特徴とする、制御装置。
【請求項１４】
請求項１１に記載の制御装置であって、前記制御ユニット（２５）が、前記手（３０Ｌ、３０Ｒ）の上の２点（Ｐ２Ｌ、Ｐ２Ｒ、Ｐ３Ｌ、Ｐ３Ｒ）間の距離を特定する少なくとも片手（３０Ｌ、３０Ｒ）の前記開き幅を検知することを特徴とする、制御装置。
【請求項１５】
請求項７に記載の制御装置であって、前記手動操作補助要素（３６Ｌ、３６Ｒ）が、前記補助要素の空間内での姿勢及び／又は三次元空間軸上又は軸周りの前記補助要素（３６Ｌ、３６Ｒ）の動作を測定できる慣性センサを含むことを特徴とする、制御装置。
【請求項１６】
請求項１から１５のいずれか一項に記載の制御装置であって、手（３０Ｌ、３０Ｒ）の操作動作が所定の倍率によって前記エンドエフェクタ（１７、２１）の対応する動作に変換されるように制御ユニット（２５）が設計されていることを特徴とする、制御装置。
【請求項１７】
請求項１から１６のいずれか一項に記載の制御装置であって、前記制御装置がジェスチャ制御を用いて制御される対象（１７、２１）を表示するスクリーン（２９）を含み、このとき前記撮像システムの座標系（ＫＧ）の最大２軸のみの前記向きが前記ディスプレイの座標系（ＫＢ）の対応する前記軸の前記向きと一致し、前記対象が前記ディスプレイの前記座標系（ＫＢ）に関連して、前記撮像システムの前記座標系（ＫＧ）に関連した前記手の動きと同一方向に前記対象がスクリーン（２９）上を移動するように前記対象が表示されることを特徴とする、制御装置。
【請求項１８】
請求項１から１７のいずれか一項に記載の制御装置であって、前記エンドエフェクタ（１７、２１）を記録するカメラ（２２、２３）を備え、前記カメラ（２２、２３）の座標系（ＫＫ１、ＫＫ２）が前記カメラ（２２、２３）で記録された画像の画像軸（４１、４２）に位置調整され、このとき座標系（ＫＫ１、ＫＫ２）の前記軸の１つが前記カメラ（２２、２３）の視線上に表示されることを特徴とする、制御装置。
【請求項１９】
請求項１８に記載の制御装置であって、前記撮像システムの前記座標系（ＫＧ）での手（３０Ｌ、３０Ｒ）の制御入力が前記カメラ（２２、２３）の前記座標系（ＫＫ１、ＫＫ２）での前記エンドエフェクタ（１７、２１）の対応する動作に変換されるように前記制御ユニット（２５）が設計されていることを特徴とする、制御装置。
【請求項２０】
請求項１９に記載の制御装置であって、前記エンドエフェクタ（１７、２１）の制御用の機能中の前記座標系が、どのカメラ（２２、２３）によって前記エンドエフェクタ（１７、２１）が記録されているかによって、前記カメラ（２２、２３）の前記座標系（ＫＫ１、ＫＫ２）との間で交換することを特徴とする、制御装置。
【請求項２１】
少なくとも片手（３０Ｌ、３０Ｒ）によるロボットシステム（１１）の制御方法であって、
−手術用機器（１４、１８）のエンドエフェクタ（１７、２１）の向き及び／又は位置及び／又は開き幅を第一の値として検知し、
−少なくとも片手（３０Ｌ、３０Ｒ）の向き及び／又は位置及び／又は開き幅を第二の値として検知し、
−少なくとも１つの第一の値をそれぞれ対応する前記第二の値と比較し、
−１つ又は複数の前記第一の値がそれぞれ対応する前記第二の値から偏差した場合、または操作する手が検知領域の範囲外で動作する場合、前記エンドエフェクタ（１７、２１）のジェスチャ制御が停止し、及び、
−１つ又は複数の前記第一の値がそれぞれ対応する前記第二の値と一致した場合で、かつ、操作する手が検知領域の範囲内で動作する場合、前記エンドエフェクタ（１７、２１）が前記手（３０Ｌ、３０Ｒ）により制御可能になるように前記ジェスチャ制御が許可される、というステップを特徴とする、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エンドエフェクタを有する手術用機器が固定された少なくとも１つのロボットアームの制御用制御装置、及びこのようなロボットシステムをジェスチャ制御を用いて制御する方法に関する。
【０００２】
今日ではますます、手術用ロボットの支援により最小侵襲性の方法で、人体の外科手術が行われている。手術の種類に応じて手術用ロボットは、例えば内視鏡や切開機器、把持機器、縫合機器などの種々の手術用機器を装備してもよい。手術では１つ又は複数のロボットを用いてポートを通して機器を患者の体内に挿入する。そして手術中は、例えばジェスチャ制御用の画像処理システムなどのロボットシステムの入力装置を介して、外科医が手術用機器を制御する。
【０００３】
外科的処置のために、例えば内視鏡、腹腔鏡手術機器、切開機器、把持機器、保持機器、結合機器、又は縫合機器、ならびにその他手術用器具などの種々の機器を使用する。手術用機器又は手術用器具の遠端部には、例えばメス、ハサミ、針、スクレーパ、ヤスリ、グリッパ、カメラなどの適切なエンドエフェクタがある。エンドエフェクタは、例えばワイヤ駆動によって、又は機器のシャフト内に組み込まれたマニピュレータを用いて操作可能である。
【０００４】
ジェスチャ制御用の入力装置を有するロボットシステムでは、ユーザは手術用機器およびその機器のエンドエフェクタを手動制御命令で制御できる。ロボットシステムの入力装置はこの場合カメラを含み、このカメラは所定の撮像領域内でユーザが実行するジェスチャを検知する。カメラで記録された画像データは、画像処理ユニット（ソフトウェア）により処理され、ロボットシステムの制御される構成部品に対して対応する制御命令に変換される。公知のジェスチャ制御ではロボットシステムの特定の構成部品を制御するために、例えば移動などの動的ジェスチャ、又は、例えばハンドサインなどの静的ジェスチャを、通常はユーザが設定する。制御される構成部品がユーザに対して通常はスクリーンに表示され、ユーザの操作設定に対するロボットシステムの応答をユーザが監視できる。
【背景技術】
【０００５】
米国特許第６  ４２４  ８８５  Ｂ１号明細書から、手術用機器を制御する複数の手動入力装置を有する、最小侵襲性手術用ロボットシステムが公知である。制御に関して、入力装置の向きが、手術用機器のエンドエフェクタの向きと一致するようにすべきであるという問題が生じる。この問題に対して米国特許第６、４２４、８８５  Ａ号明細書では「マッピング」と呼ばれる方法を使用している。図１に示したように入力装置１は、基体２にジョイント固定された２つの部品４、５を有し、この部品は片手の指を用いて押し合わせること、又は広げることができる。部品４、５の手動操作では、右側に図示した制御されるエンドエフェクタ６の作動要素９、１０が対応して動く。入力装置１の位置は点Ｐ１により特定される。入力装置１の向きは、点Ｐ１と、２つの部品４及び５の間の基体２とを通って延びる長軸３により特定される。これと同様にエンドエフェクタ６の向きは、作動要素９と１０との間に延びる軸８によって確定される。上記「マッピング」法を用いて、両方の軸３及び８が同一方向に延びるように、入力装置１の向きとエンドエフェクタの向きとを一致させることができる。
【０００６】
しかし、米国特許第６  ４２４  ８８５  Ｂ１号明細書に記載の「マッピング」法は、入力装置１の向きをエンドエフェクタの向きに調整することのみに適している。しかしこの方法は、手の向き、位置及び／又は開き幅を、それぞれエンドエフェクタの向き、位置、開き幅に調整することには適さない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このことから本発明の課題は、ジェスチャ制御に対する装置を有するロボットシステムを実現することであり、本ロボットシステムによりユーザは自身の手の状態を、制御される対象の状態に対して、容易かつ迅速に適合させることができる。
【課題を解決するための手段】
【０００８】
この課題は本発明により独立クレームに記載の特徴によって解決される。本発明の更なる実施形態は従属クレームによって達成される。
【０００９】
本発明では、ジェスチャ制御に対する撮像システムを含むロボットシステムを制御する制御装置が提示され、この撮像システムは少なくとも片手の制御入力を記録して判定し、ロボットシステムの１つ又は複数の構成部品に対して対応する制御命令に変換する。本発明による制御装置は制御ユニットを含み、その制御ユニットは、手術用機器のエンドエフェクタの向き及び／又は位置及び／又は開き幅を第一の値として検知し、手の向き及び／又は位置及び／又は開き幅を第二の値として検知し、１つ又は複数の第一の値がそれぞれ対応する第二の値から偏差した場合にエンドエフェクタのジェスチャ制御を停止し、少なくとも１つの第二の値がそれぞれ対応する第一の値と、又は第一の値に応じた設定値と一致する場合にエンドエフェクタのジェスチャ制御を許可する。そのため本発明では、手の向き、位置又は開き幅をまずはじめに、制御する機器の、又はその機器のエンドエフェクタの向き、位置及び／又は開き幅に適合させること、すなわち調整の実施が必要となる。そのような調整後、次いで手術用機器又はそのエンドエフェクタを手動制御できる。
【００１０】
ジェスチャ制御の起動は自動的に行うことができる。追加条件が満たされた場合、例えばユーザがジェスチャ制御を何度も確認するような場合にも、ジェスチャ制御を起動することができる。この場合、手とエンドエフェクタとの間の調整及び追加確認がユーザによって実行されたなときに、初めてジェスチャ制御が可能となるであろう。
【００１１】
本発明の好適な実施形態では、ジェスチャ制御のための装置は、ジェスチャ制御を起動するために、少なくとも２つの状態、すなわち、 制御する手の向き、位置及び開き幅を、エンドエフェクタの対応する状態と一致させる必要があるように構成される。
【００１２】
ユーザが調整を行うように促すために、本発明による制御装置は好適には、手の少なくとも１つの状態が対応するエンドエフェクタの状態から偏差した場合に信号がユーザに発せられるように設計される。この信号は、例えば光学信号、音声信号、又は触覚信号であってよい。この信号によりユーザに、手の向き及び／又は位置及び／又は開き幅を、エンドエフェクタの対応する状態に適合させるように促す。
【００１３】
少なくとも１つの状態が一致する場合に好適には、達成された調整をユーザに表示する信号がユーザに発信される。したがってユーザに、例えば光学信号を用いて達成された調整を示すことができる。
【００１４】
手とエンドエフェクタとの間の調整を容易にするために、例えばそのエンドエフェクタの向き及び／又は位置及び／又は開き幅がそれぞれ手の向き、位置、開き幅に対応している仮想要素を、スクリーン上で重ね合わせることができる。この仮想要素は、例えば制御されるエンドエフェクタの複製でありうる。ハサミの場合は例えば手術用ハサミの画像が表示され、又はメスの場合はメスの画像が表示される。
【００１５】
更に、制御されるエンドエフェクタの向き及び／又は位置及び／又は開き幅を表示し、手とエンドエフェクタとの間の調整に関する目標設定値としてユーザに利用される、追加の基準要素を表示することも可能である。したがってユーザは容易かつ感覚的に、手の向き及び／又は位置及び／又は開き幅を、基準要素の目標設定値に適合させることができる。このときユーザは調整プロセスをスクリーンで目で追うことができる。
【００１６】
手の向き、位置又は開き幅を特定するために原理的には複数の可能な方法がある。本発明の実施形態では、例えば手の上又は関連する腕上に撮像システムにより特定点を認識し、その点を手の位置の基準点として確定することで、手の位置を検知できる。本撮像システムは、例えば手の関節点、指先の点、又は指の中間関節の点を基準点として検知できる。この点の位置は、制御ユニットにより好適には撮像システムの座標系で検知される。
【００１７】
手の向きは、例えばベクトルにより確定され、そのベクトルの方向を撮像システムの座標系で検知できる。このベクトルは、例えば手の関節と人差し指先との間の直線上に、又は手の関節と親指先との間の直線上に位置しうる。更にこのベクトルは、例えば親指と人差し指との間で手の関節の方向に延びる直線上に位置することもありえよう。原理的に、その場合に手の向きに対する基準として確定される任意のベクトルが検知できる。配向ベクトルの識別又は関連する直線の識別は、好適には自動的に撮像システムにより達成される。手の向きは、好適には撮像システムの座標系で特定される。
【００１８】
手の開き幅は、例えば２つのベクトルを確定し、ベクトル間の角度を撮像システムの座標系で特定することで検知できる。第一のベクトルは、例えば親指の方向にある手の関節での点で提示でき、第二のベクトルは、人差し指先の方向にある手の関節での点で提示できる。ベクトル又は関連する直線は、撮像システムにより検知できる。
【００１９】
本発明によるロボットシステム用の制御装置は更に、ユーザの手の動作の伝達に使用される手動操作補助要素を含んでもよい。本発明の好適な実施形態では補助要素は、制御される手術用機器のエンドエフェクタと同様に、高い動作自由度を有する。対向配置された２つのグリッパジョーが軸周りに重なり合うように閉じる、又は遠ざかるように離れるという動作ができるグリッパの場合、補助要素は好適には厳密には１つの自由度を有する。更に補助要素は多少の自由度を有することができる。
【００２０】
補助要素の形状は、好適には制御されるエンドエフェクタの形状に対応する。手術用ハサミ又はグリッパの場合に補助要素は、例えばジョイントを介して互いに結合され、それにより開閉動作が可能な２つの脚部を備えていてもよい。
【００２１】
本発明の実施形態により、例えば補助要素の向き、位置及び／又は開き幅は、撮像システムにより検出できる。そのようにして得られた情報を続いて、手の向き、位置及び／又は開き幅に対する基準値として使用してもよい。手動操作補助要素は明確に規定された要素を備えているため、補助要素の向き、位置及び／又は開き幅と、それによって手の向き、位置及び／又は開き幅とをも、容易かつ正確に特定できる。したがって本方法は、手の上の点の検知に有利である。補助要素上には、識別を更に容易にするために、必要に応じてマーキングを設けてよい。
【００２２】
本発明により、手の向き、位置及び開き幅の特定に必要となるように、制御によって手の上又は補助要素上にある多数の点を確定できる。ジェスチャ制御のために補助要素を使用すれば、補助要素上の点も確定できる。例えば、指先上又は補助要素の構成部品上の別の点を特定できる。
【００２３】
その場合この点もベクトルの確定に使用できる。例えばベクトルは、２つの点を必ず通るように規定してもよい。あるいは、ベクトルが存在すべき仮想平面を形成するために、手の上及び／又は補助要素上の３点を使用してもよい。
【００２４】
更に先端上又は補助要素の構成部品上の点を、手の開き幅を特定するために使用してもよく、それによって指先間の距離が検知される。２つの点の間の距離が増加するにつれて、指の開き幅が増加する。
【００２５】
選択的に又は追加的に手動操作手段はセンサ、具体的には例えば空間内の位置及び／又は、３つの空間軸上又は軸周りの動作を測定可能な慣性センサを含んでもよい。センサデータは例えば非接触形式で制御ユニットに転送されてもよい。センサから送られたデータは、手の向き、位置及び／又は開き幅の特定に再度使用してもよい。
【００２６】
本発明の好適な実施形態により、手の向き、位置及び／又は開き幅は、上述の手法のうち少なくとも２つの手法により重複して検知される。すなわち手の光学的識別、補助要素の光学的識別、及び／又は補助要素に組み込まれたセンサの使用による。これによりジェスチャ制御の誤判別率を明白に低減でき、システムの信頼性を向上できる。
【００２７】
手の制御配分は、好適には所定の倍率を用いてエンドエフェクタの対応する動作に変換される。倍率１では、エンドエフェクタは手と同一のスケール範囲で動作する。更に倍率は、より大きく又はより小さく調整してもよい。そのようにして例えば手の動作は、倍率２に縮小されたエンドエフェクタの動作をもらたす。すなわち、２０°の指の開き幅を縮小すると、作動部品の開き幅は１０°に縮小されるであろう。異なる動作種類又は自由度に対しても異なる倍率を規定してよい。例えばｘ、ｙ、ｚの軸上の動作及び／又は軸周りの動作それぞれに対して、手の動作に関する倍率、及び開き角と開き度との割合に関する倍率を別々に設定することもできよう。距離、速度及び加速度の変換に関しても、それぞれ異なる倍率を規定してもよい。すなわち倍率は本発明により任意に調整可能である。したがって倍率は、エンドエフェクタが存在する場所に応じて異なってもよい。
【００２８】
冒頭で述べたようにジェスチャ制御は、ユーザが実行した手動ジェスチャを記録して評価する撮像システムを含む。手術用機器又はエンドエフェクタの制御は好適には、操作している手が所定の撮像領域内にある場合に限り起動される。手が撮像範囲から外れると、好適には制御が停止される。
【００２９】
本発明による制御機器は、制御される対象を記録するカメラ、及びその記録された画像を表示するスクリーンをも含む。本発明の好適な実施形態により、スクリーンでの対象の動作が手の対応する動作と一致するように、制御される対象がスクリーンに表示される。したがってスクリーンに表示された対象は、撮像システムの座標系を基準とする手の動作と同様に、ディスプレイの座標系を基準として動作する。ユーザが自身の手を例えば上方に（撮像システムの座標系のｚ方向に）動かすと、スクリーンに表示されたエンドエフェクタの画像も同様に上方に（ディスプレイの座標系のｚ方向に）動く。それに対してエンドエフェクタの実際の動作は通常、別の方向に向かっている。しかしスクリーン上には、エンドエフェクタの動作は、手の動作と同様の方向に表示される。このような表示には、ユーザ、例えば外科医がロボットシステムを非常に容易かつ感覚的に制御可能であるという実質的な利点がある。このことから長期のトレーニング期間又は発想の転換は全く必要ない。
【００３０】
この表示方法を実現するために、カメラで撮影された画像の観察軸に位置調整した座標系を、エンドエフェクタを撮影するカメラに割り当てる。カメラの座標系は通常、撮像システムの座標系として別の向きになっている。しかしカメラに関して座標系は好適には、撮像範囲に関して撮像システムの座標系と同じ向き、又はスクリーンに関してディスプレイの座標系と同じ向きとなる。
【００３１】
撮像範囲内での手の動作では、エンドエフェクタは好適には、カメラの座標系内で撮像システムの座標系内と同じ方向に動作するように制御される。ユーザが例えば撮像システムの座標系内でｚ方向の動作を実行すると、エンドエフェクタは、カメラの座標系内ではあるが、同様にｚ方向に動作する。カメラのｚ座標は、スクリーンの座標系でのｚ座標として再度表示される。他の座標についても同様に適用される。したがって本発明による制御ユニットは、撮像システムの座標系内での手の制御入力が、カメラの座標系内でのエンドエフェクタの対応する動作に変換されるように設計されている。
【００３２】
エンドエフェクタの向き、位置及び／又は開き幅は既知の値である。なぜならロボットシステムは通常、前述の値を測定できるセンサを多数備えているからである。したがってエンドエフェクタの向き、位置及び／又は開き幅を識別するために、システムに既存の情報を使用してもよい。制御ユニットがエンドエフェクタに対する制御命令を生成するため、したがって前述の値は制御ユニットにおいても既知である。
【００３３】
そのうえ、座標系変換により、ある座標系の値を別の座標系の対応する値へと変換できるように、すべての座標系が制御ユニットにおいて既知である。したがってエンドエフェクタは常にカメラ座標系内で動作可能で、カメラ座標系が他の座標系に対して位置調整されるようには影響されない。
【００３４】
あるいは更に、エンドエフェクタの向き、位置及び／又は開き幅は、手又は補助要素の撮像と類似して、カメラで撮影された画像データから得ることができる。
【００３５】
本発明は、ジェスチャ制御を用いてロボットシステムを制御するための方法にも関する。本発明により、手術用機器のエンドエフェクタの向き及び／又は位置及び／又は開き幅を第一の値として検知し、ならびに少なくとも片手の向き及び／又は位置及び／又は開き幅を第二の値として検知する。１つ又は複数の第一の値がそれぞれ対応する第二の値から偏差した場合、エンドエフェクタの手動制御が自動的に停止される。１つ又は複数の対応する値が一致するとすぐに、ジェスチャ制御が好適には自動的に許可される。後者の場合、手と制御されるエンドエフェクタとの間の調整が達成された。すなわち手及びエンドエフェクタの、向き、位置及び／又は開き幅が一致している。調整後にエンドエフェクタをジェスチャ制御により制御できる。更に、ジェスチャ制御を完全に起動するために、ユーザがジェスチャ制御を再び確認する必要があるようにあらかじめ講じてもよい。
【図面の簡単な説明】
【００３６】
以下に添付図面を参照して本発明の実施例をより詳細に説明する。図中、
【図１】図１は、先行技術から公知の入力装置の図示、及びその入力装置により制御されるエンドエフェクタの図示である。
【図２】図２は、２本のロボットアームを有する最小侵襲性手術用ロボットシステムの斜視図、及びジェスチャ制御を実行するための制御装置の斜視図である。
【図３】図３は、患者体内に挿入される複数の手術用機器の側面図である。
【図４】図４は、２つの手及び様々な参照点の図示、ならびに手の向き、位置及び開き幅を特定するための直線である。
【図５】図５は、図４と同様の２つの手の図示であり、ここでそれぞれの手は、手の動作を伝達するための補助要素を保持している。
【図６】図６は、ジェスチャ制御により制御されるエンドエフェクタ及び２つの仮想エンドエフェクタを表示するスクリーンである。
【図７】図７は、ジェスチャ制御を用いたロボットシステムの制御のための方法の様々な方法ステップの概略図である。
【発明を実施するための形態】
【００３７】
図１の説明に関してプリアンブルを参照されたい。
【００３８】
図２は、最小侵襲性手術用ロボットシステム１１の概略図であり、２本のロボットアーム１４、１８、及びジェスチャ制御を用いてロボットシステム１１の様々な構成部品を制御するための制御装置を有する。ロボットアーム１４、１８はここでは、ガイドレール２４を介して手術台１２に固定されている。ロボットアーム１４、１８はこのとき、同種のものとして、又は異なるものとして構成されてよい。手術台１２上に、外科手術が行われる状態にある患者１３が置かれている。
【００３９】
ロボットアーム１４及び１８はそれぞれ、手術用機器１５又は１９を装備している。手術用機器は原理的に、外科手術に適したすべての機器であってよく、例えばメス、グリッパ、ハサミ、電気手術機器、内視鏡、カメラ、ステープラなどがある。例えば機器１５はハサミとして、機器１９はグリッパとして形成されてよい。機器１５、１９は典型的には、機器の機能に対応するエンドエフェクタ１７、２１を遠端部に取り付けたシャフト１６、２０を有する（図３を参照のこと）。
【００４０】
機器１５、１９はロボットアーム１４及び１８によって動作し、小さな人工的開口部を介して患者１３の体内に挿入される。そしてエンドエフェクタ１７又は２１の操作によって実際の外科手術を実施できる。
【００４１】
エンドエフェクタ１７、２１の制御のために、ここでは以下で空間内での位置特定及び向き特定も実際の作動要素の操作も理解されたいが、画像処理システムを有する制御装置が備えられている。撮像システムは、立方形の撮像範囲３６を監視するカメラ２８を含む。撮像システムはこのとき、手動で実施されたジェスチャを認識して解釈する状態にある。カメラで記録された画像データは制御ユニット２５に送られ、ユニット内に含まれる評価ユニット（ソフトウェア）により評価される。次いで制御ユニット２５は、検知したジェスチャに対応する制御命令を生成し、その命令により制御される構成部品１４、１５、１７、１８、１９、２１のアクチュエータが制御される。このときロボットアーム１４、１８、機器１５、１９及び／又はエンドエフェクタ１７、２１は、それぞれ個別に、又はすべてが同時に操作されてもよい。
【００４２】
実施例により、例えばユーザの左手３０Ｌによって左のエンドエフェクタ２１を操作でき、右手３０Ｒによって右のエンドエフェクタ１７を操作できる。ここでエンドエフェクタの「操作」という概念は、エンドエフェクタ１７、２１を三次元空間内で適切な位置に置く又は向ける、ならびに例えば切開、把持又はクロット形成などの特定の機能が実施できること、と理解されたい。エンドエフェクタ１７、２１を選択的に位置制御する、又は速度制御する、あるいは速度調整してもよい。
【００４３】
ロボットアーム１４及び１８は、ここではそれぞれケーブル２６又は２７を介して制御ユニット２５に結合している。あるいは、無線制御を備えてもよい。
【００４４】
前述のように、ロボットシステム１１を制御するためにユーザが手動ジェスチャを実行できる設定済み検知領域３６をユーザが利用できる。制御装置は好適には、この領域３６の範囲内で実行されるジェスチャのみを、制御装置２５によって対応する制御命令に変換する。それに対して検知領域３６の範囲外で実行されたジェスチャは、対応する制御命令に変換されない。
【００４５】
検知領域３６には、三次元空間での手３０Ｌ、３０Ｒの位置及びその向きを明確に特定できる第一の座標系ＫＧがある。そのようにして例えば、手３０Ｌ、３０Ｒ又はその指が示す方向、ならびに手３０Ｌ、３０Ｒの距離又は互いに向き合った指の距離が特定できる。更に手３０Ｌ、３０Ｒ又はその指の動作、例えば復帰行程、移動速度及び／又は移動方向なども特定できる。
【００４６】
手３０Ｌ、３０Ｒの位置を特定するために、撮像システムを用いて、手３０Ｌ、３０Ｒ上及び／又は関連する腕上の１つ又は複数の点を検知し、手３０Ｌ、３０Ｒそれぞれの位置の基準点として利用してもよい。図４に示したように、例えばそれぞれ手３０Ｌ、３０Ｒの関節上にある、左手３０Ｌの点Ｐ１Ｌと右手３０Ｒの点Ｐ１Ｒを特定できる。したがって両手３０Ｌ、３０Ｒの位置は、座標系ＫＧで明確に記述できる。
【００４７】
更に手の別の点、例えば左手及び右手３０Ｌ、３０Ｒの親指先の点及び人差し指先の点Ｐ２Ｌ、Ｐ２Ｒ及びＰ３Ｌ、Ｐ３Ｒも基準点として規定してよい。手３０Ｌ、３０Ｒの向きを特定するために、手３０Ｌ又は３０Ｒの２点間にそれぞれ、直線３１、３２、３３又は３４があってよい。手３０Ｌ、３０Ｒの向きは、例えば前述の直線３１から３４までのうち１つの直線上にあるベクトルとして規定できる。あるいは更に、前述の直線３１と３２との間、又は３３と３４との間にあるベクトルＶ１Ｌ、Ｖ１Ｒを規定してよい。そのようなベクトルは、左手３０Ｌの点、点Ｐ１Ｌ、Ｐ２Ｌ及びＰ３Ｌを通って広がる平面内、又は右手３０Ｒの３点Ｐ１Ｌ、Ｐ２Ｒ及びＰ３Ｒを通って広がる平面内に存在しうるであろう。その場合このベクトルＶ１Ｌ、Ｖ１Ｒは、手３０Ｌ又は３０Ｒの向きに関する基準として援用される。
【００４８】
あるいは更に、ベクトルＶ１Ｌ及びＶ１Ｒは、それぞれ任意の別の角度を成しえ、例えば人差し指の指先上（点Ｐ３Ｌ又はＰ３Ｒ）で直接示すこともありえよう。
【００４９】
手３０Ｌ、３０Ｒの親指と人差し指との間の開き幅は、例えば直線３１と３２との間又は３３と３４との間の角度αＬ又はαＲにより規定できる。この角度αＲ、αＬは、親指と人差し指との間の距離に依存する。更に手３０Ｌ、３０Ｒの開き幅は、手３０Ｌ、３０Ｒ上の２点Ｐ２Ｌ、Ｐ２Ｒ、Ｐ３Ｌ、Ｐ３Ｒの距離によって、例えば人差し指先Ｐ３Ｌと親指先Ｐ２Ｌとの距離により特定できる。
【００５０】
したがって手３０Ｌ、３０Ｒの位置、向き及び開き幅は、座標系ＫＧで明確に特定できる。更に位置、向き及び開き幅のそれぞれの変化について、関連する速度又は加速度を特定できる。
【００５１】
図４に示したように、ベクトルＶ１Ｌ又はＶ１Ｒは有利には、直線３１と３２との間又は３３と３４との間の開き角αＬ又はαＲの半分の角度を常に成す。
【００５２】
しかし、手又は腕の点の前述の識別の他にも、手の位置、向き又は開き幅を特定する様々な別の方法がある。図５に示したように、ロボットシステム１１の制御装置は、親指と人差し指との間の手の開閉動作を伝達するために使用される手動操作補助要素３５Ｌ、３５Ｒをも含んでよい。図示した実施例では、手３０Ｌ、３０Ｒそれぞれに対して、固有のガイド要素３５Ｌ、３５Ｒが備えられている。
【００５３】
補助要素３５Ｌ、３５Ｒはそれぞれ、互いにジョイント連結された２本の部品を含み、その形状と配置から、グリッパ又は手術用ハサミに対応する。補助要素３５Ｌ、３５Ｒはそれぞれ厳密な自由度を有する。すなわち既定の軸３７周りの親指先及び人差し指先が互いに近づく動作だけ、又は離れる動作だけが可能である。したがって親指及び人差し指の動作自由度を限定することで、ジェスチャ識別での誤解釈を排除できる。なぜなら指先は固定された既定の軌道に沿ってのみ動作可能だからである。補助要素３５Ｌ、３５Ｒの動作可能な部品は、例えばユーザが自身の親指又は人差し指をはめ込むことができるストラップ３６Ｌ、３６Ｒを備えていてもよい。
【００５４】
手３０Ｌ、３０Ｒ上のマークした点を特定する類似の方法では、補助要素３５Ｌ、３５Ｒ上の点も検知でき、それによって関連する手３０Ｌ又は３０Ｒの位置、向き及び開き幅を特定できる。手の関節の点Ｐ１Ｌ又はＰ１Ｒの代わりに、例えば図５に図示された、補助要素のジョイント点３７Ｌ又は３７Ｒを使用できよう。ベクトルＶ１Ｌ及びＶ１Ｒの代わりに、例えば点３７Ｌ又は３７Ｒを通って延びるジョイント軸を使用できよう。手の開き幅の基準として、例えば補助要素３５Ｌ又は３５Ｒの互いにジョイント連結された部品間の角度、又は（指先に類似した）両構成部品間の距離を援用することもできよう。
【００５５】
その代わりに又はそれに加えて、補助要素３５Ｌ及び３５Ｒはそれぞれセンサ３８Ｌ及び３８Ｒを備えることもできよう。このセンサも同様に、手の位置、向き及び／又は開き幅の特定に使用できる。例えば互いにジョイント連結された両部品の角度を測定する角度センサが備えられている場合、手３０Ｌ又は３０Ｒの親指と人差し指との間の開き幅が検知できる。更に磁気センサ、加速度センサ又は慣性センサをも組み込むことできよう。そしてこれらセンサによって手３０Ｌ又は３０Ｒの位置、向き、更に移動速度又は加速度を検知できる。センサデータを例えば非接触形式で制御ユニット２５に転送してもよい。起こりうるエラーを検出又は除去するために、重複情報を相互に比較できる。消失した情報又は不完全な情報は、例えば重複して存在する情報によっても置換できる。
【００５６】
最小侵襲性手術において手術が行われる場所は、１つ又は複数のカメラ２２、２３によって監視される。これに加えて図３に示したように、１つ又は複数の腹腔鏡手術機器が小さな人工的開口部を通って患者１３の体内に挿入されている。カメラ２３の画像はスクリーン２９に表示され、このスクリーン上で外科医は手術の進捗を観察し、監視できる。更に図２のロボットシステム１１には、患者１３の体外での事象を記録する別のカメラ２２が備えられている。このカメラ２２は例えば、ロボットアーム１４、１８の位置及び向き、ならびに機器１５及び１９の位置及び向き、そしてカメラ２３の位置及び向きをも検知することに使用できる。カメラ２２の画像及びカメラ２８の画像も同様に
スクリーン２９に表示できる。エンドエフェクタが患者の体内又は体外にあるかどうかによって、カメラ２２と２３との間で自動でも手動でも交互に切り替えることができる。更にオプションとして、カメラ２２で検知したエンドエフェクタ及びカメラ２３で検知したエンドエフェクタを表示するために、画像をスクリーン２９で分割してもよい。
【００５７】
好適にはカメラ及び／又はスクリーンは、すべて３Ｄ対応である。これに加えて例えば立体カメラ又はデュアル録画カメラなどの先行技術から既知の機器を使用してもよい。
【００５８】
エンドエフェクタ１７、２１を含む手術用機器１５、１９を外科医が可能な限り感覚的に操作できるようにするために、座標系ＫＧを基準とした操作する手３０Ｌ又は３０Ｒの少なくとも向きを、好適には更に手の位置及び開き幅も、それぞれカメラ座標系ＫＫ１又はＫＫ２を基準とした制御されるエンドエフェクタ１７又は２１の向き、位置又は開き幅と一致させる必要がある。ここで図示されたロボットシステム１１では、その目的のために調整プロセスが実行され、そのプロセスでユーザは手の向き及び／又は位置及び／又は開き幅を、制御されるエンドエフェクタ１７又は２１の対応する状態に適合させることができる。
【００５９】
前述の状態値の少なくとも１つが一致すると、好適にはすべての状態値が一致するとすぐに、制御されるエンドエフェクタ１７、２１が使用可能になる、又は起動される、そしてそれに続いて手で操作できる。起動は自動的に行われる、又はユーザの追加的操作が何度か必要になる。
【００６０】
手３０Ｌ、３０Ｒと制御されるエンドエフェクタ１７、２１との間の調整をユーザが容易に行うために、本実施例ではスクリーン２９上に仮想エンドエフェクタ１７‘を重ね合わせ、その仮想エンドエフェクタの向き、位置及び開き幅は、操作する手、例えば３０Ｒの向き、位置及び開き幅に対応する。したがって仮想エンドエフェクタ１７‘は、操作する手、例えば３０Ｒの状態を示す。更にウィンドウ４０に、制御されるエンドエフェクタ１７の状態を表す別のエンドエフェクタ１７‘‘が表示される。したがって第一の仮想エンドエフェクタ１７‘はユーザに自身の手３０Ｒの現在の状態を示し、別のエンドエフェクタ１７‘‘は手３０Ｒの目標状態を示す。
【００６１】
図６に示したように、手３０Ｒの向きとエンドエフェクタ１７の向きとは、角度Δωだけ異なっている。右手３０Ｒの向きをエンドエフェクタ１７の向きと一致させるために、ユーザは自身の手の向きを変えるだけでよい。ロボットシステム１１はユーザに、自身の手をどのように動かすべきなのかを、例えば矢印を重ね合わせて補足的に表示できる。手３０Ｒの向きがエンドエフェクタ１７の向きと一致する場合、同様に例えばスクリーン２９にアイコンを表示することで、又は仮想エンドエフェクタ１７‘をカラーでハイライト表示することなどで、ユーザにフィードバックできる。ロボットシステム１１の設計に応じて、向きを一致させることに関して許容誤差を指定してよい。厳密な一致は必須ではない。
【００６２】
類似の方法で、左手３０Ｌの向きも左のエンドエフェクタ２１と一致させることができる。向きの調整後、両方のエンドエフェクタ１７、２１のジェスチャ制御が許可される。それに加えてウィンドウ４０を非表示にしてもよい。ジェスチャ制御の起動に対する前提条件として、向きの他に手３０Ｒ、３０Ｌの１つ又は複数の別の状態を、それぞれ制御されるエンドエフェクタ１７、２１と一致させる必要があることを、あらかじめ設定してよい。したがって例えば、両手３０Ｌ及び３０Ｒの開き幅を、両方のエンドエフェクタ１７、２１の開き角φＬ及びφＲと一致させる必要があることを、あらかじめ設定してよい。開き幅の調整は、前述したように向きの調整と類似して達成できる。したがって、手３０Ｌ、３０Ｒの開き幅が、制御されるエンドエフェクタ１７、２１の開き幅から偏差しているかどうかが検知される。偏差した場合、ユーザに自身の手３０Ｌ、３０Ｒの開き幅αＬ、αＲを変えるように、再度求めることができる。適合が達成されてから、ジェスチャ制御が再度自動的に許可される。調整時には、両手３０Ｌ及び３０Ｒの開き幅αＬ及びαＲと、両方のエンドエフェクタ１７、２１の開き角φＬ及びφＲとの間に、オフセット値を規定してよい。このオフセット値は例えば、エンドエフェクタを閉じようとするときに、指を完全に閉じる必要がないようにする。したがってこのことは特に、手で補助要素３５Ｌ及び３５Ｒを操作するときに有用であり、これによって指を完全に閉じることはない。
【００６３】
更にジェスチャ制御の起動に対する前提条件は、操作する手３０Ｌ又は３０Ｒの位置Ｐ１Ｌ又はＰ１Ｒも補足的に、制御されるエンドエフェクタ１７又は２１の位置Ｑ１Ｌ又はＱ１Ｒと一致させることであってもよい。位置調整のための方法は、向き調整又は開き幅調整のための方法と類似して再度行われてもよい。図６に図示したように、仮想エンドエフェクタ１７‘の点Ｑ１Ｒ‘位置は、エンドエフェクタ１７の点Ｑ１Ｒに対応して配置されている。この配置は、例えばベクトル３９によって表示されてもよい。ユーザはこのとき自身の手の位置を、仮想エンドエフェクタ１７‘‘の位置と一致するまで変化させることができる。一致したことがユーザに再度表示されてもよい。したがって調整後に、手３０Ｌ及び３０Ｒの相対位置、ならびにエンドエフェクタ１７、２１の相対位置が互いに一致する。すなわち左手３０Ｌの指先と右手３０Ｒの指先とが接触すると、エンドエフェクタ１７、２１の先端も接触することになる。
【００６４】
ロボットシステム１１の制御をできるだけ簡単にし、特に感覚的制御を可能にするために、スクリーン２９に表示された対象１７、２１、１７‘、１７‘‘は好適には、その対象が手が動く方向へ、手の動きを正確に追随するように表示される。手３０Ｌ、３０Ｒを例えば撮像システムの座標系ＫＧ内でｘ方向に動かすと、制御される対象は画像中で、例えばエンドエフェクタ１７又は仮想エンドエフェクタ１７’のように、スクリーン２９の座標系ＫＢ内で同様にｘ方向に動く。構成部品を用いたｙ方向又はｚ方向の動作に対しても同様に適用される。スクリーン２９の座標系ＫＢはこのとき、撮像システムの座標系ＫＧと同じ方向を向いている（ｚ軸は例えば上に向き、ｘ軸は右に向く）。したがって右への手の動作は、制御される対象１７、１７‘のスクリーンでの右への動作を常にもたらし、上（ｚ方向）への動作は、制御される対象１７、１７‘のスクリーンでの右への対応する動作をもたらす。しかし空間内での対象１７、２１の実際の動作は、通常はスクリーン２９に表示された動作と異なる。そのような表示を実現するために、基本的には様々な方法がある。
【００６５】
図１から図６までに図示されたロボットシステム１１では、カメラ２２、２３に、それぞれ固有の座標系ＫＫ１、ＫＫ２が割り当てられている。カメラ２２又は２３がパンすると、関連する座標系ＫＫ１又はＫＫ２はカメラも含んで左右に動く。したがってカメラの座標系ＫＫ１又はＫＫ２の向きを、対応するカメラ２２又は２３を調節することによって決めてもよい。例えばカメラ２３は、自身の軸４２の周りに回転できる。あるいはカメラの座標系ＫＫ１又はＫＫ２の向きを、ユーザが制御装置２５を用いて座標変換によって、カメラを強制的に調整しなくても済むように、任意に適合させてもよい。
【００６６】
更にカメラの座標系ＫＫ１及びＫＫ２のそれぞれの配向は、それぞれのカメラ２２、２３に関して同一であるべきである。カメラ２２の座標系ＫＫ１のｘ軸、及び患者１３の体内に挿入されたカメラ２３の座標系ＫＫ２のｘ軸はそれぞれ、例えばカメラ２２、２３それぞれの撮影方向を示すことができる。スクリーン２９の座標系ＫＢの向きは同様に座標系ＫＫ１、ＫＫ２の向きと一致し、このとき座標系ＫＢはスクリーン２９に固定して位置調整されている。例えばＫＢのｚ軸は常に垂直に上を指し、ｘ軸は通常はスクリーン２９においてスクリーン表面に対して中に入り込んでいる。カメラ２３によって撮影された対象が例えば座標系ＫＫ１内でｚ方向に移動する場合、その対象はスクリーン２９内でもスクリーン座標系ＫＢ内でｚ方向に移動する。ロボットシステム１１は、エンドエフェクタ１７、２１がどこに存在し、対応してどこに向けられているのかを、自動的に識別する。それぞれのエンドエフェクタ１７、２１に関する座標系は、エンドエフェクタ１７、２１が患者１３の体内に挿入される、又は体内から引き出されるときに、好適には自動的に変更される。
【００６７】
撮像領域３６に座標系ＫＧが割り当てられている。この座標系は、スクリーン２９の座標系ＫＢに対応して位置調整してもよいが、必ずしも必要ではない。しかし好適には、座標系ＫＧのｙ軸は、スクリーン２９の座標系ＫＢに対して実質的に平行に位置調整されている。座標系ＫＧのｘ軸は、ユーザに対して実質的に正面から前方へと向けられている。
【００６８】
しかしエンドエフェクタ１７、２１の空間内での実際の動作は、通常はスクリーン２９に表示された動作方向と一致せず、操作する手３０Ｌ、３０Ｒの空間内での動作方向とも一致しない。詳細に言えばエンドエフェクタ１７、２１は、カメラ座標系ＫＫ１内で又はＫＫ２内で制御される。カメラ２２又は２３がどのように位置調整されているかに応じて、カメラ座標系ＫＫ１又はＫＫ２も空間内で様々に位置調整される。すなわち座標系ＫＧのｚ方向での手の動きは、カメラ座標系ＫＫ１又はＫＫ２それぞれのｚ方向でのエンドエフェクタの動作となる。しかしこの場合、空間内でのエンドエフェクタの実際の動作は、空間内でのカメラ座標系ＫＫ１又はＫＫ２のｚ軸の位置調整に左右される。
【００６９】
座標系ＫＫ１及びＫＫ２の位置及び位置調整（ｘ軸、ｙ軸及びｚ軸の向き）は、ロボットシステム１１及び制御ユニット２５により認識されており、座標変換によってロボットグローバル座標系ＫＲに変換できる。したがって、座標系ＫＫ１、ＫＫ２、ＫＢ、ＫＧそれぞれの物理量全体を座標変換によって、別の座標系の対応する量に変換できる。したがって例えば、点Ｑ１Ｌ及びＱ１Ｒの位置を、ベクトルによりロボットグローバル座標系で記述することもできよう。同様に点Ｑ１Ｌ及びＱ１Ｒの位置を、ロボット座標系ＫＲから、カメラ２２、２３それぞれの座標系ＫＫ１及びＫＫ２へと変換することもできよう。したがって制御装置２５は、座標系ＫＧ内で検知される手３０Ｌ、３０Ｒの移動量を、カメラ座標系ＫＫ１内又はＫＫ２内それぞれで操作されるエンドエフェクタ１７、２１に対する制御量に変換できる。
【００７０】
エンドエフェクタ１７、２１の向き、位置及び開き角を、手３０Ｌ、３０Ｒの場合と同様に、撮像システムによって検知できる。開き角は例えば、図３に示したように、２つの作動要素の間の角度により確定できる。エンドエフェクタ１７、２１の向きはベクトルＶ２Ｌ及びＶ２Ｒによって確定でき、エンドエフェクタ１７、２１の位置はジョイント点Ｑ１Ｌ又はＱ１Ｒの位置によって規定できる。あらかじめ規定されたように、手のベクトルＶ１Ｌ及びＶ１Ｒそれぞれが、親指と人差し指との間の半分の角度αＬ又はαＲで延びている場合、好適にはこれと同様に、エンドエフェクタのベクトルＶ２Ｌ又はＶ２Ｒが、補助要素２５Ｌ又は２５Ｒそれぞれの両方の作動要素間の開き角の半分φＬ又はφＲで延びるように規定される。各々の量は任意の座標系ＫＫ１、ＫＫ２、ＫＲで記述できる。このようにして、制御のために相互に比較できる各種の重複情報が得られる。
【００７１】
エンドエフェクタ１７、２１の位置、向き及び開き角を識別するために、ロボットシステム１１にあらかじめ保存されたデータを利用してもよい。そのようにして例えば制御ユニット２５は、ロボットアーム１４の姿勢に応じてエンドエフェクタ１７の位置を特定できる。更に制御ユニット２５がエンドエフェクタ１７、２１に対する制御命令を生成するため、したがってエンドエフェクタ１７、２１それぞれの向き及び開き角も制御ユニットに認識される。
【００７２】
エンドエフェクタ１７、２１に対するジェスチャ制御の起動後、該当するエンドエフェクタ１７、２１を手で操作できる。操作する手３０Ｌ、３０Ｒが検知領域３６内にある限り、ユーザにより実行された制御入力は対応する制御命令に変換される。しかし操作する手３０Ｌ又は３０Ｒが検知領域３６外へと移動すると、ジェスチャ制御は好適には中断される。すなわちエンドエフェクタ１７、２１が停止される。したがって、エンドエフェクタ１７、２１が望まない動作をすることを排除できる。
【００７３】
該当するエンドエフェクタ１７、２１は、新たな調整プロセスが実行された後に再度起動できる。
【００７４】
図１から図６までに示したロボットシステム１１を制御する方法の様々な方法ステップを図７に示した。ステップＳ１で手３０Ｌ、３０Ｒが検知領域３６の中へと移動し、ステップＳ２でカメラ２８を用いて検知される。ステップＳ３で手の向きが特定され、このときベクトルＶ１Ｌ、Ｖ１Ｒが確定される。ステップＳ４でエンドエフェクタ１７、２１の向きが検知され、ベクトルＶ２Ｌ、Ｖ２Ｒが確定される。次いでステップＳ５で向きの変異分析が行われる。
【００７５】
ステップＳ６で手３０Ｌ及び３０Ｒの位置が特定され、対応する点Ｐ１Ｌ、Ｐ１Ｒが確定される。その後ステップＳ７でエンドエフェクタの位置が特定され、このとき点Ｐ２Ｌ及びＰ２Ｒが確定される。ステップＳ８で最後に位置の変異分析が行われる。
【００７６】
ステップＳ９は指の開き幅の特定について記載しており、このとき角度αＬ及びαＲが検知される。そして対応してステップＳ１０でエンドエフェクタ１７、２１の開き角が検知される。ステップＳ１１で最後に開き幅又は開き角の変異分析が行われる。
【００７７】
向き、位置及び／又は開き幅に偏差がある場合、ステップＳ１２でユーザに調整を実行するように指示が出される。少なくとも１つの現在値がそれぞれ対応する目標値に一致するとすぐに、ジェスチャ制御が起動される。その後ロボットシステム１１はユーザにより実行された手動制御入力を識別し、入力に対応してエンドエフェクタ１７、２１を制御する。
【００７８】
手３０Ｌ又は３０Ｒのパラメータがエンドエフェクタ１７、２１のそれぞれのパラメータともはや一致しない場合、このエンドエフェクタ１７、２１の制御が好適には停止される（ステップＳ１５）エンドエフェクタ１７、２１の停止は好適には、操作する手３０Ｌ、３０Ｒが検知領域３６から外へと移動した場合にも行われる。
【００７９】
それぞれの値を一致させる手順が新たに実行される場合に、エンドエフェクタ１７、２１は再度起動又は操作できる。手が識別領域３６の外で動いた場合、まず初めに手を識別領域３６の中へと移動させる必要がある（ステップＳ１を参照のこと）。手が検知領域３６にある一方で、少なくとも１つの値の不一致が中断のトリガーであるならば、それぞれの値の新たな特定を直接実行できる（ステップＳ２、Ｓ３、Ｓ６及びＳ９を参照のこと）。
【００８０】
図７に示したステップは、制御装置２５がいつでもそのステップを実行できるように、制御装置２５内のストレージ媒体に保存されている。
【図１】
0006284284.tif 000002
【図２】
0006284284.tif 000003
【図３】
0006284284.tif 000004
【図４】
0006284284.tif 000005
【図５】
0006284284.tif 000006
【図６】
0006284284.tif 000007
【図７】
0006284284.tif 000008