(57)【要約】【課題】３次元形状計測で認識し難い物体に対する把持能力を向上させる。【解決手段】ロボット装置１００は、撮像部４２３で環境を撮影した画像は、画像処理部４２２に取り込み、通信部４２１を介して教示端末２００に転送する。そして、画像処理部４２２は教示端末２００からの教示情報を使って把持対象物体が環境内のどこにあるのかを推定し、把持計画部４２４は把持する物体の姿勢を決定するとともに、その姿勢で把持するための腕部の軌道計画を行なう。その後、把持制御部４２５は、計画した軌道に従って把持部４２６の動作を制御して、物体の把持を実現する。【選択図】  図４
2013173209.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と、
把持部と、
前記撮像部による撮像画像を画面に表示する出力部と、
前記撮像画像内で物体が置かれている向きをユーザーが教示する操作を受け付ける入力部と、
前記入力部における教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理部と、
前記推定した位置及び姿勢にある前記物体を把持するための前記把持部の軌道を計画する把持計画部と、
前記計画した軌道に従って前記把持部の動作を制御する把持制御部と、
を具備するロボット装置。
【請求項２】
前記入力部は、前記出力部の画面と一体のタッチパネルであり、
ユーザーは、前記タッチパネル上で前記物体が置かれている向きに沿って線を引くようになぞって教示を行なう、
請求項１に記載のロボット装置。
【請求項３】
前記出力部及び前記入力部を含む端末部は、前記把持部を含む前記ロボット装置本体と無線通信を行なう、
請求項１に記載のロボット装置。
【請求項４】
ユーザーは、前記入力部から前記撮像画像内の前記物体の主軸線分を教示し、
前記画像処理部は、前記撮像部のカメラ座標系と世界座標系との関係から、前記主軸線分に基づいて前記物体の位置及び姿勢を推定する、
請求項１に記載のロボット装置。
【請求項５】
前記画像処理部は、前記撮像部の光学中心と画像平面内に配置した前記主軸線分の２端点をそれぞれ通過する注視点ベクトルが環境と接触する２点を求め、前記２点の中点に基づいて前記物体の位置を推定するとともに、前記２点の傾きに基づいて前記物体の姿勢を推定する、
請求項４に記載のロボット装置。
【請求項６】
前記撮像部は視点の異なる複数台のカメラを備え、
前記出力部は、各視点の撮像画像を画面に表示し、
ユーザーは、前記入力部から、各視点の撮像画像毎に前記物体の主軸線分を教示し、
前記画像処理部は、各視点の撮像画像から取得した複数の主軸線分に基づいて前記物体の位置及び姿勢を推定する、
請求項１に記載のロボット装置。
【請求項７】
前記撮像部は左右の視点のカメラを備え、
前記画像処理部は、前記右視点のカメラのレンズ中心と右視点の主軸線分の開始点を通過する注視点ベクトルと前記左視点のカメラのレンズ中心と左視点の主軸線分の開始点を通過する注視点ベクトルの最近傍点、及び、前記右視点のカメラのレンズ中心と右視点の主軸線分の終了点を通過する注視点ベクトルと前記左視点のカメラのレンズ中心と左視点の主軸線分の終了点を通過する注視点ベクトルの最近傍点を求め、前記の２つの最近傍点の中点に基づいて前記物体の位置を推定するとともに、前記の２つの最近傍点の傾きに基づいて前記物体の姿勢を推定する、
請求項６に記載のロボット装置。
【請求項８】
前記把持計画部で計画した前記把持部の軌道に関する情報を前記出力部で画面に表示し、
前記入力部を介して前記計画に対するユーザーの確認を得たことに応じて、前記把持制御部が前記軌道に従って前記把持部の動作を実行する、
請求項１に記載のロボット装置。
【請求項９】
撮像画像内で物体が置かれている向きの教示を入力するユーザー入力ステップと、
前記入力ステップで入力された教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理ステップと、
前記推定した位置及び姿勢にある前記物体をロボット装置の把持部で把持するための軌道を計画する把持計画ステップと、
前記把持計画ステップで計画した軌道に従って前記把持部の動作を制御する把持制御ステップと、
を有するロボット装置の制御方法。
【請求項１０】
撮像画像内で物体が置かれている向きの教示を入力する入力部、
前記入力部で入力された教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理部、
前記推定した位置及び姿勢にある前記物体をロボット装置の把持部で把持するための軌道を計画する把持計画部、
前記計画した軌道に従って前記把持部の動作を制御する把持制御部、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、環境の中から物体を認識して把持するロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラムに係り、特に、教示端末などを介したユーザーからの教示に基づいて環境の中から物体を認識して把持動作を行なうロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラムに関する。
【背景技術】
【０００２】
工場などに設置されるロボット装置は従来から知られている。この種のロボット装置の多くは、固定的なタスクを遂行するように設計されている。近年では、さまざまな作業を行えるロボット装置が実現しつつある。後者のロボット装置は、例えば福祉や介護、介助の分野に適用され、身体の不自由な人などユーザーの要望に応じて、所望の物体を取ってきて手渡してくれる。
【０００３】
ここで、ロボット装置が物体を把持するためには、環境の中から対象とする物体を見つける認識能力が必要である。しかしながら、ロボット装置がさまざまな状況で高い認識能力を持つことは難しい。また、針や薬（錠剤）などの微細物を把持する場合、この種の物体を環境から見つけ出すこと自体が難しい。
【０００４】
当業界では、ユーザーが教示端末などを使ってロボット装置に対して動作を指示する制御システムが知られている。したがって、ユーザーが教示端末を介してロボット装置に把持物体を指示するという方法が考えられる。
【０００５】
例えば、複数の素形状モデルそれぞれについての把持パターンをあらかじめデータベース化しておき、ユーザーが教示端末上で対象物体に該当する素形状モデルを指定すると、ロボット装置側では指定された素形状モデルを対象物体について取得した３次元位置データにフィッティングさせ、データベースを検索して対象物体の把持パターンを選択する動作教示システムについて提案がなされている（例えば、特許文献１を参照のこと）。
【０００６】
しかしながら、上記の動作教示システムでは、素形状モデルのデータベースをあらかじめ用意しなければならず、また、データベースに登録された素形状モデルに合致しない物体を扱うことはできない。また、フィッティングの際には３次元形状計測のみにより物体の３次元位置データを取得するように構成されているが、３次元形状計測は概して精度が低く、誤判定の危険があるとともに、針や薬（錠剤）などの素形状の定義が難しい微細物については把持するのに十分精度の高い３次元位置データを取得するのが困難となり、把持動作が有効に機能しないことが懸念される。また、教示端末上で素形状モデルを選択する操作は煩雑であり、そもそもユーザーが動作教示システムを利用しなくなる危険性さえある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２１４２１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本明細書で開示する技術の目的は、環境の中から物体を好適に認識して把持することができる、優れたロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラムを提供することにある。
【０００９】
本明細書で開示する技術のさらなる目的は、教示端末などを介したユーザーからの教示に基づいて、環境の中から物体を認識して好適に把持動作を行なうことができる、優れたロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
撮像部と、
把持部と、
前記撮像部による撮像画像を画面に表示する出力部と、
前記撮像画像内で物体が置かれている向きをユーザーが教示する操作を受け付ける入力部と、
前記入力部における教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理部と、
前記推定した位置及び姿勢にある前記物体を把持するための前記把持部の軌道を計画する把持計画部と、
前記計画した軌道に従って前記把持部の動作を制御する把持制御部と、
を具備するロボット装置である。
【００１１】
本願の請求項２に記載の技術によれば、請求項１に記載のロボット装置の入力部は、前記出力部の画面と一体のタッチパネルであり、ユーザーが前記タッチパネル上で前記物体が置かれている向きに沿って線を引くようになぞって教示を行なうように構成されている。
【００１２】
本願の請求項３に記載の技術によれば、請求項１に記載のロボット装置において、出力部及び前記入力部は、前記把持部を含む前記ロボット装置本体と無線通信を行なう端末部として構成されている。
【００１３】
本願の請求項４に記載の技術によれば、請求項１に記載のロボット装置において、ユーザーは、前記入力部から前記撮像画像内の前記物体の主軸線分を教示するようになっている。そして、画像処理部は、前記撮像部のカメラ座標系と世界座標系との関係から、前記主軸線分に基づいて前記物体の位置及び姿勢を推定するように構成されている。
【００１４】
本願の請求項５に記載の技術によれば、請求項４に記載のロボット装置の画像処理部は、前記撮像部の光学中心と画像平面内に配置した前記主軸線分の２端点をそれぞれ通過する注視点ベクトルが環境と接触する２点を求め、前記２点の中点に基づいて前記物体の位置を推定するとともに、前記２点の傾きに基づいて前記物体の姿勢を推定するように構成されている。
【００１５】
本願の請求項６に記載の技術によれば、請求項１に記載のロボット装置の撮像部は視点の異なる複数台のカメラを備えている。そして、前記出力部は、各視点の撮像画像を画面に表示し、ユーザーは、前記入力部から、各視点の撮像画像毎に前記物体の主軸線分を教示し、前記画像処理部は、各視点の撮像画像から取得した複数の主軸線分に基づいて前記物体の位置及び姿勢を推定するように構成されている。
【００１６】
本願の請求項７に記載の技術によれば、請求項６に記載のロボット装置の撮像部は左右の視点のカメラを備えている。そして、前記画像処理部は、前記右視点のカメラのレンズ中心と右視点の主軸線分の開始点を通過する注視点ベクトルと前記左視点のカメラのレンズ中心と左視点の主軸線分の開始点を通過する注視点ベクトルの最近傍点、及び、前記右視点のカメラのレンズ中心と右視点の主軸線分の終了点を通過する注視点ベクトルと前記左視点のカメラのレンズ中心と左視点の主軸線分の終了点を通過する注視点ベクトルの最近傍点を求め、前記の２つの最近傍点の中点に基づいて前記物体の位置を推定するとともに、前記の２つの最近傍点の傾きに基づいて前記物体の姿勢を推定するようセ構成されている。
【００１７】
本願の請求項８に記載の技術によれば、請求項１に記載のロボット装置は、把持計画部で計画した前記把持部の軌道に関する情報を前記出力部で画面に表示し、前記入力部を介して前記計画に対するユーザーの確認を得たことに応じて、前記把持制御部が前記軌道に従って前記把持部の動作を実行するように構成されている。
【００１８】
また、本願の請求項９に記載の技術は、
撮像画像内で物体が置かれている向きの教示を入力するユーザー入力ステップと、
前記入力ステップで入力された教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理ステップと、
前記推定した位置及び姿勢にある前記物体をロボット装置の把持部で把持するための軌道を計画する把持計画ステップと、
前記把持計画ステップで計画した軌道に従って前記把持部の動作を制御する把持制御ステップと、
を有するロボット装置の制御方法である。
【００１９】
また、本願の請求項１０に記載の技術は、
撮像画像内で物体が置かれている向きの教示を入力する入力部、
前記入力部で入力された教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理部、
前記推定した位置及び姿勢にある前記物体をロボット装置の把持部で把持するための軌道を計画する把持計画部、
前記計画した軌道に従って前記把持部の動作を制御する把持制御部、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラムである。
【００２０】
本願の請求項１０に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１０に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項９に係るロボット装置の制御方法と同様の作用効果を得ることができる。
【発明の効果】
【００２１】
本明細書で開示する技術によれば、教示端末などを介したユーザーからの教示に基づいて、環境の中から物体を認識して好適に把持動作を行なうことができる、優れたロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラムを提供することができる。
【００２２】
本明細書で開示する技術によれば、ユーザーの教示によって、ロボット装置の把持能力が向上する。特に、ユーザーによる物体が置かれている向きの教示を利用することで、３次元形状計測だけでは認識し難い微細物や薄い物体に対して、ロボット装置の把持能力を向上させることができる。
【００２３】
本明細書で開示する技術によれば、ユーザーは教示端末などの表示画面上で線を引く（ロボット装置側での環境の撮像画像上で所望の物体をなぞる）という簡単な操作で、把持の対象物体の位置及び姿勢を推定するための情報を教示することができる。したがって、誰もが素早く操作方法を習得することができ、教示端末などを介した教示操作の利用が進むことが期待される。
【００２４】
本明細書で開示する技術によれば、ロボット装置は、教示端末などのユーザーからの教示に基づいて物体の認識精度を向上することができ、高い認識能力を利用しないので、照明条件や物体の材質など環境に左右されずに安定した把持能力を実現することができる。ロボット装置は、物体の認識のために、ステレオカメラや測距センサーなどを搭載する必要がなく、カメラ１台からの撮像画像のみでも本明細書で開示する技術を実現することができる。
【００２５】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２６】
【図１】図１は、本明細書で開示する技術を適用可能なロボット装置１００の外観を示した図である。
【図２】図２は、本明細書で開示する技術を適用可能なロボット装置１００の関節自由度構成を模式的に示した図である。
【図３】図３は、図１に示したロボット装置１００の制御システムの構成を模式的に示した図である。
【図４】図４は、ロボット装置１００と教示端末２００からなる制御システムの機能的構成を模式的に示した図である。
【図５】図５は、ロボット装置１００が教示装置２００からの教示情報を利用して物体の把持を行なう際の制御システムにおける通信シーケンス例を示した図である。
【図６】図６は、教示端末２００で画面表示する、ロボット装置１００側で取得した撮像画像の一例を示した図である。
【図７】図７は、教示端末２００の出力部４１３に画面表示されている撮像画像上で、把持の対象物体となるペンの主軸線分をユーザーが指先でなぞる様子を示した図である。
【図８】図８は、撮像画像の表示画面上に、対象物体の位置及び姿勢の推定結果を重畳して表示している様子を示した図である。
【図９】図９は、撮像画像の表示画面上で、把持部４２６が対象物体を把持する姿勢を表示している様子を示した図である。
【図１０】図１０は、ユーザーが対象物体をなぞった主軸線分から対象物体の位置と姿勢を推定するための処理手順を示したフローチャートである。
【図１１】図１１は、撮像部４２３のレンズ中心ｃと、レンズ中心ｃから画像平面Ｆ内に配置した主軸線分の端点を通過する注視点ベクトルの求め方を説明するための図である。
【図１２】図１２は、世界座標系における注視点ベクトルと床面との接触点を導出する方法を説明するための図である。
【図１３】図１３は、世界座標系における注視点ベクトルと環境内の家具との接触点を導出する方法を説明するための図である。
【図１４】図１４は、２台のカメラの撮像画像を用いる場合の、ロボット装置１００が教示装置２００からの教示情報を利用して物体の把持を行なう際の通信シーケンス例を示した図である。
【図１５】図１５は、ロボット装置１００側で取得した左右視点の画像を出力部４１３で画面表示している様子を示した図である。
【図１６】図１６は、左右の各視点画像上で、把持の対象物体となるコップが置かれている向きに沿って線を引くようにユーザーが指先でなぞっている様子を示した図である。
【図１７】図１７は、撮像画像の表示画面上に、対象物体の位置及び姿勢の推定結果を重畳して表示している様子を示した図である。
【図１８】図１８は、撮像画像の表示画面上で、把持部４２６が対象物体を把持する姿勢を表示している様子を示した図である。
【図１９】図１９は、ユーザーが左右の各視点画像上でそれぞれ対象物体をなぞった２つの主軸線分から対象物体の位置と姿勢を推定するための処理手順を示したフローチャートである。
【図２０】図２０は、世界座標系における左右の各視点の注視点ベクトルを例示した図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００２８】
図１には、本明細書で開示する技術を適用可能なロボット装置１００の外観を示している。ロボット装置１００は、複数のリンクを関節で接続されたリンク構造体であり、各関節はアクチュエーターによって動作する。また、図２には、このロボット装置１００の関節自由度構成を模式的に示している。図示のロボット装置１００は、家庭内など時々刻々、動的に変化する周囲環境に設置され、家事や介護などの生活支援を行なうが、工場などに設置されて固定的なタスクを遂行することも可能である。
【００２９】
図示のロボット装置１００は、双腕型であり、また、移動手段として、ベース部に対向する２輪の駆動輪１０１Ｒ及び１０１Ｌを備えている。各駆動輪１０１Ｒ及び１０１Ｌは、それぞれピッチ回りに回転する駆動輪用アクチュエーター１０２Ｒ及び１０２Ｌによって駆動する。なお、図２中において、参照番号１５１、１５２、１５３は、実在しない劣駆動関節であり、ロボット装置１００の床面に対するＸ方向（前後方向）の並進自由度、Ｙ方向（左右方向）の並進自由度、並びに、ヨー回りの回転自由度にそれぞれ相当し、ロボット装置１００が仮想世界を動き回ることを表現したものである。
【００３０】
移動手段は、腰関節を介して上体に接続される。腰関節は、ピッチ回りに回転する腰関節ピッチ軸アクチュエーター１０３によって駆動する。上体は、左右２肢の腕部と、首関節を介して接続される頭部で構成される。左右の腕部は、それぞれ肩関節３自由度、肘関節２自由度、手首関節２自由度の、計７自由度とする。肩関節３自由度は、肩関節ピッチ軸アクチュエーター１０４Ｒ／Ｌ、肩関節ロール軸アクチュエーター１０５Ｒ／Ｌ、肩関節ヨー軸アクチュエーター１０６Ｒ／Ｌによって駆動する。肘関節２自由度は、肘関節ピッチ軸アクチュエーター１０７Ｒ／Ｌ、肘関節ヨー軸アクチュエーター１０８Ｒ／Ｌによって駆動する。手首関節２自由度は、手首関節ロール軸アクチュエーター１０９Ｒ／Ｌ、手首関節ピッチ軸アクチュエーター１１０Ｒ／Ｌによって駆動する。また、首関節２自由度は、首関節ピッチ軸アクチュエーター１１１、首関節ヨー軸アクチュエーター１１２によって駆動する。また、左右の腕部の先端の手関節１自由度は、手関節ロール軸アクチュエーター１１３Ｒ／Ｌによって駆動する。本実施形態では、手関節ロール軸アクチュエーター１１３Ｒ／Ｌを駆動することによって、手先による物体の把持動作を実現することができるものとする。
【００３１】
なお、図示のロボット装置１００は、対向２輪式の移動手段を備えているが、本明細書で開示する技術の要旨は、対向２輪式の移動手段に限定されるものではない。例えば、脚式の移動手段を備えたロボット装置、あるいは移動手段を持たないロボット装置であっても、同様に本明細書で開示する技術を適用することができる。
【００３２】
各軸のアクチュエーターには、関節角を計測するためのエンコーダー、トルクを発生するためのモーター、モーターを駆動するための電流制御型モーター・ドライバーの他、十分な発生力を得るための減速機が取り付けられている。また、アクチュエーターには、アクチュエーターの駆動制御を行なうマイクロコンピューターが併設されている（いずれも図２には図示しない）。
【００３３】
ロボット装置１００のダイナミクス演算は、ホスト・コンピューター上で実行され、各関節アクチュエーターのトルク又は関節角度の制御目標値を生成する。制御目標値は、アクチュエーターに併設された制御用マイコンに送信され、制御用マイコン上で実行されるアクチュエーターの制御に用いられる。また、各関節アクチュエーターは、力制御方式又は位置制御方式により制御される。
【００３４】
図３には、図１に示したロボット装置１００の制御システムの構成を模式的に示している。ロボット装置１００は、全体の動作の統括的制御やその他のデータ処理を行なう制御ユニット３１０と、入出力部３２０と、駆動部３３０とを備えている。以下、各部について説明する。
【００３５】
入出力部３２０は、入力部として、ロボット装置１００の目に相当するカメラ３２１、距離センサー３２２、ロボット装置１００の耳に相当するマイクロフォン３２３などを備えている。また、入出力部３２０は、出力部として、ロボット装置１００の口に相当するスピーカー３２４などを備えている。ここで、カメラ３２１は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージ検出素子からなる。また、距離センサー３２２は、例えば、レーザー・レンジ・ファインダーなどの空間センサーで構成される。但し、後述する物体の把持を実現するには、距離センサー３２２は必須ではない。また、ロボット装置１００は、例えばマイクロフォン３２３からのユーザーの音声入力により、タスクの指示を受けることができる。但し、ロボット装置１００は、有線、無線、あるいは記録メディアなどを介した他のタスクの指示の入力手段（図示しない）を備えていてもよい。
【００３６】
また、入出力部３２０は、無線通信部３２５を備えている。ロボット装置１００は、無線通信部３２５により、Ｗｉ−Ｆｉなどの通信路を介してユーザーの教示端末（タブレット端末など、図３には図示しない）などとデータ通信を行なうことができる。
【００３７】
駆動部３３０は、ロボット装置１００の各関節における自由度を実現するための機能モジュールであり、それぞれの関節におけるロール、ピッチ、ヨーなど軸毎に設けられた複数の駆動ユニットで構成される。各駆動ユニットは、所定軸回りの回転動作を行なうモーター３３１と、モーター３３１の回転位置を検出するエンコーダー３３２と、エンコーダー３３２の出力に基づいてモーター３３１の回転位置や回転速度を適応的に制御するドライバー３３３の組み合わせで構成される。
【００３８】
制御ユニット３１０は、認識部３１１と、駆動制御部３１２と、環境マップ３１３を備えている。
【００３９】
認識部３１１は、入出力部３２０のうちカメラ３２１や距離センサー３２２といった入力部から得られる情報に基づいて、周囲の環境の認識を行なう。例えば、認識部３１１は、カメラ３２１の位置を推定する自己位置推定処理により得られる、カメラ３２１の位置姿勢情報と、カメラ３２１の撮像画像から物体を検出する画像認識処理により得られる物体情報から、環境マップ３１３を事前に構築したり更新したりする。
【００４０】
駆動制御部３１２は、入出力部３２０のうち出力部や、駆動部３３０の駆動を制御する。例えば、駆動制御部３１２は、ロボット装置１００がタスクを実現するための、駆動部３３０の制御を行なう。ここで言う、ロボット装置１００が実現するタスクには、ユーザーが指示した物体の受け渡しなどのユーザーとの物理的なインタラクションが含まれ、インタラクションを実現するために、駆動輪用アクチュエーター１０２Ｒ及び１０２Ｌや腕部の各関節アクチュエーターを駆動させる。
【００４１】
ロボット装置１００は、例えば生活支援に適用され、身体の不自由な人などユーザーの要望に応じて、所望の物体を取ってきて手渡してくれる。ここで、ロボット装置１００が物体を把持するためには、環境の中から対象とする物体を見つける認識能力が必要である。本実施形態では、ユーザーが教示端末を介してロボット装置１００に把持物体が置かれている向きを指示するという方法により、３次元形状計測では認識し難いような微細物や薄い物体に対しても把持能力を実現している。
【００４２】
図４には、ロボット装置１００と教示端末２００からなる制御システムの機能的構成を示している。
【００４３】
教示端末２００は、通信部４１１と、情報処理部４１２と、出力部４１３と、入力部４１４を備えている。
【００４４】
通信部４１１は、Ｗｉ−Ｆｉなどの通信路を介してロボット装置１００等とデータ通信を行なうことができる。
【００４５】
教示端末２００がタブレット端末の場合、出力部４１３はＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの平板状の表示装置であり、入力部４１４は出力部４１３の表示画面と一体となったタッチパネルであり、ユーザーは表示画面上を指やペン先でなぞることで入力操作を行なうことができる。
【００４６】
情報処理部４１２は、オペレーティング・システムが行なっている処理や、通信部４１１と、入力部４１４及び出力部４１３との情報受け渡しなどを担っている。
【００４７】
ロボット装置１００側の通信部４２１は無線通信部３２５に、撮像部４２３はカメラ３２１に、それぞれ相当する。また、画像処理部４２２は制御ユニット３２０内の認識部３２１に相当し、把持計画部４２４及び把持制御部４２５は駆動制御部３１２に相当する。また、把持部４２６は、主にロボット装置１００の双腕で構成される。
【００４８】
撮像部４２３として、最低限１台のカメラを装備していればよい。２台のカメラを装備する場合には、後述するように、教示端末２００側では左右画像を使った教示が可能になる。なお、撮像部４２３としてのカメラは、必ずしもロボット装置１００本体に搭載されている必要はなく、ロボット装置１００外に接地され、作業環境を撮像する環境カメラであってもよい。但し、ロボット装置１００内外のいずれに設置されているにせよ、カメラ座標系と世界座標系との関係は既知であるものとする。
【００４９】
図４に示す制御システムでは、カメラの撮像画像から対象とする把持物体の位置及び姿勢を推定するために、カメラ座標系から世界座標系へ変換する必要がある。以下では、これら２つの座標系の関係は既知であるものとして説明する。
【００５０】
ロボット装置１００側では、撮像部４２３で環境を撮影する。撮影した画像は、画像処理部４２２に取り込まれ、通信部４２１を介して教示端末２００に転送される。教示端末２００側では、ユーザーは、出力部４１３に表示された撮像画像上で、入力部４１４を介して把持物体に関する教示を入力する。この教示情報は、通信部４１１を介してロボット装置１００に転送される。そして、ロボット装置１００側では、画像処理部４２２は教示端末２００からの教示情報を使って把持対象物体が環境内のどこにあるのかを推定し、把持計画部４２４は把持する物体の姿勢を決定するとともに、その姿勢で把持するための腕部の軌道計画を行なう。その後、把持制御部４２５は、計画した軌道に従って把持部４２６の動作を制御して、物体の把持を実現する。
【００５１】
図５には、ロボット装置１００が教示装置２００からの教示情報を利用して物体の把持を行なう際の制御システムにおける通信シーケンス例を示している。
【００５２】
ロボット装置１００は、撮像部４２３で撮影した画像を取得すると（Ｓ５２０１）、通信部４２１を介して教示端末２００に転送する。
【００５３】
教示端末２００側では、ロボット装置１００から転送されてきた画像を通信部４１１で受信すると、出力部４１３で画面に表示する（Ｓ５１０１）。図６には、出力部４１３で画面表示する、ロボット装置１００側で取得した撮像画像の一例を示している。図示の例は、把持の対象物体となるペンが床に落ちている様子を撮像した画像である。
【００５４】
教示端末２００は、ロボット装置１００から受信した撮像画像を表示した状態で、ユーザーから入力部４１４への入力待ちとなる（Ｓ５１０２）。
【００５５】
ユーザーは、例えば出力部４１３の表示画面と一体となったタッチパネルからなる入力部４１４を介して、把持物体に関する教示を入力することができる。本実施形態では、表示された撮像画像内で把持の対象物体が置かれている向きをユーザーが教示する操作を想定している。すなわち、ユーザーは、表示画面上で、把持の対象物体が置かれている向きに沿って線を引くようになぞる操作を行なう。図７には、教示端末２００の出力部４１３に画面表示されている撮像画像上で、把持の対象物体となるペンが置かれている向きに沿って線を引くようにユーザーが指先でなぞっている様子を示している。
【００５６】
ユーザーが把持の対象物体が置かれている向きに沿って線を引くようになぞる操作を行なって（Ｓ５１０３）、入力部４１４への入力が完了すると（Ｓ５１０４）、教示端末２００は、ユーザーがなぞったラインを主軸線分として、通信部４１１を介してロボット装置１００へ転送する。
【００５７】
ロボット装置１００側では、対象物体の主軸線分を受信すると、画像処理部４２２は、撮像したときの撮像部４２３の姿勢などに基づいて、対象物体の位置と姿勢を推定する（Ｓ５２０２）。画像処理部４２２は、撮像部４２３のカメラ座標系と世界座標系の関係から主軸線分から対象物体の位置と姿勢を推定するが、その処理の詳細については、後述に譲る。
【００５８】
そして、ロボット装置１００側では、把持計画部４２４が、Ｓ５２０２で推定した対象物体の位置と姿勢から、対象物体を把持するときの把持部４２６の姿勢を決定する（Ｓ５２０３）。
【００５９】
なお、対象物体を把持するときの把持部４２６の姿勢を決定する方法は任意である。例えば、本出願人に既に譲渡されている特願２０１１−２６２２０２号明細書に開示されている方法を適用することもできる。
【００６０】
ロボット装置１００は、Ｓ５２０２で推定された対象物体の位置及び姿勢と、Ｓ５２０３で決定した把持姿勢を、通信部４２１を介して教示端末２００に転送する。教示端末２００側では、送られてきた対象物体の位置及び姿勢と把持姿勢を、それぞれ出力部４１３で画面表示する（Ｓ５１０５）。そして、その姿勢で対象物体を把持してよいかどうか、ユーザーが確認するまで待機する（Ｓ５１０６）。
【００６１】
図８には、撮像画像の表示画面上に、対象物体の位置及び姿勢の推定結果を重畳して表示している様子を示している。また、図９には、撮像画像の表示画面上で、把持部４２６が対象物体を把持する姿勢を表示している様子を示している。
【００６２】
図９に示すように、把持部４２６が対象物体を把持する姿勢を表示した画面上に、ユーザーがロボット装置１００による把持動作を確認若しくは許可したか否かを意思表示するためのダイアログが表示される（Ｓ５１０７）。
【００６３】
そして、ダイアログ上でユーザーが「はい」を選択するなど、教示端末２００側で、把持部４２６の把持姿勢についてユーザーの確認が終了すると（Ｓ５１０８）、通信部４１１を介して対象物体の把持動作の実行を指示する。
【００６４】
ロボット装置１００側では、通信部４１２で実行指示を受信すると、把持制御部４２５が、把持計画部４２４で計画した軌道に従って把持部４２６の動作を制御して、物体の把持を実現する（Ｓ５２０４）。
【００６５】
なお、決定された把持姿勢に従って把持部４２６の動作を制御する方法は任意である。例えば、本出願人に既に譲渡されている特願２０１１−２６２２０２号明細書に開示されている方法を適用することもできる。
【００６６】
図１０には、上記Ｓ５２０２で行なわれる、タッチパネル上でユーザーが対象物体をなぞった主軸線分から対象物体の位置と姿勢を推定するための処理手順をフローチャートの形式で示している。
【００６７】
まず、主軸線分の２端点における注視点ベクトルを求める（ステップＳ１００１）。
【００６８】
ここで、注視点ベクトルとは、撮像部４２３のレンズ中心ｃと、レンズ中心ｃから画像平面Ｆ内に配置した主軸線分の端点を通過するベクトルである。図１１に示すように、レンズ中心ｃを原点とするカメラ座標系（Ｘc，Ｙc，Ｚc）をとり、レンズ中心ｃから焦点Ｃ（画像平面Ｆ）までの距離すなわち焦点距離をｆとする。また、カメラ座標系における主人線分の２端点をＱ1＝（ｘ1，ｙ1，ｆ）、Ｑ2＝（ｘ2，ｙ2，ｆ）としたときに、各端点Ｑ1、Ｑ2の注視点ベクトルはそれぞれ下式（１）、（２）に示す直線方程式で表わすことができる。但し、ｄは距離変数である。
【００６９】
【数１】
2013173209.tif 000003
【００７０】
【数２】
2013173209.tif 000004
【００７１】
次いで、上記の注視点ベクトルを、世界座標系に変換する（ステップＳ１００２）。そして、注視点ベクトルが環境と接触する点を求める（ステップＳ１００３）。
【００７２】
対象とする把持物体が床面に置かれたペンである場合、ステップＳ１００３では、世界座標系における注視点ベクトルと床面との接触点を導出することになる。図１２には、世界座標系における注視点ベクトルと床面との接触点を求める例を示している。同図に示すように、世界座標系（ＸW，ＹW，ＺW）をとったときに、世界座標系における主軸線分の２端点をＱ´1＝（ｘ´1，ｙ´1，ｆ´）、Ｑ´2＝（ｘ´2，ｙ´2，ｆ´）、レンズ中心の座標をｃ´とすると、上式（１）、（２）に示した注視点ベクトルはそれぞれ下式（３）、（４）に示す直線方程式で表わすことができる。
【００７３】
【数３】
2013173209.tif 000005
【００７４】
【数４】
2013173209.tif 000006
【００７５】
ステップＳ１００３では、上記の直線方程式（３）、（４）を使って、２端点の注視点ベクトルが環境と接触する点を求める。図１２に示す例では、環境内に家具などが存在しないので、注視点ベクトルが床面と接触する点が得られれば良い。床面は、世界座標系でＺW＝０の平面であるので、Ｐ´1＝（ｘp1，ｙp1，０）、Ｐ´2＝（ｘp2，ｙp2，０）を上式（３）、（４）に代入することで、世界座標系において各注視点ベクトルが環境と接触する２点を求めることができる。
【００７６】
また、図１３には、環境内に家具が存在している場合に、ステップＳ１００３で、世界座標系における注視点ベクトルと環境内の家具との接触点を求める例を示している。図示のような環境の場合は、レイキャスティングなどによって、注視点ベクトルと環境内の家具や床面と接触する点を求めればよい。
【００７７】
上記で求まった、各注視点ベクトルと環境と接触する２点をｐ1、ｐ2とする。主軸線分はユーザーが対象物体であるペンが置かれている向きに沿ってなぞった線分であることから、図１２に示すように、２点ｐ1、ｐ2はペンの両端部となる。
【００７８】
続いて、求まった２点ｐ1、ｐ2から、把持物体の位置と姿勢を求める（ステップＳ１００４）。把持物体の位置は、２点ｐ1、ｐ2の中点であるので、（ｐ1＋ｐ2）／２となる。また、把持物体の姿勢は、２点ｐ1、ｐ2がなす角度を求めればよい。
【００７９】
ここまでは、撮像部４２３として、１台のカメラを装備している場合について説明してきた。カメラが１台しか装備させていない場合には、環境との接触点を頼りに、対象物体の位置と姿勢を推定するしかない。これに対し、視差のある２台のカメラを装備する場合には、２つの撮像画像を利用することで、環境情報を使わずに、対象物体の位置と姿勢を推定することができる。以下では、２台のカメラを装備する場合について説明する。
【００８０】
図１４には、２台のカメラの撮像画像を用いる場合の、ロボット装置１００が教示装置２００からの教示情報を利用して物体の把持を行なう際の通信シーケンス例を示している。
【００８１】
ロボット装置１００は、撮像部４２３の２台のカメラで撮影した左右視点の画像すなわちステレオ画像を取得すると（Ｓ１４２０１）、通信部４２１を介して教示端末２００に転送する。
【００８２】
教示端末２００側では、ロボット装置１００から転送されてきた左画像を出力部４１３で画面に表示して（Ｓ１４１０１）、ユーザーから入力部４１４への入力待ちとなる（Ｓ１４１０２）。ユーザーが左画像上で把持の対象物体が置かれている向きに沿って線を引くようになぞる操作を行なって、対象物体の主軸線分を入力する（Ｓ１４１０３）。
【００８３】
続いて、教示端末２００側では、ロボット装置１００から転送されてきた右画像を出力部４１３で画面に表示して（Ｓ１４１０４）、ユーザーから入力部４１４への入力待ちとなる（Ｓ１４１０５）。ユーザーが左画像上で把持の対象物体が置かれている向きに沿って線を引くようになぞる操作を行なって、対象物体の主軸線分を入力する（Ｓ１４１０６）。
【００８４】
図１５には、ロボット装置１００側で取得した左右視点の画像を出力部４１３で画面表示している様子を示している。図示の例は、把持の対象物体となるコップが床に置かれている様子を撮像した画像である。
【００８５】
また、図１６には、教示端末２００の出力部４１３に画面表示されている左右の各視点画像上で、把持の対象物体となるコップが置かれている向きに沿って線を引くようにユーザーが指先でなぞっている様子を示している。
【００８６】
そして、ユーザーが左右の各視点画像で入力部４１４への入力が完了すると（Ｓ１４１０７）、教示端末２００は、ユーザーが各視点画像上でなぞった２ラインを主軸線分として、通信部４１１を介してロボット装置１００へ転送する。
【００８７】
ロボット装置１００側では、対象物体の主軸線分を受信すると、撮像したときの撮像部４２３の姿勢などに基づいて、対象物体の位置と姿勢を推定する（Ｓ１４２０２）。左右の視点画像から得た２本の主軸線分から対象物体の位置と姿勢を推定する処理の詳細については、後述に譲る。
【００８８】
そして、ロボット装置１００は、Ｓ５２０２で推定した対象物体の位置と姿勢から、対象物体を把持するときの把持部４２６の姿勢を決定する（Ｓ１４２０３）。例えば、本出願人に既に譲渡されている特願２０１１−２６２２０２号明細書に開示されている方法を用いて、対象物体を把持するときの把持部４２６の姿勢を決定することができる（前述）。
【００８９】
ロボット装置１００は、Ｓ１４２０２で推定された対象物体の位置及び姿勢と、Ｓ１４２０３で決定した把持姿勢を、通信部４２１を介して教示端末２００に転送する。教示端末２００側では、送られてきた対象物体の位置及び姿勢と把持姿勢を、それぞれ出力部４１３で画面表示する（Ｓ１４１０８）。そして、その姿勢で対象物体を把持してよいかどうか、ユーザーが確認するまで待機する（Ｓ５１０９）。
【００９０】
図１７には、撮像画像の表示画面上に、対象物体の位置及び姿勢の推定結果を重畳して表示している様子を示している。また、図１８には、撮像画像の表示画面上で、把持部４２６が対象物体を把持する姿勢を表示している様子を示している。
【００９１】
図１８に示すように、把持部４２６が対象物体を把持する姿勢を表示した画面上に、ユーザーがロボット装置１００による把持動作を確認若しくは許可したか否かを意思表示するためのダイアログが表示される（Ｓ１４１１０）。
【００９２】
そして、ダイアログ上でユーザーが「はい」を選択するなど、教示端末２００側で、把持部４２６の把持姿勢についてユーザーの確認が終了すると（Ｓ１４１１１）、通信部４１１を介して対象物体の把持動作の実行を指示する。
【００９３】
ロボット装置１００側では、通信部４１２で実行指示を受信すると、把持制御部４２５が、把持計画部４２４で計画した軌道に従って把持部４２６の動作を制御して、物体の把持を実現する（Ｓ１４２０４）。例えば、本出願人に既に譲渡されている特願２０１１−２６２２０２号明細書に開示されている方法を用いて、決定された把持姿勢に従って把持部４２６の動作を制御することができる（前述）。
【００９４】
ここで、上記Ｓ１４２０２で行なわれる、ユーザーが左右の各視点画像上でそれぞれ対象物体をなぞった２つの主軸線分から対象物体の位置と姿勢を推定するための処理手順について、図１９を参照しながら説明する。
【００９５】
まず、左右の視点画像がそれぞれ取得した主軸線分の各２端点における注視点ベクトルを求める（ステップＳ１９０１）。
【００９６】
ここで、右視点カメラのレンズ中心ｃrを原点とするカメラ座標系（Ｘrc，Ｙrc，Ｚrc）をとり、レンズ中心ｃrから焦点Ｃr（画像平面Ｆr）までの距離すなわち焦点距離をｆrとする。また、左視点カメラのレンズ中心ｃrlを原点とするカメラ座標系（Ｘlc，Ｙlc，Ｚlc）をとり、レンズ中心ｃlから焦点Ｃl（画像平面Ｆl）までの距離すなわち焦点距離をｆlとする。そして、カメラ座標系における右視点の主軸線分の開始点をＱr1＝（ｘr1，ｙr1，ｆr）、終了点をＱr2＝（ｘr2，ｙr2，ｆr）とし、左視点の主軸線分の開始点をＱl1＝（ｘl1，ｙl1，ｆl）、終了点をＱl2＝（ｘl2，ｙl2，ｆl）としたときに、各主軸線分の２端点の注視ベクトルは。それぞれ下式（５）〜（８）に示す直線方程式で表わすことができる。但し、ｄは距離変数である。
【００９７】
【数５】
2013173209.tif 000007
【００９８】
【数６】
2013173209.tif 000008
【００９９】
【数７】
2013173209.tif 000009
【０１００】
【数８】
2013173209.tif 000010
【０１０１】
次いで、上記の注視点ベクトルを、世界座標系に変換する（ステップＳ１９０２）。
【０１０２】
対象とする把持物体が床面に置かれている場合、世界座標系における注視点ベクトルと床面との接触点を導出することになる。図２０には、世界座標系における左右の各視点の注視点ベクトルを例示している。同図に示すように、世界座標系（ＸW，ＹW，ＺW）をとったときに、世界座標系における視点毎の主軸線分の２端点をＱ´r1＝（ｘ´r1，ｙ´r1，ｆ´r）、Ｑ´2＝（ｘ´r2，ｙ´r2，ｆ´r）、Ｑ´l1＝（ｘ´l1，ｙ´l1，ｆ´l）、Ｑ´l2＝（ｘ´l2，ｙ´l2，ｆ´l）、左右カメラのレンズ中心の座標をそれぞれｃ´r、ｃ´lとすると、上式（５）〜（８）に示した注視点ベクトルはそれぞれ下式（９）〜（１２）に示す直線方程式で表わすことができる。
【０１０３】
【数９】
2013173209.tif 000011
【０１０４】
【数１０】
2013173209.tif 000012
【０１０５】
【数１１】
2013173209.tif 000013
【０１０６】
【数１２】
2013173209.tif 000014
【０１０７】
ステップＳ１９０３では、上記の直線方程式（９）、（１１）を使って、対象物体の位置と姿勢を推定するための第１の点ｐ1を求める。第１の点ｐ1とは、右視点の主軸線分の開始点Ｑ´r1を通過する注視点ベクトルと、左視点の主軸線分の開始点Ｑ´l1を通過する注視点ベクトル、すなわち、左右視点で対となる注視点ベクトル間の最近傍点である。主軸線分はユーザーが対象物体であるコップが置かれている向きに沿ってなぞった線分であることから、図２０に示すように、最近傍点ｐ1は、図２０に示すようにコップの一方の端部となる。
【０１０８】
続いて、ステップＳ１９０４では、上記の直線方程式（１０）、（１２）を使って、対象物体の位置と姿勢を推定するための第２の点ｐ2を求める。第２の点ｐ2とは、右視点の主軸線分の終了点Ｑ´r2を通過する注視点ベクトルと、左視点の主軸線分の終了点Ｑ´l2を通過する注視点ベクトル、すなわち、左右視点で対となる注視点ベクトル間の最近傍点である。主軸線分はユーザーが対象物体であるコップが置かれている向きに沿ってなぞった線分であることから、図２０に示すように、最近傍点ｐ2は、図２０に示すようにコップの他方の端部となる
【０１０９】
そして、求まった２点ｐ1、ｐ2から、把持物体の位置と姿勢を求める（ステップＳ１９０５）。把持物体の位置は、２点ｐ1、ｐ2の中点であるので、（ｐ1＋ｐ2）／２となる。また、把持物体の姿勢は、２点ｐ1、ｐ2がなす角度を求めればよい。
【０１１０】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）撮像部と、把持部と、前記撮像部による撮像画像を画面に表示する出力部と、前記撮像画像内で物体が置かれている向きをユーザーが教示する操作を受け付ける入力部と、前記入力部における教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理部と、前記推定した位置及び姿勢にある前記物体を把持するための前記把持部の軌道を計画する把持計画部と、前記計画した軌道に従って前記把持部の動作を制御する把持制御部と、を具備するロボット装置。
（１）前記入力部は、前記出力部の画面と一体のタッチパネルであり、ユーザーは、前記タッチパネル上で前記物体が置かれている向きに沿って線を引くようになぞって教示を行なう、上記（１）に記載のロボット装置。
（３）前記出力部及び前記入力部を含む端末部は、前記把持部を含む前記ロボット装置本体と無線通信を行なう、上記（１）に記載のロボット装置。
（４）ユーザーは、前記入力部から前記撮像画像内の前記物体の主軸線分を教示し、前記画像処理部は、前記撮像部のカメラ座標系と世界座標系との関係から、前記主軸線分に基づいて前記物体の位置及び姿勢を推定する、上記（１）に記載のロボット装置。
（５）前記画像処理部は、前記撮像部の光学中心と画像平面内に配置した前記主軸線分の２端点をそれぞれ通過する注視点ベクトルが環境と接触する２点を求め、前記２点の中点に基づいて前記物体の位置を推定するとともに、前記２点の傾きに基づいて前記物体の姿勢を推定する、上記（４）に記載のロボット装置。
（６）前記撮像部は視点の異なる複数台のカメラを備え、前記出力部は、各視点の撮像画像を画面に表示し、ユーザーは、前記入力部から、各視点の撮像画像毎に前記物体の主軸線分を教示し、前記画像処理部は、各視点の撮像画像から取得した複数の主軸線分に基づいて前記物体の位置及び姿勢を推定する、上記（１）に記載のロボット装置。
（７）前記撮像部は左右の視点のカメラを備え、前記画像処理部は、前記右視点のカメラのレンズ中心と右視点の主軸線分の開始点を通過する注視点ベクトルと前記左視点のカメラのレンズ中心と左視点の主軸線分の開始点を通過する注視点ベクトルの最近傍点、及び、前記右視点のカメラのレンズ中心と右視点の主軸線分の終了点を通過する注視点ベクトルと前記左視点のカメラのレンズ中心と左視点の主軸線分の終了点を通過する注視点ベクトルの最近傍点を求め、前記の２つの最近傍点の中点に基づいて前記物体の位置を推定するとともに、前記の２つの最近傍点の傾きに基づいて前記物体の姿勢を推定する、上記（６）に記載のロボット装置。
（８）前記把持計画部で計画した前記把持部の軌道に関する情報を前記出力部で画面に表示し、前記入力部を介して前記計画に対するユーザーの確認を得たことに応じて、前記把持制御部が前記軌道に従って前記把持部の動作を実行する、上記（１）に記載のロボット装置。
（９）撮像画像内で物体が置かれている向きの教示を入力するユーザー入力ステップと、前記入力ステップで入力された教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理ステップと、前記推定した位置及び姿勢にある前記物体をロボット装置の把持部で把持するための軌道を計画する把持計画ステップと、前記把持計画ステップで計画した軌道に従って前記把持部の動作を制御する把持制御ステップと、を有するロボット装置の制御方法。
（１０）撮像画像内で物体が置かれている向きの教示を入力する入力部、前記入力部で入力された教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理部、前記推定した位置及び姿勢にある前記物体をロボット装置の把持部で把持するための軌道を計画する把持計画部、前記計画した軌道に従って前記把持部の動作を制御する把持制御部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
【産業上の利用可能性】
【０１１１】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１１２】
本明細書で開示する技術は、例えば生活支援ロボットに適用して、動的に変化する生活環境下において、物体の把持及びユーザーへの受け渡し動作を好適に実現することができる。勿論、工場内に配置されるような産業用ロボットにも、同様に本明細書で開示する技術を適用することができる。
【０１１３】
要するに、例示という形態により本明細書で開示する技術について説明してきたが、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【０１１４】
１００…ロボット装置
１０１…駆動輪
１０２…駆動輪用アクチュエーター
１０３…腰関節ピッチ軸アクチュエーター
１０４…肩関節ピッチ軸アクチュエーター
１０５…肩関節ロール軸アクチュエーター
１０６…肩関節ヨー軸アクチュエーター
１０７…肘関節ピッチ軸アクチュエーター
１０８…肘関節ヨー軸アクチュエーター
１０９…手首関節ロール軸アクチュエーター
１１０…手首関節ピッチ軸アクチュエーター
１１１…首関節ピッチ軸アクチュエーター
１１２…首関節ヨー軸アクチュエーター
１１３…手関節ロール軸アクチュエーター
１５１、１５２、１５３…劣駆動関節
２００…教示端末
３１０…制御ユニット
３１１…認識部
３１２…駆動制御部
３１３…環境マップ
３２０…入出力部
３２１…カメラ
３２２…距離センサー
３２３…マイクロフォン
３２４…スピーカー
３２５…無線通信部
３３０…駆動部
３３１…モーター
３３２…エンコーダー
３３３…ドライバー
４１１通信部
４１２…情報処理部
４１３…出力部
４１４…入力部
４２１…通信部
４２２…画像処理部
４２３…撮像部
４２４…把持計画部
４２５…把持制御部
４２６…把持部
【図１】
2013173209.tif 000015
【図２】
2013173209.tif 000016
【図３】
2013173209.tif 000017
【図４】
2013173209.tif 000018
【図５】
2013173209.tif 000019
【図１０】
2013173209.tif 000020
【図１４】
2013173209.tif 000021
【図１９】
2013173209.tif 000022
【図６】
2013173209.tif 000023
【図７】
2013173209.tif 000024
【図８】
2013173209.tif 000025
【図９】
2013173209.tif 000026
【図１１】
2013173209.tif 000027
【図１２】
2013173209.tif 000028
【図１３】
2013173209.tif 000029
【図１５】
2013173209.tif 000030
【図１６】
2013173209.tif 000031
【図１７】
2013173209.tif 000032
【図１８】
2013173209.tif 000033
【図２０】
2013173209.tif 000034