(57)【要約】  対象物を操作する作業を実行する作業ロボットであって、ロボット本体（１）にて対象物を含む映像を撮像し、教示時においては、この撮像された映像とオペレータにより教示された操作内容とを関連づけて保持し、作業時においては撮像された映像を取得し、当該取得した映像に類似する映像を検索し、当該検索の結果、見いだされた過去に撮像された映像に関連づけられた操作内容に基づき、対象物を操作する作業ロボットである。
2007138987.tif 000002
【特許請求の範囲】
【請求項１】
対象物を操作する作業を実行する作業ロボットであって、
前記対象物を含む映像を撮像する撮像手段と、
教示時において、前記撮像手段にて撮像された映像とオペレータにより教示された操作内容とを関連づけて保持する保持手段と、
作業時において、前記撮像手段にて撮像された映像を取得し、当該取得した映像に類似する映像を前記保持手段から検索し、当該検索の結果、前記保持手段から見いだされた映像に関連づけられた操作内容に基づき、対象物を操作する制御手段と、
を含むことを特徴とする作業ロボット。
【請求項２】
請求の範囲第１項に記載の作業ロボットにおいて、
さらに、作業ロボットを前後ないし左右の少なくとも一方に移動するための移動手段を備え、
前記制御手段は、前記保持手段から見出した映像と、前記撮像手段にて撮像された映像とを比較し、当該比較の結果に基づいて、作業ロボットを移動させることを特徴とする作業ロボット。
【請求項３】
請求の範囲第１項または第２項に記載の作業ロボットにおいて、前記制御手段は、
前記撮像手段にて撮像された映像に含まれる輪郭線の線分の角度の情報を生成し、
前記保持手段に保持されている各映像に含まれる輪郭線の線分の角度の情報と、前記生成した、撮像された映像に含まれる輪郭線の線分の角度の情報とを比較することにより、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボット。
【請求項４】
請求の範囲第３項に記載の作業ロボットにおいて、
前記制御手段は、
前記撮像手段にて撮像された映像に含まれる色の情報を生成し、
前記保持手段に保持されている各映像に含まれる色の情報と、前記生成した、撮像された映像に含まれる色の情報との比較により、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボット。
【請求項５】
請求の範囲第１項から第４項のいずれかに記載の作業ロボットにおいて、
前記撮像手段は、移動または操作に応じて、撮像範囲を制御することを特徴とする作業ロボット。
【請求項６】
請求の範囲第３項または第４項に記載の作業ロボットにおいて、
前記制御手段は、
前記撮像手段にて撮像された映像に含まれる色の情報を生成し、
前記保持手段に保持されている各映像に含まれる画素とその近傍画素との色差の情報と、前記生成した、撮像された映像に含まれる画素とその近傍画素との色差の情報との比較により、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボット。
【請求項７】
外部から入力される指示に従って対象物を操作する作業を実行する作業ロボットと、
前記作業ロボットに対して指示を出力する操作装置とを含み、
前記操作装置は、
前記対象物を含む映像を撮像する撮像手段と、
教示時において、前記撮像手段にて撮像された映像とオペレータにより教示された操作内容とを関連づけて保持する保持手段と、
作業時において、前記撮像手段にて撮像された映像を取得し、当該取得した映像に類似する映像を前記保持手段から検索し、当該検索の結果、前記保持手段から見いだされた映像に関連づけられた操作内容に基づき、対象物を操作する制御手段と、
を含むことを特徴とする作業ロボットシステム。
【請求項８】
請求の範囲第７項に記載の作業ロボットシステムであって、
前記作業ロボットは、自走して移動を行う手段と、作業ロボット外周に設けたセンサとを含み、
前記センサの検出結果が予め定められた条件を満足すると、前記操作装置からの指示にかかわらず所定の動作を行うことを特徴とする作業ロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作の対象となる対象物について作業を行う作業ロボットに関する。
【背景技術】
【０００２】
近年では、種々のロボットが実用化されており、例えば人間にとって危険な場所で作業を行うため、人間が遠隔制御するロボットや、予め定められたプログラムに従って組立てなどを行うロボットなどがある。【０００３】
これら遠隔制御ロボットでは、操作に熟練を要し、利便性が低い。また予め定められたプログラムに従って動作するロボットの場合、作業の対象物が予め定められた位置に置かれる必要があって自由度が低く、利用場面が限られてしまう。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
以上のような状況の下にあって、操作性・利便性を向上し、ロボットの利用可能範囲を拡大するために、人為的な操作をなるべく少なくして、自律的に動作可能なロボットが求められている。【０００５】
本発明は上記実情に鑑みて為されたもので、人為的な操作をなるべく少なくして、自律的に動作可能な作業ロボットを提供することを、その目的の一つとする。
【課題を解決するための手段】
【０００６】
上記従来例の問題点を解決するための本発明は、対象物を操作する作業を実行する作業ロボットであって、前記対象物を含む映像を撮像する撮像手段と、教示時において、前記撮像手段にて撮像された映像とオペレータにより教示された操作内容とを関連づけて保持する保持手段と、作業時において、前記撮像手段にて撮像された映像を取得し、当該取得した映像に類似する映像を前記保持手段から検索し、当該検索の結果、前記保持手段から見いだされた映像に関連づけられた操作内容に基づき、対象物を操作する制御手段と、を含むことを特徴としている。
【図面の簡単な説明】
【０００７】
【図１】図１は本発明の実施の形態に係る作業ロボットの一例を表す概略構成図である。
【図２】図２は本発明の実施の形態に係る作業ロボットのロボット本体の構成例を表すブロック図である。
【図３】図３は本発明の実施の形態に係るロボット本体のアーム及びパケット部分の構造例を表す説明図である。
【図４】図４は本発明の実施の形態に係る作業ロボットの遠隔制御装置の構成例を表すブロック図である。
【図５】図５は本発明の実施の形態に係る作業ロボットの遠隔操作装置の構成例を表すブロック図である。
【図６】図６は本発明の実施の形態に係る作業ロボットの遠隔制御装置の教示時の動作例を表すフローチャート図である。
【図７】図７は本発明の実施の形態に係る作業ロボットの遠隔制御装置が保持する教示データベースの例を表す説明図である。
【図８】図８は本発明の実施の形態に係る作業ロボットの遠隔制御装置の教示時における記録前処理の一例を表すフローチャート図である。
【図９】図９は本発明の実施の形態に係る作業ロボットにおける記録前処理の動作で生成されるテーブルの例を表す説明図である。
【図１０】図１０は本発明の実施の形態に係る作業ロボットの遠隔制御装置が生成する検索用データの例を表す説明図である。
【図１１】図１１は本発明の実施の形態に係る作業ロボットの遠隔制御装置の作業時の動作例を表すフローチャート図である。
【図１２】図１２は本発明の実施の形態に係る作業ロボットの遠隔制御装置が生成する教示データベースの一例を表す説明図である。
【発明を実施するための最良の形態】
【０００８】
本発明の実施の形態に係る作業ロボットは、撮像された画像に基づき、保持している画像を想起して、想起された画像に関連づけられた作業を遂行することで、自律的な動作を可能としている。一般に、事例ベースの推論（ＣＢＲ−Case Based Reasoning）ないし記憶ベースの推論（ＭＢＲ−Memory-Based Reasoning）は、コンピュータ上で動作する仮想的なエージェントの実現に用いられる技術であるが、本実施の形態は、これらＣＢＲやＭＢＲが、現実の作業ロボットの制御にも有用であることに着眼して得られたものである。すなわち、本実施の形態の一例によれば、ＣＢＲやＭＢＲによる推論の結果に従って、作業を遂行する。【０００９】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る作業ロボットは、図１に示すように、ロボット本体１と、遠隔制御装置２と、遠隔操作装置３とを含んで構成される。またロボット本体１は、図２に示すように、制御部１１、撮像部１４、通信部１５、駆動部１６、及び作業部１７を含んで構成されている。ここで駆動部１６は、ロボット本体１が自走するために、ロボット本体１の左右側面に夫々設けられた無限軌道Ｃと、各無限軌道Ｃに対応して設けられ、それぞれを独立して回転駆動可能な２つのモーターＭとを含んで構成される。なお、この自走のための無限軌道Ｃは必ずしも必要なものではない。【００１０】
また、作業部１７は、図３に例示するように、アームＡに、対象物を把持するパケットＨを備えたものである。アームＡは、ロボット本体１に支持され、モータＭ１にてその仰角を制御可能な第１アーム部と、この第１アーム部先端近傍で支持され、鉛直下方に懸垂する第２アームとを備える。この第２アームの先端部に把持部Ｈが設けられる。【００１１】
パケットＨは、略Ｚ字状のパケット部材が２つ、対向して配置され、Ｚ字状のパケット部材は、モータＭ２により開位置（図３破線で示した位置）と、閉位置（図３実線で示した位置）との間で駆動される。【００１２】
遠隔制御装置２は、図４に示すように、制御部２１、記憶部２２、ストレージ部２３、操作部２４、表示部２５、入力ポート２６、及び通信部２７を含んで構成される。さらに遠隔操作装置３は、図５に示すように、制御部３１、操作部３２、出力ポート３３を含んで構成される。【００１３】
ロボット本体１の制御部１１は、マイクロコンピュータ等であり、通信部１５を介して遠隔制御装置２から入力される指示操作により、駆動部１６や作業部１７等の各部を制御する。例えば、前進、後退、右方向回転、左方向回転等の移動指示を受けると、制御部１１は、駆動部１６を制御して、ロボット本体１を指示された方向に移動させる。本実施の形態では、駆動部１６は２つの無限軌道（クローラー）Ｃを備えるので、制御部１１は、入力される指示操作により、各無限軌道の回転方向及び速度を制御して、ロボット本体１を前進、後退、左回転、右回転等して移動する。この無限軌道の駆動によるロボット本体１の移動制御については広く知られているので、ここでの詳細な説明を省略する。【００１４】
また、この制御部１１は、遠隔制御装置２から、作業部１７のアームの上げ下ろしや、パケットＨの開閉の指示を受けて、作業部１７の各モータＭ１，Ｍ２を制御する。【００１５】
さらに制御部１１は、撮像部１４が撮像した映像データを通信部１５を介して遠隔制御装置２へ送出する。【００１６】
撮像部１４は、ＣＣＤカメラ等であり、ロボット本体１の進行方向所定範囲（一般に作業部１７のアームを下ろしたときのパケットの位置をその中心部分に含む）を周期的（例えば１／３０秒ごと）に撮像し、撮像して得たディジタルの映像データを制御部１１に出力する。【００１７】
通信部１５は、例えば無線ＬＡＮ（Local Area Network）インタフェースであり、遠隔制御装置２からロボット本体１への指示操作のデータを受信して、制御部１１へ出力する。また、この通信部１５は、制御部１１から入力される映像データを遠隔制御装置２へ送信出力する。【００１８】
遠隔制御装置２は、パーソナルコンピュータを用いて実現でき、その制御部２１は、例えばＭＰＵ（Micro Processing Unit）であって、記憶部２２に格納された、ロボットの制御プログラムに従って動作する。本実施の形態では、制御部２１は、ロボットの制御プログラムを実行する際に、教示モードと作業モードとの２つのモードのいずれかをオペレータに選択させる。そして教示モードでは、オペレータによって行われた指示操作の内容をそのままロボット本体１へ送出するとともに、ロボット本体１から受信される映像データと、その映像データが受信されたときにオペレータが行った指示操作の内容とを関連づけて教示データとしてストレージ部２３に格納する。【００１９】
また、作業モードでは、ロボット本体１から受信される映像データをキーとして、教示データから、類似の映像データを検索し、見いだされた類似映像に関連づけられて保持されている、オペレータが過去に行った操作の内容をロボット本体１へ送出する。この制御部２１の具体的な処理の内容については後に詳しく述べる。【００２０】
記憶部２２は、ＲＡＭ（Random Access Memory）やＥＥＰＲＯＭ（電気的消去可能ＲＯＭ）等の記憶素子を含んで構成される。この記憶部２２には、制御部２１によって実行されるプログラムが格納される。また、この記憶部２２は制御部２１のワークメモリとしても動作する。ストレージ部２３は、ハードディスクなどであり、制御部２１が教示モードの動作を実行している間に生成した教示データベースを保持する。【００２１】
操作部２４は、キーボード等であり、オペレータの指示操作を受け付けて、その内容を制御部２１に出力する。オペレータはこの操作部２４を介して、教示モードと作業モードとを切り替える指示を入力する。表示部２５は、ディスプレイ等であり、制御部２１による指示に従って、情報を表示する。【００２２】
入力ポート２６は、例えばＲＳ−２３２ＣやＵＳＢ等であり、この入力ポート２６に接続された外部デバイスから入力される信号を制御部２１に出力する。本実施の形態では、この入力ポート２６には、遠隔操作装置３が接続され、入力ポート２６は、遠隔操作装置３が出力する信号を受け入れて制御部２１に出力するものとする。【００２３】
通信部２７は、例えば無線ＬＡＮインタフェースであり、制御部２１から入力されるロボット本体１への指示を、ロボット本体１へ送出する。また、この通信部２７は、ロボット本体１側から送信される映像データを受信し、制御部２１に出力する。【００２４】
なお、撮像部１４がアナログの信号、例えばＮＴＳＣ信号を出力する場合は、ロボット本体１側の通信部１５は当該ＮＴＳＣ信号を変調したテレビ信号を送信するデバイスを備えて、ＮＴＳＣ信号をそのまま送信するようにしてもよい。この場合、通信部２７もまた、テレビ信号を受信するデバイスを備えて、当該テレビ信号を復調してＮＴＳＣ信号を得て、さらに当該ＮＴＳＣ信号をディジタイズして映像データを生成し、この映像データを制御部２１に出力するようにしてもよい。【００２５】
遠隔操作装置３の制御部３１は、マイクロコンピュータ等であり、操作部３２にて行われたオペレータの操作内容を表わす信号を出力ポート３３を介して出力する。操作部３２は、一般的なラジオコントロールユニットのプロポーショナルコントローラでよく、ロボット本体１の進行を制御するために、進行方向に対して左右に設けられた２つのクローラの前進・後退を制御する、前後に傾倒可能な２つのジョイスティックを備える。また、この操作部３２は、アームの方向、角度及びパケットの開閉を制御するため前後左右に傾倒可能なさらに２つのジョイスティックを備える。操作部３２は、これらのジョイスティックの傾倒の角度に応じたディジタル信号を制御部３１に出力する。例えば、クローラを制御する２つのジョイスティックからはそれぞれ前後方向の傾倒角度を得て、これらの角度を表わすディジタル値を出力する。また、アームの方向などを制御するジョイスティックからは、それぞれの前後方向の傾倒角度と、左右方向の傾倒角度とを得て、これらの角度を表わすディジタル値を出力する。なお、これらのジョイスティックを用いたロボットの操作については、例えばＪＩＳ規格に定めのあるものを用いることができるので、ここでの詳細な説明を省略する。【００２６】
出力ポート３３は、制御部３１が出力する信号を出力する。本実施の形態では、この出力ポート３３が、遠隔制御装置２の入力ポート２６に接続され、信号を遠隔制御装置２へ出力する。【００２７】
次に、遠隔制御装置２の制御部２１が行う処理の内容について説明する。本実施の形態の制御部２１は、教示時と、作業時とで異なる処理を実行するので、次にこれらを分けて説明する。【００２８】
［教示時動作］
オペレータが操作部２４を操作して教示モードでの動作を指示すると、制御部２１は、図６に示す処理を開始し、まず画像取り込み用のバッファや、操作の信号を蓄積する操作データバッファを記憶部２２に確保するなど、初期化処理を実行する（Ｓ１）。そして、通信部２７を介して受信する映像データを取り込んで記憶部２２に格納する（Ｓ２）。【００２９】
また、オペレータが遠隔操作装置３の操作部３２を操作しており、制御部２１は、入力ポート２６を介して遠隔操作装置３が出力する信号の入力を受けて記憶部２２の操作データバッファに蓄積して格納する（Ｓ３）。この信号は、オペレータの操作の内容を表す信号であり、制御部２１は、この操作の内容に係る信号を通信部２７を介してロボット本体１へ送出する（Ｓ４）。【００３０】
制御部２１は、オペレータが操作を完了したか否かを調べる（Ｓ５）。例えば所定時間に亘って信号の入力がないか否かを調べる。ここでオペレータが操作を完了していなければ、処理Ｓ３に戻って処理を続け、オペレータが操作を完了していれば、処理Ｓ２にて取り込んだ映像データに基づいて、映像データを検索する際に用いる検索用データを生成する（記録前処置：Ｓ６）。【００３１】
そして制御部２１は、ここで生成した検索用データと、取り込んだ映像データと、操作データバッファに記録されている内容（操作内容データと呼ぶ）とを関連づけて、ストレージ部２３に教示データベースとして保持する（Ｓ７）。【００３２】
制御部２１は、操作データバッファをクリアし、処理Ｓ２に戻って処理を続ける。制御部２１は、この教示時の処理を、オペレータがプログラム実行の中断を命じるまで、繰り返して実行する。【００３３】
この結果、ストレージ部２３には、オペレータが教示モードでの動作を指示してから、プログラム実行の中断を命じるまでに受信した映像データと、その検索用データ、並びに、映像データを撮像したときにオペレータによって行われた操作が互いに関連づけて教示データベースとして保持されることとなる（図７）。【００３４】
［検索用データの例］
ここで、映像データの検索に用いられる検索用データは、類似画像の検索ができるものであれば、ネオコグニトロンなどのニューラルネットワークを用いる方法、色の頻度ヒストグラムを用いる方法その他、種々の方法を採用できる。本実施の形態においては類似画像の検索方法として、相関の高い画像を「想起」する処理を用いることとする。かかる処理の具体的な例として、ここではネオコグニトロンを用いてもよい。【００３５】
ネオコグニトロンでは、対象物の撮像位置に関わらず、対象物の種類、数量などを検出可能となる。このため、多少の姿勢のずれによって映像データが検索されなくなるということがなくなる。本実施の形態では、作業時に映像データを想起する際に利用するパターンとして、この検索用データを用いればよい。【００３６】
しかしながら、ネオコグニトロンによる想起に利用する多層構造は一般に複雑になっており、作業用のロボットを動作させるなど、撮像した映像に基づく動作の迅速な想起には適していないのが現状である。これに対して本実施の形態において特徴的なことは、検索用データの一例として、映像データから方向線素特徴量を抽出して検索用データとしたことである。このように本実施の形態では、方向線素特徴量を用いることとしたので、映像データのサイズ（映像データに含まれる画素数）が多くなっても処理負担の増加量を抑制できる。方向線素の数は、映像データの画素数に必ずしも依存しないからである。【００３７】
制御部２１は、検索用データを生成する記録前処置では、図８に例示すように、映像データを二値化し（Ｓ１１）、互いに重なり合うことを許した所定画素数の領域を画定し（Ｓ１２）、各領域に含まれている線素の方向に係る情報を生成する（Ｓ１３）。なお、二値化の際には、対象となる映像データに含まれる色のヒストグラムを生成し、当該ヒストグラムに応じて二値化の基準値を変更してもよい。例えばヒストグラムにおいて明度順に、頻度が所定しきい値以上となっている最低明度の値を取り出し、当該最低明度から最大明度の範囲の中点を二値化の基準値としてもよい。この基準値より高い値であれば「白」、基準値以下であれば「黒（有意画素）」とするのである。【００３８】
また、対象となる映像データに含まれる部分のうち、背景部分を除去してもよい。一般に、背景は前景に対して広い面積となっているので、色のヒストグラムにおいて、最頻値に対応する色を、対象となる映像データから除去することで背景除去の処理としてもよい。【００３９】
本実施の形態では、例えば鉛直方向の線分に対し、０度、１０度、２０度…と、１０度ごとに傾きをもって交差する線分の各々を描画した画像を線素パターンとして、これら線素パターンを含む線素パターン群を予め、ストレージ部２３に格納しておく。【００４０】
そして制御部２１の処理Ｓ１３では、処理Ｓ１２で画定した各領域の画像を順次、注目領域として選択しながら、注目領域と線素パターン群に含まれる線素パターンとのスコア（一致度を表わす情報）を演算する。ここでスコアは、注目領域の画像を構成する画素と、線素パターンの画素とにおいて、対応する画素が、ともに有意な画素（抽出された線分、または規定された線分を構成する画素）となっているような画素の個数として定める。【００４１】
制御部２１は、スコアの最も高い線素パターンを、注目領域を表わす線素パターン（注目領域に含まれている線素の方向に係る情報）とする。そして、制御部２１は、注目領域を特定する情報（例えば、二値化した映像データの座標系であって、注目領域の左上ｘ，ｙ座標値）と、注目領域を表わす線素パターンを特定する情報と、スコアとを関連づけて、教示データベースに含め、記憶部２２に格納する（Ｓ１４）。【００４２】
この処理Ｓ１４では、注目領域を順次選択しつつ、領域の数だけ繰り返して処理を実行する。これにより制御部２１は、各領域を特定する情報に対して、それぞれ選択された線素パターンを関連づけたリストを生成する（図９）。さらに制御部２１は、検索を容易にするため、線素パターンによって表わされる線分の角度ごとに、対応する線素パターンに関連づけられている注目領域を特定する情報のリストを関連づけたもの（位相順データと呼ぶ）を検索用データとして生成し（図１０）、教示データベースに含めて格納する。【００４３】
［作業時動作］
次に、この教示時動作によって生成された教示データベースを利用した、作業時の動作について説明する。オペレータが操作部２４を操作して作業モードでの動作を指示すると、制御部２１は、図１１に示す処理を開始し、映像データの保持を行う領域を確保するなど初期化処理を実行する（Ｓ２１）。そして、制御部２１は通信部２７を介して受信する映像データを取り込んで記憶部２２に格納し（Ｓ２２）、この処理Ｓ２２にて取り込んだ映像データを検索のキーとして、当該キーに最も類似する映像データを教示データベースから検索する（Ｓ２３）。【００４４】
制御部２１は、当該最も類似する映像データに関連づけられている操作内容データを読み出し（Ｓ２４）、当該操作内容データによって表わされる操作を指示する信号を、通信部２７を介して、ロボット本体１へ送出する（Ｓ２５）。以下制御部２１は、予め定めた時間だけ待機して、処理Ｓ２２に戻って処理を続ける。【００４５】
制御部２１は、例えば、オペレータがプログラムの実行停止を指示するまで、上記の処理を繰り返して実行する。これにより、ロボット本体１からの視点で撮像された映像データを用い、過去、当該映像データに近似する映像データが撮像されたときに行われた操作を参照してロボット本体１を制御する。つまり、一度熟練したオペレータが行った操作を教示しておくか、過去に作業に成功したときの操作を教示しておくことで、類似場面において当該時点の操作を再現させ、作業時のオペレータが必ずしも操作に熟練している必要がなく、利便性を向上でき、また人為的な操作をなるべく少なくして、自律的に動作可能にすることができる。【００４６】
なお、本実施の形態の処理Ｓ２３の検索では、既に述べたようにネオコグニトロンの処理を実行することとなる。すなわち、この検索の処理Ｓ２３では、制御部２１は、処理Ｓ２２にて取得した、キーとなる映像データを複数のブロックに分割し、各ブロックの方向線素特徴量を演算する。この方向線素特徴量の演算は、教示時と同様に行ってもよい。【００４７】
さらに制御部２１は、キーとなる映像データに含まれる各画素と、それに隣接する画素との色の差の絶対値を演算しておく。例えば、制御部２１は、キーとなる映像データに含まれる画素を順次、注目画素として選択する。そして注目画素に隣接する画素と、注目画素との色の差の絶対値（色空間上の距離）を演算する。この色の差は、例えば注目画素をラスタスキャン順（映像データの左上の画素から順に、左から右へ１ライン走査し、次に一つ下のラインへ移行して左から右へ…と、順次走査する順）に走査して選択する場合、直前の注目画素の画素値と、現在の注目画素の画素値との差としてもよいし、４近傍の各画素との差の平均などとしてもよい。【００４８】
各ブロックの方向線素特徴量が得られると、制御部２１は、教示データベースに格納されている検索用データを順次読み出す。ここでは各検索用データとして、位相順データ（線素パターンによって表わされる線分の角度ごとに、各角度の線素パターンに関連づけられている領域を特定する情報のリストを関連づけたデータ）を用いる場合を例として説明する。【００４９】
制御部２１は、キーとなる映像データに基づいて、演算により得た各ブロックの方向線素特徴量を参照し、予め定められた各線素パターンが表わす線分の角度ごとに、対応する角度の線素パターンに関連する方向線素特徴量となっているブロックを特定する情報のリストを関連づけたデータを生成する。このデータを、以下、比較対象位相順データと呼ぶ。【００５０】
制御部２１は、次に、比較対象位相順データの角度ごとのリスト（ブロックを特定する情報の各々）と、読み出した検索用データとしての位相順データ（注目検索用データと呼ぶ）に含まれるリストの差を演算する。具体的な例として、角度θの線分について、比較対象位相順データにおいて、（ｄｘｉ，ｄｙｉ）（ここでｉ＝０，１，２…）、検索用データである位相順データにおいて（ｘｊ，ｙｊ）（ここでｉ＝０，１，２…）とのリストが含まれているときには、
【数１】
2007138987.tif 000003
を演算して、この演算結果を、さらに角度θについて総和したものを、処理Ｓ２２で取得したキーとなる映像データと、注目検索用データとの距離ｄであるとする。【００５１】
なお、制御部２１は、距離ｄに対して、キーとなる映像データに含まれる画素の値（色）と、教示データベースにおいて注目検索用データに関連づけられている映像データの画素の値（色）との差に基づく重みを与えてもよい。この場合、キーとなる映像データと、注目検索用データに関連づけられている映像データとの各画素について、対応する画素値の差の絶対値を総和したもの｜ｅ｜と、先に演算した距離ｄとの加重和
Ｄ＝α｜ｅ｜＋βｄ
を補正距離Ｄとする（α、βは正の重みの値）。【００５２】
さらに、制御部２１は、次の演算によって補正距離Ｄを求めてもよい。すなわち制御部２１は、注目検索用データに係る映像データにおいても、当該映像データに含まれる各画素と、それに隣接する画素との色の差の絶対値（色空間上の距離）を演算しておく。そして制御部２１は、キーとなる映像データと注目検索用データとにおける各対応画素の、それぞれの周辺画素との色差の値ｃｐｚ、ｃｐｄｚを用い、その差ｆ＝ｃｐｚ−ｃｐｄｚを算出する。【００５３】
制御部２１は、この値ｆの絶対値｜ｆ｜を用いて、補正距離Ｄを、画素値の差の絶対値と｜ｅ｜とともに距離ｄに加重して加算し、
Ｄ＝α｜ｅ｜＋βｄ＋γ｜ｆ｜
としてもよい（α、β，γは正の重みの値）。【００５４】
これによると、色差が著しい部分が一致する場合とそうでない場合とを補正距離Ｄに影響させることができるようになり、例えば背景など色差が一般に大きくない部分の影響を軽減できる。【００５５】
また処理速度を向上するため、キーとなる映像データと、注目検索用データに関連づけられている映像データとをいずれも所定サイズの画像に縮小処理し、縮小処理後の各画素について、対応する画素値の差の絶対値を総和したｅや、隣接画素との差に係る値ｆの少なくとも一方、及び、先に演算した距離ｄとの加重和を以て補正距離Ｄを演算してもよい。【００５６】
制御部２１は、各検索用データを順次、注目検索用データとして選択しつつこの処理を行い、キーとなる映像データと各検索用データとの補正距離Ｄをそれぞれ演算する。【００５７】
そして補正距離Ｄが最小となっている検索用データに関連づけて教示データベースに登録されている映像データを、キーに最も類似する映像データとして選択する。【００５８】
［補正動作］
制御部２１は、さらにここで選択した映像データと、キーとなっている映像データとを比較し、その結果に基づいて次のようにロボット本体１の位置を移動させる、補正動作を行わせてもよい。例えば、比較に係る各映像データにおいて、同じ方向線素特徴量となっているブロック同士のｘ方向、及びｙ方向のずれ量（どれだけのブロック数離れているか）の平均を演算する。そして、得られたｘ方向及びｙ方向のずれ量に対応して予め定められた距離だけロボット本体１を移動してもよい。例えばｘ軸正の方向（ロボット前方に向かって右側）へｐｘ、ｙ軸（ロボットの前後方向）負の方向（ロボットの後方向き）へｐｙだけずれていれば、当該ｐｘ、ｐｙに対応する量だけ、ロボット本体１を右後方へ移動させることとしてもよい。【００５９】
［動き検出］
なお、ここまでの説明においては、教示時、及び作業時に取り込まれる映像データは静止画像（１コマぶんの映像）であるとして説明した。しかしながら、現実の動作においては、映像データから作業の対象物の線分が検出されるだけでなく、対象物が配置されている場所の背景からも線分が検出される。このことにより、背景の映像が類似する映像データの検索に影響してしまう場合もある。【００６０】
そこで、作業の対象物が移動する物体である場合などであって、移動の有無によって背景と区別できる場合は、映像データについて方向線素特徴量を演算するにあたり、予め複数コマの映像データを連続的に取得して、連続的に取得した映像データの差分に基づいて、動きのある部分を抽出し、当該動きのある部分について方向線素特徴量を演算するようにしても構わない。【００６１】
［三次元処理］
さらに、作業の対象物を立体的に視認し、ロボット本体１に取り付けられた撮像部１４から対象物までの距離と、撮像部１４から背景である机の面などまでの距離との差によって作業対象物を認識できるようにしてもよい。【００６２】
この場合は、ロボット本体１の幅方向両端にそれぞれ撮像部１４を設けて、遠隔制御装置２が各撮像部１４にて撮像した映像データをともに取得する。そして、制御部２１は、各映像データについて方向線素特徴量を演算した上で、それぞれの映像データから方向線素特徴量が共通する線素のペアのうち、距離が最も近接しているペアを検索し、当該距離の差を算出させる。そして、当該距離の差がしきい値未満のものは、ロボット本体１から比較的遠方にあるものとして、すなわち背景から抽出された線素であるとして、検索したペアを、記憶部２２から削除する。【００６３】
これにより、後の演算において、ロボット本体１からの距離が比較的近い物体（一般に作業対象物と考えられる）から抽出された線素を処理の対象として選択的に扱うことができ、作業対象物の認識精度を向上できる。【００６４】
［動作］
本発明の実施の形態は、以上の構成を備えてなり、従って次のように動作する。ここでは２つの直方体のブロックを用い、一方のブロックを他方のブロックの上に配置する作業を例として説明する。まずオペレータは、遠隔制御装置２を操作して教示処理の開始を指示する。すると、ロボット本体１に設置された撮像部１４にて撮像された映像データを、遠隔制御装置２が受信して取り込む。遠隔制御装置２は、この映像データに含まれる線分の位置と角度に関する情報を、検索用データとして生成しておく。【００６５】
ここでは映像データとして、２つのブロックが比較的遠方にバラバラに置かれた状態が撮像されているものとする（図１２における（Ａ）を参照）。ここから抽出される線分は、各ブロックの輪郭線に係る線分となる。遠隔制御装置２は、この輪郭線の位置及び角度の情報を生成することになる。【００６６】
オペレータは、遠隔操作装置３を操作して、ブロックをパケットＨで把持可能な位置までロボット本体１を移動する操作（前進操作）を行う。遠隔制御装置２は、この遠隔操作装置３から入力される信号に基づいて、操作の内容を表す情報を生成するとともに、当該操作の内容を指示する信号をロボット本体１へ送出する。ロボット本体１では、この信号を受信して前進動作を行う。【００６７】
遠隔制御装置２は、当初撮像された映像データと、当該映像データから生成した検索用データと、操作の内容を表す情報とを互いに関連づけて、教示データベースに格納する。【００６８】
以下、オペレータが、アームを操作し、またパケットの開閉操作を行って一方のブロックをつかみあげ、次いでアームを移動する操作及びロボット本体１を移動する操作をして、他方のブロック上に、つかみあげたブロックを載せる操作を行うと、遠隔制御装置２は、各操作の行われる前に取得した映像データと、それに基づいて生成した検索用データとに、各操作の内容を表す情報を関連づけて教示データベースに格納していく（図１２）。オペレータは、作業を完遂すると、遠隔制御装置２に対してプログラム実行の中断を命じる。【００６９】
次いで、他の場面において、２つのブロックがバラバラに置かれた状況において、オペレータが、ロボット本体１を、各ブロックから教示時よりもさらに遠方に置き、遠隔制御装置２に対して作業の処理開始を指示すると、遠隔制御装置２が作業モードでの動作を開始する。【００７０】
すなわち、遠隔制御装置２は、ロボット本体１が撮像している映像データを受信し、当該受信した映像データをキーとして、このキーとなる映像データから線分を抽出して、当該抽出した線分の位置及び角度の情報を生成する。次に、遠隔制御装置２は、当該生成した線分の位置及び角度の情報やキーとなった映像データを用いて、教示データベースに格納されている映像データから、現在ロボット本体１が撮像している映像データに最も類似する映像データを検索する。【００７１】
ここでは遠隔制御装置２は、例えばキーとなった映像データから生成した線分の位置及び角度と、教示データベースにおいて映像データに関連づけて記録されている検索用データとを比較し、最も近接している検索用データを選択する。そして、当該検索用データに関連づけられた映像データを、現在撮像している映像に最も類似する映像データであると判断する。既に説明したように、映像データ自体を比較の対象として、色の類似度や、隣接画素との色の差分などに基づく重みを加えても構わない。【００７２】
遠隔制御装置２は、現在撮像している映像に最も類似すると判断された映像データに関連づけて教示データベースに記録されている、操作の内容の情報を読み出し、当該読み出した操作の内容に関わる信号を、ロボット本体１に送出する。【００７３】
ここでの例では、まず、２つのブロックがバラバラに配置されている映像が撮像されるが、その位置が、各ブロックに対する作業が可能な位置にあるので、図１２に示した教示データベースの内容例にあって、（Ａ）の検索用データが最も近接したデータとして選択される。そしてこの（Ａ）の映像データが、現在撮像している映像に最も類似すると判断される。ここでは（Ａ）の映像データに対し、オペレータが過去に行った前進移動の操作が関連づけられているので、遠隔制御装置２は、当該前進移動をロボット本体１側へ指示する。【００７４】
オペレータが過去に行った前進移動が完了すると、遠隔制御装置２は、さらにロボット本体１にて撮像されている映像データを取得する。ここでは、教示時よりもブロックから遠い場所にロボット本体１を置いたので、オペレータが過去に行った前進操作だけでは、移動距離が不足しており、ブロックに対する作業が可能な位置までロボット本体１は移動していない。【００７５】
このため、ここで取得した映像データに対しては、再度（Ａ）の検索用データが最も近接したデータとして選択される。そしてこの（Ａ）の映像データが、現在撮像している映像に最も類似すると判断される。ここでは（Ａ）の映像データに対し、オペレータが過去に行った前進移動の操作が関連づけられているので、遠隔制御装置２は、当該前進移動をロボット本体１側へ指示する。【００７６】
こうしてロボット本体１がさらに前進を行い、ブロックに対する作業が可能な位置までロボット本体１が移動する。この段階になると、遠隔制御装置２が、ロボット本体１にて撮像されている映像データを取得すると、当該取得した映像データに対しては、アームの移動及びパケットの開閉操作が関連づけられている映像データ（Ｂ）が最も類似したデータとして選択される。そこで遠隔制御装置２は、このアームの移動及びパケットの開閉操作をロボット本体１側へ指示する。【００７７】
この指示によりロボット本体１は、その位置を移動することなく、アームを移動してパケットを開き、さらにアームをおろしてアームを閉じ、ブロックをつかみあげる作業を開始する。【００７８】
すなわち、本実施の形態の作業ロボットでは、ロボット本体１が撮像している映像に対して、当該映像に類似する映像が撮像されたときに、オペレータが行った作業を繰り返して実行する。【００７９】
このように本実施の形態によると、オペレータは一度でも作業に成功したときの記録を作業ロボットに記憶させておけば、必ずしも操作に熟練を要する必要がなく、利便性を向上できる。また、撮像されている映像を想起しつつ、当該想起した映像に関連づけられている作業を実行するので、上記した動作の例のように、作業の対象物が予め定められた位置に置かれていない場合も、対象物をつかみあげる作業を行った時点で撮像された映像が想起されるまでは、対象物までの移動を行う作業が行われ、次いで対象物をつかみあげる操作などが行われることとなり、利用場面を拡大できる。【００８０】
こうして本実施の形態によると、人為的な操作をなるべく少なくして、自律的に動作可能な作業ロボットとすることができる。【００８１】
［その他のセンサ］
ここまでの説明では、ロボット本体１側にて撮像された映像データに対して、行われた作業が記録され、現在撮像されている映像データをキーとして、過去に取得した映像データを想起し、当該想起した映像データに関連づけられている作業を実行する例について述べたが、本実施の形態はこれに限られず、例えば、ロボット本体１に前方、側方、後方にある物体（対象物ないし障害物）までの距離を測定するセンサ（距離センサ）や、ロボット本体１の進行方向や車幅方向の傾きを測定する傾斜センサ、さらにパケットに対象物が把持されているか否かを検出するためのひずみゲージや距離センサなどを備えてもよい。【００８２】
この場合、各センサの情報を検索用データに含め、作業時の動作において、各センサで測定した値と、各検索用データに含まれる値との差を演算し、各検索用データとの類似度を映像データの類似度とともに重み付け加算して、現在取得されている映像データや測定データと、過去の映像データや測定データとの類似度を演算し、類似度の最も高い映像データや測定データに関連づけられている操作の内容を取得して、ロボット本体１に対し、当該操作の内容に基づく信号を送出して、ロボット本体１を制御する。【００８３】
これによると、例えばパケットにより対象物をつかみ損ねた場合に、ひずみゲージによる検出結果により、対象物をつかんでいる過去の状態とは異なることとなり、作業を続行して、つかんだと考えられる対象物を移動する操作を行ってしまうといった不具合が回避される。【００８４】
［距離センサの利用例］
さらに、ロボット本体１の外周に、例えば床面までの距離を測定する距離センサを設けておいてもよい。ロボット本体１の制御部１１は、いずれかの距離センサ（注目センサとする）が測定した床面までの距離が、予め定められた値を超えている場合（または他の距離センサの測定結果の平均から所定しきい値を超えて離れている場合）、遠隔制御装置２から入力される指示にかかわらず、ロボット本体１の動作を停止させるか、または注目センサの位置とは逆方向へロボット本体１を移動させるよう制御してもよい。これにより、ロボット本体１を台の上で動作させているときに、ロボット本体１が台などから落下することを防止できる。【００８５】
また、ここでは床面までの距離を測定する例としたが、壁面や障害物などを検出するべく、水平方向へ向けた距離センサを設け、いずれかの距離センサが、所定距離範囲内の障害物を検出したときに、制御部１１において、遠隔制御装置２から入力される指示にかかわらず、ロボット本体１の動作を停止させるか、または注目センサの位置とは逆方向へロボット本体１を移動させるよう制御してもよい。【００８６】
［達成状態までの経路探索］
ここまでの説明では、操作開始前の映像データや測定データに対して、オペレータが過去に行った操作を関連づけることで、過去に取得したものと類似する映像データや測定データが再び得られたときに、当該過去に取得した、類似する映像データや測定データに関連づけされたオペレータの操作が再度実行されることとした。しかしながら、操作開始前の映像データや測定データとともに、操作完了後の映像データや測定データを、オペレータがその間に行った操作に関連づけて、教示データベースに格納しておくこととしてもよい。【００８７】
これによると、初期状態と、完了状態と、操作の内容といった操作要素が教示データベースに蓄積されることとなる。そして、遠隔制御装置２は、作業の指示を受けた時点での映像データや測定データと、所与の目標状態における映像データや測定データを特定する情報とに基づき、目標状態に至るまでの操作の組み合わせを、教示データベースに格納された操作要素のデータの組み合わせに基づいて決定してもよい。この決定は、例えばコンピュータにより記号推論を行うプログラムを実行して、試行錯誤的方法によって行うことができる。かかるプログラムは、人工知能プログラムとして種々開発されているので、ここでの詳細な説明を省略する。【００８８】
操作の組み合わせを決定すると、遠隔制御装置２は、各操作を時系列の順に、ロボット本体１へ指示する。そしてロボット本体１が当該指示に従って、移動し、または作業を行う。【００８９】
［撮像部１４の配置］
さらに本実施の形態のロボット本体１に設けた撮像部１４は、ロボット本体１のアームＡの動きに連動して、撮像範囲を変化させるよう制御してもよい。例えばアームＡのうち、第１アーム部の仰角に連動して、仰角が高いほど水平方向に近い方向を撮像し、仰角が小さくなると（第１アーム部が水平に近くなり、パケットＨが床面に近接すると）、パケットＨの方向（床面方向）を撮像するようにそのチルト角を変化させる。【００９０】
また別の例では、撮像部１４として、水平方向を撮像する第１カメラと、パケットＨの方向を撮像する第２カメラとを設けてもよい。この場合、例えばアームＡの第１アーム部の仰角が、予め定めたしきい値より大であるときに第１カメラの映像を選択的にキーとして用いて想起動作を行う。また、アームＡの第１アーム部の仰角が、予め定めたしきい値より小さくなると、第２カメラの映像を選択的にキーとして用いて想起動作を行う。なお、教示時にも同様に、予め定めたしきい値より大であるときに第１カメラの映像を選択的に用いて検索用データを生成し、教示データベースを更新し、アームＡの第１アーム部の仰角が、予め定めたしきい値より小さくなると、第２カメラの映像を選択的に用いて検索用データを生成し、教示データベースを更新してもよい。【００９１】
また、アームＡに連動するのではなく、例えばロボット本体１の前方に設けた距離センサなどにより、対象物までの距離が測定できれば、当該距離に応じて撮像部１４の撮像範囲を変更してもよい。例えば撮像部１４は、対象物方向を向くように、そのパンとチルトとが制御されてもよい。【００９２】
また撮像部１４のパンやチルト角を変化させるばかりでなく、撮像した画像から一部を切り出してキーとなる映像（または教示の対象となる映像）を得ることとする場合、当該切り出す範囲を変更することで、撮像範囲を変更制御してもよい。【００９３】
［その他の変形例］
以上の説明では、ロボット本体１が無限軌道によって駆動され、アームとパケットとを備えた、いわばショベルカーの一種である例について述べたが、これに限られるものではなく、一般的なマニピュレータなどであってもよいし、さらにロボット相撲などの競技用ロボットであっても構わない。
【図１】
2007138987.tif 000004
【図２】
2007138987.tif 000005
【図３】
2007138987.tif 000006
【図４】
2007138987.tif 000007
【図５】
2007138987.tif 000008
【図６】
2007138987.tif 000009
【図７】
2007138987.tif 000010
【図８】
2007138987.tif 000011
【図９】
2007138987.tif 000012
【図１０】
2007138987.tif 000013
【図１１】
2007138987.tif 000014
【図１２】
2007138987.tif 000015
【手続補正書】
【提出日】平成20年10月3日(2008.10.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物を操作する作業を実行する作業ロボットであって、
前記対象物を含む映像を撮像する撮像手段と、
教示時において、前記撮像手段にて撮像された映像とオペレータにより教示された操作内容とを関連づけて保持する保持手段と、
作業時において、前記撮像手段にて撮像された映像を取得し、当該取得した映像に類似する映像を前記保持手段から検索し、当該検索の結果、前記保持手段から見いだされた映像に関連づけられた操作内容を読み出して、当該読み出した操作内容に従って対象物を操作する制御手段と、
前記保持手段から見いだした映像と、前記撮像手段にて撮像された映像とを比較し、当該比較の結果に基づいて、ずれ量を演算し、当該ずれ量に対応して予め定められた距離だけ作業ロボットを移動させる手段と、
を含むことを特徴とする作業ロボット。
【請求項２】
請求の範囲第１項に記載の作業ロボットにおいて、前記制御手段は、
前記撮像手段にて撮像された映像に含まれる輪郭線の線分の角度の情報を生成し、
前記保持手段に保持されている各映像に含まれる輪郭線の線分の角度の情報と、前記生成した、撮像された映像に含まれる輪郭線の線分の角度の情報とを比較することにより、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボット。
【請求項３】
請求の範囲第２項に記載の作業ロボットにおいて、
前記制御手段は、
前記撮像手段にて撮像された映像に含まれる色の情報を生成し、
前記保持手段に保持されている各映像に含まれる輪郭線の線分の角度の情報と、前記生成した、撮像された映像に含まれる輪郭線の線分の角度の情報との比較、及び前記保持手段に保持されている各映像に含まれる色の情報と、前記生成した、撮像された映像に含まれる色の情報との比較により、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボット。
【請求項４】
請求の範囲第１項から第３項のいずれかに記載の作業ロボットにおいて、
前記撮像手段は、移動または操作に応じて、撮像範囲を制御することを特徴とする作業ロボット。
【請求項５】
請求の範囲第２項から第４項のいずれかに記載の作業ロボットにおいて、
前記制御手段は、
前記撮像手段にて撮像された映像に含まれる色の情報を生成し、
前記保持手段に保持されている各映像に含まれる画素とその近傍画素との間の画素値の差の情報と、前記生成した、撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報との比較により、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボット。
【請求項６】
外部から入力される指示に従って対象物を操作する作業を実行する作業ロボットと、
前記作業ロボットに対して指示を出力する操作装置とを含み、
前記操作装置は、
前記対象物を含む映像を撮像する撮像手段と、
教示時において、前記撮像手段にて撮像された映像とオペレータにより教示された操作内容とを関連づけて保持する保持手段と、
作業時において、前記撮像手段にて撮像された映像を取得し、当該取得した映像に類似する映像を前記保持手段から検索し、当該検索の結果、前記保持手段から見いだされた映像に関連づけられた操作内容を読み出して、当該読み出した操作内容に従って対象物を操作する制御手段と、
前記保持手段から見いだした映像と、前記撮像手段にて撮像された映像とを比較し、当該比較の結果に基づいて、ずれ量を演算し、当該ずれ量に対応して予め定められた距離だけ作業ロボットを移動させる手段と、
を含むことを特徴とする作業ロボットシステム。
【請求項７】
請求の範囲第６項に記載の作業ロボットシステムであって、
前記作業ロボットは、自走して移動を行う手段と、作業ロボット外周に設けたセンサとを含み、
前記センサの検出結果が予め定められた条件を満足すると、前記操作装置からの指示にかかわらず所定の動作を行うことを特徴とする作業ロボットシステム。
【手続補正書】
【提出日】平成21年1月13日(2009.1.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物を操作する作業を実行する作業ロボットであって、
前記対象物を含む映像を撮像する撮像手段と、
教示時において、前記撮像手段にて撮像された映像とオペレータにより教示された操作内容とを関連づけて保持する保持手段と、
作業時において、前記撮像手段にて撮像された映像を取得し、当該取得した映像に類似する映像を前記保持手段から検索し、当該検索の結果、前記保持手段から見いだされた映像に関連づけられた操作内容を読み出して、当該読み出した操作内容に従って対象物を操作する制御手段と、
前記撮像手段にて撮像された映像に含まれる輪郭線の線分の角度の情報を生成し、
前記保持手段から見出した映像と、前記撮像手段にて撮像された映像とを比較し、当該比較の結果に基づいて、ずれ量を演算し、当該ずれ量に対応して予め定められた距離だけ作業ロボットを移動させる手段と、を含み、
前記制御手段は、
前記撮像手段にて撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報を生成し、
前記保持手段に保持されている各映像に含まれる輪郭線の線分の角度の情報と、前記生成した、撮像された映像に含まれる輪郭線の線分の角度の情報、並びに、
前記保持手段に保持されている各映像に含まれる画素とその近傍画素との間の画素値の差の情報と、前記生成した、撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報
を比較することにより、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボット。
【請求項２】
請求の範囲第１項に記載の作業ロボットにおいて、
前記制御手段は、
前記保持手段に保持されている各映像に含まれる輪郭線の線分の角度の情報と、前記生成した、撮像された映像に含まれる輪郭線の線分の角度の情報との比較、前記保持手段に保持されている各映像に含まれる画素値と、前記生成した、撮像された映像に含まれる画素値との比較、及び、前記保持手段に保持されている各映像に含まれる画素とその近傍画素との間の画素値の差の情報と、撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報との比較により、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボット。
【請求項３】
請求の範囲第１項から第３項のいずれかに記載の作業ロボットにおいて、
前記撮像手段は、移動または操作に応じて、撮像範囲を制御することを特徴とする作業ロボット。
【請求項４】
外部から入力される指示に従って対象物を操作する作業を実行する作業ロボットと、
前記作業ロボットに対して指示を出力する操作装置とを含み、
前記操作装置は、
前記対象物を含む映像を撮像する撮像手段と、
教示時において、前記撮像手段にて撮像された映像とオペレータにより教示された操作内容とを関連づけて保持する保持手段と、
作業時において、前記撮像手段にて撮像された映像を取得し、当該取得した映像に類似する映像を前記保持手段から検索し、当該検索の結果、前記保持手段から見いだされた映像に関連づけられた操作内容を読み出して、当該読み出した操作内容に従って対象物を操作する制御手段と、
前記保持手段から見出した映像と、前記撮像手段にて撮像された映像とを比較し、当該比較の結果に基づいて、ずれ量を演算し、当該ずれ量に対応して予め定められた距離だけ作業ロボットを移動させる手段と、
を含み、
前記制御手段は、
前記撮像手段にて撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報を生成し、
前記保持手段に保持されている各映像に含まれる画素とその近傍画素との間の画素値の差の情報と、前記生成した、撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報との比較、及び、
前記保持手段に保持されている各映像に含まれる輪郭線の線分の角度の情報と、撮像された映像に含まれる輪郭線の線分の角度の情報、
により、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボットシステム。
【請求項５】
請求の範囲第５項に記載の作業ロボットシステムであって、
前記作業ロボットは、自走して移動を行う手段と、作業ロボット外周に設けたセンサとを含み、
前記センサの検出結果が予め定められた条件を満足すると、前記操作装置からの指示にかかわらず所定の動作を行うことを特徴とする作業ロボットシステム。
【手続補正書】
【提出日】平成21年4月15日(2009.4.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物を操作する作業を実行する作業ロボットであって、
前記対象物を含む映像を撮像する撮像手段と、
教示時において、前記撮像手段にて撮像された映像とオペレータにより教示された操作内容とを関連づけて保持する保持手段と、
作業時において、前記撮像手段にて撮像された映像を取得し、当該取得した映像に類似する映像を前記保持手段から検索し、当該検索の結果、前記保持手段から見いだされた映像に関連づけられた操作内容を読み出して、当該読み出した操作内容に従って対象物を操作する制御手段と、
前記撮像手段にて撮像された映像に含まれる輪郭線の線分の角度の情報を生成し、
前記保持手段から見出した映像と、前記撮像手段にて撮像された映像とを比較し、当該比較の結果に基づいて、ずれ量を演算し、当該ずれ量に対応して予め定められた距離だけ作業ロボットを移動させる手段と、を含み、
前記制御手段は、
前記撮像手段にて撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報を生成し、
前記保持手段に保持されている各映像に含まれる輪郭線の線分の角度の情報と、前記生成した、撮像された映像に含まれる輪郭線の線分の角度の情報、並びに、
前記保持手段に保持されている各映像に含まれる画素とその近傍画素との間の画素値の差の情報と、前記生成した、撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報
を比較することにより、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボット。
【請求項２】
請求の範囲第１項に記載の作業ロボットにおいて、
前記制御手段は、
前記保持手段に保持されている各映像に含まれる輪郭線の線分の角度の情報と、前記生成した、撮像された映像に含まれる輪郭線の線分の角度の情報との比較、前記保持手段に保持されている各映像に含まれる画素値と、前記生成した、撮像された映像に含まれる画素値との比較、及び、前記保持手段に保持されている各映像に含まれる画素とその近傍画素との間の画素値の差の情報と、撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報との比較により、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボット。
【請求項３】
請求の範囲第１項から第３項のいずれかに記載の作業ロボットにおいて、
前記撮像手段は、移動または操作に応じて、撮像範囲を制御することを特徴とする作業ロボット。
【請求項４】
外部から入力される指示に従って対象物を操作する作業を実行する作業ロボットと、
前記作業ロボットに対して指示を出力する操作装置とを含み、
前記操作装置は、
前記対象物を含む映像を撮像する撮像手段と、
教示時において、前記撮像手段にて撮像された映像とオペレータにより教示された操作内容とを関連づけて保持する保持手段と、
作業時において、前記撮像手段にて撮像された映像を取得し、当該取得した映像に類似する映像を前記保持手段から検索し、当該検索の結果、前記保持手段から見いだされた映像に関連づけられた操作内容を読み出して、当該読み出した操作内容に従って対象物を操作する制御手段と、
前記保持手段から見出した映像と、前記撮像手段にて撮像された映像とを比較し、当該比較の結果に基づいて、ずれ量を演算し、当該ずれ量に対応して予め定められた距離だけ作業ロボットを移動させる手段と、
を含み、
前記制御手段は、
前記撮像手段にて撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報を生成し、
前記保持手段に保持されている各映像に含まれる画素とその近傍画素との間の画素値の差の情報と、前記生成した、撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報との比較、及び、
前記保持手段に保持されている各映像に含まれる輪郭線の線分の角度の情報と、撮像された映像に含まれる輪郭線の線分の角度の情報、
により、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボットシステム。
【請求項５】
請求の範囲第４項に記載の作業ロボットシステムであって、
前記作業ロボットは、自走して移動を行う手段と、作業ロボット外周に設けたセンサとを含み、
前記センサの検出結果が予め定められた条件を満足すると、前記操作装置からの指示にかかわらず所定の動作を行うことを特徴とする作業ロボットシステム。
【手続補正書】
【提出日】平成21年5月12日(2009.5.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物を操作する作業を実行する作業ロボットであって、
前記対象物を含む映像を撮像する撮像手段と、
教示時において、前記撮像手段にて撮像された映像とオペレータにより教示された操作内容とを関連づけて保持する保持手段と、
作業時において、前記撮像手段にて撮像された映像を取得し、当該取得した映像に類似する映像を前記保持手段から検索し、当該検索の結果、前記保持手段から見いだされた映像に関連づけられた操作内容を読み出して、当該読み出した操作内容に従って対象物を操作する制御手段と、
前記撮像手段にて撮像された映像に含まれる輪郭線の線分の角度の情報を生成し、
前記保持手段から見出した映像と、前記撮像手段にて撮像された映像とを比較し、当該比較の結果に基づいて、ずれ量を演算し、当該ずれ量に対応して予め定められた距離だけ作業ロボットを移動させる手段と、を含み、
前記制御手段は、
前記撮像手段にて撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報を生成し、
前記保持手段に保持されている各映像に含まれる輪郭線の線分の角度の情報と、前記生成した、撮像された映像に含まれる輪郭線の線分の角度の情報、並びに、
前記保持手段に保持されている各映像に含まれる画素とその近傍画素との間の画素値の差の情報と、前記生成した、撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報
を比較することにより、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボット。
【請求項２】
請求の範囲第１項に記載の作業ロボットにおいて、
前記制御手段は、
前記保持手段に保持されている各映像に含まれる輪郭線の線分の角度の情報と、前記生成した、撮像された映像に含まれる輪郭線の線分の角度の情報との比較、前記保持手段に保持されている各映像に含まれる画素値と、前記生成した、撮像された映像に含まれる画素値との比較、及び、前記保持手段に保持されている各映像に含まれる画素とその近傍画素との間の画素値の差の情報と、撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報との比較により、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボット。
【請求項３】
請求の範囲第１項または第２項に記載の作業ロボットにおいて、
前記撮像手段は、移動または操作に応じて、撮像範囲を制御することを特徴とする作業ロボット。
【請求項４】
外部から入力される指示に従って対象物を操作する作業を実行する作業ロボットと、
前記作業ロボットに対して指示を出力する操作装置とを含み、
前記操作装置は、
前記対象物を含む映像を撮像する撮像手段と、
教示時において、前記撮像手段にて撮像された映像とオペレータにより教示された操作内容とを関連づけて保持する保持手段と、
作業時において、前記撮像手段にて撮像された映像を取得し、当該取得した映像に類似する映像を前記保持手段から検索し、当該検索の結果、前記保持手段から見いだされた映像に関連づけられた操作内容を読み出して、当該読み出した操作内容に従って対象物を操作する制御手段と、
前記保持手段から見出した映像と、前記撮像手段にて撮像された映像とを比較し、当該比較の結果に基づいて、ずれ量を演算し、当該ずれ量に対応して予め定められた距離だけ作業ロボットを移動させる手段と、
を含み、
前記制御手段は、
前記撮像手段にて撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報を生成し、
前記保持手段に保持されている各映像に含まれる画素とその近傍画素との間の画素値の差の情報と、前記生成した、撮像された映像に含まれる画素とその近傍画素との間の画素値の差の情報との比較、及び、
前記保持手段に保持されている各映像に含まれる輪郭線の線分の角度の情報と、撮像された映像に含まれる輪郭線の線分の角度の情報、
により、前記撮像された映像に類似する映像を前記保持手段から検索することを特徴とする作業ロボットシステム。
【請求項５】
請求の範囲第４項に記載の作業ロボットシステムであって、
前記作業ロボットは、自走して移動を行う手段と、作業ロボット外周に設けたセンサとを含み、
前記センサの検出結果が予め定められた条件を満足すると、前記操作装置からの指示にかかわらず所定の動作を行うことを特徴とする作業ロボットシステム。
【国際調査報告】
2007138987.tif 000016
2007138987.tif 000017
2007138987.tif 000018
2007138987.tif 000019
2007138987.tif 000020
2007138987.tif 000021
2007138987.tif 000022