(57)【要約】【課題】撮像装置の取り付ける方向や表示モニタを設置する位置によらず、作業環境の視認に適した画像を表示させ、使用者の視覚的な負担を軽減することのできる情報表示装置を提供すること。【解決手段】対象物体をロボットを用いて把持するロボットシステムにおいて、前記システムは前記対象物体を認識するための撮影カメラまたは計測センサーと、前記カメラが撮影した情報または前記センサーで計測した情報をモニタに表示する表示手段と、前記表示手段に表示される情報の方位を一律に変換する変換手段と、前記変換手段のパラメータを指定する指定手段とを備え、前記変換手段は回転変換もしくは反転変換もしくはその両方を前記パラメータに従って実施する変換であることを特徴とする。【選択図】図６
2017113815.tif 000002
【特許請求の範囲】
【請求項１】
対象物体をロボットを用いて把持、ピッキングするロボットシステムにおいて、
前記システムは前記対象物体を認識するための撮影カメラまたは計測センサーと、
前記カメラが撮影した情報または前記センサーで計測した情報をモニタに表示する表示手段と、
前記表示手段に表示される情報の方位を一律に変換する変換手段と、
前記変換手段のパラメータを指定する指定手段とを備え、
前記変換手段は前記パラメータに従って回転変換もしくは反転変換もしくはその両方を施す変換である
ことを特徴とするロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置によって対象物の位置・姿勢を計測し、その情報を基にロボットを用いて部品を把持し、部品の供給・搬送・組立・組み付けなどを行うロボットシステムの画像表示装置、及びプログラムに関する。
【背景技術】
【０００２】
近年、工場などの製造現場において、ロボットアームなどを備えたロボットシステムが人間の代わりに組立や搬送を行うことが多くなっている。例えば、撮像カメラを用いて、製造部品やその部品を格納するトレイ等の撮像画像を取得し、当該撮像画像を画像解析することにより、ロボットアームを製造部品の把持に適した位置に移動させることが出来る。
【０００３】
また、特許文献１において開示されているように、製造部品の位置や姿勢（方位）の認識精度を向上させ、ロボットが精密に製造部品を把持できるように、製造部品やロボットアームなどの複数の姿勢を事前に撮像し、その解析結果を把持姿勢情報としてフィードバックするようなセットアップ過程を含むロボットシステムがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１０１３２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような撮像画像を基にしてロボットを制御するロボットシステムを構築する場面や、そのシステムが正しく稼働していることを確認する場面において、作業者は撮像結果を表示モニタ上で参照し、同時にロボットシステムの現状の作業環境を視認しながら行うのが一般的である。
【０００６】
また、システム構築の完了後、第三者に対してロボットシステムの稼働状況を周知したりする場合も表示モニタに映された各種画像と作業環境を比較しながら視認することが効果的である。
【０００７】
しかしながら、撮像装置の取り付ける方向や表示モニタを設置する位置、作業者や観測者を含む使用者が直接視認した作業環境の方位は視認する方向によってまちまちで、撮像装置が生成した画像の方位と視認した作業環境の方位が一致しないことも多く、その場合はロボットシステムの視認が複雑になり、使用者の負担が増加する。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係るロボットシステムは、
対象物体をロボットを用いて把持するロボットシステムにおいて、
前記システムは前記対象物体を認識するための撮影カメラまたは計測センサーと、
前記カメラが撮影した情報または前記センサーで計測した情報をモニタに表示する表示手段と、
前記表示手段に表示される情報の方位を一律に変換する変換手段と、
前記変換手段のパラメータを指定する指定手段とを備え、
前記変換手段は前記パラメータに従って回転変換もしくは反転変換もしくはその両方を施す変換であることを特徴とする。
【発明の効果】
【０００９】
本発明に係るロボットシステムによれば、ロボットシステムの複雑な作業手順調整を視認する際の使用者の負担を軽減し、また稼働中のロボットシステムシステムの動作確認の視認性を向上させる効果が得られる。
【図面の簡単な説明】
【００１０】
【図１】第一の実施形態におけるロボットシステムの構成を示す図である。
【図２】第一の実施形態に適用されるロボットシステムの情報処理を示す図である。
【図３】本発明にかかるロボットシステムの画像表示方位の設定画面の例である。
【図４】本発明にかかる画像表示方位の設定方法を例示した図である。
【図５】対象物画像の生成・更新処理の流れを示すフローチャートである。
【図６】第ニの実施形態に適用されるロボットシステムの構成を示す図である。
【図７】第三の実施形態に適用されるロボットシステムの構成を示す図である。
【図８】作業環境の見かけの方位が反転した時の方位調整方法を説明する図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態を図面に基づいて説明する。
【００１２】
＜第１実施形態＞
第１の実施形態における好適なロボットシステムの装置構成を各種図面を参照しながら説明する。なお、図面に記載の同一部材・工程には同一の記号を付記し、既に説明した記号については再度の説明を省略することもある。
【００１３】
図１は本実施形態におけるロボットシステム（対象物把持システム）の構成を示す図である。図１（Ａ）はロボットシステムの構成を上方から見た図であり、図１（Ｂ）は図１（Ａ）記載の構成を横から見た図である。
【００１４】
１００はロボットシステムが製造部品の組立・搬送をするための状態や空間領域を示す作業環境１００である。ロボットシステムは、ロボットアーム１１と、撮像装置１３と、コントローラー１４とを備える。
【００１５】
ロボットアーム１１は、６軸自由度のアームであり、エンドエフェクタとして二指ハンド機構（以下、「ハンド１２」と称する）を備える。ハンド１２は、部品１６を把持できるような構造となっている。なお、ロボットとハンドの組み合わせは把持対象物体の形状特性に合わせて設計するべきものであり、ここに示した６軸ロボットと２指ハンド機構に限ったものではない。
【００１６】
また、部品１６は、図１ではアイボルトを例示したが、ネジなどのそのほかの部品でもよい。部品１６は、はじめ部品トレイ１５にばらばらの姿勢で積載されており、位置及び姿勢の計測によって把持が可能と判断された部品１６はロボットアーム１１によって把持される。さらに部品１６は組立・搬送・加工を行うための作業台１７にコントローラー１４が指示した位置・姿勢（方位）に並べられたり、そのほかの機構に組み付けられたりする。作業台１７に並べられた部品１６の配置例は図１に破線で示してある。なお、部品トレイ１５の中に部品１６が整列されて置かれており、それをロボットとハンドを用いて把持しても構わない。
【００１７】
撮像装置１３は、カメラである。撮像装置１３は部品１６を撮像したり、格納物である部品トレイ１５を撮像したりして部品の位置を計測するための画像データを取得するものである。この撮像装置は２次元センサアレイによる一括情報取得方式でもよく、またスキャン方式でもよい。計測によって得られる情報は光軸に対して垂直方向に広がる２次元の輝度分布情報であったり、あるいは、三角測量法を応用してパターン化された照明ごとに計測結果を収集し、解析処理によって生成した３次元的な対象物の座標の情報であっても良い。また、光学系のデフォーカス特性を参照して得られた３次元的な対象物の座標情報であっても良い。
【００１８】
フレーム１８は、撮像装置１３を固定的に取り付ける為の構造物である。フレーム１８は撮像の対象物によっては天井や床、壁などでもよい。
【００１９】
コントローラー１４は、ロボットアーム１１、ハンド１２、及びカメラ１３を制御して、各機構の動作を制御する。ここでコントローラー１４は、一般的にコンピュータから構成されるが、本実施形態はその構成を限定するものではない。部品トレイ１５には、組立や搬送のための部品１６が積載されている。
【００２０】
ロボットシステムの構成中や稼働中に得られた撮像結果としての画像、もしくはその画像の解析結果としての分布データ（今後、単にまとめて「画像」と表現する）は表示モニタ１９に映し出される。表示モニタ１９は図１に付記した矢印の方向を向いている。作業者２０は表示モニタ１９及び作業エリア１００を図中記載の方向を向きながら確認し、ロボットシステムの設定や操作を行う。
【００２１】
図２はコントローラー１４の概略構成の一例を示すブロック図である。
【００２２】
バス２００には、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、画像処理回路２０４、不揮発性大容量メモリ２０５、撮像制御部（Ｉ／Ｆ）２０６、画像入力部（Ｉ／Ｆ）２０７、およびロボット制御部（Ｉ／Ｆ）２０８、画像出力部（Ｉ／Ｆ）２０９、の各部が接続されている。ＲＯＭ２０２には、ＣＰＵ２０１のブートプログラムや定数パラメータ等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の作業領域や、撮像装置１３により撮像された画像を一時的に記憶する保存領域として用いられる。
【００２３】
画像処理回路２０４は、ロボットアーム１１が部品１６を把持する際に参照する画像生成処理や、部品を搭載した部品トレイ１５を撮像した画像から対象物の位置と姿勢を推定する姿勢パターン検出処理、および、それらに必要な前処理の少なくとも一部を処理する専用ハードウェア回路である。なお、システムにおいて特に画像処理回路部２０４を備えずＣＰＵ２０１で動作させるプログラムにより全ての画像処理を行う構成とすることも可能である。このようにすると、通常は、コストは低減できるが処理速度は遅くなる。
【００２４】
不揮発性大容量メモリ２０５は、例えばＨＤＤ装置であり、ＣＰＵ２０１で動作させるプログラムや、システムのパラメータ、生成した対象物の画像を記憶する。
【００２５】
撮像制御部２０６は、撮像装置１３に接続して撮像タイミングの通知等の撮像制御を行う専用Ｉ／Ｆを備える。
【００２６】
画像入力部２０７は、コントローラー１４の出力部（不図示）に接続され、撮像した画像データをコントローラー内に取り込む。
【００２７】
ロボット制御部２０８は、ロボットアーム１１及びハンド１２に接続され、所望の動作制御を行うためのＩ／Ｆを備える。
【００２８】
画像出力部２０９は、表示モニタ１９の入力部（不図示）に接続され、撮像・解析して得られた画像およびパラメータを表示モニタ１９に映し出す。
【００２９】
次に、図３および図４を用いて本実施形態における表示モニタ上の画像と作業環境１００の作業者２０の見え方（方位）を合致させる方法を説明する。
【００３０】
図３は作業者２０が表示モニタ１９上で参照することのできるＵＩ（ユーザーインターフフェース）の表示方位設定画面３００であり、指定された角度だけ画像３０１の方位を回転させることができる。
【００３１】
表示方位設定画面３００はコントローラー１４の操作環境設定画面から遷移することができる。表示方位設定画面３００には撮像装置１３が取得した画像３０１が示されている。画像３０２の方位の初期値はコントローラー１４が内部で保持している画像の方位のままとする。また画像３０１の回転は、方位規定手段３０２によって随時変更することができる。
【００３２】
方位規定手段３０２には左９０度回転ボタン３０２−Ａ、右９０度回転ボタン３０２−Ｂ、方位入力ボックス３０２−Ｃが配置されている。最初の２つのボタンを押すと画像３０１は即座にそれぞれのボタンが示すとおりに画像を回転させて表示を更新する。また、画像３０１をマウスでドラッグすると、その動作に連動して画像３０１が表示画面内で回転し、その時点の方位が方位入力ボックス３０２−Ｃに反映される。また、ダイレクトに方位入力ボックス３０２−Ｃに数値（角度）を入力して画像を回転させることも可能である。ダイレクトに入力した数値（回転角）は、「適用」ボタン３０３を押すことで２次元画像の画面回転角として反映される。
【００３３】
画像３０１にはその方位を示すための軸（＋ｘ軸、＋ｙ軸）が重ねて示されており、その方位の変更に合わせてこれらの軸の方位も画面回転時に更新される。
【００３４】
表示方位設定画面３００で変更した画面の回転を反映するためには、「適用」ボタン３０４、「ＯＫ」ボタン３０５、「デフォルト」ボタン３０６、「キャンセル」ボタン３０７、を使用する。
【００３５】
「適用」ボタン３０４を押すと、ロボットシステムの方位表示設定を保存し、「ＯＫ」ボタンを押すと、「適用」３０５ボタンの機能に加えて、表示方位設定画面３００から抜ける。「デフォルト」ボタン３０６を押すと、方位表示設定の変更を破棄し、初期状態に戻る。「キャンセル」ボタンを３０７を押すと、方位表示設定の変更を行わず、表示方位設定画面３００から抜ける。
【００３６】
表示方位が更新された場合、コントローラー１４は表示モニタ１９にロボットシステムが保持する画像を、その都度コントローラー１４が保持している方位から指定値だけ回転した画像を表示するようにプログラムされている。
【００３７】
以上、ＵＩを用いた方位の規定・反映方法を説明したが、もちろんそれらの方式はここに記載したものに限定されず様々な形式をとりうる。
【００３８】
なお、画像３０１が例えば撮像対象の表面の３次元座標を示すデータで、射影によって２次元表示をしているものであったとき、画面回転の方位はデフォルトの２次元表示画面３０１の全域をそのまま回転させたものとなる。上記の３次元座標を示すデータは、例えば表示中にマウスなどのドラッグで観測視点を３次元的に回転させることが可能なので、画像の方位の設定を変更しても３次元座標データを観測できる視点のバリエーションが増えるわけではないが、作業者２０が所望の観測視点にたどり着くまでの操作量を低減させる効果がある。
【００３９】
図４は図３に示したＵＩを用いて作業者２０が参照する表示モニタ１９と作業環境１００の視点を図示したものである。撮像装置１３の撮像範囲に部品トレイ１５が存在する時、その表示モニタ１９上の配置と、作業環境１００のうち、部品トレイ１５やそこに配置されている部品１６の配置などを比較する。
【００４０】
図４（Ａ）は作業環境１００の一部として作業者２０が部品トレイ１５及びそこに配置されている部品１６を直接視認した時の様子である。図４（Ｂ）は図４（Ａ）の観察対象に対応した表示方位設定画面３００に映った画像３０１である。作業者２０はこれら２つの配置を比較し、回転の方位が一致するように画像３０２の方位を修正する。修正の角度は例えば円の破線で囲った部品１６が画面の下部に来るようになるような角度であるので、画像３０１を紙面上で左に９０度回転すればよい。図４（Ｃ）は画像を回転し、方位を設定した後の画像３０１の様子である。
【００４１】
最後に、作業者２０が設定した画像表示方位の回転指示量を正しく反映させるためにコントローラー１４が制御する処理フローを図５記載の各ステップ番号を用いて説明する（Ｓはステップを示す）。
【００４２】
ステップＳ５０１では、画像２０３の表示の命令を受信した時点か事前に、方位の設定値を取得しておく。
【００４３】
これ以降のステップは、コントローラー１４の画像２０３の表示要求があればその都度実行される。
【００４４】
ステップＳ５０２では、表示すべき対象の画像２０３の情報を回転を考慮せずに保持する。
【００４５】
ステップＳ５０３では、ステップＳ５０２で取得した画像をステップＳ５０１もしくは後述するステップＳ５０５で得た方位に基づいて回転させ、表示モニタ１９に表示する。
【００４６】
ステップＳ５０４は作業者２０が表示された画像２０３と作業者２０が作業環境を見た時の方位が合致しているかの判断を委ねるステップである。作業者２０が方位の修正をＵＩで指示したならば、図３（Ａ）で例示したような設定画面を開き、ステップＳ５０５において方位を修正する。
【００４７】
ステップＳ５０６では作業者２０が画像２０３の種別変更を指示する、ステップＳ５０７ではその要求を反映する。この時、元の画像２０３と回転方位は同じままとする。
【００４８】
ここまでがコントローラー１４による画像２０３の表示に関する処理フローである。このフローは作業者２０が画像２０３の表示終了を指示するステップＳ５０８に進むまで継続する。
【００４９】
ステップＳ５０８の指示をコントローラー１４が受け付け、ステップＳ５０９に進むと、コントローラー１４は現在の方位の設定を保存する。最後にステップＳ５１０で画像２０３の表示を終了する。
【００５０】
＜第２実施形態＞
第２の実施形態における好適なロボットシステムの装置構成を各種図面を参照しながら説明する。
【００５１】
本実施形態が第１の実施形態と異なる点は、ロボットシステムを視認する人間が複数おり、それぞれ作業環境を視認する方位が異なる点である。
【００５２】
図６は第２の実施形態におけるロボットシステムの装置構成を上から見た図であり、第１の実施形態のロボットシステムに対して、下記の変更がある。すなわち、作業者２０が作業環境１００を視認する時の視線Ａとは異なった視点から作業環境１００を視線Ｂの方向に視認する観測者２２と、第二の画像表示装置として、観測者２２が撮像装置１３が取得した画像を参照するための表示モニタ２１が存在する点が異なる。表示モニタ２１に表示される操作画面のシステムは、表示モニタ１９に表示されるシステムと同等である。また、観測者２１が撮像装置１３の撮像範囲を参照できるよう、フレームやコントローラー１４のレイアウトは異なっているが、撮像装置１３やフレーム１８の果たす機能は同等である。また、コントローラー１４に備わっている画像出力部２０９は２つの表示モニタすなわち表示モニタ１９と表示モニタ２１にそれぞれ画像を出力できる構成となっている。
【００５３】
作業者２０はロボットシステムの構築もしくはそのシステムの稼働状態を容易に視認できるように、視線Ａに対応する表示モニタ１９上の画像３０１の方位と、視線Ｂに対応する表示モニタ２１上の画像３０１の方位をそれぞれ設定、保存する。このとき、視線Ａと視線Ｂの方向は異なるので、それぞれの視線に対応する画像３０１の方位の設定値は異なる。
【００５４】
このように上記２つの表示モニタが各種画像を回転させる方位を別々に規定すると、例えば、視線Ａの方向から作業者２０がロボットシステムを観察しつつ、別の視線Ｂの方向から別の人間、すなわち観測者２２もロボットシステムを容易に視認することができる。
【００５５】
以上、本実施形態では、異なる人間がそれぞれ異なる視点からロボットシステムを視認するための手法を説明したが、本実施形態は、複数の表示モニタによって複数の視点で作業環境を視認しやすくなる手法を説明している。従って、少なくとも２人の人間、すなわち作業者２０と観測者２２に相当する人間の区別は実際にはしなくとも良い。
【００５６】
例えば、観測者２２は、作業者２０と同じくロボットシステムの設定を調整する者でもよいし、また、ロボットシステムが稼働できる状態になれば、作業者２０は実質観測者２２としてロボットシステムを視認することになる。
【００５７】
さらに、作業者２０と観測者２２は１人の人間でも良く、１人の人間が作業者２０の位置や観測者２２の位置に移動し、視点を変更しながらロボットシステムの構築や稼働をそれぞれの位置にある表示モニタを参照しながら実施することも可能である。
【００５８】
勿論、表示モニタは３台以上用意し、それぞれの表示モニタはそれぞれ異なった方向から作業環境１００を視認できる位置に配置しても良い。
【００５９】
＜第３実施形態＞
第３の実施形態における好適なロボットシステムの構成を各種図面を参照しながら説明する。
【００６０】
図７は本実施形態におけるロボットシステムの装置構成を示す図である。
【００６１】
この構成は、ロボットアームなどから使用者を保護する不透明で板状の防護柵２３及びミラー２４が追加されている以外は図１記載の構成と同じである。
【００６２】
ロボットの防護柵２３が必要で、作業環境１００を作業者２０が直接視認することが困難な場合、ロボットシステムの視認にミラー２４を用いて間接的に視認する必要がある。ミラー２４の鏡面は平面あるいは曲面で構成され、ロボットシステムで視認すべき範囲をカバーできるようにスキャン機構が備わっていることもある。
【００６３】
図３のように間接的に作業環境１００を視認する場合は、直接視認する場合の見え方に対して上下、左右、もしくは斜めに反転した像を参照することがよくある。
【００６４】
図８は図７で示したように間接的に視認した作業環境１００の像が、直接視認した場合の像に対して反転した場合に画像３０１と作業環境１００の作業者２０の両者の見え方（方位）を合致させる方法を説明する為の図である。
【００６５】
図８（Ａ）は作業環境１００の一部として作業者２０が部品トレイ１５及びそこに配置されている部品１６を間接的に視認した時の様子である。この方位は、図４（Ａ）で示したミラー２４が無い時の配置と比較すると、部品１６の見かけ上の配置がミラー２４によって上下に座標が反転している。すなわち作業環境１００の見かけ上の方位が上下反転している。
【００６６】
図８（Ｂ）は上記の視認によって得られた作業環境１００の方位を表示方位設定画面３００によって調整した結果である。図８（Ｂ）の様子は図４（Ｃ）を比較すると、ｙ軸の方向は同じで、ｘ軸の正負のみが反転して表示されている。言い換えると、画像３０１の方位は、画面の座標回転と特定方向（例えばｘ軸）の座標反転の組み合わせで調整することができる。
【００６７】
従って、本実施形態の表示方位設定画面３００のＵＩは、例えばｘ軸の方向のみ座標を反転させるボタンが第１の実施例で例示したＵＩの構成と共に追加されているものを用いる。
【００６８】
座標反転させる方位は、ｘ軸である必要はなく、ｘ軸に対して角度をもった方位であっても良い。反転の方位が異なったＵＩを用たとしても必ず同一の方位変換となるような回転角度が存在する。また、座標反転と回転の順番はどちらが先でも良い（ただし回転角はその順番に依存する）。
【００６９】
以上に説明したように、作業者２０は、画像３０１の方位の回転や反転を設定することで、表示モニタ１９と見かけ上の作業環境１００の方位を一致させることができ、ロボットシステムの操作や視認が容易になる。
【００７０】
本発明は、撮像装置によって対象物の位置・姿勢を計測し、その情報を基にロボットを用いて部品を把持し、部品の供給・搬送・組立・組み付けなどを行うロボットシステム、とりわけ製造部品の組み立てや搬送を目的とした部品ピッキングシステムに適用可能である。
【符号の説明】
【００７１】
１００  作業環境、１１  ロボットアーム、１２  ハンド、１３  撮像装置、
１４  コントローラー、１５  部品トレイ、１６  部品、１７  作業台、
１８  フレーム、１９  表示モニタ、２０  作業者、２１  表示モニタ、２２  観測者、
２００  バス、２０１  ＣＰＵ、２０２  ＲＯＭ、２０３  ＲＡＭ、
２０４  画像処理回路、２０５  不揮発性大容量メモリ、
２０６  撮像制御部（Ｉ／Ｆ）、２０７  画像入力部（Ｉ／Ｆ）、
２０８  ロボット制御部（Ｉ／Ｆ）、２０９  画像出力部（Ｉ／Ｆ）、
３００  表示方位設定画面、３０１  画像、３０２  方位規定手段、
３０２−Ａ  左９０度回転ボタン、３０２−Ｂ  右９０度回転ボタン、
３０２−Ｃ  方位入力ボックス、３０３  適用ボタン、
３０４  設定更新ボタン
【図１】
2017113815.tif 000003
【図２】
2017113815.tif 000004
【図３】
2017113815.tif 000005
【図４】
2017113815.tif 000006
【図５】
2017113815.tif 000007
【図６】
2017113815.tif 000008
【図７】
2017113815.tif 000009
【図８】
2017113815.tif 000010