(57)【要約】  遠隔操作ロボットシステムは、所定の作業を行うロボットアームと、操作者がロボットアームの動作を遠隔で操作するための遠隔操作装置と、ロボットアームの作業を撮像する複数のカメラと、送られた撮像画像が表示されるモニタと、操作者から複数のカメラのうちの１つのカメラの選択を受け付けることにより、モニタに表示される撮像画像を選択されたカメラからの撮像画像に切り替えるためのカメラ選択情報を生成するカメラ選択装置と、作業におけるロボットアームの動作に関する動作情報とカメラ選択情報とを関連付けた情報を自動切替情報として記憶する記憶装置と、複数のカメラの中から、記憶装置に記憶された自動切替情報に基づいて選択されたカメラからの撮像画像をモニタに送る画像処理部と、を備える。
2017033359.tif 000002
【特許請求の範囲】
【請求項１】
所定の作業を行うロボットアームと、
操作者が前記ロボットアームの動作を遠隔で操作するための遠隔操作装置と、
前記ロボットアームの作業を撮像する複数のカメラと、
送られた撮像画像が表示されるモニタと、
操作者から前記複数のカメラのうちの１つのカメラの選択を受け付けることにより、前記モニタに表示される撮像画像を前記選択されたカメラからの撮像画像に切り替えるためのカメラ選択情報を生成するカメラ選択装置と、
前記作業における前記ロボットアームの動作に関する動作情報と前記カメラ選択情報とを関連付けた情報を自動切替情報として記憶する記憶装置と、
前記複数のカメラの中から、前記記憶装置に記憶された前記自動切替情報に基づいて選択されたカメラからの撮像画像を前記モニタに送る画像処理部と、を備える、遠隔操作ロボットシステム。
【請求項２】
前記画像処理部の処理モードとして、前記カメラ選択装置から送られた前記カメラ選択情報に基づいて選択されたカメラからの撮像画像を前記モニタに送るカメラ選択モードと、前記記憶装置に記憶された前記自動切替情報に基づいて選択されたカメラからの撮像画像を前記モニタに送る自動切替モードのいずれかのモードの選択を操作者から受け付ける切替モード選択部を更に備える、請求項１に記載の遠隔操作ロボットシステム。
【請求項３】
前記複数のカメラにそれぞれ対応して設けられ、前記複数のカメラのうち対応するカメラからの撮像画像がそれぞれ表示される、前記モニタとは異なる複数のサブモニタを備え、
前記カメラ選択装置は、操作者の視線を検出することにより、前記複数のサブモニタのうち、操作者の視線が所定時間向けられたサブモニタを特定し、特定されたサブモニタに対応するカメラを、操作者により選択されたカメラとして受け付ける、請求項１又は２に記載の遠隔操作ロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔操作ロボットシステムに関する。
【背景技術】
【０００２】
従来から、部品の組付け作業などの繰り返し作業には、産業用ロボットが用いられている。産業用ロボットは、作業に必要な情報を教示されることにより、教示された動作を自動で高速且つ精度良く行うことができる。しかしながら、微妙な位置合わせを必要とする作業を行ったり作業環境に変化が生じたりする場合には、ロボットが自動で作業を行うよりも操作者がロボットを遠隔操作して作業を行った方が都合がよいことがある。特許文献１には、操作者からの操作指示に基づきロボットを動作させることができる遠隔操作ロボットシステムが提案されている。【０００３】
特許文献１に開示された遠隔操作ロボットシステムは、作業環境を撮像するカメラと、カメラが撮像した撮像画像を表示する表示装置とを備えており、自動化が難しい作業に入るところで、ロボットアームが自動運転から手動運転に切り替えられるように構成されている。操作者は、表示装置に表示された撮像画像を見ながらロボットアームを遠隔操作して、ロボットアームに所定の作業を行わせる。【０００４】
このような遠隔操作ロボットシステムでは、作業環境を撮像するカメラが１台しか設けられていない場合、操作者は、作業対象物とロボットとの位置関係を一方向からしか把握できない。このため、操作者が遠隔操作してロボットアームに精度良く作業を行わせることが難しくなる。特許文献１には、複数台のカメラを設ける構成にして、表示装置に表示される撮像画像を取り込むカメラが切り替わるようにしておくことが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３９２４４９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
遠隔操作ロボットシステムが複数台のカメラを備えた構成である場合、操作者が表示装置を見て作業対象物とロボットの位置関係を正確に把握できるよう、作業前にカメラが切り替わるタイミングを予め調整する必要がある。この調整作業は操作者にとって手間であり、また、作業対象物等に変更が生じた場合には再度調整作業を行う必要が生じる。このため、カメラ切替のタイミングを調整する作業の負担を軽減することが望まれるが、特許文献１には、この点に関して一切記載されていない。【０００７】
そこで、本発明は、ロボットアームを遠隔操作するのに適切な画像をモニタに表示するためのカメラの切替を容易に行うことができる遠隔操作ロボットシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するために、本発明の遠隔操作ロボットシステムは、所定の作業を行うロボットアームと、操作者が前記ロボットアームの動作を遠隔で操作するための遠隔操作装置と、前記ロボットアームの作業を撮像する複数のカメラと、送られた撮像画像が表示されるモニタと、操作者から前記複数のカメラのうちの１つのカメラの選択を受け付けることにより、前記モニタに表示される撮像画像を前記選択されたカメラからの撮像画像に切り替えるためのカメラ選択情報を生成するカメラ選択装置と、前記作業における前記ロボットアームの動作に関する動作情報と、前記カメラ選択情報とを関連付けた情報を自動切替情報として記憶する記憶装置と、前記複数のカメラの中から、前記記憶装置に記憶された前記自動切替情報に基づいて選択されたカメラからの撮像画像を前記モニタに送る画像処理部と、を備える。【０００９】
上記の構成によれば、カメラ選択装置により複数のカメラのうちの１つのカメラが選択されて、モニタに表示される撮像画像が切り替えられる。また、記憶装置には、作業におけるロボットアームの動作に関する動作情報とカメラ選択情報とを関連付けた情報が自動切替情報として記憶される。このため、次回以降のロボットアームの作業では、カメラ選択装置によりカメラ選択がされなくても、画像処理部は、記憶装置に記憶された自動切替情報に基づいてモニタに表示される撮像画像をロボットアームを遠隔操作するのに適するように自動的に切り替えることができる。さらに、実際の作業の中でカメラ選択装置を用いたカメラ切替を行うことで自動切替情報を記憶することができるため、作業前にカメラ切替のタイミングを予め調整しなくても、実作業の中でカメラが自動で切り替えられるタイミングの調整を行うことができる。【００１０】
上記の遠隔操作ロボットシステムは、前記画像処理部の処理モードとして、前記カメラ選択装置から送られた前記カメラ選択情報に基づいて選択されたカメラからの撮像画像を前記モニタに送るカメラ選択モードと、前記記憶装置に記憶された前記自動切替情報に基づいて選択されたカメラからの撮像画像を前記モニタに送る自動切替モードのいずれかのモードの選択を操作者から受け付ける切替モード選択部を更に備えてもよい。この構成によれば、切替モード選択部によりモニタに表示される撮像画像を操作者の選択により切り替えるか自動で切り替えるかを選択することができる。このため、操作者は、作業内容や作業対象物などに応じてカメラ切替の方法を臨機応変に変更することができる。【００１１】
上記の遠隔操作ロボットシステムは、前記複数のカメラにそれぞれ対応して設けられ、前記複数のカメラのうち対応するカメラからの撮像画像がそれぞれ表示される、前記モニタとは異なる複数のサブモニタを備え、前記カメラ選択装置は、操作者の視線を検出することにより、前記複数のサブモニタのうち、操作者の視線が所定時間向けられたサブモニタを特定し、特定されたサブモニタに対応するカメラを、操作者により選択されたカメラとして受け付けてもよい。この構成によれば、モニタの画像を切り替えるためのカメラの選択を手を使わずに行うことができる。
【発明の効果】
【００１２】
本発明は、ロボットアームを遠隔操作するのに適切な画像をモニタに表示するためのカメラの切替を容易に行うことができる遠隔操作ロボットシステムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態に係る遠隔操作ロボットシステムの構成を示す模式図である。
【図２】図１に示す遠隔操作ロボットシステムの制御系統の構成を示す模式図である。
【図３】第２実施形態に係る遠隔操作ロボットシステムの制御系統の構成を示す模式図である。
【発明を実施するための形態】
【００１４】
＜第１実施形態＞
以下、本発明の第１実施形態に係る遠隔操作ロボットシステムについて図面を参照して説明する。本実施形態に係るロボットシステム１００は、所定の作業を繰り返し行うロボットアーム１と、手動操作によりロボットアーム１の動作を遠隔操作するための遠隔操作装置２を備えたシステムである。ロボットシステム１００では、ロボットアーム１の作業領域から離れた位置（作業領域外）にいる操作者が遠隔操作装置２を手動操作して指令を入力することで、ロボットアーム１が該指令に対応した動作を行い、特定の作業を行うことができる。また、ロボットシステム１００では、ロボットアーム１は、操作者による遠隔操作装置２の操作なしに、所定の作業を自動的に行うこともできる。
【００１５】
本明細書では、遠隔操作装置２を介して入力された指令に従って、ロボットアーム１を動作させる運転モードを「手動モード」と称する。なお、上述の「手動モード」には、操作者が遠隔操作装置２を操作することによって入力された指令に基づいて動作中のロボットアーム１の動作の一部が自動で動作補正される場合も含む。また、予め設定されたタスクプログラムに従ってロボットアーム１を動作させる運転モードを「自動モード」と称する。
【００１６】
更に、本実施形態のロボットシステム１００では、ロボットアーム１が自動で動作している途中に、遠隔操作装置２の操作をロボットアーム１の自動の動作に反映させて、自動で行うことになっていた動作を修正することができるように構成されている。本明細書では、遠隔操作装置２を介して入力された指令を反映可能な状態で、予め設定されたタスクプログラムに従ってロボットアーム１を動作させる運転モードを「修正自動モード」と称する。なお、上述の「自動モード」は、ロボットアーム１を動作させる運転モードが自動モードであるときは遠隔操作装置２の操作がロボットアーム１の動作に反映されないという点で、「修正自動モード」と区別される。
【００１７】
まず、図１を参照して、本実施形態に係るロボットシステム１００の構成について説明する。図１は、本実施形態に係るロボットシステム１００の構成の一例を示す模式図である。図１に示すように、ロボットシステム１００は、産業用ロボット１０と、遠隔操作装置２と、カメラシステム４と、モニタシステム５と、記憶装置６と、入力装置７、視線検出装置８とを備える。以下、ロボットシステム１００の各構成要素について詳細に説明する。
【００１８】
（産業用ロボット１０の構成）
産業用ロボット１０は、ロボットアーム１と、ロボットアーム１の先端に装着されるエンドエフェクタ１６と、ロボットアーム１及びエンドエフェクタ１６の動作を司る制御装置３とを備えている。本実施形態では、産業用ロボット１０は、組付物Ｗ１を被組付物Ｗ２に組み付ける組み付け作業を行うロボットである。より具体的には、被組付物Ｗ２は、支持台（図示略）に支持されており、組付物Ｗ１が組付けられる上下方向に貫通した孔部を有している。エンドエフェクタ１６は、組付物Ｗ１を把持する把持部である。但し、産業用ロボット１０は、特に限定されず、例えば、溶接ロボットや塗装ロボット、塗布ロボット、検査ロボットなどであってもよい。
【００１９】
ロボットアーム１は、基台１５と、基台１５に支持された腕部１３と、腕部１３の先端に支持され、エンドエフェクタ１６が装着される手首部１４とを備えている。ロボットアーム１は、図１に示すように３以上の複数の関節ＪＴ１〜ＪＴ６を有する多関節ロボットアームであって、複数のリンク１１ａ〜１１ｆが順次連結されて構成されている。より詳しくは、第１関節ＪＴ１では、基台１５と、第１リンク１１ａの基端部とが、鉛直方向に延びる軸回りに回転可能に連結されている。第２関節ＪＴ２では、第１リンク１１ａの先端部と、第２リンク１１ｂの基端部とが、水平方向に延びる軸回りに回転可能に連結されている。第３関節ＪＴ３では、第２リンク１１ｂの先端部と、第３リンク１１ｃの基端部とが、水平方向に延びる軸回りに回転可能に連結されている。第４関節ＪＴ４では、第３リンク１１ｃの先端部と、第４リンク１１ｄの基端部とが、第４リンク１１ｃの長手方向に延びる軸回りに回転可能に連結されている。第５関節ＪＴ５では、第４リンク１１ｄの先端部と、第５リンク１１ｅの基端部とが、リンク１１ｄの長手方向と直交する軸回りに回転可能に連結されている。第６関節ＪＴ６では、第５リンク１１ｅの先端部と第６リンク１１ｆの基端部とが、捻れ回転可能に連結されている。そして、第６リンク１１ｆの先端部にはメカニカルインターフェースが設けられている。このメカニカルインターフェースには、作業対象物（本実施形態では組付物Ｗ１及び被組付物Ｗ２）に対する作業内容に対応したエンドエフェクタ（本実施形態では把持部）１６が着脱可能に装着される。
【００２０】
上記の第１関節ＪＴ１、第１リンク１１ａ、第２関節ＪＴ２、第２リンク１１ｂ、第３関節ＪＴ３、及び第３リンク１１ｃから成るリンクと関節の連結体によって、ロボットアーム１の腕部１３が形成されている。また、上記の第４関節ＪＴ４、第４リンク１１ｄ、第５関節ＪＴ５、第５リンク１１ｅ、第６関節ＪＴ６、及び第４リンク１１ｆから成るリンクと関節の連結体によって、ロボットアーム１の手首部１４が形成されている。
【００２１】
関節ＪＴ１〜ＪＴ６には、それが連結する２つの部材を相対的に回転させるアクチュエータの一例としての駆動モータ（図示略）が設けられている。駆動モータは、例えば、制御装置３によってサーボ制御されるサーボモータである。また、関節ＪＴ１〜ＪＴ６には、駆動モータの回転位置を検出するための回転センサ（図示略）と、駆動モータの回転を制御する電流を検出するための電流センサ（図示略）とが設けられている。回転センサは、例えばエンコーダである。
【００２２】
制御装置３は、例えば、マイクロコントローラ、ＭＰＵ、ＰＬＣ（Programmable Logic Controller）、論理回路等からなる演算部（図示せず）と、ＲＯＭやＲＡＭ等からなるメモリ部（図示せず）とにより構成されている。
【００２３】
図２は、ロボットシステム１００の制御系統の構成を示す模式図である。図２に示すように、制御装置３は、機能ブロックとして、動作制御部３１、画像処理部３２、関連付け部３３、及び自動切替情報生成部３４を備えている。制御装置３が備える機能ブロックは、例えば、制御装置３の演算部がメモリ部に格納されているプログラムを読み出し実行することにより実現できる。各機能ブロック３１〜３４についての詳細は後述する。
【００２４】
（遠隔操作装置２）
図１に戻って、遠隔操作装置２は、操作者からの操作指示を受け付ける装置である。遠隔操作装置２は、ロボットアーム１の作業領域外に設置されている。本実施形態における遠隔操作装置２は、例えばジョイスティックである。遠隔操作装置２を操作することにより操作情報が生成され、生成された操作情報は制御装置３に送られる。本実施形態のロボットシステム１００では、ロボットアーム１を動作させる運転モードが手動モードであるときに操作情報が制御装置３に送られると、ロボットアーム１は、操作情報に応じた動作を行う。また、ロボットアーム１を動作させる運転モードが修正自動モードであるときに操作情報が制御装置３に送られると、自動で動作している途中のロボットアーム１の動作が操作情報により修正される。
【００２５】
（カメラシステム４）
カメラシステム４は、第１カメラ４１、第２カメラ４２、第３カメラ４３、及び第４カメラ４４により構成される。第１カメラ４１、第２カメラ４２、第３カメラ４３、及び第４カメラ４４は、ロボットアーム１が設けられている空間に設置されており、互いに異なる方向からロボットアーム１の作業を撮像する。具体的に、第１カメラ４１は、支持された被組付物Ｗ２及びロボットアーム１より上方に配置されており、上方から被組付物Ｗ２及びロボットアーム１の全体を撮像する。第２カメラ４２は、エンドエフェクタ１６に固定された支持アーム４２ａの先端に取り付けられており、第２カメラ４２の視野がエンドエフェクタ１６の先端部分（即ち、組付物Ｗ１を把持する箇所）を含むように配置されている。すなわち、エンドエフェクタ１６が組付物Ｗ１を把持している場合には、第２カメラ４２は、エンドエフェクタ１６の先端部分だけでなく、組付物Ｗ１も撮像する。第３カメラ４３は、支持台に支持された被組付物Ｗ２を横方向から撮像するように設けられている。第４カメラ４４は、支持台に支持された被組付物Ｗ２を下方から撮像するように設けられている。例えば、被組付物Ｗ２は、その孔部の延びる方向と第４カメラ４４の光軸の延びる方向が一致するように設けられている。
【００２６】
第１カメラ４１、第２カメラ４２、第３カメラ４３、及び第４カメラ４４は、それぞれ、制御装置３に有線又は無線により接続されており、各カメラ４１〜４４により撮像された撮像画像は、制御装置３の画像処理部３２に送られる。
【００２７】
（モニタシステム５）
モニタシステム５は、メインモニタ５０、第１サブモニタ５１、第２サブモニタ５２、第３サブモニタ５３、及び第４サブモニタ５４により構成される。メインモニタ５０及び第１〜第４サブモニタ５１〜５４は、それぞれ制御装置３に有線又は無線により接続されており、各モニタ５０〜５４には制御装置３から送られた撮像画像が表示される。メインモニタ５０は、第１〜第４サブモニタ５１〜５４に比べて画面サイズが大きく、操作者（操作者）は、メインモニタ５０に出力された撮像画像を見ながら、遠隔操作装置２を操作する。メインモニタ５０には、画像処理部３２で選択されたカメラからの撮像画像が送られる。
【００２８】
第１〜第４サブモニタ５１〜５４は、第１〜第４カメラ４１〜４４にそれぞれ対応して設けられたモニタである。第１〜第４サブモニタ５１〜５４には、対応するカメラからの撮像画像がそれぞれ表示される。すなわち、第１サブモニタ５１には、それに対応する第１カメラ４１からの撮像画像が表示され、第２サブモニタ５２には、それに対応する第２カメラ４２からの撮像画像が表示され、第３サブモニタ５３には、それに対応する第３カメラ４３からの撮像画像が表示され、第４サブモニタ５４には、それに対応する第４カメラ４４からの撮像画像が表示される。本実施形態では、第１〜第４サブモニタ５１〜５４には、それぞれ、第１〜第４カメラ４１〜４４で撮像された撮像画像が制御装置３を介して送られるが、第１〜第４サブモニタ５１〜５４には、それぞれ、第１〜第４カメラ４１〜４４で撮像された撮像画像が直接又は別の装置を介して送られてもよい。
【００２９】
（視線検出装置８）
視線検出装置８は、操作者の視線を検出する装置である。本実施形態では、視線検出装置８は、操作者から第１〜第４カメラ４１〜４４のうちの１つのカメラの選択を受け付ける本発明のカメラ選択装置として機能する。すなわち、視線検出装置８は、第１〜第４カメラ４１〜４４のうちのいずれのカメラで撮像された撮像画像をメインモニタ５０に表示するかについて操作者が選択するために用いられる。
【００３０】
視線検出装置８は、遠隔操作装置２を操作する操作者の視線が第１〜第４サブモニタ５１〜５４のうちのいずれに向けられているかを検出して、操作者の視線が向けられたサブモニタを特定する。そして、視線検出装置８は、特定されたサブモニタに対応するカメラを、操作者により選択されたカメラとして受け付ける。例えば、視線検出装置８は、ある１つのサブモニタに対して操作者の視線が所定時間向けられたか否かを判定して、所定時間視線が向けられたと判定された場合にそのサブモニタを操作者により選択されたカメラとして受け付ける。
【００３１】
視線検出装置８は、視線による操作者からのカメラの選択を受け付けることにより、カメラ選択情報を生成する。カメラ選択情報は、メインモニタ５０に表示される撮像画像を、当該選択されたカメラからの撮像画像に切り替えるための情報である。視線検出装置８は、有線又は無線で制御装置３に接続されており、生成されたカメラ選択情報は、制御装置３の画像処理部３２及び関連付け部３３に送られる。本実施形態では、視線検出装置８は、操作者に装着可能な装着型であってもよいし、非装着型であってもよい。
【００３２】
（入力装置７）
入力装置７は、操作者からの操作指示を受け付け、受け付けた操作指示を制御装置３に入力する入力装置である。入力装置７は、遠隔操作装置２とともに作業空間外に設置されている。本実施形態では、入力装置７は、タブレット端末である。但し、入力装置７の構成は、特に限定されず、例えば、スイッチ、調整ツマミ、操作レバー又はパーソナルコンピュータなどであってもよい。図２に示すように、入力装置７は、運転モード選択部７１、切替モード選択部７２、及び画像操作部７３を備えている。本実施形態では、運転モード選択部７１、切替モード選択部７２、及び画像操作部７３は、それぞれ、タブレット端末の表示画面上の操作ボタン等により構成されている。
【００３３】
運転モード選択部７１は、ロボットアーム１を動作させる運転モードを、上述した自動モード、修正自動モード及び手動モードから操作者が選択するために使用される。運転モード選択部７１により選択された運転モードに関する情報は、制御装置３の動作制御部３１に送られる。動作制御部３１は、運転モード選択部７１から送られた情報に基づき、すなわち運転モード選択部７１により選択されている運転モードに従い、ロボットアーム１を動作させる。
【００３４】
具体的に、動作制御部３１には、遠隔操作装置２を操作することにより生成された操作情報が送られる。また、制御装置３のメモリ部には、ロボットアーム１に自動で動作させるための予定軌道情報が記憶されており、動作制御部３１に該予定軌道情報が送られる。動作制御部３１は、運転モード選択部７１で選択されている運転モードに従い、予定軌道情報及び操作情報の一方又は両方を用いる。
【００３５】
運転モード選択部７１で選択されている運転モードが手動モードであるとき、動作制御部３１は操作情報を用いる。より詳しくは、動作制御部３１は、ロボットアーム１を動作させる運転モードが手動モードであるとき、予定軌道情報を用いず、遠隔操作装置２を操作することにより送られた操作情報（入力指令）を用いて、ロボットアーム１の動作を制御する。
【００３６】
また、運転モード選択部７１で選択されている運転モードが自動モードであるとき、動作制御部３１は予定軌道情報を用いる。より詳しくは、動作制御部３１は、ロボットアーム１を動作させる運転モードが自動モードであるとき、遠隔操作装置２から送られた操作情報を用いず、予め設定されたタスクプログラムに従って予定軌道情報を用いてロボットアーム１の動作を制御する。
【００３７】
また、運転モード選択部７１で選択されている運転モードが修正自動モードであるとき、動作制御部３１は、予定軌道情報と操作情報の両方を用いる。なお、運転モードが修正自動モードであるときに、操作情報が動作制御部３１に送られていない場合は、動作制御部３１は予定軌道情報のみを用いる。より詳しくは、動作制御部３１は、ロボットアーム１を動作させる運転モードが修正自動モードであるとき、ロボットアーム１が予定軌道情報を用いて自動で動作している途中に操作情報を受けると、予定軌道情報と操作情報の両方を用いてロボットアーム１の動作を制御する。これにより、ロボットアーム１が予定軌道情報に基づき自動でたどることになっていた予定の軌道が修正される。
【００３８】
切替モード選択部７２は、ロボットアーム１の作業において、メインモニタ５０に表示される撮像画像を自動的に切り替えるか操作者の選択により切り替えるかを操作者が選択するために利用される。切替モード選択部７２は、画像処理部３２の処理モードとして、カメラ選択モードと自動切替モードのいずれかのモードの選択を操作者から受け付ける。カメラ選択モードは、画像処理部３２が視線検出装置８から送られるカメラ選択情報に基づいてメインモニタ５０に表示される撮像画像を切り替える処理モードである。また、自動切替モードは、画像処理部３２が記憶装置６に記憶された自動切替情報に基づいてメインモニタ５０に表示される撮像画像を切り替える処理モードである。
【００３９】
画像操作部７３は、メインモニタ５０に表示された撮像画像を操作者が操作するために利用される。例えば、画像操作部７３は、メインモニタ５０に表示された撮像画像を拡大及び縮小できるように構成されていてもよい。
【００４０】
（記憶装置６）
記憶装置６は、読み書き可能な記録媒体であり、メインモニタ５０に表示される撮像画像を自動で切り替えるための情報である自動切替情報６１が記憶されている。自動切替情報６１は、制御装置３の関連付け部３３で生成される。
【００４１】
関連付け部３３は、視線検出装置８から送られたカメラ選択情報を、一作業におけるロボットアーム１の動作に関する情報（以下、「動作情報」という。）と関連付けて、自動切替情報を生成する。
【００４２】
ここで、動作情報は、例えば、ロボットアーム１の先端部の位置情報、ロボットアーム１の姿勢情報、エンドエフェクタ１６の状態情報、又はそれらの組み合わせである。上記の位置情報や姿勢情報は、例えば、ロボットアーム１の回転センサから送られる各駆動モータの回転位置情報から算出される。エンドエフェクタ１６の状態情報は、例えば、エンドエフェクタ１６が把持部である場合には、把持部が作業対象物を把持した状態にあるか否かに関する情報である。本実施形態では、動作情報は、動作制御部３１から関連付け部３３に送られる。
【００４３】
自動切替情報６１は、次回以降のロボットアーム１の作業において、視線検出装置８による操作者のカメラ選択なしに、メインモニタ５０に表示される撮像画像を自動で切り替えるための情報である。自動切替情報６１が用いられることにより、操作者の選択により撮像画像の切替を行なった場合と同様のタイミングで、メインモニタ５０に表示される撮像画像の切替が自動で行われる。但し、記憶装置６に自動切替情報６１が記憶された後の作業において、必ず自動切替情報６１が用いられる必要はない。例えば、記憶装置６に自動切替情報６１が記憶された後の作業でも、切替モード選択部７２によりカメラ選択モードが選択されていれば、自動切替情報６１が用いられることなく、メインモニタ５０に表示される撮像画像は視線検出装置８により切り替えられる。
【００４４】
また、自動切替情報６１は、ロボットアーム１により繰り返し行われる作業の中の一回の作業におけるカメラ切替のタイミングに関する。本実施形態では、関連付け部３３が、エンドエフェクタ１６が組付物Ｗ１の把持を把持してから組付物Ｗ１の把持を解除するまでのロボットアーム１の動作に関する情報と、カメラ選択情報とを関連付けて、自動切替情報６１を生成する。そして、エンドエフェクタ１６が組付物Ｗ１の把持を解除したときに、記憶装置６に自動切替情報６１が記憶される。
【００４５】
ロボットアーム１は遠隔操作装置２を手動操作されて動作するため、ロボットアーム１は、繰り返される作業のそれぞれにおいて、互いに異なる動作をする（例えば異なる軌道をたどる）場合が多い。このため、関連付け部３３は、ロボットアーム１の動作が視線検出装置８によりメインモニタ５０上の撮像画像を切り替えたときと完全に同じ動作状態になくても、概ね同じ動作状態になったときにメインモニタ５０上の撮像画像が自動で切り替わるように自動切替情報を生成する。例えば、関連付け部３３は、ロボットアーム１の先端部の位置が視線検出装置８によりメインモニタ５０上の撮像画像を切り替えたときと完全に同じ位置になくても、概ね同じ位置になったときにはメインモニタ５０上の撮像画像が自動で切り替わるように自動切替情報を生成してもよい。より具体的には、関連付け部３３は、ロボットアーム１の先端部の位置が視線検出装置８によりメインモニタ５０上の撮像画像を切り替えたときの位置から所定の距離範囲内に位置したときにメインモニタ５０上の撮像画像が自動で切り替わるように自動切替情報を生成してもよい。
【００４６】
次に、画像処理部３２による画像切替処理について説明する。上述したように、画像処理部３２の処理モードは、切替モード選択部７２が操作されることにより、メインモニタ５０に表示される撮像画像を操作者の選択により切り替えるカメラ選択モードと、メインモニタ５０に表示される撮像画像を自動で切り替える自動切替モードをとり得る。なお、記憶装置６に自動切替情報６１が１つも記憶されていない場合、画像処理部３２の処理モードとして自動的にカメラ選択モードが選択される。
【００４７】
切替モード選択部７２によりカメラ選択モードが選択されている場合、画像処理部３２は、視線検出装置８から送られたカメラ選択情報を用いてメインモニタ５０に表示される撮像画像の切替を行う。具体的には、切替モード選択部７２によりカメラ選択モードが選択されている場合、画像処理部３２は、視線検出装置８からカメラ選択情報が送られると、第１カメラ４１〜第４カメラ４４の中から、カメラ選択情報に基づいて選択されたカメラからの撮像画像をメインモニタ５０に送る。
【００４８】
すなわち、切替モード選択部７２によりカメラ選択モードが選択されている場合、操作者は、視線検出装置８により適宜メインモニタ５０に表示される撮像画像を切り替えながら、ロボットアーム１が組み付け作業を行うよう遠隔操作装置２を操作する。また、切替モード選択部７２によりカメラ選択モードが選択された状態で、ロボットアーム１が一回の組み付け作業を終えると、記憶装置６に自動切替情報６１が記憶される。
【００４９】
次回以降の組付け作業でも、切替モード選択部７２によりカメラ選択モードが選択されている間は、ロボットアーム１が一回の組み付け作業を終えるたびに、記憶装置６に自動切替情報６１が記憶される。本実施形態では、ロボットアーム１が組付け作業を終えるたびに、記憶装置６に記憶された自動切替情報６１が増えていく。但し、例えばロボットアーム１が組付け作業を終えたときに生成される自動切替情報６１が、前回の作業で記憶された自動切替情報６１を上書きして記憶装置６に記憶されてもよい。
【００５０】
切替モード選択部７２により自動切替モードが選択されている場合、画像処理部３２は、記憶装置６に記憶された自動切替情報６１を用いてメインモニタ５０に表示される撮像画像の切替を行う。具体的には、切替モード選択部７２により自動切替モードが選択されている場合、画像処理部３２は、第１カメラ４１〜第４カメラ４４の中から、記憶装置６に記憶された自動切替情報に基づいて選択されたカメラからの撮像画像をメインモニタ５０に送る。
【００５１】
本実施形態では、記憶装置６に複数の自動切替情報６１が記憶されている場合には、自動切替情報生成部３４が、記憶装置６に記憶された複数の自動切替情報６１を用いて、新たな自動切替情報６１を生成することが可能である。そして、画像処理部３２は、自動切替情報生成部３４で生成された自動切替情報６１に基づいて選択されたカメラからの撮像画像をメインモニタ５０に送ることが可能である。自動切替情報生成部３４による新たな自動切替情報６１の生成方法は、特に限定されず、撮像画像の切り替えタイミングがより適切になるアルゴリズムが採用される。例えば、自動切替情報生成部３４は、記憶装置６に記憶された複数の自動切替情報６１から、あるカメラ（例えば第１カメラ４１）から別のカメラ（例えば第２カメラ４２）に切り替えたときのロボットアーム１の先端部の位置座標を抽出し、抽出した位置座標の平均となる位置座標や、抽出した位置座標と平均となる位置座標との誤差などを算出してもよい。そして、算出した値に基づいて、新たな自動切替情報６１を生成してもよい。
【００５２】
以上説明したように、本実施形態に係るロボットシステム１００では、カメラ選択装置としての視線検出装置８により第１〜４カメラ４１〜４４のうちの１つのカメラが選択されて、メインモニタ５０に表示される撮像画像が切り替えられる。また、記憶装置６には、作業におけるロボットアーム１の動作に関する動作情報とカメラ選択情報とを関連付けた情報が自動切替情報６１として記憶される。このため、次回以降のロボットアーム１の作業では、視線検出装置８によりカメラ選択がされなくても、画像処理部３２は、記憶装置６に記憶された自動切替情報６１に基づいてメインモニタ５０に表示される撮像画像をロボットアーム１を遠隔操作するのに適するように自動的に切り替えることができる。さらに、実際の作業の中で視線検出装置８を用いたカメラ切替を行うことで自動切替情報６１を記憶することができるため、作業前にカメラ切替のタイミングを予め調整しなくても、実作業の中でカメラが自動で切り替えられるタイミングの調整を行うことができる。
【００５３】
また、本実施形態では、切替モード選択部７２によりメインモニタ５０に表示される撮像画像を操作者の選択により切り替えるか自動で切り替えるかを選択することができる。このため、操作者は、作業内容や作業対象物などに応じてカメラ切替の方法を臨機応変に変更することができる。
【００５４】
また、本実施形態では、操作者がカメラを選択するための手段として、操作者の視線を検出する視線検出装置８を用いている。このため、メインモニタ５０の画像を切り替えるためのカメラの選択を、手を使わずに行うことができる。また、視線検出装置８が、操作者の視線を検出することにより、操作者の視線が所定時間向けられたサブモニタを特定し、特定されたサブモニタに対応するカメラを、操作者により選択されたカメラとして受け付ける。このため、操作者は、メインモニタ５０の撮像画像を切り替える前に、各サブモニタに表示された撮像画像を確認することができる。
【００５５】
また、本実施形態では、記憶装置６に複数の自動切替情報６１が記憶されている場合には、自動切替情報生成部３４により、記憶装置６に記憶された複数の自動切替情報６１を用いて、より適切なカメラ切替のタイミングを提供する自動切替情報６１を生成することができる。
【００５６】
＜第２実施形態＞
次に、図３を参照して、第２実施形態に係る遠隔操作ロボットシステムを説明する。なお、本実施形態において、第１実施形態と同一構成要素には同一符号を付し、重複した説明は省略する。
【００５７】
図３は、第２実施形態に係る遠隔操作ロボットシステムの制御系統の構成を示す模式図である。本実施形態では、第１実施形態の視線検出装置８の代わりに、入力装置７がカメラ選択装置として機能するカメラ選択部７４を備える。本実施形態でも、入力装置７はタブレット端末であるが、第１実施形態と同様、これに限られない。カメラ選択部７４は、操作者からの手動操作による第１〜第４カメラ４１〜４４のうちの１つのカメラの選択を受け付ける。そして、カメラ選択部７４は、カメラ選択情報を生成し、制御装置３の画像処理部３２及び関連付け部３３に送る。
【００５８】
本実施形態では、第１〜第４サブモニタ５１〜５４は、操作者が第１〜第４カメラ４１〜４４で撮像されている撮像画像の確認するために使用される。すなわち、操作者は、メインモニタ５０に表示された撮像画像を見ながら遠隔操作装置２を操作する。操作者は、適宜第１〜第４サブモニタ５１〜５４上の撮像画像を確認し、カメラ選択部７４を操作して、メインモニタ５０に表示される撮像画像を切り替える。第１〜第４サブモニタ５１〜５４の代わりに、１つのサブモニタに第１〜第４カメラ４１〜４４からの４つの撮像画像を表示させてもよい。
【００５９】
本実施形態でも、第１実施形態と同様の効果を得ることができる。
【００６０】
＜その他の実施形態＞
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形が可能である。
【００６１】
例えば、上記実施形態では、遠隔操作装置２はジョイスティックであったが、特に限定されず、例えば、遠隔操作装置２は手動操作されるマスターアームであってもよい。
【００６２】
上記の実施形態では、運転モード選択部７１や切替モード選択部７２などの各入力部７１〜７４は、１つの入力装置７に備えられているが、別々の入力装置に設けられてもよい。また、遠隔操作装置２と入力装置７が一体的に構成されてもよい。また、上記実施形態では、動作制御部３１と画像処理部３２が１つの制御装置３に設けられているが、動作制御部３１と画像処理部３２は、別々の制御装置に設けられていてもよい。
【００６３】
また、上記実施形態では、ロボットアーム１を動作させる運転モードとして、自動モード、修正自動モード及び手動モードの中から操作者が選択可能であったが、ロボットアーム１を動作させる運転モードは、手動モード及び修正自動モードのうちの少なくとも１つを含んでいればよい。
【００６４】
また、上記実施形態では、記憶装置６に複数の自動切替情報６１が記憶されている場合に、画像処理部３２は、自動切替情報生成部３４で生成された自動切替情報６１に基づいて選択されたカメラからの撮像画像をメインモニタ５０に送っていたが、これに限られない。例えば、画像処理部３２は、記憶装置６に記憶された複数の自動切替情報６１のうちの最新の自動切替情報６１に基づいて選択されたカメラからの撮像画像をメインモニタ５０に送るように構成されていてもよい。あるいは、画像処理部３２は、記憶装置６に記憶された複数の自動切替情報６１のうちの最新の自動切替情報６１に基づいて選択されたカメラからの撮像画像をメインモニタ５０に送るように構成されていてもよい。例えば、入力装置７により、記憶装置６に記憶された複数の自動切替情報６１の中から画像処理部３２で使用される自動切替情報が選択されてもよい。これらの場合、制御装置３は自動切替情報生成部３４を備えていなくてもよい。
【００６５】
また、上記実施形態において、ロボットアーム１に固定された第２カメラ４２以外のカメラ４１，４３，４４は、被組付物Ｗ２に対する相対位置が一定となるように設けられていたが、被組付物Ｗ２に対する相対位置が変更するように構成されていてもよい。例えば、カメラは、被組付物Ｗ２に接近可能に構成されていてもよい。例えば、産業用ロボット１０が塗装作業を行うロボットであった場合、カメラは、エンドエフェクタ１６である塗装ガンの位置決めを行うときには、被組付物Ｗ２に接近し、塗装ガンから塗料を噴出するときには、塗料により汚れないように被組付物Ｗ２から離れるように構成されていてもよい。
【符号の説明】
【００６６】
１      ロボットアーム
１６    エンドエフェクタ
２      遠隔操作装置
３３    画像処理部
４１    第１カメラ
４２    第２カメラ
４３    第３カメラ
４４    第４カメラ
５０    メインモニタ（モニタ）
５１    第１サブモニタ（サブモニタ）
５２    第２サブモニタ（サブモニタ）
５３    第３サブモニタ（サブモニタ）
５４    第４サブモニタ（サブモニタ）
６      記憶装置
６１    自動切替情報
７１    運転モード選択部
７２    切替モード選択部
８      視線検出装置（カメラ選択装置）
１００  遠隔操作ロボットシステム
【図１】
2017033359.tif 000003
【図２】
2017033359.tif 000004
【図３】
2017033359.tif 000005
【国際調査報告】
2017033359.tif 000006
2017033359.tif 000007