(57)【要約】【課題】撮像部を含む作業環境と表示部に表示される撮像画像との位置関係を容易に把握するのに有利な計測装置を提供する。【解決手段】対象物の位置又は姿勢を計測する計測装置であって、前記対象物を撮像して撮像画像を生成する撮像部と、前記撮像部で生成された前記撮像画像を表示部に表示させる制御部と、を有し、前記撮像部は、前記撮像部の光軸に直交する面内において特定の方向を示す識別子が設けられた筐体を含み、前記制御部は、前記表示部の前記撮像画像が表示される第１領域の外側の第２領域に、前記撮像画像における前記特定の方向に対応する方向を示すマークを表示させることを特徴とする計測装置を提供する。【選択図】図１
2020094984.tif 000002
【特許請求の範囲】
【請求項１】
対象物の位置又は姿勢を計測する計測装置であって、
前記対象物を撮像して撮像画像を生成する撮像部と、
前記撮像部で生成された前記撮像画像を表示部に表示させる制御部と、を有し、
前記撮像部は、前記撮像部の光軸に直交する面内において特定の方向を示す識別子が設けられた筐体を含み、
前記制御部は、前記表示部の前記撮像画像が表示される第１領域の外側の第２領域に、前記撮像画像における前記特定の方向に対応する方向を示すマークを表示させることを特徴とする計測装置。
【請求項２】
前記制御部は、前記表示部の前記第２領域のうち、前記撮像画像における前記特定の方向に対応する方向に位置する領域に前記マークを表示させることを特徴とする請求項１に記載の計測装置。
【請求項３】
前記表示部に表示された前記撮像画像を回転させる回転部を更に有し、
前記制御部は、前記表示部の前記第２領域のうち、前記回転部によって回転させた前記撮像画像における前記特定の方向に対応する方向に位置する領域に前記マークを表示させるように、前記マークを表示する位置を変更することを特徴とする請求項２に記載の計測装置。
【請求項４】
前記撮像部が取り付けられ、前記対象物に対して前記撮像部を相対的に移動させる移動部を更に有し、
前記制御部は、前記撮像画像及び前記マークに加えて、前記移動部に設定された座標系を前記表示部に表示させることを特徴とする請求項１乃至３のうちいずれか１項に記載の計測装置。
【請求項５】
前記マークは、前記撮像画像での前記特定の方向に対応する方向を示すための色、形状、文字及び絵のうち少なくとも１つを含むことを特徴とする請求項１乃至４のうちいずれか１項に記載の計測装置。
【請求項６】
前記識別子は、前記特定の方向を示すための色、形状、文字及び絵のうち少なくとも１つを含むことを特徴とする請求項１乃至５のうちいずれか１項に記載の計測装置。
【請求項７】
対象物の位置又は姿勢を計測する計測装置と、前記計測装置で計測された前記対象物の位置又は姿勢に基づいて、前記対象物を把持する把持装置とを備えたシステムであって、
前記計測装置は、
前記対象物を撮像して撮像画像を生成する撮像部と、
前記撮像部で生成された前記撮像画像を表示部に表示させる制御部と、を有し、
前記撮像部は、前記撮像部の光軸に直交する面内において特定の方向を示す識別子が設けられた筐体を含み、
前記制御部は、前記表示部の前記撮像画像が表示される第１領域の外側の第２領域に、前記撮像画像における前記特定の方向に対応する方向を示すマークを表示させることを特徴とするシステム。
【請求項８】
前記把持装置は、前記撮像部が取り付けられ、前記対象物に対して前記撮像部を相対的に移動させるロボットアームを含むことを特徴とする請求項７に記載のシステム。
【請求項９】
前記制御部は、前記撮像画像及び前記マークに加えて、前記ロボットアームに設定された座標系を前記表示部に表示させることを特徴とする請求項８に記載のシステム。
【請求項１０】
前記表示部に表示された前記撮像画像を回転させる回転部と、
前記撮像部が前記対象物を撮像したときの前記撮像部の姿勢を取得する取得部と、
前記撮像部が第１撮像画像を生成したときに前記取得部によって取得された前記撮像部の第１姿勢と、前記ロボットアームにより前記撮像部を移動させた後に前記撮像部が前記第１撮像画像とは異なる第２撮像画像を生成したときに前記取得部によって取得された前記撮像部の第２姿勢との差分と、前記回転部によって前記第１撮像画像を回転させた回転角度とに基づいて、前記表示部に前記第２撮像画像を表示する際に前記回転部によって回転させるべき前記第２撮像画像の回転角度を決定する決定部と、
を更に有し、
前記回転部は、前記制御部によって前記表示部に表示される前記第２撮像画像を前記決定部で決定された回転角度だけ回転させることを特徴とする請求項８又は９に記載のシステム。
【請求項１１】
対象物の位置又は姿勢を計測する計測装置が有する表示部に画像を表示する表示方法であって、
前記対象物を撮像部で撮像して撮像画像を生成する第１工程と、
前記第１工程で生成された前記撮像画像を前記表示部に表示させる第２工程と、を有し、
前記撮像部は、前記撮像部の光軸に直交する面内において特定の方向を示す識別子が設けられた筐体を含み、
前記第２工程では、前記表示部の前記撮像画像が表示される第１領域の外側の第２領域に、前記撮像画像での前記特定の方向に対応する方向を示すマークを表示させることを特徴とする表示方法。
【請求項１２】
請求項１１に記載の表示方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測装置、システム、表示方法及びプログラムに関する。
【背景技術】
【０００２】
近年、工場などの製造現場において、人間に代わって、ロボットアームなどを備えたロボットシステムが組立や搬送を行うことが多くなっている。このようなロボットシステムでは、例えば、部品やその部品を収容するトレイをカメラで撮像して画像を取得し、かかる画像を解析することで、部品の把持に適した位置にロボットアームを移動させる。
【０００３】
ロボットシステムを構築する作業者やロボットシステムの稼働状況を確認する観察者は、これらの作業を、一般的に、カメラで取得された画像をモニタで参照しながら、且つ、ロボットシステムの作業環境（実環境）を視認しながら行う。作業者や観察者などのユーザが作業環境を視認する向きは、カメラの取り付け位置やモニタの設置位置などによって、ロボットシステムが構築された現場ごとに異なる。
【０００４】
例えば、モニタに表示される画像の向き（上／下／左／右）と、ユーザが視認する作業環境の向き（奥（上）／手前（下）／左／右）とが一致している場合、ユーザは、両者の位置関係を直観的に把握しやすい。但し、ロボットアームにカメラを取り付けるような環境では、ロボットアームの移動に伴い、カメラの向きが変わるため、モニタに表示される画像の向きと、ユーザが視認する作業環境の向きとが一致しない場合が発生する。このような場合、ユーザは、両者の向き（方向）の違いに起因して、モニタに表示される画像と作業環境との照合が困難となるため、両者の位置関係を直観的に把握することができずに作業負荷が増加する。
【０００５】
そこで、モニタに表示される画像とユーザが視認する作業環境との照合を容易にするために、モニタに表示される画像を回転させる技術が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−１１３８１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された技術では、ユーザは、モニタに表示された画像から手掛かりとなる対象物を選択し、画像における対象物と作業環境における対象物との照合を行わなければならない。具体的には、ユーザは、モニタに表示される画像を回転させながら、モニタに表示される画像における対象物の向きと、作業環境で視認できる対象物の向きとを確認し、両者が一致するようにモニタに表示される画像の角度（回転角）を決定する必要がある。但し、画像における部品やトレイの形状及び部品の配置が対称形状に近い場合には、モニタに表示される画像を回転させたとしても、回転前後で画像の見た目が類似してしまう。従って、モニタに表示される画像と作業環境との照合を行おうとしても、手掛かりとなる対象物の特定自体が極めて困難となり、作業負荷が増加してしまう。
【０００８】
本発明は、このような従来技術の課題に鑑みてなされ、撮像部を含む作業環境と表示部に表示される撮像画像との位置関係を容易に把握するのに有利な計測装置を提供することを例示的目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一側面としての計測装置は、対象物の位置又は姿勢を計測する計測装置であって、前記対象物を撮像して撮像画像を生成する撮像部と、前記撮像部で生成された前記撮像画像を表示部に表示させる制御部と、を有し、前記撮像部は、前記撮像部の光軸に直交する面内において特定の方向を示す識別子が設けられた筐体を含み、前記制御部は、前記表示部の前記撮像画像が表示される第１領域の外側の第２領域に、前記撮像画像における前記特定の方向に対応する方向を示すマークを表示させることを特徴とする。
【００１０】
本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される実施形態によって明らかにされるであろう。
【発明の効果】
【００１１】
本発明によれば、例えば、撮像部を含む作業環境と表示部に表示される撮像画像との位置関係を容易に把握するのに有利な計測装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一側面としてのロボットシステムの構成を示す概略斜視図である。
【図２】ロボットシステムを上方から見た概略平面図である。
【図３】コントローラの構成の一例を示すブロック図である。
【図４】撮像画像を表示部に表示する表示処理を説明するための図である。
【図５】画像を表示部のモニタに表示させた状態を示す図である。
【図６】表示部のモニタに表示される画像を説明するための図である。
【図７】撮像画像を表示部に表示する表示処理を説明するためのフローチャートである。
【図８】本発明の一側面としてのロボットシステムの構成を示す概略斜視図である。
【図９】撮像画像を表示部に表示する表示処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１４】
＜第１実施形態＞
図１及び図２を参照して、本発明の一側面としてのロボットシステム１の装置構成を説明する。図１は、ロボットシステム１の構成を示す概略斜視図である。図２は、ロボットシステム１を上方から見た概略平面図である。ロボットシステム１は、ハンド１１及びカメラ１２が取り付けられたロボットアーム１０と、コントローラ２０とを有し、作業環境１００において、部品の把持、搬送及び組立を行うシステムである。ロボットシステム１は、トレイ１３に収納されている部品１４及び１５をカメラ１２で撮像して認識し、かかる部品１４及び１５をロボットアーム１０で把持して作業台１６に搬送し、作業台１６で部品１４及び１５を組み立てて物品（製品）１７を製造する。
【００１５】
ロボットシステム１において、カメラ１２、コントローラ２０及び後述する表示部１９は、部品１４及び１５や物品１７（対象物）の位置又は姿勢（以下、「位置姿勢」と称する）を計測する計測装置として機能する。また、ロボットシステム１において、ロボットアーム１０、ハンド１１及びコントローラ２０は、計測装置で計測された部品１４及び１５や物品１７の位置姿勢に基づいて部品１４及び１５や物品１７を把持する把持装置として機能する。
【００１６】
ロボットアーム１０は、本実施形態では、６自由度の多関節ロボットを含む。ロボットアーム１０には、エンドエフェクタとして、２つの指の開閉機構（２指ハンド機構）を含むハンド１１が取り付けられている。ロボットアーム１０は、本実施形態では、カメラ１２が取り付けられ、部品１４及び１５や物品１７に対してカメラ１２を相対的に移動させる移動部として機能する。ロボットアーム１０は、コントローラ２０の制御下において、ハンド１１及びカメラ１２を様々な位置姿勢に動作させる。ハンド１１は、部品１４及び１５のピック・アンド・プレースが可能である。なお、ロボットアーム１０とハンド１１との組み合わせは、部品の大きさや形状に応じて設計され、６自由度の多関節ロボットと２指ハンド機構との組み合わせに限定されるものではない。
【００１７】
カメラ１２は、トレイ１３に収納されている部品１４及び１５を撮像して撮像画像（画像データ）を取得する撮像装置（撮像部）である。カメラ１２は、部品１４及び１５の位置姿勢を計測するための画像や物品１７の組み立て結果を検査するための画像を取得する。カメラ１２は、２次元センサアレイによる一括情報取得方式を採用してもよいし、スキャン方式を採用してもよい。カメラ１２で取得された画像から得る情報は、例えば、カメラ１２の光軸に対して垂直方向に広がる２次元の輝度分布や三角測量法を応用してパターン化された照明ごとに計測結果を収集して解析処理によって生成した対象物の３次元座標を含む。また、カメラ１２で取得された画像から得る情報は、光学系のデフォーカス特性を参照して得られた対象物の３次元座標であってもよい。
【００１８】
コントローラ２０は、ロボットアーム１０、ハンド１１及びカメラ１２の動作を制御する。コントローラ２０は、一般的に、コンピュータから構成されるが、本実施形態は、その構成を限定するものではない。また、コントローラ２０は、本実施形態では、カメラ１２で取得された撮像画像などを表示部１９に表示させる表示処理を制御する。
【００１９】
ロボットシステム１の構築中や稼働中にカメラ１２で取得される撮像画像や撮像画像を解析して得られる情報の画像（以下、「画像２１」と称する）は、表示部１９、具体的には、表示部１９のモニタ１９１（表示画面）に表示される。本実施形態では、図２に矢印で示すように、表示部１９のモニタ１９１の方向（向き）Ｄ１が作業者や観察者などのユーザ１８の視線の方向Ｄ２と対向するように、表示部１９が配置されている。ユーザ１８は、表示部１９のモニタ１９１に表示される画像２１や作業環境１００を確認しながら、ロボットシステム１の設定や操作を行う。
【００２０】
図３は、コントローラ２０の構成の一例を示すブロック図である。コントローラ２０は、バス２００と、ＣＰＵ２０１と、ＲＯＭ２０２と、画像処理部２０４と、メモリ２０５と、撮像制御部２０６と、画像入力部２０７と、ロボット制御部２０８と、画像出力部２０９とを含む。
【００２１】
バス２００には、コントローラ２０の各部、具体的には、ＣＰＵ２０１、ＲＯＭ２０２、画像処理部２０４、メモリ２０５、撮像制御部２０６、画像入力部２０７、ロボット制御部２０８及び画像出力部２０９が接続されている。ＲＯＭ２０２には、ＣＰＵ２０１のブートプログラムや定数パラメータなどが記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の作業領域やカメラ１２で取得された撮像画像を一時的に記憶する領域として用いられる。
【００２２】
画像処理部２０４は、撮像画像から対象物の位置姿勢を求める（推定する）処理、及び、かかる処理に必要な前処理の少なくとも一部の処理を行う専用ハードウェア回路を含む。但し、コントローラ２０は、画像処理部２０４を必ずしも含む必要はなく、ＣＰＵ２０１で全ての処理を行ってもよい。
【００２３】
メモリ２０５は、不揮発性大容量メモリ、例えば、ハードディスクドライブ（ＨＤＤ装置）を含む。メモリ２０５は、ＣＰＵ２０１で動作させるプログラム、システムのパラメータ、カメラ１２で取得された撮像画像などを記憶する。
【００２４】
撮像制御部２０６は、カメラ１２に接続され、カメラ１２の撮像に関する制御（撮像制御）を行う。カメラ１２の撮像制御は、例えば、撮像タイミングの通知などを含む。
【００２５】
画像入力部２０７は、カメラ１２に接続され、カメラ１２で取得した撮像画像をコントローラ内に取り込む。
【００２６】
ロボット制御部２０８は、ロボットアーム１０に接続され、ハンド１１（カメラ１２）を様々な位置姿勢に動作させるための制御を行う。
【００２７】
画像出力部２０９は、表示部１９の入力部（不図示）に接続され、カメラ１２で取得される撮像画像や撮像画像を解析して得られる情報の画像などを含む画像２１に対応する画像データを表示部１９に出力する。
【００２８】
図４（ａ）、図４（ｂ）及び図４（ｃ）を参照して、カメラ１２で取得された撮像画像を表示部１９（のモニタ１９１）に表示する表示処理について説明する。例えば、図４（ａ）に示すように、アルファベットの「Ｆ」の文字を含む板２２を、真正面からカメラ１２で撮像したとする。ここで、カメラ１２の光軸に直交する平面３１を設定し、かかる平面内で、光軸との交点からカメラ１２の筐体１２１の辺Ｌに下ろした垂線の足に向かう方向（図４（ａ）に矢印で示す方向）を、カメラ１２の上方向と定義する。本実施形態では、カメラ１２の光軸に対して、アルファベットの「Ｆ」の文字の上を示す方向がカメラ１２の上方向に対応する。カメラ１２の筐体１２１には、カメラ１２の光軸に直交する面内において特定の方向を示す識別子、本実施形態では、カメラ１２の上方向を示す識別子としてマーク２４が設けられている。なお、マーク２４は、図４（ａ）に示すように、カメラ１２の筐体１２１を構成する面のうち、カメラ１２の光軸に対して上方向にあたる面に設けられている。
【００２９】
また、本実施形態では、カメラ１２の光軸を基準とした対象物の上方向と、カメラ１２で取得された画像２１（撮像画像）における対象物の上方向とが対応するように、画像２１に対して上方向が設定される。具体的には、アルファベットの「Ｆ」の文字を含む板２２を真正面からカメラ１２で撮像した場合、画像２１には、図４（ｂ）に矢印で示すように、アルファベットの「Ｆ」の上方向に対応する方向が上方向として設定される。
【００３０】
図４（ｃ）は、ユーザ１８が表示部１９のモニタ１９１で視認することができるＧＵＩ（グラフィカルユーザインタフェース）２５の一例を示している。ＧＵＩ２５には、初期設定において、画像２１の上方向と、ユーザ１８がＧＵＩ２５を視認したときの上方向とが対応するように、画像２１が表示される。具体的には、アルファベットの「Ｆ」の文字を含む板２２を真正面からカメラ１２で撮像した場合、表示部１９のモニタ１９１には、図４（ｃ）に示すＧＵＩ２５が表示される。更に、本実施形態では、画像２１が表示されるモニタ１９１の第１領域１９１Ａの外側の第２領域１９１Ｂに、画像２１におけるカメラ１２の特定の方向（上方向）に対応する方向を示すマーク２６を表示させる。具体的には、ＧＵＩ２５において、画像２１に加えて、画像２１の上方向を示すマーク２６を表示する。また、モニタ１９１の第２領域１９１Ｂのうち、画像２１におけるカメラ１２の特定の方向に対応する方向に位置する領域、即ち、画像２１の中心を基準として上方向に位置する領域に（即ち、マーク２４と対応するように）、マーク２６を表示させるとよい。
【００３１】
本実施形態では、ユーザ１８が指定（入力）する角度で画像２１を回転させるために、ＧＵＩ２５には、モニタ１９１に表示された画像２１を回転させる回転部２７が設けられている（表示されている）。モニタ１９１に表示された画像２１は、回転部２７によって、随時回転させることができる。回転部２７は、例えば、反時計回りに画像２１を９０度回転させるための第１回転ボタン２７Ａと、時計回りに画像２１を９０度回転させるための第２回転ボタン２７Ｂとを含む。
【００３２】
ユーザ１８は、第１回転ボタン２７Ａ又は第２回転ボタン２７Ｂを選択することで、モニタ１９１に表示された画像２１を回転させることができる。ユーザ１８の選択に応じて、ＧＵＩ２５では、画像２１を回転させて、画像２１の表示を更新する。この際、画像２１の上方向を示すマーク２６も、画像２１の回転に追従して回転させる。本実施形態では、モニタ１９１の第２領域１９１Ｂのうち、回転部２７によって回転させた画像２１におけるカメラ１２の特定方向、即ち、上方向に対応する方向に位置する領域にマーク２６を表示させるように、マーク２６を表示する位置を変更する。
【００３３】
なお、モニタ１９１に表示された画像２１を回転させる回転部２７は、第１回転ボタン２７Ａや第２回転ボタン２７Ｂに限定されるものではない。例えば、モニタ１９１に表示された画像２１をマウスでドラッグすることで、その動作に連動して画像２１を任意の角度で回転させてもよいし、画像２１の回転量（回転角度）を数値で入力して画像２１を回転させてもよい。このような場合でも、モニタ１９１に表示された画像２１の回転に追従してマークも回転させる（即ち、マーク２６を表示する位置を変更する）。
【００３４】
また、モニタ１９１に表示された画像２１を回転させた場合、コントローラ２０は、それ以降にモニタ１９１に表示させる画像２１を、画像２１を回転させたときの回転角度で回転させてから表示させるようにしてもよい。
【００３５】
図５（ａ）、図５（ｂ）、図５（ｃ）及び図５（ｄ）は、トレイ１３に収納された部品１４をカメラ１２で撮像することで生成される画像２１を、表示部１９のモニタ１９１に表示させた状態を示す図である。但し、図５（ａ）乃至図５（ｄ）には、ＧＵＩ２５として表示される内容のうち、画像２１及びマーク２６のみを示している。図５（ａ）は、初期設定において、表示部１９のモニタ１９１に表示される画像２１を示している。また、図５（ｂ）乃至図５（ｄ）のそれぞれは、初期設定から時計回りに９０度、１８０度、２７０度回転させた画像２１を示している。
【００３６】
ユーザ１８は、例えば、図５（ａ）乃至図５（ｄ）に示す画像２１から、作業環境１００を直接視認したときの見た目と類似する画像２１を選択する。これにより、モニタ１９１に表示される画像２１の向き（上／下／左／右）と、ユーザ１８から見た作業環境１００の向き（奥（上）／手前（下）／左／右）とを一致させることができるため、ユーザ１８は両者の位置関係を直観的に把握しやすくなる。
【００３７】
具体的には、ユーザ１８が作業環境１００を視認する際に、作業環境１００において左側に位置する対象物は画像上で左側に位置する画像２１を、作業環境１００において右側に位置する対象物は画像上で右側に位置する画像２１を選択する。但し、図５（ａ）乃至図５（ｄ）に示すように、画像２１における部品１４やトレイ１３の形状及び部品１４の配置が対称形状に近い場合には、４つの画像２１は、互いに似た画像となる。この場合、作業環境１００と画像２１とを比較して、作業環境１００を直接視認したときの見た目と類似する画像２１を選択することが困難となる。
【００３８】
そこで、本実施形態では、画像２１に加えて、カメラ１２の筐体１２１に設けられたカメラ１２の上方向を示すマーク２４に対応させて、画像２１の上方向を示すマーク２６を表示させている。これにより、ユーザ１８は、カメラ１２の筐体１２１に設けられたマーク２４と、表示部１９のモニタ１９１に表示されたマーク２６とを確認して、両者の向きを一致させることができる。図１に示す状態において、ユーザ１８が作業環境１００を視認すると、マーク２４は、カメラ１２の光軸を基準として左側に位置する。従って、ユーザ１８は、図５（ａ）乃至図５（ｄ）に示す画像２１から、マーク２６が画像の中心に対して左側に位置する画像２１、即ち、図５（ｄ）に示す画像２１を選択すればよい。これにより、ユーザ１８は、作業環境１００と表示部１９のモニタ１９１に表示される画像２１とで、手掛かりとなる対象物を比較することなく、両者の位置関係を直観的に把握することができる。
【００３９】
図６を参照して、ロボットアーム１０を反時計回りに９０度回転させて、物品１７をカメラ１２で撮像した場合に、表示部１９のモニタ１９１に表示される画像２１について説明する。この場合、ユーザ１８が作業環境１００を視認すると、マーク２４は、カメラ１２の光軸を基準として手前（下）側に位置する。従って、ユーザ１８は、図６に示すように、図５（ａ）乃至図５（ｄ）に示す画像２１から、マーク２６が画像の中心に対して下側に位置する画像２１、即ち、図５（ｃ）に示すマーク２６が表示された画像２１を選択すればよい。これにより、ユーザ１８は、作業環境１００と表示部１９のモニタ１９１に表示される画像２１とで、両者の位置関係を直観的に把握することができる。
【００４０】
図７を参照して、ロボットシステム１において、カメラ１２で取得された撮像画像を表示部１９（のモニタ１９１）に表示する表示処理を説明する。
【００４１】
Ｓ６０１において、コントローラ２０は、撮像画像、即ち、画像２１の表示指示を受けたタイミングにおいて、初期設定に基づいて、画像２１及びマーク２６を表示部１９（モニタ１９１）に表示する。ここでは、初期設定で設定されている向きで画像２１及びマーク２６を表示する。
【００４２】
Ｓ６０２において、ユーザ１８は、作業環境１００を視認し、カメラ１２（筐体１２１）に設けられたマーク２４の向きと、表示部１９（モニタ１９１）に表示されたマーク２６の向きとを比較する。
【００４３】
Ｓ６０３において、ユーザ１８は、Ｓ６０２の比較結果に基づいて、カメラ１２に設けられたマーク２４の向きと、表示部１９に表示されたマーク２６の向きとが一致しているかどうかを判定する。マーク２４の向きとマーク２６の向きとが一致していなければ、Ｓ６０４に移行する。一方、マーク２４の向きとマーク２６の向きとが一致していれば、Ｓ６０５に移行する。
【００４４】
Ｓ６０４において、ユーザ１８は、マーク２４の向きとマーク２６の向きとが一致するように、回転部２７を介して、表示部１９に表示された画像２１を回転させる。これにより、表示部１９には、マーク２４の向きとマーク２６の向きとが一致した状態で画像２１が表示される。この際、マーク２６も、画像２１の回転に追従して回転させた状態で表示する。
【００４５】
Ｓ６０５において、コントローラ２０は、表示部１９に表示されている画像２１の回転量を記憶する。Ｓ６０４を経ていない、即ち、画像２１を回転させていない場合には、初期設定で設定されている画像２１の回転量が記憶される（即ち、初期設定を更新しない）。一方、Ｓ６０４を経ている場合には、Ｓ６０４で画像２１を回転させた回転量が記憶される（即ち、初期設定が更新される）。
【００４６】
このように、本実施形態では、表示部１９に画像２１を表示する際に、カメラ１２の光軸に直交する面内において特定の方向に対応する方向を示すマーク２６を表示する。これにより、作業環境１００と表示部１９のモニタ１９１に表示される画像２１との位置関係を直観的に把握することができる。
【００４７】
また、本実施形態では、カメラ１２がロボットアーム１０に取り付けられ、部品１４及び１５や物品１７に対するカメラ１２の位置姿勢が変化する場合を例に説明したが、これに限定されるものではない。例えば、作業環境１００の上方にカメラ１２を固定して利用する場合においても、表示部１９に画像２１を表示する際に、カメラ１２の光軸に直交する面内において特定の方向に対応する方向を示すマーク２６を表示することは効果的である。
【００４８】
また、本実施形態では、カメラ１２と表示部１９に表示される画像２１とで、両者の位置関係を把握しやすくするために、カメラ１２（筐体１２１）にもマーク２４を設けている。但し、カメラ１２の形状などから、カメラ１２の特定の方向が自明で容易に特定可能な場合には、カメラ１２に対して必ずしもマーク２４を設ける必要はない。この場合、カメラ１２の形状がカメラ１２の光軸に直交する面内において特定の方向を示す識別子として機能する。また、カメラ１２の光軸に直交する面内において特定の方向を示す方向は、マーク２４に限定されるものではなく、例えば、色、形状、文字及び絵のうちの少なくとも１つであってもよい。同様に、マーク２６は、例えば、色、形状、文字及び絵のうちの少なくとも１つであってもよい。
【００４９】
また、本実施形態では、カメラ１２及び表示部１９に表示される画像２１のそれぞれに対して上方向を示すマークを表示しているが、上方向だけではなく、上下左右の各方向に一意のマークを表示してもよい。例えば、カメラ１２の筐体１２１の上下左右に位置する面のそれぞれを固有の色で配色し、表示部１９に表示する画像２１に対して、筐体１２１に対応する上下左右の各辺を、筐体１２１の各面の色と一致させて表示してもよい。この場合、ユーザ１８からカメラ１２の筐体１２１の上下左右に位置する面のいずれか１つを視認できれば、表示部１９に表示される画像２１との位置関係を把握することが可能となる。
【００５０】
また、表示部１９には、画像２１やマーク２６に加えて、作業環境１００に関する情報を表示してもよい。例えば、図８に示すように、画像２１やマーク２６に加えて、ハンド１１に設定されたハンド座標系２８を表示部１９に表示してもよい。ハンド座標系２８は、ロボットアーム１０とハンド１１との接合部の中心に設定されている。ロボット制御部２０８は、ロボットアーム１０の基部に設定された座標系をロボットアーム座標系３２として、ロボットアーム座標系３２におけるハンド１１の位置姿勢を通知することで、かかる位置姿勢にハンド１１を動作させることができる。また、画像２１に加えて、ハンド座標系２８を表示することで、ユーザ１８は、表示部１９に表示される画像上に作業環境とハンド座標系２８とを同時に視認して、ハンド１１を制御する際の移動方向を画像上で確認することができる。
【００５１】
画像２１やマーク２６に加えて、ハンド１１に設定されたハンド座標系２８を表示部１９に表示する場合、コントローラ２０は、カメラ１２に対するハンド１１の位置姿勢を取得する取得部を更に含む。かかる取得部は、具体的には、図９に示すように、カメラ１２に設定されたカメラ座標系２３、ハンド１１に設定されたハンド座標系２８との相対位置姿勢を取得する。なお、ハンド１１とカメラ１２との相対位置姿勢は、事前に、キャリブレーションによって求めておく。
【００５２】
このようにして、画像２１やマーク２６に加えて、カメラ１２とハンド１１との相対位置姿勢に基づいて、ハンド座標系２８を表示部１９に表示する。ハンド座標系２８は、ＸＹＺの各軸が特定できるように、例えば、各軸に赤色、緑色、青色を割り当てて表示してもよいし、各軸の矢印の近傍に「Ｘ」、「Ｙ」、「Ｚ」の文字を表示してもよい。また、表示部１９に表示される画像２１を回転させた場合には、マーク２６と同様に、画像２１の回転に追従してハンド座標系２８も回転させる。
【００５３】
ここで、ユーザ１８が表示部１９に表示される画像２１を確認し、かかる画像上で右側に位置する作業環境１００を再度撮像したい場合を考える。この場合、ユーザ１８は、表示部１９に表示されるハンド座標系２８を確認し、かかるハンド座標系２８において右側を示す向きにハンド１１を制御してカメラ１２による撮像を行えばよい。これにより、ユーザ１８は、表示部１９に表示される画像上で右側に位置する作業環境１００を再度撮像することができる。
【００５４】
このように、画像２１に加えて、ハンド座標系２８を表示することで、ユーザ１８は、表示部１９に表示される画像上の作業環境とハンド座標系２８とを同時に視認して、ハンド１１を制御する際の移動方向を画像上で確認することができる。なお、表示部１９に表示させる作業環境１００に関する情報は、ハンド座標系２８に限定されるものではない。例えば、画像２１に加えて、ロボットアーム座標系３２を表示部１９に表示してもよいし、作業環境１００の全体のレイアウトを表示部１９に表示してもよい。
【００５５】
＜第２実施形態＞
本実施形態では、ロボットアーム１０に取り付けたカメラ１２の位置姿勢（の変化）に基づいて、表示部１９に表示される画像２１を自動で回転させる表示処理について説明する。かかる表示処理によれば、ユーザ１８は、作業環境１００と表示部１９に表示される画像２１との位置関係を視認及び把握しやすくなる。
【００５６】
例えば、第１実施形態で説明したように、表示部１９に表示された画像２１を回転させたとする。この際、画像２１を回転させた回転量、及び、かかる画像２１を取得したときのカメラ１２の位置姿勢を基準姿勢として、例えば、メモリ２０５に記憶する。そして、カメラ１２の位置姿勢を変化させてカメラ１２で取得した画像２１を表示部１９に表示させる際に、基準姿勢における画像２１の回転量と、基準姿勢に対するカメラ１２の位置姿勢の変化量とに基づいて、表示部１９に表示される画像２１を回転させる。
【００５７】
本実施形態におけるロボットシステム１の構成は、基本的には、第１実施形態と同様である。但し、本実施形態では、コントローラ２０は、カメラ１２の位置姿勢を取得する取得部を更に含む。かかる取得部は、作業環境１００におけるカメラ１２の位置姿勢を取得し、具体的には、作業環境１００に設定された座標系を作業環境座標系、カメラ１２に設定された座標系をカメラ座標系として、作業環境座標系におけるカメラ座標系の位置姿勢を取得する。本実施形態では、第１実施形態と同様に、ロボットアーム座標系３２を作業環境座標系として用いるものとする。
【００５８】
ロボット制御部２０８は、ロボットアーム座標系３２におけるハンド１１の位置姿勢を通知することで、かかる位置姿勢にハンド１１を動作させることができる。なお、ハンド１１とカメラ１２との相対位置姿勢は、事前に、キャリブレーションによって求めておく。ロボット制御部２０８から通知されたハンド１１の位置姿勢と、ハンド１１とカメラ１２との相対位置姿勢とに基づいて、コントローラ２０は、作業環境座標系におけるカメラ１２の位置姿勢を求める。なお、以下では、「位置姿勢」は、特に明記しない限り、作業環境座標系における位置姿勢を意味するものとする。
【００５９】
メモリ２０５などの記憶部は、カメラ１２が撮像したときのカメラ１２の位置姿勢の１つを、基準姿勢として記憶する。基準姿勢は、任意に設定すればよい。例えば、ロボットアーム１０の作業工程において、カメラ１２が最初に撮像を行ったときの姿勢を基準姿勢として設定してもよいし、最も撮像頻度が高い姿勢を基準姿勢として設定してもよい。カメラ１２が基準姿勢で撮像して生成された撮像画像を基準画像と称する。
【００６０】
まず、ユーザ１８は、表示部１９に表示される基準画像に対して、作業環境１００との位置関係を視認しやすい画像の表示の向き（画像２１の回転量）を設定する。この際、基準画像に加えて、マーク２６も表示されえているため、第１実施形態と同様にして、ユーザ１８は、画像の表示の向きを容易に設定することができる。メモリ２０５には、基準画像を、ユーザ１８が設定した画像の表示の向きにするために必要となる画像の回転量（基準回転量）を、基準姿勢とともに記憶する。これにより、カメラ１２を基準姿勢と異なる位置姿勢にして撮像を行う際に、カメラ１２の位置姿勢の変化量を求め、かかる変化量と、基準回転量とに基づいて、ユーザ１８が視認しやすい向きに画像を回転させて表示部１９に表示することができる。
【００６１】
図９を参照して、ロボットシステム１において、カメラ１２で取得された撮像画像を表示部１９（のモニタ１９１）に表示する表示処理を説明する。
【００６２】
Ｓ８０１において、コントローラ２０は、ロボットアーム１０（ハンド１１）を制御してカメラ１２を基準姿勢にして、対象物をカメラ１２で撮像して基準画像を取得する。
【００６３】
Ｓ８０２において、コントローラ２０は、Ｓ８０１で取得した基準画像の表示指示を受けたタイミングにおいて、初期設定に基づいて、基準画像及びマーク２６を表示部１９（モニタ１９１）に表示する。ここでは、初期設定で設定されている向きで基準画像及びマーク２６を表示する。
【００６４】
Ｓ８０３、Ｓ８０４及びＳ８０５については、第１実施形態で説明したＳ６０２、Ｓ６０３及びＳ６０４と同様であるため、ここでの詳細な説明は省略する。
【００６５】
Ｓ８０６において、コントローラ２０は、基準画像の回転量（基準回転量）と、カメラ１２の基準姿勢とを、メモリ２０５に記憶する。ここで、基準回転量は、時計回りを正の回転量とする。例えば、図１に示すカメラ１２の位置姿勢を基準姿勢として画像を取得し、初期設定で表示される画像２１を図５（ａ）とし、回転後の画像２１を図５（ｄ）とすると、基準回転量は２７０度となる。
【００６６】
Ｓ８０７において、コントローラ２０は、ロボットアーム１０（ハンド１１）を制御してカメラ１２を基準姿勢とは異なる位置姿勢（参照姿勢）にして、対象物をカメラ１２で撮像して画像（参照画像）を取得する。
【００６７】
Ｓ８０８において、コントローラ２０は、基準姿勢と参照姿勢との差分量を求める。例えば、図１に示すカメラ１２の姿勢を基準姿勢、図６に示すカメラ１２の姿勢を参照姿勢とすると、カメラ１２は、カメラ１２の光軸に沿った方向（奥行き方向）を基準として時計回りに−９０度回転したことになる。従って、基準姿勢と参照姿勢との差分量として、−９０度が求まる。このように、コントローラ２０は、カメラ１２が基準画像（第１撮像画像）を生成したときのカメラ１２の基準姿勢（第１姿勢）と、カメラ１２が参照画像（第２撮像画像）を生成したときのカメラ１２の参照姿勢（第２姿勢）との差分を求める。
【００６８】
Ｓ８０９において、コントローラ２０は、Ｓ８０８で求めた差分量と、基準回転量とに基づいて、参照画像を表示部１９に表示する。この際、コントローラ２０は、基準姿勢と参照姿勢との差分量と、基準回転量（基準画像を回転させた回転角度）とに基づいて、表示部１９に参照画像を表示する際に回転させるべき参照画像の回転角度を決定する決定部として機能する。具体的には、コントローラ２０は、基準回転量である２７０度に、基準姿勢と参照姿勢との差分量である−９０度を加えて、初期設定から１８０度回転させた状態で参照画像を表示する。これにより、表示部１９には、図６に示す画像２１と同様な画像が参照画像として表示される。
【００６９】
このように、本実施形態では、ロボットアーム１０に取り付けられたカメラ１２の位置姿勢の変化に基づいて、表示部１９（モニタ１９１）に表示される画像２１を回転させて表示する。これにより、ユーザ１８が作業環境１００と表示部１９に表示される画像２１との位置関係を視認及び把握しやすい画像２１を自動で表示部１９に表示させることができる。
【００７０】
本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７１】
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００７２】
１：ロボットシステム    １０：ロボットアーム    １１：ハンド    １２：カメラ    １４、１５：部品    １７：物品    １９：モニタ    ２０：コントローラ
【図１】
2020094984.tif 000003
【図２】
2020094984.tif 000004
【図３】
2020094984.tif 000005
【図４】
2020094984.tif 000006
【図５】
2020094984.tif 000007
【図６】
2020094984.tif 000008
【図７】
2020094984.tif 000009
【図８】
2020094984.tif 000010
【図９】
2020094984.tif 000011