(57)【特許請求の範囲】
【請求項１】
一対のロボットアームと、前記ロボットアームのワークスペースを撮像範囲に含む撮像手段を固定するブースを備え、前記撮像手段からの画像を画像処理する画像処理装置と、前記画像処理装置による画像処理によってロボットアームの動作位置を修正し前記ロボットアームを制御するロボットコントローラを備えてなるロボットステーションが、少なくとも２つ並設されて構成されるロボットセルであって、
各ロボットステーションに備え付けられた前記撮像手段は、前記撮像手段が備え付けてあるロボットステーションのワークスペースのみでなく、隣接するロボットステーションのワークスペースにも前記撮像範囲が及び、
前記ロボットステーションのロボットアームの可動範囲は、隣接するロボットステーションの前記ワークスペースまで範囲に含むことを特徴とするロボットセル。
【請求項２】
各ロボットステーションに備え付けられた撮像手段の撮像範囲は、互いに共通領域を有し、隣接するロボットステーションで各々の撮像手段が捉えた画像または画像処理結果を、送信あるいは受信する手段を有することを特徴とする請求項１に記載のロボットセル。
【請求項３】
各ロボットステーションに備え付けられた撮像手段と隣接するロボットステーションに備え付けられた撮像手段の共通視野範囲内に、お互いの位置関係を関係付けるキヤリブレーションマークを有することを特徴とする請求項１または２に記載のロボットセル。
【請求項４】
各ロボットステーションのワークスペースは、正方形状であり、前記ロボットステーションに備え付けられた撮像手段は、横縦比１６：９又は、４：３の画角を有し、前記画角の長辺方向は、ロボットステーション内を通過する被加工物の搬送方向と同じ方向であることを特徴とする請求項１ないし３のいずれか１項に記載のロボットセル。
【請求項５】
各ロボットステーションに備え付けられた撮像手段は、複数のカメラにより構成され、複数のカメラにより撮られた映像は、互いに関連づけられ、１枚の画像として処理されることを特徴とする請求項１ないし４のいずれか１項に記載のロボットセル。
【請求項６】
前記ブースにより、前記ロボットアームのワークスペースに対し撮像面が平行になるように前記撮像手段が固定されていることを特徴とする請求項１ないし５のいずれか１項に記載のロボットセル。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生産システムに組み込まれるロボットを有するユニット化された汎用組立装置（ロボットステーション）を組み合わせて構成される生産システム（ロボットセル）に関するものである。
【背景技術】
【０００２】
近年、小型の電機製品、電子製品等は、多品種少量生産化や製品サイクルの短期化が進んでおり、これらを生産する生産ラインも、生産対象となる製品にあわせて、ライン構成の組み換えが頻繁に行われる傾向がある。こうした生産ラインは、ライン変更のための時間や専用の治具を作る必要があるため、ある程度まとまった数が出ない場合は、自動化生産ラインは見送り、人手によるセル生産で対応しているものが多い。しかしながら、このような場合にあっても、製品の品質の安定や、急激な生産増加等に対応するため、生産ラインの自動化が望まれている。
【０００３】
そこで、近年は、汎用利用可能なロボットステーションが注目されている。ロボットステーションを利用したロボットセルでは、被加工物の加工や搬送に、汎用的に利用可能な複数のロボットステーションを再配列して新たなロボットセルを構築することができる。また、急激な生産増加等にも、生産縮小する生産ラインから、汎用的なロボットステーションを取り外し、他のロボットセルに転用することで対応することができる。
【０００４】
上記ロボットステーションを用いて、ロボットセルを構築するにあたっては、各ロボットステーション間の被加工物の搬送や、ロボットステーションが有するロボットアームの連携動作が重要である。
【０００５】
例えば、特許文献１に記載のロボットステーションでは、組付け作業前の被加工物を予めロボットステーション内のトレイに置き、組付け作業後の加工物も同じロボットステーション内に置く別のトレイに返す設計がなされている。しかしながら、この構成では、同じロボットステーション内に、加工前の被加工物と加工後の加工物を置くことになり、このロボットステーションでロボットセルを構築した際、ロボットステーション内のスペース効率の低下を招く。更に、トレイが一杯になった時点でトレイ内の被加工物を搬送する作業が必要になる。この搬送作業にロボットアームを利用すると、通常の動作の他にトレイの搬送作業が入ることになるためタクトの低下につながる。そこで、専用の搬送装置を設けることも考えられるが、ロボットステーションを構成する部材が多くなり、コストアップするという問題点があった。
【０００６】
特許文献２に開示されたロボットセルは、組付け作業前の被加工物載置エリアは、ロボットステーション内にあり、組付け作業後の加工物載置エリアは、隣接するロボットステーション内に用意されている。そのため、ロボットステーションのスペース効率は改善される。しかしながら、ここでの搬送は、単なるプレイバック動作によるもので、常に送りだし側のロボットアームが隣接する定められた場所に機械精度のみで搬送を行うだけである。工程速度や搭載されるロボットアームのエンドエフェクターの仕様に応じて、受け手側のロボットアームが、送りだし側の被加工物を取りにいくような高度な連携は考えられていない。そのため、タクトの向上に限界があり、さらに、ロボットステーションのロボットアームの使用パフォーマンスが低下し、ロボットセル全体のコストアップ要因となる問題点がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１４８８６９号公報
【特許文献２】特開２００８−２２９７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、複数のロボットステーションを組み合わせて構築するロボットセルにおいて、各ロボットステーションのスペース効率の改善、タクトの向上、ロボットステーション内の機材の使用効率の改善を目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために本発明に係るロボットセルは、一対のロボットアームと、前記ロボットアームのワークスペースを撮像範囲に含む撮像手段を固定するブースを備え、前記撮像手段からの画像を画像処理する画像処理装置と、前記画像処理装置による画像処理によってロボットアームの動作位置を修正し前記ロボットアームを制御するロボットコントローラを備えてなるロボットステーションが、少なくとも２つ並設されて構成されるロボットセルであって、各ロボットステーションに備え付けられた前記撮像手段は、前記撮像手段が備え付けてあるロボットステーションのワークスペースのみでなく、隣接するロボットステーションのワークスペースにも前記撮像範囲が及び、前記ロボットステーションのロボットアームの可動範囲は、隣接するロボットステーションの前記ワークスペースまで範囲に含むことを特徴とする。
【発明の効果】
【００１０】
各ロボットステーションは、隣接するロボットステーション内においても、自らの作業領域と同様に、被加工物の位置情報等を入手することが可能になる。その結果、各ロボットステーションのロボットアームは、隣接するロボットステーション内においても高度な作業が可能になる。そのため、例えば、各ロボットステーション内の作業において、ロボットアーム数の足りないような作業がある場合、隣接するロボットステーションのロボットアームの活用が可能になる。その結果、各ロボットステーション内のロボットアームの使用効率が改善し、全体としてロボットセルのコストダウンにつながる。
【００１１】
また、前記ロボットセルにおいて、各ロボットステーションの撮像手段の撮像範囲は、隣接するロボットステーションのワークスペースに及ぶ。各ロボットステーションのロボットアームの可動範囲も、隣接するロボットステーションの撮像範囲にも及ぶ。
【００１２】
各ロボットステーションのロボットアームは、隣接するロボットステーションの作業に活用することができるようになる。その結果、例えば、被加工物を搬送する場合、送り手側から常に受け手側に対して、送り手側のロボットステーションのロボットアームが受け手側のロボットステーションの作業領域に、被加工物を搬送するケースに限定する必要はない。ロボットアームの使用状態に応じて、送り手側のロボットステーションのロボットアームが、被加工品を送りだしたり、あるいは、受けて側のロボットステーションのロボットアームが、被加工品を取りにいくという臨機応変な対応をとることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係るロボットセルを構成するロボットステーションの一例を示す模式斜視図である。
【図２】本発明に係るロボットセルの第１の実施の形態を示す模式斜視図である。
【図３】図２に示したロボットセルのうち、図２右側の隣接する３つのロボットステーションをブースの支柱を省略して示す模式部分斜視図である。
【図４】図３に示すロボットステーションの配置と、撮像手段がカバーする撮影範囲と、ロボットステーションに備え付けられたロボットアームの最大可動範囲をロボットセルの上方から見た見取り図である。
【図５】本発明に係るロボットセルの第２の実施の形態を示し、ロボットセルの上方から見た図４と同様の見取り図である。
【図６】本発明に係るロボットセルの第３の実施の形態を示し、ロボットセルの上方から見た図４と同様の見取り図である。
【図７】ロボットセルの撮像手段の一例を示す模式斜視図である。
【図８】図７に示す撮像手段における各カメラの有効視野範囲を示す説明図である。
【図９】本発明に係るロボットセルの第４の実施の形態を示し、隣接するロボットステーションの撮像手段の視野範囲を示す説明図である。
【発明を実施するための形態】
【００１４】
本発明に係るロボットセルの第１の実施の形態を、図面を参照しながら説明する。本実施の形態は、被加工物をレンズ鏡筒とし、これに各種の部品等を組み付けるロボットセルである。しかし、本発明の実施の形態は、これに限るものではなく、本発明の技術的思想範囲内において、任意に変更可能であることは言うまでもない。
【００１５】
図１は、本発明に係るロボットセルを構成する単位ユニットであるロボットステーションの模式斜視図である。ロボットステーションＥは、一対のロボットアーム１０１，１０２、架台１０３、ブース１０４、固定機材１０５、カメラ１０６、照明１０７等を備えている。
【００１６】
（ロボットアーム）
一対のロボットアーム１０１，１０２は、６軸制御可能であり、各ロボットアームの先端部分には、各種作業に応じて様々なエンドエフェクターを取り付けることができる。ここでいうエンドエフェクターとは、人間でいう指に相当する部分であり、例えば、一方のロボットアーム１０１には、細かい作業を可能にするピンセットを備えるピンセットハンド１０１ａを、エンドエフェクターとして装着している。また、他方のロボットアーム１０２には、レンズ鏡筒等の比較的大きな部材の搬送を請け負うグリッパーハンド１０２ａをエンドエフェクターとして装着している。
【００１７】
（架台）
架台１０３は、基本的には、一対のロボットアーム１０１，１０２を固定し、ロボットアームが各種作業を行うためのワークスペースを提供する箱体である。本実施の形態では、架台１０３の天盤１０３ａがワークスペースの役目を果たし、天盤１０３ａは正方形状になっている。天盤１０３ａの対角２角部分には、１本ずつ、合計２本のロボットアーム１０１，１０２の根元が固定されている。なお、架台１０３は、ステンレス製の支柱と側面板と天盤１０３ａで構成されるが、ロボットアーム１０１，１０２は、ステンレス製の支柱に強固に固定されている。一対のロボットアーム１０１，１０２の固定箇所を除く、架台１０３の天盤１０３ａ全域を、ワークスペースとして利用することができる。
【００１８】
天盤１０３ａには、一対のロボットアーム１０１，１０２が使用できる各種の加工ツール等を載置するための台座や部品を入れておくトレイ等を固定できるように、一定間隔で穴が設けられている。この穴を利用して、各種の台座やトレイ等を固定することで、一定精度の位置決めが確保できる構成になっている。また、天盤１０３ａには、キヤリブレーションに使用するマーカーが刻まれていても良い。その場合は、一対のロボットアーム１０１，１０２を固定した天盤１０３ａの対角２角部分ではない天盤１０３ａの残る２角部分の近傍が好ましい。
【００１９】
一対のロボットアーム１０１，１０２の制御には、ロボットアーム内に内蔵されているモータの制御を行い指令値にそった動作を行わせるためのロボットコントローラが必要である。このロボットコントローラも、架台１０３の箱体内部に配置されている。また、このようなロボットステーションＥは、ロボット制御に伴うロボット自体の持つ公差、被加工物や部品自体の持っている公差、熱や光等による外乱で生まれるさまざまな公差を、ロボット指令値を修正することで許容公差内に収束させる。そのため、カメラ撮影とその撮影した画像を処理する画像処理装置が必要になる。この画像処理装置も、架台１０３の箱体内部に配置されている。
【００２０】
（ブース）
ブース１０４は、架台１０３の天盤１０３ａのワークスペースに対して、カメラ撮像面が平行になるようにカメラ１０６を固定するための剛性を持つ支柱により組み上げられた骨組体である。本実施の形態では、このようなブース１０４を、架台１０３が接触しない程度に離間する大きさの骨組体で構成されている。
【００２１】
なお、ブース１０４に取り付けるカメラ１０６は、隣接するロボットステーションＥの架台１０３の天盤１０３ａも、視野に入れる必要がある。そのため、前記骨組体は、側面側、即ち、隣接するロボットステーションＥが配置される側には、隣接するロボットステーションＥの架台１０３の天盤１０３ａに対して、カメラ１０６に死角を作るような位置に、骨組体を配置しないように注意を要する。
【００２２】
また、ブース１０４は十分な高さを確保する必要がある。これは、ブース１０４に取り付けるカメラ１０６は、広角になればなるほど、カメラ１０６の撮る被写体が見る角度によって発生する形状変化が大きくなるからである。形状変化が大きくなると、被写体から測定のために抽出したい領域の分離が難しくなるだけでなく、測定精度も大幅に劣化する。例えば、本実施の形態では、被加工物である鏡筒を被写体としているが、この鏡筒は、真上から見れば上面領域である円のみしか見えないが、斜上から見れば、鏡筒の上面領域は楕円になり、更に鏡筒の側面領域も見えるようになる。本実施の形態での測定領域は、このうち鏡筒の上面領域のみなので、斜上から見た鏡筒の画像では、鏡筒の上面領域の抽出作業が必要になる。更に、上面領域と側面領域の面積比は、どの程度斜め上から見るかで決まる。そのため、見る角度がつけばつくほど、上面領域の面積は減り、抽出しにくくなるのみならず、この面積が位置精度に大きく影響を与える。これを抑えるには、カメラ１０６の画角を狭くすることが効果的であり、これを実現するには、ブースの高さは高い方が好ましく、少なくともカメラ１０６の画角が４５度未満、更に好ましくは３０度未満になるような高さが好ましい。
【００２３】
（カメラ）
ブース１０４に対してカメラ１０６は、固定機材１０５を用いて架台上面からそのカメラ１０６が備え付けられたロボットステーションＥの天盤１０３ａの全域と、隣接するロボットステーションＥの天盤１０３ａの一部を視野範囲に入れる画角で設置される。
【００２４】
固定機材１０５は、前述のブース１０４の支柱に設けられている溝を用いて平行度を確保するとともに、必要な位置にネジ止めで固定される。また、固定機材１０５は、カメラ１０６を固定するとともに、照明１０７も固定できるようになっている。本実施の形態では、カメラ１０６のレンズの周囲に方環状のＬＥＤ照明を配置することで、そのカメラ１０６が備え付けられたロボットステーションＥのワークスペース上の被加工物Ｗに対して、均一な照明を実現している。カメラ１０６は、広い視野を有する必要があるため、高画素タイプであることが好ましい。具体的には１０Ｍピクセル以上であることが好ましく、カメラ１０６と画像処理装置の間は、ＦＡ用の一般規格であるカメラリンク規格で接続を行っている。
【００２５】
なお、本実施の形態では、撮像手段は、単一のカメラ１０６からなるが、複数のカメラで構築しても良い。複数のカメラで撮像した画像は、それぞれ画像処理装置に送られ、画像処理により合成され１枚の画像に統合される。
【００２６】
このように撮像手段を構成することで、各カメラ１０６の画角を狭くすることができる。これは複数のカメラ１０６で画像を取得する場合に同じ高さから撮影すると仮定した場合、個々のカメラ１０６の画角は、同じ領域を撮影する１つのカメラ１０６より狭くて済むためである。合成した画像は、１つのカメラ１０６で更に高い位置から、狭い画角で撮影した画像と同じになる。つまり、撮像手段を複数のカメラ１０６で構成すれば、ブース１０４の高さを低くできることに直結する。ロボットステーションＥのカメラ１０６の撮影において、振動はつきものであり、本実施の形態のように、ロボットアーム１０１，１０２のような振動源がある場合、カメラ１０６の撮影は、振動が収まるまで待つ必要がある。この振動の周期は、ブース１０４の高さが高いほど長くなる。
【００２７】
従って、複数のカメラで撮像手段を構成することで、この振動周期を短くすることができるようになり、ロボットセルのタクトを向上させることが可能になる。更に、ロボットステーションＥの高さが低くなれば、部材費の節約ができる。また、照明１０７は距離の２乗に明るさは減少するため、ブース１０４の高さを低くできれば、必要な明るさを得るための照明１０７のパワーも低下させることができる。更に、各個のカメラ１０６の撮像範囲も狭くなるため、１台で構成する場合に比べ、各個のカメラ１０６の必要分解能が少なくて済む。これは、各個のカメラ１０６の画素数が少なくてもいい事を示し、これにより、各個のカメラ１０６からの画像転送時間を短縮することが可能になる。
【００２８】
図２は、ロボットステーションが少なくとも３つ並設されて構成されたロボットセルの模式斜視図である。
【００２９】
ロボットセルは、一列に連結された８台のロボットステーションＥ−１〜Ｅ−８から構成されている。
【００３０】
自動台車１１０は、工場の床に設置されたテープ１１１等の順路を読み取り、自動搬送を行う移動体である。自動台車１１０の天盤１１０ａにトレイ１２０が載置してあり、数多くの被加工物Ｗあるいは加工物Ｐを、このトレイ１２０に載せ、異なる作業や加工を行うロボットセルあるいは、人セルとの間を行き来する。図中矢印は、このロボットセル内で被加工物Ｗが搬送される方向を示している。
【００３１】
被加工物Ｗを載置された自動台車１１０は、ロボットセルを構築する一端側のロボットステーションＥ−１に隣接して停止する。また、加工物Ｐを載置する自動台車１１０も、他端側のロボットステーションＥ−８に隣接して停止し、この状態で、ロボットセルにおける組立て作業は行われる。
【００３２】
ロボットステーションＥ−１内には、前述した被加工物Ｗを一時的に載置するトレイは設置されていない。ロボットステーションＥ−１に配置された一方のロボットアーム１０１は、隣接する自動台車１１０の天盤１１０ａに載置された被加工物Ｗを直接つかみ、ロボットステーションＥ−１内で作業を行うための所定位置に、被加工物Ｗを搬送する。また、ロボットステーションＥ−１のブース１０４に備え付けられたカメラ１０６は、ロボットステーションＥ−１の架台１０３の天盤１０３ａだけでなく、隣接して停止する自動台車１１０のトレイ１２０も視野に入るように設置される。
【００３３】
他端側のロボットステーションＥ−８も、隣接して停止している自動台車１１０のトレイ１２０に対して、加工された加工品Ｐを、ロボットステーションＥ−８の他方のロボットアーム１０２により搬送し、順に並べていく動作を行う。ロボットステーションＥ−８のブース１０４に備え付けられたカメラ１０６も、ロボットステーションＥ−８の架台１０３の天盤１０３ａだけでなく、隣接して停止する自動台車１１０のトレイ１２０も視野に入るように設置されている。
【００３４】
この他のロボットステーションＥ−２〜Ｅ−７についても、各ロボットステーションのブース１０４に備え付けられたカメラ１０６は、そのカメラ１０６が備え付けられたロボットステーションの天盤１０３ａを視野範囲にするだけでない。加えて隣接するロボットステーションの天盤１０３ａの一部、好ましくは、組立て作業を行う領域まで含む視野範囲を有する。
【００３５】
図３は、図２のロボットセルのうち、隣接する３つのロボットステーションＥ−６，Ｅ−７，Ｅ−８の部分を拡大して表示した模式斜視図である。この図では、ロボットステーション内のワークスペースを、わかりやすく表示するため、ブースの支柱は省略している。ロボットステーションＥ−６は、一対のロボットアーム１０１，１０２、架台１０３、カメラ１０６、部品供給装置１３０を有している。ロボットステーションＥ−７から見て被加工物Ｗを待機させておく待機領域Ｅ−７，１４０、部品を組み付ける作業領域Ｅ−７，１５０、加工された被加工物を待機させるスペースＥ−８，１４０、前記加工された被加工物を待機させるスペースは、隣接するロボットステーションＥ−８の天盤１０３ａに設けられている。
【００３６】
図４は、図３のロボットステーションの配置と、カメラ１０６がカバーする撮影範囲と、各ロボットステーションに備え付けられたロボットアーム１０１，１０２の最大可動範囲をロボットセルの上面から見た見取り図である。
【００３７】
以下、図３、図４を参照して、本発明に係るロボットセルでの被加工物、加工物の動きと、ロボットアームの利用法、ブース天井に設置されているカメラ１０６の画像の取り扱いについて、説明する。
【００３８】
まず、ロボットステーションを稼働させるにあたっては、撮像手段であるカメラ１０６単体のキヤリブレーションと、カメラ１０６とロボットに装着したエンドエフェクターとのキヤリブレーションを実施する必要がある。これは、カメラ１０６の取り付け位置や、傾き等をロボットステーション毎で一定精度内に押さえることは非常に大変で、メカ精度だけでは保証できないためである。そのため、カメラ１０６で、視野内の異なる位置にキヤリブレーションプレートを置いて撮影し、その画像から、カメラ１０６の取り付け位置や傾き等を校正するカメラパラメータ補正値を導出する。これが、撮像手段単体のキヤリブレーションである。
【００３９】
その後、カメラ１０６で得た画像は、このカメラパラメータ補正値を用いて、画像上の位置情報を、カメラ１０６の取り付け位置や傾き等を校正したカメラ座標に変換して使用する。次に、既知のロボット座標と一定の精度保証されたキヤリブレーションマークを、少なくとも１か所以上、好ましくは３ケ所以上撮像する。カメラ座標を前述のカメラパラメータ補正値から求め、既知のロボット座標との相関パラメータを求めることで、実際にロボットアームが動作するロボット座標系との関係式を作成する。そして、カメラ座標（Ｘ，Ｙ）にあたる位置がロボット座標（Ｘ１，Ｙ１）に変換するロボット座標変換式を構築する。これが、ロボット−撮像手段間のキヤリブレーションである。
【００４０】
このキヤリブレーションについて、本実施の形態では、以下のようにして実施する。
（１）カメラ１０６の視野範囲内であって、撮影する天盤１０３ａ毎に、１直線上に並ばない位置に３枚の公知のキヤリブレーションプレートを配置する。本実施の形態では、隣接するロボットステーションの両隣の天盤１０３ａも視野範囲内である。そのため、右隣のロボットステーションの天盤１０３ａに３枚、本カメラ１０６を備え付けられた直下のロボットステーションＥ−７の天盤１０３ａに３枚、左隣のロボットステーションＥ−６の天盤１０３ａに３枚、合計９枚のキヤリブレーションを配置する。各天盤１０３ａ毎に、キヤリブレーションプレートを準備して、キヤリブレーションを行うのは、複数の天盤間で、カメラ１０６に対する煽り等、メカ精度的に、同一であると判断できないパラメータがあるためである。そのため、本実施の形態では、撮像手段単体のキヤリブレーションは、カメラ１０６で得た画像を、各天盤１０３ａの撮影位置にあわせて、３つの領域に区切り、それぞれの領域で、カメラパラメータ補正値を算出する。なお、これらのキヤリブレーションプレートは、各天盤１０３ａ上に、最初から刻み込んでおいても良い。また、一度に撮影する必要はないので、１枚のキヤリブレーションプレートを順番に９度撮影しても良い。各天盤１０３ａ毎に、３枚単位でキヤリブレーションプレートを準備しておき、順番に３度撮影してもよい。
【００４１】
（２）画像処理装置のカメラ単体キヤリブレーションプログラムを起動する。
プログラムは、合計９枚のキヤリブレーションプレートを、天盤１０３ａ毎に自動撮影し、この画像情報を用いて公知のキヤリブレーション手法により、撮像手段単体のカメラパラメータ補正値を算出する。
【００４２】
カメラパラメータ補正値の値は、各天盤１０３ａ毎に１セット導出され、合計３セットのカメラパラメータ補正値が導出される。なお、導出されたカメラパラメータ補正値は、画像処理を行う撮影画像領域に応じて使い分ける。例えば、右隣の天盤１０３ａに該当する領域の画像であれば、右隣の天盤１０３ａで実施したキヤリブレーションで算出したカメラパラメータ補正値を利用してカメラ座標の算出を行う。カメラ１０６で得た画像のどの領域が、どのロボットステーションの天盤に該当するかは、人による教示により予め実施すればよい。
【００４３】
（３）次に、キヤリブレーションプレートを取りさる。
その上で、カメラ−ロボット間のキヤリブレーションプログラムを起動する。プログラムは、カメラを有するロボットステーションＥの天盤１０３ａに刻まれたマークを読み取り、前記マークに対応する既知のロボット座標とマークに対応するカメラ座標を用いて、カメラ座標からロボット座標への変換式を得る。前記カメラ座標は、各天盤１０３ａの位置に対しても共通の座標系であるから、左右に隣接するロボットステーションＥの天盤１０３ａの画像も、対応するカメラパラメータ補正値により、カメラ座標を算出し、前記カメラ座標をロボット座標に変換することができる。そうすることで、隣接するロボットステーションの架台天盤においても、本撮像手段の備えつけられたロボットステーションのロボットアームを制御することが可能になる。
【００４４】
上記のキヤリブレーション作業は、ロボットセルを構成する各ロボットステーションが保有するカメラ１０６毎で行う必要がある。そのため、カメラ単体のキヤリブレーションに使うキヤリブレーションプレートの配置位置は、隣接するロボットステーションの撮像手段１０６と、ロボットステーションの撮像手段の共通視野で行うことが望ましい。共通視野で行い、同時にロボットステーション１，２でキヤリブレーションプログラムを稼動させることで、前記キヤリブレーションプレートの配置作業を、撮影回数に比して少なくすることができる。
【００４５】
なお、被加工物や加工物を搬送する自動台車１１０の天盤１１０ａとのキヤリブレーションは、自動台車１１０が、搬送動作を停止して所定位置に来る度に行う必要がある。これは、キヤリブレーションは、撮像手段としてのカメラと撮影対象である天盤の位置関係の補正に他ならないからであり、撮影対象である天盤１０３ａが動くような場合は、その度に修正する必要があるためである。そのため、自動台車１１０には前記キヤリブレーションプレートは、所定位置に常に配置しておくことが好ましい。
【００４６】
次に、本実施の形態によるロボットステーションの被加工物の搬送動作と、その画像処理を中心に、本発明について、実施の形態の説明を行い、その効果を詳しく説明する。
【００４７】
各ロボットステーションＥに備え付けられているカメラ１０６の視野が、そのカメラ１０６の取り付けられたロボットステーション１００のワークスペースのみならず、隣接するロボットステーションのワークスペースまで及ぶことである。ロボットステーションＥ−７のカメラ１０６は、その視野範囲２００は、カメラ１０６が備え付けてあるロボットステーションＥ−７の天盤１０３ａのみならず、両隣のロボットステーションＥ−６とＥ−８の天盤１０３ａの一部も視野に捉えている。
【００４８】
なお、カメラ１０６は、ＣＣＤ等の固体イメージセンサーを備えたビデオカメラであり、固体イメージセンサーとして、横縦比１６：９の画角を有するものを使用している。その上で、１６：９のイメージセンサー縦寸法を、正方形状の天盤１０３ａの縦寸法に対応させた画角とした。そのため、図４の視野範囲５０６は、正方形状の天盤１０３ａの全域をカバーした上で、両側の天盤１０３ａの一部も、視野範囲として十分にカバーすることができる。図４では例えばロボットアーム１０１の天盤に対する取り付け位置を中心とする可動範囲を点線の半円で描き、組み立て作業領域２０４として示した。
【００４９】
本実施の形態では、上記のような視野範囲をとることで、カメラ１０６を備え付けたロボットステーションＥのロボットアーム１０１，１０２は、隣接するロボットステーションＥの天盤１０３ａでも、画像処理による動作位置の修正が可能になる。その結果、高精度な動作が可能になるだけでなく、状況に応じた動きもできるようになる。例えば、従来、機械精度のみに頼っていたプレイバック搬送動作に、位置補正動作を行うことができるようになる。本実施の形態では、図３に示すように被加工品Ｗの待機領域１４０には、複数の被加工品Ｗを待機させることができるスペースを確保している。すなわち、作業領域１５０から隣接するロボットステーションＥ−７の待機領域１４０に、加工品Ｐを搬出する際、まず、カメラ１０６により、待機領域１４０の状態を確認する。その上で、待機領域１４０に以前に搬出した加工品Ｐがまだ残っている状況であっても、待機領域１４０内で、空いている領域を確認した上で、その空き領域に対して、他方のロボットアーム１０２を用いて加工品Ｐを搬出することができる。
【００５０】
このように動作させることで、１つのロボットステーションの不良動作に引きずられて、ロボットセルの動作が停止するという事態を避けることができる。
【００５１】
例えば、接着剤の塗布のような組み立て作業を中断すると、接着剤が固まってしまう場合がある。このようなケースでは、一旦動作を停止すると、再開するような場合、接着剤の塗布をやり直し、又は接着剤の塗られた被加工品を廃棄する必要がでてくる。しかしながら、前述したように、待機領域に複数の加工品を待機させることができれば、作業を一時中断することなく接着剤の固着が問題にならないところまで工程を進める。その後、被加工物を待機領域に退避することで、前述したやり直し等の問題がなくなるというメリットがある。
【００５２】
図５は、本発明の別の実施形態で、固体イメージセンサーを、図４の１６：９のイメージセンサーから、４：３のイメージセンサーに変更したものである。図５は、この実施の形態での、ロボットセルの上面から見た見取り図を示している。
【００５３】
カメラ１０６は、両隣のロボットステーションＥ−６，Ｅ−８を視野に入れるのではなく、カメラ１０６を備え付けているロボットステーションの架台１０３の上面と、搬出側のロボットステーションの待機領域１４０をカバーする視野範囲４００に限定している。しかしながら、本実施の形態でも、前述したロボットステーションと同様な動きが可能である。しかも、視野範囲が２つのロボットステーションの天盤１０３ａに限定されることで、前述したキヤリブレーションは、２つの天盤１０３ａに対して行えば良いだけなので、手間が省けるという利点がある。更に、一般的に１６：９の固体イメージセンサーより、４：３のイメージセンサーの方が、よりポピュラーであるため、撮像手段としても入手しやすく、設計自由度の向上が図れるメリットがある。
【００５４】
図６は、本発明の別の実施形態で、撮像手段に４：３の固体イメージ素子を有するカメラを２台使用して、視野を拡大した構成である。図６は、この実施の形態で、ロボットセルの上面から見た見取り図を示している。図６は、ロボットステーションＥ−７に備え付けられたカメラ１０６の視野を示しており、ロボットステーションＥ−８に備え付けられた撮像手段の視野を示す。この実施の形態では、ロボットステーションＥ−７の組立作業領域である１５０を、視野５０２が含んでいる。そのため、この実施の形態では、ロボットステーションＥ−８のロボットアーム１０１は、ロボットステーションＥ−７の図中の点線の半円にて示される組み立て作業領域の一部である組み立て作業領域２０３で制御可能であり、具体的には、組み立て完了した加工品を引き取るという動作も可能になる。これは、次のような事由でメリットが大きい。一般に、ロボットステーションは、さまざまな工程で使用するため、実施する工程により、ロボットアームのエンドエフェクターを付け替える必要があり、様々な組み合わせが考えられる。例えば、鏡筒のような被加工品あるいは加工品をつかみ、搬送するには、エンドエフェクターとして、ある程度の大きさの搬送を想定したグリップハンドのようなエンドエフェクターが必要になる。
【００５５】
しかしながら、このようなグリップハンドは、精密な作業にはむかないため、精密な組み立て作業には、エンドエフェクターとしては、ピンセットハンドが必要になる。ピンセットハンドは、文字通り、ピンセットを持ったエンドエフェクターであり、このようなエンドエフェクターでは、鏡筒のような大きな物品の搬送を行うことはできない。従って、ピンセットハンドを２つ要するような工程が必要になった場合、被加工品の搬送ができなくなる。その対応策として、作業工程の途中で、ロボットアームが、エンドエフェクターを交換することも考えられる。しかしながら、エンドエフェクターの交換作業は、容易ではない場合が多い。また、その精度をあわせるため多くの時間を必要とする。そのため、工程の途中で、エンドエフェクターを交換することは大幅なタクトの低下になり、実際上は難しい。しかしながら、本実施の形態では、例えば、ロボットステーションＥ−６からロボットステーションＥ−７への搬送は、ロボットステーションＥ−６のロボットアーム１０２のエンドエフェクターをグリップハンドにしておくことで搬送可能である。また、ロボットステーションＥ−７からロボットステーションＥ−８への搬送は、ロボットアーム１０２のエンドエフェクターをグリップハンドにしておくことで可能になる。そのため、ロボットステーションＥ−７のロボットハンド１０２のエンドエフェクターを、双腕共に、ピンセットハンドに設定することも可能になる。このため、ロボットセルを構築する上で、各ロボットステーションのエンドエフェクターの選択の範囲が広がり、ロボットセルの構築が容易になるというメリットがある。
【００５６】
図７は、図６の実施の形態の撮像手段を示している。撮像手段は、カメラ２台を並列に配置してなる。各カメラ１０６ａ，１０６ｂには、各々、４：３のＣＣＤ等のイメージセンサーが搭載されており、２つのカメラ１０６ａ，１０６ｂで、６：３の有効画角を形成する。また、各カメラ１０６ａ，１０６ｂの周囲には、カメラ１０６ａ，１０６ｂが備え付けられている直下のロボットステーション１０１の架台１０３の天盤１０３ａを照らすＬＥＤ照明１０７が設けられている。図８は、図７の実施の形態にかかわる撮像手段の各カメラ１０６の有効視野範囲を示している。６０１，６０２は、各カメラの有効視野範囲。６０３は、各カメラの有効視野領域が重なった部分を示し、各カメラ有効視野を、横方向に、全体の１／３重なるように配置して、全体として画角６：３を実現している。
【００５７】
このように、複数のカメラを有する場合も、前述したカメラ単体のキヤリブレーションは必要であり、各カメラ毎に、視野領域に含む天盤毎に、キヤリブレーションプレートを配置して、カメラパラメータ補正値を、予め算出しておく必要がある。例えば、カメラ１０６ａ，１０６ｂが２台として、各カメラ１０６ａ，１０６ｂが、視野に、それぞれ２つの天盤の領域を含む場合、少なくとも１直線上に並ばないキヤリブレーションプレートが、３×２×２枚、必要となる。そして、得たカメラパラメータの補正値により、画像領域毎にカメラ座標系を算出し、それを更にロボット座標系に変換して、撮像手段を備え付けているロボットステーションのロボットコントローラに伝え、ロボットアームを指示、制御を行う。なお、撮像手段を備え付けているロボットステーションの架台１０３の天盤１０３ａに対するキヤリブレーションは、前述の１／３重なる領域で行うことにより、１回減らすことが可能である。この場合、必要なキヤリブレーションプレートが、３×３枚で良いことになる。
【００５８】
１／３重なる領域は、ステレオ撮影画像としても利用可能であり、この１／３重なる領域では、いわゆる３角測量の原理で、これまで述べた２次元画像としての処理だけでなく、被加工物の奥行き方向の寸法値も加えた３次元位置の測定にも使うこともできる。
【００５９】
この３次元位置情報は、そのまま物品の奥行情報として使用してもよいが、キャリブレーションの際に、個別カメラ１０６ａ，１０６ｂが撮影する２次元平面の架台１０３からの高さ情報を得る事に使用する事もできる。こうする事で、個別カメラ１０６ａ，１０６ｂをキヤリブレーションを行う際、キヤリブレーションプレートの高さ情報をいちいち入力する必要がなくなるというメリットもある。
【００６０】
上記ステレオ撮影画像の原理は、同一のロボットステーションに備え付けられた撮像手段の共通視野だけでなく、隣接するロボットステーション１０１とロボットステーション１０２の間の共通視野においても、同様な原理で３次元位置の測定は可能である。但し、これを実現するには、お互いのロボットステーション間で、画像又は画像処理結果を、双方の画像処理装置間で通信する必要がある。
【００６１】
図９は、本発明の別の実施形態を示す。
【００６２】
図９は、図３のロボットステーションの天盤１０３ａに相当する、Ｅ−６〜Ｅ−８に対応するロボットステーションを示す。
【００６３】
ロボットステーションＥ−６，Ｅ−７に備え付けたカメラ１０６の視野範囲７０１，７０２を示している。
【００６４】
本発明の特徴は、ロボットステーションＥ−６に備え付けられた撮像手段と隣接する別のロボットステーションＥ−７に備え付けられた撮像手段の共通視野範囲内７０３に、お互いの位置関係を関係つけるキヤリブレーションマーク７０４が存在する点にある。図６の実施の形態に示すように、隣接するロボットステーションの組み立て作業領域１５０まで、撮像手段の視野範囲とするには、極端に横長の視野範囲が必要になる。そのため、単一のカメラで撮像手段を形成するのは難しい。
【００６５】
そこで、本実施の形態では、隣接するロボットステーションの撮像手段との間に、少なくとも１つ、好ましくは３つ以上のキヤリブレーションマーク７０４を設ける。そして、ロボットステーションＥ−６の撮像手段で得たキヤリブレーションマーク７０４に対応するロボット座標と、隣接する別のロボットステーションＥ−７に備え付けられた撮像手段で得たロボット座標の対応付けを行う変換式を形成する。これを行うことで、たとえばＥ−６のロボットステーションＥ−６のロボット座標（Ｘｒ１，Ｙｒ１）に対応した、隣接するロボットステーションＥ−７のロボット座標（Ｘｒ２，Ｙｒ２）を求めることができるようになる。この結果、例えば、ロボットステーションＥ−６の有効視野範囲外である隣接するロボットステーションＥ−７の組み立て作業領域に対して、ロボットステーションＥ−６のロボットアーム１０２により、補助作業を行うことが可能になる。
【００６６】
なお、これを実現するには、お互いのロボットステーション間で画像又は画像処理結果を双方の画像処理装置間で通信する必要がある。その上で、お互いのロボットステーションのロボットコントローラで、双方のロボット座標（Ｘｒ１，Ｙｒ１）→（Ｘｒ２，Ｙｒ２）の変換式、（Ｘｒ２，Ｙｒ２）→（Ｘｒ１，Ｙｒ２）の変換式を構築する。その結果、ロボットアームを有するロボットステーションの撮像手段の有効視野外であっても、必要に応じて前記ロボットアームを隣接するロボットステーションの補助作業領域で利用できることが可能になる。
【００６７】
前記ロボットセルにおいて、ロボットステーションに備え付けられた撮像手段の撮像範囲は互いに共通領域を有し、各々の撮像手段が捉えた画像又は組み付け画像処理結果を送信あるいは受信する手段を有している。このため、各ロボットステーションの撮像手段は、ステレオ撮像ができるようになり、従来からの２次元情報に限らず、高さ方向の３次元情報を捉えることが可能になる。そして、これを使うことでさらに高度な各ロボットステーションのロボットアームの連携動作が可能になる。例えば、このステレオ撮影を用いて、ロボットアームがつかんでいる被加工物の３次元位置を測定することが可能であり、ロボットステーション間で、各々のロボットアームが立体交差するような動き等に対応することができる。
【００６８】
前記ロボットセルにおいて、ロボットステーションに備え付けられた撮像手段と、隣接するロボットステーションに備え付けられた撮像手段の共通視野範囲内に、お互いの位置関係を関係付けるキヤリブレーションマークを有する。
【００６９】
このため、ロボットステーションのロボットアームは、隣接するロボットステーションの撮像手段により得られる画像から得られるカメラ座標を利用して、必要なロボット座標を得ることができるようになる。これにより、ロボットステーションが有するロボットアームは、ロボットステーションの有する撮像手段の撮影範囲外においても、ロボットコントローラにより、高度な処理ができるようになる。
【００７０】
ロボットセルにおいて、各ロボットステーションのワークスペースは、正方形状であり、各ロボットステーションに備え付けられた撮像手段は、横縦比１６：９又は、４：３の画角を有している。そして、前記画角の長辺方向は、ロボットステーション内を通過する被加工物の搬送方向と同じ方向である特徴を有している。このため、撮像手段に取り付けられているイメージセンサーの画素を有効に利用することができる。各ロボットステーションが有するロボットアームが、隣接する第２のロボットステーションで作業を行うには、各ロボットステーションのワークスペースは、正方形状であることが好ましい。これは、正方形状に対角する２角に、それぞれロボットアームを持ってきて、並べることで、お互いの可動範囲のダブりを少なくできるため、ロボットアームの制御が容易になるからである。
【００７１】
一方、一般にカメラ等の撮像手段に設けられるイメージセンサーの形状は、テレビの画角に合わせて作成されており、横縦比４：３または１６：９である。そこで、ワークスペースの短辺側をイメージセンサーの短辺側になるように画角を合わせ、イメージセンサーの撮影領域が、ワークスペースからはみ出る領域を、隣接するロボットステーションのワークスペースに振り向ける。これにより、イメージセンサーの有効画素領域を有効に利用できる。
【００７２】
前記ロボットセルにおいて、各ロボットステーションに備え付けられた撮像手段は、複数のカメラにより構成され、複数のカメラにより撮られた映像は、互いに関連づけられ、１枚の画像として処理される特徴を有する。このため、必要な箇所に、複数の必要な分解能のカメラを置き、それを１枚の画像としてとらえることで、１つの撮像手段の総画素数を抑えることができ、現状存在しないような高画素の撮像手段を得ることができるメリットがある。さらに、異なる場所に複数のカメラを置くことで、１つのカメラの画角を狭くしても、全体としては広範囲な画像を得ることができる。その結果、定められた画角を得るためのブースの高さを低くできるというメリットがある。
【符号の説明】
【００７３】
Ｅ      ロボットステーション
１０１，１０２      ロボットアーム
１０３      架台
１０３ａ    天盤
１０４      ブース
１０５      固定機材
１０６      カメラ
１０７      照明
１１０      自動台車
【図１】
0005653166.tif 000002
【図２】
0005653166.tif 000003
【図３】
0005653166.tif 000004
【図４】
0005653166.tif 000005
【図５】
0005653166.tif 000006
【図６】
0005653166.tif 000007
【図７】
0005653166.tif 000008
【図８】
0005653166.tif 000009
【図９】
0005653166.tif 000010