(57)【要約】【課題】ワークをつかむためのハンドの位置精度の低下を抑制し、作業効率の向上を図るカメラおよびロボットシステムを提供する。【解決手段】カメラは、ロボットアームの先端に取り付けられるカメラ筐体と、カメラ筐体に収容されるカメラ部と、を備える。カメラ部は、ワークを撮像するための光学特性の異なる複数のカメラが一体的に構成される。【選択図】図２
2020196116.tif 000002
【特許請求の範囲】
【請求項１】
ロボットアームの先端に取り付けられるカメラ筐体と、
前記カメラ筐体に収容されるカメラ部と、を備え、
前記カメラ部は、ワークを撮像するための光学特性の異なる複数のカメラデバイスが一体的に構成される、
カメラ。
【請求項２】
前記カメラ部は、一つの俯瞰カメラと、前記俯瞰カメラと作動距離の異なる二つの近接カメラとが一体的に構成される、
請求項１に記載のカメラ。
【請求項３】
前記二つの近接カメラのそれぞれは、同一の作動距離を有する同一のカメラデバイスで構成され、同一の前記ワークを同時に撮像し、視差のある一対の画像を取得し、前記一対の画像に基づいて、前記二つの近接カメラから前記ワークまでの距離を算出する、
請求項２に記載のカメラ。
【請求項４】
前記カメラ部は、前記俯瞰カメラの使用モードから前記近接カメラの使用モードに切り替えて作動する、
請求項２に記載のカメラ。
【請求項５】
前記カメラ部は、前記近接カメラの使用モードから前記俯瞰カメラの使用モードに切り替えて作動する、
請求項２に記載のカメラ。
【請求項６】
前記一つの俯瞰カメラおよび前記二つの近接カメラは、それぞれの光軸が平行に配置され、かつ前記光軸に直交する面において前記それぞれの光軸が三角形の各頂点に配置される、
請求項２〜５のうちいずれか一項に記載のカメラ。
【請求項７】
前記三角形は、正三角形である、
請求項６に記載のカメラ。
【請求項８】
前記三角形における各辺の中点に、照明開口部が配置される、
請求項６または７に記載のカメラ。
【請求項９】
前記カメラ部は、前記二つの近接カメラの間に照明開口部が配置される、
請求項２に記載のカメラ。
【請求項１０】
前記照明開口部は、前記ワークを照らすための光源が配置される、
請求項９に記載のカメラ。
【請求項１１】
前記照明開口部には、所定のパターンを有する投光が可能な光源が配置される、
請求項９に記載のカメラ。
【請求項１２】
前記二つの近接カメラのそれぞれは、同一の作動距離を有して構成され、前記光源から投光された前記パターンの光を同時に撮像し、視差のある一対のパターン画像を取得し、前記二つの近接カメラから前記パターンの光が照射されるパターン投光面までの距離を算出する、
請求項１１に記載のカメラ。
【請求項１３】
前記カメラ筐体は、前記ロボットアームの先端に相互に接近離反自在に取り付けられた一対の指部材における離間方向の中央部に配置される、
請求項１〜１２のうちいずれか一項に記載のカメラ。
【請求項１４】
ロボットアームの先端に取り付けられるカメラ筐体と、
前記カメラ筐体に収容され、ワークを撮像するための光学特性の異なる複数のカメラデバイスが一体的に構成されるカメラ部と、
前記カメラ部が取得した撮像情報に基づき、前記ロボットアームの動作を制御するための制御信号を生成するコントローラと、を備える、
ロボットシステム。
【請求項１５】
前記コントローラは、前記光学特性の異なる複数のカメラデバイスの一方の焦点が合わないタイミングで、前記光学特性の異なる複数のカメラデバイスの他方へ使用モードを切り替える、
請求項１４に記載のロボットシステム。
【請求項１６】
前記コントローラは、外部装置からの情報に基づき、前記光学特性の異なる複数のカメラデバイスのいずれか一方に使用モードを切り替える、
請求項１４に記載のロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、カメラおよびロボットシステムに関する。
【背景技術】
【０００２】
ワークを配置したストッカの上方に、カメラとレーザスキャナとを有した配置状態検出部の設けられるロボットシステムが知られている（例えば特許文献１参照）。このレーザスキャナは、スリット光を発生するレーザ光源と、ミラーと、ミラーを駆動するモータとを含む。このロボットシステムでは、モータの回転角度と、カメラの撮像素子の位置と、レーザ光源、ミラーおよびカメラの位置関係とに基づいて、三角測量の原理によりワークまでの距離（つまり、ストッカ内のワークの３次元形状情報）が検出される。ロボットシステムは、この位置情報に基づいて、ストッカ内に配置された複数のワークのうちの１つのワーク（例えば保持しやすい位置にあるワーク）をハンド部に保持させる制御を行う。なお、ロボットアームには保持状態検出用カメラが備えられるが、この保持状態検出用カメラはハンド部に保持されたワークの保持状態を検出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−７８８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のロボットシステムは、ストッカの上方に取り付けられた配置状態検出部にカメラが設けられるため、ワークをつかむためにハンド部をワークに近づけると、アームあるいはハンド部がカメラの死角になり、視野を遮ってしまう。このため、ワークをつかむためのハンドの位置精度が低下したり、ワークの位置（言い換えると、座標）が判らなくなったりする問題があった。ロボットシステムは、ストッカ内に、３次元形状情報の検出できないワークが存在すれば、ハンド部で保持できないワークが増加するので作業効率がよくなかった。
【０００５】
本開示は、上記従来の事情に鑑みて案出され、ワークをつかむためのハンドの位置精度の低下を抑制し、作業効率の向上を図るカメラおよびロボットシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示は、ロボットアームの先端に取り付けられるカメラ筐体と、前記カメラ筐体に収容されるカメラ部と、を備え、前記カメラ部は、ワークを撮像するための光学特性の異なる複数のカメラデバイスが一体的に構成される、カメラを提供する。
【０００７】
また、本開示は、ロボットアームの先端に取り付けられるカメラ筐体と、前記カメラ筐体に収容され、ワークを撮像するための光学特性の異なる複数のカメラデバイスが一体的に構成されるカメラ部と、を含むカメラと、前記カメラが取得した撮像情報に基づき、前記ロボットアームの動作を制御するための制御信号を生成するコントローラと、を備えるロボットシステムを提供する。
【発明の効果】
【０００８】
本開示によれば、ワークをつかむためのハンドの位置精度の低下を抑制し、作業効率の向上を図ることができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係るロボットシステムの構成図
【図２】ロボットアームの先端の要部拡大斜視図
【図３】カメラの拡大斜視図
【図４】カメラ筐体の変形例の拡大斜視図
【図５】図１に示したカメラの俯瞰カメラ作動時におけるロボットアームの先端の拡大側面図
【図６Ａ】図１に示したカメラの近接カメラ作動時におけるロボットアームの先端の拡大側面図
【図６Ｂ】図１に示したカメラの俯瞰カメラ作動時の光源からのパターン照射の動作説明図
【図６Ｃ】設置台とワークの色味とパターン照射との関係を示す動作説明図
【図７】図１に示したロボットコントローラのブロック図
【図８】図１に示したビジョンコントローラのブロック図
【図９】ビジョンコントローラの動作手順を表すフローチャート
【図１０】焦点が合うか否かを切り替えタイミングとする場合の処理手順を表すフローチャート
【図１１】外部装置からの情報を切り替えタイミングとする場合の処理手順を表すフローチャート
【図１２】ビジョンコントローラとロボットコントローラとのリアルタイム連携により、ロボットアームをリアルタイムに制御してロボットアームの先端をワークに近づける場合の処理手順を表すフローチャート
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、本開示に係るカメラおよびロボットシステムの構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１１】
図１は、実施の形態１に係るロボットシステム１１の構成図である。実施の形態１に係るロボットシステム１１は、ロボット１３と、カメラ１５と、コントローラ（例えば、ロボットコントローラ１７およびビジョンコントローラ１９）と、を含む構成である。
【００１２】
ロボット１３は、ロボットアーム２１を備える。ロボット１３は、例えば６つのサーボモータ２３を有する６軸（例えば、Ｊ１軸，Ｊ２軸，Ｊ３軸，Ｊ４軸，Ｊ５軸，Ｊ６軸）の多関節型ロボットで構成される。ロボットアーム２１の先端部には、作業目的に応じたツールが取り付けられる。実施の形態１において、ツールは、例えば一対の指部材２５を有するハンド部２７となる。ハンド部２７は、図示しないエアシリンダ、電動シリンダ、モータ等の各種アクチュエータを制御することで細かい作業が可能となっており、ワークＷを掴んだり、搬送したりすることができる。
【００１３】
ロボット１３のＪ１軸は、ロボット１３の全体をパン回転の如く旋回させる際の回転中心である。ロボット１３のＪ２軸は、ロボットアーム２１をチルト回転の如く前後移動させる際の回転中心である。ロボット１３のＪ３軸は、ロボットアーム２１をチルト回転の如く上下移動させる際の回転中心である。ロボット１３のＪ４軸は、ロボットアーム２１の手首をチルト回転の如く回転させる際の回転中心である。ロボット１３のＪ５軸は、ロボットアーム２１の手首の振りを行う際の回転中心である。ロボット１３のＪ６軸は、ロボットアーム２１のハンド部２７をパン回転の如く回転させる際の回転中心である。
【００１４】
ロボット１３には、ロボット１３に対して所定の動作を行わせるためのコントローラがケーブル２９を介して接続されている。ロボット１３のＪ１軸〜Ｊ６軸は、ロボットコントローラ１７の制御部（図７参照）によって独立に制御される。ロボットコントローラ１７は、モニタ３１に表示されたロボット１３の座標を、入力部３３により指定することで、ロボット１３を正確にその位置に移動することができる。
【００１５】
入力部３３は、入力キーを有し、モニタ３１を一体に備えてもよい。オペレータは、所定の設定動作をロボット１３に行わせたい場合に、この設定動作を行うときのロボット１３の移動経路をモデリングして数式化した数式データを、入力キーを用いて入力する。
【００１６】
ロボット１３は、例えばロボット１３の各軸に与えられた各軸座標系と自由空間上に原点を取り、その原点からロボット１３のハンド部２７の先端までを関連付ける直交座標系を用いて動作させることができる。
【００１７】
図２は、ロボットアーム２１の先端３５の要部拡大斜視図である。ロボットアーム２１は、アーム先端部３７に、手首基部３９がＪ４軸を中心に回転自在に接続される。手首基部３９には、Ｊ５軸を中心に手首先端部４１が首振り自在に接続される。手首基部３９と手首先端部４１とは、手首４３を構成する。手首先端部４１には、Ｊ６軸を中心にハンド部２７が回転自在に接続される。手首先端部４１には、ハンド部２７を回転駆動するサーボモータ２３（図１参照）が内蔵される。
【００１８】
ハンド部２７は、手首先端部４１に内蔵されたサーボモータ２３により台座４５がＪ６軸を中心に回転される。台座４５は、例えばＪ６軸に垂直な円板形状に形成される。台座４５の先端面には、指部材可動溝４７を有したブラケット４９が固定される。ブラケット４９には、相互に接近離反自在となった一対の指部材２５が取り付けられる。一対の指部材２５は、指部材可動溝４７にスライドして接近離反自在となってもよく、指基部が支軸５１により回転自在に支持されることにより指先端が接近離反自在となってもよい。実施の形態１に係るハンド部２７は、例えば一対の指部材２５が支軸５１により回転自在に支持されるものとなる。
【００１９】
ロボット１３において、アーム先端部３７からハンド部２７までの間が、ロボットアーム２１の先端３５となる。
【００２０】
ロボットアーム２１の先端３５には、カメラ１５が取り付けられる。カメラ１５は、ロボットアーム２１の先端３５のハンド部２７に取り付けられる。より具体的には、カメラ１５は、台座４５に固定されたブラケット４９の重心位置に固定される。なお、カメラ１５の取り付け位置は、上述したブラケット４９の重心位置に限定されない。カメラ１５は、ロボットアーム２１の先端３５であれば任意の位置に取り付けられてもよい。カメラ１５は、伝送ケーブル５３を介してビジョンコントローラ１９に接続される。
【００２１】
図３は、カメラ１５の拡大斜視図である。カメラ１５は、ロボットアーム２１の先端３５に取り付けられるカメラ筐体５５と、カメラ筐体５５に収容されるカメラ部５７と、を備える。カメラ筐体５５は、例えば上述したハンド部２７のブラケット４９の重心位置に固定される。
【００２２】
カメラ筐体５５は、ロボットアーム２１の先端３５に相互に接近離反自在に取り付けられた一対の指部材２５における離間方向（例えば図２の矢印ａ方向）の中央部に配置される。
【００２３】
カメラ部５７は、一つの俯瞰カメラ５９と、俯瞰カメラ５９と作動距離の異なる二つの近接カメラ６１とが一体的に構成されている。
【００２４】
一つの俯瞰カメラ５９および二つの近接カメラ６１は、それぞれが例えば外径６ｍｍ以下の細径カメラとなる。一つの俯瞰カメラ５９および二つの近接カメラ６１を収容するカメラ筐体５５は、例えば外径１５ｍｍ以下の円内に収まるサイズで形成される。つまり、カメラ１５は、従来技術で用いられていた配置状態検出部に比べ、小型軽量で形成されている。
【００２５】
外径１５ｍｍ以下の円内に収まるカメラ筐体５５は、被写体側から見た正面視の形状が円形、楕円形、長円形、三角形、四角形（台形や菱形を含む）、五角形、六角形等の多角形の他、蒲鉾形、ティアードロップ形等として形成される。
【００２６】
実施の形態１において、一つの俯瞰カメラ５９および二つの近接カメラ６１は、それぞれの光軸６３が平行に配置され、かつ光軸６３に直交する面においてそれぞれの光軸６３が三角形の各頂点に配置される。
【００２７】
実施の形態１に係るカメラ１５において、上記の三角形が、正三角形である。なお、一つの俯瞰カメラ５９および二つの近接カメラ６１が配置される三角形は、正三角形に限定されない。一つの俯瞰カメラ５９および二つの近接カメラ６１が頂点に配置される三角形は、二等辺三角形、不等辺三角形であってもよい。
【００２８】
三角形の各頂点に細径カメラを収容するカメラ筐体５５は、三角筒で形成することができる。カメラ１５は、この三角筒の各頂点の内側に細径カメラを配置した状態で、例えば樹脂を充填することにより、各細径カメラが一体的に固定される。
【００２９】
カメラ１５は、三角形における各辺の中点に、照明開口部６５が配置される。照明開口部６５は、光ファイバからなるライトガイドの光出射端面を配置してもよく、照明光源となるＬＥＤを直接配置してもよい。
【００３０】
図４は、カメラ筐体５５の変形例の拡大斜視図である。なお、三角形の各頂点に細径カメラを収容するカメラ筐体５５は、円筒で形成してもよい。この場合においても、カメラ１５は、三角形の各頂点に細径カメラを配置した状態で、円筒のカメラ筐体５５の内側に樹脂を充填することにより、各細径カメラが一体的に固定される。なお、この変形例に係るカメラ部５７の構成では、照明開口部６５が省略されている。
【００３１】
カメラ１５において、ワークＷを撮像するための光学特性の異なる複数のカメラデバイス（例えば、後述する俯瞰カメラ、近接カメラ）が一体的に構成される。光学特性とは、例えば作動距離や画角などがあり、ワークＷとの距離に応じて光学特性を切り替えながら使うことで、ワークＷをつかむためのハンドの位置精度の低下を抑制する。ここで、作動距離とは、それぞれのカメラデバイスにおけるレンズ先端部から被写体（例えばワークＷ）までの距離であり、画像焦点が合う距離を言う。画角とはレンズを通して撮像できる角度範囲を言う。
【００３２】
カメラ１５において、俯瞰カメラ５９は、作動距離ＷＤ１（ＷＤ：Working Distance）が、例えば１００〜３００ｍｍで設定され、画角（ＡＶ：Angle of View）ＡＶ１が７０度で設定される。近接カメラ６１は、作動距離ＷＤ２が、例えば５〜９９．９ｍｍで設定され、画角ＡＶ２が１００度で設定される。ワークＷの近くで画角の広いレンズを持ったカメラデバイスへ切り替えることで、ワークＷの近くでも広い範囲の撮像を行うことができ、ワークＷ全体の検出を行うことができる。
【００３３】
俯瞰カメラ５９は、一眼でワークＷの全体を見てワークＷの位置を検出する。また、俯瞰カメラ５９は、メモリ８３上にあらかじめ保存してあるワークＷのＣＡＤデータと撮影したワークＷの大きさ照合することにより、ワークＷまでのおおよその距離を算出することができる。ワークＷのＣＡＤデータは、ワークＷの外観形状および輪郭等の大きさのそれぞれを特定するデータを有する。ワークＷが小さく写っているときはワークＷまでの距離が遠く、ワークＷが大きく写っているときはワークＷまでの距離が近くなるが、俯瞰カメラ５９は、その大きさとＣＡＤデータのサイズを比較することにより、おおよその距離を算出することができる。俯瞰カメラ５９は、焦点距離は長いが、解像度は低い。
【００３４】
一方、近接カメラ６１は、二眼でワークＷの全体若しくはワークＷの一部分を見て距離を測る。距離を得る方法としては、２つの近接カメラ６１を水平に並べて配置し、視差のある２つの画像（一対の画像の一例）を同時撮影する。ただし、ワークＷが撮影中に移動しない場合や、ロボットアームが撮影中に移動しない場合は、同時で無くても良い。近接カメラ６１は、撮影した２つの画像からは、演算によりワークＷの奥行方向の情報すなわち被写体の立体としての情報を得ることができ、また近接カメラ６１からワークＷまでの距離を算出することができる。近接カメラ６１は、作動距離は短いが、解像度は高い。カメラ部５７は、これら一つの俯瞰カメラ５９と、二つの近接カメラ６１とが、適宜切り替えられて使用される。
【００３５】
また、ビジョンコントローラ１９の画像処理部７７は、俯瞰カメラ５９の撮像画像あるいは近接カメラ６１の撮像画像を短周期（例えば０．００２秒周期以下）で取得し、いずれかの撮像画像に基づいて、カメラ１５からワークＷまでの直線的な距離とカメラ１５から見たワークＷの位置ずれ量（言い換えると、ロボットアーム２１の先端３５から見た方向のワークＷまでの相対的な位置のずれ量）とを算出し、この算出結果をフィードバックデータとしてリアルタイム（例えば撮像から０．００２秒周期以内）にロボットコントローラ１７に送信（フィードバック）してよい（図１２参照）。例えば、画像処理部７７は、俯瞰カメラ５９の撮像画像とメモリ８３に予め保存されているワークＷのＣＡＤデータとを照合（例えば、撮像画像中の映るワークＷの大きさとＣＡＤデータとの比較）することで、カメラ１５からワークＷまでの直線的な距離とカメラ１５から見たワークＷの位置ずれ量とを算出できる。例えば、画像処理部７７は、近接カメラ６１の二眼で撮像した２つの撮像画像（一対の画像の一例）に映るワークＷの全体あるいは一部分に基づいて、カメラ１５からワークＷまでの直線的な距離とカメラ１５から見たワークＷの位置ずれ量とを算出できる。
【００３６】
ロボットコントローラ１７は、ビジョンコントローラ１９からリアルタイムに送信されたフィードバックデータに基づいて、ロボットアーム２１の先端３５がワークＷに近づくように各種のロボットアーム２１を制御する。これにより、ビジョンコントローラ１９からリアルタイムにフィードバックしたフィードバックデータに基づいてロボットアーム２１がロボットコントローラ１７により制御されるので、より高精度かつ高速にワークＷに近づけてワークＷを適切に掴むことができる。
【００３７】
図１２は、ビジョンコントローラ１９とロボットコントローラ１７とのリアルタイム連携により、ロボットアームをリアルタイムに制御してロボットアーム２１の先端３５をワークに近づける場合の処理手順を表すフローチャートである。
【００３８】
ビジョンコントローラ１９の画像処理部７７は、俯瞰カメラ５９の撮像画像中にワークＷの全体が映る、あるいは近接カメラ６１の撮像画像中にワークＷの全体あるいは一部分が映るか否かを判別する（ＳｔＤ１）。俯瞰カメラ５９の撮像画像中にワークＷの全体が映らないか、近接カメラ６１の撮像画像中にワークＷが一切映らない場合には（ＳｔＤ１、ＮＯ）、図１２に示す処理は終了する。
【００３９】
一方、画像処理部７７は、俯瞰カメラ５９の撮像画像中にワークＷの全体が映る、あるいは近接カメラ６１の撮像画像中にワークＷの全体あるいは一部分が映ることを検知した場合（ＳｔＤ１、ＹＥＳ）、カメラ１５からワークＷまでの直線的な距離とカメラ１５から見たワークＷの位置ずれ量（言い換えると、ロボットアーム２１の先端３５から見た方向のワークＷまでの相対的な位置のずれ量）とを算出する（ＳｔＤ２）。画像処理部７７は、ステップＳｔＤ２の算出結果をフィードバックデータとしてリアルタイムにロボットコントローラ１７に送信（フィードバック）する（ＳｔＤ３）。
【００４０】
ロボットコントローラ１７は、ビジョンコントローラ１９からリアルタイムに送信されたフィードバックデータに基づいて、ロボットアーム２１の先端３５がワークＷに近づくように各種のロボットアーム２１を制御する（ＳｔＤ４）。ビジョンコントローラ１９の画像処理部７７は、例えば近接カメラ６１の撮像画像に基づいて、先端３５の指部材２５がワークＷを掴める程度の位置に存在するか否かを判別する（ＳｔＤ５）。先端３５の指部材２５がワークＷを掴める程度の位置に存在すると判定された場合には（ＳｔＤ５、ＹＥＳ）、図１２の処理は終了する。一方、画像処理部７７は、先端３５の指部材２５がワークＷを掴める程度の位置に存在していないと判定した場合には（ＳｔＤ５、ＮＯ）、上述したステップＳｔＤ２の処理を実行する。つまり、ロボットコントローラ１７とビジョンコントローラ１９とのリアルタイム連携により、先端３５の指部材２５がワークＷを掴める程度の位置に存在するまで、ステップＳｔＤ２〜ステップＳｔＤ５の処理が繰り返される。
【００４１】
図６Ｂは、図１に示したカメラの俯瞰カメラ作動時の光源からのパターン照射の動作説明図である。図６Ｃは、設置台ＤＰＴとワークＷの色味とパターン照射との関係を示す動作説明図である。図６Ｃに示すように、ワークＷａとそれを設置している設置台ＤＰＴとの色が近い場合に、俯瞰カメラ５９は、ワークＷａの形が認識できない（画像のエッジが取れない）という場合もある。その場合は距離を測るための演算ができない。解決方法として、２つの近接カメラ６１の間に配置された照明開口部６５に任意のパターンを投光できる光源を配置し、そのパターンＰＴ１を撮影することでワークＷの形が認識できなくても、パターン照射画像ＰＴ２を認識することでワークＷまでの距離を測ることができるようになる。任意のパターンとしては、レーザポインタで照射するような点形のパターンや、丸や四角、三角や縞模様といったような特定のパターンを照射する。
【００４２】
図５は、図１に示したカメラ１５の俯瞰カメラ５９作動時におけるロボットアーム２１の先端３５の拡大側面図である。カメラ１５は、ワークＷまでの距離が１００ｍｍ以上である場合、カメラの使用モードが近接カメラ６１から俯瞰カメラ５９に切り替えられて作動する。つまり、ワークＷまでの距離が１００ｍｍ以上である場合、カメラ１５は、俯瞰カメラ５９として作動する。
【００４３】
図６Ａは、図１に示したカメラ１５の近接カメラ６１作動時におけるロボットアーム２１の先端３５の拡大側面図である。一方、カメラ１５は、ワークＷまでの距離が９９．９ｍｍ以下である場合、カメラの使用モードが俯瞰カメラ５９から近接カメラ６１に切り替えられて作動する。つまり、ワークＷまでの距離が９９．９ｍｍ以下である場合、カメラ１５は、近接カメラ６１として作動する。
【００４４】
図７は、図１に示したロボットコントローラ１７のブロック図である。コントローラは、カメラ１５が取得した撮像情報に基づきロボットアーム２１の動作を制御するための制御信号を生成する。実施の形態１において、コントローラは、ロボットコントローラ１７と、ビジョンコントローラ１９とを有する。なお、コントローラは、ロボットコントローラ１７とビジョンコントローラ１９とが、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）あるいはＦＰＧＡ（Field Programmable Gate Array）等のいずれかにより構成されるプロセッサとして一体的に構成されていてもよい。
【００４５】
ロボットコントローラ１７は、変換部６７と、制御部６９と、冗長部７１と、メモリ７３と、を有する。変換部６７、制御部６９、冗長部７１は、プロセッサ７５により構成することができる。
【００４６】
変換部６７は、入力部３３で入力された数式データを、例えば、運動幾何学と代数学とを用いて、ロボット１３のサーボモータ２３を駆動するための駆動プログラムに変換する。
【００４７】
制御部６９は、変換部６７で変換された駆動プログラムに基づいてロボット１３に設定動作を行わせる。制御部６９は、ＤＳＰ（Digital Signal Processor）等のプロセッサ、専用演算デバイス、メモリ等を有する。制御部６９では、ロボット１３の標準直交座標と、オペレータによって設定されるロボット１３の直交座標との３次元位置関係から、６軸それぞれの移動位置を積和演算から瞬時に導き出し、サーボモータ２３に制御信号を出力する。
【００４８】
冗長部７１は、変換部６７で変換された駆動プログラムに対して、設定動作とは異なる冗長動作を行うための冗長プログラムを付加する。ここで、冗長動作とは、例えば、ロボット１３の移動中に障害物に衝突した場合や衝突直前に、その障害物を回避しながら目的の位置まで移動するような動作である。
【００４９】
メモリ７３は、入力部３３で入力された数式データ、変換部６７により変換された駆動プログラム、予め作成された冗長プログラム等を格納する。
【００５０】
図８は、図１に示したビジョンコントローラ１９のブロック図である。ビジョンコントローラ１９には、カメラ１５からの撮像画像データが入力される。ビジョンコントローラ１９は、画像処理部７７と、カメラ制御部７９と、ロボット制御部８１と、メモリ８３と、ストレージ８５と、を有する。画像処理データ、カメラ制御部７９、ロボット制御部８１は、プロセッサ８７により構成することができる。
【００５１】
画像処理部７７は、カメラ１５からの撮像画像データに基づき画像処理を行う。画像処理部７７により得られた画像処理データは、カメラ制御部７９へ送られる。
【００５２】
カメラ制御部７９は、画像処理部７７から送られた画像処理データに基づき、俯瞰用と近接用のカメラ焦点データを取得する。得られたカメラ焦点データは、ロボット制御部８１に送られる。また、カメラ焦点データは、ストレージ８５に格納される。
【００５３】
ロボット制御部８１は、カメラ制御部７９から送られたカメラ焦点データ等に基づき、カメラ動作データを取得する。カメラ動作データは、ロボットコントローラ１７へ送られる。また、カメラ動作データは、ストレージ８５に格納される。
【００５４】
図９は、ビジョンコントローラ１９の動作手順を表すフローチャートである。ロボットシステム１１では、ビジョンコントローラ１９からの制御信号によりカメラ部５７の俯瞰カメラ５９でワークＷの付近が撮像される（ＳｔＡ１）。
【００５５】
ロボットコントローラ１７からの制御信号によりハンド部２７がワークＷに接近すると、カメラ部５７が、俯瞰モードから近接モードに切り替えられる（ＳｔＡ２）。
【００５６】
カメラ部５７は、近接カメラ６１によりワークＷまでの距離を測定する（ＳｔＡ３）。
【００５７】
ビジョンコントローラ１９は、計算された距離に基づいて、ロボットアームをワークＷに近づけ、ロボットアーム２１の先端３５の指部材２５がワークＷを掴むための制御信号の生成をロボットコントローラ１７に指示する（ＳｔＡ４）。
【００５８】
ロボットアーム２１は、ロボットコントローラ１７により生成された制御信号を受け取り、先端３５のハンド部２７に設けられた指部材２５が制御される（ＳｔＡ５）。
【００５９】
図１０は、焦点が合うか否かを切り替えタイミングとする場合の処理手順を表すフローチャートである。ロボットシステム１１は、俯瞰カメラ５９と近接カメラ６１で作動距離が違うため、カメラ部５７の切り替えが必要となる。
【００６０】
例えば、コントローラは、俯瞰カメラ５９または近接カメラ６１の一方の焦点が合わないタイミングで、俯瞰カメラ５９または近接カメラ６１の他方へ撮像動作を切り替えるように構成することができる。この場合、先ず、俯瞰カメラ５９で焦点が合うか否かが判断される（ＳｔＢ１）。焦点が合う場合、カメラ部５７は俯瞰カメラ５９へ切り替えられる（ＳｔＢ２）。一方、俯瞰カメラ５９で焦点が合わない場合、近接カメラ６１で焦点が合うか否かが判断される（ＳｔＢ３）。焦点が合う場合、カメラ部５７は近接カメラ６１へ切り替えられる（ＳｔＢ４）。
【００６１】
図１１は、外部装置からの情報を切り替えタイミングとする場合の処理手順を表すフローチャートである。
【００６２】
また、コントローラは、外部装置からの情報に基づき俯瞰カメラ５９または近接カメラ６１のいずれか一方に撮像動作を切り替えるように構成してもよい。この場合、先ず、ロボットコントローラ１７の情報より、ロボットアーム２１の先端３５の高さが、ワークＷから１００ｍｍ以上か否かが判断される（ＳｔＣ１）。１００ｍｍ以上の場合、カメラ部５７は俯瞰カメラ５９へ切り替えられる（ＳｔＣ２）。一方、ロボットアーム２１の先端３５の高さが、ワークＷから１００ｍｍ以上でない場合、ロボットコントローラ１７の情報より、ロボットアーム２１の先端３５の高さが、ワークＷから１００ｍｍより小さいか否かが判断される（ＳｔＣ３）。１００ｍｍより小さい場合、カメラ部５７は近接カメラ６１へ切り替えられる（ＳｔＣ４）。
【００６３】
次に、上記した構成の作用を説明する。
【００６４】
実施の形態１に係るカメラ１５は、ロボットアーム２１の先端３５に取り付けられるカメラ筐体５５と、カメラ筐体５５に収容されるカメラ部５７と、を備える。カメラ部５７は、光学特性の異なる複数のカメラデバイスで一体的に構成される。ここで、光学特性の異なる複数のカメラデバイスは、例えば一つの俯瞰カメラ５９と、俯瞰カメラ５９と作動距離および画角の異なる二つの近接カメラ６１とが一体的に構成されたものである。
【００６５】
実施の形態１に係るカメラ１５では、ロボットアーム２１の先端３５に、カメラ部５７が設けられる。カメラ部５７は、一つの俯瞰カメラ５９と、二つの近接カメラ６１とをカメラ筐体５５に収容して構成される。即ち、カメラ部５７は、複数の異なるフォーカス（言い換えると、焦点距離）を組み合わせた三眼先端カメラとして構成されている。
【００６６】
ロボットアーム２１の先端３５に取り付けられるカメラには、ロボットアーム２１の動きに制約が生じないように、実施の形態１に係るカメラ１５のような小型のカメラが取り付けられることが好ましい。言い換えると、カメラ１５には、従来のカメラのようなオートフォーカス機構を設けることが困難である。しかしながら、実施の形態１に係るカメラ１５によれば、短焦点の複数の異なる作動距離（ＷＤ）を有するカメラデバイスを備えることで、いずれかのカメラデバイスによりワークＷの撮像をし続けることで、そのワークＷの位置を把握しながらワークＷを把持するまでのハンド部２７の位置制御を容易に行うことができる。また、このカメラ１５では、カメラ部５７がカメラ筐体５５を介してロボットアーム２１の先端３５に設けられるので、カメラがストッカの上方に取り付けられていた従来のロボットシステム１１における死角が生じない。そのため、ハンド部２７やロボットアーム自体がカメラ１５の死角になり、位置（座標）が判らなくなることがない。その結果、ワークＷをつかむためのハンド部２７の位置精度の低下を抑制でき、作業効率の向上を図ることができる。
【００６７】
また、カメラ１５は、軽量であることから、ロボットアーム２１に設けた場合であっても、制御装置のコスト増大を抑制できる。即ち、重量のあるカメラを取付けた場合、その重さを考慮して、ワークＷを適切につかむためにアーム動作時にハンド部２７がぶれないようにする必要がある。このため、ギヤやモータを高剛性で製作する必要が生じ、結果的にロボットシステム１１のコストが増大する。これに対し、カメラ１５は、軽量であることにより、通常のギヤやモータを使用でき、ロボットアーム２１のコストの増大を抑制できる。
【００６８】
また、カメラ１５は、小型であることから、ハンド部２７から大きく張り出すことがない。このため、周囲に物体があった場合、その物体を大きくよける必要がない。これにより、ロボットアーム２１の駆動範囲が狭くならない。
【００６９】
また、カメラ１５において、二つの近接カメラのそれぞれは、同一の作動距離を有する同一のカメラデバイスで構成され、同一のワークＷを同時に撮像し、視差のある一対の画像を取得し、一対の画像に基づいて、二つの近接カメラからワークＷまでの距離を算出する。
【００７０】
２つの近接カメラ６１を水平に並べて配置し、視差のある２つの画像を同時に撮影することで、２つの画像からは、カメラ配置の差の分に応じた視差のある画像の対を得ることができる。カメラ１５は、その画像情報を基に演算することにより、ワークＷの奥行方向の情報、すなわちワークＷの立体としての情報や、近接カメラ６１からワークＷまでの距離の情報を得ることができる。近接カメラ６１とワークＷとの間の距離が近い程、距離の演算精度は高くなっていく。カメラ１５は、ワークＷに近づきながら、複数回に分けて距離の演算を行うことで、徐々に精度の高い位置合わせを実現することができる。
【００７１】
また、カメラ１５では、カメラ部５７が、俯瞰カメラ５９の使用モードから近接カメラ６１の使用モードに切り替えて作動する。
【００７２】
カメラ１５では、ロボットアーム２１の先端３５に設けられたハンド部２７が、ワークＷに接近すると、カメラ部５７の俯瞰カメラ５９の使用モード（言い換えると、近接カメラ６１の不使用モード）が近接カメラ６１の使用モード（言い換えると、俯瞰カメラ５９の不使用モード）に切り替えられて作動する。カメラ部５７は、近接カメラ６１の使用モードに切り替えられることにより、撮像画像の解像度が高くなり、高精度な位置情報が得られる。これにより、ロボットアーム２１およびハンド部２７の高精度な動作制御が可能となる。
【００７３】
また、カメラ１５では、カメラ部５７が、近接カメラ６１の使用モードから俯瞰カメラ５９の使用モードに切り替えて作動する。
【００７４】
また、カメラ１５では、ロボットアーム２１の先端３５に設けられたハンド部２７が、ワークＷから離れると、カメラ部５７の近接カメラ６１の使用モード（言い換えると、俯瞰カメラ５９の不使用モード）が俯瞰カメラ５９の使用モード（言い換えると、近接カメラ６１の不使用モード）に切り替えられて作動する。カメラ部５７は、俯瞰カメラ５９の使用モードに切り替えられることにより、焦点距離が長くなり、ワークＷ全体の位置情報が得られる。これにより、ロボットアーム２１およびハンド部２７を広範囲で作動させる動作制御が可能となる。
【００７５】
また、一つの俯瞰カメラ５９および二つの近接カメラ６１は、それぞれの光軸６３が平行に配置され、かつ光軸６３に直交する面においてそれぞれの光軸６３が三角形の各頂点に配置される。
【００７６】
カメラ１５では、光軸６３を平行とした３つの細径カメラ（具体的には、一つの俯瞰カメラ５９および二つの近接カメラ６１）が、光軸６３に直交する面において、三角形の各頂点の位置となるように配置される。カメラ筐体５５は、これら３つの細径カメラを最もコンパクトに覆う三角柱形状に形成できる。三角柱形状のカメラ筐体５５は、任意の一つの側面を利用して例えばハンド部２７などのロボットアーム２１の先端３５に、高強度に固定することが可能となる。この場合、底辺部の両側で離間する一対の細径カメラを近接カメラ６１とし、頂部の細径カメラを俯瞰カメラ５９とすることができる。ハンド部２７が、一対の指部材２５を接近離反させる構造の場合、近接カメラ６１を指部材２５に接近させて配置できる。
【００７７】
また、カメラ１５では、光軸６３に直交する面において、３つの細径カメラ（具体的には、一つの俯瞰カメラ５９および二つの近接カメラ６１）が配置される位置により特定される三角形が、正三角形である。
【００７８】
このカメラ１５では、三角形が、不等辺三角形や二等辺三角形の場合に比べ、カメラ筐体５５を最小化でき、かつ指部材２５に対する近接カメラ６１および俯瞰カメラ５９の双方の位置ズレを小さく抑えることができる。
【００７９】
また、カメラ１５では、三角形における各辺の中点に、照明開口部６５が配置される。
【００８０】
カメラ１５では、一つの俯瞰カメラ５９および二つの近接カメラ６１のそれぞれに対して、複数の照明開口部６５を均等な距離で配置することができる。また、複数の細径カメラおよび照明開口部６５を高密度でコンパクトにレイアウトできる。その結果、カメラ筐体５５の小型化が可能となる。
【００８１】
また、カメラ部は、二つの近接カメラ６１の間に照明開口部６５が配置される。
【００８２】
カメラ１５では照明開口部６５が配置される。照明はカメラと別に配置されることが多いが、照明をカメラ１５内に一緒に配置することで、照明を含めて小型であることから、ハンド部２７から大きく張り出すことがない。このため、周囲に物体があった場合、その物体を大きくよける必要がない。これにより、ロボットアーム２１の駆動範囲が狭くならない。
【００８３】
また、照明開口部６５は、ワークＷを照らすための光源が配置される。
【００８４】
照明開口部６５に配置される照明は、光ファイバの光であったり、ＬＥＤの光であったりする。必要な光量に応じて調整することができる。
【００８５】
また、照明開口部６５には、所定のパターンを有する投光が可能な光源が配置される。
【００８６】
また、照明開口部６５に配置される照明は、特定のパターンを照射できる照明を配置することもできる。ワークＷとそれを設置している設置台との色が近い場合に、ワークＷの形が認識できない（画像のエッジが取れない）という場合もある。その場合は特定のパターンを照射することによりワークＷの形が認識できるようにできる。例えば縞模様パターンを照射することにより、設置台とワークＷの高さが異なる部分の模様の写り方により判断が出来るようになる。
【００８７】
また、二つの近接カメラ６１のそれぞれは、同一の作動距離を有して構成され、光源から投光されたパターンの光を同時に撮像し、視差のある一対のパターン画像を取得し、二つの近接カメラ６１からパターンの光が照射されるパターン投光面までの距離を算出する。
【００８８】
ワークＷとそれを設置している設置台との色が近い場合に、ワークＷの形が認識できない（画像のエッジが取れない）という場合もある。その場合は距離を測るための演算ができない。解決方法として、近接カメラ６１の間の照明開口部６５に任意のパターンを投光できる光源を配置し、そのパターンを撮影することでワークの形が認識できなくても、パターン照射画像を認識することで距離を測ることができるようになる。任意のパターンとしてはレーザポインタで照射するような点形のパターンや、丸や四角、三角や縞模様といったような特定のパターンを照射する。
【００８９】
また、カメラ１５では、カメラ筐体５５が、ロボットアーム２１の先端３５に相互に接近離反自在に取り付けられた一対の指部材２５における離間方向の中央部に配置される。
【００９０】
カメラ１５では、一対の指部材２５が相互に接近離反する構造において、その離間方向の中央部にカメラ筐体５５が配置される。カメラ筐体５５は、一対の指部材２５を結ぶ線分の中点に直交方向で交わる仮想面上で、ロボットアーム２１の先端３５に配置される。これにより、相互に接近離反する一対の指部材２５の中央に常にカメラ１５を配置でき、ワークＷの中心となる作業点８９（図２参照）の位置情報を容易に検出できる。
【００９１】
また、三角柱形状となるカメラ筐体５５の頂点に配置した俯瞰カメラ５９は、一対の指部材２５の中央に配置することができる。これにより、指部材２５に対する俯瞰カメラ５９の位置ズレ（ギャップ）を小さく抑えることができる。その結果、キャリブレーションを不要とすることが可能となる。
【００９２】
また、実施の形態１に係るロボットシステム１１は、ロボットアーム２１の先端３５に取り付けられるカメラ筐体５５と、カメラ筐体５５に収容されるカメラ部５７と、を備え、カメラ部５７は、一つの俯瞰カメラ５９と、俯瞰カメラ５９と作動距離の異なる二つの近接カメラ６１とが一体的に構成されたカメラ１５と、カメラ１５が取得した撮像情報に基づきロボットアーム２１の動作を制御するための制御信号を生成するコントローラと、を備える。
【００９３】
実施の形態１に係るロボットシステム１１では、ワークＷをハンド部２７で保持させる制御を行うためのワークＷまでの距離が、ロボットシステム１１の先端３５に設けられたカメラ１５により検出される。カメラ１５がロボットアーム２１の先端３５に設けられるので、カメラがストッカの上方に取り付けられていた従来のロボットシステム１１における死角が生じない。そのため、ハンド部２７やロボットアーム自体がカメラ１５の死角になり、位置（座標）が判らなくなることがない。その結果、ハンド部２７で保持できないワークＷの増加を抑制できる。
【００９４】
なお、特許文献１に開示されるロボットアーム２１には保持状態検出用カメラが備えられるが、この保持状態検出用カメラはハンド部２７に保持されたワークＷの保持状態を検出（撮像）するためのものであり、ワークＷをハンド部２７で保持させる制御を行うためのワークＷまでの距離を検出するものではない。
【００９５】
また、カメラ１５は、小型であることから、座標差分を補正するキャリブレーションを不要とする位置まで、ハンド部２７に接近させて取り付けることができる。これにより、ロボットシステム１１は、ロボットアーム２１を動作させるための制御情報の演算を簡素にでき、煩雑なキャリブレーションを行う場合に比べ、ロボットアーム２１を高速に作動させることが可能となる。また、本実施の形態１に係るロボットシステム１１によれば、ハンド部２７で保持できないワークＷの増加を抑制することができる。
【００９６】
また、コントローラは、光学特性の異なる複数のカメラデバイス（例えば俯瞰カメラ５９または近接カメラ６１）の一方の焦点が合わないタイミングで、光学特性の異なる複数のカメラデバイス（例えば俯瞰カメラ５９または近接カメラ６１の他方）へ撮像動作を切り替える。
【００９７】
このロボットシステム１１では、俯瞰カメラ５９と近接カメラ６１とで作動距離が違うため、俯瞰カメラ５９から近接カメラ６１へ、またはその逆の近接カメラ６１から俯瞰カメラ５９への切り替えが必要となる。そこで、俯瞰カメラ５９と近接カメラ６１とが、片方の焦点が合わないタイミングで切り替えられる。例えば俯瞰カメラ５９の焦点が合わない場合は、俯瞰カメラ５９がオフとなり近接カメラ６１がオンとなる。逆に、近接カメラ６１の焦点が合わない場合は、近接カメラ６１がオフとなり俯瞰カメラ５９がオンとなる切り替えが行われる。
【００９８】
また、コントローラは、外部装置からの情報に基づき、光学特性の異なる複数のカメラデバイス（例えば俯瞰カメラ５９または近接カメラ６１）のいずれか一方に撮像動作を切り替えるものとしてもよい。
【００９９】
このロボットシステム１１では、例えば外部装置であるコントローラの情報より、ロボットアーム２１の高さが、対象物から所定距離以下の場合、俯瞰カメラ５９がオフとなり近接カメラ６１がオンとなる。逆に、ロボットアーム２１の高さが、対象物から所定距離以上の場合、近接カメラ６１がオフとなり俯瞰カメラ５９がオンとなる切り替えが行われる。
【０１００】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【０１０１】
本開示は、ワークをつかむためのハンドの位置精度の低下を抑制し、作業効率の向上を図るカメラおよびロボットシステムとして有用である。
【符号の説明】
【０１０２】
１１  ロボットシステム
１５  カメラ
１７  ロボットコントローラ
１９  ビジョンコントローラ
２１  ロボットアーム
２５  指部材
３５  先端
５５  カメラ筐体
５７  カメラ部
５９  俯瞰カメラ
６１  近接カメラ
６３  光軸
６５  照明開口部
ＷＤ１、ＷＤ２  作動距離
【図１】
2020196116.tif 000003
【図２】
2020196116.tif 000004
【図３】
2020196116.tif 000005
【図４】
2020196116.tif 000006
【図５】
2020196116.tif 000007
【図６Ａ】
2020196116.tif 000008
【図６Ｂ】
2020196116.tif 000009
【図６Ｃ】
2020196116.tif 000010
【図７】
2020196116.tif 000011
【図８】
2020196116.tif 000012
【図９】
2020196116.tif 000013
【図１０】
2020196116.tif 000014
【図１１】
2020196116.tif 000015
【図１２】
2020196116.tif 000016