NACHITECHNICALREPORT
Robots14B2

Vol.

October/2007■ 新商品・適用事例紹介
3次元認識対応「ロボット視覚装置NV-AX」
ロボット事業3-D Recognition
Robotic Vision System NV-AX〈キーワード〉

視覚センサー・画像処理・3次元位置検出・ステレオカメラ・レーザー・ロボット同期

ロボット製造所／技術部

中 屋 正 幸 Masayuki Nakaya

3次元認識対応「ロボット視覚装置NV-AX」

要旨＜ロボット視覚装置開発の背景＞
これまで、産業用ロボットは、主として単純作業を自動化用途に使用されてきた。ところが、低価格量産商品の生産が海外に移転する動きがすすみ、国内に残る、少量多品種で、高度な作業をロボットに置き換える自動化ニーズが高まっている。
＜NACHI事業の強み＞
もNACHIは、自動車や産業機械分野をはじめ、のづくりの様々な工程で培ってきたロボットのアプリケーション技術、ノウハウを、社内外の主要な製造ラインに適用することにより、製造ラインの生産性改善に大きく貢献してきた。
さらに高度化するものづくりのニーズに応えるため、ロボット用視覚装置を開発した。
＜新たに開発したシステムの特長＞
新しく開発した視覚装置は、ロボットコントローラーに組み込み可能な、3次元認識機能を持つセンサーシステムである。

Abstract<Background of Robotic Vision System Development>
Industrial robots have been used to carry out asimple task in an automated fashion. Mass production of low-cost products is being transferred to overseas factories while a small portionof various advanced operations is left domestically and is called for automation using robots.
<Strength of NACHI Robotics Business>
NACHI has been developing robotic application technology in various processes, mainly
for automobile and industrial machine sectors
and has been contributing substantially to theimprovement of productivity by applying thetechnology and know-how to main manufacturing lines internally and externally. Then we
have developed a robotic vision system in order to respond to the advanced manufacturingneeds.
<Features of a Newly-developed System>
A newly-developed vision system is equippedwith a sensor that recognizes an object inthree dimensions and can be built in a controller of the robot.
1

1. 3次元認識で効率向上

視覚センサーは、多種混流生産への対応、段取システムのシンプル化による設備コスり作業の軽減、フレキシブルで効率の高いロボットシス
トの低減など、テムを構築する上で不可欠な要素となっている。
NACHIは、1985年から視覚センサーをロボットシステムに組み込み、主として自動車車体組立ラインの車体パネル搬送、ドアパネル建て付け、アーク溶接工程の位置補正など、数多くの工程へ適用してきた。
こ
最近では、バラ積み部品のとり出し作業など、れまではロボット化が困難とされてきた高度な作業の自動化ニーズが高まっている。これに対応するため、
この度、3次元認識機能を持ち、かつロボットコントロー
ラーAX制御装置用に接続可能な画像処理装置
NV-AXを商品化した。

図1

バラ積み部品のとり出し2. 3次元画像処理装置NV-AXの機能概要
視覚システムの構成、仕様、システム構成を図2、3に示す。
視覚システムは3次元画像処理装置NV-AX本体、カメラ、レンズ、モニターから構成される。視覚システ
ムとロボットコントローラー A X 制 御 装 置 間 は 、Ethernetで接続され、視覚システムに関するオペレーションは、AX制御装置のティーチペンダントにて行なう。
また、3次元画像処理装置NV-AXの基本仕様を表1に示す。
視覚装置モニター

ティーチペンダント

AX制御装置

画像処理装置

図2カメラ＋レンズロボット

視覚システム基本構成

AX制御装置

基盤ラック

CPU

表1

NV-AX基本仕様

項目仕様
RS−170／NTSC
画像入力 カメラ仕様
白黒 最大4台
接続カメラ台数
640×480×256階調
処理解像度
画像処理 前処理（フィルター） エッジ、平滑化、濃淡モフォロジーなど
ハード、ソフト（固定、相対、自動）2値化
ブロブ
サーチ（正規化相関）パターンマッチング処理
幾何学形状サーチ処理
回転サーチ
レーザースリット位置測定処理
キャリパー
256計測番号×20グループ
画像計測 登録データ数
円、楕円、矩形、回転矩形、アフィン矩形、全画面ウインドウ種類
2次元、3次元ステレオ、レーザースリット対応
キャリブレーション
2次元認識、ステレオ3次元認識、姿勢サーチ
計測機能
視覚コンベア同期
クロスレーザー3次元認識
レーザースキャン3次元認識
ロボットのティーチペンダント使用
その他
入力操作
プログラミング方式 フローメニュー
512MB
データ記憶
コンパクトフラッシュ
補助記憶
日本語／英語
言語
6.5インチ TFT液晶モニター
モニター（AX制御装置内蔵の場合）
イーサネット （最大4台のAX制御装置と接続）ロボットとの通信
VRESET（リセット）
ロボット応用命令
VSTART、VWORK（計測開始）
VSHIFT、VDATA、VSFTCAL（データ要求）
VGROUP、VCHKGRP（グループ切替）
VCREQ、VCSFT（コンベア同期）
VSREC（マスター登録）、VSPCHG（条件切替）

ロボット制御ユニット

Ethernet

モニター

NV-AX

画像処理ユニット

本体

カメラ
レンズ

図3

視覚システム基本構成

NACHI TECHNICAL REPORT

Vol.

14B2

2

3次元認識対応「ロボット視覚装置NV-AX」

3. 3次元画像処理装置NV-AXの特長
1）3次元位置検出機能

NV-AXの特長を以下に記す。
ワークのバ①汚れ、欠け、サイズ変化、照度差など、画像処理装置を用いた主な3次元検出方法の概

ラツキや周囲環境の変化などに起因する外乱の要について紹介する。

影響を抑え、対象物を短時間で探索する幾何学（ステレオ3次元認識法）

モデルサーチ機能を搭載。
②AX制御装置とのインターフェースを有し、画像処

このシステムは、人間の目と同じように、2個のカメ理装置の操作をロボットのティーチペンダントにてその特長量を演算すること
ラで1個の対象物を捉え、行なうなど、容易なオペレーションが可能。

で、3次元位置および傾きを求めるものである。
（図4）

※1

※2

クロスレーザー3次元認③ステレオ3次元認識機能、識機能、視覚コンベアトラッキング機能、姿勢サー（クロスレーザー3次元認識法）

レーザースキャン3次元認識機能など、不チ機能、

このシステムはスリット状のレーザー光をレーザー定位置に存在するワークの3次元位置、傾きを認そ
投光器から対象物に向かって2本対角に照射し、識する多彩なアプリケーション機能を搭載。のスリット光の反射光をカメラで撮像する。撮像され

※3

※4

※5

た画像を三角測量法の原理に基づいて処理し、対以降、NV-AXの特長の1つである3次元位置検出

象物の3次元位置および傾きを演算する。
レーザーを十字に照射する様からクロスレーザー3機能について紹介する。

Ｄセンサーと呼ぶ。
この認識方法によれば、特長量がはっきりしない対象物の場合にも、その位置計測が可能となる特右カメラ長がある。

左カメラ

システム概要を、図5に示す。

ロボット本体AX制御装置 ＆ NV-AXクロスレーザー3Dセンサー

対象物

図4 ステレオ3次元認識法

3

レーザースリット
投光器×2

ハンド装置
カメラ
レーザー用電源電源

図5 クロスレーザー3Dセンサー概要

（適用事例）

多くの場合、対象物の概略の位置を2次元計測し、レーザースリット光を照射し、対象物の補正した後、（図6）
高さ、面傾きを精密に計測する方法を使う。

画像処理装置を用いた3次元検出の適用事例を紹介する。
自動車車体生産ラインの最重要工程である車体

カメラ

パネルプリセット工程にて、工場梁が季節の温度変また天井搬送機自体ラフな化により約30mm伸縮、十字レーザー投光器位置決めの為、ワーク位置ズレが発生、度々とり出しNGが発生し、チョコ停が頻発していた。
ワーク位置
クロスレーザー3Ｄセンサーをとり付け、ワークを3次元で認識し、補正とり出しする事により、とり出しNGは無くなった。
（図8）
車体ラインでは同様の問題を各工場で抱えており、本システムは既に他の工場へも展開を完了している。
天井搬送機

車体パネル

ワーク傾き、高さ検出

図6

高さ、面傾き検出（レーザースキャン3次元認識法）
レーザー
前項の検出方法を発展させた形として、
スキャン3次元認識法がある。
レーザースリット光を図7のように対象物に順次照射（走査）させ、このスリット光の反射光をカメラで撮像、処理することにより、対象物を含む検出エリア全体

ロボット

図8

車体パネルとり出しへの適用の3次元形状を認識し、この中から、対象物の姿勢、3次元位置を検出する機能である。
レーザースリット投光器
カメラ

モーターにより回転可能（一次元走査）ワーク

とり込まれる画像

図7 レーザースキャン3次元認識法

NACHI TECHNICAL REPORT

Vol.

14B2

4

3次元認識対応「ロボット視覚装置NV-AX」

2）高速ステレオ3次元認識機能（ロボットを止めずに視覚認識）

測点の3次元位置が視覚センサー座標系上で検出ロボットにカメラを搭載して対象物の位置従来、される。
したがって、視覚センサー座標とワールド座ロボットが所定の位置に移動し認識を行なう場合、標（≒ロボット座標）の関係を知ることができれば、計停止した状態で、画像とり込み画像処理を行なって測点のワールド座標上の位置が分かる。一般的にいた。このため、画像処理のほかロボットの位置決

視覚センサーのカメラ部分は、ロボットの先端にカメロボットのサイクルタイムがのめのために時間を要し、ラ固定用のブラケットを介してとり付けられているため、びてしまうという不都合があった。

ロボットの動作により視覚センサー座標とワールド座（止これを解決するために、ロボットが動作しながらまらずに）対象物を視覚認識し、画像処理を行なう

高速ステレオ認識機能においても、ワーク上の計※6

カメラとロボット先端（フラン標の関係は変化するが、との関係は変化しない。
ジ面）
したがって、視覚センサー座標系はロボットから見高速ステレオ認識機能を開発した。

ツール座標と同様に扱うことが可能となる。つれば、（動作しながらステレオ認識）

まり、視覚センサー座標系とワールド座標との関係は、高速ステレオ認識機能と従来のステレオ認識と視覚センサーが画像をとり込む時点でのロボット各の間の大きな違いは、認識の基準となるカメラの位軸のエンコーダ値が分かれば求めることができること置が変化することである。になる。
（図9）

視覚センサーは一般的に、視覚センサー内部に持

新型視覚センサーではロボット動作、位置に同期つ座標系（以下、視覚センサー座標系と呼ぶ）でのした画像とり込み制御を行なうことで、両座標系の認識対象物（ワーク）の位置を検出することができ、関連付けを行なっている。

従来のステレオ認識機能を使えばこの位置は3次元座標として検出できる。
ロボット
先端座標系

（J6座標系）

この関係は変化しないツール座標として表現可能

この関係はロボット姿勢で変化する

この関係はワークずれや視覚センサー座標位置で変化
視覚センサーで検出される

図95

視覚センサー
座標系

エンコーダ値が分かれば算出可能

ワーク姿勢・位置
機械座標系＝ワーク座標系（≒ワールド座標系）

高速ステレオ3次元認識機能の機能概要

（導入効果）新型視覚センサーを使用したロボットシステムは、整列されずに投入された素材のとり出しや、複数の部品を組み付け作業など、よりフレキシブル性が求ロボットが対象ワークに接近められる高度な作業を、高い生産性で実現する自動化に適用することができる。
ロボッ
高速ステレオ認識機能を使用することにより、トが動作しながら（止まらずに）対象物を視覚認識すワークることができるため、従来の視覚認識法では長い時間を要していたアプリケーションでも、より短いサイクルタイムで作業することが可能となる。

動作しながら視覚認識
カメラ3次元補正しピッキング

図10

NACHI TECHNICAL REPORT

Vol.

14B2

事例の説明図6

4.社内アプリケーション事例で実施
視覚装置NV-AXとその3次元位置検出機能につまた、これらの視覚センサー付きロボットシステムを、いて紹介した。また、新しい高速ステレオ3次元認識アプリケーション技術
社内の製造工程に導入して、機能についても紹介した。

適用技術やノウハウの蓄積を行なっていく。
を実証し、今後、視覚センサーに関する開発をさらにすすめ、これをカスタマーに紹介できる適用事例モデルラ

新機能の開発と性能の向上を行ない、精度、速度、インとすることで、さらに高度化するものづくりのニー適用性を高めた製品の商品化を目指していく。

ズに応えていく。

用語解説

参考文献

※1 ステレオ3次元認識機能

1）精密工学会：「画像処理応用システム」

三角測量法（ステレオ）による3次元位置検出機能。

※2 クロスレーザー3次元認識機能光干渉法（レーザー）による3次元位置検出機能。

※3 視覚コンベアトラッキング機能
2次元位置検出とコンベア同期機能を複合し、コンベア上をランダムに流れる対象物の位置を検出する機能。

※4 姿勢サーチ機能
立体形状対象物を複数の視点から撮像し、撮像した画像を高速スキャン、対象物の位置、姿勢を検出する機能。

※5 レーザースキャン3次元認識機能
光干渉法（レーザー）による3次元位置検出機能。レーザーを1次元走査させることにより対象物の表面形状を検出する機能。

※6 ワールド座標
絶対座標。

NACHI TECHNICAL REPORT

Vol.14B2

October / 2007〈発行〉 2007年10月20日
株式会社 不二越 開発本部 開発企画部
富山市不二越本町1-1-1 〒930-8511
Tel.076-423-5118 Fax.076-493-5213