新商品・適 用事例紹介
NEW PRODUCTB2Robots「NVsmart」の紹介

新視覚装置

Introduction of "NVsmart" New Vision System
キーワード

視覚装置・画像処理

ロボット開発部／ロボット開発戦略部

三本木 將夫 Masao Sambongi

11

Robots
新視覚装置「NVsmart」の紹介

要 旨

1. 開発の背景

2020年 に 市 場 投 入したロボット用 視 覚 装 置

ロボット用の視覚装置はカメラでとり込んだ画像「NVsmart」の紹介を行なう。この装置は視覚装置

情報をもとに対象物（工作物）の位置を計測、ロボットのNV-Proの後継機で、立ち上げ時間の短縮および、動作を補正し、工作物を取り出す作業や、取り出された省スペース化を目的として開発した。ハードウェア構成は工作 物の置き位置を補正する作 業に有 効であり、カメラと視覚用PCを一体化した構成で、省配線および、ロボットを用いた作業自動化においては重要な構成省スペース化を実現した。また、省配 線による接 続要素の一つとなっている。

時間の短縮、簡単キャリブレーション機能による初期

これまで、ロボットの制御装置であるFD11対応の設定時間の短縮で視覚装置の立ち上げ時間を約50%視覚装置として、2次元視覚装置であるNV-Proを削減した。図1は今回開発した「NVsmart」本体および、開発、販売してきた。

ロボットへの取り付け例である。

しかしながら、NV-Proはカメラと視覚用PCおよび、ここで は 従 来 機 種NV-Proとの比 較を中 心 に制御装置を接続するための配線が複数あり、接続に「NVsmart」の様々な機能を紹介し、最後に今後の時間がかかることや、キャリブレーションの際にキャリ開発の展開を述べる。

ブレーションプレートの位置、姿 勢を変えた撮像を複数枚行なう必要があり、視覚装置の初期設定に時間がかかるという課題があった。
以上の背景から、簡単セットアップをコンセプトに
次 期 視 覚 装 置として「NVsmart」の開発を行ない、ハードウェアおよび、ソフトウェアを一新し、さらに、画像処理アルゴリズムや機能の改良を行ない、工作物の（a）「NVsmart」本体

図1（b）ロボット取り付け例（赤丸が「NVsmart」）

ロボット用視覚装置「NVsmart」

Abstract
Introduced here is“NVsmart”, a new vision systemthat was launched on the market in 2020.“NVsmart”is asuccessor to NV-Pro Vision System and has been developed toachieve a shorter setup time and saving of space. A camera
is uniﬁed into a computer for visual function in the hardware composition, realizing the saving of wire and space.
Moreover, the setup time is reduced approximately 50%
by shortening the connection time due to shorter routingof wire and decreasing the time for initial setting withfunction of simple calibration. Figure 1 shows the main
body of“NVsmart”and the example of mounting it to arobot.
The article introduces various functions of“NVsmart”,
focusing on comparison with the conventional model, NVPro and lastly gives an overview of the future development.

12

NACHI TECHNICAL REPORT

Vol.

37 B2

認識精度、処理速度を向上させた。

2. 開発の目標
従来機種NV-Proと比 較した開発目標を以下の＜操作性＞
従来機種のNV-ProではT/Pによる操作のみ対応ようにする。

していた。T/Pでの操作は、専用ディスプレイの準備が・立ち上げ時間の短縮
簡単キャリブレーションやPoE（Power over Ethernet）
を不要で、ロボットの近くでロボット操作をしながら直接採用することで電力供給と通信配線の一本化による視覚装置の設定が可能である反面、T/Pで表示される省配 線が可能となり、またカメラと視覚用PCを解像度が低いために工作物のモデル登録における一体化させることでも省配線を実現し、視覚装置の細かな調整には手間がかかるという課題があった。
そのため、「NVsmart」では従来通りのT/P操作に立ち上げ時間を従来比50%以上削減する。

加えてPCの画面上で操作可能なツールを新規開発

・省スペース化
カメラと視覚用PCを一体化させることで、従来のする。例えば、オフラインでの視覚装置の設定では視覚用PCのスペースを削減する。

PCで操作可能なツールを用い、工場のラインにおいてはT/Pを用いて直接視覚装置を調整するといった作業が表1に従来視覚装置NV-Proと「NVsmart」と機能、可能となる。また、認識モデルを登録する際に、従来のエッジ領域を選択するモード以外にも、エッジ情報操作性および、保守性に対する比較を示す。

そのものを選択できるエッジモード（詳細は後述）という＜機能＞機能も開発する。

従来機種に比べて、工作物の認識精度および、処理速度を向上させる。また、視覚装置の立ち上げ＜保守性＞

時間に寄与するキャリブレーションは、従来機種で従来のNV-Proでは視覚用PCとカメラを別筐体として10枚 以 上 撮 像 が 必 要 であったものを1枚 撮 像 で提供していた。カメラと視覚用PCおよび、制御装置をキャリブレーションを可能とする技 術を開発する。

接続するケーブル（電源ケーブル、イーサネットケーブル

また、「NVsmart」に搭載する新機能として、検査など）の本数が多いため、接続が煩雑なこと、視覚用用途として使用できる工作物の長さ・円径を測定するPCが別筐体なため配置に制約がでることなどの課題が機能を追加する。

あった。そこで「NVsmart」ではカメラと視覚用PCを一体とすることで、取り付けを簡単にし、さらに、省スペース、PoEケーブルを用いた省配線を実現する。

表1
分類
機能

操作性
保守性

項目

従来視覚装置NV-Proと「NVsmart」の比較

NV-Pro「NVsmart」

備考

検出数

同時に16個まで同時に100個まで多品種少量生産へ対応キャリブレーション

撮像枚数10枚以上

撮像枚数1枚「NVsmart」は簡単キャリブレーション実装

検査なし

長さ・円径計測「NVsmart」は測定機能を実装

PCでの操作不可

可能「NVsmart」はティーチペンダント（T/P）および、PCに対応

50%削減「NVsmart」は簡単キャリブレーション機能を有し、カメラと視覚用PC一体型の構成

セットアップ時間−

NACHI TECHNICAL REPORT

Vol.

37 B2

13

Robots
新視覚装置「NVsmart」の紹介

3. システム概要
NV-Proおよび、「NVsmart」のシステム外観を図2および、図3に示す。システム上の変更点は以下の通りである。
・カメラと視覚用PCおよび、照明を一体化し、照明用コントローラが不要、省スペース、省配線を実現。
・PoEケーブルを用いることにより、カメラ用電源ケーブルが不要。
従来機（NV-Pro）
T/PPower
カメラ

Ethernet
Ethernet
ロボットコントローラ

I/O
Power
LED照明

視覚用PC

図2

NV-Proシステム外観「NVsmart」
T/P
PoEハブ（機器に給電）

Ethernet

Ethernet

ロボットコントローラ

図3 「NVsmart」システム外観

以上の改良を実施した「NVsmart」は図4のような「NVsmart」の主な仕様は以下のようになる。

外観となり、カメラ、視覚用PCおよび、照明を一体化

・ 画素数したものとなっている。

・ 本体質量 ： 500g
・ サイズ

： 200万画素： 65×109×73mm

・ 防塵防滴 ： IP67対応「NVsmart」は、図3にあるPoEハブを通じて複数台のカメラ（最大7台）を制御することが可能である。
カメラの画素数は40万画素から450万画素まで対応している。
図4 「NVsmart」の外観図

14

NACHI TECHNICAL REPORT

Vol.

37 B2

4. 各機能の説明
産業用ロボット向けの視覚装置には大きく分けると位置認識と検査の2つのアプリケーションが存在する。
位置認識については、画像から工作物（対象物）の特徴量を算出し、その特徴量を用いて工作物の位置情報を算出する。位置認識は工作物のピッキングなどに（a）モデル画像使用され、ロボットを用いた自動化作業では不可欠な機能の一つである。
検査用途については、工作物の寸法情報が検査項目における重要な要素の一つであることが明らかとなったため、「NVsmart」に搭載する検査機能については工作物の長さや円径を計測する寸法計測を搭載する。

1）2次元形状マッチング
2次元平面上に置かれた工作物（対象物）の位置を視覚装置で計測し、工作物の2次元の位置情報を算出し、ロボットへ送信する。
「NVsmart」で採用しているマッチング手法は幾何学的マッチングと呼ばれるものであり、工作物の形状（エッジ情報）を特徴 量として用いており、回転やスケール変化に強いという特長がある。また、エッジ情報は（b）認識結果

図5

2次元形状マッチング

非線形の照明変化にロバストであるという特長もある。
さらには、物体の重なりによる一部隠れやその他の要因から生じる外乱によって対象物の一部が欠けている場合（オクルージョンが発生している場合）においても、工作物を認識する能力が高い。
具体的には工作物の特徴量を算出し、その特徴量を工作物の情報として予め登録する。その後、視覚装置で撮 影された画像に対して工作物の特徴量を用いてマッチング処理を行ない、画像中に存在する工作物の位置情報を算出する。また、このマッチング処理により2次元のxyの位置情報だけではなく、工作物の回転情報θも算出することができる。
図5（ a）のように、まずモデル画像から特徴量を算出し、その特徴量に基づき図5（b）の画像に対して特徴量のマッチングを行ない、モデル画像と一致する工作物を認識する。認識誤 差は約0.05mmであり、ロボットのピッキング用途としては十分な精度である。

NACHI TECHNICAL REPORT

Vol.

37 B2

15

Robots
新視覚装置「NVsmart」の紹介

また、NV-Proの場合、モデル画像から特徴量を算出する際に、不要な特徴量は領域のマスク処理を用いて削除していたが、「NVsmart」では新たにエッジモードという機能を追加した。図6（a）のように特徴量（エッジ）が表示された状態でエッジモードの機能を選択すると、図6（b）のように選択されたエッジ情報が赤く選 択される。このエッジ情報が不 要な場 合は

2）ブロブ
入力された画像を白黒２色の画像に変換（２値化）
し、解析することで、工作物の位置、形状、向きなどの特徴を算出する。特定の値をしきい値とし、この値より上の画素値と下の画素値で分ける方法を用いる。
図7はしきい値を150とした場合の処理を表わす。

削除を選択することでこのエッジ情報を除去することができる。マスクによる領域選択とこのエッジモードを使うことでモデルの特徴量の調整を容易に行なうことができ、所望のモデル画像の特徴量を登録することが画素値

25050120できる。

（a）入力画像

2値化

しきい値＝150

ブロブ（a）（b）2値化画像

図7ブロブ処理

この結果を解析することで、図8のような幾何学的特性を算出する。

図形範囲
重心（b）

図6副軸

エッジモード
面積主軸

図816NACHI TECHNICAL REPORT

Vol.

37 B2

ブロブの幾何学的特性3）検査（1）バーコード、QRコード認識
工作 物に印字、刻印されているバーコード・QRコードを検出する機能である。バーコードは1次元および、2次元に対応している。図9に対応するバーコードおよび、2次元コードの一例を示す。バーコードは26種類、2次元コードは3種類に対応している。
（2）長さ、円径計測
工作物のエッジ間の長さを測定する機能である。
図10のように工作物に対して長さを計測したい箇所をウィンドウで囲み、その間の2つエッジの間の距離を

図9

バーコードおよび、QRコードの一例

誤差±0.05mmで計測することが可能である。また図11のように画像中の円もしくは楕円を抽出し、径を計測することも可能である。

1.35mm

検出領域設定

明検出結果

図10

暗長さ計測

29.81729.79720.52320.431 20.475

図11

円計測

NACHI TECHNICAL REPORT

Vol.

37 B2

17Robots新視覚装置「NVsmart」の紹介

4）視覚コンベア同期
視覚装置を使ったコンベア同期機能を用いると、
視 覚 装 置はコンベア上を流れる工作 物を認 識し、ロボットはその認識情報をもとに工作物の位置ずれを補正してコンベアに追従し、工作物をピッキングすることができる。この機能を用いることで、ライン作業を自動化することが可能となる。また、図12のように多数の工作物に対応することも可能であり、絶え間なく流れてくる全ての工作 物に対して高速にピッキング処理を行なうことができる。

カメラ
照明

工作物を乱雑に投入

パルスコーダ

図12

視覚コンベア同期機能

5. 今後の展開
今回、カメラと視覚用PCが一体となった視覚装置「NVsmart」を紹介した。小 型ロボットのニーズが高まっていることから、ロボットに取り付ける視覚装置もさらなる小型化が求められており、今後は小型化の検討を行なっていく。さらに、AIの技術を用いてさらなる立ち上げ時間短縮に寄与する技術開発を行なっていく。

18

NACHI TECHNICAL REPORTVol.

37 B2