技術解説＞最新三次元画像処理技術

109

技術解説
Technical Review

最新三次元画像処理技術
Christian Hruscha＊，山口新＊Latest Three Dimensional Image Processing Technology
Christian Hruscha and Arata Yamaguchi
Synopsis
Since the demand for 3D image processing technology has been rapidly growing during last years,
we have focused on researching high-performance 3D measurement and object recognition techniques.
We developed a line laser scanner system for 3D measurements that is available as an extension library to FAST's Windows
based image processing library. By experiment, we verified that the library provides highly accurate measurements. We also
propose a line laser scanner system that is able to deal with halation and partial occlusion.
Further, we developed a 3D solution package that contains 3D scanner functionality based on structured light, as well as
3D object recognition technology, to be used with 3D scan data or with conventional stereo cameras. Experimental results
demonstrate the accuracy of the object registration algorithm. The measuring accuracy using a structured light scanner inour experimental setup was better than 10 μm. The package comes with a TCP/IP interface that allows easy integration intoproduction systems.

1．はじめに要望の中で，特に 3 次元計測と 3 次元認識については，FA 分野でも要求が多く当社でも技術開発に力を入れている．そこで，本文では，当社の 3 次元計測用のライブ

株式会社ファースト（以下，当社という）は 1982 年の創業以来，画像処理専用ハードウエアとソフトウエアの自社開発を営々と続け，今年で 30 年目を迎える．当初は画像処理装置とその装置専用ライブラリのリリースから開始し，近年では，性能向上が著しい市販 PC で動作する Windows 用の画像処理ライブラリの提供，より高速性

ラリと 3 次元認識用のパッケージソフトウエアを用いた最新の画像処理技術について紹介する．

2．3次元計測ライブラリ
2． 1

概要を追求した FPGA や GPU などのアーキテクチャを用い当社は Windows 用画像処理ライブラリのオプションた技術開発も進めている．FA での生産効率を高めるたとして光切断法を用いて対象物の高さを計測する 3 次元め，日々お客様の声に耳を傾け，画像処理技術を進化さ計測ライブラリをリリースしている．光切断法ではライせ続けており，多数のお客様からの支持を得ている．

ンレーザを計測対象物に照射し，そのライン形状をカメ

今日では 2 次元画像処理から 3 次元画像処理へと技術

ラで撮像する（Fig. 1）．このとき，カメラの校正（キャが発展し，近年ますます増える 3 次元画像処理に対するリブレーション）をあらかじめ行っておけば，このライ2012 年 11 月 2 日受付＊株式会社ファースト 技術開発本部（Technical Development Division, FAST CORPORATION）

110

電気製鋼 第 83 巻 2 号 2012 年

ン上の 3 次元の高さ情報を計算により求めることができる

1），2）．これを移動ステージと組み合せることにより，3）対象物の 3 次元形状を計測することができる（Fig. 2）．

■道路の路面計測（Fig. 3）■エンジン部品の取り付け検査■高温下での鋼材表面のキズ検査

Fig. 1. 3
 D measurement system using line laser scanner.

a) Coinb) Watch

Fig. 2. Measurement data.

2． 2

適応事例

Fig. 3. Car installed line laser scanner system in rear.

2． 3

計測精度

当 社 の ラ イ ブ ラ リ は 接 続 可 能 な カ メ ラ が 豊 富 で，光切断法ライブラリの計測精度を以下の方法で検証しVGA クラスから 5 メガクラスのカメラまで，多くのた．厚さの異なる 2 つの標準ゲージ（ミツトヨ製）を並メーカのカメラに対応している．対象となるワークの大べ段差を作り（Fig. 4），計測結果と理想値との比較をきさに応じてカメラを選択することができるので，さま行った．検証で用いた装置スペックを Table 1 に示す．

ざまな場面に 3 次元計測ライブラリを用いることが可能

レーザ光を対象物の真上から照射し，60°傾けた位置かである．

らカメラで撮像し計測を行う（Fig. 5）．ブロックゲージ
は 1.01 mm と 1.00 mm を用いた．計測したデータの中

技術解説＞最新三次元画像処理技術

111

から 1 ライン分のデータを図に示す（Fig. 6）．光切断法
ライブラリを用いることで 0.01 mm の段差を判別することが可能であることが分かる．
通常の 2 次元画像処理では苦手とされる反射率の高いワークに対して計測評価を行った．検証で用いた装置スペックを Table 2 に示す．対象物は厚さ 0.012 mm のアルミ箔である．アルミ箔の上に細かく切ったアルミ箔の断片を載せて計測を行った（Fig．7）．計測データに断片の形状が見てとれる．反射率の高いワークでも高精度に計測が可能であることがわかる．

Fig. 5. Vertical distance measurement using line laser.

Fig. 4. Standard gauge.

Fig. 6. Measurement data

(thickness 1.01 mm and 1.00 mm)

Table 1. System specification

Table 2. System specification112

電気製鋼 第 83 巻 2 号 2012 年によるデータの欠損とみなし，レーザ光が存在するほうを採用することで欠損を補う良好な 3 次元データを取得することができる（Fig. 10）．

Fig. 8. Line laser imaged with stereo camera.Halation issigrificantly stronger in right image.

Fig. 7. A luminum foil sample.
a) Target and b) Measurement data

2． 4

遮蔽対策

表面に光沢があるワークを計測すると，ハレーションによりレーザ光の線幅が太くなる場合がある．レーザ光の線幅が太くなると，それがノイズとなり，計測精度が不安定になる．この現象はカメラの位置によって変わる．Fig. 8 はワークに照射したレーザ光を異なる位置から撮影した画像であるが，同じ位置のレーザ光を撮像しても，カメラの位置によって線幅が異なることがわかる．そこで，カメラを 2 台用い，レーザ光の線幅を比較し，幅の狭いほうを採用することでハレーションによるノイズを軽減する 3 次元計測システムを開発した（Fig.
9）．
このシステムは，照射されたレーザ光が対象物の影に隠れ，カメラから見えない現象（遮蔽）に対しても有効である．画像上でレーザ光が存在していない箇所は遮蔽

Fig. 9. Stereo camera system combined with line laser.

技術解説＞最新三次元画像処理技術

113

Fig. 10. Workpiece sample.
a) Target and b) Measurement data

3 ． 3 次 元 認 識 用パッケージ
ソフトウエア
3． 1

概要

軸関節ロボットを使用したピックアップや組付けのるなど），計測データからモデルを構築することも可能である．
プロジェクション方式で計測された 3 次元データはファイル出力が可能である．スキャンした対象物表面の3 次元データを 3 次元計測の評価としても利用可能である．

テーマでは対象の 3 次元的な位置・傾き情報が必要とな

単なる評価用アプリケーションだけではなく，ロボッるため，従来の 2 次元位置決め処理では対応が難しかっトコントローラとの通信機能も持っており，FA 現場にた．

直接導入が可能である．

このような 3 次元的な位置決め技術を必要とするニー
ズに対し，当社では従来からソリューションあるいはア【パッケージソフトウエアの主な機能】

プリケーションという形で開発し，現場に投入して経験■カメラ・プロジェクタ・ロボットキャリブレーションを積んできた．その過程で培われた機能，特にロボット■ス テレオカメラ方式による 3次元オブジェクト認識

ビジョンとして最適な機能をひとまとめにして，低価格（位置決め）なパッケージソフトウエアに仕上げた．

■プロジェクション方式による 3次元オブジェクト認識

3． 2

特徴

3 次元認識用パッケージソフトウエアは最新の 3 次元（位置決め）■プロジェクション方式による 3次元計測評価■ CADデータからモデル登録が可能

画像認識技術で対象物の 3 次元的な位置と傾きを求める■計測データからモデル登録が可能（認識条件に制限有）ことができる．カメラを 2 台使用するステレオカメラ方■ Ethernet（TCP/IP）を介した画像撮像，位置決め実行，式と，プロジェクタ 1 台とカメラ 1 台を組み合せたプロ
ジェクション方式の 2 種類の 3 次元計測機能が同梱されており，どちらを利用するかは用途に合わせて，自由におよび結果出力3． 3

適応事例選択できる．どちらもロボットビジョンに好適である．

本パッケージソフトウエアは VGA クラスから 5 メガ

認識処理では，計測された 3 次元データと事前に登録クラスの高分解能カメラまで接続することが可能で，カされたモデルとの一致度が高い対象物の位置・傾きが出メラの取り付け位置も自由に替えることができる．した力される．モデルの登録は CAD データから行える．まがって，案件ごとにカスタマイズが可能で，例えば以下た，認識条件に制限はかかるが（認識角度範囲が狭くなのような適用事例がある．

114

電気製鋼 第 83 巻 2 号 2012 年■段積みされた段ボールのデパレーション
異なるサイズの段ボールが混在していても認識が可能

3． 4

ステレオカメラ方式

ステレオカメラシステムとは 2 台のカメラを少しずら（Fig. 11）して平行に配置したものである（Fig. 13）．一般的には，■部品のピックアップ＆プレース

2 台のカメラで同時に同じ対象物を撮像し，その対象物箱に無造作に入っている対象物を認識（Fig. 12）の画像上での映る位置の違い（視差）から，対象物までの距離を計算する 4）．当社の認識処理は，対象物の輪郭情報だけを使って，対象物の認識（位置・姿勢）を行う 5）．
輪郭情報だけを扱うことにより，計算のためのデータ量が大幅に削減できるため，認識処理の高速化が可能となる．また，輪郭部分は画像上では背景とのコントラストが得やすいため安定して検出することができる．これにVision system

より高速かつ安定した認識が可能となる．Fig. 14 は認識処理で計測された輪郭位置を画像上に，赤点または緑点でプロットしたものである．赤点は，認識された対象物の中から，アプリケーション上で指定された対象物の輪郭位置を示し，それ以外の対象物の輪郭位置を緑点でConveyor表わしている．パッケージソフトウエアでは認識結果を数値だけでなく画像からも簡単に確認することができる．

Carton boxes
Fig. 11. Robot picks up carton box and places it onto
conveyor.Carton boxes of different sizes can behandled at same time.

Fig. 13. Stereo camera system.

3． 5
Fig. 12. Robot takes target from box and places it onto
conveyor.

プロジェクション方式

１台のカメラと 1 台のプロジェクタを使用して立体視する方法である（Fig. 15）．プロジェクタから特定の縞パタンを対象物に照射する．縞パタンの位相を変えなが技術解説＞最新三次元画像処理技術

Fig. 14. Calculation of target edges.

ら撮像した画像から投影パタンの変化量を計測する．
Fig. 16 は同じ周波数で位相の異なる縞パタンを照射し，撮像した画像例である．一般的に，同じ周波数で位相の異なる縞パタンを 3 ～ 5 回撮像し計測を行う．高さ方向の計測範囲に合わせて複数の周波数の縞パタンを用いる 6），7）．
事前にカメラとプロジェクタの校正（キャリブレーション）を行うことで，計測データを 3 次元情報に変換することができる．これにより対象物表面の 3 次元データが取得できる（Fig. 17）．

Fig. 15. Projection system.

Fig. 16. Phase shifting of projected pattern.

115

116

電気製鋼 第 83 巻 2 号 2012 年

はステージの移動量（理想値）と計測データとの比較である．理想値との誤差も表に記載した．
実験結果よりステレオカメラ方式に比べ，プロジェクション方式のほうが高精度であることが確認できた（Fig. 18）．ロボットピッキングの場合，ロボットハンドが安全にターゲットを把持するための遊びが必ず存在することから，認識処理の目標精度を 1 mm 以内と設定している．認識精度を粗くすることで，計算量が大幅に削減され，処理時間を実運用レベルまで落とすことができる．どちらの手法も目標精度を大きくクリアしており，ピッキング案件に導入することが可能である．
以下は実験で使用したステージのスペックである．
Fig. 17. Measurement data.

■ボールねじリード精度（等級）C3（代表移動量誤差 =12 μm，変動 =8 μm）■ステッピングモータパルス分解能
0.1 μm / パルス

3． 6

性能比較

曲面の多い対象物や表面が無地の対象物，あるいは画像上の濃淡差が少ないので輪郭を安定して捉えることができない対象物は，ステレオカメラ方式では対応が難し
いが，プロジェクション方式では対象物表面の 3 次元

Table 3. System specification

データを取得することができるので認識が可能となる．
また，プロジェクション方式は画像の全画素に対して処理を行うため密度の高い 3 次元データを得ることができる．輪郭情報だけを用いるステレオカメラ方式に比べて認識精度が高い．
一方で，プロジェクタの光量を超えるような外乱光が入る場合，3 次元データを計測できないという問題があるが，ステレオカメラ方式では LED 照明を当てることで外乱光の影響を低減できる．また，プロジェクション方式のほうは縞パタンを変化させながら複数枚画像を撮像するため，トータルの処理時間がステレオカメラ方式に比べて長いケースがある．実際の適用では，対象物，現場環境などを考慮して最適な手法を選択する．

3． 7

認識性能

ステレオカメラ方式とプロジェクタ方式の認識精度の検証を行った（Table 3）．ステージの上にワークを乗せ，一定間隔でステージを移動させながら認識処理を行う．ステージは基準位置から 1 mm 間隔で 10 回（総移動量 10 mm）移動させる．それぞれの箇所で認識を行い，基準位置からの移動距離を計算で求める． Table 4

Table 4. Measurement results.

技術解説＞最新三次元画像処理技術

117

Table 5. System specification.

Fig. 18. Comparison of stereo camera and projection
systems.

3． 8

計測

プロジェクション方式では，スキャンした 3 次元デー
タを ASCII（または PLY,STL 形式）データファイルとFig. 19. Vertical distance measurment using planefitting.

してエクスポートすることができる．
プロジェクション方式の計測精度を検証した（Table5）．厚さの異なる 2 つのブロックゲージ（ミツトヨ製）を並べ段差を作る．プロジェクション方式でスキャンしたあと，それぞれのブロックゲージで平面近似し，平面間の距離を計算する． 近似する平面の面積は約20 mm2 と し た（Fig. 19）． 検 証 で は，0.01 mm ～ 0.05mm，0.1 mm ～ 0.5 mm の段差を作成し，それぞれ 10 回計測し RMS（平均二乗偏差 Root Mean Square）を算出した（Table 6）．すべての段差で RMS 誤差が 10μm 以下であった．プロジェクション方式を用いて高精度な計測が可能であるといえる．

Table 6. Measurement results.

118

電気製鋼 第 83 巻 2 号 2012 年

3． 9

通信機能

ロボットピッキングのシステムを導入する場合，ビジョンシステムとロボットとの連動が必ず要求される．そのような要求に対して，パッケージソフトウエ
アではロボットコントローラとの通信機能を提供する．
Ethernet（TCP/IP）を介してロボットコントローラからパッケージソフトウエアに，画像の撮像や位置決め実行を指示し，位置決め結果（3 次元座標，姿勢）をロボットコントローラへ送信することができる．事前にロボッ
トとビジョンシステムとの校正（キャリブレーション）を行えば，ロボット座標系で対象物の 3 次元座標・姿勢が出力されるので，ロボットに直接移動先を指示することができる．
当社のシステムでは，ロボットコントローラ側がクライアント，パッケージソフト側が，サーバとなる（Fig. 20）．
したがって，導入先で作成されたロボット制御アプリ
ケーションの中で，パッケージソフトに対して以下のような命令（コマンド）を送ることでパッケージソフトが持つさまざまな機能を使うことができる．通信コマンド
仕様は公開されており，導入先でも簡単にピッキングシステムを構築することができる．
Fig. 20. Robot picking system.

【主なコマンド】■ロボット座標系とカメラ座標系のキャリブレーション■ステレオカメラ方式で撮像開始■ステレオカメラ方式を用いた位置決め実行■プロジェクション方式で撮像開始■プロジェクション方式を用いた位置決め実行■認識結果（ロボット座標系）の取得

4．最後に（文献）

1）高井利久：電気鉄鋼，79（2008），305
2）山田龍三：電気鉄鋼，79（2008），313
3）
古田島喜一郎，千葉紀之：映像情報 Industrial，産業開発機構（株），2010，2．

本報告では，3 次元画像計測ライブラリと 3 次元認識用パッケージソフトウエアの機能および性能検証の結果

4）高木幹雄，下田陽久監修：新編画像解析ハンドブック，東京大学出版会，2004，9．

を紹介した．今後も，基礎的な技術開発だけにとどまら

5）古田島喜一郎：画像ラボ，日本工業出版，2010，3．

ず，多様なニーズに合わせて性能・機能を向上させ，よ6）吉澤徹：光三次元・産業への応用，アドコムメディア，り多くの現場で品質向上・コスト削減に貢献したいと考えている．

2008，6．
7）三高良介，濱田長生：松下電工技報，2002，8