平成9年度 研究報告 大分県産業科学技術センタ…

●

マルチスペクトル光投影レンジファインダによる形状計測

機械電子部，★☆新鶴海興産（株）

MeasuringShapewithMuitipSpectTalPatteTnProjectionRangeFinder
TatsuoSato☆へKim鼠yaKitaさ▼ama★T★Mechanics＆ElectronicsDivision， YshinTsurukaiKousanCo．Ltd．
要旨
カラーパターン投影法に基づく新しいレンジファインダを開発した．色相の変化率が一定となるように設計した縞模様のカラーパターンを白色光で投影し，対象物体の凹凸に応じて生じる縞模様の歪み量を基準面からの色相差で検出する方法を採っている・計測対象物表面の色の違いにより発生する誤差もキャンセルできた．この計測手法は，（1）少なくとも3鉦amet血eを要する
のでビデオレートとはいかないが，全視野を一括計測できるので原理的に高風（2）RainboⅥ▼Range Finderと比べて回折格子などの特殊な光学系を必要としない，（3）市販の液晶プロジェクタとCCDカメラで実現できるので低コスト化可能，（4）投影パターンが自由に制御可能なためパターンの繰り返し等により距離計測範囲は狭まるが精度向上がはかれる，等の特徴を有してい
る．

1．まえがき全視野を一括計測し，画素ごとの形状データが得られる手法としてカラーパターン投影法があり，田島らが鮎血bow Range

物体の形状を計測する3次元計測装置（レンジファインタ）はい

ろいろな計測原理に基づく装置が提案され実現されてきている．

F血der但RF）と呼ぶシステムを提案している。これは回折格子に計測方式は大きく能動的手法と受動的手法に分けられる．

よって分光した虹状の連続スペクトルパターンを対象物に照射し，能動的手法とは，3次元形状を計測するために巧みに制御され，それぞれ分光感度の異なる2種のセンサでスペクトル分布を求めその形状パターンや濃淡スペクトルなどに対して何らかの意味をて三角測量により距離を得るものである。一般にカラーパターン投持ったエネルギー（光電温音波など）を対象に照射する手法を影法では計測対象とする物体表面の色の違いによる計測誤差のさす．逆に受動的手法とは，対象に一般的な照明などは行うにし発生が知られている．このシステムは本質的に計測対象の色の影ても，計測に関して特別な意味のあるエネルギーを利用しない手響を受けず，一度に視野内の全面を計測できる等の特徴を持って法をいう．産業分野において検査装置などで実用的に使用する場いるが，回折格子や特殊な分光感度特性を待ったセンサ等を必要

合，高速，高精凰安価などの要求があるが，比較的高速安価なとするため安価にはできにくいこと，投影するパターンは回折格子計算機が手にはいるようになった今でも，一般に受動的な手法はによって決定され任意には制御できないため精度向上が容易でこれらの点で実用的でなく，能動的な手法が多く使われている．

ないこと等の欠点もある．

能動的な手法では照射するエネルギーとして，自動車やロボッ

そこで検査装置への適用を封旨して，カメラの各画素ごとに距

トにおける障害物検知のように対象物表面までの平均的な距離を離が求まる特徴を生かしながら勺これらの問題点を解決した，カラ計測すればいい湯合には超音波や電波も使用されるが，3次元山パターン投影法に基づく新しいレンジファインダを開発した。こ

計測の場合には空間分解能の観点から光を使用するのが一般的のマルチスペクトル光投影レンジファインダについて以下に詳説である．能動的な手法はまた光の伝播時間の測定に基づく方法とi・∴

三角測量の原理を利用する方法とに分けられ，多くの手法が知ら
2．計測原理の概要

れている，

一方計測された形状データを利用する立場からは号計測に使色合いが一定の変化率で連続的に変化している平行な縞模様用するカメラの各画素ごとに距離が求まることが望ましい．例えばの集合からなるカラーパターンを斜め上から投影し∴賢上Cつカメラ

スポット光走査温スリット光走査法などにおいては，距離の精度で観測すると，投影されたカラーパターンは対象物の凹凸に応じや信頼度は高いものの，画素ごとの空間分解能を得るには処理速て歪みが生じている．

度が遅くなるなどの欠点がある。

こ〔つとき対象物表面の任意位置におけるパターンの歪み量は，

一心 1 ル平成9年度 研究報告 大分県産業科学技術センタ仙ある高さを基準位置として、その基準面（高さg＝0の平面）に投この関係から∴紆象物に投影されたカラ仙パターン優における任影されたパターンの色合いと∴紆象物表面に投影されているパタ意画素と基準面におけるその画素との色相差△月は次式により直ーンの色合いの差に比例する。し′たがって、その点における高さ標の変位に変換される。

は投影角と色合いの善から三角測量の原理によって計算できる．

△月￣上．＼■二二、、ニ

この操作を全画素について行うことによりカメラの画素ごとに高さ．4

投影光が平行で投影角が∂のとき，その点の基準面からの高さが求められる．

は三角測量の原理から次のように求まる．

計測原理の概要をFig．1に示す。

△Z＝△ズhⅦ牒＝（）tanβ＝（△ガ（2）ここで係数C＝tallれ4は一定値である．したがって，ある点の高さはその点の色と本来基準面に投影されたであろうパターンの色との色相差に比例する。そこで，基準面位置をg＝0とし，このu﹂む︸完d聖一

uO芯0む﹁OJn警芯−0︸Uむ﹁ぷO＝ C△ガ係数をキャリブレーションで求めておけば高さが測れ、∂およびムはあらかじめ知っておく必要がない。

むコ

U〇二巧膚＞UPエ爪品和∈岬

CP聖﹂けe一qe⊇﹂︸−〇

3．1計測対象の色の影響
カラーパタ｝ン投影法では計測対▲象の色による誤差の発生が知られている。この誤差を軽減するために，それぞれの色相を循環1的に′′同期ずつずらした3通りの投影パターンを順次投影し，投影像を3回取り込む．このときそれぞれの画像を（払Clフ別）ラThis area canno七
beくmeasured（月2∋G2っβ2）ぅ（尿3）G3ヲ別）として，ぎig，2の手順にしたがって画像を合成する−

Projecもio11
Pattern二ヾ0．1

Fig，1計測原理

Pattern No．2
（sh琉ed喜c〉rCle）

2．1色相

Obもain an主mage （兄1、Gl、β1）

この手法では色合いを定量的に表現する必要がある，色合いの表現には色相任払e）を用いる．色相はCCI〕カメラのRGB信号から次式により計算で求める。
A才ま㍑ ＝ m肌（屈7G？β）
虎／＝ 月−A才乞m

G／＝ G−A才わ1
S、・n℃hesize3imagesby圭8皇呈0〜〜，il−gぎormし11a ⊆β／＝ β【AグまmR＝＝月1一＋C2十βニう掌C′ガ

払r A′才まn＝β毘／トC／

C＝Cユ十月2＋月3」α｛訝

g＝βユ＋点り町C3

Fまg．2 画像の合成

ニこでガは色相で，0≦ガく3で循環する．
「／

ここで，鞄錘の色相を逆方向に⊥′′3および2ノ／も周期シフトする操作は，実際には計算を必要とせず一票G即つ入れ替えで良いため3一高さ（距離）の算出

簡単であ畑画像の合成は単純な加算で行えるtニの合成画像

投影パターンは色相ヱすの変化率ノiが−一定となるように設計する，
そ〇r）勾配をムとすれば次のように表される．

（′柁クG【β）を用いて色相差△ガを求めて，（2）式によ順離を算正行▼−∴て出すれば，計測対象の色に影響されない拒推計測が可能である。

く／′1、ー フ W−平成9年度 研究報告 大分県産業科学技術センタ】
舅云
三論的に解析する。そのためにいくつかの前提条件を仮定する．

両⁝血﹁Fig．2の手順で計測対象の色の影響がキャンセルされることを理二Lむ︶︸鳥︺こだ〇崇一卜

3．2計測対象の色のキャシセノL′の理論的言正明門

3．2．1液晶投影装置の線形性液晶投影装置楓赤但），緑（軌青野）の三原色フィルタの透過﹁〇Z

量を制御することにより三原色光の放射量を制御し，投影光の色と・−′︶こ㍉一明るさを決定する。このとき各三原色の放射光量は設定された出力値に対して線形応答するものとする。すなわち、各三原色に対して設定値さを出力したとき，各三原色の放射光強度は変換感度義教を叫βバとして次式で表せる．
エ属（5）＝αβヲ￡G（5）＝βちエβ（5）＝「′5Nご／︻こ三言二3．2．2センサ（カラ仙CCDカメラ）の線形性
受光センサとして使用するカラーCC工）カメラは，赤間〉，緑（G），青野）の三原色の光刺激に対して応答する色選択性を持った3チャ

ユノンネルのセンサを持っている。その入出力は線形応答するものと‖肖

円口u［○■慧する．すなわちその出力電圧は各三原色の入射光強度が′云のとき感度の定数をだ，スラりとして次式で表せるi∵∴ト

屈（壱）＝鴎G判＝姑月明＝癖二∴∴一3．2．3投影パタ皿ン
投影パターンは本文に記述したように，その色相変化がⅩ軸に対して直線的であることだけが必要条件である，

これを論理投影パターン打払eoretlC裏patte王て1）と呼ぶことにする。

Fig．3投影パターン

ところがこのパターンはRGB表色空間の自由度からその実現方法は一通りに‡ま限定されない．ここではわかりやすい例として、投影正確に検出されることを示す．なお色成分の表示にはRGB表色系装置への設定値で委して釣g．3のようなパターンを考える．

を用いて（薫kG・β）で表す。

Fig．3において，区間0≦Hueく1では，横軸をごで表し，（1）式からその分母を一定債鬼ed⊥C′ree乃＝Co詑5ま−（＝1））（a）0≦ガ＜1の場合

ユダま㍑＝0として，Hue＝ごを構成する。これから以下〔つようなパ論理投影パタレン上の任意の点の色成分を（αフわ，0）としたときこの点の投影光の色棒は以下のように表される￠
ガ用＝71 L／lご、G㍗ee柁 ＝l

タ山ンが碍ちれるふ、、

用ed ＝ 1㌦諾

このときパターンさJo．1を投影すれば投影光強度受光強度，CCD

βhほ ＝ 0

他の区間についても同様にすれば†ぎig．3のPattemlⅣ0。1が碍

カメラ出力のRGB成分はそれぞれ順に以下のようになる．

ヱ′則＝α托 乙clニβわ ￡飢＝O・■ナ∵∴1Z毘1＝とょαα Zcl＝てノー∠弛 zβ1＝0pattemNo．2プNo．3さまそれを′′′も周期ずでずらして作戎する，

勘＝K乙且αが Cl＝スてブβむ β1＝0
次にパターン‡、；0。2を投影すれば、3．2．4物体泰衡の色

物体表面の色をRGB成分の反射率で表し，（′〜叫呵とする。
／ ただし黒津＝モノ＝〜ノノ＝〔））の場合は除く．

r

一し月2＝O j二c2＝鮎 エβ2＝rrわ之ブ音2＝0 官c2＝U丸 まβ2＝′虹鴻書2＝0 〔㌔・2＝Å1ノβα β2＝㌻押「缶同じようにパターンNo，3を投影すれ且3．2．5証明
以上の条件のもとで論理投影パターン中〔つ任意Cり点〔′り色相が各投影パタ劇ンに対応する3枚の画像オち合成した合成画像中で） 、） −

平成9年度 研究報告 大分県産業科学技絹センタ騨
工只3＝凸わ エc3＝0 エβ3＝「′点虐（2）葺（2）＝綴3＝㍑αわ まc3＝0 毎3＝軋りα■・1
G（2）＋β（2）月3＝肌凸わ G3＝0 β3＝？7ひ↑α（灯uα＋Å℃β＋叩「′）c（（丸ゼ＋甲呵＋代uα）わ

したがって合成画像（ゑ川，e（1），が））は，∴・・＋（肌α＋Åuβ＋7押↑）c〉（肌凸＋Åuβ＋77t町）c

月1＋C2＋β3（肌色＋入t，β十叩「′′）（わ＋c）

Kuαα＋入γ鮎＋ア7ぴrCー1C ←1＝ガ（2）も肌α†スuβ＋りぴ′「′）αGl⊥β2十月3e（1）＝ 入γβら＋77ぴ「／わ＋肌αわ（c）2≦ガ＜3の場合＝（入γβ＋7押「′＋肌α）わ前の〕身合と同様に論理投影パターン上の任意の点の色成分を（α70）C）とすればこの点の投影光の色相は以下で表される。

磨（1）＝ β1＋属2＋G3＝ 0ガ持）＝⊥÷2C＋αとなり，その色相は（1）式により次のようになる．
凡打烏＝虐（1）＝0．月′＝ゑ（1）、G′＝e（1）G′一 一離））が）7励3））は以下となり，このとき合成画像（が）＝（肌α＋スt′ノβ＋叩「′）α

e（1）

−

∂（3）＝ 0月′＋G′ 月（1）＋C（1）（Åγ′β＋甲町十肌α）も磨（3）＝（叩rT肌凸＋入γβ）c（（Kuα＋入uβ＋叩「）α

その色相は次のようになる．

＋（入γ′β＋甲竹＋机伯仲）（肌α＋入γ′β＋叩「うわ廃（3）慮（3）＝（肌α＋入uβ＋7押7）（α＋わ）

わ＋2β（3）＋虎（3）（肌α＋入γβ＋叩↑）c＝ガ（1）‡（甲叩′十−パ カユ＋入uβ）c＋（肌α＋Åγβ＋叩↑）α）

匝）1≦ガく2の場合（Kuα＋入t，β＋叩「′）α前の場合と同様に論理投影パターン上の任意の点の色成分を＋2（肌α＋Åリβ÷7押「′）（c＋α）（0，わ，C）とすれば，この点の投影光の色相は以下で表される。

…＿2＝ガ（3）

了 −−∴

し■

ガ（2）＝

＋1

以上より投影パターン中の任意の点の色相が合成画像中で物体
廃判，e（2））廓2））

このとき合成画像（表面におけるRGB成分の反射率叫畑㍑圭儲係なく正確に再現さは以下となり，れており，黒の場合を除けば計測対象の色の影響を受けないといぅことがわかる．しかも定数α7βっ↑っ尺′ラスっりにも依存していないこ

廃（2）＝ Oとから，液晶プロジェクタとカラーCC工）カメラについてはRGB間のe（2）＝（Åuβ＋叩「＋肌凸）わ

感度ばらつきにはあ去り注意を払わなくてよいということもわかる−廓2）＝（肌α一入γβ＋甲町）c

4．計測精度の評価

その色相は次のようになる

距離計測精度の評価実験としては，厚さの異なる5種類のセラミックゲージブロックを用意し，その厚さをそれぞれについて10回計測した。結果はゲ】ジプロツク公称寸法との誤差の絶対値で評価した。結果をFig．4に示す。

ー 4・m平成9年度 研究報告 大分県産業科学抜補センタ仙

nU二︑O．↓

高風（2）カラーパターン投影法の実現例であるRambowRa喝eO2︵U卜L

3︵∈ミ︶撃京蜜Q 繍 拡

卜一

この計測手放嵐（1）少なくとも3畠・a‡籠e timeを要するのでビデオレートとはいかないが｝全視野を一括計測できるので原理的にF通達erと比べて回折格子などの特殊な光学系を必要としない，（3）市販の液晶プロジェクタとCCDカメラで実現できるので低コスト化可能（4）投影パタ州ンが自由に制御可能なため繰り返レ〈ターンにより距離計測範囲は狭まるが精度向上がはかれる、等の特徴を
1．1

1．3

1．5

i．了

有している．

1．9

厚さ（m汀l）

本論文では理想的な状況での投影光および拡散反射光のR5G，B成分に基づいた説明と実験例により物体表面の色の影響をFig．4計測精度の言甲西受けにくい距贅鰐十捌手法を提案したが，プロジェクタとカメラのスペクトル特性や分光反射率などに基づく，より厳密な理論的説明，鏡

この結果から現状での距離計捌誤差ほ最大値で約主都恒m（1％ダーβ・）と考えられる．

面反射成分の相互反射（血詣でre鮎ぬon）による計測誤蔑プロジェクタおよびカメラ座標と基準面（物体座標）の整合を含めたキャリ形状計測の結果例としてu弘パッケージであるBGAを実際に計測した距離画像と，錠剤を計測したときのプロファイルをFigぷこ示

ブレーションの方温投影パターンの最適設計など課題も多く残さ

す．距離画像では高さの高い部分を明るく，低い部分を暗く表示しれている∂今後はこれらについて研究を行い性能向上や実用化をてある．

目指す予定である．

また，カラーCCDカメラを使用しているため，得られた形状データと画素ずれのないカラー画像取得が可能という特徴もある．この特徴を活かした応用についても研究していきたい．

最後に，ニの研究の機会を与えていただき，またカラー情報の処理について多くの助言をいただいた南條墓前大分県産業科学技術センタ山長（現福井工業大学）に深く感謝致します6

文 献【1j井口征土佐藤宏介： 三次元画像計測 芦昭晃堂（1990）

E2］田島譲二岩j【ほ人 RamboⅥr鮎喝eF通ぬ一による距離画像−・・、、（a）BGÅの計測例［3］ゐ毎iT毎ima‥ 党別ムbowra鞘e弘達eごp血dple鮎ごrange

ぬ臨acq皿§ido‡ユ 5Proc。‡EEE三ntematio三ユ幻勒‡−ks亘10pOn‡ndustd裏 如pkは血n of瓦′‡ac最ne‡nteヱ立ge‡ユ綬5 Se舷em
Sき7inpO説Ⅷ，pp，3飢，386（Feb▲2−5，198？）：・．、− ．．

：・・−・ 、・． ・−Con島陀nCeOnPatteごn罠eco巨頭do王ユ，pp−309坤313（才一肌e16−21ヶ1990）（b）錠剤の計測例

閏佐藤辰艶北山公也： カラーパターン投影法に基づくBGÅ外観Fig．5計測結果の例

検査装置の試作 ，第8匝ド外観検査の責勧化】ワークショップ5精密工学会pp．1001105（1996〉

5．むすび

∵・−・

カラーパターン投影法に基づく新しいレンジファインダを管発し‥・ ・・・・−、 ＿BGふba盟−padsBase（ionColorPa七temPr房ection丸′‡etbod ，た．色相の変化率が・、、一定となるように設計した縞模様のカラ椚ソミタ

Proc−0ぎ乞be3rdKo‡−eかJapa互ユ才oint筒もごks‡101〕Or凰Conip㍑ヒer】ンを白色光で投影し，対象物体の凹凸に応じて生じる縞模様レー）㌔ちsion（Jam．20w22，1997）

歪み量を基準面からの色相差で検出する方法を採っている♭

同位藤尿乱北山公也： マルチスペクトル光投影レンジファイン
ダによる形状計測 ，映像情報メディア学会バ㍊択∴胱．12，

一般にカラーパターン投影法では計測計象とする物体表面〔り色の違いにより誤差が発生するが、ニCr）誤差もキャンセルできた

pP2133−2140（199′デーi2）○