B03 ステレオ画像法
ステレオ画像法による画像法による大型構造物による大型構造物の大型構造物の三次元形状計測に三次元形状計測に関する研究する研究
井実 康 和 (指導教員正岡・柴原)

Three Dimensional Shape Measurement of Large-scale Structure by Binocular Stereographby Yasukazu Ijitsu

Abstract
It comes to be able to achieve a three-dimensional measurement at low-cost and high speed because of the improvement of theperformance of the computer and the graphics, and digital cameras became a low price in recent years. It is useful and powerful tool
to measure three-dimensional object with non-contact, high-precision and high-speed. If measuring three-dimensional shape of alarge-scale structure, highly accurate measurement is difficult because the object reflects small in images.
In this study, camera parameters are considered and measuring conditions are optimized to improve the accuracy. These applied
to the three-dimensional shape measurement intended for a large-scale structure. As a result, three-dimensional shape by analysis
showed excellent accuracy.

1. 緒

2. 画像処理による画像処理による三次元形状計測法
による三次元形状計測法

言

近年、コンピュータの高速化やグラフィックス性能の向上、またデジタルカメラの高解像度化、安価に伴い、三次元計測は低コスト、高速で実現できるようになり、デジタルカメラによる三次元形状計測に関する研究が盛んに行われている。1)-4)画像による計測のため、非接触での計測が可能であること、高精度であること、全視野の計測が可能であることなど、多くの利点を有している。
また、本研究で採用しているステレオ画像法は、カメラなどの視覚センサを 2 つ左右に並べて、ステレオ画像視(両眼立体視)する方法である。人間の両眼のように、あるがままの世界をそのまま観測し、計測の補助となる光波、音波等のエネルギーを利用せずに外光等の環境からのエネルギーだけを用いる受動的計測法の一つと分類されており、計測が簡易で、三次元情報を得るために必要な計算時間が短いという特徴を有する。
大型鋼構造物を精度良く製作するためには、その構成部品の精度を保つことが不可欠である。主に造船業界では、その構成部品が大型化し、なおかつ手作業で精度確認しているため、三次元形状計測を行う場合には多大な時間と労力を要しているのが現状である。デジタルカメ
ラを用いた三次元形状を大型構造物に適用した場合、画像内に写る計測対象物が小さくなり、良好な精度で計測することが保証できなくなる。
そこで、本研究では、三次元形状計測の精度向上のため、カメラパラメータの補正、カメラ間距離とカメラ-計測対象物間の距離の最適化を行い、大型構造物を対象とした三次元形状計測に適用した。

本研究で用いる三次元形状計測法の流れを Fig. 1 に示す。まず、左右に配置した 2 台のカメラから、視点の異なる 2 枚の画像を取得し、画像相関法１)２）を用いて、取得した 2 枚の画像の対応点を探索する。求めた対応点近傍におけるサブピクセル単位での対応点を算出することにより画像対応点の位置の差である視差を求め、ステレオ画像法により三次元座標を決定する。以下では三次元形状計測法の要素技術であるステレオ画像法、画像相関法、サブピクセル画像照合法について説明する。
2. 1 ステレオ画像法
ステレオ画像法の画像法の基本原理
ステレオ画像法は、複数の異なる視点から同一の対象物の画像を撮影し、視差から三角測量の原理を用いて対象物までの距離を算出し、三次元位置を取得する手法でAcquire photographic images from two cameras

Find corresponding points between a pair of stereo
images by Normalized Cross Correlation

Obtain solution about sub pixel accuracy(Sub-pixel Image Processing)Obtain a three-dimensional position of shapewith parallax
Fig. 1 Flow of three-dimensional shapemeasurement method

B03-1

平成 19 年度 卒論・修論概要集(2008 年 2 月)

YZ

ObjectP(X, Y, Z)
Left image
PL(xL, yL)

dyyLyRfbj(xi+⊿x, yi+⊿y)ai(xi, yi)dx

Right image
PR(xR, yR)

A(ai)

B(bj)

⊿y⊿xxLxR

Left camera Position
BdxdxdyX(a) Original image(b) Deformed image

Right camera Position

Fig. 4 Basic procedure of digital image correlation

Fig. 2 Pattern diagrams of binocular parallax
ある。本研究ではステレオ画像法の中でも特にシステム構成が単純でカメラパラメータによる誤差が少ないという利点を持つ両眼視差法を採用した。
両眼視差法は Fig. 2 に示すように、2 つの異なる方向から撮影した画像を用いる手法である。図中の f はレンズの焦点距離、B は画像を取得する際のカメラ間距離である。ただし焦点距離の等しい 2 台のカメラを用いる必要がある。
上記の制約条件と、Fig. 3(a)～(c)の幾何学的位置関係より、左カメラの光軸を原点とする三次元座標は次式で表される。

X P = B tan β R / (tan β L + tan β R )Z P = X P tan β L
YP = Z P tan α∑∑ {a (x + ∆x, y + ∆y) - a }{b (x + y ) - b }nm*jR i, j =i*jiiji = 0 j= 0nm* 2jinm* 2iji = 0 j= 0iji = 0 j= 0

ただし、a*, b*は画像探索領域全域における輝度値の平均値である。比較画像領域 B(bi)を 1 画素ずつずらしながら解析領域内の輝度相関値 Rij を算出する。輝度相関値 Rijが 1 に最も近づく時の座標(x+Δx, y+Δy)が相関性の最も高い座標、すなわち対応点である。
2. 3 サブピクセル画像照合法
サブピクセル画像照合法
前節の手法で算出される視差は、ピクセル単位である。
しかし一般に対応点はピクセル間に存在するので、三次元計測精度の向上のためにはピクセル単位以下、すなわちサブピクセル単位での対応点探索が要求される。本研
究では輝度相関値 Rij の分布を最小自乗曲面に近似し、対応点探索を行った。以下にその方法について説明する。
まずは、ピクセル単位で得られた対応点(x+Δx, y+Δy)と、その点を基準にして x, y 方向にそれぞれ±1 ずつずらした基準点周囲の画素の計 9 点における輝度相関値を用いて次式で示される最小自乗曲面 g(x, y)を作成する。

(1)
(2)
(3)

上式において、焦点距離 f とカメラ間の距離 B が既知であることから、両画像の対応点が正確に探索できれば、三次元座標を求めることができる。
2. 2 画像照合法
画像照合法
画像照合法とは Fig. 4 のように、基準画像上に設定した微小領域と最も類似性の高い領域を、比較画像上において検出する方法である。まず、同図(a)に示すように基準画像上の点 ai(xi, yi)を中心とする dx×dy の基準画像領域を設定し、これを A(ai)と定義する．次に比較画像においても同様に、bj(xi+Δxi, yi+Δyi)を中心とした B(bj)を設定する。これら基準画像領域 A(ai)と比較画像領域 B(bj)より、次式で表される輝度相関値 Rij を算出する。

g ( x , y ) = ax 2 + bx + cy 2 + dy + exy + f(5)

ただし、a～f は最小自乗法により得られる係数である。
この最小自乗曲面 g(x, y)を最小値とする時の座標(x, y)がブピクセル単位での対応点である。以上の手法を全画素において繰り返し適用することにより画像全域におけるP(XP, YP, ZP)

YZ
P(XP, YP, ZP)(4)∑∑ {a (x + ∆x, y + ∆y) - a } ∑ ∑ {b ( x + y ) - b }xRYxRsinθ

XｙfYP
ZαR

ZPαLβLXPβRα0BxX

fcosθ
θβR
900-θxRcosθ
(a) Geometrical position ofcameras and object(xR, yR)fsinθ(b) Geometrical position ofright side
Fig. 3 Geometrical position

B03-2

X

αRf
(c) Coordinates of right imageCoordi

平成 19 年度 卒論・修論概要集(2008 年 2 月)

1.0

2.0 3.0 4.0 5.0

6000
5000

3. 計測変数の計測変数の最適化

10.0 4000

QQ − f  X − tan  arctan  X  − Φ L  QQ∆x L  Z   Z=∆x  R 
 f  B − Q X − tan  arctan  B − Q X  − Φ   R  Q  QZZ   (6)

ここで、⊿x は x 座標に関する投影位置のずれ、QX, QZは座標が既知である物体の X, Z 座標、Φはカメラの回転角度である。(6)式から得られたカメラの Y 軸まわり回転角度を理論式に与えることで、Y 軸まわり回転の補正を行う。
3. 2 対応点探索の対応点探索の誤差による誤差による計測誤差による計測誤差の計測誤差の影響
ステレオ画像法を用いて三次元形状計測する際に、対応点探索の処理で 1 ピクセルの誤差が生じると、計測結果に大きな誤差が生じ、精度が落ちる。よって対応点探索で 1 ピクセルの誤差が生じたときの Z 方向座標：ZP の計測誤差が最小となるような、最適なカメラ間距離：Bとカメラ-対象物間距離：Z0 の関係が存在する。本節では、最適値の導入を試みた。
理論に基づき、あるカメラ間距離、カメラ-対象物間距離において、左カメラに投影された画像上の点の x 座
標:xL に対し、その対応点である右カメラに投影された x
座標:xR に 1 ピクセルの誤差を与えた場合と与えない場合の ZP の差を計算した。この分布図を Fig. 5 に示す。横軸にカメラ-対象物間距離:Z、縦軸にカメラ間距離:B をとり、等高線で ZP の差を表しており、縦軸と横軸が交わる点がZP の誤差の値となっている。一例として、カメラ-試験片
距離:Z0 が 6000[mm]、カメラ間距離:B が 2000[mm]で形状計測を行う場合を挙げる。このとき、対応点探索で 1 ピクセルの誤差が生じると、Z 方向座標:ZP の計測誤差が 1～2(mm)程度生じることを示している。しかし、実際はサブピクセル単位で対応点を探索するため、ZP の誤差はグ
Table 1 Parameter

Fig. 4 Experiment device

Angle of viewφ(°)

Angle of cameras

θ(°)

Distance betweencameras

B(mm)Width of object

A(mm)
B03-3

B=2000, Z0=6000
20.0

3000
2000

24000

22000

20000

18000

16000

14000

12000

8000

10000

6000

4000

01000
2000

2 つのカメラを設置した際に、設置位置、カメラ角度にずれが起こるのは必然的であり、カメラの設置にずれが生じると当然対象物の三次元座標の精度が落ちる。よって、あらかじめカメラ配置のずれを把握し、補正することが必要不可欠である。
3. 1 カメラ位置
カメラ位置の位置の補正
本研究では Fig. 4 のような実験治具を用いて左右 2 台のカメラを固定し、X, Y, Z 軸、X 軸まわり回転、Z 軸まわり回転のずれによる計測誤差の影響を小さくした。本節では、残りの Y 軸まわり回転の補正について説明する。
三次元座標が既知である物体を撮影し、物体上の点の理論上の投影位置と、実際の撮影による投影位置とのずれより、カメラ配置のずれを把握する。投影位置のずれとカメラ角度のずれは以下の関係式で表される。

0

Distance between cameras (mm)7000

サブピクセル単位での対応点を算出することが可能となる。

Distance from camera to object (mm)Fig. 5 Error of measurement (Z-coordinate) (mm)ラフの値の 10 分の 1 程度になる。
3. 3 カメラ間距離
カメラ間距離・カメラ 計測対象物間距離の間距離・カメラ-計測対象物間距離
計測対象物間距離の最適化
前節で求めた対象物の Z 座標：ZP の誤差が最小になる
ようなカメラ間距離、カメラ-試験片距離を決定する。形状を計測するためには対象物が画像内におさまる必要があり、一定のカメラ間距離：B に対して対象物が画像内に納まるカメラ-対象物間距離：Z０が必要となる。対象物全体が画像内に写るために最低必要なカメラ-対象物間距離：Z０’(以下、照合限界距離と呼ぶ)は Table 1 の値を用いて(7)式で表される。
Z 0' =A+ Bφ
2 tan  + θ 2(7)(7)式より求められた照合限界距離より小さなカメラ-対象物間距離：Z0 では対象物が画像内におさまらないので、計測不可となる。よって、照合限界距離より大きなカメ
ラ-対象物間距離の範囲で誤差が 1 番小さくなるカメラ間距離：B、カメラ-対象物間距離：Z0 が最適な計測変数となる。

4. 大型構造物の大型構造物の三次元形状計測
計測装置は、デジタルカメラ 2 台、三脚 2 台、ランダ
ム模様投影用プロジェクター、実験治具で構成される。
デジタルカメラは 2 台ともに焦点距離:f=60(mm)、画角:φ=20°のものを用いた。Fig. 2 のように左右にカメラを2 台並べ、画像を取得する。
4. 1 プロペラのプロペラの三次元形状計測
4.1.1 対象物寸法と対象物寸法と計測条件
計測対象物は、本学 A6 棟前にあるプロペラである。最適 な 計 測 の 条 件 は 、 Fig.5 と (7) 式 か ら カ メ ラ 間 距
離:B=1700(mm)、カメラ-対象物間距離:Z ０=10000(mm)であ る が 、 本 研 究 で 用 い た 治具 の 最 大 カ メ ラ 間 距 離 は1500(mm)であるので、カメラ間距離:B を 1500.0(mm)、カ
メラ-対象物間距離:Z０を約 10000(mm)(カメラからプロペラが置いてある土台までの距離)で画像を取得した。なお、
カメラ角度:θ は左右ともに 0°である。
4.1.2 ステレオ画像法
ステレオ画像法による画像法による三次元形状計測による三次元形状計測の三次元形状計測の解析結果
撮影画像を Fig. 7 に示す。
特徴的な模様が少ないため、プロペラ右前方よりプロジェクターでランダム模様を投影し、対象物表面に模様をつけている。模様をつけることで、より正確に対応点を探索してくることが可能となる。解析領域は図中の実線枠内の部分であり、Fig. 8 に解平成 19 年度 卒論・修論概要集(2008 年 2 月)
9500
Theoretical
Measured
Coordinate in Z-direction(mm)

(mm)
解析領域

Fig. 7 Photographic image
from left camera

Fig. 8 Coordinate in Z-direction
by analysis(mm)A

Fig. 9 Photographic image
from left camera

A’

9000
8750
8500
8250
8000

0250

500

750

1000

1250

1500

Coordinate in X-direction(mm)Fig. 11 Shape from the upper side(mm)

1500
1350
12001050
9007506004503001500

解析領域9250(mm)

9000
8900
8800
8700
8600
8500
8400
8300
8200
8100
8000

1000
8006004002000-200-400-600-800-1000(a) Coordinate in X-direction (b) Coordinate in Y-direction(c) Coordinate in Z-direction
Fig. 10 Coordinates by analysis

析領域内の Z 座標分布を示す。解析領域の中心より左上の部分(Fig. 8 点線枠内)に影が映っており、この部分は対応点がとれず Z 座標が良好に計測できていない。しかし、プロペラ上にランダム模様がついている部分に関しては、形状を認知できていることが確認できる。
4. 2 液体窒素タンク
液体窒素タンクのタンクの三次元形状計測
4.2.1 対象物寸法と対象物寸法と計測条件
計測対象物は、本学 A6 棟隣にある直径 1620(mm)の液体窒素タンクである。左カメラによる撮影画像を Fig. 9に示す。タンクが高い位置にあるため、仰角 10.0°の状態でカメラを固定し画像を取得した。この計測における最適な計測条件は、B=1600(mm)、Z0=9000(mm)であるが、前節の計測同様に、治具によるカメラ間距離の制約により B=1500(mm)にし、Z０=8000(mm)程度で計測を行う。カ
メラ角度:θ は 2 台ともに 0°である。
4.2.2 ステレオ画像法
ステレオ画像法による画像法による三次元形状計測による三次元形状計測の三次元形状計測の解析結果
前節同様に計測対象物にランダム模様をつけ、対応点探索の処理を行いやすくした。Fig. 10(a)～(c)は計測領域内の X, Y, Z 座標の分布図である。同図(a), (b)に関して、タンクと背景の境界部に多少振動がみられるが、タンク上では X 座標は横方向に、Y 座標は縦方向にほぼ等間隔に増加していることがわかる。Fig. 10(c)の Z 座標に関して、カメラの仰角があるため、分布の等高線が上に凸のになっているが、中心から左右に向かうに従い Z 座標が大きくなっていることから、分布は定性的に妥当であると言える。
次に、定量的な観点から計測結果を評価するために、
Fig. 9 上の A-A’間の Z 座標分布を用いて地面と水平な面上の形状を算出した結果を Fig. 11 に示す。横軸に x 座標をとり、縦軸には y 方向座標をとっている。図中の実線は画像計測により得られた形状を仰角 10.0°を用いて座標変換したものである。一方、点線はメジャーを用いて実測した円周を元に算出した直径より再現された円弧でB03-4ある。この結果より、両者はほぼ等しく平均で 5（mm）程度であり、両者は定性的、また定量的に良好に一致していると考えることができる。
以上の結果より、2(m)程度の大型構造が 5(mm)程度の誤差で計測可能であることが確認できた。このことは、船舶外板形状やそれに生じる痩せ馬までをも計測することができることを示唆するものである。

5. 結言

本研究では、ステレオ画像法による三次元形状計測法の計測条件の最適化を行った。プロペラおよび液体窒素タンクを対象とした三次元形状計測を行った結果、以下の結論が得られた。
1) 特徴的な模様がほとんどない金属表面でも、光源で模様をつけることにより、対応点探索の処理が可能であることが確認できた。
2) 対応点探索処理の誤差が最小となるような最適な計測条件下から得られた画像を用いて形状を解析することで、大型の対象物でも良好な精度で三次元形状が計測可能であることが確認できた。

参考文献
1)
2)

3)

河村恵里：ステレオ画像法よる三次元形状・変形計測法の開発に関する研究、卒業論文、2007
柴原正和、山口晃司、正岡孝治、坪郷尚：画像処理による非接触変形・応力計測法の開発、溶接シンポジウム 2006 講演論文集、2004
Michio Uneda, Masakazu Shibahara, Masakatu
Matsuishi, Setuo Iwata, Koji Kitamura and Kenichi
Ishikawa : Studies on Non-Contact Deformation andMeasurement Technique of Structures using
Sub-Pixel Image Processing, Journal of the Japan
Society of Precision Engineering 3-72, (2006)