研究論文

民生機器を利用した三次元計測システムの開発
依 田 康 宏 *１ 、 山 本 昌 治 ＊ １

Development of the 3D Digitizing System
Using Consumer Electronic Appliances
Yasuhiro YODA and Masaharu YAMAMOTO
Research and Development Division, AITEC * 1
民生機器であるデジカメとプロジェクタを用いて三次元計測システムを開発した。計測方式は、プロジ
ェクタから 9 ビットグレイコード相補パターンを投影したアクティブステレオ方式である。また、計測範
囲 は プ ロ ジ ェ ク タ の 投 影 範 囲 に よ り 調 整 で き 、 最 小 で 横 250mm で あ る 。 開 発 し た シ ス テ ム に よ り 、 平 面 板を 計 測 し た と こ ろ 、平 面 度 は σ ＝ 0.2mm で あ っ た 。更 に 、20.00mm の 段 差 幅 形 状 を 計 測 し た と こ ろ 、平 均 距
離 ＝ 20.2mm で あ っ た 。

１．はじめに製造プロセスの中で実形状（三次元形状）のデジタル理により測定物体表面での三次元座標を算出する。
プロジェクタによる縞パターンの投影データを計測する技術は、品質保証のための形状検査等で必要な技術である。三次元計測システムとしては、CMM等の接触式のものと、CCD カメラ等を用いた非接触式のものとがある。
接触式のものは精度は良いが一度に測定できる測定点数は限られる。一方、非接触式のものは一度に多数の点カメラ各画素方向への直線図１を測定でき、接触式と比較すると精度は低いが、限られた用途では工学的にも利用できる精度に近づいている。

測定物体

三次元計測の原理

2.2 三次元計測システムの構成

しかしながら、三次元計測システムは一般にソフトウ

図２は開発した三次元計測システムを示し、民生機器でェア、ハードウェア一体の計測器として提供されることあるデジカメとプロジェクタがそれぞれUSBケーブル、が多く、非接触式のものは接触式のものと比較すれば安RGBケーブルを介してパソコンに接続されている。パソコ

価ではあるものの、中小企業等にとってはなお割高感のンは、デジカメの撮影と、プロジェクタの投影パターンある装置となっている。とを制御する。

本研究は、複雑な三次元形状を迅速に工学的にも利用

デジカメは最大解像度 2048×1536 画素のものを使用可能な精度で測定すること、かつ民生機器を利用した汎し、メーカ付属ソフトによりパソコンからリモート撮影用的で安価な三次元計測システムを実現することを目的が可能である。このため、デジカメ本体のシャッターをとする。

直接押下する必要はなく、測定中にデジカメの位置が変２．実験方法2.1 三次元計測システムの原理の概要
図 1は開発した三次元計測システムの原理の概要を示し、わることはない。測定中はフォーカス、アイリス、ズー
ム等の条件は一定としている。
使用したプロジェクタは解像度 1024×768 画素であり、プロジェクタからは縞パターンを投影する。カメラとプ最小の投影範囲で横 250mm である。このプロジェクタかロジェクタは、予めキャリブレーションすることにより、ら投影される縞パターンは、縞の幅が 4 画素より細かい位置、姿勢、画角等を含むパラメータが分かっており、と、奥行方向に焦点が合いにくくなるため、縞の幅が 4プロジェクタから投影された 1 本の縞による平面と、カ画素以上の投影パターンとなるようにした。

メラの各画素方向への直線との交点から、三角測量の原＊1 基盤技術部

また、キャリブレーション用の基準物体として、図３

に示すようにアルミの立方体の三平面上に、20mm間隔で2.4 三次元計測システムの測定手順測定としては図６に示すデータを測定する。最初にキ円環状の溝を切削加工し、その円環を黒く色付けし基準ャリブレーション用に基準物体を測定する。データとし点としたものを用意した。
データの測定及び三次元座標を計算するプログラムては、パターン光を投影しない通常画像 1 枚、パターンの開発はJava言語により行った（図４）。また、デジカ

光を投影した画像 18 枚の合計 19 枚である。一度キャリメ付属のソフトも、開発したプログラムを介して操作しブレーションした後は、測定物体を置いて同様に合計 19ている。

枚の画像を記録する。
なお、通常画像 1 枚、パターン光を投影して画像を 18枚順次記録する手順は自動化されており、画面上からボタンを 1 回押せば実行できる。

プロジェクタ

三次元計測システム

図３

基準物体

︵ 基準 物体 ︶

150mm
図２

キ ャ リ ブレ ー シ ョン

デジカメ

通常画像（1 枚）パターン投影（18 枚）
・・・・

測定︵測定物体︶

・・・・

図６
図４

三次元計測システムのソフトウェア操作画面

2.3 投影パターン

測定データ

2.5 三次元計測システムの計算手順
図７は三次元座標計算におけるデータ、処理の流れを示

プロジェクタの投影パターンとしては、9 ビットグレしている。カメラキャリブレーションでは、基準物体のイコード相補パターンを用いた。グレイコードは、縞の通常画像からカメラの位置関係を表すカメラパラメータ境界で隣のパターンと誤認識しても、値の最大誤差が 1を計算する。プロジェクタキャリブレーションでは、パなので、ノイズに強いことが知られている 1) 。

ターンを投影した基準物体の画像から、プロジェクタの図５は 3 ビットグレイコードの投影パターンの例であ位置関係を表すプロジェクタパラメータを計算する。

り、黒に投影された部分を“0”、白に投影された部分を最後に、カメラパラメータ、プロジェクタパラメータ“1”に割り当ててビット的に合計すると、3 回の投影でを利用して、パターンを投影した測定物体の画像から、23 （=8）個の平面が識別可能である。9 ビットの場合、測定物体の三次元座標を算出する。

512 本の平面の分解能となる。グレイコードを空間的になお、図７におけるデータは全てファイルとして生成順番に並ぶように変換したものを空間コードと呼ぶ。
<プロジェクタキャリブレーション>

更に、ポジのパターン光と、それを明暗反転したネガのパターン光を投影する相補パターンは、ポジパターンとネガパターンを比較することにより、背景の照明や物体の反射特性の変動等に影響されにくい、安定した空間コードを得ることができる。相補パターンは画像データの数が 2 倍となり、9 ビットの場合は 18 枚必要である。
空間コード
０１２３４５６７

図５

０１３２６７５４×2 1×2 2

3 枚目

０１１００１１０

2 枚目

００１１１１００

００００１１１１

1 枚目

グレイコード
合計

基準物体
投影画像

<カメラキャリ
ブレーション>

2値化、重ね合せ、内挿
基準物体
空間コード

基準物体
通常画像
2値化、ラベリング、重心計算
基準点カメラ座標(Xc,Yc)<三次元座標算出>
基準点
空間コードXp
計算

計算
カメラパラメータ

プロジェクタ
パラメータ

測定物体
投影画像
2値化、重ね合せ、内挿
測定物体
空間コード

計算

×2 0

三次元座標データ

グレイコード（3 ビット）の説明
図７

三次元座標計算におけるデータ、処理の流れする。カメラパラメータ、プロジェクタパラメータは、XML 形式のファイルであり、もし他のキャリブレーショ

2.7 プロジェクタキャリブレー ション（１）式と同様に、物体座標(X,Y,Z)と それに対応す
る空間コード Xp は次式で表される。Hp は媒介変数であでもすぐに変更でき、汎用的なつくりとしている。

る。

12p p

⎞ ⎛ 11⎟⎟ = ⎜⎜⎠ ⎝ 21

p pに説明する。カメラモデルとして、ピンホールカメラモ

⎛⎜⎜
⎝

p p

次に、キャリブレーションにつ いて、計算方法を詳細

p p
XHp
H

2.6 カメラキャリブレーション

222313デルを用いると、物体座標(X,Y,Z)とそれに対応するカメラ座標(Xc,Yc )は次式で表される 1) 。ここでHcは媒介変X YcZc c数である。

22c c c⎞ ⎛ 11⎟ ⎜⎟ = ⎜ 21⎟ ⎜⎠ ⎝ 31

c c cc c cc Yc c
Xcc H
HH⎛⎜⎜⎜
⎝

3233

12（４）

p24 =1 として基準点の物体座標(X i,Yi ,Z i)と、その空間最小二乗法によりプロジェクタパラメータを算出するこ⎛ ⎞⎟⎟⎜ ⎟24 ⎟⎜ ⎟⎟⎜ ⎟34 ⎠⎜ ⎟
⎝1⎠

23⎛ ⎞⎜ ⎟⎟⎟⎟⎜ ⎟24 ⎠⎜ ⎟
⎜1⎟⎝ ⎠

14 ⎞⎜コードXp i の関係から、カメラパラメータの場合と同様に、

14 ⎞⎜13X Y pZ pンの方法により算出したパラメータの値を利用する場合（１）とができる。
なお、基準点 のカメラ座標(Xci ,Yc i)はサブピクセル的に求めているので、Xp i の値も周囲 4 画素の点の空間コ

基準物体のi番目の基準点の物体座標(X i,Y i,Z i)は一ードの値から距離の逆数の重みをかけて求める。

定間隔で加工してあるため既知であり、カメラ座標2.8 空間コードの内挿(Xci ,Yci )は基準物体の通常画像から、2 値化、ラベリ ン

図８に示すように、プロジェクタにより投影した平面を2)グ を用い、円環マークの重心としてサブピクセル的に表す空間コードの値は、整数値で離散的な値であり、同求める。

じ縞が投影された領域は同一の値となる。このような場（１）式 はスケールが任意なので、c34 =1 とおいて、合、算出される三次元座標も不連続な値となり、プロジ

Hc=c 31X+c 32Y+c 33Z+c34 の関係を代入し、基準点n個についェクタの最小の縞幅以下の精度とすることはできない。て行列で整理すると、

1101− 1− 111− 1− 11

⎟
1⎟
⎟
⎟⎟⎟⎟⎠

向上するが、それにはプロジェクタの解像度を大きくする等の必要がありハード的にも特殊となるため、安価なn n

民生機器の利用ができなくなる。
一般的に、縞幅程度の小さな領域では物体表面は緩やかな形状として、空間コードを内挿して算出すると計測精度の向上に有効である。ここでは内挿の方法として、（２）c YcXn nc c⎛ 11 ⎞ ⎛ 1 ⎞⎟⎜⎟ ⎜⎜ 12 ⎟ ⎜ 1 ⎟⎜• ⎜ … ⎟ = ⎜ … ⎟⎟⎜⎟⎟⎜ 32 ⎟ ⎜⎟⎟⎜⎟ ⎜⎜⎝ 33 ⎠ ⎝⎠−−1 ⎞c cX
Yn nZ Z−−− 1− 1

1cn cnX YYn Ynn nnc cYYn n
X X

…
0 0 −
1 −Z0Yn

0nc YcX

100cc YX
Z Z

10X

0nc cZnYnX

00cc YX
Y Y

00cc Y
X
X X

01Z

1YZ

1X

YX

⎛ 1⎜⎜0⎜⎜⎜⎜⎜⎝0グレイコードのビット数を大きくすれば、計測精度は

図８に示すように、空間コードが±1 変化する周囲の隣
接 4 点を見つけ、空間コードを双一次曲面 4) 上の点とする方法を用いた。

一般に、
ybpxx

空間コードXcympbp

⎛ 1⎞
⎛ 1⎞
1 ⎞⎟⎜ ⎟⎜ ⎟⎟ 、係数b = ⎜ … ⎟ 、実測値y = ⎜ … ⎟ として、⎟⎟⎜⎜ ⎟⎟⎜ ⎟⎝ ⎠⎠⎝ ⎠xmxm

⎛ 11
⎜
X= ⎜…
⎜⎜⎝ 1

Yc

Xb=yの連立 1 次方程式をbについて解くとき、m>pの場合
図８には、式の数が未知数の数よりも多くなるため、yに対する残差平方和を最小とする最小二乗法で係数bを求めtる。そのとき、X をXの転置行列として、− 14 ⎞ ⎛ 11 − 31
⎟ ⎜− 24 ⎟ = ⎜ 21 − 31− 14 ⎟⎠ ⎜⎝ 11 − 21c c ppc Xc YXc c pccppc Xc YX
c c p

小二乗法により、C = (A t A) -1 A t R となり、カメラパラメ⎛ 34⎜⎜ 34⎜⎝ 24

c c pが成 立する 3)。（２）式をAC=Rとおくと、（３）式から最Hp=p 21X+p 22Y+p 23Z+p24 の関係を代入して整理すると、
c c p

（３）

c pc YX X
Y Z X
c c p

（１）、（４）式におい て、Hc=c31X+c32 Y+c33 Z+c34、（最小二乗法でXb=yのbを求めるとき）ータを表す行列Cが求まる。

2.9 三次元座標の算出

c c pXY X
c c pb = (X t X)-1 X t y

空間コードの内挿

12 − 32

13 − 33

22 − 32
12 − 2223 − 33
13 − 23⎞⎛⎟⎜⎟⎜⎟⎜⎠⎝⎞⎟⎟⎟⎠

上式をF=QVとおけば、V=Q -1 Fから三次元座標（X,Y,Z）が算出される。ここで、Xp は測定物体のカメラ座標

(Xc,Yc)における空間コードの値であり、全てのカメラ 座

この結果より、今回開発したシステムの精度は 0.5mm

標について三次元座標を計算することにより、カメラの程度であることが分かるが、プロジェクタのパターン投画素分の三次元座標の点群データが得られる。

影の分解能は、250/512〜0.5(mm)程度であり、空間コードの内挿処理を行うにしても、投影パターンの真の境界３．実験結果および考察
3.1 計測時間をサブピクセル単位で求めていないため、平面度、段差の測定ともに妥当な精度と考えられる。

開発したシステムの計測時間を表１に示す。測定時間

表２

は、ほとんどがデジカメからパソコンへ画像を転送する

平面と段差の測定結果

測定対象内挿なし

内挿あり時間である。また、計算時間は大部分の時間が画像から

平面

平面度

平面度

空間コードを作成する時間と、空間コードの内挿処理時（約 45×63mm、σ=0.5mm

σ=0.2mm間である。

対象点数約 8.5 万点）
20mm 段差

段差平均距離段差平均距離（約 31×21mm、=20.4mm=20.2mm

表１

三次元計測システムの計測時間

画像サイ ズ

測定時間

計算時間（画 像１９枚）（空 間コード化

対象点数約 1.7 万点）＋内挿処理）

3.3 複雑形状物体の測定

2048×1536

約 2 分 45 秒

約 5 分 40 秒

図１０は、複雑形状物体の測定としてマウスを測定した

1600×1200

約2分

約 1 分 40 秒

例であり、曲面形状も三次元計測できていることが分か

1024×768

約 1 分 20 秒

約 45 秒る。三次元座標は画像データの画素ごとに算出するため、

640×480

約 1 分 20 秒

約 25 秒三次元データに色属性をつけることも容易である。

3.2 平面度及 び平 均段差の測定開発したシステムの基本精度を 確認するため、平面板と段差を測定した（図９）。最も精度が良い計測となるように、画像サイズを 2048×1536、プロジェクタの投影範囲を最小として計測した。
図９(a)に示す右下の矩形の範囲を対象領域として、平面度を評価した。対象領域の点群データから、平面へ

(a)

画像データ
図１０の距離の二乗和を最小にするフィッティング平面を計算(b)

三次元表示例

複雑形状の三次元計測例

し、その平面から各点群への距離を求めたところ、標準４．結び偏差σは表２に示すとおりとなった。空間コードの内挿処理をすることにより、2 倍程度の精度向上となっていデジカメとプロジェクタを用いて構成した安価な三次元計測システムを開発した。開発したシステムにより、る。
また 、20.00mm の段差幅に加工した形状の物体を計測

平面板を計測したところ、平面度はσ＝0.2mm であり、し 、絶対精度を評価した。図９(a)に示す段差の矩形部分

また 20.00mm の段差幅を計測したところ、平均距離＝が評価対象領域である。段差の下側の領域の点群データ20.2mm であった。

からフィッティング平面を計算し、その平面から上側の今回のシステムでは、一方向のみからの三次元計測で点群データへの距離を求めたところ、平均距離は表２にあるが、今後は、複数の方向から計測したデータを位置示すとおりとなった。

合わせして合成する等、ソフトウェア機能を充実する予定である。

文献1) 井口征士,佐藤宏介：三次元画像計測,(1990),昭晃堂
2) 酒井幸市：ディジタル画像処理の基礎と応用,(2003),CQ 出版
3) 例えば、吉澤正：情報処理入門コース統計処理,
P122(1992),岩波書店(a)

測定中の画像図９(b)測定結果（Z 軸上向き）

平面度と段差の評価

4) 三浦曜,望月一正：実践 NURBS、P171(2001),工業調査会