[研究報告]

カメラ画像による 3 次元計測ソフトウェアの開発＊
長谷川 辰雄**、谷尻豊寿***

3 次元測定器による人物顔の計測は、医療や福祉、眼鏡製作、個人認証など、多くの用途に使われている。しかし、現状の 3 次元計測器（モーションキャプチャ）は 1千万円以上と高価であるため普及し難い現状がある。そこで本研究では 2 台のデジタルカメラとステレオ画像処理を行う PC 用のソフトウェアを(株)メディックエンジ
ニアリングと共同開発し、同社は低価格の 3 次元測定システムを製品化した。このシステムは静止画計測の他に動画計測も可能な特徴がある。
キーワード：3 次元計測、ステレオ、画像処理

Development of 3-D measurement software using Cameras
HASEGAWA Tatsuo, TANIJIRI Toyohisa
The three-dimensional measurement of the human face is used for medical treatment,
welfare, eyeglass production and personal certification. But, the present three-dimensional
measurement system (motion capture system) cannot come into wide use for high pricewhich costs more than 10 million yen. Therefore, this joint research developed PC softwareof stereophonic image processing using two digital still cameras and, the Medic Engineering
Inc. produced the three-dimensional measurement system in low price. It is characteristics
with this system that not only still picture measurement but also motion picture
measurement is possible.
key words : three-dimensional measurement, stereo, image processing
1 緒言（株）メディックエンジニアリング社では、これまで、市販の 3 次元計測装置のデータを入力とし、人体の寸法計測や、体型の解析を行うソフトウェア（製品名：3D-Rugle）を販売している。しかし、市販の 3 次元計測
装置はレーザ光と CCD の複雑な組み合わせ制御や、剛性を保つための設計や部品等により 1 千万以上と高額となっている。そこで、レーザ光などの投光を必要とせず 2台のデジタルカメラと PC 用ソフトウェアで構成が可能なステレオ法を用いて、約 130 万円程度の 3 次元計測システム（図１）
を岩手県工業技術センターと共同開発し、(株)メディックエンジニアリングが製品化した（製品名：Stereo-Rugle）。

図１ ステレオ計測システム（製品名：Stereo-Rugle）
ステレオ計測法には、領域ベースマッチング法による*共同研究事業** 電子情報技術部*** 株式会社メディックエンジニアリング

密な領域計測と、エッジ等の特徴箇所を計測する特徴ベースマッチング法があるが、測定箇所を制限することで計算量を減らし、秒間 60 フレームで撮影し、オフラインでの動画像計測処理を行うため、計測箇所にマーカを貼付する特徴ベースマッチング法により本開発を行った。
このマーカの貼付による特徴箇所の明示化は、対応点探索が領域ベースマッチングに比べて容易であるため、誤対応に対してロバスト性（堅牢性）が高い特徴がある。
また、一般的に人体の形状計測に必要な精度は１mm 以下とされているが、開発したシステムは、OpenCV Ver.2 の機能を利用して、キャリブレーションの計測精度で 1ｍｍ以下を達成した。本研究の成果は大学歯学部の矯正科で導入が検討されている。
2 実験方法2-1 ステレオ計測法
カメラ画像を使った 3 次元計測には様々な方法が提案されているが、装置構成のシンプル化と画像処理の負荷軽減をすることで製品の低価格を実現するため、特徴マーカを予め対象物に付与したマッチング手法と、ステレ
オ計測で必要な射影行例を求めるために平面パターンによるキャリブレーションを用いて開発を行った。ステレ

岩手県工業技術センター研究報告

オ計測の原理は、3 次元座標にある対象物とそのカメラ画像（2 次元座標）との間の幾何的な関係を数値モデル化する必要があり、一般的に同次座標を用いて次式(1)のように表わされる。

第 17 号（2010）

方格子配置は手間がかかり、また、不必要なマーカも発生するため使い勝手が良くない。そこで、計測したいマーカだけをフレーム間で一致させるために、小画像ブロックの類似度を計算する正規化相関法（式(6)）
を用いた。

~3 次元空間の点 M  [ X , Y , Z ,1]T とその投影である画像~  [u, v,1] との関係は式(1)で表わされる。
上の点 m
T~~  A[ R t ]Msm・・・式(1)
ここで、S はスケール、A は 3 次元物理座標空間を 2次元画像空間へ変換する 3×3 行列（内部パラメータ）であり、[R t]は物理座標系とカメラ座標系の関係を表す行列（外部パラメータ）で、R：3×3 回転行列、t:3×1 並行移動行列である。この内部パラメータと外部パラメータを求めることをキャリブレーションと呼び、ステレオ計測の精度に影響する重要な工程である。
平面によるキャリブレーションは Zhang により提案され、ワールド座標系の Z=0 として式(1)を整理すると、式(2)及び(3)で表わされる。ここで、外部パラメータの[Rt]の X 軸周りの回転行列を r1、Y 軸周りの回転行列を r2、Z 軸周りの回転行列を r3 とする。ホモグラフィ行列を
H=[h1 h2 h3]とすると 3 次元座標点と平面上の点の変換行列は式(4)で表わすことができる。
X u X Y s v   Ar1 r 2 r 3 t    Ar1 r 2 t Y 0 
1 
1  1 

ただし、・・・式(6)3 実験結果3-1 キャリブレーション
キャリブレーションは、図２(a)に示すように 1 辺が12mm の正方形のチェス模様を印刷して平面板に貼り付け、2 台のカメラで撮影を行った。式(3)の線形方程式を解くためには少なくとも、この図２(a)が３つの異なる方向の画像のチェス模様のコーナー座標が必要であるが、撮影枚数が多いほどコーナー座標数が多くなるため計測精度が高くなる。今回は過去の実験から経験的に 5 枚の画像を用いて実験を行った。実験の仕様を表１に示す。
表１ 実験の仕様

・・・式(2)~~  A[r1 r 2 t ]Msm

h1 h 2h3  Ar1 r 2 t 仕様

・・・式(3)

画像サイズ
チェス模様マス・サイズ
動画撮影速度

詳細な計算方法は省略するが、平面上の座標値を式(3)に代入して線形方程式を解くと、内部パラメータ Aが求められ、外部パラメータは次の式(5)のように計算できる。

640×480 画素
12×12(mm)60 fps

2台5枚
縦 7×横 10 マス
5回

10 マス

7 マス

r1   A 1 h1 , r 2   A 1 h 2 ,r 3  r1  r 2 , t  A 1 h3

Canon EOSKissX4

カメラ・・・式(4)数量等・・・式(5)2-2 動画解析のマーカ追跡
秒間 60 コマでマーカの時間的な変位を把握するためには、画像フレーム間で同一マーカを一致させる必要がある。マーカの貼り方を正方格子状に整列配置すれば画像処理等で容易に特定できるが、顔面上へのマーカの正12mm(a)パターン(b)カメラ配置
図２ キャリブレーションパターンとカメラ配置

OpenCV Ver.2 のキャリブレーション関数である
cvCaribrateCamera2 等は、Matlab のキャリブレーション

カメラ画像による 3 次元計測ソフトウェアの開発を移植したものとなったが、原理は Zhang の手法を使ったものとなっている。キャリブレーションで必要なチェス模様のコーナー座標点は cvFindChessboardCorners 関数によって求めた（図３(a)(b)）
。この関数はチェスのマスの数が奇数×偶数を前提として座標検出を行っているため、7×10 マスのパターンで実験を行った。

(a)Left 撮影画像(b) Right 撮影画像貼り付け、マーカ中心座標を画像処理で求めて 3 次元計測を行った。このとき、左右画像の 16 ヶ所のマーカは図４に示すように番号付けされ、左右の点が同一であることがわかる。
各マーカの時間的な変位を 1/60 秒間隔でグラフ化することで変位の解析を可能とした。このためには同一マーカを動画のフレーム間で一致させる必要があり、前述の相関閾値法や探索範囲を限定する等の画像処理によって自動的にフレーム間でのマーカを一致させた。
これにより、マーカの時間的に連続した 3 次元座標の変位をグラフ化することができた。図５は 9～14 番の計測の時間的な変化をグラフにしたもので、縦軸は各マーカの基準位置からの相対的な変位を表している。このグラフの変位が滑らかでない理由は、対応点のマッチング誤差の影響によるものと考える。また、グラフ上の 3 か所において入力画像と計測座標を示しており、左から平常時の顔→笑顔→平常時の顔と表情に変化を持たせた。

(a’)Left コーナー検出 (b’)Right コーナー検出
図３ チェス模様コーナー座標の検出

図４ 顔上のマーカを自動検出した結果

変位(mm)

3-2 計測結果
図３(a)及び(b)の左右の撮影画像を入力とし、チェス模様のコーナーを検出した結果が図３(a’)及び (b’)
である。
左上のコーナーから右方向に順番に検出を行い、番号付けを行った。式(3)の連立方程式を解くために、同一平面上にない異なるコーナー座標が必要であるので、今回はチェス板をカメラに対して５つの異なった方向に向けて撮影し、内部パラメータ、外部パラメータ、射影行列を計算した。左右 2 台の射影行列からコーナー座標の計測を行い、12mm 角のマス目の真値との誤差を計算した。表２の計測結果は、前述の実験手順を 5 回行った平均値を示したもので、平均誤差は 0.079mm となった。
表２ 計測結果
計測値
平均
最小値
最大値

11.92111.75912.084

誤差-0.079-0.2410.084

入力画像

時間(秒)

計測点

3-3 動画計測実験
前述の実験で得たキャリブレーション値を利用して動画像による 3 次元計測の実験を行った。
この実験では、マーカ貼付した顔を一眼レフカメラの動画撮影機能を用いて、1 フレームが 640×480 画素を秒間 60 フレームで撮影して行った。
顔表面のマーカはランダムに 16 ヶ所に

図５ 動画計測によるマーカの変位グラフ

岩手県工業技術センター研究報告

4 結言
キャリブレーション用のチェス模様板で誤差平均が0.079mm を達成したが、顔にマーカ貼付した計測誤差の実験は、比較対象となるモーションキャプチャ装置の実験準備や正確な比較の方法に課題があるため行っておらず、今後、検討しながら比較実験を行っていく予定である。製品化にあたっては、OpenCV や特徴ベースマッチン
グ法により約 130 万円と低価格化を実現した。また、使用するカメラはメーカを問わず、目的に合わせて選択することができる。例えば、高速な動きを捉える場合はフォトロン社製のハイスピードカメラ、中速な動きを捉える場合にはテクノスコープ社製や東芝テリー社製、低速な動きの場合はキャノン製 EOS KISS X4 を推奨している。
ソフトウェアは動画解析、静止画解析、グラフ表示の 3部構成になっており、動画解析は 640×640 画素までの画面サイズに対応している。動画解析のために必要なフレーム間での同一マーカ追跡は、相関閾値法など、幾つかの画像処理機能を組み合わせて自動的に行っている。
追跡に失敗した場合でも、マーカ位置をマニュアルで修正し、そのフレームから自動追跡を開始できる便利な機能を備えている。カメラの撮影方向によっては自動追跡が上手くいかない場合があるが、個々のマーカにパラメータ設定を行うことで自動追跡を可能としている。
また、開始フレームとフレーム数を指定し、動画から連続した3 次元計測の静止画を切り出す利便性の高い機能も備えている（図６)。

図６ 動画から静止画の切り出し機能
2 台のカメラ撮影の同期を合わせる方法は、2 台同時撮影が可能なリモコンスイッチを用いる方法と、図７に第 17 号（2010）示すように、カメラのフラッシュ画像の位置を画像処理で探索する方法がある。

図７ フラッシュ位置による同期合わせ
グラフ表示では、計測したマーカを使って新たな座標系に変換することが可能であり、市販の 3 次元計測装置で計測した対象物の座標系に変換することも可能である。
今後、3 次元計測は精度向上と低価格化がさらに進み、医療や福祉だけでなく、モノづくり産業や部品検査への普及が期待されており市場規模が拡大されると予想されるため、精度向上とともに使い易さを意識した製品開発に取り組んでいく予定である。
文
献1) Zhang,"A flexible new technique for cameracalibration". IEEE Transactions on PatternAnalysis
andMachineIntelligence,
22(11):1330-1334, 2000.
2) 佐藤 淳：コンピュータビジョン、pp.81-96、コロナ社(1999)
2) 田村 秀行：コンピュータ画像処理、pp.138-140、
オーム社(2002)
3) R.Hartley:In defense of the eight-point
algorithm、IEEE Trans. PAMI、pp.580-593（1997）