特集:3Dプリンタと三次元化技術の紹介
OA1309‑04

濃導彦
， j J

2−1視差に基づいたさまざまな1．物体の三次元形状計測
昨今、MicrosoftのKinectやAsusのXtion、SoftKi‑neticのDepthSenseなど、色だけでなく奥行きも同時

三次元形状復元法

複数のカメラで物体を撮影し、カメラ間での視差に基づいて測距を行うステレオ法がある。この手法では、物体上で同一の点が異なる視点からどこに見えているに取得できるカメラが安価に入手でき、手軽に利用でか、カメラ間での対応付けを構築する必要がある。近きるようになってきた。これらのカメラを用いた研究

年、多カメラ間で対応付けを求めるPatch‑basedMulti‑ViewStereo法(1)などがよく用いられているが、特に均一色の物体などでは、カメラ間での対応付けが暖昧が急激に増え、物体認識や姿勢推定、ジェスチャ認識、三次元モデリングなど、さまざまな活用方法が提案されている。

我々の研究室では10年以上前から三次元形状復元やモデル処理に関する研究を行っており、自前で計測システムのプロトタイプを構築してきた。徐々に拡張を重ね、現在このシステムでは、同期撮影が可能なカメ
ラ39台を中心として、約30cm立方の空間内の三次元形状を0.5mm程度の精度で計測することが可能となっている。本稿では、これまで行ってきた研究と関連付けて、このシステムについて紹介する。となり、結果として三次元形状復元ができなかったり、結果が不安定になったりする場合がある。こういった場合には、レーザモジュールやプロジェクタなどを用いて物体表面にパターンを投影し、これを手掛かりに対応付け問題を解くパターン光投影法がよく用いられる（図1)。この際、パターン光の投影位置・方向などが既知であれば、カメラは1台でも三次元形状を復元することができる。パターン光投影法には、スリットレーザで物体を走査する光切断法、グレイコードパ2．三次元形状計測原理
カメラを用いた三次元形状復元に関する研究は幅広く行われており、照度差ステレオ法のような輝度情報に基づく手法や、多視点ステレオのような幾何情報に基づく手法など、さまざまな原理を用いた手法が提案

plane

されている。原理に応じて各手法の得失もさまざまである。三次元形状復元技術に関して幅広い研究を行う

ため、我々のシステムでは幾何情報に基づく手法を中心に複数の三次元形状復元手法が可能となっている。
以下にその例を示す。

ra

図1パターン光投影法

0917‑026X/13/¥5m/瞳文/JCOPY

光アライアンス2013.12.19

＜特集:3Dプリンタと三次元化技術の紹介＞

ターンを順に照射する空間コード化法(2)、デブルーイ
ン系列を利用したパターンを照射することで1枚の画像から広範囲の形状復元を可能にしたワンショットスキャン法(3X4)など、さまざまな手法が提案されている
我々のシステムではこれらの手法による三次元形状復元を実現している。
2−2カメラ間対応付けの不要な視体積交差法
全く異なるアプローチとして、視差ではなく、物鰯体のシルエットを用いる手法も提案されている。カメラで物体を撮影したとき、その投影像はカメラの画像平面上の領域として得られる。このとき、カメラのレンズ中心を端点とし、投影像の輪郭上の任意の点を通る半直線で形成される錐体状の開空間を考えたとき、物体はこの空間に内接して存在する（図2)。物体を複数のカメラで観測したとき、各カメラでこの開空間を構成することができ、これらの積をとることによって物剛体の近似形状を得ることができる。この手法を視体積交差法(5X6)と呼び、我々のシステムでもこの手法を実現している。

鑑

図2視体積交差法

3．時系列計測データの統合

能なターンテーブルに計測対象を乗せ、対象を一方向から計測した後回転させることを繰り返し、360度を数回に分けて計測したものを回転角度に基づいて再度統合するという方法が採られることが多かった。しかしこの手法では、ターンテーブルに置きながら計測するため、接地面など隠ぺいされて計測できない部分がある。そのため我々のシステムでは、例えば物体を糸などで宙吊りにし、自由回転している状態で計測することで、全周形状を獲得することができる。この際、ターンテーブルで回転角度を指定する代わりに、物･体の運動状態を獲得する必要がある。そのため本システ
ムでは、物鋤体に少数（3〜4点）のマーカを貼付し、その三次元位置を基に運動を計測するモーションキヤ
プチヤの機能も備えており、獲得した運動に基づいて形状を統合することで全周形状を復元することができる。また、これらの機能を組み合わせることで、手のような複雑に形状を変化させる対象を、さまざまな方向からさまざまな姿勢で計測を行い、これらを統合することで形状モデルを獲得する手法も提案している(8)。
3−2視体積の時系列統合
視体積交差法は対象物体のシルエットしか用いない
ため、物体表面の反射特性に依らず、安定して三次元形状を復元することができる。また、同期撮影が可能な多数のカメラが必要となるが、一瞬で全周形状を狸得することができるという利点もある。一方、パターン光投影法と異なり、視 体積交差法で得られる形状は物体領域を含む凸包となるため、粗い形状しか復元できないという欠点もある。視体積に含まれる物体領域以外の余分な領域の大小はカメラの台数と配置によって決まる。多くの台数のカメラが物体の全方位を囲むように配置されるとき、余分な領域は少なくなることが期待できる。我々のシステムでは、観測空間を取り囲むように配置された39台のカメラを備え、十分な精度で形状を復元することが可能である。また、物体が剛体である場合、自由回転している状態で計測し時系列で得られるシルエットをすべて用いて視体積交差法を行うことで、仮想的にカメラ台数を増加し、最小凸包に近い復元形状を得ることができることを示した(9)。また、対象が多関節剛体とみなせる場合にも、3−1形状と運動の同時計測による形状統合

対象が運動している様子を観測することで、各体節のパターン光投影法では、物 体表面が均一であっても形状を猶得する手法を提案している('の。

凹面も含めて詳細な形状を復元することが可能であるという利点がある一方、形状が復元される領域が、ノターンが投影されている部分に限られるという欠点もある。そのため、パターン光を照射する場所を変えながら、色々な部分の形状を計測し、これらを後から統合するアプローチがとられる。従来は、角度指定が可

20光アライアンス2013.12

4．計測システム一V4:Vision‑based
VersatileVolumeVisualizer
上述したパターン光投影法、視体積交差法、モーシ

＜特集:3Dプリンタと三次元化技術の紹介＞

ヨンキヤプチャを備える、我々が構築した全方位動物.agC

体計測装置について紹介する。

〕rag〔4−1多カメラを用いた全方位同期撮影システム
本システムでは、同期撮影が可能なカメラとしてPointGrayResearch社製のIEEE1394カメラを利用している。長期間にわたり、徐々に拡張してきたシステムであるため、システムを構成しているカメラはDragonfly，Dragonfly2、Flea、Flea2、Grasshopperといったさまざまな解像度のカメラで構成されている〈

これらのうち、Dragonfly，Dragonfly2、FleaはIEEE1394aのカメラ、Flea2、GrasshopperはIEEE1394bのカメラである。これらのカメラは、それぞれが消費する帯域に応じて8台のPCに割り当てられている。我々のシステムでは、39台すべてのカメラを接続した際には7.5fpsのフレームレートで撮像できる構成となっているが、目的に応じて、高解像度なIEEE1394bカメラ8台を1台ずつPCに接続し、30fpsで携
図3同期撮影システノ像することもできる構成になっている（表DoPC借はカメラとは独立したIEEE1394aイン･ターフェースによって接続されており、PointGrayResearch社が提供しているMultiSyncによって同期撮影が可能となっている。図3にカメラとPCの接続関係を示す。

8Ceilingcamera
8Uppercamera:
Projector

表1各カメラのPCへの割り当可︼国■IEEE1394aカメラ5〜6台
IEEE1394bカメラ3〜4台

5セット

IFFFl3941

3セット

カメラ1台

SMiddlecamera:︾⁝一：噸．一一唾︽ｐＬＪＬｇ．

高解像度
高フレームレート撮影

全方位撮影モー8セット

RegionofObservation
30cm×30cm×30CIT

8Lowe: canlerasBlackligh7Floorcamera:

各PCでは、ある1台のクライアントPCが送出した撮影開始／終了のパケットを受けて撮影を開始／終了するサーバプログラムが実行される。サーバプログラ
ムは、それぞれのPCに接続されたカメラの撮影をホ御する。撮影終了後に、各カメラから取得された画傷データに埋め込まれたタイムスタンプを参照して同側関係をチェックする。

カメラの設置は、パイプで図4に示すようなフレー

Entrano図4カメラ配恒

これは、紫外線光はカメラが感知しないが、蛍光は丈メラが感知できることを利用し、パターン光投影法を行うのに適した暗所でもモーションキヤプチヤを実芽ムを組み、これに取り付けることで行う。手の大きさするためのものである。

程度の対象物体を想定し、観測範囲をフレーム中央に30cm立方に設定した。カメラの設置の際に、この鴬測範囲全体を画角に含めるようにした。また、観測剥

4−2カメラキヤリブレーション
三次元復元を行う際には、物体を観測するカメラα
焦点距離や取り付け位置、向きに関する情報が必要となる。これらの値を収集する過程をカメラキヤリブレ

囲の中心付近に焦点位置がくるようにカメラの焦点『［離を調整してある。
また、パターン光投影法を行うためにプロジェクタも設置し、モーションキャプチャを行うために、蛍洲マーカを発光させるブラックライトも設置しているーションと呼ぶが、物体に対して全方位にカメラを話置する場合、この方法にも工夫が必要となる。
焦点距離や画像上での光軸中心、レンズ歪みなどα内部パラメータの推定には、Zhangが提案したチェヌ

光アライアンス2013.12.21

＜特集:3Dプリンタと三次元化技術の紹介＞

四■四画圃函園■■■■四旧聞■■■■■■四四■■■画■岡田画■図酉■個樋晒西圏

ボードによるキャリブレーション手法013を利用している。図4に示したフレームにカメラを設置した後に、各カメラに対して観測範囲付近で20パターン程度チェスボードを撮影し、この画像に基づいてカメラごとに内部パラメータの推定を行う。
カメラの取り付け位置、向きといった外部パラメータの推定には、Tsaiが提案した弱校正手法('鋤を用いる。
この手法は全カメラで同一の三次元位置を観測したときの対応点を多数必要とする。全方位にカメラを設置した環境で、すべてのカメラから一度に観測可能な対応点を与えるため、図5に示す点光源発生装置を用いて対応点を与える手法を採用している。装置を暗所で稼働し、点光源装置を観測範囲内で動かす様子を全カメラで同期撮影すると、各時刻で1点の対応点を与えることができる。このような対応点を700〜800セット程度収集し、RANSACを用いて全カメラの外部パラメータを同時に推定する。

図6全方位撮影画像中のエピボーラ線

Opticalfiberwrappedwithaluminumfoil

篭
Laseremitter̲̲／醗鰯

図5光ファイバを用いた点光源発生装置

4−3撮影データ、形状復元結果例
我々のシステムを用いて、39台のカメラで同期撮影した画像の例を図6に示す。1つの画像で指定した点に対応するエピポーラ線を計算し、他カメラの画像上に表示することができるようになっており、複数の画像で位置を指定すれば、三次元位置を計測できるよど漣
図7形状と運動の同時計測になっている。
reconstructed

non‑rightobject

芦一一尋恥

鱈山守伽▽山窄也落釧

唖当洛醤警
鋤Ⅷ州州塔．ｎ山︑也講蝋哨︑

22光アライアンス2013.12.

尋弓一含趣

すことができた（図8)。

鎚鯵一鯵かｖ−１一ｍ

これらの機能により動物体の形状と運動を同時に計測することができ、さまざまな方向からさまざまな姿勢で計測した形状と運動を、我々が提案した手法(8)を用いて統合することで、さまざまな姿勢での全周形状を表現可能なモデルを獲得することができることを示

口一一一睡・唾

元位置を計測した例を図7に示す。

艦一順一峠師一Ｗ｜：淵

図6で示した、プロジェクタによってデブルーイユ
系列のパターンを投影した画像を基にカメラ間での対応関係を自動的に計算して三次元形状計測した結果とモーションキャプチャのために貼付したマーカの三次缶 一 F

難少獄

瓦＝塔V

奪山

alignment

図8手を対象とした形状と運動の同時計測による形状統合

＜特集:3Dプリンタと三次元化技術の紹介＞

また、39台のカメラ画像を用いて、視体積交差法によって復元した形状モデルの例を図9に示す。十分な台数があるため一瞬の観測から高品質な形状が復元できているが、掌の凹面部分に余分な領域が残っていることも確認できる。また、再構成に用いた画像をそのままテクスチャとして貼り付けることもでき、より写実性の高いモデルを復元することが可能である。

jeclsfrommultipleviews".
IEEETrans,onPatternAnalysisandMachineIntelligence.
Vol.
5.
No.
2.
pp.
1
50‑
158(1983)(6)A.Laurentini:"Howfar3dshapescanbeunderstoodfrom2dsilhouettes".IEEETrans,onPatternAnalysisandMachineIntel‑
ligence.
Vol.
17.
No.
2.
pp.
188‑
195(1995)(7)Y.Furukawa.J.Ponce:"Accurate.Dense,andRobustMulti‑View
Slereopsis".
正EETrans,onPattern
AnalysisandMachineIntel‑ligence.
Vol.
32.
Issue8.
pp.
1362‑
1376(2010)(8)T・Funatomi.H.Akuzawa.M.liyama.M.Minoh:"Pinholeto‑pro‑jectionpyramidsubtractionforreconstructingnon‑rigidobjects
fromrangeimages".2012SecondJoint3DIM/3DPVTConference;
3DI
maging,Modeling.
Processing.
Visualization&
Transmission.
pp.254‑261(2012)(9)豊浦・飯山・角所・美濃："視体職交差法における時系列画像の統合による三次元復元形状の再現性の向上"、電子情報通信学会論文誌、V(.1､,88‑D‑Ⅱ、No.8，pp.1549‑1563(2005)(10飯山・角所・美瀧： 時系列視体秋からの多関節物体の体節形状と姿勢の同時推定法"、髄子情報通信学会論文誌、Vol.J89‑D、No.6,pp.1379‑1390(2006)(11)Z.Zhang:"Aflexiblenewtechniqueforcameracalibration",lEEETrans.onPatternAnalysisandMachineIntelligence,Vol.22,
ReconstructedshapeModelwithTexturemapping

図9視体秋交差法による復元結果

No.11.pp､1330‑1334(2000)(12)R.Y.Tsai:"Anefficientandaccuratecameracalibrationtechni
quefor3dmachinevision",IEEEConferenceonComputerVision
andPatternRecognition,pp.364‑374(1986)

5．おわりに：まとめ
本稿では、動物体の三次元形状を計測するために我々が構築したシステムについて紹介した。本システム
では同期撮影が可能な39台のカメラを用いることでパターン光投影法、視体積交差法による形状計測法
およびマーカベースのモーションキャプチャを行うことができるシステムとなっており、形状計測と運動計測の連携による動物･体の形状モデリングの手法につして研究してきた。このほかにも、照明を変化させながら物体表面の法線方向を計測する照度差ステレオ法
カメラ画像を形状モデルに貼り付け、よりリアルな表現が可能となるテクスチヤマッピングについての研究もこの装置を用いて行った。
<参考文献＞【筆者紹介】−
船冨卓哉
京都大学学術備報メディアセンター助教〒606‑8501京都市左京区吉田本町
TEL:075‑753‑9066FAX:075‑753‑9056

E‑mail:funatomi@meciia.kyolo‑u.ac.jp

飯山将晃
京都大学大学院経済学研究科准教授〒606‑8501京都市左京区吉田本町
TEL/FAX:075‑753‑3424

E‑mail:iiyama@econ.kyoto‑u.ac・jp

美濃導彦
京都大学学術悩報メディアセンター教授〒606‑8501京都市左京区吉田本町
TEL:075‑753‑9060FAX:075‑753‑9056

E‑mail:minoh@nicdia.kyoto‑u.ac.jp(1)Y.Furukawa.J.Ponce:"Accurate.Dense,andRobustMulti‑View

Stereopsis".IEEETransonPatternAnalysisandMachineIntelligence,
Vol.
32,
No.
8.
pp.
1
362‑
1376(2010)(2)佐藤・井口："空間コード化による距離画像入力"、電子情報通信筆会論文誌、VolJ68‑D，No.3、pp.369‑375(1985)(3)A・Ulusoy.F.Calakli.G.Taubin:"One‑shotscanningusingde
bruijnspacedgrids".IEEE12thInternationalConferenceonCom‑

豊浦正広
山梨大学大学院医学工学総合研究部助教〒400‑8511山梨県甲府市武田14‑3‑11
TEL/FAX:055‑220‑8494

E‑mail:mtoyoura@yamanashi.ac・jp

puterVisionWorkshops,pp､1786‑1792(2009)(4)H.Kawasaki.R.Furukawa.R.Sagawa.Y.Yagi:"Dynamicscene

shapereconstructionusingasinglestructuredlightpattern".IEEE
ConferenceonComputerVisionandPa枕emRecognitioapp，i‑（2008）

F職鵜鱗'……

(5)W.N.Martin,andJ.K.Aggarwal:"Volumetricdescriptionofob、

光アライアンス2013．12．23