日本船舶海洋工学会講演会論文集 （この行は学会にて記入します）

KinectV2 センサーを用いた現場合わせ管の計測システムの開発
学生会員 中村匠*

正会員 木村元*

Development of an Instrument System for Field Alignment Piping using Kinect V2 Sensor
byTakumi Nakamura, Student Member

Hajime Kimura, Member

Key Words: Outfitting, Field alignment, Pipe, 3D sensor, 3D scanner

1. 緒言
ブロック同士の接合箇所における配管設計を行う際に，工程の途中で生じた誤差を後で吸収できるような配慮をする．そして，建造の最終段階において，現物の寸法に合わせてパイプを接続する作業が生じる．このパイプは現場合わせ管と呼ばれる．現場合わせ管の位置・向きなどの情報を計測し，設計するには熟練した技術が必要とされ，時間もかかるため，現場合わせ管の計測・設計の簡易化・高精度化が求められている．
この問題へのアプローチとして，安価な 3D スキャナである Microsoft 社の Kinect センサーを利用した計測システムについて検討を行う．先行研究では，2000[mm]地点での計測で 1[pixel]の分解能が 10～20[mm]程度である
KinectV1 センサーを用いてパイプの検出を試み，誤差1[mm]以下の精度を得た 1)．つまり，計測対象の特徴によっては，情報処理により計測デバイスの分解能以上の精度で位置や寸法の計測が可能である．しかし，実験回数が 5 回と不十分であったほか，現場合わせ管のフランジ穴の位置の検出が不可能であった．
近年，精度が改善された KinectV2 センサーがリリースされた．本研究では，この KinectV2 センサーを導入し，KinectV2 による現場合わせ管の位置計測に適した新たな3D 計測点群データ処理方法について検討を行う．

筒に属するものを統合する．
【手順 3】フィッティングした円筒の中心軸と同一の法線ベクトルを有し，円筒の点群と近い平面クラスタをフランジ面と判定し，現場合わせ管の位置を算出する．
【手順 4】フィッティングした円筒の中心軸とフランジ面の点群の方向から，現場合わせ管の向きを算出する．

2. 準備
2. 1 現場合わせ管の位置・向きの検出
本研究では，文献 1)で提案されている，円筒と平面の検出により現場合わせ管の位置・向きを算出する手法を用いる．文献 1)に従って，以下に簡単な手法の流れを示す．
【手順 1】点群データを読み込み，点群データからランダムに選んだ数点を中心とした近傍点群を初期クラスタとして生成し，円筒のクラスタリング，フィッティングを行う．クラスタリングには，非線形最適化手法の 1 つである滑降シンプレックス法 2)を用いる．円筒でないと判断された場合，その点群集合に対し平面のフィッティングを試み，平面としてクラスタリングするかどうかを判断する．これを繰り返し，最終的に Fig.1 のように円筒と平面に分類する．
【手順 2】分類された複数の円筒の点群の中で，同一の円* 九州大学

大学院工学府

原稿受付 (学会にて記入します)
秋季講演会において講演 (学会にて記入します)©日本船舶海洋工学会

Fig.1 Clustering for measured 3D data points.
2. 2 最小メジアン法による円筒のフィッティング
KinectV2 センサーから得られるデータには外れ値ノイズが含まれる．よって，2.1 節の 円筒のフィッティングにロバスト推定法の 1 つである最小メジアン法を用いることで，外れ値に強い検出を行う．この手法は文献 1)で検証が行われており，有用性が示されている．

3. KinectV2 による計測の予備実験
3. 1 KinectV2 センサーの特徴と問題点

本研究で用いる KinectV2 は，Microsoft 社の 3D スキャナである．価格は 15000 円程度と非常に安価であり，計測速度が非常に速く，最大で 1 秒間に 30 フレーム分の計測が可能である．コストと計測速度の面でレーザースキャナに勝るが，精度の低さが難点である．旧型である
KinectV1 と比較して，本研究に影響する点では①デプス方向の計測方式②デプスカメラの解像度③カラーカメラの解像度以上の 3 点が異なる．①に関しては，KinectV1 がステレオカメラ方式でデプス計測を行っているのに対し，KinectV2 は Time Of Flight(ToF)方式を用いている．これは赤外線光のパルスを照射し，その光パルスが対象物に反射して戻ってくるまでの飛行時間を用いてデプス計測を行う方式である．これによりデプス方向の精度は大幅に改善されたが，同時に対象の赤外線反射率，多重反射，鏡面反射などによる計測値への影響が予測される．
②に関しては，上記のデプス方向の解像度改善に加え，x 方向と y 方向についても解像度が改善されている．
・KinectV1 : 320×240[pixel]
・KinectV2 : 512×424[pixel]
よって精度は上昇しており，状況に問題が無ければKinectV1 よりも高精度の計測が可能なはずである．
③に関しては，違いは以下の通りである．
・KinectV1 : 640×320[pixel]
・KinectV2 : 1920×1080[pixel]
本研究では，KinectV2 で大きく改善された色情報を 5.2
節にて利用している．KinectV2 の特徴については文献 3)を参考とした．
3. 2 予備実験の設定
KinectV2 の予備実験として，パイプの模型を用いて計測を行った．この様子を Fig.2 に示す．用いたパイプ模型の直径は 60[mm]である．パイプのフランジ面と中心軸の交点間の距離は 500[mm]，2 つのパイプ模型の中心軸が延長線上で直交するように設置し，計測は 100 回行った．
また，KinectV2 からパイプ模型までの距離は約 1450[mm]である．横から見た KinectV2 センサーとの位置関係をFig.3 に示す．

Fig.2 Preliminary experiment.

Fig.3 The positional relationship between the KinectV2 andpipes.
この条件で計測し，情報処理によってパイプとフランジの交点の座標とそれらがなす角度を推定する．
3. 3 予備実験の結果計測を 100 回行ったところ，両方のパイプの検出に成功したのは 14 回のみであった．この結果の平均を Table 1に示す．
Table 1 The pipe detection results.
Standard deviation
Value
4.515
x-coordinate -179.490
Pipe 110.292
parameters y-coordinate -470.833
5.826
[mm]
z-coordinate 1429.626
8.046
x-coordinate
317.713
Pipe 210.560
parameters y-coordinate -472.107
7.454
[mm]
z-coordinate 1474.727
8.986
Distance [mm]499.542
Angle [°]
87.7564.285
相対距離の誤差は 1[mm]以下に収まったが，角度の誤差は 2[°]ほど出た．また，標準偏差が大きく，1 回ごとの結果に大きなばらつきがあり精度がやや低い．さらに，
100 回中 86 回検出に失敗していることから，先に述べた
鏡面反射，多重反射などの影響により KinectV2 の精度が落ちている可能性がある．また，検出の失敗の原因は，主にフランジ面を構成する点群から検出した平面と円筒の点群から検出した中心軸が直交していると判定できなかったためであった．よって，角度の推定の改善が求められる．
また，KinectV2 から得たパイプのフランジ部分の点群データの例を Fig.4 に示す．現場合わせ管の設計ではフランジ穴の位置情報が必要不可欠であるが，斜めから計測することでフランジ穴がつぶれてしまい，現在の手法では点群データからの穴の位置の検出は難しい．本研究では，この検出が可能な新たな計測手法の検討を行う．

Fig.4 Pipe flange.

4. 検証実験
4. 1 実験準備
導入実験の結果と前述の KinectV2 の計測方式の変化による影響を踏まえ，3 つの状況で計測実験を実施した．
【実験 1】表面光沢のある円筒を用いた場合(Fig.5 left)【実験 2】表面光沢のない円筒を用いた場合(Fig.5 center)【実験 3】表面光沢のない円筒を用い，多重反射による影響を低減した場合(Fig.5 right)【実験 3】では，円筒の手前に赤外線反射率の低い板を設置することで，多重反射を起きにくくしている．円筒は全ての状況で同じ位置に配置した．その様子を Fig.6 に示
す．2 つの円筒の間隔は 500[mm]，円筒の直径は 60[mm]，長さは 350[mm]であり，各実験において円筒と平面の交点の座標とその相対距離を検出した．計測は 100 回ずつ行った．また，KinectV2 から円筒までの距離は約1200[mm]，KinectV2 の高さは 700[mm]である．横から見た KinectV2 センサーとの位置関係を Fig.7 に示す．

Fig.5 Experiment 1 (left), 2 (center), and 3 (right).

Fig.6 An arrangement of the cylinders for the experiment.

Fig.7 The positional relationship between the KinectV2 andcylinders.
4. 2 実験結果
計測結果を Table2，3 に示す．各座標値および相対距離は計測 100 回の平均値であるが，【実験 1】で検出失敗が1 回発生したため，この結果を除外した値となっている．
Table 2 Experimental results of the cylinder estimation.
12
3Experiment No.
(No gloss)(No gloss andmultipath)-196.914-196.143
Cylinder 1 x-coordinate -199.093
Parameters y-coordinate -545.617-553.559-555.015[mm]
z-coordinate 1208.427
1200.759
1200.176305.511304.626
Cylinder 2 x-coordinate 308.416
Parameters y-coordinate -548.007-555.095-556.250[mm]
z-coordinate 1201.9111196.365
1195.605
Distance [mm]507.698502.537500.858
Table 3 Experimental results of the cylinder
estimation(standard deviation).
123Experiment No.
(No gloss)(No gloss andmultipath)
Cylinder 1 x-coordinate
5.019
2.151
2.114
Standard
y-coordinate
7.254
7.076
5.064
deviation
z-coordinate
5.583
2.183
2.395
[mm]
Cylinder 2 x-coordinate
5.209
2.580
2.069
Standard
y-coordinate
6.836
7.230
6.757
deviation
z-coordinate
5.922
2.592
2.327
[mm]
Standard deviation of
6.515
3.230
3.106
distance [mm]4.3 検定と結果の考察
多重反射，鏡面反射の影響により計測結果に差が見られたが，この差が有意なものであるか確認するために，得られた 100 回分の相対距離について F 検定，T 検定を用いて検定を行った．その結果と有意水準を 5%として考えた際の結論を Table 4 に示す．
Table 4 Results of the significance test of the estimation ofdistance.

Experiment 1 and 2
F-testExperiment 2 and 3
Experiment 1 and 2
T-testExperiment 2 and 3

P Value
2.274×10-11
6.974×10-1
7.695×10-11
2.349×10-4

Conclusion
Unequal variance
Equal varianceSignificantly
different
Significantly
different

検定の結果，円筒表面の光沢による鏡面反射の影響があることが判明した．この影響を視覚的に確認するため，同じ場所で計測した光沢のある円筒(青の点群)と無い円筒(赤の点群)の重ね合わせを行った．これを真上から見た図を Fig.8 に示す．白い点群は土台の平面である．赤の点群と灰色との点群の明確なずれが確認できることから，表面の光沢の有無によって円筒の位置検出が影響を受けることが分かる．
多重反射の影響についても有意な差があると分かった．
この 2 つによる影響を取り除くことで，2 つの円筒の距離の誤差は 100 回の平均で 1[mm]以下に抑えられた．さらに，標準偏差も小さくなった．計測回数を増やすことで，この誤差はさらに低減できる可能性がある．予備実験ではフランジ面と円筒の中心軸の直交の判定で検出失敗が多数起きたが，この実験では実験 1 での 1 回しか起きず，角度は±2[°]程度の範囲で求められた．距離が近くなったこと，フランジに相当する平面が大きくなり検出が容易になったことが理由であると考えられる．
また，多重反射の影響では，円筒は Fig.9 に示すようにKinect から少し離れる方向にずれることが予測されるが，Table 1 の実験 2 と実験 3 の座標の値も同じ傾向を示した．
KinectV2 を精度管理に使用するには，これらの問題への対策が必要となる．具体的な対策方法としては，文献
3)
では計測部以外の場所を暗幕で覆う，赤外線用の偏光フィルムを用いる等があげられている．

Fig.8 Influence of gloss.

Fig.9 The influence of multiple reflection(cylinder).

5. 球をマーカーとした位置の検出
5. 1 球をマーカーとしたフランジ穴の検出法の提案
3.3 節に述べたように，現場合わせ管の設計では現場合わせ管のフランジ穴の位置情報が必要となる．これをKinectV2 で検出可能にするために，本研究では，マーカーとして球体を用いた検出法を提案する．
この検出手法では，マーカーは鏡面反射の影響を受けない材質のものを選択可能である．一方，多重反射の影
響においては，Fig.10 に示すように形状の関係から円筒とは異なる影響を受ける可能性があるため，検証を行う必要がある．

Fig.10 The influence of multiple reflection(sphere).
5. 2 球の点群の抽出
膨大な点群データからマーカーである球の点群のみを抽出することで，計算時間を大幅に短縮することが可能である．まず，KinectV2 のカラーカメラの色情報をデプス座標系に変換することで，色つきの点群データを得た．
この点群データを Fig.11 に示す．ここから色のついたマーカーを抽出した結果を Fig.12 に示す．
また，KinectV2 からの距離が離れるにつれ円筒や球の点群が減少する問題があったが，点群の抽出を用いることで，障害物の点群を増やすことなく点群の合成が可能である．これにより，より遠距離での計測が可能となった．しかし，色情報は光量により大きな影響を受けるた
め，現場での利用には発光するマーカーを用いるなど対策が必要となる．

Fig.13 An arrangement of the spheres in the experiment.
Fig.11 Colored point cloud data.

Fig.12 Extraction of the color.
5. 3 球の中心座標の検出
基本的な流れは円筒の場合と同じであり，点群データから初期集団を生成，それを基に球のクラスタリングとフィッティングの流れを繰り返し球の中心座標を検出する．円筒と同じくフィッティング時には最小メジアン法
を用い，クラスタリングには滑降シンプレックス法 2)を用いる．
5. 4 実験準備
次の 2 つの状況において計測実験を実施した．実験に使用する球を Fig.13 に示す．
【実験 1】多重反射による影響を低減しない場合【実験 2】多重反射による影響を低減した場合
多重反射の対策は円筒の場合と同じである．2 つの球の間隔は 500[mm]，球の直径は 50[mm]であり，各実験において球の中心座標とその相対距離を検出した．計測を 100回ずつ行い，5.2 節に述べた手法により 5 つ分のデータを合成して 1 回として，20 回分の計算を行った．KinectV2からの距離は約 1950[mm]とした．横から見た KinectV2
センサーとの位置関係を Fig.14 に示す．

Fig.14 The positional relationship between the KinectV2 andspheres.
5. 5 実験結果
計測結果を Table 5,6 に示す．各 100 回の実験のうち失敗はなく，すべて検出に成功した．
Table 5 Experimental results of sphere detection.
Experiment No.
12(No multipath)x-coordinate
217.675
216.866
Sphere 1parameters y-coordinate-413.630-412.877[mm]
z-coordinate
1939.662
1937.814
x-coordinate-283.788-282.619
Sphere 2parameters y-coordinate-408.248-408.165[mm]
z-coordinate
1945.663
1945.664
Distance [mm]501.529499.572
Table 6 Experimental results of sphere detection(standarddeviation).
12
Experiment No.
(No multipath)
8.490×10-1
Sphere 1x-coordinate
1.042
Standard
6.837×10-1
8.183×10-1
y-coordinate
deviation
6.123×10-1
7.010×10-1
z-coordinate[mm]8.839×10-1
6.721×10-1
Sphere 2x-coordinate-1Standard
7.039×10
y-coordinate
1.048
deviation
4.228×10-1
8.790×10-1
z-coordinate[mm]Standard deviation of
1.269
1.209
distance [mm]5. 6 有意検定と結果の考察

円筒と同じく鏡面反射の影響により結果に差が見られたが，この差が有意なものであるか確認するために，得られた 100 回分の相対距離について F 検定，T 検定を用いて有意検定を行った．その結果と有意水準を 5%として考えた際の結論を Table 7 に示す．
Table 7 Results of the significance test in the spheredetection.
P ValueConclusion
F-test8.361×10-1

Equal variance

T-test1.355×10-5

Significantly
different

検定の結果，球の検出においても多重反射により有意な差が生じることが確認できた．この実験では円筒より遠距離，約 1945[mm]地点で計測を行ったが，多重反射の影響を無くした後では平均値は誤差 1[mm]以下の精度を得た．また，標準偏差が 1[mm]程度と非常に小さく，実用上十分な精度を有すると言える．多重反射の影響を無くすことができれば，パイプのフランジ穴にこのマーカーを取り付けることで位置の計測が可能である．
6. 結言
本研究では，非常に安価であるが精度に問題がある
KinectV2 センサーによる現場合わせ管の位置計測システムの実現に向けて複数の実験を行い，十分な試行回数のもと KinectV2 の計測原理である ToF 計測方式における問題点について検証を行った．多重反射，鏡面反射の対策を行った際の円筒での計測実験では，100 回分の計測データを統合することで誤差 1[mm]以内の精度で検出に成功した．
また，マーカーとして球体を用いた位置の検出法を提案し，KinectV2 センサーを用いて，距離約 1950[mm]地点において，100 回分の計測データを統合することで誤差1[mm]以内の精度で検出に成功した．これにより，KinectV2 による現場合わせ管のフランジ穴の位置計測システム実現の可能性を示した．KinectV2 での計測は高速で行えるため 5 分半で 10000 回の計測も可能であり，計測回数を 100 倍にした場合，誤差 0.1[mm]以下の精度での計測が期待できる．高価な計測機に匹敵する精度が出せるとするならば，コストの面で大きな利点がある．
現在は，KinectV2 センサーが静止した状態で計測した同一姿勢での複数フレームの点群データそれぞれについてターゲット図形間の相対距離や角度を推定し，それらを平均することで計測精度を高めているが，KinectV2 本体を動かしながら様々な方向から対象物を計測し，複数方向からの点群データに対し重ね合わせ(レジストレーション)を行い，その後に距離や角度を推定することにより，さらに高精度での計測や，造船所のブロックの精度管理への応用などが期待できるため，今後の課題とする．
また，現状ではパイプの角度計測に円筒の中心軸の角度を用いているが，平面の計測のほうが正確であると考えられるため，フランジ平面の法線ベクトルを用いることでの角度の精度の上昇が予測される．この改善も今後の課題の 1 つに挙げられる．

7. 謝辞
本研究は，日本造船工業会造船学術研究推進機構より研究助成金の補助を受けました．

参 考 文 献木村 元, 安田 達也, 中村 匠：Kinect センサーを用いた現場合わせ管の計測システムの開発, 日本船舶海洋工学会講演会論文集, Vol.20, pp.191-192, 20152) W.H.Press.他：ニューメリカルレシピ・イン・シー, 日
本語版, 技術評論社, 1993
3) 中 村 薫, 杉浦 司, 高田 智広 , 上 田 智 章：KINECT for Windows SDK プログラミング V2 センサー対応版, 秀和システム, 20151)