⾼速深度計測デバイスによる形状計測に関する研究

株式会社大島造船所 （九州大学大学院工学府） 中村 匠
九州大学 大学院工学研究院 木村 元

2017年 5月23日
JASNAOE春季講演会

1

・発表の流れ発表の流れ
1. 研究の背景と⽬的
1⇒既存の技術の紹介⇒先⾏研究での取り組みと課題について
2. Kinectについて
3. 成果の報告
4. 結果・考察
5. 結論・課題

KinectV2センサーを用いた位置計測システムの開発 Nakamura Takumi,2016

2

・研究の背景と⽬的
研究の背景と⽬的造船所での形状計測
・ブロックの精度管理
・船舶修繕時に新たな機材を搭載のための形状計測
・現場合わせ管の位置計測 ……etc

データ化することで形状計測の効率化 省力化をしようとする動きがある
効率化・省力化をしようとする動きがある
・計測に時間がかかる
計測に時間がかかる
・レーザースキャナが非常に高価
価格は500万円以上
レーザースキャナ FARO-FocusX130 http://www.faro.com/ja-jp/home
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

3

・研究の背景と⽬的
研究の背景と⽬的
機器

レーザースキャナ(FAROレ
ザ スキャナ(FARO
FocusX130)

価格

約500万円

対象物

0.5～130[m]（測定条件による）（測定条件 よる）

精度

±2[mm]

計測速度

約500,000点/秒 1視点約4分

レーザースキャナ FARO-FocusX130 http://www.faro.com/ja-jp/home

安価なものでより速く同等の精度を得たい！
・点群の取得速度がレーザースキャナより早い≪スペック上約5,000,000点/秒≫

1視点1/30秒

・⾮常に安価≪約2万円≫
作業時間と設備投資の⼤幅なコスト削減

Microsoft KinectV2≪約2万円≫
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

4

・先⾏研究
先⾏研究
・KinectV2センサーを用いてノイズの多い点群データからの球体マーカーの位置の計
を用
多 点群
球体
位置 計
測手法を提案.
・実際にKinectV2を用いて直径50[mm]の球の計測を100回行い,誤差・標準偏差1[mm]程度で位置の推定に成功.
問題点
・計測範囲がKinectV2の視野に依存・障害物に隠れた部分の計測が不可能
・点群の量が少ないため1回の計測データでは球の検出が不可能
平成27年度秋季講演会：KinectV2センサーを用いた現場合わせ管の計測システムの開発
中村 匠,
匠 木村 元 http://sysplan.nams.kyushu-u.ac.jp/gen/papers/paper2015/NakamuraKimura/JASNAOE2015NakamuraKimura.pdf
PositionStandard
Deviation

x-coordinate

217.866

8.490×10-1

y-coordinate-412.877

8.183×10-1

z-coordinate

1937.814

7.010×10-1

x-coordinate-282.619

6.721×10-1

y-coordinate-408.165

1.048

z-coordinate

1945.664

8.790×10-1

499.572

1.209

Experiment No.
Sphere 1parameters[mm]
Sphere 2parameters[mm]

Distance [mm]高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

5

・先⾏研究
先⾏研究

これに対する解決策として【重ね合わせ処理 レジストレ ション】
【重ね合わせ処理：レジストレーション】
無料で利用できる点群処理ライブラリPCL(Point Cloud Library)の重ね合わせ機能
2視点で対応する点群の位置情報のみを手掛かりに点群の重ね合わせ処理を行う．
2視点で対応する点群の位置情報のみを手掛かりに点群の重ね合わせ処理を行う
問題点

・精度が不十分であるがこれに代わる新たな手法が提案されたがこれに代わる新たな手法が提案されたが…
問題点・基準とする平面が3平面のみ,それによる重ね合わせ精度の不安,・対応する平面の探索が全数探索であり時間を要する
平成28年度春季講演会：高速3Ｄスキャンデータの重ね合わせ処理による高精度計測に関する研究
岩内 也樹, 中原 勇登 http://sysplan.nams.kyushuu.ac.jp/gen/papers/paper2016/Iwauti_nakahara/KimuraIwautiNakahara2016JASNAOE.pdf
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

6

・研究の背景と⽬的
究 背的・Kinectを用いて精度の高い死角のない形状･寸法推定を行いたい
を用
精度 高
角 な
状 寸法推定を行 た・精度の高いレジストレーション（重ね合わせ）処理の実装が必要

多数の重ね合わせ処理、統計処理により・Kinectのもつ計測精度以上の精度が確保される・計測範囲の狭いKinectでも広範囲を計測できる

Kinectを固定する必要がない
手に持ったままでも計測可能なほど計測が早い

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

7

・研究の背景と⽬的
究 背的・Kinectを用いて精度の高い死角のない形状･寸法推定を行いたい
を用
精度 高
角 な
状 寸法推定を行 た・精度の高いレジストレーション（重ね合わせ）処理の実装が必要

多数の重ね合わせ処理、統計処理により・Kinectのもつ計測精度以上の精度が確保される・計測範囲の狭いKinectでも広範囲を計測できるマーカーを設置すれば既存技術により座標が検出可能高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

8・発表の流れ発表の流れ
1. 研究の背景と⽬的
1
2. Kinectについて⇒Kinect V2センサーとは
V2センサ とは⇒得られるデータの特徴について
3. 成果の報告
4. 結果・考察
5. 結論・課題

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

9・KinectV2センサーとは
Ki
tV2センサ とは・高速深度計測デバイスの１つ
高速深度計測・Microsoft社が発売したゲームコントローラ「Kinect」の新型
・旧型と比較し解像度などスペック上昇
・デプス方向の計測方式の変化
デプス方向の計測方式の変化

KinectV1:
ステレオビジョン画像処理

KinectV2:
T F(Ti
ToF(Time
Of FliFlight)計測方式
ht)計測方式…投光した赤外線が反射して戻るまでの時間からデプスを算出する
方式…深度の取得範囲が大幅に増加しているのはこのため

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

10・得られるデータの特徴について得られるデ タの特徴について
1．赤外線使用によるノイズ
赤外線吸収率の影響：赤外線の反射率が低い材
質・色の場合では50[mm]以上の値のばらつきが出る場合がある場
あ
鏡面反射の影響：物体表面に光沢がある場合、鏡面反射により計測が困難になる

赤外線使用による影響

対策
計測に不利な部分のデータは外れ値として扱い、計測可能な部材の計測データのみを参照する

赤外線が吸収され反射しにくい

鏡面反射により全て
他方向に跳ね返る

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

11

・得られるデータの特徴について得られるデ タの特徴について
2．マルチパス（多重反射）ノイズ
2．マルチス（多重反射）ノイズ
多重反射の影響で実際より数ミリ程度遠くに出る現象
赤外線反射率が高い材質・色の物体がある場合
や凹面形状の場合に起きやすい

マルチパスの影響対策
湾曲した一部の部分は外れ値として扱う
外れ値に強い処理を行う
外れ値
強 処理を行う

湾曲している高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

12・発表の流れ発表の流れ
1. 研究の背景と⽬的
1
2. Kinectについて
3. 成果の報告⇒新たなレジストレーション⼿法の提案⇒従来⼿法との⽐較・精度の検証⇒多視点のレジストレーションについて
⇒実験
4.
5.

結果・考察
結論・課題
結論
課題

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

・新たなレジストレーション⼿法の提案

13

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

・新たなレジストレーション⼿法の提案

14

解説点
・平面のクラスタリングについて
代表点の算出について
・代表点の算出について

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

15

・平⾯のクラスタリング
平⾯のクラスタリング
大規模な点群データから誤差を無視して平面を取り出す処理

先行研究で提案された手法を使用
主成分分析とRANSAC法を用いた誤差に強い平面検出手法
第2主成分

第3主成分
第1主成分

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

16

・代表点の算出
代表点の算出平面のクラスタリングで求められた重心と第一主成分・第二主成分上の平面のクラスタリングで求められた重心と第主成分 第二主成分上の一定距離離れた点の合計5点を平面の代表点とする
今後の計算は全てこの代表点の座標と平面の方程式を用いて行う計算時間の大幅な短縮
第2主成分

第3主成分
第1主成分

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

・新たなレジストレーション⼿法の提案

17

解説点
・平面のフィッティングにつ平面のフィッティングについて・外れ面について

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

18・平⾯のフィッティング
平⾯のフ
テ ング
視点1の平面の方程式と視点2の平面の代表点
を回転・平行移動によりうまく当てはめる処理
非線形数値最適化手法による探索で理想の回転・平行移動パラメータを探索する

イメージ図

回転にはクォータニオン回転を用いる
任意の正規化したベクトルS 周りの回転角 を表現する方法
表現する方法．
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

19・平⾯のフィッティング
平⾯のフ
テ ング
視点1の平面の方程式と視点2の平面の代表点
を回転・平行移動によりうまく当てはめる処理
非線形数値最適化手法による探索で理想の回転・平行移動パラメータを探索する

三次元であるため上下,左右,前後の3方向移動を固定できる平面が最低でも3面必要
イメージ図
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,201720

・外れ⾯とは
外れ⾯とは一方の視点から見えるが他方の視点からは
方 視点
見
他方 視点
見えない面、または誤検出された面本研究ではこれを外れ面と呼ぶ
点群の重ね合わせ処理の自動化にあたって
必ず対策が必要となる
誤差の多いKinectでは特に重要

例：視点①

例：視点②
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

・新たなレジストレーション⼿法の提案

21

解説点
・平面のペアリン
グについて
・最小メジアン法を改善した手法

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

22

・平⾯のペアリング
平⾯のペアリング
視差のあるデータでどの平面とどの平面が対応するかを推定する.
が対応するかを推定する
ランダム探索に比べ計算時間の大幅な短縮が可能となる.
短縮が可能となる• 視点1のペアリングされていない平面（方程式）①
step1 を1つ選択 これを①とする• 視点2のペアリングされていない平面（代表点）の中で①の方程式との距離の二乗が最も
step2 小さいものを選択し,対応させる（ペアリング）
小さいものを選択し 対応させる（ペアリング）

イメージ図
イメ
ジ図

• step2で求めた二乗距離を記録する• どちらかの視点の平面がなくなるまでstep1～
step3 3を繰り返し

step4• 記録した二乗距離を小さい順に並べ替える

次の処理へ

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

23

・平⾯のペアリング
平⾯のペアリング
視差のあるデータでどの平面とどの平面が対応するかを推定する.
が対応するかを推定する
ランダム探索に比べ計算時間の大幅な短縮が可能となる.
短縮が可能となる• 視点1のペアリングされていない平面（方程式）①
step1 を1つ選択 これを①とする• 視点2のペアリングされていない平面（代表点）の中で①の方程式との距離の二乗が最も
step2 小さいものを選択し,対応させる（ペアリング）
小さいものを選択し 対応させる（ペアリング）

イメージ図
イメ
ジ図

• step2で求めた二乗距離を記録する• どちらかの視点の平面がなくなるまでstep1～
この処理は平面の当てはめ（フィッティング）
step3 3を繰り返し中に何度も行われる.
最初は間違った平面同士がペアリングされ• 記録した二乗距離を小さい順に並べ替えるていても処理中に徐々に修正されていく.
処 中 徐
修
step4
次の処理へ

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

24

・平⾯のペアリング
平⾯のペアリング
非線形数値最適化手法で最小化するためのコスト評価関数を与える.
ロバスト推定の一種である最小メジアン法を応用した方法を用いることで外れ面を無視する.

step4• 記録した二乗距離を小さい順に並べ替える• 最小値からn%の値を参照しコスト評価関数とする
step5 • 初期値：n=50（メジアン値）

用いた手法：
滑降シンプレックス法• 非線形数値最適化手法より関数値を評価• 新たな座標変換パラメータを生成,適用しstep1へ
step6 (繰り返し計算)• コストが一定値以下の場合・・・nを10増やし新たに処理を開始
step7 • コストが一定値以上の場合・・・前回のnを使った結果を最適解とする
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

25

・最⼩メジアン法を改善した処理
最⼩メジアン法を改善した処理
最小メジアン法：メジアン値をコストとして最小化する手法.
外れ値に対し頑強（ロバスト）である.

step4
p

step5

イメージ図

[コスト]

• 記録した二乗距離を小さい順に並べ替える
1• 最小値からn%の値を参照しコスト評価関数とする• 初期値：n=50（メジアン値）

2

3

4

5

6

7

8

初期値：n=50[%]
メジアン値

9

10

[面の数]

• 非線形数値最適化手法より関数値を評価• 新たな座標変換パラメータを生成,適用しstep1へ
Step6 (繰り返し計算)

step7• コストが一定値以下の場合・・・nを10増やし新たに処理を開始• コストが一定値以上の場合・・・前回のnを使った結果を最適解とする

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

26

・最⼩メジアン法を改善した処理
最⼩メジアン法を改善した処理
しかし メジア 値のみを使用するとしかし、メジアン値のみを使用すると…

メジアン値参照でうまくいかない形状の例
全5平面に対し同じ向きの面が3面.
全5平面に対し同じ向きの面が3面
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

27

・最⼩メジアン法を改善した処理
最⼩メジアン法を改善した処理
しかし メジア 値のみを使用するとしかし、メジアン値のみを使用すると…
イメージ図
[コスト]

1

2

3

4

初期値：n=50[%]
メジアン値

5

[面の数]

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

28

・最⼩メジアン法を改善した処理
最⼩メジアン法を改善した処理
しかし メジア 値のみを使用するとしかし、メジアン値のみを使用すると…
イメージ図
[コスト]

1

2

3

4

初期値：n=50[%]
メジアン値

5

[面の数]

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

29

・最⼩メジアン法を改善した処理
最⼩メジアン法を改善した処理
しかし メジア 値のみを使用するとしかし、メジアン値のみを使用すると…
イメージ図
[コスト]

1

2

3

4

初期値：n=50[%]
メジアン値

この3面のみ一致している

5

[面の数]

平面が少な 場合や同じ向きの平面が多
平面が少ない場合や同じ向きの平面が多い
場合はこの問題が起きる可能性がある
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

30

・最⼩メジアン法を改善した処理
最⼩メジアン法を改善した処理

イメージ図

[コスト]

step4
p

step5

一定値
α

• 記録した二乗距離を小さい順に並べ替える

1• 最小値からn%の値を参照しコスト評価関数とする• 初期値：n=50（メジアン値）

2

3

4

5

6

7

8

9

n=60[%]

10[面の数]

参照する場所をメジアン値からずらしていく• 非線形数値最適化手法より関数値を評価• 新たな座標変換パラメータを生成,適用しstep1へ
Step6 (繰り返し計算)
step7• コストが一定値以下の場合・・・nを10増やし新たに処理を開始• コストが一定値以上の場合・・・前回のnを使った結果を最適解とする

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

31

・最⼩メジアン法を改善した処理
最⼩メジアン法を改善した処理

イメージ図

[コスト]

step4
p

一定値
α

• 記録した二乗距離を小さい順に並べ替える

1

2

step5

• 最小値からn%の値を参照しコスト評価関数とする• 初期値：n=50（メジアン値）

step7• コストが一定値以下の場合・・・nを10増やし新たに処理を開始• コストが一定値以上の場合・・・前回のnを使った結果を最適解とする

3

4

5

6

7

8

9

n=80[%]

10[面の数]

コストが設定値を上回った場合,前回のコストが設定値を上回た場合 前回の• 非線形数値最適化手法より関数値を評価
nの値の結果を最適解とする.
• 新たな座標変換パラメータを生成,適用しstep1へ
ここではn=70[%]
Step6 (繰り返し計算)

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

32

・最⼩メジアン法を改善した処理
最⼩メジアン法を改善した処理
処理適応後の重ね合わせ結果

イメージ図
イメ
ジ図
[コスト]

一定値
α
1

2

3

4

5

[面の数]

外れ面でない面の情報をなるべく多く用いる
精度の向上
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

33

・新たなレジストレーション⼿法の提案
新たなレジストレ シ ン⼿法の提案
解説点
・処理④の理由について

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

34

・処理④を⾏う理由
処理④を⾏う理由
処理④では②の解で距離の二乗が一定以下のすべての平面を用い ずれの補正を平面を用いてずれの補正を行う.

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

35

・発表の流れ発表の流れ
1. 研究の背景と⽬的
1
2. Kinectについて
3. 成果の報告⇒新たなレジストレーション⼿法の提案⇒従来⼿法との⽐較・精度の検証⇒多視点のレジストレーションについて
⇒実験
4.
5.

結果・考察
結論・課題
結論
課題

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

36

・従来⼿法との⽐較
従来⼿法との⽐較【検証実験】
以下のような2視点から計測し レジストレ シ ンを行う
以下のような2視点から計測し,レジストレーションを行う.
従来手法と提案手法でそれぞれ処理を行う.
視点①

点群データ

視点②

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

37

・従来⼿法との⽐較
従来⼿法との⽐較【検証実験】
以下のような2視点から計測し レジストレ シ ンを行う
以下のような2視点から計測し,レジストレーションを行う.
従来手法と提案手法でそれぞれ処理を行う.
視点①

点群データ

視点②

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

38

・従来⼿法との⽐較
従来⼿法との⽐較【処理手順の補足】
従来手法では 対応する異なる向きの3平面を手動で選択する必要がある
従来手法では,対応する異なる向きの3平面を手動で選択する必要がある.
この実験では以下に示した3平面のパラメータを用いた.
提案手法では 検出された平面全て（外れ面含む）を読み込み計算する提案手法では,検出された平面全て（外れ面含む）を読み込み計算する.
外れ面

視点① クラスタリング後

視点② クラスタリング後
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

39

・従来⼿法との⽐較
従来⼿法との⽐較
レジストレーション結果
ジ ト
ション結果
以下の場所を拡大表示し上から表示

従来手法 結果

提案手法 結果

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

40

・従来⼿法との⽐較
従来⼿法との⽐較
レジストレーション結果
ジ ト
ション結果 拡大図
目視で確認できるずれが発生

従来手法 結果

提案手法 結果提案手法では従来手法より精度が高く自動計算も可能である.
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

41

・精度の検証精度の検証
・点群の人工データを作成し設定
点群の人工デ タを作成し設定値で座標変換・平面ごとに±3[mm]の一様分布
ノイズをのせ点群生成
ズを
群 成・球体マーカーを模した点群を1000[mm]間隔で生成
座標変換の設定値との誤差と球体
マ カ が正確に検出できるかど
マーカーが正確に検出できるかどうかを検証.
物体寸法：1000[mm](高さ)×2000 [mm] (幅)×1000[mm](深さ)マーカー寸法：50[mm] (直径)

座標変換値が自明な人工データを用いる
ことで手法の精度を確認.
ことで手法の精度を確認
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

42

・精度の検証
精度の検証
座標変換値の誤差15回計算の平均
軸角度[rad ]回転角度[rad]
平行移動距離[m m ]

設定値

結果

標準偏差

α

0.100

0.100

1.61

10 15

β

0.200

0.200

5.44

10 15

γ

0.300

0.300

1 01
1.01

10

dx

400

400

8.25

10 10

dy

500

500

1.21

10

dz

600

600

4.68

10 10

球の中心座標の誤差50回計算 平均値

レジストレーション後データ

球①

球②

x[m m ]

y[m m ]

z[m m ]

球③

x[m m ]

y[m m ]

z[m m ]

x[m m ]

y[m m ]

z[m m ]

設定値

0

0

1500

1000

0

1500

2000

0

1500

視点１

-0.0000507

0.000871

1500

1000

0.000050

1500

2000

0.000036

1500

標準偏差

0.00233

0.002140.00203

0.002420.00187

0.001450.00205

0.002280.00197

視点２0.000473

0.0000663

1500

1000

0.0000413

1500

2000 -0.000215

1500

標準偏差

0 001990.

0 001930.

0 00200
0.

0 001900.

0 001980.

0 001770.

視点１と２のずれ

0.000964

0 002240.

0.000343

0 002100.

0 001780.

0.000553

座標変換値の誤差は小数点第12位まで無し
球の座標も誤差は小さい
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

43

・精度の検証
精度の検証
座標変換値の誤差15回計算の平均
軸角度[rad ]回転角度[rad]
平行移動距離[m m ]

設定値

結果

標準偏差

α

0.100

0.100

1.61

10 15

β

0.200

0.200

5.44

10 15

γ

0.300

0.300

1 01
1.01

10

dx

400

400

8.25

10 10

dy

500

500

1.21

10

dz

600

600

4.68

10 10

球の中心座標の誤差50回計算 平均値
設定値
視点１

球①
x[m m ]

レジストレーション後データ

球②
球③
高精度かつ自動で行える
y[m m ]
z[m m ]
x[m m ]
y[m m ]
z[m m ]
x[m m ]
y[m m ]
z[m m ]
0
0 重ね合わせ処理の実装
1500
1000
0
1500
2000
0
1500

-0.0000507

0.000871

1500

1000

0.000050

1500

2000

0.000036

1500

標準偏差

0.00233

0.002140.00203

0.002420.00187

0.001450.00205

0.002280.00197

視点２0.000473

0.0000663

1500

1000

0.0000413

1500

2000 -0.000215

1500

標準偏差

0 001990.

0 001930.

0 00200
0.

0 001900.

0 001980.

0 001770.

視点１と２のずれ

0.000964

0 002240.

0.000343

0 002100.

0 001780.

0.000553

座標変換値の誤差は小数点第12位まで無し
球の座標も誤差は小さい
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

44

・発表の流れ発表の流れ
1. 研究の背景と⽬的
1
2. Kinectについて
3. 成果の報告⇒新たなレジストレーション⼿法の提案⇒従来⼿法との⽐較・精度の検証⇒多視点のレジストレーションについて
⇒実験
4.
5.

結果・考察
結論・課題
結論
課題

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

45

・多視点のレジストレーションについて
多視点のレジストレ シ ンについて
・多視点のレジストレーション（重ね合わせ）…2視点のレジストレーションが正確に行え
れば理論上可能であるが誤差がある場合は誤差が蓄積する
視点1と2を重ね合わせ,それを視点3に重ね合わせる場合…
視点1と視点3の間で誤差が発生！
視点1と3でも重ね合わせの確認を行うべき.

1

2

3

しかし…現在は3方向移動が固定できる共通の3面が得られない場合はレジストレーションが行えないため 視差に限度がある
ンが行えないため,視差に限度がある

本研究ではレジストレーション可能な視点
同士 みを確認し ずれを補正する
同士のみを確認し,ずれを補正する.
視点1,2,3の視差
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

46

・発表の流れ発表の流れ
1. 研究の背景と⽬的
1
2. Kinectについて
3. 成果の報告⇒新たなレジストレーション⼿法の提案⇒従来⼿法との⽐較・精度の検証⇒多視点のレジストレーションについて⇒実験
・実験①
実験① 計測データを⽤いた実験
計測デ タを⽤いた実験
・実験②
4.
5.

結果・考察
結論・課題
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

47

・実験①
実験①
・対象物を8視点から計測したデータを用意
・直径50[mm]の球体マーカーを700[mm]間隔で配置
レジストレーション後にマーカーの座標を計算
・そもそも計測は可能か（重ね合わせ処理に成功するか？）・実距離を正確に測れるか
Kinect V2 センサーセンサ

約700[mm]

1視点分の点群データ

約1500[mm]高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

48

・実験①
実験①

8視点分の点群データを色分け表示したもの

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

49

・実験①
実験①

計測に要した時間：
8視点分の点群データを色分け表示したもの
キネクトの準備時間・移動時間含めて約20秒
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

50

・実験①
実験①

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

51

・実験①
実験①

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

52

・実験①
実験①

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

53

・実験①
実験①

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

54

・実験①
実験①

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

55

・実験①
実験①

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

56

・実験①
実験①

点群データの重ね合わせ結果

レーザースキャナ…1視点の計測時間 約240[s]Kinectではその間に移動時間を含めても96
96視点
視点ほど計測可能

・短い計測時間で物体の全体形状を把握できる
短い計測時間で物体の全体形状を把握できる
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

57

・実験①
実験①
・マーカーの座標検出結果
50回計算
横軸 [計算回数] 縦軸：[mm]横軸：[計算回数]
縦軸 []50回計算 平均値

球①

球②

x[m m ]

y[m m ]

z[m m ]

球③

x[m m ]

y[m m ]

z[m m ]

x[m m ]

y[m m ]

z[m m ]

球座標-434.
434 624-461.
461 966

1266 231266.

181 638181.

-407.
407 561

1590 101590.

798 408798.

-354.
354 093

1920 69
1920.

標準偏差

1.04246

1.03523

1.23767

1.23398

1.16087

0.721848

2.699221.79016

1.52693

計測50回 平均値 球①と球② 球②と球③ 球①と球③
実距離[m m ]700.000

700.000

1400.00

計測距離[m m ]698.304701.821

1400.11

標準偏差[m m ]1 48765
1.

2 813402.

3 00224
3.

1

2

3

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

58

・実験①
実験①
・マーカーの座標検出結果
50回計算
横軸 [計算回数] 縦軸：[mm]横軸：[計算回数]
縦軸 []50回計算 平均値

球①

球②

x[m m ]

y[m m ]

z[m m ]

球③

x[m m ]

y[m m ]

z[m m ]

x[m m ]

y[m m ]

z[m m ]

球座標-434.
434 624-461.
461 966

1266 231266.

181 638181.

-407.
407 561

1590 101590.

798 408798.

-354.
354 093

1920 69
1920.

標準偏差

1.04246

1.03523

1.23767

1.23398

1.16087

0.721848

2.699221.79016

1.52693

計測50回 平均値 球①と球② 球②と球③ 球①と球③
実距離[m m ]700.000

700.000

1400.00

計測距離[m m ]698.304701.821

1400.11

標準偏差[m m ]1 48765
1.

2 813402.

3 002243.

マーカーの座標の計測に成功 しかし…
しかし・誤差が2[mm]程度発生
・計算ごとに値にばらつきが発生
処理過程で有意な誤差が発生している

1

2

3

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

59

・発表の流れ発表の流れ
1. 研究の背景と⽬的
1
2. Kinectについて
3. 成果の報告⇒新たなレジストレーション⼿法の提案⇒従来⼿法との⽐較・精度の検証⇒多視点のレジストレーションについて
⇒計測
・実験①
実験①
・実験② ブロックを模した⼈⼯データを⽤いた実験
4.
5.

結果・考察
結論・課題
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

60

・実験②
実験②
2視点間のレジストレーションで誤差が発生し蓄積

多視点のレジストレーションで誤差が発生…簡単な人工データによる精度検証でレジストレーション（重ね合わせ処理）
デ自体の精度は示されている⇒この誤差は①点群から平面の取り出し（クラスタリング）処理時に発生②Kinectから得られるデ タの定量的なずれ②Kinectから得られるデータの定量的なずれのいずれかが原因であると予想②が原因の場合はKinectのカメラ校正が必要となる.
本研究では①の可能性を考慮し実験を行った.

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

61

・実験②
実験②
・CADのブロックデータからブロックを模した複雑な人工点群データを作成し座標
複雑な点群デ タを作成 座標
変換
・平面ごとに±3[mm]の一様分布ノイズ
平面ごとに±3[]の 様分布ノイズ
・全12平面からなる平面ごとの理想平面
デ タとそれらを統合したデ タを用意
データとそれらを統合したデータを用意

物体寸法：約1000[mm](高さ)×約3500 [mm] (幅)×約2000[mm](深さ)
板厚 20[
板厚：20[mm]]高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

62

・実験②
実験②
・CADのブロックデータからブロックを模した複雑な人工点群データを作成し座標
複雑な点群デ タを作成 座標
変換
・平面ごとに±3[mm]の一様分布ノイズ
平面ごとに±3[]の 様分布ノイズ
・全12平面からなる平面ごとの理想平面
デ タとそれらを統合したデ タを用意
データとそれらを統合したデータを用意

全点群から取り出した平面を用いた点群重ね合わせ結果と理想平面を用いた点群重ね合わせ結果を比較する.
この結果に差があれば平面の取り出し処理（クラスタリング）時に誤差が発生していると言える.
処理は15回行う.

物体寸法：約1000[mm](高さ)×約3500 [mm] (幅)×約2000[mm](深さ)
板厚 20[
板厚：20[mm]]高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

63

・実験②
実験②

全点群から取り出された平面
点群
取り
面

理想平面(色分け)

・左図では平面取り出し処理は上手くいっているように見えるが実際は1平面が複数に分かれて検出されており 約40平面が存在する
実際は1平面が複数に分かれて検出されており,約40平面が存在する.
・理想平面は12平面が存在しており,データごとに色分けしたものが右図となる.

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

64

・実験②
実験②

結果 全点群→平面
15回処理 平均値
軸角度[rad]
回転角度[rad ]平行移動距離[m m ]座標変換値

回転角度[rad ]平行移動距離[m m ]結果1(理想平面)

結果2(クラスタリング)

α0.100000

0.100000

0.0995972

β0.200000

0.200000

0.195870

γ

0 3000000.

0 3000000.

0 3009940.

dx

400.000

400.000

399.752dy

500.000

500.000

499.143dz

600.000

600.000

600.633

座標変換値
軸角度[rad]

結果 理想平面

標準偏差

α0.100000

0.000000144078

0.000691766

β0.200000

0.0000000367909

0.000420112

γ

0.300000

0.000000360665

0.000546921

dx

400.000

0.00000969585

0.0296437

dy

500.000

0.0000121549

0.0376872dz

600.000

0.00000847657

0.0333630

理想平面の結果について
・15回の施行で同様の結果
・距離誤差は0.00008[mm]以下
・角度[rad]も極めて微小な誤差
誤差の蓄積を考えてもほぼ理想の結果

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

65

・実験②
実験②

片方の赤い点群が多く見えるのは完全に重なっていない為

結果 全点群→平面
15回処理 平均値
軸角度[rad]
回転角度[rad ]平行移動距離[m m ]座標変換値

回転角度[rad ]平行移動距離[m m ]結果1(理想平面)

結果2(クラスタリング)

α0.100000

0.100000

0.0995972

β0.200000

0.200000

0.195870

γ

0 3000000.

0 3000000.

0 3009940.

dx

400.000

400.000

399.752dy

500.000

500.000

499.143dz

600.000

600.000

600.633

座標変換値
軸角度[rad]

結果 理想平面

標準偏差

α0.100000

0.000000144078

0.000691766

β0.200000

0.0000000367909

0.000420112

γ

0.300000

0.000000360665

0.000546921

dx

400.000

0.00000969585

0.0296437

dy

500.000

0.0000121549

0.0376872dz

600.000

0.00000847657

0.0333630

全点群→平面の結果について
・15回の施行で同様の結果
・距離誤差平均0.579[mm]・角度[rad]は[°]換算で約0.2[°]
蓄積を考えると有意な誤差
つまり…
全点群からの平面取り出し処理で誤差が発生している差が 生

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

66

・発表の流れ発表の流れ
1. 研究の背景と⽬的
1
2. Kinectについて
3. 成果の報告⇒新たなレジストレーション⼿法の提案⇒従来⼿法との⽐較・精度の検証⇒多視点のレジストレーションについて⇒実験
・レジストレーションに失敗した状況
レジストレ ションに失敗した状況
4.
5.

結果 考察
結果・考察
結論・課題

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

67

・レジストレーションに失敗した状況
レジストレ シ ンに失敗した状況

計測状況

・Kinectの計測範囲を深さ3000[mm]以内に制限し計測実験を行った.
・16視点から得た点群データを重ね合わせしようと試みたが失敗した.
・設置物の点群が大きくずれていることが分かる.
設置物の点群が大きくずれていることが分かる
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

68

・レジストレーションに失敗した状況
レジストレ シ ンに失敗した状況

8番目の視点の点群データ
番
視点 点群デ タ

平面取り出し後原因：クラスタリング時に上下,左右,前後の3方向移動を固定する
原因
クラスタリング時に上下,左右,前後の3方向移動を固定する
平面が得られなかったこと
横方向の移動を固定する平面がほぼ得られていない
このような視点が複数存在すると本手法では重ね合わせが不可能となる
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

69

・発表の流れ
発表の流れ
1.
1
2.
3.
4.
5.

研究の背景と⽬的
Kinectについて
成果の報告
結果・考察
結論・課題

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

70

・結果と考察結果と考察
従来手法との比較
・従来手法ではずれが発生したが提案手法ではずれが見られず,精度が改善された.
精度の検証実験
・簡単な人工データを用いて精度の検証を行い,簡単なデを精度 検 を精度の高さを実証した.
実験①
・対象を複数視点から計測した実データを用い,重ね合わせに成功した
重ね合わせに成功した.
・球体マーカーの座標検出にも成功したが,値がばらつき約2[mm]の誤差が発生した.

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

71

・結果と考察結果と考察
従来手法との比較
・従来手法ではずれが発生したが提案手法ではずれが見られず,精度が改善された.
レーザースキャナが1視点計測する間にKinectは約100視点の計測が可能
精度の検証実験

・短い計測時間で物体の全体像を把握できる・簡単な人工データを用いて精度の検証を行い,簡単な ・計測回数を増やすことにより誤差が少なくなる可能性
デを精度とにより誤差が少なくなる可能性
検 を
計測回数を増やす
精度の高さを実証した.

実験①
・対象を複数視点から計測した実データを用い,正規分布であれば重ね合わせに成功し 球体マ カ の座標検出
重ね合わせに成功し,球体マーカーの座標検出
100回計測すれば誤差は1/√100となるにも成功したが,値がばらつき約2[mm]の誤差が発生した.

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

72

・結果と考察
結果と考察
実験②

・実験①の誤差の原因が平面取り出し処理にあると予想し,複雑な人工データを用いてにあると予想し,複雑な人
デ タを用いて検証した.
・平面取り出し処理時に誤差が発生していることが確認できた.
ことが確認できた

失敗例

・本レジストレーション手法で点群重ね合わせに失敗する状況を実際に確認できた
せに失敗する状況を実際に確認できた.

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

73

・発表の流れ
発表の流れ
1.
1
2.
3.
4.
5.

研究の背景と⽬的
Kinectについて
成果の報告
結果・考察
結論・課題

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

74

・結論と課題
結論と課題
本研究の成果・点群重ね合わせ処理における従来手法の問題点を改善した.
→平面探索の自動化,精度の向上
・高速深度計測デバイスの利用による形状計測コスト削減の可能性を示した.
→Kinectを用いた実験,レーザースキャナと比較した利点を指摘

今後の課題
・点群からの平面取り出し処理の見直し,改善・点群重ね合わせに失敗する場合の重ね合わせ手法の考案 ⇒ 物体形状を取得して手がかりにする 等
・Kinectから得られるデータの正確さの確認 ⇒ Kinectのカメラ校正を行う

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

付録 重ね合わせ(レジストレーション)
付録：
重ね合わせ(レジストレ シ ン)
画像をつなぎ合わせるための位置合わせの手法
色やエッジ等の特徴量を基につなぎ合わせる+=

本研究では特徴量に平面ベクトルを用いる

76

・補⾜
補⾜ 従来⼿法との⽐較
レジストレーション結果
ジ ト
ション結果
右側（従来手法でパラメータを用いた側）の拡大図

従来手法 結果

提案手法 結果

高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

77

・付録：平⾯のクラスタリング
付録 平⾯のクラスタリング【主成分分析】
デ タを無相関な（少数の）特性値：主成分にデータを無相関な（少数の）特性値：主成分に縮約する統計処理.
データが3次元空間中の点列の場合、第3主成分の分散が第1・第2主成分に比べて極端に小さければ点群は平面に分布している群は平面に分布している.
点と平面の距離より
平面クラスタを取得

ランダムに選んだ点を中心に直径50~80[mm]の球を形成
5080[mm]の球を形成

第2主成分

第3主成分
第
成分
第1主成分

点群削除

点が少ない
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

78

・付録：平⾯のクラスタリング
付録 平⾯のクラスタリング【RANSAC法による湾曲部の除去】
厚みがある

ばらついた点を削除

白い部分は外れ値が除かれた部分RANSAC法

マルチパスにより湾曲した部分クラスタリング後
高速深度計測デバイスによる形状計測に関する研究 Nakamura Takumi,2017

79

パラメータ数が５～６個程度の最適化であればGA等よりもいい結果
パラメ
タ数が５ ６個程度の最適化であればGA等よりもいい結果を得ることができる．コスト関数が局所解だらけではないなら滑降シン
プレックス法が良い結果が得られる可能性が高い。

⼀⽅の平⾯にあてるように他⽅の点群を変換する座標変換パラメータを探索する
本研究では回転にはクォータニオン回転を⽤いる．
クォータニオン回転1

任意の正規化したベクトル S 周りの回転⾓
⾓を表現する⽅法．

本研究では制約条件が加わることで回転軸と回転⾓度を3つのパラメータ(α,β,γ)で表現することができる
現することができる．

ｚ
γ

ｙ

S
α -1

1

β

-1

α･β･γの3つの⾓度と平⾏移動距離のdx･dy･dzの3つ合わせて
6つのパラメ タを滑降シンプレックス法で探索する
6つのパラメータを滑降シンプレックス法で探索する

1

ｘクォータニオン回転ｚ1

正規化したベクトル S 周りに  回転させる．S  ( S , S , S )xyz

S x  cos  sin 
S y  cos  cos 
S z  sin 

γ
1

π

2

  ,  ,  παｙ

⾓度範囲は,

2

平⾏移動
範囲は2点間の最⼤の距離

S

β
-1

-1

1
ｘ

クォータニオン回転⻑所•「直感的」
回転⾓・回転軸が与えられれば計算できる•「メモリ効率が良い」「メモリ効率が良い」
四つの数値で回転を表現できる•「連続性」
ジンバルロックがない（オイラ ⾓では⾃由度を落としてしまう）
ジンバルロックがない（オイラー⾓では⾃由度を落としてしまう）
短所•「多数回転が表現できない」
θが10度なのか 370度なのか 350度なのか 区別できない
θが10度なのか、370度なのか、-350度なのか、区別できない•「⼀⾒して何をしているのか不明」
パッと⾒ただけではわからない•「原点中⼼の回転である」
処理が必要になる