ＵＳＢカメラを利用した船殻ブロック工事
ＵＳＢカメラを利用した船殻ブロ
ク工事
進捗状況の自動認識に関する研究

九州大学大学院工学府
河内 基樹
九州大学大学院工学研究院
木村 元

2012年度日本船舶海洋工学会春季講演会＠神戸
平成24年5月17,18日

研究の背景造船所では工程計画通りの工事を行うために、工事の進捗状況を把握しなければならない。の進捗状況を把握しなければならない
・作業者に報告義務を課せば作業効率の低下
・自動、または現場以外の人間でも簡単に使えるシステムが求められるUSBカメラを利用して工事進捗状況の自動認識

2

3

研究へのアプローチ
・先行研究（宮本 ２０１１）○主要システムの考案、構築△模型実験でのデータ不足

・本研究

先行研究で不足していた模型実験を主軸に実用性を確かめ、また、新たに発生した問題点についても解決策を模索。

研究へのアプローチ
先行研究
・３D形状認識システム
PTAMを用いたUSBカメラによる模型型の３次元特徴点データを生成
次 特徴点デ タを生成
・最小メジアン法を用いた外れ値を含む特徴点データとのマッチング
・モデル推定プログラム
モデル推定プ グラム
複数の3Dモデルと特徴点データをマッチングすることで工事の進捗状
況を推定

4

5

研究へのアプローチ
先行研究
外れ値・３D形状認識システム
PTAMを用いたUSBカメラによる模型
型の３次元特徴点データを生成
次 特徴点デ タを生成
・最小メジアン法を用いた外れ値を含む特徴点データとのマッチング
・モデル推定プログラム
モデル推定プ グラム
複数の3Dモデルと特徴点データをマッチングすることで工事の進捗状
況を推定

誤差範囲内

6

最小メジアン法
120120100100808060604040202000050※最小二乗法100050100※最小メジアン法

・従来の最小二乗法を用いて直線の推定を行った場合、外れ値の影響を・従来の最小二乗法を用いて直線の推定を行った場合外れ値の影響を大きく受け直線が引っ張られていることがわかる。
最小メジアン法を用いることで外れ値に影響されず直線を推定できる。

最小メジアン法を用いたマッチング

・マッチング
3Dモデルを平行移動・回転・拡大縮小し、特徴点データの座標と合わせコスト（点とモデルの最小二乗距離）を最小化していく処理。

7

研究へのアプローチ
先行研究
・３D形状認識システム
PTAMを用いたUSBカメラによる模型型の３次元特徴点データを生成
次 特徴点デ タを生成
・最小メジアン法を用いた外れ値を含む特徴点データとのマッチング
・モデル推定プログラム
モデル推定プ グラム
複数の3Dモデルと特徴点データをマッチングすることで工事の進捗状況を推定

8

工事途中の進捗状況推定プログラム①②

特徴点データ③

簡単な工事の進捗状況を模した3Dモデルを用いて、特徴点データから簡単な工事の進捗状況を模した3Dモデルを用いて特徴点データからのモデル推定を説明を行う。
・数字が大きい程完成に近い3Dモデル
・特徴点データは②の理想点を用いた
特徴点デ タは②の理想点を用いた

9

工事途中の進捗状況推定プログラム①②③

特徴点以上の完成度を持つ3Dモデルの場合コストは極小で特徴点以上の完成度を持たない3Dモデルではコストが大きくなる。
コストが最小、且つ完成度の最も低いモデルが特徴点から推定すべきモデルである

10

11

作成した3Dモデル、模型３DモデルⅠ
完成度100%※完成度
完成モデルを100％として表面積を基準に完成度を数値化
・USBカメラによる特徴点
データ取得のためそれぞれ完成度の高い３Dモデルを２つずつ紙模型も作成

完成度60%

完成度40%

12

作成した3Dモデル、模型
３DモデルⅡ
完成度100%※完成度
完成モデルを100％として表面積を基準に完成度を数値化
・USBカメラによる特徴点
データ取得のためそれぞれ完成度の高い３Dモデルを２つずつ紙模型も作成

完成度70%

完成度55%

完成度35%

工事途中の進捗状況推定プログラム

実際にUSBカメラで取った特徴点データから尤もらしいモデルを推定
実際にUSBカメラで取った特徴点データから尤もらしいモデルを推定。
個別にマッチングすると単純にモデルの数だけ計算時間が倍増。
計算コストを軽減するための手法が考案されている。

13

工事途中の進捗状況推定プログラム
特徴点デ タ
特徴点データ完成モデルとのマッチング① 特徴点データを一番部材の多い完成モデルについてマッチング処理を①.
行う。この時の3Dモデルの平行移動距離、回転角度、拡大縮小率をパラメータとして記録。

14

15

工事途中の進捗状況推定プログラム
完成度100%

完成度60%

完成度40%②.完成度の違う全てモデルに対して①で求めた最適なパラメータをそのま②完成度の違う全てモデルに対して①で求めた最適なパラメータをそのまま用いてコスト（点とモデルとの二乗距離）を計算する。
時間のかかるマ チング処理が減るため 大幅な計算時間の短縮
時間のかかるマッチング処理が減るため、大幅な計算時間の短縮

工事途中の進捗状況推定プログラム※模型Ⅰの理想の特徴点③.コストが最小、且つ完成度が最も小さいモデル選択することで目的の③コストが最小 且つ完成度が最も小さいモデル選択することで目的のモデルを推定することができる。
※ただしこれは理想の特徴点デ タを用いた場合である※ただしこれは理想の特徴点データを用いた場合である。

16

工事途中の進捗状況推定プログラム※模型１の特徴点データ○問題点
特徴点データ以上の完成度を持つモデルとのコストは全て最小でなければならない。しかし実際の特徴点データで推定した場合、外れ値による微小なズレがあり 最小の ストを持つ3Dモデルは完成モデルだけとなり推定にズレがあり、最小のコストを持つ3Dモデルは完成モデルだけとなり推定に失敗。

17工事途中の進捗状況推定プログラム※模型２の特徴点データ○問題点
特徴点データ以上の完成度を持つモデルとのコストは全て最小でなければならない。しかし実際の特徴点データで推定した場合、外れ値による微小なズレがあり 最小の ストを持つ3Dモデルは完成モデルだけとなり推定にズレがあり、最小のコストを持つ3Dモデルは完成モデルだけとなり推定に失敗。

18

工事途中の進捗状況推定プログラム・外れ値による微小なズレの解決法
方法① 許容範囲を決める（例 完成度100%の スト 1.5倍の デル、か 完成度の（例：完成度100%のコスト×1.5倍のモデル、かつ完成度の最も低いモデル）

19

工事途中の進捗状況推定プログラム・外れ値による微小なズレの解決法
方法② コストが同じ点の割合を調べる。
（例:同じ点の割合が90%以上、か 完成度の最も低い デル）（例:同じ点の割合が90%以上、かつ完成度の最も低いモデル）
完成度60%の特徴点データとのマッチング
1 00E-03
1.00E-03

拡大（特徴
点 8.00E-04とモ 6.00E-04
デコ ル
ス と 4.00E-04
ト の最小 2.00E-04
二乗 0.00E+00
距0離

完成度100%
完成度60％）

完成度40％

同コストの点が多数存在
500

1000

コスト昇順にソートした特徴点

94.49%

20

工事途中の進捗状況推定プログラム
実験結果（方法①、模型Ⅰ）
それぞれの特徴点データを全ての完成度についてコスト計算し完成度100%とのコストを1とした時の倍率を表示。
→コストの倍率が1.5倍以下、且つ完成度の最も低いモデルを選択

模型Ⅰ
完成度100%

完成度60%

完成度40%

完成度100%

倍
1.00倍

4.26倍
倍

6.15倍
倍

完成度60%

1.00倍

1.18倍

29.95倍21

工事途中の進捗状況推定プログラム
実験結果（方法①、模型Ⅰ）
それぞれの特徴点データを全ての完成度についてコスト計算し完成度100%とのコストを1とした時の倍率を表示。
→コストの倍率が1.5倍以下、且つ完成度の最も低いモデルを選択

模型Ⅰ
完成度100%

完成度60%

完成度40%

完成度
100%

倍
1.00倍

4.26倍
倍

6.15倍
倍

完成度60%

1.00倍

1.18倍

29.95倍22

工事途中の進捗状況推定プログラム
実験結果（方法①、模型Ⅰ）
それぞれの特徴点データを全ての完成度についてコスト計算し完成度100%とのコストを1とした時の倍率を表示。
→コストの倍率が1.5倍以下、且つ完成度の最も低いモデルを選択

模型Ⅰ
完成度100%

完成度60%

完成度40%

完成度
100%

倍
1.00倍

4.26倍
倍

6.15倍
倍

完成度60%

1.00倍

1.18倍

29.95倍
推定成功

23

24

工事途中の進捗状況推定プログラム
実験結果（方法①、模型Ⅱ）
それぞれの特徴点データを全ての完成度についてコスト計算し完成度100%とのコストを1とした時の倍率を表示。
→コストの倍率が1.5倍以下、且つ完成度の最も低いモデルを選択

模型Ⅱ
完成度100%

完成度70%

完成度55%

完成度35%

完成度
100%

倍
1.00倍

3.88倍
倍

5.20倍
倍

7.27倍
倍

完成度70%

1.00倍

1.20倍

3.45倍

4.73倍

25

工事途中の進捗状況推定プログラム
実験結果（方法①、模型Ⅱ）
それぞれの特徴点データを全ての完成度についてコスト計算し完成度100%とのコストを1とした時の倍率を表示。
→コストの倍率が1.5倍以下、且つ完成度の最も低いモデルを選択

模型Ⅱ
完成度100%

完成度70%

完成度55%

完成度35%

完成度
100%

倍
1.00倍

3.88倍
倍

5.20倍
倍

7.27倍
倍

完成度70%

1.00倍

1.20倍

3.45倍

4.73倍

26

工事途中の進捗状況推定プログラム
実験結果（方法①、模型Ⅱ）
それぞれの特徴点データを全ての完成度についてコスト計算し完成度100%とのコストを1とした時の倍率を表示。
→コストの倍率が1.5倍以下、且つ完成度の最も低いモデルを選択

模型Ⅱ
完成度100%

完成度70%

完成度55%

完成度35%

完成度
100%

倍
1.00倍

3.88倍
倍

5.20倍
倍

7.27倍
倍

完成度70%

1.00倍

1.20倍

3.45倍
推定成功4.73倍

工事途中の進捗状況推定プログラム
実験結果（方法②、模型Ⅰ）
それぞれの特徴点データを全ての完成度についてコスト計算し完成度100%のコストの点と、同コストの点の割合を表示。
→コストの倍率が90%以上、且つ完成度の最も低いモデルを選択

模型Ⅰ
完成度100%

完成度60%

完成度40%

完成度
100%

100.0%

53.20%

21.10%

完成度60%

100.0%

94.49%

33.40%

27

工事途中の進捗状況推定プログラム
実験結果（方法②、模型Ⅰ）
それぞれの特徴点データを全ての完成度についてコスト計算し完成度100%のコストの点と、同コストの点の割合を表示。
→コストの倍率が90%以上、且つ完成度の最も低いモデルを選択

模型Ⅰ
完成度100%

完成度60%

完成度40%

完成度
100%

100.0%

53.20%

21.10%

完成度
60%

100.0%

94.49%

33.40%

28

工事途中の進捗状況推定プログラム
実験結果（方法②、模型Ⅰ）
それぞれの特徴点データを全ての完成度についてコスト計算し完成度100%のコストの点と、同コストの点の割合を表示。
→コストの倍率が90%以上、且つ完成度の最も低いモデルを選択

模型Ⅰ
完成度100%

完成度60%

完成度40%

完成度
100%

100.0%

53.20%

21.10%

完成度
60%

100.0%

94.49%

33.40%
推定成功

29

30

工事途中の進捗状況推定プログラム
実験結果（方法②、模型Ⅱ）
それぞれの特徴点データを全ての完成度についてコスト計算し完成度100%のコストの点と、同コストの点の割合を表示。
→コストの倍率が90%以上、且つ完成度の最も低いモデルを選択

模型Ⅱ
完成度100%

完成度70%

完成度55%

完成度35%

完成度
100%

100.0%

54.76%

33.40%

22.27%

完成度70%

100.0%

87.67%

42.93%

35.22%

31

工事途中の進捗状況推定プログラム
実験結果（方法②、模型Ⅱ）
それぞれの特徴点データを全ての完成度についてコスト計算し完成度100%のコストの点と、同コストの点の割合を表示。
→コストの倍率が90%以上、且つ完成度の最も低いモデルを選択

模型Ⅱ
完成度100%

完成度70%

完成度55%

完成度35%

完成度
100%

100.0%

54.76%

33.40%

22.27%

完成度
70%

100.0%

87.67%

42.93%
推定失敗35.22%

32

工事途中の進捗状況推定プログラム
実験結果（方法②、模型Ⅱ）
それぞれの特徴点データを全ての完成度についてコスト計算し完成度100%のコストの点と、同コストの点の割合を表示。
→コストの倍率が80%以上、且つ完成度の最も低いモデルを選択

模型Ⅱ
完成度100%

完成度70%

完成度55%

完成度35%

完成度
100%

100.0%

54.76%

33.40%

22.27%

完成度70%

100.0%

87.67%

42.93%
推定成功35.22%

工事途中の進捗状況推定プログラム
・方法①では、全ての特徴点データで正しいモデルを推定
・方法②では、同コストの点の割合を考慮の必要あり
・２つの方法とも許容範囲を広げたことにより、細部が異なるモデルのマッチングが困難に

33

考察と課題・先行研究で考案、構築されたシステムの精度の検証→多数の模型実験により確認

・模型実験により理想点を使ったマッチングでは想定外の問題→許容範囲を設定することで目的のモデルを推定

・許容範囲が広すぎると詳細なモデルの推定が困難
・許容範囲が狭すぎると目的のモデルを推定が困難→現在、完成度15%以上の違いがあれば推定可能
現在、完成度以 の違あれば推定可能範囲については更なる検討が必要

34