日本船舶海洋工学会講演会論文集 Vol.14, pp.453--456 （2012）

USB カメラを利用した船殻ブロック工事進捗状況の自動認識
学生会員

河内基樹*

正員

木村元*

Automatic Recognition of Building Progress of Ship-hull Blocks Using USB Camera
by Motoki Kawachi， Student Member

Hajime Kimura， Member

Words:: PTAM， Web Camera， Augmented Reality
Key Words

1．研究の背景と目的
造船所においては，工程計画通りに工事を行うために工事進捗状況を常に把握しておくことが求められるが，現場への負担が大きい．このような問題に対し，現場以外の人間または自動で，瞬時に進行状況を把握するシステムが求められている．そのシステムの一つとして 3 次元形状認識を用いた 3D モデルとのマッチングを行う手法が考えられる．近年，飛躍的にパーソナルコンピューターの性能が向上，また比較的安価な USB カメラさえあれば簡単にAR(AugmentedReality:拡張現実)を体験できる画像処理技術が登場した．この技術はノート PC でも実行できるものであり，実行場所も制限されないのが特徴である．
本研究ではこの USB カメラによる三次元形状認識を用いた 3D モデルとのマッチングにより工事進捗状況の把握を試みる．

識し AR を実行する．この技術の特徴として，「画像認識中特徴点(角)の多数保存」「特徴点の 3 次元モデルを生成」
が挙げられる．これにより，画像中の角を自動検出し，自動設定した 3 次元座標軸に関して位置座標を保存する．
Fig.1 は模型から特徴点を抽出し記録している画像である．
曲面上であっても模様があれば充分特徴点を認識できるため，角や紙上につけた格子状の模様から特徴点が記録されているのがわかる．

3． 特徴点データと 3D モデルのマッチング
バルクキャリアの船殻ブロックを想定した模型を 2 種類，それぞれ完成・未完成の 4 つの模型をペーパークラフトで作成し，模型の 3D モデルと USB カメラより得られた特徴点の 3 次元データとのマッチングを行った．

2．画像認識造船現場で要求される画像認識システムは「高価な道具が不必要」「ノート PC でも実行可能なくらいに計算コストが低い」「カメラを自由なところに向けることが可能」「3 次元形状の認識」「必要に応じた拡張が可能」などの特徴を有することが望ましい．そのような画像認識の方法
として Klein らのPTAM(Parallel Tracking and Mapping))と呼ばれる方法に着目した．これはカメラ 1 台を動かすことによってステレオ視を行い，それによって 3D 空間を認Fig.1 Getting characteristic-points by PTAM――――――――――――――――――――――* 九州大学大学院工学研究院海洋システム工学専攻** 九州大学大学院工学研究院海洋システム工学部門
原稿受付
春季講演会において講演©日本船舶海洋工学会

Fig.2 3D model
3 次元空間において 3D モデルと特徴点との距離（これを以下コストと定義する）が最小となる 3D モデルの位置を探索するために，探索パラメータは平行移動・回転・拡大縮小の計７パラメータとなる．
また PTAM で得られる３次元データには多数のノイズが含まれる．ノイズが含まれるデータから安定にパラメータを推定するためにはロバスト推定が必要となる．本研究ではロバスト推定の代表的な手法の一つである LMedS（最小メジアン）推定を用いた．LMedS 基準は，LMedS = min med (1)のように定義され， はデータと推定値との二乗誤差，med は中央値（メジアン）を取ることを表す．LMedS 推定は全データの半分がノイズであっても，推定結果に大きな影響を及ぼさない．また，本研究における LMedS 基準によるパラメータ推定は非線形の最適化問題となり，多数のパラメータにおける探索の場合にはコスト関数は非線形なので最適解を見つけることは非常に困難である．そのため、コスト最小化には滑降シンプレックス法を用いた．
LMedS 推定を実行するアルゴリズムを考えた場合，以下のような流れとなる．
1．全データから F 個のデータを無作為に選択
2．F 個のデータを用いてモデルのパラメータを推定
3．LMedS 基準によりそのパラメータのモデルを評価

日本船舶海洋工学会講演会論文集 Vol.14, pp.453--456 （2012）
以上を繰り返し，最良のパラメータを探索する．複数回のランダムサンプリングで少なくとも一つのサンプルに外れ値が無い状態でのパラメータ推定が可能となる．
Fig.3 にマッチング成功時と失敗時によりコスト関数にどのような違いが現れるかを示す．

Fig.5 Graph of matching by ideal
characteristic-points(100% of completion)

Fig.3 Mating by LMedS
成功か失敗であるかは中間値によってのみ判断される．
上図では 2 回だけだが，これを複数回繰り返し，中間値が最も小さいものを選ぶことによって最もマッチングできているパラメータを求めることができる．
また，外れ値を含まないサンプルが存在する確率は以下の式で計算することができる．
 = 1 − 1 − (1 − ) (2)但し，全データ中の外れ値の割合を，ランダムサンプリング回数を回とする．これらのパラメータ，F は問題に応じて値を設定していく必要がある。

Fig.6 Graph of matching by ideal
characteristic-points(60% of completion)
Fig.5 ではコストが最小になる 3D モデルが 1 つのため完成度 100%の 3D モデルが推定され，Fig.6 ではコストが最小になる 3D モデルが完成度 100%，60%の 2 つである
ため，完成度の低い 60%の 3D モデルが推定される．

5．ノイズ入りでの複数モデルとのマッチング

Fig.4 Matching characteristic-points and 3D-model

4．理想での工事途中の理想での工事途中の複数モデル
工事途中の複数モデルと複数モデルとのマッチング
工事途中の複数モデルから尤もらしい 3D モデルを推定する方法として，全モデルに対して個別にマッチングを実行した場合，単純にモデルの数だけ計算時間が倍増してしまう．そのため，最も複雑な構造を持つ完成 3D モデルを用いてパラメータを探索し，そのパラメータに基づいて全ての 3D モデルを同様に平行移動・回転・拡大縮小しコストを計算する．パラメータを探索する際に完成 3D モデルを使用するのは，どの完成度の特徴点データからでも最適解を探索する可能性があるからである．
探索したパラメータを用いて全ての 3D モデルについてコストを計算すると，観測データ以下の完成度モデルで計算した場合コストが跳ね上がる．よってコストが最小かつ完成度が低い 3D モデルを観測データが説明する 3D モデルとすることで識別できる．以下に完成度ごとの 3D モデルとマッチングした結果を表す．

前節では目的の 3D モデルを正しく推定することができたが，これは 3D モデルから抽出した理想な特徴点データとのマッチングの結果である．実際に USB カメラで模型を撮影し取得した特徴点データを用いた場合，例え特徴点データ以上の完成度を持つモデルとのマッチングでもノイズによりコストが極小ではなく，完成モデルとのコストと比べても完全に同一にはならず，正しいモデルを推定することができない．以下に完成度ごとの 3D モデルとのマッチング結果を示す．

Fig.7 Graph of matching by realcharacteristic-points(100% of completion)

日本船舶海洋工学会講演会論文集 Vol.14, pp.453--456 （2012）
Table.2 Judged by Method①，modelⅡ

Fig.8 Graph of matching by realcharacteristic-points(60% of completion)
Fig.7 では完成度 100%の 3D モデルでもコスト自体は他に比べると小さいため正しいモデルを推定している．しかし，Fig.8 では完成度 60%の 3D モデルを推定しなければならないのだが，わずかではあるが完成度 60%の 3D モ
デルよりも完成度 100%の 3D モデルのコストが小さいた
め，完成度 100%の 3D モデルを推定してしまい失敗している．そのため多少のノイズがあっても正しい 3D モデルを推定するための解決方として 2 つの方法を提案した．
① 完成モデルのコストの 1.5 倍まで許容する．

Table.1，Table.2 では完成度 100%3D モデルに対してのコストを 1 とした時の各モデルのコストを倍率で示したものである．完成度 100%の特徴点データからは完成度100%の 3D モデル，完成度 60%の特徴点データからは完
成度 60%の 3D モデル，のように正しい 3D モデルを推定することが出来ているのがわかる．
② 同コストを持つ点の割合が 90%以上ならば同一のコストの 3D モデルとして扱う．
この方法は同一になるはず同士のモデルでは，ノイズを含んでいたとしても，同じコストを持つ点が多数存在していたことを利用し，ある同じコストを持つ点が一定以上の割合の場合，同一のコストとして扱う方法である．同一コストが 90%以上，最も完成度の低いモデルが推定される．
Table.3 Judged by Method②，modelⅠ

Fig.9 Permissible range

Table.4 Judge by Method②，modelⅡ

この方法は，ノイズによる誤差は必然であると割り切り，完成モデルの 1.5 倍までならコストを同一として扱う方法である．上図の灰色が完成モデルの 1.5 倍を模した範囲
だが，この範囲に線が入っているならば正しい 3D モデルを推定することができる．コストが 1.5 倍以下，かつ完成度の最も低い 3D モデルが推定される．
Table.1 Judged by Method①，modelⅠ
Table.3 は完成度 100%3D モデルの各点のコストと同じ点を持つ割合を表したものである．先程の方法と同じように正しい 3D モデルを推定しているが，Table.4 では完成度 70%の特徴点データから完成度 100%の 3D モデルを推定してしまった．この場合，同じコストを持つ点の割合を80%にすると正しい 3D モデルを推定することができる．
以上の 2 つの方法を用いて推定した結果，①の方法では全ての模型で正しい 3D モデルを推定することができた．
②の方法では推定に失敗したが，同コストを持つ点の割合の基準を下げることで推定に成功した．この 2 つの方法については試行数が少ないため，許容するコストの倍率，同一な点の割合など，更なる改良の必要があると考えられる．

日本船舶海洋工学会講演会論文集 Vol.14, pp.453--456 （2012）

Fig.10 Example of Success for Judging
Left: Data of characteristic-points(70% of completion)
Right: Judged 70%-3Dmodel from the data

Fig.11 Example of failure for Judging
Left: Data of characteristic-points(60% of completion)
Right: Judged 100%-3Dmodel from the data

6．考察と課題参考文献

ノイズによる微小のズレを許容することで正しいモデルを推定することが可能になったが，許容範囲を広げることで Fig.12 のような完成モデルから一部の部材のみないモデルの推定が困難になるという新たな問題も発生した．
許容範囲を広げすぎると詳細なモデルの推定が困難に，しかし許容範囲が狭いと逆に目的のモデルを推定することが困難になる．そのため，この許容範囲の設定については更なる検討が必要である．

1) Georg Klein， David Murray : Parallel Tracking

2)
3)

4)

Fig.12 Judging is difficult

7.終わりに
7.終わりに工事の進捗状況を把握するために，PTAM を利用してUSB カメラから特徴点を抽出し最小メジアン法と非線形最適化を組み合わせる方法を提案し，工事途中の複数モデルから尤もらしいモデルの推定を試みた。ノイズによる推定失敗の問題については，完成モデルの 1.5 倍まで許容する，同コストの特徴点の割合を調べるという 2 つの方法を提案した結果，完成度に 15%以上の差がある複数モデルならば，正しいモデルを推定し進捗状況を把握することができた．今後の課題としては，模型実験だけでなく実際の船殻ブロックから進捗状況の把握，また精度の向上を目指し研究を続けていきたい．

5)and Mapping for Small AR Workspace， Proc．
International Symposium on Mixed andAugmented Reality (ISMAR’7， Nara)， 2007
Edward Rosten and Tom Drummond : Machinelearning for high-speed corner detection，European Conference on Computer Vision， 2006．
宮本達也，木村元:
USB カメラによる画像認識と配管工事支援システムへの可能性に関する考察
2008 年度 九州大学卒業論文，2009 年 3 月
宮本達也，木村元:
拡張現実を用いた船殻認識システム
日本船舶海洋工学会講演会論文集 Vol．9W，pp．67-70
2009 年 11 月 19～20 日熊本県荒尾市ホテルヴェルデ
宮本達也，木村元:
拡張現実を用いた船殻認識システム
2010 年度 九州大学大学院修士論文，2011 年 3 月