13練習船の実写画像からの３次元再構成
向瀬 紀一郎*・渡邊 智基**・熊川 和真***・五井 和貴***

3D Reconstruction from Photographic Imagesof Training Ship
Kiichiro Mukose*, Tomoki Watanabe**,Kazuma Kumagawa*** and Kazuki Goi***
Abstract
The three-dimensional geometry of the main engine of the training ship “Yuge-maru” has beenreconstructed from multiple two-dimensional photographic images, for the purposes of maritimeeducation. The three-dimensional reconstruction consists of exaction of key points in images, andstatistical optimization of the geometric parameters of the key points and the viewpoints. By using thereconstructed geometric data, anyone can have a view of the engine from any direction on a computerscreen.

特別に意欲の高い学生に対して，その興味を満たしきれない実習となってしまう虞がある。また同級生より
弓削商船高等専門学校の商船学科は，外航船の船舶 も理解の遅い学生に対して，疎外感を持たせる実習と職員として国際的な物流を担うことのできる海事技 なってしまう虞もある。
もし，そのような学生たちが個々の必要に応じて，術者を育成する学科である。本学科では，高度化していく海運業界において活躍し続けることのできる人 校内練習船実習の機会の他に，それを補強するものと材を育成すべく，船舶の運航や舶用機関の取扱いに関 なる，類似した体験を得ることができれば，校内練習する専門的な知識の教育や，実践的な技術の訓練を実 船実習の教育効果はさらに高まるであろう。そのよう施している。その一環として，教室における授業の進 な練習船実習を補強する体験は，例えば模型や，ビデ度にあわせて，練習船「弓削丸」を活用した校内練習 オや，あるいはコンピュータを活用したインタラクテ船実習を実施している。
ィブ（双方向的）なｅラーニング教材などによって実その練習船実習は航海系実習と機関系実習に分類 現可能であろうと思われる。
される。航海系実習においては練習船の操舵室や甲板これまでに，本校の練習船実習を補強するｅラーニが活用され，機関系実習においては練習船の機関室や ング教材の一つとして，機関室ウォークスルーシステ機関制御室が活用される。運航中の練習船内において，ム が 開 発 さ れ ， WWW に お い て 公 開 さ れ た
低学年次生は導入的な体験によって船舶への興味を （http://www.center.yuge.ac.jp/~mukose/yugeER/）。
喚起され，高学年次生はより実践的な訓練によって航 これは練習船「弓削丸」の機関室内の実写画像を利用海士や機関士としての資質を涵養することができる。 し，仮想現実感（Virtual Reality, VR）技術を応用しこの実習は学生にとって，キャリア意識の深化のた て開発されたシステムである[1, 2]。
この機関室ウォークスルーシステムを活用すると，めの，そして知識の定着や技術の習熟のための，貴重な機会となっている。ただし，校内練習船実習には多 学生は陸上の校舎内，あるいは寮や自宅に居ながらにくの準備と費用が必要であるため，その機会は限られ して，安価なコンピュータの画面において，練習船機たものとなっており，個々の学生の興味や能力のレベ 関室の中を自由に歩き回るかのような体験を，いつでルに応じた十分な実習時間を，それぞれの学生に柔軟 も手軽に何度でも得ることができる。またこのシステに与えられるわけではない。現状の練習船実習では， ムには，様々な機器や装置についての説明（アノテー
１．はじめに*商船学科**商船学科５年生***海上輸送システム工学専攻２年生

平成 27 年 11 月 30 日受理

14弓削商船高等専門学校

紀要

第 38 号（平成 28 年）

ションやキャプション）を表示する機能も実装されて 特徴量を算出し，ヒストグラムのピークから基準軸をいるため，学生はそれぞれの興味や必要に応じて，自 決定し，画像の回転に対しても不変となる特徴量へと分のペースでじっくりと，自学自習に取り組むことが 換算する。また正規化により，照明の変化に対しても影響されにくい特徴量へと換算する。
できる。
この機関室ウォークスルーシステムは，「弓削丸」
次に，SfM（Structure from Motion）法[5]によって，の機関室内で得ることのできる視点を，ほぼ網羅的に，画像データに写っている物体の特徴点の３次元座標コンピュータの画面上に再現できるものとなってい と，画像データを写したカメラの視点の３次元座標とる。ただし，このシステムは，機関室内の通路上から を，統計的に推定する。
SfM 法による処理は，様々な視点からの複数の画像撮影した実写画像を利用して開発されており，その通路上の視点からの光景に限って再現するものとなっ を比較し，それらの間で概ね共通した特徴量を持つ特徴点を探索し，同一の特徴点として対応させる。同一ている。
本論文では，この制限を超える視点から練習船内の の特徴点への複数の視点からの視線の方向を，画像内機器や装置を自由に見ることのできるｅラーニング の２次元座標から算出し，その視線の交点から特徴点教材，すなわち，実際の練習船実習においても体験で の３次元座標を推定する。同時に，同一の視点からのきない視点までも提供できるシステムの開発につい 複数の特徴点への視線の方向を算出し，視点の３次元て報告する。この新しい教材は，３次元再構成技術の 座標を推定する。これらの推定は誤差を含むものであ応用によって開発された。
るが，多くの視点から多くの特徴点を撮影した画像データの集合を用いて，統計的に最適な推定を行う。高２．３次元再構成の概要
速なコンピュータを利用した大規模な処理によって，被写体上の特徴点の座標と，それぞれの画像を撮影し３次元再構成は，３次元の物体の形状を様々な方向 たカメラの幾何学的な外部パラメータ（位置や姿勢なから撮影し，その複数の２次元の画像のデータに基づ ど）および内部パラメータ（レンズの焦点距離や歪みき，コンピュータ処理によって，物体の３次元形状を など）を，高精度に推定することができる。
再現する点群データを構成する手法である[3]。
推定された特徴点の座標の集合は，点群として被写３次元再構成に利用される画像データは，被写体の 体の３次元形状を再現するデータとなる。この３次元周囲の様々な方向や距離にある視点に設置されたカ 点群データに基づいてコンピュータで画像を描画すメラから撮影した，多数の写真の集合である。被写体 ることにより，被写体の形状を自由な視点から，インが静止している場合には，一台のカメラを移動させな タラクティブに提示する教材が実現する。この点群デがら撮影した画像を利用することも可能である。移動 ータの描画の際の視点は，元の画像データの撮影の際するビデオカメラからの映像を利用することも可能 の視点に限定されない。
である。それぞれの写真や映像フレームには，その被本研究では，この SIFT 法による２次元画像内の特写体の形状が，様々な視差を持って記録されることに 徴点の抽出と，SfM 法による３次元座標の推定とを，なる。一連の画像データはコンピュータに入力され， Changchang Wu によって開発され配布されている処理される。
コンピュータプログラム「VisualSFM」[6, 7]を利用しコンピュータにおいては，まず画像データから， て実施した。また，SfM 法によって推定されたカメラSIFT（Scale-Invariant Feature Transform）法[4]によ の幾何学的パラメータに基づいて，より高密度に特徴って，被写体の特徴点を抽出し，それらの特徴量を算 点 の ３ 次 元 座 標 を 推 定 す る 処 理 を ， Yasutaka出する。
Furukawa によって開発され配布されているコンピ
SIFT 法による処理は，２次元の画像データの平滑 ュータプログラム「CMVS」[8]を利用して実施した。
化を，異なる分散の複数のガウシアン関数について行い，それらの差分から画像データ内のエッジを抽出す
３．機関室の主機の３次元再構成る。その２次元のエッジデータ内から極値を探索し，それらを特徴点の候補とする。それらの特徴点近傍に本研究では，練習船「弓削丸」機関室内の主機（メおけるデータの主曲率を計算し，その２個の固有値の インエンジン）を様々な方向から，様々な距離から撮比率から，コーナー上の特徴点とエッジ上の特徴点と 影した２次元画像に基づいて，その主機の３次元形状を区別し，前者を選択的に抽出する。また特徴点の近 の再構成に取り組んだ。なお，本校の練習船「弓削丸」
傍に対するコントラストも参考とし，さらに特徴点を の機関室は狭隘であり，主機の周囲には様々な機器絞り込む。それぞれの特徴点において，方向成分毎の （発電機や制御盤など）や構造物（タラップや柱など）

15
練習船の実写画像からの３次元再構成が配置されており，主機だけを撮影することは困難である。本研究で撮影した写真も，主機以外の機器や構造物が写りこむものとなっている（図１～２）。
２次元画像データに基づいて再構成された，主機の３次元点群データを用いると，周囲の機器や構造物に妨げられることなく，主機の形状だけをコンピュータの画面上に表示することができる（図３～６）。さらに，遠近による歪みのないオルソ画像を表示することも可能である（図５）。オルソ画像は，あたかも無限遠の位置にあるカメラから，無限大の焦点距離を持つレンズで撮影したかのような，正射投影による画像である。これらのような画像をインタラクティブに表示するコンピュータシステムがあれば，学生は船内では得られない視点からも自由に主機を見ることのできるようになる。
たとえば図５のような画像を見れば，主機が機関室の床に対して斜めに，船尾側が下がるように設置されている様子を，直感的に把握することができる。これは狭隘な現場においては把握の難しいものであるが，船体の構造についての本質的な理解を深めるために重要な視点である。

図１ 弓削丸の主機の右舷側の写真（一部）

図２ 弓削丸の主機の左舷側の写真（一部）16
弓削商船高等専門学校

紀要

第 38 号（平成 28 年）

図３ 弓削丸の主機の３次元点群データ（右舷船首方向からの視点で描画）

図４ 弓削丸の主機の３次元点群データ（右舷船尾方向からの視点で描画）

17
練習船の実写画像からの３次元再構成

図５ 弓削丸の主機の３次元点群データ（右舷正横無限遠からのオルソ画像）

図６ 弓削丸の主機の３次元点群データ（右舷船尾方向からの視点で描画）

４．船首部の甲板機械の３次元再構成
本研究ではさらに，練習船「弓削丸」の船首部の甲板機械（ウィンドラス等）の形状や配置についても，３次元再構成を試みた。
再構成した３次元点群データによって，海上の視点からの画像（図７）や上空無限遠の視点からのオルソ画像（図８）などを，コンピュータの画面に表示することが可能となった。すなわち，通常では得られない視点からも自由に練習船の甲板を見ることのできるｅラーニング教材が実現した。
５．まとめ
練習船「弓削丸」の機関室内の主機と，船首部の甲板機械について，実写画像に基づく３次元再構成によって，３次元点群データを作成した。この３次元点群データをコンピュータにて描画することにより，練習船の主機や甲板機械を様々な角度から，現18
弓削商船高等専門学校紀要

図７ 弓削丸の船首部甲板機械の３次元点群データ

実では得られない視点からも見ることのできるｅラーニング教材が実現した。
この新しいｅラーニング教材は，単に練習船実習の一部を再現するにとどまらず，練習船実習を超える視点をも学生に提供し，船舶の構造に関する本質的な理解の深化に寄与するものと期待される。今後，実際の教育現場で活用しながら，データの拡張と充実を進めていくことによって，その教育効果を高めていくことができるものと思われる。
さらに，無人航空機（いわゆるドローン）などを用いて練習船の船体を周囲の海上の様々な視点から撮影し，その画像データを用いて３次元再構成を行えば，練習船「弓削丸」の全体の３次元点群データを作成することも可能であろう。また，３次元点群データを編集し，３次元造型機（いわゆる３Ｄプリンタ）で出力することにより，精密な模型教材を低コストで作成することも可能であろうと思われる。
謝辞
本研究の実施に際しては，本校商船学科の松永直也准教授と小林一平助教に，多大なご協力をいただいた。また本研究は，JSPS 科研費 25871046 の助成を受けて実施されたものである。ここに謝意を表する。
参考文献[1] 向瀬紀一郎, 熊川和真, “機関室ウォークスルーシステムによる船員教育,”高専教育 38, 4954 (2015)

第 38 号（平成 28 年）

図８ 弓削丸の船首部甲板機械のオルソ画像[2] 向瀬紀一郎, 市川颯, 熊川和真,“船舶機関士の安全教育における機関室ウォークスルーシス
テムの応用,” 工学教育 63(5), 40-44 (2015)[3] Kenichi Kanatani, “Statistical Optimization
for Geometric Computation: Theory andPractice,” Dover Publications, (2005)[4] David G. Lowe, “Object recognition from local
scale-invariant features,” Proceedings of theInternational Conference on Computer Vision,1150-1157 (1999)[5] Frank Dellaert, Steven M. Seitz, Charles E.
Thorpe, Sebastian Thrun, “Structure fromMotion
withoutCorrespondence,”
Proceedings of IEEE Conference on
Computer Vision and Pattern Recognition,
2000, 557-564 (2000)[6] Changchang Wu, “VisualSFM: A Visual
StructurefromMotion
System,”http://ccwu.me/vsfm/[7] Changchang Wu, “Towards linear-timeincrementalstructure
frommotion,”
Proceedings of the 2013 International
Conference on 3D Vision,127-134 (2013)[8] Yasutaka Furukawa, “Clustering Views forMulti-View
Stereo(CMVS),”
http://grail.cs.washington.edu/software/cmvs/