プロジェクト報告書 Project Report

提出日(Date)

2017/01/18

バーチャルダイビング
Virtual Diving
1014196 川戸春磨
1. 背景・目的

Haruma Kawato
身につけてもらうアプリケーションの開発である。実装す国土交通省によると、日本海事センターが行った「海にる機能について検討、改良を重ねた結果、アプリケーショ関する国民意識調査」において、10 代で「海が好きである」

ンには、マップ機能、360 度動画再生機能、通常動画再生と回答した人は、2013 年で 56.9%、2014 年で 69.2% と機能、図鑑機能、クイズ機能、チュートリアル機能、実績増加しているという結果が出ている[1]。つまり、年々若者機能を実装した。の海への関心は高まりつつあると言うことができる。しかし、海洋教育は、8 割の小、中学校が教科書記載の範囲に

3. 課題解決のプロセスとその結果とどまった内容しか実施しておらず、その内容が不十分で3.1 撮影班あるという指摘も挙がっている[2]。つまり、義務教育中に

3.1.1

海洋に関する十分な知識を学ぶことはほとんど無いのであ設計指針

撮影機材の制作る。そのため、海の知識を手軽に学べるようなコンテンツ海中の映像を撮影するにあたり、プロジェクトの成果物が必要と考えた。そこで、本プロジェクトでは、小中学生となるスマートフォンアプリに必要な「実際に海の中にいを対象に、実際の海中の映像を使って海に関する知識を身るような映像」を撮影するための方法を検討した。撮影ににつけてもらうことを目的とした。

はKodak PIXPROSP360(以下、SP360) を使用することにした。その結果、海に潜って撮影することは難しいため、カ2. 課題の設定と到達目標

メラを海面に対し水平にした状態で沈め、ロープで吊り下目的を達成するために、本プロジェクトでは手軽に海のげて撮影するという方法をとることになり、そのための撮知識を学ぶことができるスマートフォン向けのアプリケー影機材を作成することとなった。しかし、この方法ではカションの開発を課題とした。アプリケーションを開発するメラの安全性の確保という課題が生じた。例えば、海中でにあたって、魚の情報を提示することと海中の様子が見らの撮影のため、カメラが浸水により故障する可能性がある。

れるように海中の映像が必要と考えた。そのため、海中のまた、カメラを吊り下げるためのロープの強度が不十分だ

映像を撮影する撮影班、アプリケーションで用いるためにと波によりロープが分断され、カメラが水没し回収が困難

海中の映像を編集する解析班、アプリケーションを開発すになる可能性がある。

るアプリ開発班に分かれて活動を行なった。
撮影班の目的は、「実際に海の中にいるような映像」の撮部品の組み立て影を目的にした。その目的を達成するために、360 度カメ

カメラの安全を確保するための防水ケースにはSP360 専

ラを使用した機材を作成し、海中映像の撮影に取り組んだ。

用の防水ケースを用いた。そのケースはプラスチック製で解析班の目的は、映像を解析するシステムを作成し撮影あるためチェーンで吊り下げたときの負荷で変形して隙間された映像から魚が写っているシーンを自動で抽出するこが出来てしまい、ケース内部に水が入る恐れがある。よっとである。この目的を達成するために、背景差分法によるてケースに負荷がかからないようにケースに取り付けるア

動体の検知と検知された動体が魚かどうかの判断という課タッチメントを作成した。アタッチメントは海中に沈める題を設けた。映像解析システムでは、映像の中の魚が写っため、部品に鉄を使用すると塩分による腐食が発生する恐ているシーンを全て検知することを目標にした。

れがある。そのため、機材に使用する部品を強度があり腐アプリ開発班の目的は、海中の映像を用いて海の知識を食に強いステンレスを中心とした。

3.1.3

映像提供の依頼

撮影班が撮影した映像には、「海の色が濁っている」、「多くの魚を見ることができない」という問題があることが判明した。しかし、撮影班が移動できる範囲には限界があり、撮影場所の候補を増やすことができなかった。そして、撮影班のみでは綺麗な海中映像の撮影を行うことが困難であるという結論に至った。そのため、後期の活動では、
図1 作成した機材

ダイビングで様々な場所の海中を撮影している株式会社大歩様に、海中の透明度が高く、たくさんの魚が見られる映3.1.2

撮影像の提供を依頼した。そして、打ち合わせを経て、条件に撮影場所の立案と撮影の結果当てはまる江差や奥尻の映像をいくつか提供して頂いた。

撮影を行うにあたり、撮影場所は未来大学から近く、岸壁などがありカメラを吊り下げて沈めることが出来るという3.1.4 結果条件を満たす場所を探すことになった。その結果、前期で撮影班は、「実際に海の中にいるような映像の撮影」とは函館市国際水産・海洋総合研究センター(以下、海洋センいう目的を達成するために活動を行った。前期は、撮影にター) と港町埠頭が候補として挙がり、そこで撮影を行な用いるSP360 を固定するアタッチメントを作成し、海洋セった。後期では「鮭の遡上」を撮影するため、茂辺地川にンターと港町埠頭、茂辺地川で撮影を行った。しかし、プて撮影を行った。海洋センターで撮影した映像には水が緑

ロジェクト学習では時間・場所の制約が厳しく、活動時間色で濁っているという問題があった。図2に撮影した映像をが基本水曜日と金曜日のみだったこと、移動できる範囲が示す。港埠頭で撮影した映像は、海洋センターの映像よりあまり広くなかったことから、目的を達成できる映像を撮も水が澄んでおり、海洋センターとは別の種類の魚が映っ影することができなかった。そのため、後期では、ダイビていた。図3に港町埠頭で撮影した映像を示す。茂辺地川でングでさまざまな場所の海中撮影を行っている株式会社大撮影した映像は、水中の様子が綺麗に映るほど川の水が澄歩様に依頼し、「実際に泳いでいるように視点が移動する」、んでいることが分かったが、目的であった鮭は見当たらな「水が澄んでいて、海中の様子がよく見える」、「多くのかった。図4に茂辺地川で撮影した映像を示す。

魚が映っている」という条件を満たす映像を提供していた
だいた。そして最終的に、大歩様から提供していただいた
江差、奥尻、タイの映像と前期に我々が撮影した映像を本プロジェクトのアプリに使用した。

3.2 解析班
3.2.1

魚を検知する方法の検討

魚を検知するには多くの手法が考えられる。そのためシ
図2 海洋センターの映像

図3 港埠頭の映像

ステム作成に要する期間、技術を考慮して最適な手法について検討した。第一に、深層学習を利用した手法について検討した。この手法では目的の検知物の画像を利用して検知器を作成し、それを利用して映像から魚の検知を行う。
この手法は検知器の作成に数千枚から数十万枚程の画像を準備する必要がある。そのため検知器の作成に膨大な時間図4 茂辺地川の映像が掛かると考えた。次に、背景差分法を用いた検知方法について検討した。この手法では映像中の動体を検知することは可能であるが、その動体が魚かどうかを判断すること3.2.4は行えない。そのため動体検知を行い、その動体が魚であ映像から背景差分法による動体の検知、検知された動体がるかどうかを判定するといった工程が必要になる。その一魚かどうかを判断の二つを合せて映像解析システムとした。

方で、画像収集に要する時間を必要としないために検知器そして、撮影班が撮影した映像に対してこのシステムを用の作成に要する期間を短くすることが可能である。そのたいた。使用した映像は、総再生時間は 480 秒でそのうち魚め、比較的容易に実装が可能であると考えた。このことかが映っていた秒数は 277 秒であった。映像のフレームレー

ら解析班では実装の容易さから差分画像を利用して魚の検トは 30fps であった。また、映像はブレの補正やのノイズ知を行うシステムを作成することとした。の除去を行なったものを使用した。その結果は、プログラ

映像解析システムの結果ムが魚が映っていると判断した秒数は、275 秒でそのうち3.2.2193 秒が実際に魚が映っているシーンであった。これらを背景差分法による動体の検知

背景差分法とは動体を検知する方法の一つであり、観測もとに適合率と再現率で評価してみると、このプログラム画像と事前に取得しておいた移動物体が存在しない状態のの適合率は 70.18% で、再現率は 69.68% という結果にな

背景画像を比較することで、背景画像には存在しない物体った。映像から魚の写っているシーンをもれなく抽出するを抽出することが出来る。この手法では映像が固定されてという目標達成できなかった。そのため、アルゴリズムのいるという前提で処理を行う為、カメラが揺れる様な場合見直しが必要となってくる。に誤検知が生じる。また環境の影響などによりゆっくりと映像が変化するといった場合についても同様に誤検知が生

3.3 アプリ開発班

じる。この対策として、新しく読み込んだ画像を利用して3.3.1 目的の実現方法の検討背景画像を更新する手法を取ることとした。この手法では前期では全員でアプリケーションの開発を行ったが、後一般的な背景差分法とは異なり、背景画像を逐次的に更新期では、アプリ開発班内で、アンケートグループ、デザイするためゆっくりとした環境の変化による誤検知を防ぐこングループ、実装グループに分かれて、活動を行った。理とができる。解析班では画像処理ライブラリである

由として、作業を細分化することで、進捗管理を容易にし、OpenCV を利用して複数のフレームから明るさや、色の情知識の共有を行いやすくするためである。

報を取得し、それらの値の平均をとるフレームを逐次的に作り出し、これを背景とすることで動体を検知した。

アンケートグループは、完成したアプリケーションのフィードバックをもらうために、アンケートの作成や、アンケート結果を整理する作業を行った。デザイングループは、

3.2.3

検知された動体が魚かどうかの判断

アプリケーションの対象ユーザに合わせたデザインを考え、背景差分法では映像中の動体を検知することは可能であデザイン案やアプリケーションのアイコンを作成する作業るが、その動体が魚かどうかを判断することは行えない。

を行った。実装グループは、デザイングループが作成した

そのため、その動体が魚であるかどうかを判定するといっデザイン案をもとにアプリケーションの画面を作成し、アた工程が必要になる。そこで、魚と判断する動体の画素数プリケーションが動くように実装をする作業を行った。の最低値を決めて、その値以上であれば魚が映っていることにした。魚かどうかの判断はフレーム毎に行う。これを式で表すと以下のようになる。

T<

f(t)

3.3.2 実装機能の提案
前期は、最初にプロジェクトメンバー全員で実装する機(3.2.3)

能についてのアイデアを提案した。次にアプリ開発班の中

ここで、f(t) は t 番目のフレームにおける動体の画素数で、でアイデアの提案や検討を重ね、実装する機能を決定した。

T は魚と判断する動体の画素数の最低値を表している。プ

決定した機能は、360 度動画再生機能、図鑑機能、クイズ

ログラムでは、T の値を 100 として魚の判断を行なった。

機能、画像共有機能の 4 つである。

この T の値は、魚の検知した結果をもとに値を変化させ、最も魚の検知率が良いものを選んだ。

また、後期の初めに機能を再検討した。前期では、函館に住んでいる人や函館を訪れる人としていたが、後期では変更し対象ユーザを小中学生に定めた。その結果、マップ

実績機能は、ユーザが、作成したアプリケーションを使機能、360 度動画再生機能、通常動画再生機能、図鑑機能、って海に関する知識をつけることができたかをユーザ自身クイズ機能の 5 つの機能に決定した。画像共有機能を外しにフィードバックする効果がある。また、アプリケーショた理由は技術的な理由である。

ンを使えば使うほどフィードバックが帰ってくるため、ユ

また、5 つの機能が完成した後に実施したアンケートにより、チュートリアル機能と実績機能を追加することになーザにアプリケーションを使用したいというモチベーションを与える効果がある。

った。最終成果物の機能としては、マップ機能、360 度動画再生機能、通常動画再生機能、図鑑機能、クイズ機能、チュートリアル機能、実績機能の 7 つである。

3.3.3

実装した機能マップ機能は、動画の撮影個所を直感的に理解し、自分が見たい動画を探しやすくさせる効果がある。これは、ユ

図 6 実績機能のスクリーンショット

ーザが地図上に表示されたアイコンを見ることで動画の撮影個所を確認することができるためである。また、他の動4. まとめ画再生アプリケーションにはこのような機能はないことが本プロジェクトでは、小中学生を対象に、実際の海中の多い。そのため、作成したアプリケーションと他のアプリ映像を使って海に関する知識を身につけてもらうことを目ケーションを差別化する効果がある。

的とし、海について学べるスマートフォン向けのアプリケーションを開発した。完成したアプリケーションを使用してもらったところ、「海中映像で海の知識、海を学ぶためにクイズや図鑑などにしてわかりやすい」や「海に興味を持つという条件が満たされている」という評価を得られたことより、プロジェクトの目的を達成できたと考えられる。
しかし、このアプリケーションの対象である小中学生に使図 4 マップ機能のスクリーンショット用してもらう機会を設けられず、対象ユーザが知識を身に付けられるかどうかが不明瞭であった。今後の課題として

360 度動画再生機能は、本プロジェクトの「実際の海中映は、実際に小中学生に使ってもらうことで、このアプリケ像を用いて海に関する知識を身につけてもらう」という目ーションの改善を図ることがあげられる。

的を達成するためには必要不可欠な機能である。また、普段見ることのできない海中映像をアプリケーションで再生

参考文献

することは、ユーザの興味を引き付けるために十分な効果[1] 国土交通省. 2014. "国民の海への親しみ、理解の向上がある。これは、作成したアプリケーションにおける軸とについて".

ある機能で、ユーザの学習意欲を上げる効果がある。

http://www.mlit.go.jp/common/001053846.pdf(2017/1/9アクセス)[2] 酒井栄次(2013)「学校教育における海洋教育普及の具体的方策―次期学習指導要領の改訂に向けて」,『海事交通研究』2013 年第 62 集, 山縣記念財団.

図5

360 度動画再生機能のスクリーンショット