公立はこだて未来大学 2016 年度 システム情報科学実習
グループ報告書
Future University Hakodate 2016 System Information Science PracticeGroup Report

プロジェクト名バーチャルダイビング

Project Name
Virtual Diving

グループ名
解析班

Group Name
Analysis Group
プロジェクト番号/Project No.

18-B

プロジェクトリーダ/Project Leader
1014196

川戸春磨

Haruma Kawato

グループリーダ/Group Leader
1014196

川戸春磨

Haruma Kawato

グループメンバ/Group Member
1014196

川戸春磨

Haruma Kawato

1014185

寺本嘉希

Yoshiki Teramoto

指導教員
長崎健

和田雅昭

高博昭

AdvisorTakeshi Nagasaki Masaaki Wada Hiroaki Taka

提出日2017 年 1 月 18 日

Date of Submission
January 18, 2017

概要
国土交通省によると、年々若者の海への関心は高まっている。しかし、現在 8 割の学校が教科書記載の範囲にとどまった内容しか海洋教育を実施しておらず、現状では不十分であるという声も上がっている。そのため、教科書以外に気軽に海の知識を学べるようなコンテンツが必要だと考えた。そこで、本プロジェクトでは、若年層の中から小中学生を対象に、実際の海中映像を用いて海に関する知識を身に付けてもらうことを目的とし、気軽に利用できるスマートフォン向けのアプリケーションを開発した。
解析班では、撮影された海中の映像をアプリケーションで用いることができるように映像を編集することを担当した。具体的には、映像の明るさを調整することや、映像から魚の写っているシーンを抽出するという作業を行なった。撮影してきた映像には、魚が写っていないシーンも多くあるため、魚の写っているシーンの抽出作業を行なう必要がある。その作業は一般的に、人の手で行なわれるが、映像の再生時間に比例して、作業の負担が大きくなる。そこで、魚の写っているシーンを自動で抽出するシステムを作成することで、作業の効率化を試みた。
作成したシステムを適合率と再現率を使って評価すると、適合率 70.18%、再現率 69.68% という結果が得られた。しかし、映像の中から魚の写っているシーンを全て抽出するという目標は達成することはできなかった。そのため、魚を検知するアルゴリズムの改善が今後の課題となる。
キーワード

Android アプリケーション, 360 度カメラ, 海, 教育, 映像解析, 動体検知（※文責: 川戸春磨）-i-Abstract
According to the Ministry of Land, Infrastructure and Transport, young people’s interestin the sea is increasing year by year. However, there are opinions that the marine
education has not been carried out suﬃciently, because 80% of schools have only taught
the content of the textbooks. Therefore, we thought that contents other than textbooks
would be necessary to learn about the sea easily. In this project, we divided into
three groups, shooting group, analysis group and application group, and developed anapplication for smart phones that we can use easily, with the aim of getting knowledge
about the sea using actual underwater movies targeted for the elementary and juniorhigh school students among the young people.
Analysis team took charge of editing underwater videos to use application. Because,
most of scene in the video can not use to application. So, we developed a system
extracting scenes fish exist.we evaluated the system, the precision rate was 70.18% andthe recall rate was 69.68%.
KeywordAndroid Application, 360°
Motion Detection

Camera, Sea, Education, Movies Analysis,（※文責: 川戸春磨）- ii -

目次
第1章

はじめに

1

1.1

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2

目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11.3

課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

本グループの概要

22.1

問題・目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

2.2

課題の設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

2.3

課題の達成目標 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22.4課題の割り当て . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

課題解決のプロセス

43.1

海中で撮影した映像の特徴 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43.2

魚を検知する方法について . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43.3

動体の検知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4差分を利用した検知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43.3.1.1

フレーム間差分法 . . . . . . . . . . . . . . . . . . . . . . . . . .

43.3.1.2

背景差分法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53.3.1.3

逐次的な背景更新を利用した差分法 . . . . . . . . . . . . . . . .

5

前処理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53.3.2.1

明るさの補正 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53.3.2.2

ノイズを減らす処理 . . . . . . . . . . . . . . . . . . . . . . . . .

63.3.2.3

動体検知の補正を行う処理 . . . . . . . . . . . . . . . . . . . . .

63.3.2.4

映像に生じたブレの補正 . . . . . . . . . . . . . . . . . . . . . .

73.3.2.5

波の影響による誤検知を減らす処理 . . . . . . . . . . . . . . . .

7

検知された動体が魚かどうかの判断 . . . . . . . . . . . . . . . . . . . . . . . . .

8

グループ内のインターワーキング94.1

川戸春磨 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

94.2

寺本嘉希 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9第2章

第3章

3.3.1

3.3.2

3.4
第4章

第5章

5.1

第6章

6.1

結果11

解析方法の結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

115.1.1

背景差分法における検知の結果 . . . . . . . . . . . . . . . . . . . . . . . .

11

5.1.2

映像解析システムの実装と結果 . . . . . . . . . . . . . . . . . . . . . . . .

11

まとめ
本グループの成果

6.1.1

12. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

前期 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12- iii -6.1.2後期 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

第7章

今後の課題

13

付録 A

参考文献

14

付録 B

新規習得技術15

付録 C

活用した講義16- iv -Virtual Diving

第 1 章 はじめに
1.1

背景

国土交通省によると、日本海事センターが行った「海に関する国民意識調査」において 10 代で「海が好きである」と回答した人はマリンレジャーの人気の影響もあり、2013 年では 56.9% で、2014 年では 62.2% と、12.3% 増加している [1]。しかし、現在 8 割の学校が教科書記載の範囲にとどまった内容でしか海洋教育を実施しておらず、現状の教育では不十分であるという声が上がっている [2]。
（※文責: 川戸春磨）

1.2

目的

本プロジェクトでは、教科書以外に気軽に海の知識を学べるようなコンテンツが必要だと考えた。そこで、若年層の中から小中学生を対象に、実際の海中映像を用いて海に関する知識を身に付けてもらうことを目的とした。
（※文責: 川戸春磨）

1.3

課題

1.2 節で立てた目的を達成するために本プロジェクトでは、教科書以外に気軽に海について学べるようにスマートフォン向けのアプリケーションを開発することを課題とした。海について学んでもらうための機能として、海の映像を見てもらう機能と魚の情報を提供する機能が必要と考えた。
（※文責: 川戸春磨）

Group Report of 2016 SISP

-1-Group Number 18-B

Virtual Diving

第2章
2.1

本グループの概要

問題・目的

アプリケーションで用いる映像は、魚が写っている映像が最も良いと考えた。なぜなら、アプリ
ケーションの利用者に海中での魚の様子を見てもらうことで図鑑の写真だけではイメージできない魚の動きなどを見せられるからである。しかし、撮影班が撮影してきた映像には魚が写っていないシーンも多いため、魚の写っているシーンのみを抽出する必要がある。従来は、シーンの抽出作業は人の手によって行われてきたが、映像の本数に比例して抽出作業の負担が大きくなってしまう問題がある。そこで、本グループではシーンの抽出作業の効率化を図ることを目的とした。
（※文責: 川戸春磨）

2.2

課題の設定

2.1 節で述べた問題を解決するために、映像の中から魚が写っているシーンを見つける映像解析システムを作った。映像解析システムの作成のため、以下のような課題を設けた。

• 映像解析の技術の習得– OpenCV– python– C++• 映像解析システムの作成– 映像中から動体の検知∗ 背景差分法– 検知された動体が魚かどうかの判断（※文責: 川戸春磨）

2.3

課題の達成目標

2.2 節で設けた課題について、達成目標を設定した。映像解析の技術の習得は、映像解析システ
ムが実装できるレベルまでを目標にした。映像解析システムは、魚が写っているシーン全てを検知することを目標にした。前期では、映像解析の技術の習得、映像を解析し魚を検知することに取り組んだ。後期は、映像解析システムを完成させ、システムがどれくらいの精度で魚を検知できるか求めた。
（※文責: 川戸春磨）

Group Report of 2016 SISP-2-Group Number 18-B

Virtual Diving

2.4

課題の割り当て2.2 節で設けた課題を各人の希望や得意分野を考慮して、以下のようにメンバーに割り当てた。
• 動画解析の技術の習得– OpenCV ・・・ 川戸、寺本– python ・・・ 川戸– C++ ・・・ 寺本• 映像解析システムの作成– 映像中から動体の検知∗ 背景差分法 ・・・ 寺本– 検知された動体が魚かどうかの判断 ・・・ 川戸（※文責: 川戸春磨）

Group Report of 2016 SISP-3-Group Number 18-B

Virtual Diving

第3章
3.1

課題解決のプロセス

海中で撮影した映像の特徴

カメラを利用して撮影をする場合、、海中では波の影響や撮影環境の影響でカメラが揺れてしまい動画にブレが生じてしまうことがある。この揺れに対する処理が必要になるため、解析にあたってブレの補正を行う必要がある。
（※文責: 寺本嘉希）

3.2

魚を検知する方法について魚を検知するには多くの手法が考えられる。そのためシステム作成に要する期間、技術を考慮して最適な手法について検討した。第一に、深層学習を利用した手法について検討した。この手法では目的の検知物の画像を利用して検知器を作成し、それを利用して映像から魚の検知を行う。この手法は検知器の作成に数千枚から数十万枚程の画像を準備する必要がある。そのため検知器の作成に膨大な時間が掛かると考えた。次に、背景差分法を用いた検知方法について検討した。この手法では映像中の動体を検知することは可能であるが、その動体が魚かどうかを判断することは行えない。そのため動体検知を行い、その動体が魚であるかどうかを判定するといった工程が必要になる。その一方で、画像収集に要する時間を必要としないために検知器の作成に要する期間を短くすることが可能である。そのため、比較的容易に実装が可能であると考えた。このことから本プ
ロジェクトでは実装の容易さから差分画像を利用して魚の検知を行うシステムを作成することとした。
（※文責: 寺本嘉希）

3.3

動体の検知

3.3.1

差分を利用した検知

魚を検知するシステムを作成する際に、以下の動体検知手法を使用した。

3.3.1.1

フレーム間差分法

フレーム間差分法とは観測画像の直前の数フレームから構成した画像と観測画像の差分値を取ることにより、動体を検知する手法である。直前の画像と比較するという性質上、環境の変化などにはあまり影響を受けない。しかし、動きが緩慢な物体の検知などは難しいという特徴があるため注意が必要になる。
（※文責: 寺本嘉希）Group Report of 2016 SISP

-4-Group Number 18-B

Virtual Diving3.3.1.2

背景差分法

背景差分法とは動体を検知する方法の一つであり、観測画像と事前に取得しておいた移動物体が存在しない状態の背景画像を比較することで、背景画像には存在しない物体を抽出することが出来る。この手法では映像が固定されているという前提で処理を行う為、カメラが揺れる様な場合に誤検知が生じる。また環境の影響などによりゆっくりと映像が変化するといった場合についても同様に誤検知が生じるためそれらに対しての対策が必要になる。しかし、前項で述べたフレーム間差分法と比べて、背景差分法は背景画像に移動物体が存在しない画像を使用することで、精度の高い検知が可能である。
（※文責: 寺本嘉希）

3.3.1.3

逐次的な背景更新を利用した差分法

前項でも記載したが、背景差分法では、環境の変化などにより映像にゆるやかな変化が起こる場合に誤検知が生じる恐れがある。これに対する対策として、新しく読み込んだ画像を利用して背景画像を更新する手法を取ることとした。この手法では一般的な背景差分法とは異なり、背景画像を逐次的に更新するためゆっくりとした環境の変化による誤検知を防ぐことができる。本プロジェク
トでは画像処理ライブラリである OpenCV を利用して複数のフレームから明るさや、色の情報を取得し、それらの値の平均をとるフレームを逐次的に作り出し、これを背景として採用することで上記の手法を実現した。
（※文責: 寺本嘉希）

3.3.2

前処理

3.3.2.1

明るさの補正動体検知をする上で、暗い箇所での検知は明るい箇所で検知を行うよりも検知が難しくなる。そのために明るさを補正するなどして動体の検知が行いやすいように前処理を行う必要がある。今回はガンマ補正を利用して明るさの調整を行った。ガンマ補正とは、画像などの色のデータと、それが実際に出力される際の信号の相対関係を調節して、より自然に近い表示を得るための補正である。この補正は入力機器の特性に応じて画像の明るさを調整するために用いられているが、低照度画像の補正に用いることも可能である [3]。

1Ya = 255 × (Yb ÷ 255) γ(3.1)

Ya はガンマ補正を行なった後の輝度値で、Yb はガンマ補正をする前の輝度値である。
上記の式を利用してガンマ値から最適な変化後の値を求めることができる。このとき γ の値を1 以上にしたとき明るくなる。またγ の値を 1 より高い値に設定すると細かなノイズが発生するため、ノイズを減らす処理が必要になる。このことから映像を見ながらノイズの発生が少なくなるように手動でγ値を決めた。最終的にはγ値を 1.3 として明るさの補正を行った（※文責: 寺本嘉希）Group Report of 2016 SISP

-5-Group Number 18-B

Virtual Diving(2) 補正後(1) 補正前
図 1 ガンマ補正の適用

3.3.2.2

ノイズを減らす処理検知を行った際に得られた差分画像に細かなノイズが発生することがある。このノイズは動体の誤検知を招くため、除去する必要がある。本プロジェクトではノイズ除去にメディアンフィルタを使用した。メディアンフィルタとは n × n の局所領域における濃度値を小さい順に並べ、真ん中にくる濃度値を領域中央の画素の出力濃度とするフィルタのことである。このフィルタを適用することで、画像内の周囲と大きく異なる画素を取り除くことが可能で、動体検知や、ガンマ補正の際に発生した細かなノイズの除去に利用できる。なお今回は 7 × 7 のフィルタを使用し補正を行なった。
（※文責: 寺本嘉希）

3.3.2.3

動体検知の補正を行う処理

検知において、動体の動きが極度に遅い、もしくは極度に速い様な場合に使用しているアルゴリ
ズムの特性により差分画像を上手く生成出来ずに検知画像に欠けが発生することがある。実際に、システムの作成段階では動体の中心の一部が上手く検知されずに欠けが生じていることが多く見られた。そのままの結果を用いると動体の検知が上手く行えない恐れがあるため検知画像の欠けを補う必要がある。そのためクロージング処理を用いて、検知画像の欠けを補うこととした。クロージ
ング処理とは、二値画像に対して、注目画素の周辺に１画素でも白い画素があれば白に置き換えるという膨張処理を任意の回数行った後に、周辺に１画素でも黒い画素があれば黒に置き換える収縮処理を同回数行う処理のことである。この処理を行うことにより、検知画像の欠けを補うことが期待され、適切な差分画像の生成が行える。

(1) 適用前
図2(2) 適用後クロージング処理の適用例（※文責: 寺本嘉希）Group Report of 2016 SISP-6-

Group Number 18-B

Virtual Diving

3.3.2.4

映像に生じたブレの補正

動体検知に使用した背景差分法は固定カメラを使用して撮影した映像に適用することを想定されている。そのため適切な動体検知を行うにはアルゴリズムに適用する映像をブレの少ない映像に近づけたものにする必要がある。今回のプロジェクトで使用する映像は海中で撮影した物のため波の影響により細かなブレが生じており、これが適切な動体検知を妨げる要因となっている。よってブレの補正を行うこととした。実装には OpenCV の関数である findTransformECC[4] を使用した。
この関数は設定した画像に対して比較対象として画像を与えることで、比較対象の画像を設定した画像に近づけるような幾何学的変換を推定することが可能である。そしてこれを利用することで画像間のブレを補正することができ、この関数を映像全体に適用することでブレの補正が行える。
（※文責: 寺本嘉希）

3.3.2.5

波の影響による誤検知を減らす処理

3.3.2.4 節の処理を行なうことで波によるブレが小さな場合、補正することができた。しかし、波によるカメラのブレが大きい場合うまく補正できなかった。そこで、補正がうまくいかなかった場合の対処を考える必要がある。そこで、ブレ補正がうまくいかなかった場合の波の特徴について調べるため、フレーム毎の検知された動体の画素数を図 3 に示した。その波の影響を受けている場合は、動体の画素数が急激に増えていることがわかった。そこで、下記の式を用いて、その波の影響を受けているか判断した。

d = f (t + 1) − f (t)(3.2)

d は、1 フレーム当たりの動体の画素数の増加量で、f (t) は、t 番目のフレームにおける動体の画素数を表している。プログラムでは、d の値が以下の範囲にあるときに波の影響を受けているとして、影響を受けている時は魚は写っていないという判断をすることにした。

−250 < d < 250(3.3)

d の値の範囲は、この処理を映像に適用し、波の検知した結果をもとに値を変化させ、最も波の検知率が良いものを選んだ。

図3Group Report of 2016 SISP

動体として検知されたの画素数の時間変化-7-Group Number 18-B

Virtual Diving（※文責: 川戸春磨）

3.4

検知された動体が魚かどうかの判断

3.3.2 節で挙げられた前処理を映像に適用することによって得られる動体検知の結果は、海中を移動しているものや、実際に動いているものに限られる。検知結果には魚以外にも海中のゴミも含まれる。そのため、得られた動体が魚であるのか、または別のものであるのかを判断する必要がある。そこで、魚と判断する動体の画素数の最低値を決めて、その値以上であれば魚が写っていることにした。魚かどうかの判断はフレーム毎に行う。これを式で表すと以下のようになる。

T<f (t)(3.4)

ここで、f (t) は t 番目のフレームにおける動体の画素数で、T は魚と判断する動体の画素数の最低値を表している。プログラムでは、T の値を 100 として魚の判断を行なった。この T の値は、魚の検知した結果をもとに値を変化させ、最も魚の検知率が良いものを選んだ。
（※文責: 川戸春磨）

Group Report of 2016 SISP-8-

Group Number 18-B

Virtual Diving

第 4 章 グループ内のインターワーキング
4.1

川戸春磨

5 月 解析方法の検討 寺本と映像から魚を見つけるための解析方法を挙げていき、どの解析方法が良いかを検討した。そして映像解析システムの構成決めた。このシステムを作成するにあたって必要な課題を各自で行うものとグループで行うものを分けた。具体的には、システムの実装は各自で行う作業とし、実装に必要な知識や技術の習得はグループ単位で行うように分けた。

6 月 技術習得と実装 映像から魚を見つけだすシステムの作成にあたり、OpenCV と python の使い方を学ぶ必要があった。そのため、寺本と協力し OpenCV のサンプルプログラムを動かした
り、改変したりすることで使い方を学んだ。そして、映像解析システムの実装に取り掛かった。実装は主に動体の画素数から魚かどうかを判断する処理を担当し、この時点では、魚以外の動体である、波の影響を減らす処理を実装した。

7 月 中間成果発表に向けた準備 中間成果発表では、寺本と共に、解析班のスライド資料を制作した。スライド資料の他に私は、メインポスターの制作も行っていた。

9 月 後期の作業、成果物のついての話し合い プロジェクト全体で話し合い後期で最終成果物の制作の方針を決めた。決まった方針と前期の進捗状況をもとに、後期の作業について進め方や、作業分担について話し合った。そして、寺本には映像の分割や明るさ調整といった映像を見やすくする処理を課題として新たに与えた。

10 月 実装と実験 各自作成していたプログラムを統合し、映像解析システムの完成させた。そして、どの程度の精度で魚を検知することができるかを実験した。

11 月 最終成果発表に向けた準備 最終成果発表に向けて、スライド制作とポスター制作の 2 つに仕事を分け、スライド資料制作の仕事を寺本に与えた。そして、自分はポスター制作を担当した。

12 月 最終成果発表と報告書の作成 最終成果発表で、質問されたことを寺本と共有しより良い発表になるよう努めた。また、報告書の作成では、担当する節を決めて、期限を決めその日までに書くよう促した。
（※文責: 川戸春磨）

4.2

寺本嘉希

5 月 魚の検知方法の選定 システム構成の検討魚を検知するための方法について調べた。その後、グループ内でどの手法が最適なものか話し合いを行った。その結果差分画像を用いた動体検知手法を用いて魚を検知することに決まった。そしてどのような手法を用いてシステムを作るかを決めた。

Group Report of 2016 SISP

-9-Group Number 18-B

Virtual Diving
6 月 技術習得と実装 システムの実装にあたり必要な python, C++, 画像処理ライブラリのOpenCV について川戸と共に勉強を行った。また簡易的なフレーム間差分のプログラムを作成し、検知手法に対する理解を深めた。その後背景差分法を利用した動体検知プログラムを作成し、問題点とそれに対する改善方法について検討した。

7 月 中間発表のスライド作成と発表、報告書の作成 中間発表に向けて川戸と共にプレゼン資料の作成を行った。中間発表ではアシスタントと解析班に対する質問への対応を行った。その後中間報告書の作成を行った。

9 月 後期の作業、成果物についての話し合い プロジェクト全体で最終成果物の制作をどのようなかたちで進めていくかの話し合いを行った。その後川戸と共にグループ内で今後の方針について取り決めを行った。

10 月 実装 前期で実装途中であったブレ補正のプログラムを作り直し、システムの改善に努めた。またプロジェクト全体で使用する動画の明るさ等の調整を行った

11 月 最終発表のスライド作成、報告書の作成 最終発表に向けてプレゼン資料の作成を行った。
その後、最終報告書の作成を行った。

12 月 最終発表の練習 プロジェクト全体で、最終成果物発表のプレゼンテーションの練習及び発表資料の作成を行なった。
（※文責: 寺本嘉希）Group Report of 2016 SISP

- 10 -

Group Number 18-B

Virtual Diving

第 5 章 結果
5.1

解析方法の結果

5.1.1

背景差分法における検知の結果

映像から動体を検知するプロセスである。背景差分方法を利用して映像中に存在する動体を検知するプログラムを作成した。そして、撮影班が撮影してきた映像に対してプログラムを適用した。使用した映像の総再生時間は 480 秒でそのうち魚が写っていた秒数は 277 秒であり、映像のフレームレートは 30fps であった。その後生成された差分画像に対して目視で検知結果の検証をおこなった。その結果映像中に魚が写っている 277 秒全ての時間で、魚が写っていると判断できる差分画像を生成することが出来た。

図4

動体検知の結果（※文責: 寺本嘉希）

5.1.2

映像解析システムの実装と結果

映像から動体を検知する処理、検知された動体が魚かどうかを判断する処理の二つを合わせて映像解析システムとした。そして、撮影班が撮影してきた映像に対してこのシステムを適用した。システムを適用した映像は、総再生時間は 480 秒でそのうち魚が写っていた秒数は 277 秒であった。
また、映像のフレームレートは 30fps であった。その結果、このシステムが魚が写っていると判断した秒数は、275 秒でそのうち 193 秒が実際に魚が写っているシーンであった。したがって、このシステムの適合率は 70.18% で、再現率 69.68% はという結果になった。映像解析システムの目標であった魚の写っているシーンを全て検知することはできなかった。
（※文責: 川戸春磨）

Group Report of 2016 SISP

- 11 -

Group Number 18-B

Virtual Diving

第6章

まとめ

6.1

本グループの成果

6.1.1

前期

前期では OpenCV の使い方に慣れて、魚を検知するところまでを目標にした。OpenCV の使い方は基本的な部分は習得できた。映像解析システムは、背景差分法を用いて動体の検知を実装した。また、魚の誤検知につながるため、映像の明るさの補正や、ノイズの軽減、波の影響を軽減する処理を実装した。
中間発表では、解析技術についての意見が少なかった。アンケートを見てみると、解析の方法や解析をする意味がわかりにくいという声が多く寄せられた。これは、発表がわかりにくいことが原因だったと考えられる。
（※文責: 川戸春磨）

6.1.2

後期

後期では動体検知の正確性を高めるために映像のブレ補正、アプリで使用するための動画の編集及び明るさ調整等の編集を行った。また動体検知の結果から動体が魚であるかを判断できるようにアルゴリズムを考え、実装を行った。ブレ補正には画像処理ライブラリである OpenCV のブレ補正アルゴリズムを採用し、映像に生じた細かなブレは補正することができるようになり、動体検知が正確なものに近づいた。また動体の検知結果から映像のどの時間帯に動体が検知されたか把握することが可能になり、映像に魚のみが写っている場合は 70.18% の確率で魚の検知が行えるようになった。そして検知結果を利用して映像内から抽出すべき時間を探し、動画編集ソフトの AviUtlを利用し編集を行った。その際に映像が見やすくなるように手動で明るさ等の調整も並行して実行した。
期末発表では、解析のデモを取り入れたため、手法の説明が分かりやすいという意見をもらうことが出来た。しかし使用した技術、解析手法について既存の技術のみが用いられており、プロジェクトで生み出された技術が無いという指摘を受けた。
（※文責: 寺本嘉希）Group Report of 2016 SISP

- 12 -

Group Number 18-B

Virtual Diving

第 7 章 今後の課題
プロジェクト全体を通して, 動体検知アルゴリズムを用いて動体の検知を行い、その結果から魚の判定を行うことを目標に作業を行った。動体検知においては前処理として映像に各種の補正を適用してから動体の検知を行ったが作成したプログラムでは映像の補正が満足に行えていなかったた
めに上手く検知が行えていない箇所が存在した。そのため動体検知を行う前処理として、より映像にあった補正が必要であると考えた。また、魚の判定においても課題が存在する。本プロジェクト
では魚の判定に閾値処理を用いているため、波などの大きな変化による動体の誤検知を検知することは可能である。しかし検知される物体は魚では無く、石や海藻、ゴミなども含まれる。そのため検知された動体が想定した魚のサイズに近しいものであった場合は、それが魚であるかどうかを判断することは非常に難しくなってしまう。そのため動体が魚かどうかを判定するために動体のサイズだけで判定するのではなく、形などを含めた複数の情報を用いて判定を行うことが必要になると考えた。
（※文責: 寺本嘉希）Group Report of 2016 SISP

- 13 -

Group Number 18-B

Virtual Diving

付録 A

参考文献

[1] 国土交通省. 2014.

国民の海への親しみ、理解の向上について.

http://www.mlit.go.jp/common/001053846.pdf（2017/01/09 アクセス）[2] 酒井栄次. 2013.に向けて .

学校教育における海洋教育普及の具体的方策―次期学習指導要領の改訂『海事交通研究』2013 年第 62 集, 山縣記念財団.

[3] 三浦 康之, 藤井 悠太 (2015) 低照度映像を対象とした動体認識の為の画像補正法の検討 情報処理学会第 77 回全国大会 1D-02[4] Evangelidis, G.D. and Psarakis E.Z.

Parametric Image Alignment using Enhanced

Correlation Coeﬃcient Maximization , IEEE Transactions on PAMI, vol. 32, no. 10, 2008)

Group Report of 2016 SISP

- 14 -

Group Number 18-B

Virtual Diving

付録 B 新規習得技術
画像処理の知識。OpenCV ライブラリ。C++,python の基礎知識

Group Report of 2016 SISP

- 15 -

Group Number 18-B

Virtual Diving

付録 C 活用した講義
画像工学、パターン認識

Group Report of 2016 SISP

- 16 -

Group Number 18-B