プロジェクト報告書（最終）Project Final Report

提出日 (Date) 2021/1/14

フィッシュカウンタープロジェクト

Fish Counter吉野遊 Yuu Yoshino

1 はじめに測定することを目標とした。

2.2 ぎょたんチーム

函館周辺では水産業が盛んに行われている。我々は、私たちの住む函館市は、太平洋および津軽海峡に囲ま水産業には情報技術を活用できる場面がまだ多くあるれているほか、天然の良港にめぐまれている。また、周と考える。例えば、漁業者の勘や経験を数値化すること辺海域に流れ込む暖流 (対馬海流) および 2 つの寒流 (リや、手作業の仕事を自動化する事が挙げられる。本プロ

マン海流および親潮) は豊かな海を育み、函館市の漁業ジェクトでは、情報技術で函館周辺の水産業を支援する成長の起因になっている [1]。その一方、200 海里経済事を目的とし、漁業者に実際に活用され役に立つシステ水域が設定されたことなどによる漁業の終焉が地域にムを作ることを目標とする。本プロジェクトでは、2 つ多大な影響を及ぼし、周辺漁業は繁栄と衰退を辿ってきのチームに分かれて活動した。あわびチームは、水槽のた。そしてまた、近年の海洋環境の変化がこの豊かな海

画像からアワビの個数を測定し養殖業における在庫管理の生態系に異変をもたらしており、過剰漁獲などを避けの効率化を目指した。ぎょたんチームは、定置網に設置ていかなければならない。定置網漁業は過剰漁獲に陥りされた魚群探知機からブリの大きさを予測し漁の効率化にくく、継続的な漁業が可能な環境にやさしい漁法と言を目指した。

われており、函館市における漁業種類別漁獲量のうち、

2 背景

約 50 ％を占める主要漁業でもある [2]。また、魚種ごと

2.1 あわびチーム
第一次産業が全体的に衰退してきている中、漁業において養殖業は、供給が安定しやすい点から注目されている。しかし、商品 (魚、貝等) を数える、大きさを測る作業など、手作業も多い。福島町のあわび陸上養殖施設には 15 万匹のあわびを飼育する規模がある。私たちは、
令和 2 年 7 月 30 日と 11 月 18 日に福島町のアワビ陸上養殖で漁業者の方に聞き取り調査を行う機会を得た。施設では、同時期に入荷した稚貝は 10 段の水槽が収まる棚 2 つを 1 つの単位として管理している。商品としての在庫を管理するために 2 か月に 1 度、2 つの棚に対して水槽のアワビの総重量と個数、殻長を測定している。
この作業は手作業で行われており、2 日から 4 日の時間がかかる。私たちは、水槽のアワビの数を数える作業を自動化することができれば漁業者の負担を軽減できると考えた。私たちはアワビを数える作業を効率化する事を目的とし、施設で撮影した水槽の画像とディープラーニングを使って水槽のアワビを画像から数える事と殻長をに予め獲る量を制限した TAC(漁獲可能量制度) が存在し、水産資源の管理を行ってきた。定置網漁業には水揚げ時の魚種の選択や把握が難しい特徴がある。そこで、魚が通ると予想される箱網の入り口に魚群探知機を設置し、魚群探知機から得られる音響画像を利用して定置網に入った魚の種類や量を事前に把握することを試みている。しかし、長い時間の中で培った知識と勘を持ち合わせる漁業者であっても、魚種の判断に頭を抱えることがある。私たちは音響画像の処理に AI を利用し、漁の魚種判断や漁獲量の予測などを行う事で、漁業者の思考を支援できると考えた。また、システムの構築を行う上で、利用者の実際の声を訊くことが必要であると考え、和田先生協力の元、漁業者に直接話を伺う機会を得た。
令和 2 年 9 月 10 日、乗船が決定した。そこで水揚げされる量が予測出来れば船に積載する箱や氷の量を変更し、コスト削減が見込めることを知った。これらの事か
ら、私たちはブリの大きさ予測を行い、漁のコストを削減することを目的とした。

3 課題解決のプロセス
3.1 あわびチーム
3.1.1 課題提起
アワビの陸上養殖施設では商品在庫の管理のために、
棚 2 つにつき 2 日から 4 日かけて水槽のアワビの総重量と個数、殻長を手作業で測定している。私たちの目的は、アワビの個数を数える作業を AI を利用して行うことにより、漁業者の作業の負担を軽減することである。
この目的を達成するために、前期では、水槽の画像からディープラーニングを用いてアワビを検出することを目標として活動した。後期では、引き続きアワビの検出することと、殻長を測定することを目標として活動した。

3.1.2 実験に使う水槽の撮影
私たちは令和 2 年 11 月 18 日に動画を撮影した。

2018 年の同時期に稚貝を入荷した 2 つの棚を選び、それぞれの最上段の水槽を撮影した。片方の水槽には 73匹のアワビがいる。もう一方の水槽には 74 匹のアワビがいる。選んだ 1 つの水槽の画像を検出器に学習させ、もう 1 つの水槽の画像からアワビを検出する。同時期に入荷したアワビは大きさが似ているので、このような条件の水槽を選ぶことで正解率の高い検出が行えるという仮説を立てた。

3.1.3 撮影条件
水槽内で 80mm 毎に柵で区切られた区画 1 つが端から端まで映るように撮影した。使用したカメラはXperia Z5 内蔵カメラであり、撮影モードはプレミアム
おまかせオート、メインカメラを使用、水槽の約 350mm上の高さから撮影した。画像の大きさは、1080*1920pxである。

3.1.4 画像に行った塗りつぶし処理
ディープラーニングの学習時に使うデータに対して、水槽の 80mm 区切りの区画 1 つを 1 つのデータとするために着目しない区画のアワビを Windows10 標準のペイントツールで塗りつぶした。アワビが本来ある場所を背景として学習させることを避ける事が狙いである。

3.1.5 SSD アルゴリズムによる検出器の学習
検出器の学習には、SSD アルゴリズムを使用した。

SSD は Faster R-CNN より精度で劣るが、非常に動作が高速なアルゴリズムである。15 個という少ない学習データ数で効果的な学習を行うために、学習時にデータオーギュメンテーションを行った。データオーギュメン

テーションは画像の反転、色調の調整、切り出しをランダムに行う処理である。この処理により 1 回の学習毎に異なるデータで学習を行うことができる。PyTorch フ
レームワークによる小川 [3] の実装を利用した。

3.1.6

Mask R-CNN を用いた殻長の測定

技術調査時は画像から直接長さや大きさを計測する方法が見つからなかった。そのため、あわびの殻長を画像から計測するためには、水槽の大きさが分かっていることから、画像内の水槽とアワビのピクセル数を比較することで求められると予想した。
画像から水槽とアワビのピクセル数、領域を求めるた
めに、Mask R-CNN を利用した。GitHub の実装を利用した [4]。

3.1.7

データセット3.1.2 の条件下で撮影した水槽 2 つの画像を 15 枚ずつ用意した。それぞれに 3.1.4 で行った塗りつぶし処理を、全画像の各区画に行った。そして、片方の水槽の画像 15 枚は学習時の訓練データとして使用した。もう一方の水槽の画像 15 枚は学習時の評価データとして使用した。

3.1.8

結果

検出に使った水槽には 74 匹のアワビがいる。この内 57 匹のアワビを検出した。これは水槽内のアワビの77% である。この他に、アワビとアワビの間の空間にバウンディングボックスが表示される間違いが 3 件、1個のアワビから 2 個のバウンディングボックスが表示される間違いが 1 件、重なったアワビに対してまとめて大きなバウンディングボックスを表示する間違いが 1件あった。この水槽には、水槽やアワビに付着した砂のような汚れが多く、アワビの輪郭が汚れにより途切れていることがあった。また、水面で光が強く反射してアワビの白い模様と判別することが困難になっていることがあった。
殻長を測定するための Mask R-CNN の実行は、環境構築や Mask R-CNN について学ぶことに時間がかかってしまったため、サンプルの動作確認となった。データセットとテスト画像は COCO の 2014 Train images、

2014 Val images、2014 Test images、2014 Train/Val
annotations を利用した [5]。環境構築とプログラムの修正までは出来ていることが確認できた。

3.2 ぎょたんチーム

度が違うため、それらの特徴を表した画像には、魚種ご3.2.1 課題提起との特徴があると仮定した。これらを利用してブリの大函館市の定置網漁業における問題点として、定置網内にいる魚種や漁獲量を予測する際に、漁業者の勘や経験に頼る部分が大きいことが挙げられる。漁業者の勘や経験とは漁業者が魚群探知機のデータを確認した時、これまでの経験を生かしてどの種類の魚が定置網内にいるのか予測することである。私たちは、この課題を情報技術によって、より正確に定置網内の魚種を把握することを目標とした。解決方法としては、定置網内に設置された魚群探知機のデータを人工知能によって学習することで魚種・漁獲量を予測することである。その中でもブリの大きさを判別することを目的に活動した。

3.2.2 魚群データの可視化
定置網から得られる魚群データは 3 秒ごとの音響デー
タを深さが 320 段階、それぞれの反応強度を 256 段階で表している。これらのデータを画像として可視化することから活動を始めた。可視化の方法として Python を利用した。魚種ごとに、この可視化した魚群画像の表れ方が異なることを利用して魚種や魚種ごとの大きさ予測に活用する。

3.2.3 周波数解析

きさを予測した。

4 まとめ
4.1 あわびチーム
4.1.1

成果

学習データに選んだ棚の、隣の棚の水槽に対して検出を行った。水槽の 77% のアワビを検出した。アワビ検出の作業の中で、時間のかかった作業は検出器の学習と画像の塗りつぶしである。検出器の学習では約 2 時
間、15 区画分の画像塗りつぶし処理に約 1 時間を要した。ディープラーニングを利用した検出は、画像の推論に 1 2 秒程度の時間しか必要としない。作業時間を短縮するためには、画像に対して手作業で行う時間を減らす事が必要である。
アワビの殻長測定について、環境構築とプログラムの修正までは出来ていることが確認できた

4.1.2

今後の課題

私たちが検出に使った水槽は学習データで使った水槽と比べてあわびの大きさはほぼ同じであったが、水槽の汚れの量で差異があった。水槽内の汚れの量によって、魚群探知機の音響データに対して周波数解析を行っ水槽から検出できるアワビの数に差が出る事が予想でた。周波数解析を行った理由としては、定置網内の箱網きる。また、水槽周辺の明るさも検出に影響を与える可200m を周回している魚はそれぞれ泳ぐ速度が異なって能性が高い。よって、データの条件として水槽の汚れのいるため、魚種ごとに回遊速度に周期性が見られるので量と水槽周辺の明るさも考慮することが必要と言える。

はないかと考えたためである。魚群探知機の音響データもしくは、両方の棚の画像をそれぞれ学習データと評価から作成した画像の縦軸は水深、横軸は時間となっていデータに均等に分け、検出器にかけることで、差異が減る。私たちは、水深ごとにフーリエ変換を行い、その結ると考えられる。

果を画像として表した。

3.2.4 ブリの大きさを予測

あわびの殻長測定について、動作確認を終えたので、実際に画像からアワビと水槽の柵の領域を求めることが私たちは魚群探知機の音響データから、魚影の形と回必要がある。また、水槽の柵の実際大きさと、アワビと遊速度の周期性に特徴があると仮定してデータセット

水槽の柵のピクセル数の比率から、アワビの殻長を求めを作成した。それらをブリが存在するか否かの予測とブる必要がある。

リの大きさの予測に活用し、学習モデルを作成した。ブ

4.2 ぎょたんチーム

リの大きさとは、ブリの幼成魚によってブリ・イナダ・フクラゲに分類されたものである。魚影の形とは、音響データを反応強度によって色付けした際に現れる画像上の特徴である。これは魚種による浮袋が、魚体長や群れの大きさを反映していると考えられる。また、回遊速度の周期性とは、回遊速度によって定置網内を回遊する速4.2.1

成果

音響データからブリの大きさを予測し、結果を web 上に表示した。音響データに対して「ブリ・イナダ・フクラゲかその他での分類」では、84% の正解率になった。
また、「ブリが存在するか」の予測を行い、ブリが存在する場合には「ブリの大きさの予測」も行った。このとき、ブリが存在するか否かの予測の正解率は 83%、ブリの大きさの予測の正解率は 97% であり、精度の高い予測ができた。これらを活用することで、水揚げの事前予測によるコスト削減が見込める。さらに、令和 2 年 11月 25 日から 12 月 4 日までの期間、午前 3 時に推論の結果を web 上で更新し、実際に漁業者に使ってもらった。

4.2.2 今後の課題
実際に漁業者へ推論の結果を提供し利用してもらった
結果、私たちがブリの大きさを予測した結果は、ブリが水揚げされる時期に評価できなかったという課題が残った。しかしながら、漁業者はブリの大きさについては正確に予測できていないためもっと実用性のあるシステムを構築していかなければならない。また、漁の成果の予測は流通の面でも役に立つ。そのため、大きさの判別だ
けではなく漁獲量など他の推定も視野に入れる、予測の精度を上げることでさらなる実用化を図る、他の魚種に対して応用する、サービスとして利用しやすい形にする等の活動を行っていく必要がある。

参考文献[1] 一般財団法人 函館国際水産・海洋都市推進機構とはhttps://www.marine-hakodate.jp/about/[2] IoT による持続可能な定置網漁業の取り組み
https://www.jstage.jst.go.jp/article/lca/14/3/1
4207/pdf/-char/ja[3] 小川 雄太郎 . つくりながら学ぶ! PyTorch による発展ディープラーニ
ング. マイナビ出版, 2019.

[4] GitHub matterport/Mask RCNN
https://github.com/matterport/Mask RCNN
[5] COCO
https://cocodataset.org/