IoT・AI 技術を用いた浮沈式生け簀向け自動給餌装置の研究
代表研究者

深江 一 輝長崎大学 工学研究科 博士後期課程

1 緒言
世界的な水産物需要の高まりにおいて，従来の沿岸養殖と比較して大規模養殖が可能になる沖合養殖が注目されている．沖合養殖に対し沿岸養殖は海流の循環が少ないために赤潮や寄生虫による被害が発生しやすい．また，設置場所が飽和状態のため大規模化が困難であるなどの課題を抱えている．そこで，近年は大規模化が可能な沖合養殖の技術開発が進められている．沿岸養殖に比べ外洋で実施する沖合養殖は海流の循環が強く水質がクリアで安定し，かつ大規模な生け簀を設置できるメリットがある．
一方で，沖合養殖で用いる生簀は，台風などによる高潮からの被害を避けるため時間と労力をかけ曳航し保全する必要があった[1]．この問題を回避するための手段として浮沈式生け簀がある．浮沈式生け簀はエアー制御によって生け簀を沈下・浮上させる係留システムであり，悪天候の際に波浪の影響が少ない水深まで生け簀を沈下させることができる．沖合養殖で使用される通常の生け簀と比べ，生け簀内の魚の保全に関しては優れている．一方で，浮沈式生け簀による課題は，給餌のための労働力コストである．沿岸養殖に比べ，浮沈式生け簀による沖合養殖は，多量の餌を沖まで運搬し，生け簀を浮上させ，餌を投入し，生け簀を再沈下させる一連の作業が必要となる．これらを実施するためには労働力が必要であり多大なコスト増を招く．
また養殖業の問題として，餌費用が挙げられる．養殖における漁労支出のうち，餌代にかかる費用の割合が約 6 割以上を占めている[2]．また残餌が海底に堆積することにより，水質環境に悪影響を与えてしまうと考えられる．そのため給餌のタイミングと給餌量の最適化によって，少ない餌で効率よく魚を育てることが重要となる．
そこで著者らは，給餌作業の労働力問題と残餌問題を同時に解決することを目的として，給餌作業の遠隔操作機能と給餌量の最適化機能を併せ持つスマート養殖システムを目指し研究する(図 1)．筆者らのグルー
プではスマート養殖システムのうち，スマートフォンから遠隔操作する水中自動給餌システムを開発した[3][4]．スマートフォンのブラウザから“Feed ／ Stop” ボタンを操作することにより，インターネット上のクラウドサーバを経由して水中給餌装置内の餌タンクの開放/閉鎖を制御し，給餌作業を遠隔で操作することが可能となる．生け簀を常に水中に配置できるため，生け簀の浮上・再沈下作業の労働力コストを削減できる．

図 1 提案手法のコンセプト図1

公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

一方で，給餌量と給餌タイミングの最適化のためには，生け簀内部の状況を観測することが必要である．
しかしながら，海中養殖魚の行動を把握するために陸上畜産と違い全数に管理タグを取り付けることは現実的でなく，また海中では 3 次元で移動するため測定も非常に難しい．
そこで本研究では水中にカメラを設置し，撮影画像における魚の活性度を定量化した．具体的には画像全体を一定の領域に分割し，領域ごとの変化量をオプティカルフローを用いてベクトル化し定量化した．この定量化の手法を用いて，給餌の際の「餌に食いつく動き」と「餌に食いつかない動き」を分類した．また検証には機械学習の一つである SVM を用いて，前述の 2 つの特徴量を分類できることを確認した．

2 関連研究2-1 養殖生け簀に関する関連研究
関連研究として，日鉄エンジニアリング株式会社が中心となって実施している農林水産省「知」の集積と活用の場による研究開発モデル事業[5]がある．この取り組みでは，IoT を活用した最適生産管理システムの開発，大型生け簀システムの高度化，自動給餌システムの高度化，環境に調和した養殖の設計が行われており，これらはスマート養殖システムで求められる各要素技術である．一方で，関連研究の取り組みは大規模沖合養殖システムにおける実装が想定されているため，運用に多額の費用を要し，個人経営体は導入しづらいシステムである．著者らによる先行研究や本研究はコンパクトな装置の開発によって，個人経営体でも自動給餌機能や給餌の最適化機能を備えたシステムを導入できるという点で異なっている．
2-2 活動量の定量化に関する関連研究
活動量の解析手法として生け簀上部から給餌時の海面の状況を撮影する方式が提案されている[6]．これは餌に魚が群がる際の海面のしぶきを撮影し，その画像から機械学習を用いて魚の活動状況を判断する．海面を撮影するためしぶきを上げにくい魚種の場合には適用できないのが課題である．
また、近畿大学大学院の松岡[7]らは，稚魚が遊泳している動画から瞬発遊泳の発生を検知する研究を行っている．瞬発遊泳とは何らかの原因によって稚魚がパニック状態となり遊泳速度が瞬発的に速くなることであり，瞬発遊泳によって水槽の壁に衝突して死んでしまう稚魚もいることから，稚魚の死亡原因の 1 つとして挙げられる．この研究ではオプティカルフローにより画像上の見かけの動きベクトルを求め，ベクトルの角度や大きさの平均や分散を計算し特徴量としている．それらの特徴量を機械学習にかけて発生の検知を試みている.著者らの研究では，給餌時における活動量の違いを定量化するため目的，及び条件が異なる．

3 水中観測装置
3-1 水中観測装置概要
魚の活動量を定量化するために測定用の水中観測装置を製作した（図 2）．観測にはコスト抑制のため市販のネットワークカメラを用い後述するシステムとした．
3-2 システム要件
本システムは魚群行動分析ついて使用する映像の取得を目的としている．海中で撮影された映像を分析対象にするため，観測装置は海中に沈めた状態で撮影が行えるようにしなければならない．
3-3 システム構成
システム概要図を図 3，及び機器仕様表を表 1 に示す．本システムは円筒形の容器の上部に直方体のケースを設置した形状である．円筒形の容器は浸水防止対策が施され密閉されている．容器内にはネットワークカメラ，Jetson，延長コードのコンセントが格納され，容器の底には転覆防止対策として重りが設置されている．直方体のケース内にはステレオカメラが設置されており，ケースから容器へ伸びたホース内には USBケーブルが通っている．また容器から海上へも別のホースが伸びており，こちらのホース内には LAN ケーブ
ルと延長コードが通っている．LAN ケーブルは PoE ハブに接続されており，ノートパソコンとデータ通信経路やネットワークカメラへの給電経路といった役割を担う．延長コードはバッテリーに接続され，容器内の2

公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

コンセントに挿した AC アダプタから Jetson へ給電を行う．

図 2 水中観測装置 外観

図 3 水中観測装置 システム概要図3

公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

表 1 水中観測装置 使用機器
機器名

型式・機能

ネットワークカメラ

Canon 製 VB-H651V, 30fps

ステレオカメラ

Stereolab 製 ZED2

シングルボードコンピュータ

Jetson nano 1.43GHz

ノート PCdynabook S73/FR, Intel Core i5 10210U, 8GB, SSD256GB

生簀内撮影システムの機能関係図を図 4 に示す．本システムは水中撮影装置とノートパソコンの 2 つから構成される．水中撮影装置には 2 種類のカメラとシングルボードコンピュータ Jetson が備わっており，この装置によって生簀内の撮影を行う．カメラはステレオカメラとネットワークカメラが設置されており，それぞれ動画を撮影する．ネットワークカメラは研究に使用する映像データの撮影を目的とする．ステレオカメ
ラは，水中での魚長測定のため試行的に設置した．ネットワークカメラは PoE ハブを経由してノートパソコンに接続されている．
ノートパソコンについて，本システムでは動画のバックアップとネットワークカメラによるリアルタイム映像の閲覧の 2 つの機能を持つ．リアルタイム映像の閲覧についてはノートパソコン内にあるネットワークカメラ専用アプリケーションから映像をリアルタイムで閲覧し，必要に応じて録画する．

図 4 水中観測装置 機能関係図

3-4 水中動画の撮影分析に使用する映像は，長崎県総合水産試験場の協力のもと撮影した．撮影場所は長崎市多以良町にある長崎県総合水産試験場が所有する試験生け簀(図 5)である．生簀の大きさは幅 3m×奥行き 3m×深さ 3m である．
生簀内には 39 匹のブリが養殖されている．
撮影日時は 2021 年 12 月 10 日で当日の天候は晴れであった．
水中観測装置を生簀内の水深約 1m 地点に設置し，カメラレンズは図 6 で示す向きに固定した．撮影するのは給餌中のブリの様子であり，餌の投入位置は生け簀の中心付近であり，餌は間隔をあけて少量ずつ投入された．図 7 は実際に投入された餌の写真であり，大きさは約 1cm である．撮影において装置を生け簀内に沈めるが，沈めた直後はブリが装置を警戒して普段とは異なる動きをするため，ブリが落ち着いて普段通りの動きに戻ってから給餌を行った．

4

公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

図 5 撮影場所と試験風景

図 6 撮影生け簀の説明図

図 7 餌（ドライペレット）

4 活動量の解析手法と検証方法について
4-1 概要活動量の定量化には，前述で撮影した動画を使用した．次に，画像全体を一定の領域に分割し，領域ごとの変化量をオプティカルフローを用いてベクトル化し定量化した．また給餌の際の「餌に食いつく動き」と「餌に食いつかない動き」に対して分類が可能であるかを検証するために機械学習の一つである SVM を用いて，本提案手法の有効性を確認した．
4-2 解析手法について分析では撮影した映像から切り抜いた特定の場面を使用する．特定の場面とは，a. 魚が餌に激しく食いつく場面(図 8)であり，餌が投入された直後から魚が餌に食いつく場面である．一方、b.餌に食いつかない場面(図 9)は餌への食いつく動きが鈍くなった場面である．それぞれの場面が約 15 秒間になるように映像を用意した．これらの映像について分析を行う．
5公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

図8

魚が餌に食いつく場面

図9

魚が餌に食いつかない場面

次にオプティカルフローを用いてベクトル化し特徴量を定量化する．この特徴量の抽出処理は OpenCV を使って行う．
まずは cv2.VideoCapture により処理を行う映像を読み込む．
その後 VideoCapture クラスの read()
メソッドを実行し映像の最初の 1 フレーム目を画像として読み込み，グレースケール変換の処理を行う．再び read()メソッドを実行し 2 フレーム目を読み込み，同様にグレースケール変換の処理を行う．映像から 1
フ レ ー ム 目と 2 フ レー ム 目 を取 得 で きた た め，次 に こ の 隣接 す る 2 フ レ ー ム間 の 画 像に お いて
cv2.calcOpticalFlowFarneback により密なオプティカルフローの処理を行う．オプティカルフローには様々な原因によるノイズが含まれるため，画像全体を 16 ピクセル×16 ピクセルの領域ごとに分割し，その領域ごとのフローの平均を求めることでノイズの影響の低減を図る．フレーム画像の幅は 480 ピクセル，高さは270 ピクセルのため画像全体に分割領域と領域内の平均フローは 510 個存在する．最後にフレーム画像の取得から分割領域内の平均フロー算出までをループ処理により映像中のすべての隣接フレーム間に対して行い，映像内の移動情報を取得する．図 10 にオプティカルフロー処理前画像，図 11 にオプティカルフロー処理後の画像を示す．

図 10 オプティカルフロー処理前

図 11 オプティカルフロー処理後

続いて，算出した分割領域内の平均フローの特徴量からヒストグラムを作成する．オプティカルフローにより求められた平均フローは隣接する 2 フレーム間における瞬間的な動きである．魚の動きを分析するにあたり，2 フレーム間の瞬間的な動きよりも一定のフレーム間における連続的な動きの方が特徴量として適していると考え，31 フレーム単位でヒストグラムを作成し，このヒストグラムを本研究における魚の動きの特徴量とした．まず cv2.cartToPolar により隣接する 2 フレーム間における平均フロー510 個のベクトルの大きさと角度を算出し，ベクトルの大きさと角度についてそれぞれヒストグラムを作成する．ヒストグラムは31 フレーム単位で作成するため，1 つのヒストグラムに含まれるデータ数の合計は 15300 個である．ヒストグラムは numpy.histogram により作成し，出力としてヒストグラムの階級と度数のデータが得られる．ヒス
トグラムの階級とはデータを区切った境界を指し，度数とは各区間に含まれるデータの数量である．ヒスト
グラム作成にあたり階級の個数は 10 とし，境界とする値の指定や範囲の制限は行っていない．図 12 に魚が餌に食いついている映像から作成したヒストグラム，
図 13 に魚が餌に食いついていない映像から作成したヒストグラムを示す．

6

公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

図 12

餌に食いついている動きのベクトルの大きさ(左)と角度(右)のヒストグラム

図 1

餌に食いついていない動きのベクトルの大きさ(左)と角度(右)のヒストグラム

4-3 SVM を用いた本提案手法の有効性評価
前述のヒストグラムを作成することの有効性を評価するために「餌への食いつき度合い」を判別する手法
として，SVM(サポートベクターマシン)による｢魚が餌に食いつく動き｣と｢魚が餌に食いつかない動き｣の 2クラス分類を用いる．SVM は，分類，回帰，外れ値の検出に用いられる教師あり学習方式であり異常検知においてよく用いられる手法の 1 つである．
本研究での 2 クラス分類では，給餌中の魚の動きに対して「餌に食いつく動き」と，「餌に食いつかない動き」の 2 種類に分類する．SVM の説明変数は前項で作成されたベクトルの大きさのヒストグラムの階級と度数，角度のヒストグラムの階級と度数の 4 つとし，目的変数をクラスラベルとする．
評価ではこれら 2 種類の動きについて分類を行い，その分類精度を検証した．また検証で使用するデータ数を，以下の表 2 にまとめる．
表 2 使用したデータ数

データ数

餌に食いつく動き

餌に食いつかない動き

合計5005001000

データセット 1000 個を訓練データ 800 個とテストデータ 200 個にランダムに分割し，訓練データを用いてハイパーパラメータの最適化とモデル構築を行った．次に構築されたモデルによってテストデータの分類を行った（表 3）．

7

公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

表3

SVM による 2 クラス分類の混同行列
テストデータ
餌に食いつく動き

餌に食いつかない動き

餌に食いつく動き980

餌に食いつかない動き

0102

訓練データ

SVM による 2 クラス分類を行った結果，正解率，再現率ともに高い精度が得られた．SVM に使用した特徴量は，オプティカルフローにより取得した映像中の魚のフローのヒストグラムである．このことによりオプティカルフローを用いて取得したフローのヒストグラムによる 2 クラス分類は，魚の行動分析に有効であることが確認できた．

5 まとめと今後の計画
本研究では，給餌中の魚の行動についてオプティカルフローと SVM による 2 クラス分類が有効であることが確認できた．しかしながら，実験で使用した映像は 2021 年 12 月に撮影した動画のみであり，魚の餌への食いつき度合いは季節の変化により大きく異なる．一般的に水温の高い夏場は餌への食いつきがより活発になり，水温が下がる冬場は夏の時期と比べて餌への食いつきが大人しくなる傾向がある．2 クラス分類に更に汎用性を持たせるために，異なる季節で撮影した映像も使用し，季節変化による餌の食いつき度合いを考慮したモデルの構築を行う必要があると考える．

【参考文献】[1] 水 産 庁 , ”
養 殖 業 成 長 産 業 化 総 合 戦 略 , ”
農 林 水 産省,https://www.jfa.maff.go.jp/j/saibai/yousyoku/seityou_senryaku.html, 参照 Sep.1,2021.
[2]
水 産 庁 , ”
平 成
30
年 度 水 産 白 書 , ”
農 林 水 産省,https://www.jfa.maff.go.jp/j/kikaku/wpaper/h30_h/trend/1/t1_3_2_2.html, 参照 Sep.1,2021.
[3] 今井哲郎, 荒井研一, 小林透, ”「第二水面」形成による沖合養殖のための水柱給餌機方式の提案,” 情報処理学会論文誌コンシューマ・デバイス＆システム（CDS）, Vol.11, No.1, pp.26-33, Mar.2021.
[4] Tetsuo Imai, Kenichi Arai and Toru Kobayashi, ”Smart Aquaculture System: A Remote Feeding
System with Smartphones,” 2019 IEEE 23rd International Symposium on ConsumerTechnologies(ISCT), Ancona, Italy, pp.93-96, Jun.2019.
[5] 日鉄エンジニアリング株式会社, ” 大規模沖合養殖システム,” 日鉄エンジニアリング技報 2020 年 Vol.11,pp.81-83,Jan.2020.
[6] 高松 諭利,世古 渡紀也,中古賀 理,江崎 修央,小林 智彦, “魚類養殖を対象とした画像処理・機械学習を用いた活性判定による自動給餌”, 映像情報メディア学会技術報告 46 (6), 1-6, 2022-02[7] 松岡高輝，波部斉，阿部孝司，井口信和，”オプティカルフローを用いた魚群映像中の瞬発遊泳の解析”，
第 80 回全国大会講演論文集，vol. 2018，no. 1，pp. 555-556，

8

公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

（注書き）本研究成果報告は以下の発表資料を基に再構成したものである．

〈発題

名Development of Observation Device with
Multi-Sensor Platform for Underwater
Aquaculture Cages
水中養殖生け簀のためのマルチセンサプラ
ットフォームを有する観測装置の研究表資料〉

掲載誌・学会名等

発表年月

2021 IEEE COMPSAC,

2021 年 7 月

電子情報通信学会誌 Vol.105 No.5

2022 年 10 月

9公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度