AI をベースとする海中生物モニタリング ICT システムの研究開発
代表研究者
共同研究者

亀中

濱平

博
勝紀也

沖縄高専
沖縄高専

情報通信システム工学科
情報通信システム工学科

助教
准教授

1 はじめに地球温暖化や海洋プラスチックごみが海中の生態系へ与える悪影響が問題となっている。環境省は定期的にサンゴが海底を覆う割合を調査しており、サンゴが減少している地域があることが報告されている[1]。サンゴの育成状況は海洋環境のバロメーターである。このような状況から、海中生物の調査を詳細かつ継続的に行い、必要な改善があればその都度対応することが大変重要である。
水深 10m～20m に生息する海中生物の調査は、ベルトトランセクト法とコドラート法が多く用いられている[2]。ベルトトランセクト法は、ダイバーと船をベルトで結びつけ、ダイバーを牽引し、目視できる海中生物を水中ノートに記録していく。この方法は、手間と調査費用が莫大となり、1 日で数十万円以上となる。コ
ドラート法は、海中に 1m 程度の大きさの方形区画であるコドラートを設定し、その中に存在する海中生物を調査する。この方法は、広い海域の調査が困難である。
従来の海洋調査の問題点を解決するため我々は、ROV と畳み込みニューラルネットワークを組み合わせることで、人手に頼らずに海中生物の分布を地図上にマッピングする海中生物調査システムの実現を目指している[3]。

2 海中生物調査システム
提案する海中生物調査システムを図 1 に示す。ROV は水上ブイと通信ケーブルで接続し、水上ブイと地上のセンター局は無線回線で接続する。水上ブイのカメラから得た画像と、ROV のカメラから得た画像はディープラーニングサーバーに送信する。ディープラーニングサーバーは、ROV のカメラ画像から海中生物の情報として魚やサンゴの種類・数・密度を推定する。さらに、ディープラーニングサーバーは、水上ブイのカメラ画像から ROV の位置の特定とあらかじめ設定した目標ポイントへの制御情報の算出を行い、ROV に送信する。ROV は制御情報に従って動作する。このように、海中生物調査システムは、ROV の推定した位置を利用して、調査海域内で ROV を自動的に航行させる。その上で、ROV のカメラ画像で認識した海中生物の情報を蓄積する。また、海中の水温や濁度、画像などのデータを特定の観測点で測定・保持し、そこで蓄積されたデータを水中ドローンで回収するシステムを検討している。これは、海上で太陽光や温度差などを用いて発電し、各種センサを起動させて測定する観測システムである。
本研究調査助成金を用いた研究開発では、システムを構築するための主な技術として、以下の研究開発を実施したので報告する。
3 章：ROV の航行ルート自動制御
4 章：海上ブイ観測システムの発電方法の検討

1
公益財団法人電気通信普及財団
研究調査助成報告書 第36号 2021年度

Fig. 1. Proposal automatic route controlling method.

3 ROV の航行ルート自動制御方式
近年、ROV を海中調査に利用するケースが増えている[5]。しかし、海中を航行している ROV は、陸上からは直接目視することができない。そこで、ROV の操作は、ROV に装備したカメラからの水中画像を頼りに操縦者の勘で行われている。この時、操縦者のミスにより海中で ROV が岩礁に衝突し、サンゴを傷つけたり、ROVが故障するなどのトラブルの原因となっている。
このような問題点を解決するため、ROV の位置を陸上から把握し、設定したルートに沿って ROV を自動的に航行させる方式を開発する。
3-1 従来の ROV 位置推定
ROV の位置検出には、音響測位を用いた方法が多く用いられている。水上のハイドロフォンから ROV に取り付けたトランスポンダに音波を送信する。音波を受信したトランスポンダは応答信号を返す。水上では送信信号と受信信号の時間差と位相差から ROV の位置推定を行う。しかし、ROV のモーターから発生する雑音によって音響測位に悪影響を及ぼし、位置推定の精度が一時的に下がる問題点がある[6]。
3-2 提案する航行ルート自動制御方式
図 2(左)に示すように、画像から ROV の位置を推定し、その情報をもとに ROV が航行するルートの自動制御を行う方式を提案する。ROV のモーターの雑音による誤動作を回避できるだけでなく、ROV にトランスポンダを搭載する必要がない利点がある。

Fig. 2. Marine life survey system.
（１）画像による ROV の位置推定
まず、水上ブイに水中カメラを取り付け、水上ブイの下で動作している ROV を撮影する。次に、撮影した画像をディープラーニングサーバーに送信する。次に、制御 PC では取得した画像に畳み込みニューラルネットワーク（CNN）による物体検出を適用して、ROV が画像内のどこに写っているかを検出する。CNN による検2
公益財団法人電気通信普及財団
研究調査助成報告書 第36号 2021年度

出結果は、ROV を囲う矩形で示される。そこで、矩形の中心座標を ROV の X,Y 座標とする。また、ROV が水面に近づくほど画像内では大きく写るため、矩形の面積から Z 座標を特定する。
（２）画像による ROV の位置推定
図 2(右)に示すように、制御 PC は、取得した画像に CNN による物体検出を適用し、ROV の方向ベクトル（ROVの先端がどちらを向いているかを示すベクトル）と目標ベクトル（ROV から目標地点へのベクトル）を求める。次に、方向ベクトルと目標ベクトルの内積から、ROV の移動ベクトル（ROV の進むべきベクトル）を算出する。最後に移動ベクトルの方向に進むためのモーター駆動パラメータを ROV に送信し、ROV の自動的な航行ルート制御を行う。方向ベクトルの具体的な求め方は、5.2 で述べる。
3-3 ドローンの位置検出実験
本章では、3.2.1 で説明したドローンの位置検出の実験結果について述べる。実験はまず陸上の安定した環境での実験を行った。その後、実際の海洋で実験を行った。
（１）陸上における X, Y 座標の検出実験
画像からドローンの X, Y 座標を検出する実験を行う。図 3 に示すようなドローンが黒いライン上をトレースして走行するプログラムを開発した。ドローンは実際に使用する ROV の 30％に縮小したスケールモデルとしている。プログラムの開発はロボット制御のスタンダードである ROS (Robot Operation System)を用いた[7]。ドローンの前方下部に装備した４つのフォトレジスタの値から、黒いラインを検知し、ライン上を走行するようにドローンの速度と方向を制御した。ライン形状は、海中探査におけるサンゴなど海中の障害物を避けることを想定して曲線の多い複雑な経路とした。走行しているドローンを上空から撮影し、CNN を用いてドローンの検出を行い、検出した矩形の中心座標を X,Y 座標とした。以降の実験における CNN は、YOLOv3[8]を用いた。
撮影した動画から 300 フレームごとに画像を取り出した。その画像から CNN を用いてドローンを矩形で検出し、矩形の中心座標(Xi, Yi) を表 1 に示す。表 1 には、実際にドローンがいる座標(Xj, Yj)も示した。誤差率は次式で計算した。つまり、誤差率は、図 4 に示すように、(Xi, Yi)と(Xj, Yj)の距離を 30％に縮小した調査範囲の一片の距離で割り算した。

表 1 より誤差率は 0.3％以下に収まり精度の良い検出が行うことができた。これより CNN による物体検出を用いることで、ドローンの X, Y 座標の検出が行えることが分かった。

Fig. 3. Drone running routes.

Fig. 4. Error rate definition.

3
公益財団法人電気通信普及財団
研究調査助成報告書 第36号 2021年度

Table 1.
フレー

Experimental result in X and Y detection.

実位置(Xj, Yj)

検出位置(Xi, Yi)

誤差率

0(10.16 , 51.44)(9.92 , 52.38)

0.3%

300

(7.37 , 72.5)(748 , 72.44)

0.04%

600

(10.05 , 97.75)(10.20 , 97.75)

0.05%

900

(16.34 , 105.19)(16.27 , 105.31)

0.06%

1200

(21.52 , 105.44)(21.9 , 105.375)

0.1%

ム番号（２）Z 座標の検出実験
画像からドローンの Z 座標を検出する実験を行う。これは、ROV の深度が深くなるにつれて、ROV を検出した矩形の面積が小さくなることを利用する。
ドローンが検出された矩形の面積 S と検出したドローンの深さ Zi、及び実際にドローンがいる高さ Zjを表 2 に示す。Zi は次の近似式から求めた。この近似式は S と Zj を 2 次多項式で近似した。

また、誤差率は次式で計算した。

誤差率は 240m を超えると大きくなった。誤差率が大きくなった原因は、画像に写るドローンの大きさが小さくなり、物体検出に失敗したためである。小さく写ったドローンも教師画像に加えて CNN の再学習を行うことで、誤差率を小さくできる可能性がある。
Table 2.

Experimental result in Z detection.

検出面積

実高さ

S[px ]

Zj[cm]

82592.37

80

83.60

4.50%

36493.43

120

125.764.80%

22799.91

160

159.110.56%

14739.30

200

197.891.06%

8901.53240254.64

6.10%

6487.42280298.286.53%

2

検 出 高

誤差率

さ Zj[cm]（３）水中における X, Y 座標の検出実験
案 1 の構成を想定して沖縄水納島にて海中で撮影した画像で検出を行った撮影方法は、海上でボートに乗った撮影者が海中にカメラで海底方向へ撮影を行い、ボート下を陸上から操縦する海中ドローンを通過させた様子を撮影した。撮影した画像の例を図 5 に示す。
実験結果を表 3 に示す。実際の位置とドローン AI から出力された位置を 1 秒ごとに比較した。陸上実験の X,Y 座標検出と同じく画像内の実際の海中ドローンの位置を手作業で囲んだ矩形の中心の座標を実位置として、実位置と検出位置の差を想定している調査範囲の調査範囲の一片の距離の 10m で除算したものを誤差率とした。

4
公益財団法人電気通信普及財団
研究調査助成報告書 第36号 2021年度

誤差率は 0.14%以下に収まり精度の良い検出が行えた。これより陸上で完成させたドローン AI が海洋環境でも十分に位置検出を行え、本システムの有用性が明らかとなった。

Fig. 5. Under water image.
Table. 3. Experimental result in X and Y detection.
フレーム

実位置(Xj, Yj)

検出位置(Xi, Yi)

誤差率0(109.24 , 136.31)(108.96 , 135.54)

0.08%

30

(105.41 , 101.69)(105.99 , 101.76)

0.06%

60

(113.73 , 64.67)(114.22 , 63.35)

0.14%

90

(146.34 , 26.42)(146.16 , 26.90)

0.05%

番号（４）位置検出において水の性質が画像に与える影響
上述の報告の中で位置検出が非常に精度の良い結果が得られた。これは、晴天で水質の良好な好条件の環境で行ったため水質によるノイズが少なかったためである。そこで、水質によるノイズが認識率に与える影響を調査した。
Water-Net を用いて、入力した水中画像にホワイトバランスとヒストグラム等化、ガンマ補正の処理をそれぞれ行った 3 つの画像を組み合わせて、水質のノイズを低減する AI の導入を行った[9]。晴天で水質の良好な好条件の環境で撮影した水中画像と曇天で水質に濁りがある劣悪な環境で撮影した画像を用いて、各フレームのオリジナルの画像と Water-Net から得られる画像を CNN に入力して、検出率を求めた。
各画像の例を図 6 に示す。
各テスト画像における検出率の結果を表 4 に示す。結果、オリジナル画像と Water-Net で水質を軽減した画像での認識率の変化は変化が少なかった。このことより、水質が画像検出に与える影響は少ないことが分かった。水の濁りが強い場合でも、同様な水の濁りが強い画像を CNN に学習させることで正確な認識が行えることが明らかとなった。

5
公益財団法人電気通信普及財団
研究調査助成報告書 第36号 2021年度

Fig. 5. Original image and Water-Net Result

Table 4. Results of detection rates for original image and Water-Net.
認識率(オリジナル)

認識率(Water-Net)

Test1

88.33

84.78

Test2

92.83

91.94

Test3

90.08

93.54

Test4

93.67

93.75

（５）ドローンの走行ルート制御実験
前節までの実験で画像からドローンの位置（X,Y,Z 座標）の検出が可能となった。本章では、ドローンの位置情報からドローンの走行ルートを自動で制御させる実験を行う。なお、本実験では、Z 軸方向の走行ルートは制御しないため、ドローンの位置情報として Z 座標は用いない。また、最終的には、R O V を制御する目標とするが、本研究調査助成金を用いた研究開発では、陸上ドローンを制御することで基本性能を確認することまでに至った。
図 6 に実験構成を示す。実際の海洋環境では、設備コストと公衆回線のエリアによって、様々なネットワーク形態になることが予想される。そこで、実験構成はドローン側を 5G、制御 PC 側に LTE を使用した非対称な構成とした。
a.方向ベクトルの検出方法
本実験でドローンの走行ルートを制御するには、ドローンの位置の他に、ドローンの方向ベクトルも必要となる。図 7 に示すように、ドローンの前方に張り付けた赤いテープと後方に張り付けた黄色のテープ
6
公益財団法人電気通信普及財団
研究調査助成報告書 第36号 2021年度

を CNN を用いて矩形で検出し、黄色のテープを検出した矩形の中心座標から赤色のテープを検出した矩形の中心座標に向かう向きをドローンの方向ベクトルとした。

Fig. 7. Experimental configuration

Fig.8. Direction vector definition.
b. 実験結果
図 9 にドローンの走行ルートとして設定した９個の目標地点を示す。実験では、目標地点 A から出発して C→F→D→G→I→F→D→A→B→H→I→C→B→H→G→A の経路でドローンを走行させた。
走行時の様子を図 10 に示す。➀、➁、➂は 10 秒ごとのドローンである。ドローンは目標 A に向かった
後、向きを変えて次の目標 B に向かって走行している。
図 11 のように 2 点の目標を結んだ線分とドローンとの垂線の距離を、調査範囲の一片の距離で除算したものを誤差率と定義する。目標のポイント数を 9 個設定し、これを 5 周回させ、10 秒ごとに誤差率を求めた。結果、誤差率の平均は 1.5％以下となった。この誤差率が海中生物調査にとって十分な精度であるかは、現時点で不明であるが、今後、専門家へのヒヤリングなどで明らかにする。本実験ではドローンはルートを大きく外れることなく制御可能であったことから、提案手法の効果が示されたと考えている。

Fig. 9. Running rote.

Fig. 10. A view of the drone running.

7
公益財団法人電気通信普及財団
研究調査助成報告書 第36号 2021年度

Fig.11. Error rate definition.
Table 4. Experimental result in drone running route control.

ルート誤差率1 周目2 周目

3 周目

4 周目

5 周目

平均

1.90%

1.72%

1.39%

0.86%

1.75%

1.52%

4 海上ブイ観測システムの発電方法の検討
海中の水温や濁度、画像などのデータを特定の観測点で測定・保持し、そこで蓄積されたデータを水中ドローンで回収するシステムを目標としている。それぞれのデータの蓄積には、数日間悪天候が続いた場合を想定して常時マイコンを駆動させる電力システムが求められる。海上ブイでの発電には、発電面積が限られることから、よりエネルギー損失の少ない発電システムが必要となる。現行の太陽光発電は、熱電発電に比べ発電効率は圧倒的に高い。しかしながら、熱電発電の研究開発が活発化していることから、今後の飛躍的な発展が期待できる。太陽光発電と熱電発電を組み合わせた発電装置を試作し評価した。
4-1 太陽光パネルの反射光を利用した熱電発電装置の検討
提案する発電装置は、ディッシュ型の太陽熱発電システムをベースにパラボラ鏡面に太陽光パネルを取り付けたものである。太陽光発電部には市販のマイクロミニソーラーパネルセルを使用し、熱電発電部にはペルチェ素子を使用した。ペルチェ素子高温部の加熱効果と全体の発電効果を調べるために、3 つのパターンで実験を行った（図 12）。P1 はパラボラ鏡面の有効面積が全て鏡面であり、P2 はパラボラ鏡面の 50%がソーラーパネル、50%が鏡面である。P3 はパラボラ鏡面の有効面積全てがソーラーパネルとなっている。

P1P2
P3Fig.12. Proposed solar and thermoelectric power generation systems.

8
公益財団法人電気通信普及財団
研究調査助成報告書 第36号 2021年度

4-2 発電装置の性能評価実験
実験では、1 時間太陽光を照射し加熱効果、出力電力を測定した。P1、P2、P3 の加熱効果とペルチェ素子の高温部の温度を表 5 に、出力電力とその比率を表 6 に示す。

Table 5. Experimental result of power generation equipment (thermoelectric modules).
加熱効果
[℃/W]
0.4790.1110.031

P1P2P3ペルチェ素子
高温部の温度[℃]
128.5
96.696.2

ペルチェ素子
高温部の平均温度[℃]
10073.365.4

最大温度差[℃]80.556.836.5

P1 は加熱効果、ペルチェ素子高温部の温度が最も高く、P3 は加熱効果、高温部の温度、温度差が最も低くなった(表 5)。P3 において温度差が得られなかった要因としては、①ペルチェ素子の熱伝導特性により高温部の温度が低温側に伝導していること、②太陽光パネルそのものの発熱がペルチェ素子高温部に伝達していることが考えられる。しかしながら、P3 の高温部の温度は 96.2[℃]まで上昇していることが確認できた。これは、鏡面の有効面積の全てに太陽光パネルに置き換えても熱電発電は有効であるということを示している。
より大きな温度差を得るためには、ペルチェ素子低温部の温度を低く保つための冷却方法の検討や太陽光パネルからの熱絶縁などの改善が必要である。

Table 6. Experimental result of power generation equipment (total).

P1
P2
P3

最大出力電力
[W]
0.013
3.53
6.56

最大出力電力
[W]
0.004
3.23
5.34

出力電力の比率（太陽光発電：熱発電）
0.0：100
99.8：0.2
99.9：0.1

表 6 に P1、P2、P3 それぞれの出力電力、発電効率、電力比率をそれぞれ示す。P2、P3 それぞれの出力電力の比率において、太陽光発電が約 100％となっており、熱発電部の出力電力が極めて少ない。太陽光発電
は熱電発電に比べ発電効率は圧倒的に高いことが要因である。太陽光パネルの反射光を利用した熱電発電の実用化を目標とすると、現状の装置では実用性が低く、太陽光パネルのみを用いた発電方法が有効である。
しかしながら、熱電素子の研究が活発にされており、市販の熱電素子の性能指数を 100 倍以上も上回る熱電素子が発表されている [10]。この素子を利用し、仮に低温側を 30[℃]に保つことが可能となれば、11.21[W]の電力を得られると考えられる。対案する装置は海上での使用を目的としていることから、海水を用いての冷却が期待できる。また、集光レンズ等を用いて太陽光をより集光することでより大きな温度差を得ることができる。これらのことから、熱電素子の性能の依存するものの、提案する発電装置は海上ブイでの発電方法として有効であると考えられる。

【参考文献】[1] 環境省：”モニタリングサイト 1000”, http://www.biodic.go.jp/moni1000/index.html[2] 大垣俊一：コドラートとトランセクト： 海岸調査の精度論, 関西海洋生物談話会の連絡誌, Argonauta 16:
16-24, 2009, http://www.mus-nh.city.osaka.jp/iso/argo/nlindex.html[3] 中平 勝也, ピッチデイヴィット：画像認識を用いたマリンレジャーサポートシステムの研究開発, OS5-3,
2019[4] 除潤東, 藤野巖：機械学習を用いた画像識別手法の魚の種類認識への応用, 情報処理学会第 82 回全国大会, 2020
[5] 国 土 交 通 省 ： 平 成 27 年 度 次 世 代 社 会 イ ン フ ラ 用 ロ ボ ッ ト （ 水 中 維 持 管 理 用 詳 細 版 ） , 2015
https://www.mlit.go.jp/common/001110595.pdf

9公益財団法人電気通信普及財団
研究調査助成報告書 第36号 2021年度

[6] 稲葉祥梧, 岡本章裕, 瀬田剛広, 今里元信, 篠野雅彦, 金岡秀, 田村兼吉 渡邊佳孝, 松本宙：AUV 駆
動音による水中音響通信・測位装置への影響評価について, 第 16 回海技研研究発表会講演集, 2016[7] 上田 隆一：Raspberry Pi で学ぶ ROS ロボット入門, 日経 BP, 2017[8] Joseph Redmon, Ali Farhadi：YOLOv3: An Incremental Improvement, CoRR, 2018
[9] Chongyi Li, Chunle Guo, Wenqi Ren, Runmin Cong, Junhui Hou, Sam Kwong. Dacheng Tao : An Underwater
Image Enhancement Benchmark Dataset and Beyond, arXiv,[10] Dogyun Byeon, Robert Sobota, et Al.，2019, “Discovery of colossal Seebeck effect in metallic
Cu2Se”, Nature communications 10, DOI 10.1038/s41467-018-07877-5〈発題名
海洋生物モニタリングシステムの研究開発
水中ドローンの航行ルート自動制御シス
テムに関する研究開発

表資料〉

掲載誌・学会名等

発表年月

次世代産業システム研究会
第 28 回電子情報通信会九州支部
学生会講演会2020 年月2020 年月10
公益財団法人電気通信普及財団
研究調査助成報告書 第36号 2021年度