1EP44

テーマ番号和文

深層学習に基づく水中移動目標のモニタリングに関する研究

英文Research on Monitoring of Underwater Movement Target Based onDeep Learning

プロジェクト
テーマプロジェクト
メンバー

指導教員

長田 茂美 教授

4EP3-22 小島 尚之 (Naoyuki Kojima)

Abstract Recently, important facilities (e.g. nuclear power plants) located near harbor have been exposed to threats over and under
the water. Therefore, it is expected to realize a harbor monitoring system that can detect and classify threats using underwater acoustic
technology. In our laboratory, we have constructed a harbor monitoring system that can automatically detect and classify acoustic dataacquired by passive acoustic sensors into three types of threats (divers, underwater scooters with divers, and ships) using deep learning．
In this study, we propose a harbor monitoring system that applies learning methods with weakly supervised learning and Betweenclass Learning as an attempt to further improve accuracy, and confirmed its usefulness by evaluation experiments. We also examined
the applicability to ecological monitoring of underwater organisms as a new application of deep learning and underwater acoustics
technologies of the harbor monitoring system that we have developed so far, and confirmed that this field could be a promising
application field.

Keywords harbor surveillance, underwater threat detection, deep learning, offshore fish farming, underwater organism monitoring.
1. まえがき
近年，港湾に隣接する原子力発電所などの重要施設は，水上，水中からの脅威への対応が求められており，多様なｾﾝｻを用いて脅威を検出・分類できる港湾監視ｼｽﾃﾑの実現が期待されている．当研究室では，港湾監視ｼｽﾃﾑを実現するための研究開発の一環として，ﾊﾟｯｼﾌﾞ音響ｾﾝｻにより取得した音響ﾃﾞｰﾀを，深層学習を用いて，脅威となる水中移動目標（ﾀﾞｲﾊﾞｰ，水中ｽｸｰﾀ＋ﾀﾞｲﾊﾞｰ，船）3 種類とそれ以外の環境雑音の計 4 種類のｶﾃｺﾞﾘに自動的に分類できる港湾監視ｼｽﾃﾑを構築してきた[1]．
本研究では，さらなる精度向上の試みとして，弱教師あり学習[2]，BC learning (Between-class Learning)[3] を用いた学習手法を提案し，港湾監視ｼｽﾃﾑに適用・評価を行い，その有用性を確認した．また，これまで開発してきた港湾監視ｼｽﾃﾑの深層学習技術や水中音響技術などの新たな展開として，水中生物の生態ﾓﾆﾀﾘﾝｸﾞへの応用検討も実施し，この分野が有望な応用分野になり得ることも確認できた．
本稿では，これらの港湾監視ｼｽﾃﾑおよび水中生物の生態ﾓﾆﾀﾘﾝｸﾞに関する研究開発について述べる．

2. 港湾監視システムの概要
図 1 に，当研究室で開発してきた音響ﾃﾞｰﾀから水中移動目標を検出・分類する港湾監視ｼｽﾃﾑ[1]の概要を示す． まず，ﾊﾟｯｼﾌﾟ音響ｾﾝｻから取得した音響ﾃﾞｰﾀに対して，高速ﾌｰﾘｴ変換(FFT, Fast Fourier Transform)を適用し，1 秒間ごとの 0.5～10kHz 帯のｽﾍﾟｸﾄﾛｸﾞﾗﾑを生成する．次に，自己符号化器(AE, AutoEncoder)を用いて，分類に悪影響を与えるﾉｲｽﾞをｽﾍﾟｸﾄﾛｸﾞﾗﾑから除去する．最後に，畳み込みﾆｭｰﾗﾙﾈｯﾄﾜｰｸ(CNN, Convolutional Neural Network)を用いて，4 種類の水中移動目標を自動分類する．

監視ｼｽﾃﾑの分類器である CNN の弱教師あり学習およびBC learning を用いた 2 つの学習手法を提案する．

3.1 手法Ⅰ: 弱教師あり学習の適用
弱教師あり学習を用いた提案手法Ⅰは，以下の手順で，典型的な学習ﾃﾞｰﾀ（ｽﾍﾟｸﾄﾛｸﾞﾗﾑとｶﾃｺﾞﾘの組）を拡張し，CNN を訓練する．
Step.1: 使用可能な学習ﾃﾞｰﾀｾｯﾄ TD_ava の中から，ﾀﾞｲﾊﾞｰ，水中ｽｸｰﾀ＋ﾀﾞｲﾊﾞｰ，船の 3 種類のｶﾃｺﾞﾘごとに，環境雑音の少ない典型的な特徴をもつﾃﾞｰﾀとすべての環境雑音のﾃﾞｰﾀを初期の学習ﾃﾞｰﾀ TD_ini として抽出するとともに，TD_cnn にも格納する．
Step.2: TD_cnn を用いて，CNN を訓練する．
Step.3: TD_ava の学習ﾃﾞｰﾀ（ｽﾍﾟｸﾄﾛｸﾞﾗﾑ）を学習済み
CNN に入力し，出力として得られる確信度が高い（設定した閾値 Th 以上の）学習ﾃﾞｰﾀを，そのｶﾃｺﾞﾘの典型的な学習ﾃﾞｰﾀとして TD_cnn に追加する．追加されるﾃﾞｰﾀがあれば，Step.2 に戻り，なければ，終了する．
このようにして，提案手法Ⅰは，3 種類のｶﾃｺﾞﾘごとの確信度が高い典型的なﾃﾞｰﾀとすべての環境雑音のﾃﾞｰﾀを学習ﾃﾞｰﾀとして用いて，分類器である CNN を訓練するものである．図 2 に，提案手法Ⅰの概要を示す．

図 2 手法Ⅰ: 弱教師あり学習の適用
Fig. 2 Method I based on weakly supervised learning.

3.2 手法Ⅱ: BC learning の適用

図 1 ｼｽﾃﾑの概要
Fig. 1 Overview of the system.

3. 提案手法
港湾監視ｼｽﾃﾑのさらなる分類精度向上を目指して，港湾昨年度の研究[1]では，UMAP[4]というﾃﾞｰﾀ分布の可視化手法を用いて，各ｶﾃｺﾞﾘ間に類似したﾃﾞｰﾀが存在することを確認するとともに，各ｶﾃｺﾞﾘ間の決定境界を明確化する
BC learning を適用することにより，分類精度の向上を試みた．提案手法Ⅱは，弱教師あり学習を用いた提案手法Ⅰによりｶﾃｺﾞﾘごとに抽出した確信度が高い典型的な学習ﾃﾞｰﾀに BC learning を適用するものである．図 3 に，弱教師あり学習と BC learning とを組み合わせた提案手法Ⅱの概要を示す．

1EP44

テーマ番号(%)
10099
再 98
現 97率（ 96正 95
解 94率） 9392

図 3 手法Ⅱ：BC learning の適用
Fig. 3 Method II based on BC learning.

1st

4. 評価実験
提案手法の有用性を確認するために，評価実験では，2014, 2017 年度に金沢工業大学穴水湾自然学苑近海で収集した合計 2037 組の音響ﾃﾞｰﾀとそれに紐づけられた 4 種類のｶﾃｺﾞﾘの正解ﾗﾍﾞﾙからなるﾃﾞｰﾀｾｯﾄを用いた．このﾃﾞｰﾀｾｯﾄは，人間が聴いてもｶﾃｺﾞﾘを特定しづらい S/N 比が極めて悪いﾃﾞｰﾀを除去し，再構築を行ったものである．

4.1 データセット
表 1 に，提案手法Ⅰの評価実験で用いた学習ﾃﾞｰﾀｾｯﾄ
TD_ini, TD_ava，確信度の閾値 Th を 0.9～0.1 に設定した
ときに最終的に生成された学習ﾃﾞｰﾀｾｯﾄ TD_cnn_f の学習ﾃﾞｰﾀ数と，ﾃｽﾄﾃﾞｰﾀｾｯﾄのﾃｽﾄﾃﾞｰﾀ数を示す．
表 1 各種ﾃﾞｰﾀｾｯﾄのﾃﾞｰﾀ数
Table 1 Number of data in various datasets.
TD_avaTD_iniTh = 0.9
Th = 0.8
Th = 0.75
Th = 0.5
Th = 0.1
ﾃｽﾄﾃﾞｰﾀｾｯﾄ

ﾀﾞｲﾊﾞｰ
981
535
845
885
888
956
974
77

水中ｽｸｰﾀ＋ﾀﾞｲﾊﾞｰ
7660
6270
70707653船9862878989
97
98
48

環境雑音
585
585
585
585
585
585
585
119

合計
1740
1242
1579
1629
1632
1708
1733
297

4.2 実験および結果提案手法Ⅰの評価実験では，確信度の閾値 Th を 0.9～0.1 に設定したときの最終的に生成された学習ﾃﾞｰﾀｾｯﾄ
TD_cnn_f を用いて訓練した CNN の分類精度を評価した．
図 4 に，閾値 Th を 0.9～0.1 に設定したときの TD_cnn_fで訓練した CNN と，TD_ava を用いて訓練した CNN の正解ﾃﾞｰﾀ数を示す．この結果より，提案手法Ⅰで生成した
TD_cnn_f を用いて訓練した CNN は，より少ない学習ﾃﾞｰ
ﾀで，TD_ava で訓練した CNN と同程度の分類精度を達成でき，提案手法Ⅰの有効性が確認できた．
288
正 286
解 284
デ 282
ー 280
タ
数0.9

0.8

0.75

0.50.1

TD_ava

確信度の閾値 Th

図 4 正解ﾃﾞｰﾀ数 vs. 確信度の閾値 Th
Fig. 4 Number of correctly classified data vs. thresholds Th.
提案手法Ⅱの評価実験では，提案手法Ⅰで追加，生成される TD_cnn を，学習ﾃﾞｰﾀが繰り返し追加されるごとにTD_cnn_1st, _2nd, …, _n-th と保存しておき，これらの学習ﾃﾞｰﾀｾｯﾄを用いて BC learning を適用した CNN の分類精度を評価した．図 5 に，TD_ava を用いて BC learning を適用した CNN の分類精度とともに，閾値 Th = 0.8 の TD_cnn_nth を用いて BC learning を適用した CNN の分類精度を示す．これは，環境雑音を除く 3 種類のｶﾃｺﾞﾘに対してのみ，2nd

3rd

4th

5th

6th

7th

8th

TD_ava

図 5 TD_cnn_n-th を用いた BC learning による分類精度
Fig. 5 Classification accuracy by BC learning using TD_cnn.
BC learning を適用した場合の結果である．TD_cnn_7th では，TD_ava を用いた場合，すなわち，すべての学習ﾃﾞｰﾀを用いて BC learning を適用した場合の正解率を超えており，提案手法Ⅱの有用性が確認できた．

5. 水中生物の生態モニタリングへの応用
近年，海底に着目した沖合栽培漁業への期待が高まっており，光の少ない海底では，音響ｾﾝｻによる底魚などのﾓﾆﾀﾘﾝｸﾞ技術が必須となる．そこで，港湾監視ｼｽﾃﾑの深層学習技術や水中音響技術の新たな展開として，水中生物の生態ﾓﾆﾀﾘﾝｸﾞへの応用可能性について検討した．
表 2 に，検討に用いた 4 種類の水中生物の鳴音ﾃﾞｰﾀにFFT を適用して得た学習/ﾃｽﾄﾃﾞｰﾀ（1 秒間の 0.5～10kHz 帯のｽﾍﾟｸﾄﾛｸﾞﾗﾑ）の数と，港湾監視ｼｽﾃﾑをﾁｭｰﾆﾝｸﾞすることなく適用した場合の分類精度を示す．まだﾃﾞｰﾀ数が少なく，環境雑音ﾌﾘｰのﾃﾞｰﾀではあるものの，港湾ｼｽﾃﾑの要素技術の新たな応用分野として有望であることが確認できた．
表 2 学習/ﾃｽﾄﾃﾞｰﾀ数と分類精度
Table 2 Number of data and classification accuracy.
ﾎｳﾎﾞｳ
ｲｾｴﾋﾞ
ﾄﾗﾌｸﾞ
ｳﾏﾂﾞﾗﾊｷﾞ

学習ﾃﾞｰﾀ数
14101010

ﾃｽﾄﾃﾞｰﾀ数
14101010

分類精度
92．9%
70．0%
100．0%
100．0%

6. むすび本研究では，港湾監視ｼｽﾃﾑのさらなる精度向上の試みとして，弱教師あり学習，BC learning を用いた学習手法を提案し，港湾監視ｼｽﾃﾑに適用，評価を行い，その有用性を確認した．また，港湾監視ｼｽﾃﾑの要素技術の新たな展開として，水中生物の生態ﾓﾆﾀﾘﾝｸﾞへの応用検討も実施し，この分野が有望な応用分野になり得ることも確認できた．今後はさらなる精度向上を図っていく予定である．最後に，多大なるご支援をいただいている日本電気株式会社の関係各位に感謝いたします．

参考文献[1] 八野司，加古著人，小倉綾，“水中音響技術を利用した港湾監視ｼｽﾃﾑに関する研究，” 令和元年度ﾌﾟﾛｼﾞｪｸﾄﾃﾞｻﾞｲﾝⅢ公開発表審査会予稿集，1EP184, 2020．
[2] 杉山将，“弱教師付き機械学習の新展開，” PT1, 第 26
回画像ｾﾝｼﾝｸﾞｼﾝﾎﾟｼﾞｳﾑ(SSII2020), 2020．
[3] Yuji Tokozume, Yoshitaka Ushiku, Tatsuya Harada,"Between-Class Learning for Image Classification,"
Proceedings of the IEEE Conference on Computer Vision
and Pattern Recognition (CVPR), pp.5486-5494, 2018．
[4] Leland Mclnnes, John Healy, James Melville, “UMAP:Uniform Manifold Approximation and Projection forDimension Reduction,” arXiv:1802. 03426, 2018．