深層学習による画像認識を用いた
低波浪時の離岸流発生場所把握のための研究
長岡技術科学大学大学院工学研究科

環境社会基盤工学分野 修士2年 田邉 修斗

はじめに2. 手法
毎年，海辺での溺水事故が発生しているがそ映像から物体を検出する手法は様々提案されの原因の一つとして離岸流がある．日本ライフている．本研究では，深層学習を利用した一般セービング協会によると，海水浴場における溺物体検出アルゴリズムの中でも高速処理が可能
水事故の約50%が離岸流に起因している !) ．離な，YOLO5)の後続システムである YOLOv86)を岸流は，海岸付近での波浪と地形の作用で発生利用した．
する沖方向への強い流れであるが，一般には発YOLO の物体認識の手法は，予め画像全体を生場所を把握するのは困難であり，海岸での監正方形のグリッドに分割しておき，それぞれの視者の減少とあわせて事故発生数減少に至らなグリッドに対象となる物体が含まれているかどい原因となっている．これに対応するために，うかを判定するものである．
2)
Dumitriu ら は 『 A Novel Benchmark and手順は以下の通りである．
YOLOv8 Baseline Results』で離岸流のインスタ①：入力された正方形の画像をさらにグリッド
ンスセグメンテーション，石川ら 3)は『特徴のセル(grid cell)と呼ばれる小さな S×S 個の正方形異なる離岸流を検知可能なAIモデルの構築』でに分割する．
オープンエリアの離岸流と突堤付近の離岸流を②-1：各正方形に任意の個数のバウンディング検知可能なモデルの構築に取り組むなど，近年ボックスを配置する．
ではAIによる離岸流の発生状況の判別手法が開②-2：各正方形が，どのクラスに所属している発されており実用化されつつあるが，他既往成可能性が高いかを判断する．
果例では，砕波現象が小さい低波浪時での判別③：バウンディングボックスから適切なものをは困難である．しかし本研究グループの既往成選ぶために，クラスごとに一番信頼度の高い枠果 4)より，低波浪時の海水浴中の事故は全体のを選び，その枠と他の枠の重なり具合を調べて半数で発生していることから，低波浪時の判別一定以上の割合で重なっている枠を消し，物体を可能にさせる必要がある．そこで本研究では， を検出する．
本グループが離岸流研究から得た知見を活用し，3. モデルの構築
砕波現象が小さい海象時における離岸流発生場(1) 使用データ
所における表面波の変形パターン（図-1）を画
教師データに用いたのは，藤塚浜海岸におい像認識し，深層学習モデルを構築し，離岸流のて 2015 年に撮影された離岸流発生映像と，発生を検知することを試みた．
Dumitriu ら 2)により公開されているデータセットである．Dumitriu らのデータセットを教師データに用いたのは，Dumitriu らデータセットが，低波浪時の離岸流検知に適用できるかについて検討するためである．また，藤塚浜海岸における撮影時の波高，周期，波向はそれぞれ，0.42m，4.1s，NW であった．藤塚浜海岸の映像に対してはフレームに分解し，離岸流発生場所に顕著に見られる表面波の変形パターンをアノテーションした．作成したデータセットは以下の 5 つである．
図-1 離岸流発生時の表面波の変形パターン1.

表-1 データセット
dataset1：藤塚浜海岸_本研究学習データ150枚
dataset2：藤塚浜海岸_本研究学習データ500枚
dataset3：藤塚浜海岸_本研究学習データ630枚
dataset4：Dumitriu 2)の公開データセット2466枚
dataset5：Dataset3とDataset4,組み合わせ3096枚

本研究は，水難事故防止の観点から，離岸流発生箇所を把握することが目的である．そのため，離岸流の検出漏れを最小限に抑えることが重要であり，Recallを重視することとした．
表-2 テストデータセット
テストデータセット①：5401枚（教師データと同じアングル）
テストデータセット②：1798枚（教師データと別のアングル）

図-3 に，同じアングルから撮影されたデータ
セット 5401 枚での検証の結果を示している．
dataset4 で は Precision ， Recall ， mAP50 ，mAP50-95 のすべての指標が 0 となり，低波浪時の離岸流を適切に把握できていないことが示
図-2 離岸流箇所のアノテーション例された．また dataset1 では各指標が 0 であったが，dataset2，dataset3 では，藤塚浜海岸での教(2) 使用ツール
師データ画像の増加に伴って Recall が向上した．
本研究では，Google が提供しているクラウ
dataset5 においては，藤塚浜の離岸流データをドベースの Python 実行環境である Google Cola最も多くした dataset3 と比較して，Precision はboratory を使用した．Google Colaboratory はブ
低 下 し て い る も の の ， Recall が 向 上 し た ．
ラウザ上で動作し，環境構築の必要がなく，また GPU（Tesla T4）へのアクセスが可能である． Precision と Recall は，一般的にトレードオフの関係にある．Precision が高い場合，モデルが正そのため，計算リソースの制約を受けずに深層確に離岸流を検出できるが，検出漏れが発生す学習の学習や検証を行うことができる．
る可能性が高くなり，Recall が低下する．逆に，Recall が高い場合，モデルが多くの離岸流を検(3) 学習条件
出できるが，誤検出が増えて Precision が低下
モデル：YOLOv8，エポック数： 300，学習率する．先にも述べたように，本研究では Recall
0.01，訓練データと検証データの分割 7：3，バを重視している．よって Dumitriu らのデータセッチサイズ：8，画像サイズ： 640×640 ピクセ
ットと本研究学習データを複合的に用いた
ル，最適化手法：auto（学習率やその他パラメ
dataset5 モデルの汎用性が向上することが確認
ータを自動的に調整する手法），ライブラリ：できた．
pytorch，メモリ容量：14.75GB
4. 結果(1) 検証データセットに対する評価
dataset1からdataset5までのそれぞれをモデルに学習させた後，訓練データセットとは異なる検証データセットを作成しモデルのパフォーマンスを確認した．テストデータセットは2つ作成した．教師データ作成に用いた画像と同じアングルの画像テストデータセットと，別の角度の画像データからなる2つのテストデータセッ
図-3 同じアングルでの検証結果
トである．
デ ー タ セ ッ ト 作 成 後 ， Precision ， Recall ，
テストデータセット②での検証結果について
mAP50，mAP50-95を算出し，dataset4の低波浪図-4 に示している．図-4 より，dataset1 から時における適用可能性を確認するとともに，dataset4 では適切に離岸流の発生箇所を把握でdataset3とdataset5の性能の比較を行った．なお，

きず，各指標が 0 になっていることが確認できる．一方で，dataset5 では各指標の向上が見られた．よって，dataset5 においては，他のデータセットと比較して汎用性が向上し，別のアングルでの離岸流についても判別できる可能性が示された．

出率が低くなった．dataset5では，同じアングルだけでなく，別のアングルの映像に対しても検出率が向上した．

図-5

図-4

総フレームに対する検出率（藤塚浜海岸）別のアングルでの検証結果(2) 動画に対する予測結果（藤塚浜海岸）
訓練済みのモデルを使用して新しいデータの出力を予測した．ここでは，dataset3とdataset5の検出率の比較を行った．(1)では，検証用に画像にアノテーション情報を加えた検証用データセットを構築し評価を行ったが，動画に対して検証を行う際，離岸流の発生するすべてのフ
図-64 秒ごとの検出率（藤塚浜海岸）
レームに対して人の手でアノテーションを施し，評価を行うのは現実的ではない．よって，動画(3) 動画に対する予測結果（内灘海岸）に対しての予測検証では，動画全体で離岸流がほかの海岸での適用可能性について確認した．
発生しているものとし（着色剤発生は確認済
これには石川県内灘海岸の離岸流発生映像を用み），検出フレーム数で評価を行った．なお，
いた．内灘海岸での検証についても，藤塚浜海00009.mp4，00012.mp4，00013.mp4は別のアン岸での予測と同様に，総フレームに対する検出グル，00015.mp4は同じアングルの映像である． 率，4秒ごとの検出率を算出した．
結果，dataset5ではdataset3と比較して検出率
なお，内灘海岸での離岸流撮影期間，波浪条が向上していることが確認できた．一方，検出件は以下の通りである．
率は向上しているものの，動画によっては約18%しか検出していないことが確認できた．こ
表-3 内灘海岸における撮影期間と波浪条件
れは，本研究で構築したモデルは離岸流発生時
内灘①，②：2018年6月28日，1.05m，5.5s，Wの表面波の交差パターンが顕著な画像をアノテ
内灘③，④：2019年7月 8日，0.51m，4.0s，Nーションし，教師データとしているが，離岸流が発生しているすべてのフレームにおいて離岸図-7，図-8に結果を示しているが，内灘海岸流の顕著なパターンが出現しているとは限らなでの予測でも，藤塚浜海岸に対する予測と同様い（1波浪のうち瞬間的）ためである．そこで， にdataset5で検出率が向上していることが確認
動画を解析している間，4秒（約1周期）ごとにされた．
離岸流が検出された場合に，それを1回としてまた，実際に予測動画を確認し，離岸流の発カウントし，動画全体での4秒ごとの検出率を生場所の確からしさを確認した．図-9に検出の算 出 し た ． そ の 結 果 を 図 -6 に 示 し て い る ．
一例を示しているが，この画像より，離岸流のdataset3では同じアングルの映像に対しては検発生場所を正しく検出していることが確認でき出率が高い一方で，別のアングルの映像では検る．よって，本研究で構築したモデルは，異な検出率る海岸，異なる波高時の離岸流を検出することができることが確認できた．
100%
90%
80%70%
60%
50%
40%
30%
20%
10%
0%

65.8%
56.4%

20.8%
3.6%

0.2%

0.8%

に対して，4 秒ごとの検出率では 92.5%で離岸流を認識した．また，Dumitriu らのデータセットと藤塚浜海岸の離岸流映像から構築したデー
タセットを複合的に用いたデータセット（dataset5）では，同じアングル映像に対しては 100%認識し，カメラのアングルが変化した
場合にも，低波浪時の離岸流発生箇所を 90%以上検出した．

4.1%15.0%

3) 動画に対する予測（内灘）内灘での検証においても dataset5 で検出率が向図-7 総フレームに対する検出率（内灘海岸） 上していることが確認できた．これにより，別の海岸，異なる波高においても離岸流を検出することができると確認できた．
100%
内灘①

内灘②

検出率

dataset3

90%
80%
70%
60%
50%
40%
30%
20%
10%0%

内灘③

内灘④

dataset5100.0%
91.3%

86.4%

20.3%
内灘①

81.5%

7.1%
内灘②
dataset3

図-8

13.0%
内灘③

13.0%
内灘④

6. 今後の展望・海岸全体と離岸流発生場の画面内の適度な比率を考える必要があると考えられる．
・内灘海岸の映像は短時間であったため，異なる波高時の判別をさらに確認する必要があると考えられる．

dataset5

4 秒ごとの検出率（内灘海岸）

7.
1)

2)

3)

図-9

内灘海岸離岸流検出例

4)5. まとめ1) 検証結果
検証データセットに対するテストにより，Dumitriu らのデータセットでは低波浪時の離岸流を検知することはできないことが確認できた．
5)
一方で，藤塚浜学習データと Dumitriu らのデータを複合的に用いることで再現率が最も高くなった．
6)

動画に対する予測（藤塚浜海岸）
藤塚浜学習データ 630 枚を用いたデータセット（dataset3）では同じアングルの離岸流映像
2)

参考文献
日本ライフセービング協会，https://jla-lifesa
ving.or.jp/watersafety/ripcurrent/，(最終閲覧日:2024 年 1 月 22 日)
Andrei Dumitriu, Florin Tatui, Florin Miron,Radu Tudor Ionescu, Radu Timofte.: Rip Current Segmentation: A Novel Benchmark andYOLOv8 Baseline Results. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)，2023.
石川 仁憲, 島田 良, Mika Viljam KONTTO,
小峯 力：特徴の異なる離岸流を検知可能なAI モデルの構築，土木学会，土木学会論文
集 B2，Vol.78，No.2．
犬飼 直之，江尻 義史，大竹 剛史，山本 浩，
細山田 得三：新潟東港周辺における突堤で囲まれたカスプ地形海岸での離岸流の生成機構について，土木学会，土木学会論文集
B2，Vol.71，No.2．
Joseph Redmon ， Santosh Divvala ， Ross
Girshick，Ali Farhadi：You Only Look Once:
Unified, Real-Time Object Detection，2016.
Ultralytics： YOLOv8 in PyTorch, https://docs.
ultralytics.com/,(最終閲覧日：2024 年 1 月 30日)