【論文まとめ】沿岸のビデオ画像から深層学習で波を追跡する

### 論文
Jinah Kim, Jaeil Kim, Taekyung Kim, Dong Huh, Sofia Caires  2020
[Wave-Tracking in the Surf Zone Using Coastal Video Imagery with Deep Neural Networks](https://www.mdpi.com/2073-4433/11/3/304)
「深層NNを用いた沿岸ビデオ画像によるサーフゾーンの波追跡」

### 何ができるか？

1. 屋外カメラ映像から雨の水滴による画像の歪みを除去
2. 画像から背景や環境光の影響を除き、波の動き情報のみを抽出
3. 波の時空間的情報（向きと強さ？）の抽出

つまり→

- 屋外カメラから水滴の除去
- 画像から波の動き情報のみを抽出
- 波のブレイクの位置や強さを得る？
- 波のブレイクする速さを得る？
- 映っている範囲の中で、うねり・ブレイク・スープのセグメント？

### 入力と出力

- 入力：カメラ画像
- 出力：空間変異マップ（空間変形ベクトル）

### 手法

**映像強調(a)**

- 水滴の歪みを無くすため
- Pix2Pixネットワーク
- 水滴有りと無しの映像ペアを学習させる
- 事前学習にQianら[[9]](https://scholar.google.com/scholar_lookup?title=Attentive+generative+adversarial+network+for+raindrop+removal+from+a+single+image&conference=Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition&author=Qian,+R.&author=Tan,+R.T.&author=Yang,+W.&author=Su,+J.&author=Liu,+J.&publication_year=2018&pages=2482%E2%80%932491)が収集した水滴の有無のペアを含むオープンデータセットを使用
- 事前学習後、目標のビーチの水滴有無ペアのデータで追加学習
- 生成された歪み除去済み画像を次に渡す

**シーン分離(b)**

- 波の動きのみを抽出するため
- ディープオートエンコーダネットワーク
- 背景画像（時間的に共通）と前景画像（時間的変化）、マスク画像（学習時の重み・波情報を保持）を出力
- 早期停止で過学習対策
- マスク画像を次に渡す

**砕波追跡(c)**

- 波の速度を推定するため
- 空間変換ネットワーク
- 画像位置合わせの問題として、連続するマスク画像から空間変異マップ（ベクトル）を抽出
- 学習には時間が掛かるが、推定はリアルタイムに可能
- 複数の波を同時に追跡可能
- ラベリングを行わず、教師なし学習を用いているので適応性が高い
- 変異マップを出力

![処理概要](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/209951/519342fb-bb96-8748-6f1f-5d5f7c569db9.png)
処理概要：論文より引用

![出力概要](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/209951/ad5e8c30-1736-6cdd-7b7a-ab80b4ce936d.png)
出力概要：論文より引用

### 関連知識

**映像強調**

- Pix2Pixアーキテクチャ：[[7]](https://scholar.google.com/scholar_lookup?title=Image-to-image+translation+with+conditional+adversarial+networks&conference=Proceedings+of+the+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition&author=Isola,+P.&author=Zhu,+J.Y.&author=Zhou,+T.&author=Efros,+A.A.&publication_year=2017&pages=1125%E2%80%931134)
- GAN：[[8]](https://scholar.google.com/scholar_lookup?title=Generative+adversarial+nets&conference=Proceedings+of+the+Advances+in+Neural+Information+Processing+Systems&author=Goodfellow,+I.&author=Pouget-Abadie,+J.&author=Mirza,+M.&author=Xu,+B.&author=Warde-Farley,+D.&author=Ozair,+S.&author=Courville,+A.&author=Bengio,+Y.&publication_year=2014&pages=2672%E2%80%932680)

**シーン分離**

- 時空間畳み込みアーキテクチャを用いたビデオ用の生成的敵対ネットワーク：[[11]](https://scholar.google.com/scholar_lookup?title=Generating+videos+with+scene+dynamics&conference=Proceedings+of+the+Advances+in+Neural+Information+Processing+Systems&author=Vondrick,+C.&author=Pirsiavash,+H.&author=Torralba,+A.&publication_year=2016&pages=613%E2%80%93621)
- 前景と背景を分離して自然なビデオ画像を作成するオートエンコーダー：[[12]](https://scholar.google.com/scholar_lookup?title=Hydrodynamic+scene+separation+from+video+imagery+of+ocean+wave+using+autoencoder&author=Kim,+T.&author=Kim,+J.&author=Kim,+J.&publication_year=2019&journal=J.+Korea+Comput.+Graph.+Soc.&volume=25&pages=9%E2%80%9316&doi=10.15701/kcgs.2019.25.4.9)

**砕波追跡**

- 画像位置合わせフレームワーク：[[13](https://scholar.google.com/scholar_lookup?title=VoxelMorph:+A+learning+framework+for+deformable+medical+image+registration&author=Balakrishnan,+G.&author=Zhao,+A.&author=Sabuncu,+M.R.&author=Guttag,+J.&author=Dalca,+A.V.&publication_year=2019&journal=IEEE+Trans.+Med.+Imaging&volume=38&pages=1788%E2%80%931800&doi=10.1109/TMI.2019.2897538&pmid=30716034)]
- U-net：[[14]](https://scholar.google.com/scholar_lookup?title=U-net:+Convolutional+networks+for+biomedical+image+segmentation&author=Ronneberger,+O.&author=Fischer,+P.&author=Brox,+T.&publication_year=2015&pages=234%E2%80%93241)

**その他**

- Adam：[[15]](https://scholar.google.com/scholar_lookup?title=Adam:+A+method+for+stochastic+optimization&author=Kingma,+D.P.&author=Ba,+J.&publication_year=2014&journal=arXiv)
- 早期停止：[[16]](https://scholar.google.com/scholar_lookup?title=Overfitting+in+neural+nets:+Backpropagation,+conjugate+gradient,+and+early+stopping&author=Caruana,+R.&author=Lawrence,+S.&author=Giles,+C.L.&publication_year=2001&pages=402%E2%80%93408)
- グループ正規化：[[17]](https://scholar.google.com/scholar_lookup?title=Group+normalization&conference=Proceedings+of+the+European+Conference+on+Computer+Vision+(ECCV)&author=Wu,+Y.&author=He,+K.&publication_year=2018&pages=3%E2%80%9319)