SS研HPCフォーラム 2019/8/20

機械学習・パターン認識の漁業への応用

京都大学 学術情報メディアセンター 飯山将晃

©2019 Ocean Eyes Inc.,

11

©2019 Ocean Eyes Inc.,22水産業の現状 - 世界の漁業 vs 日本の漁業 日本の漁業生産量推移

250

百万トン

百万トン

世界の漁業生産量の推移

2007654150

3100

2150001991
漁獲 海面

1996

2001

漁獲 内水面

2006
養殖 海面

2011

2016

養殖 内水面FAO FishStatより作成

海面漁業 遠洋

海面漁業 沖合海面漁業 沿岸

海面養殖業

内水面 漁業

内水面 養殖業（平成29年漁業・養殖業生産統計より）

直近でも、漁業が日本では衰退している ⇔ 世界では成長産業©2019 Ocean Eyes Inc.,

33

2019/7/19 朝日新聞Web©2019 Ocean Eyes Inc.,44水産業の現状 - 環境の変化 -❝ 海洋資源は有限である ❞世界の潮流は、 「管理漁業」 へ[資源管理の枠組み]

SDGs: 「持続可能な開発のための2030アジェンダ」(2015年9月の国連サミット)

持続可能な開発のために海洋・海洋資源を保全し、持続可能な形で利用する。

©2019 Ocean Eyes Inc.,55

水産業の現状 – 課題と必要な取り組み 漁獲漁業 (天然資源を獲る)
世界的にも国内でも漁獲量は減少傾向
資源を保護するために管理漁業へ転換「獲れるだけ獲る」から「決められた量を効率的に獲る」へ
就労人口の高齢化・減少
新規参入障壁 (「勘と経験」) をなくす
労働生産性の向上 (+「働き方改革」)

養殖漁業
世界的には急拡大している一方で，国内の生産量の伸びは緩やか
比較的小規模な経営体が多い (大規模な経営体の参入障壁)
漁業権 (70年ぶりの「漁業法改正」)
輸出量が少ない
国際的なマーケティング不足
環境保護に関する世界標準レベルの基準取得が遅れている©2019 Ocean Eyes Inc.,

66

Global Fishing Watch

衛星観測による漁船位置情報のリアルタイム収集
大規模なデータ収集基盤は整いつつある⇒次はデータ分析基盤©2019 Ocean Eyes Inc.,77

とある船舶の移動軌跡

海流を無視して移動海流を意識した航路を選択すれば燃費が向上©2019 Ocean Eyes Inc.,88とある漁船の移動軌跡

良い漁場を探しながら移動⇒最初から良い漁場にナビゲーションできれば効率向上©2019 Ocean Eyes Inc.,99漁業者は海水温などの海況情報を見て勘と経験に基づいて漁をしている．

その判断を助ける高精度の海況情報を生成できないか？
&
ベテランの漁業者の判断を計算機で再現できないか？

どこに行ったら魚が獲れますか？
©2019 Ocean Eyes Inc.,1010

情報学から最も遠く離れた産業で情報処理をやる
産業毎のデジタル化の度合い

AIのレッドオーシャン

GAFA

海洋テーマはブルーオーシャン
漁業はこのへん©2019 Ocean Eyes Inc.,1111

AI+海洋・水産• センサ不足• 海の中はほとんど観測できない• 海上の気象観測：
http://www.jcommops.org/board?t=argo
3度格子（300km×300km）に1個程度しかないセンサー• データ不足• AIS（自動船舶識別装置）は大型船のみ• 漁獲データは漁師の操業日誌だけが頼り．しかも企業秘密• メカニズム不明• 勘と経験の漁業• そもそもプロの漁業者でも常に魚を獲れているわけではない©2019 Ocean Eyes Inc.,

1212

（2019-2021年度）

FishTechによるサステイナブル漁業モデルの創出
飯山 将晃 （京都大学 学術情報メディアセンター 准教授）

研究領域「イノベーション創発に資する人工知能基盤技術の創出と統合化」（研究総括：栄藤 稔、H28年度発足）

提案研究の概要
水産海洋ドメイン知識・水産海洋センシング・AI技術からなる海洋水産AI技術（FishTech）を確立し、経済性と資源保護を両立させたサステイナブル漁業モデルを創出することを目標とする。漁業活動の過程で得られるセンサデー
タを、魚の生態や海洋物理に関するドメイン知識をパターン認識とデータ同化技術に取り入れた新たな技術によって分析・処理し，操業支援情報や中期漁業経営方策を創成する。

FishTech (水産海洋ドメイン知識+水産海洋センシング+AI)
によるサステイナブル漁業モデルの創出
水産学
水産資源の集群メカニズムの解明 ＋AI漁場予測
生態メカニズム

水産ドメイン知識

漁場予測

漁業経営方策の立案

水産海洋センシング

研究終了時の達成目標（簡潔に）FishTechによりサステイナブル漁業に向けた漁業支援情報を創出し実証する

Ａ Ｉ 技術マルチモーダル ＋水産パターン解析＋海洋OnSpot海洋環境把握

提案研究の独創性、新規性・優位性（国内外の類似研究との比較）
これまで海洋気象の予測および水産資源の生態の理解についての研究は、気象学・水産学の分野で進められており、決して十分ではない観測データに基づかざるを得なかった。本研究ではこれを漁船での現地観測から得られる大量のデータと情報学的な分析アプローチを導入することで高精度化する。
本研究構想は、水産・海洋の研究者と情報学研究者との協働による「FishTech」のさきがけであり、情報学の観点でも水産学・海洋気象学の観点でもほぼ未開拓の領域である。本研究構想が達成されることにより、水産学・海洋気象学に対して情報学的アプローチによる革新が期待できる。

情報学

海況予測＋AI画像生成

海洋ドメイン知識
海洋学

海洋水産情報活用基盤
自治体・省庁

漁業者
資源予測・漁業管理

持続的な漁業経営操業支援情報⇒経済性向上⇒水産資源保護プラットフォーム型海洋漁業データ産業としてのビジネス展開

研究の将来展望：（１）研究期間終了後の研究計画
開発した技術を漁業だけでなく海運などの他の産業にも活用できるよう開発を進めるとともに、資源量の予測や長期の海洋環境予測など、FishTechによる新たなアプリケーションの実現に向け研究を進めていく。
（２）科学技術イノベーション（※）創出、 知的財産権の取得・活用、新産業創出・社会貢献本研究で開発する技術を民間企業での利用を通して社会に還元していく。これにより日本発の「AI漁業」を創出していく。
（※）「科学的な発見や発明等による新たな知識を基にした知的・文化 的価値の創造と、それらの知識を発展させて経済的、社会的・公共的価値の創造に結びつける革新」出典：第4期科学技術基本計画

衛星画像処理©2019 Ocean Eyes Inc.,1414

雲で見えない箇所の水温データを推定したい©2019 Ocean Eyes Inc.,1515

研究の背景漁業者の漁獲量推定などで海水温情報が有用
色で海水温を表現

雲の部分(白)は海水温が不明

従来: データ同化で修復計算コスト大→リアルタイム性に欠ける(1日以上)人工衛星により観測された海水温画像

目的：欠損部分の海水温度をリアルタイムに修復する©2019 Ocean Eyes Inc.,

1616

画像処理でなんとかならないか？
画像処理の分野で一部が欠けた画像を修復する技術が提案されている
Image Inpainting

欠損補完

これを（雲の影響で欠けてしまった）海水温画像に転用することができないか？
雲の下の水温予測©2019 Ocean Eyes Inc.,1717

学習型インペインティング(1)
学習型インペインティング• 過去の大量の海水温画像があれば，それを手がかりに欠損部分の推定ができるはず．

• 海水温画像の過去データを利用• 気象衛星から過去に撮影された海水温画像約1.5年分• それをさらに小さい画像に切り分けて，晴れている部分だけを抽出した数千枚の画像©2019 Ocean Eyes Inc.,1818

閑話休題：昔作ったアプリケーション

このデータを圧縮できないか？
19©2019 Ocean Eyes Inc.,

1919

なぜ大量の過去データがあれば現在の（雲で隠れた）情報が復元できるのか？
• 左の画像（64×64）は64×64=4096次元のデータ．
• 各画素（地点）での水温を仮に256段階の値でざっくりと表現したとして，64×64の画像が取り得る組
み合わせは，2564096≒109864通り• 地球上での64×64の海水温画像が取り得る組み合わせはこんなには多くはないはず…⇒4096次元も要らないんじゃ？

 実際，64x64の海水温画像は高々50個程度の「基底画像」の重み付き和で99%表現できてしまう．
０．８×０．４×-0.5×…

 基底画像を過去データから事前に作っておけば，元々4096次元の海水温画像を50個の重みパラメータで表現できてしまう．
©2019 Ocean Eyes Inc.,

2020基底画像を用いたインペインティング• 基底画像は大量の過去画像を用いて主成分分析(PCA)により事前に計算できる#pixels#training images

10.3
⋮
12.5

⋯
⋯9.8
⋮
15.1

PCA
主成分（基底画像）

大量の過去画像 50個の重みパラメータを推定するだけなら，画像全体が見えている必要は必ずしもない．
０．８×０．４× 50個の重みパラメータさえ推定できれば，欠損のない画像を復元できる ©2019 Ocean Eyes Inc.,-0.5×…

2121

Experimental Results
Ground Truth

Occluded ImageTELEA[8]NS[10]PCAI

SARP

Our Method
w/ OF

Our Method
w/o OF• When occluded region is small, PCA-based inpainting restores well• The result of our method is also good

©2019 Ocean Eyes Inc.,

22

22

Experimental Results
Ground Truth

Occluded ImageTELEA[8]NS[10]PCAI

SARP

Our Method
w/ OF

Our Methodw/o OF©2019 Ocean Eyes Inc.,2323

線形和では無理があるのでは…？
⇒ 非線形でやってみる• 深層学習を用いた画像修復©2019 Ocean Eyes Inc.,

24

24

再構築誤差による従来手法[1]インペインティング
マスク

欠損のない
学習画像

正解画像

ジェネレータ

入力画像

再構築誤差• ジェネレータを学習：• 平滑化されたぼけた修復結果になる

修復結果

正解画像 修復結果

修復結果の海水温画像に求められる性質①正解画像と修復画像の平均二乗誤差が小さい→満たす②海水温分布の特徴が再現されている→満たさない©2019 Ocean Eyes Inc.,

25

25

敵対的誤差を利用する従来手法[2]インペインティング

ジェネレータ

マスク
欠損のない
学習画像

正解画像

Gによる生成画像(偽物)と正解画像(本物)を判別

敵対的誤差

入力画像 Dを騙せる画像を生成 修復結果

ディスクリミネータ

修復結果

本物/偽物

正解画像

• 再構築誤差+敵対的誤差で学習：• 大きく平滑化された，学習画像にはありえない画像の生成を抑制
修復結果の海水温画像に求められる性質①正解画像と修復画像の平均二乗誤差が小さい②海水温分布の特徴が再現されている©2019 Ocean Eyes Inc.,

→満たす
→満たす

26

26

空間方向と時間方向の情報の利用
…
修復対象

非欠損部分
=空間方向の情報

前日

前々日

過去数日間の海水温画像=時間方向の情報

時空間海水温画像(3次元データ)
時間/空間方向の情報を同時に扱い修復する• 海水温画像は• １日の雲の移動量 >> １日の海水温度の移動量
スパース[5][6]• 海水温変化の主因である海流に法則性がある→非欠損部分をもと →前日の画像から当日の画像がある程度予測可能に欠損部分を推定

過去の大量の海水温データに基づき時空間海水温画像を学習型インペインティングにより修復©2019 Ocean Eyes Inc.,2727

正解画像 修復対象

前日

前々日

正解画像 修復対象

NS[4]PCAOF[3]正解画像 修復対象

[2]

[2]

[2]

正解画像 修復対象• 欠損が小さい場合は高精度で修復可能©2019 Ocean Eyes Inc.,

2828

正解画像 修復対象

前日

前々日

正解画像 修復対象

NS[4]PCAOF[3]正解画像 修復対象

[2]

[2]

[2]

正解画像 修復対象• 従来手法に対し高精度で修復可能• 敵対的誤差は再構築誤差による平滑化を軽減©2019 Ocean Eyes Inc.,2929

正解画像 修復対象

前日

前々日

正解画像 修復対象

NS[4]PCAOF[3]正解画像 修復対象

[2]

[2]

[2]

正解画像 修復対象• 欠損が大きい場合であっても前日の海水温をもとにある程度修復可能• 敵対的誤差は再構築誤差による平滑化を軽減©2019 Ocean Eyes Inc.,3030

正解画像 修復対象

前日

前々日

正解画像 修復対象

NS[4]PCAOF[3]正解画像 修復対象

[2]

[2]

[2]

正解画像 修復対象• 欠損が大きい場合であっても前日の海水温をもとにある程度修復可能• 敵対的誤差は再構築誤差による平滑化を軽減©2019 Ocean Eyes Inc.,3131

©2019 Ocean Eyes Inc.,

3232

漁場推定

©2019 Ocean Eyes Inc.,

3333

Q:プロの漁業者は広い海の中でどうやって漁場を決めているのか？
• A: 勘と経験…と海洋環境（海水温データ）• 渦の大きさや形が手がかりとなっているらしい• 具体的な判断基準は不明（経験知）
海水温のパターンが重要な手がかり©漁業情報サービスセンター

漁業者に提供されている海水温図
分野は全く異なりますが，似たような問題設定

医用画像からの自動診断技術 と同様のアプローチがとれるのでは？
つまり，

 大量の教師データを用いて，

 (大量の)患者のレントゲン画像とガンの発生位置
 (大量の)過去の海水温図と漁場の位置とそのときの漁獲量

 画像からの特定パターン検出問題を解く
 ガンの発生位置を検出
 良い漁場位置を検出©2019 Ocean Eyes Inc.,3434

漁場推定の概要
利用するデータ
１．過去の漁場位置と漁獲量
過去14年分のデータ
datelocationamount2001/7/1

42°N，171°E

10.1

2004/6/9

38°N，165°E

5.4

：

：

：

漁場推定：
当日(もしくは数日先）の海水温図を入力とする
海水温図から小さい画像（海水温パターン）を切り出し，海水温パターンで表される海域が良い漁場かどうかを判定する．

２．過去の海水温データ
予測

海水温図

©2019 Ocean Eyes Inc.,

goodbad

海水温パターン
3535

良い漁場となる海水温パターンは見つけられるのか？
そもそも海水温だけで漁獲が決まるわけでは無い
同じような海水温パターンでも，獲れるときもあれば獲れないときもある

Similar pattern

Fish catch©2019 Ocean Eyes Inc.,

3636

試しに単純に回帰してみると…
• 海水温パターンからkernel PCAを用いて低次元特徴を取得• Support Vector Regressionで漁獲量を直接回帰

Sea water
temperature pattern

Feature vector(20 dim)Featureextraction(kPCA)Catch amount・・・Regression(SVR)©2019 Ocean Eyes Inc.,

3737

提案手法：漁獲量の確率密度関数の推定• 従来：点推定

いわゆる回帰similardifferent

kg𝑓( )• 提案手法: 分布推定
仮定：類似した海水温パターンであれば同じ漁獲量分布に従う

本研究のアプローチ

similar𝑔( )different

漁場の良し悪しの判定であればこれで十分？

©2019 Ocean Eyes Inc.,3838

漁場となりうる「典型的パターン」が存在すると仮定
典型的パターンの一部は「良い」パターンで，残り一部は「あまり良くない」パターン．
さらに，典型的パターンに属さない「漁場としては不適切」なパターンもある

過去の操業位置での海水温パターンを，類似した海水温パターンがひとつのクラスタとなるようにクラスタリングする．
過去の操業位置での海水温パターン

クラスタ1

その際，どのクラスタにも属さない雑多な海水温パターンも同時に検出しておく
クラスタ2

クラスタ3

input
・・・

・・・

・・・

各クラスタ毎の漁獲成績を集計

・・・

𝑖 = 𝑐()ℎ𝑖𝑠𝑡𝑜𝑔𝑟𝑎𝑚𝑖©2019 Ocean Eyes Inc.,

3939

漁獲データの性質• ほぼ同じ海域で操業している漁船団の存在• そのままクラスタリングすると漁船団の小クラスタができてしまう• 典型的な海水温パターンには属さないサンプルの存在• いわゆる雑多なサンプルをまとめて一つのクラスタにしたい海水温パターンが取り得る特徴空間: サンプル・「漁船団」の問題
同一日・近い海域にあるサンプル
間の類似度に補正

2001/6/5

クラスタ・雑多なサンプルの問題
2001/6/5

𝑥

雑多なサンプル2001/6/3

外れ値に強いクラスタリングの導入

2001/6/4©2019 Ocean Eyes Inc.,

4040

Spectral Clustering• Project p samples into n-dimensional space.
1. Calculate Similarity Matrix: 𝑝 × 𝑝 matrix 𝑊
𝑊𝑖𝑗 : similarity between sample i and sample j

2. Calculate Graph Laplacian: 𝐿 = 𝐷 − 𝑊
𝐷𝑖𝑖 = ෍𝑝𝑗=1

𝑊𝑖𝑗 , 𝐷𝑖𝑗 = 0 (𝑖 ≠ 𝑗)

3. Calculate n eigenvectors of L with n𝑻 smallest eigenvalue,
𝒖𝟏 … 𝒖𝒏 , and 𝑛 × 𝑝 matrix 𝑈 = [𝒖𝟏 … 𝒖𝑻𝒏 ]4. i-th row of U indicates the location of i-th sample on then-dimensional coordinate.
If the n is equal to the number of clusters, each axis in then-dimensional space corresponds to each cluster.
©2019 Ocean Eyes Inc.,

41

41

Illustration of spectral clustering
Original feature spacep samplespxp graph laplacian

Each row corresponds to each sample,
so each sample is represented
with p-dimensional vector.
Similar samples form a cluster.

Outliers, which have no similar
samples, have near-zero vector.
Outliers are close to each other in the p-dimensional space(also in the n-dimensional space), so they form single cluster.
[1] Ina, Hashimoto, Iiyama, Kasahara, Mori, Minoh, “Outlier Cluster Formation in Spectral Clustering“,arxiv, 2017©2019 Ocean Eyes Inc.,

4242

クラスタリングの結果• 分析の結果，典型的パターンは4種類+1
クラスタ

c5
c4
c3
c2
c1
全体

CPUE中央値
予測値

頻度

5.2
3.41
2.92
2.9
2.85
3.38

灰色：c5の漁獲成績
白：漁業者全体の漁獲成績

CPUE(≒漁獲成績）©2019 Ocean Eyes Inc.,4343

分析に用いなかったデータでの検証
クラスタ

c5
c4
c3
c2c1
全体

CPUE中央値 ’10-’12 CPUE中央値実測値
予測値

5.2
3.41
2.92
2.92.85
3.38

2.9
2.1
2.3
1.79
1.52.1

漁場予測図(黄色の方が良い漁場)

予測値と実測値は一致しないが，大小の傾向はほぼ一致する
100m水温c5に分類される場所を推薦することによりCPUE中央値ベースで，442.1⇒2.9にCPUEが向上（約38%）する．
©2019 Ocean Eyes Inc.,4444

カツオ漁獲予測
2006〜2010のカツオ漁漁獲データ17,293件’06〜’08を学習に，’09〜’10を検証に利用
クラスタ CPUE予測

c5c4
c3
c2
c1
全体

6.44
5.81
5.42
5.24
4.72
3.38

’09-’10 CPUE
実測値平均

7.39
6.55
5.47
8.44
5.40
6.44

「良漁場」の海域に行った船は良い漁獲「不適」の海域に行ってしまい結局漁獲ゼロ• C2を除いては，大小の傾向は予測と実際でほぼ同じ

ただし…良漁場を絞り込めてはいない©2019 Ocean Eyes Inc.,4545

「豊漁」クラスタの検出と認識• これまで説明した手法• 過去データをクラスタリング• クラス識別によって（漁場候補となる）すべての海水温パターンをいずれかのクラスタに分類⇒ 少数個のクラスタにしか分類できない．

• 「豊漁」クラスタの検出と認識• 過去に豊漁だった海水温パターン（「豊漁」クラスタ）を見つけて• （漁場候補となる）すべての海水温パターンが，「豊漁」クラスタにどの程度近いかを判定する• 近ければ近いほど良漁場…のはず．

©2019 Ocean Eyes Inc.,4646

手法の概要• 教師データは（先ほどと同じく）海水温パターンと漁獲量• 海水温パターンをクラスタリング• クラスタの中で成績の良いクラスタのみを抽出⇒「豊漁」クラスタ• 「豊漁」クラスタか否かを識別する2クラス識別器を構築
クラス識別可視化

パターン抽出
海水温パターン

good cluster
fishing
spot

nonlineardimension
reduction

識別器「豊漁」クラスタ

not good cluster

海水温データ©2019 Ocean Eyes Inc.,4747

「豊漁」クラスタnonlinear
dimension
reduction
good fishingspot cluster©2019 Ocean Eyes Inc.,4848

豊漁クラスタの識別• Ensemble SVMを構築
Three-dimensional visualization ofsea water temperature patter

識別性能の評価
Other cluster

Largest catchamount cluster

Other cluster

116

13

Largest catchamount cluster

722

Predicted
Actual©2019 Ocean Eyes Inc.,4949

漁場推定結果

海水温図

漁場インデックス• 豊漁クラスタに所属する尤度に基づいて良漁場らしさを決定

実際の漁獲量(CPUE)

漁場インデックスマップ• プロの漁業者でも失敗することを考えれば，十分な精度©2019 Ocean Eyes Inc.,

5050

今後の展望©2019 Ocean Eyes Inc.,5151

サステイナブル漁業の将来ビジョン
ボトムアップで全国の水産データを集積し、プラットフォーム型データ漁業を実現
行政・自治体

衛星データの活用

産学が連携した
研究開発

海洋情報
プラットフォーム

・中期資源管理情報
・海況情報

各海域の水産DB

海洋モデル・データ解析
水産卸、商品取引事業者
海運業

短期流れ予測DBDBDB

DB

MSC認証支援漁獲予測

短期海況予測・中期資源予測情報・海況情報

魚探装備漁船漁業会社
釣り人、趣味52

漁業者・個人©2019 Ocean Eyes Inc.,

52

52

サステイナブル漁業の将来ビジョン
農業での参考事例 TellusLabs

我々が実現する未来衛星画像と機械学習を用いたトウモロコシの生産量予測

勘に頼る水産業の事業モデルを変える©2019 Ocean Eyes Inc.,

53

53