深層学習を用いた時系列補間技術の非画像データへの適用性評価
Evaluation of the deep–learning–based time series interpolation method to non–visual data
川嶋 一誠＊

小堀 壮彦＊

Issei Kawashima, Takehiko Kobori

近年、コンピュータビジョンの分野において深層学習（ディープラーニング：Deep Learning）に関連した技術が大きく進歩している。その一つとして動画のフレーム補間への適用がある。深層学習を用いたフレーム補間は、従来手法である Optical Flow を用いた手法と比較して精度が大きく改善している。MSS は本技術に着目しており、様々な非画像データを対象として、時系列データの時間補間（以降、時系列補間という）への技術の応用を検討している。本報ではその一例として、気象レーダにおいて観測された雨量データに対する時系列補間の適用結果について紹介する。
Deep learning has greatly advanced in the field of computer vision, and one of the applications is
the video frame interpolation. Deep–learning–based video frame interpolation method is more accurate than the traditional method which uses Optical Flow. MSS is exploring whether this method canbe applied to non–visual data. This paper introduces the experimental results which are applied themethod to rainfall rate observed by weather radar as non–visual data.

て時間間隔が変化する場合もある。気象庁の解析雨量は

1．
まえがき

2003 年５月までは１時間間隔、それ以降は 30 分間隔になっている。

著者らが所属する MSS つくば事業部第一技術部は、ロケットの航法誘導ソフトウェアの開発等の宇宙関連の時間間隔が異なるデータ同士を合成する場合や、時間業務のほか、宇宙分野で培った技術を他分野に応用した

間隔が変化するデータを等間隔で解析したい場合には、業務も行っている。例としてシミュレーション技術や高頻度データを間引くか、低頻度データから模擬的に

データ処理技術を降水及び降灰を対象にした気象防災に

高頻度データを作成して時間間隔を揃える必要がある。

応用する業務があり、国立研究開発法人防災科学技術研

前者は各時刻のデータを加工せずに利用できるが、データ究所殿、国立大学法人鹿児島大学殿、国立大学法人京都を間引くことによって時間の分解能が下がるため高頻度

大学殿からの契約実績がある。先端技術の獲得にも力をデータの利点を生かせず、ゲリラ豪雨等の短期・局所的入れており、部門として深層学習に関する業務実施及びな事象を扱うことが難しくなる。一方、後者は模擬的に技術蓄積を進めている。これまでに、深層学習を用いた作成したデータの信頼性が問題となる。

超解像技術を衛星画像へ応用して空間解像度を高解像度

低頻度データから模擬的に高頻度データを作成する化する手法について研究した⑴。また、本報のテーマで際、従来の時系列補間手法では十分な精度が得られないある深層学習の時系列補間技術を気象レーダで観測した場合があった。そこで、近年技術が発達している深層学

雨量データに応用し、適用性を評価している。

習を用いたフレーム補間技術を、雨量データの時系列補間に応用することが可能か評価した。本報ではその研究

雨量データを対象として時系列補間を行った背景として、の一例を紹介する。

気象レーダごとにデータの時間間隔が異なることが挙げられる。現在の現業レーダの C バンドレーダは５分間隔、

2．関連技術X バンドレーダは１分間隔、実証実験中のマルチパラ
メータ・フェーズドアレイ気象レーダ（MP–PAWR）は

ここでは関連技術として、はじめに深層学習について

30 秒間隔でデータが配信される。また、配信時期によっ

述べ、次いで深層学習の適用先の一つである「フレーム＊つくば事業部 第一技術部

1

MSS 技報・Vol.29

補間」について示す。また、時系列補間の適用先である

Neural Network：CNN）では、全結合層に加えて畳み「降水データに対する時系列処理」について示す。

込み層及びプーリング層が導入されている。それぞれの層の動作を図３に示す。入力層に行列が与えられた時、

2.1

ニューラルネットワークと深層学習

全結合層の場合は個々の要素が独立に扱われるのに対ニューラルネットワークは、生体の脳内における神経

し、畳み込み層やプーリング層では当該要素の周辺情報

細胞の回路をモデル化した、機械学習の１手法である。

も加味される。これによってモデルの性能は大きく向上

図１に示すように、ニューラルネットワークは複数の階する。畳み込み層のカーネル 𝑘𝑘は学習によって調整され層で構成され、入力層に与えた情報が中間層を経由してていく。一方、カーネルサイズ等のハイパーパラメータ

出力層の結果を導く。層を増やすことによって、より複は設計者がグリッドサーチ等で最適な値を設定する必要

雑な問題に対応できるようになると言われており、中間がある。

層を２層以上に深くしたものは深層学習と呼ばれる。
2.3

個々のニューロンは下位層から受け取った値と重み 𝑤𝑤、

フレーム補間活性化関数を用いて上位層へ渡す値を計算する（図２）。

フレーム補間の技術はこれまで、補間対象の画像のニューラルネットワークにおける学習とは、事前に用意

Optical Flow を算出し、その Optical Flow を用いて補間した入力と出力の正しい組（教師データ）によって重み 𝑤𝑤

画像を生成するアプローチが研究されてきた。本手法はで、学習には大量の教師データと計算資源が必要になる。

せる手法であり、直感的でもあり多く適用されてきた。

を最適化することである。通常、 𝑤𝑤の数は非常に多いの

画像の領域単位で移動方向及び移動量を計算して移動さ教師データだけではなく未知の入力に対しても正しい

CNN の適用としては、DeepFlow ⑵等の Optical Flow を出力が得られるよう、テストデータを用いた学習結果の求めるために CNN を用いる手法の研究が進んできた。

評価も欠かせない。モデルの性能はネットワークの構造

しかしながら、Optical Flow を基に補間画像を生成するや学習過程を制御するパラメータの設定に大きく依存点について、オクルージョンや急激な値の変化等への対する。効率的な学習とモデルの性能向上のため、様々な応が難しいことが課題であった。

技術が研究されている。

2017 年以降、CNN を用いて直接的に補間画像を生成する手法が研究されている。単純な CNN を用いて補間

2.2

CNN

画像を作成する手法であっても従来手法と比較して精度図１で示したニューラルネットワークでは、隣接するが大きく向上したことが報告されている ⑶。その後は層のニューロン同士が全て連結された全結合層のみでネットワーク構造等を工夫することで精度を更に向上さ構成されていた。近年、画像認識等の分野で利用されてせる研究が進められている。また、入力２画像の補間間

いる畳み込みニューラルネットワーク（Convolutional

隔を細かくする場合に、反復的に中間時間の補間画像を得ると 1/2、1/4、1/8、…と固定化されたタイミングの画像

下位層

中間層

出力層

𝑥𝑥1

𝑎𝑎1

𝑦𝑦1

…

…

…

入力層

ニューロン

𝑥𝑥2

𝑥𝑥𝑛𝑛

しか得られないが、任意のタイミングの補間画像を取得

上位層

𝑎𝑎2
図1

する手法も提案されている⑷ ⑸。

𝑦𝑦2

𝑎𝑎𝑙𝑙

𝑦𝑦𝑚𝑚

ニューラルネットワーク【畳み込み層の例】

入力

カーネル

𝑥𝑥 11 𝑥𝑥 12 𝑥𝑥 13 𝑥𝑥 14

𝑘𝑘11 𝑘𝑘12 𝑘𝑘13

𝑥𝑥 31 𝑥𝑥 32 𝑥𝑥 33 𝑥𝑥 34

𝑘𝑘31 𝑘𝑘32 𝑘𝑘33

𝑥𝑥 21 𝑥𝑥 22 𝑥𝑥 23 𝑥𝑥 24
𝑥𝑥 41 𝑥𝑥 42 𝑥𝑥 43 𝑥𝑥 44

𝑥𝑥𝑛𝑛

𝑤𝑤2

𝑤𝑤𝑛𝑛

𝑎𝑎1

𝑏𝑏 ：バイアス

入力ℎ 𝑠𝑠 ：活性化関数𝑥𝑥 11 𝑥𝑥 12 𝑥𝑥 13 𝑥𝑥 14ℎ 𝑏𝑏 + 𝑥𝑥1 𝑤𝑤1 + ⋯ + 𝑥𝑥𝑛𝑛 𝑤𝑤𝑛𝑛
𝑠𝑠
シグモイド関数

図2

ℎ 𝑠𝑠

…

𝑥𝑥2

𝑤𝑤1

ℎ 𝑠𝑠

𝑥𝑥1

ReLU関数𝑥𝑥 41 𝑥𝑥 42 𝑥𝑥 43 𝑥𝑥 44

図3

2

出力

3

3

� � 𝑥𝑥𝑖𝑖𝑖𝑖𝑘𝑘𝑖𝑖𝑖𝑖� � 𝑥𝑥𝑖𝑖(𝑗𝑗+1)𝑘𝑘𝑖𝑖𝑖𝑖� � 𝑥𝑥(𝑖𝑖+1)𝑗𝑗𝑘𝑘𝑖𝑖𝑖𝑖� � 𝑥𝑥 𝑖𝑖+1 𝑗𝑗+1 𝑘𝑘𝑖𝑖𝑖𝑖

𝑖𝑖=1 𝑗𝑗=1
3

𝑖𝑖=1 𝑗𝑗=1

3

𝑖𝑖=1 𝑗𝑗=1

3

3

𝑖𝑖=1 𝑗𝑗=1

出力𝑥𝑥 31 𝑥𝑥 32 𝑥𝑥 33 𝑥𝑥 34

ニューロンの動作

3【プーリング層の例】

𝑥𝑥 21 𝑥𝑥 22 𝑥𝑥 23 𝑥𝑥 24

𝑠𝑠

𝑘𝑘21 𝑘𝑘22 𝑘𝑘23

3

max

max 𝑥𝑥 𝑖𝑖𝑖𝑖
𝑖𝑖 = 1~3, 𝑗𝑗 = 1~3

max 𝑥𝑥 𝑖𝑖𝑖𝑖
𝑖𝑖 = 2~4, 𝑗𝑗 = 1~3

max 𝑥𝑥 𝑖𝑖𝑖𝑖
𝑖𝑖 = 1~3, 𝑗𝑗 = 2~4

max 𝑥𝑥 𝑖𝑖𝑖𝑖
𝑖𝑖 = 2~4, 𝑗𝑗 = 2~4

畳み込み層とプーリング層MSS 技報・Vol.29

2.4

3.2

降水データに対する時系列処理

深層学習を用いた手法の応用

観測データを用いた降水データに対する時系列処理と深層学習を用いたフレーム補間手法として、SepConv ⑼して、現在から 60 分程度先までの予測を行う降水ナウを使用した（図５）。本手法は前後２フレームの画像をキャストに関する研究が進められている

⑹ ⑺

。例えば

基に補間画像を生成する手法である。ネットワーク構造

VIL Nowcast の手法 では、降水セル（積乱雲等の雨雲としては、画像のセグメンテーション（領域分割）の代表の塊）の移流に関し相互相関法を使用して移動ベクトル的な手法である U–Net♳⓿ のようなネットワーク構造をを算出して移流させ、セルの盛衰は過去及び現在の鉛直描くが、出力は４つのカーネルに分割される。その４つ

積算雨水量を使用して算出する、といったナウキャストのカーネルを補間前後２フレームのそれぞれに２カーが行われている。また、深層学習を用いたナウキャスト

ネルずつ畳み込み、その和をもって補間画像を取得する⑺⑻

手法についても研究が進められており 、LSTM（Long手法である。ネットワークの入力データは、補間前後のShort–Term Memory） 及 び RNN（Recurrent Neural

両フレームの RGB データの、計６チャンネルである。
４章にて示す実験では一般的な動画で学習した

Network）の技術を使用して予測問題に取り組んでいる。

SepConv の学習済みモデルを用いて、その特性を確認

3．
実験条件
3.1

するための実験を行った。しかしながら、入力データは実験データ

雨量強度 [mm/hour] であり、学習に使用されている一般

実 験 に は 表 １ に 示 す XRAIN（eXtended RAdar

的な動画の RGB データとは異なる。雨量強度を青～緑

Information Network：高性能レーダ雨量計ネットワーク）～赤で可視化した画像を使用する方法も考えられるが、の雨量強度のうち、比較的関東地域で降水が多かった

RGB の配色は視覚的に雨量の強弱を判断するために12 事例を抽出して使用した。

用いられているため、工学的な意味を有していない。そ観測時期に応じてレーダデータの観測領域が異なるこのため図６に示すとおり、連続値の雨量強度のデータをとから、実験において評価を行う領域について、図４のグレースケール化した画像に変換して SepConv で推論

黒色にて塗りつぶされた観測領域から白枠の領域に評価を行い、その結果を基に連続値の雨量強度に変換する。

対象を限定した。なお、各手法の時系列補間計算は白枠

ただし、得られた値はグレースケールに変換した際にの 外 部 も 使 用 し て い る。 画 像 全 体 の サ イ ズ は 920 ×

256 階調に離散化されてしまうため、得られる雨量強度

640 pixel、評価領域のサイズは 530 × 322 pixel とした。

も 256 階調となってしまう点に注意が必要である。

表1
データ源泉
メッシュ間隔
データ間隔
データ種別
地域
観測時期
データ数

実験データ概要

3.3

XRAIN
約 250 m
1分
RR（雨量強度）[mm/hour]関東2010/7 ～ 2015/2
9332（12 事例）

比較対象の補間手法

3.2 節の手法の効果を確認するために、「移動ベクトルを用いた手法」と「線形補間」を用いた時系列補間も実施した。以下に使用した両手法の内容を説明する。

図５
雨量強度

SepConv のネットワーク構造⑼雨量画像
時刻:t+0.5dt
雨量画像

時刻:t

雨量強度

SepConv

時刻:t+dt

図4

解析領域及び評価領域

図６

3

深層学習を用いた時系列補間のシーケンス

MSS 技報・Vol.29

3.3.1

移動ベクトルを用いた手法

手法でそれぞれ時間補間をしたデータを取得した後に、メッシュごとに以下に示す式⑶で雨量強度を得る。

典型的なナウキャストの移流を模擬する手法として、
相互相関法で算出した移動ベクトルを用いて次の時刻の𝑅𝑅H > 𝛼𝛼𝑅𝑅H + 𝑅𝑅L
𝑅𝑅𝑡𝑡+0.5𝑑𝑑𝑑𝑑 =2

降水位置を計算する手法がある。この考えを応用して、𝑅𝑅L ≤ 𝛼𝛼

時系列補間データを作成する。
移動ベクトルはメッシュ状に分割した領域ごとでは

𝑅𝑅𝑡𝑡+0.5𝑑𝑑𝑑𝑑 = 𝑅𝑅H

𝑅𝑅L > 𝛼𝛼

なく、画像全体の移動ベクトルをパターンマッチングにより算出した。補間データはデータの時間間隔 𝑑𝑑𝑑𝑑間の𝑅𝑅H ≤ 𝛼𝛼𝑅𝑅𝑡𝑡+0.5𝑑𝑑𝑑𝑑 = 𝑅𝑅L
𝑅𝑅𝑡𝑡+0.5𝑑𝑑𝑑𝑑 =ここで、

移動ベクトル 𝒗𝒗を基に、次式⑴で算出する。

𝑅𝑅H + 𝑅𝑅L
2⑶

𝑅𝑅H ：強い雨重視で補間した雨量強度 [mm/hour]

1
𝑅𝑅𝑡𝑡+0.5𝑑𝑑𝑑𝑑 = (𝑔𝑔(𝑅𝑅𝑡𝑡 , 0.5𝑑𝑑𝑑𝑑 × 𝒗𝒗) + 𝑔𝑔(𝑅𝑅𝑡𝑡+𝑑𝑑𝑑𝑑 , −0.5𝑑𝑑𝑑𝑑 × 𝒗𝒗))
2

𝑅𝑅L ：弱い雨重視で補間した雨量強度 [mm/hour]
𝛼𝛼 ：強い雨と弱い雨の閾値 [mm/hour]⑴

実験では 𝑑𝑑𝑑𝑑＝２min（データ間隔２分間として中間の

ここで、𝑅𝑅：雨量強度 [mm/hour]。緯度経度の２次元値

１分後のデータを取得）と設定し、⒜～⒞の３種類の𝑡𝑡 + 𝑑𝑑𝑑𝑑の平均となる。つまり、線形的に増加・減少する評価指標（𝐶𝐶𝐶𝐶𝐶𝐶、𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃、𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅）とした。強雨域の離散化手法の特性を評価した。評価指標は、当該時刻の𝑔𝑔(𝑅𝑅, 𝒅𝒅)： 𝑅𝑅を移流する関数。移流量は 𝒅𝒅

観測値を正解値とし、正解値との相関係数、及び強雨域の本手法の降水セルの盛衰については、時刻 𝑡𝑡と時刻評価指標については、警報等の基準となる強雨域の閾値ことを仮定している。
3.3.2（ここでは 30 mm/hour）以上の領域の識別度を示すもの

線形補間とし、それぞれは以下の式⑷で算出する。

本手法は単純な２データの線形補間を行うもので、移流を伴わないと仮定し、降水セルの盛衰を基に補間データを取得する。具体的には次式⑵を用いて算出する。

1
𝑅𝑅𝑡𝑡+0.5𝑑𝑑𝑑𝑑 = (𝑅𝑅𝑡𝑡 + 𝑅𝑅𝑡𝑡+𝑑𝑑𝑑𝑑 )2

𝑃𝑃𝑃𝑃𝑃𝑃𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐 =⑵

𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 =本手法の降水セルの盛衰についても移動ベクトル同様、

ここで、

時刻 𝑡𝑡と時刻 𝑡𝑡 + 𝑑𝑑𝑑𝑑の平均となる。

補間の時間間隔に応じた特徴評価

𝑇𝑇𝑇𝑇
𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹

𝐹𝐹𝐹𝐹：閾値未満と予測し実際は閾値以上のメッシュ数

本報では深層学習の手法、及び他の２手法に対し、(2)⑷

𝐹𝐹𝑃𝑃：閾値以上と予測し実際は閾値未満のメッシュ数

式⑷において、𝐶𝐶𝐶𝐶𝐶𝐶 は高いほど的中事例の予測精度が以下の評価項目で特徴を評価した。
深層学習の手法の離散化手法に応じた特徴評価

𝑇𝑇𝑇𝑇
𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹

𝑇𝑇𝑇𝑇：閾値以上と予測し実際も閾値以上のメッシュ数

4．
実験及び評価(1)

𝑇𝑇𝑇𝑇
𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 + 𝐹𝐹𝐹𝐹

𝐶𝐶𝐶𝐶𝐶𝐶 =良いことを示し、 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 は高いほど誤報が少なく、

𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 は高いほど見逃しが少ないことを示す。また、各精度指標は１に近いほど結果が良いことを示す。

4.1

離散化手法の評価

150

3.2 節に示したとおり一般的な動画で学習された学習

単純な線形
雨量強度に応じて変化2種類の変化手法の合成（１）済みモデルを使用するため、連続値の雨量強度のデータ

2種類の変化手法の合成（２）雨量強度区切りを 256 階調の離散化したデータに置き換える必要がある。

100

雨量強度[mm/hour]

ここでは、離散化の手法が結果に与える影響を評価する。
算出する雨量強度の最大を 150 mm/hour とし、その離散方式として以下に示す３種類を設定した。
⒜

単純な線形

⒝

雨量強度に応じて変化。比較的弱い雨を重視⒞

２種類の手法（弱い雨重視、強い雨重視）の合成

500

上記３種類の離散化の手法に関し、０～ 255 の値と

0

63

127

191

255

256階調の値

雨量強度の関係を図７に示す。⒞については、２種類の

図７

4

離散化手法

MSS 技報・Vol.29

表2

⒜
⒝
⒞

相関係数
0.838
0.887
0.886

補間の評価結果（平均）𝐶𝐶𝐶𝐶𝐶𝐶
0.663
0.643
0.652

𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃
0.831
0.870
0.851

表3

手法
DL2
MV2
LI2
DL10
MV10
LI10
DL20
MV20
LI20

𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅
0.741
0.692
0.713

各評価指標の結果を表２に示す。表中の値は補間を行った各時刻の値を算出した後に、それらを全時刻にわたって平均した値である。
⒜は値を評価している相関係数は最も悪い結果であるが、 𝐶𝐶𝐶𝐶𝐶𝐶 等強雨域の評価指標では最も良い結果である。
本結果は図７に示すとおり離散化時に強雨域のデータ点補間の評価結果（平均）

相関係数
0.887
0.845
0.940
0.723
0.641
0.674
0.566
0.482
0.533

𝐶𝐶𝐶𝐶𝐶𝐶
0.643
0.663
0.690
0.378
0.425
0.335
0.219
0.262
0.206

𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃
0.870
0.826
0.891
0.745
0.672
0.596
0.605
0.483
0.423

𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅
0.692
0.748
0.748
0.429
0.518
0.415
0.257
0.345
0.279

表4 各補間タイミングにおける相関係数が最良となった回数

手法
DL
MV
LI

数が多いことが理由として考えられる。

⒝は相関係数が最良である。𝐶𝐶𝐶𝐶𝐶𝐶 及び 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 は最も悪いが 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 は最も良く、誤報が少ない特徴がある。

⒞は複雑な処理を行うものの、平均的な精度しか得ら

2 分補間
701
1016
7556

10 分補間
2970
4267
2048

20 分補間
3470
3149
2668

れなかった。更なる改善が必要と言える。

表４の評価でも深層学習の手法が最も良くなり、深層

4.2 節の評価では、相関係数が最良の⒝の手法を使用

学習の手法は移動ベクトルの手法よりも移流を精度良くして評価した。

表現でき、また安定した補間結果を得られる。
4.2

補間の時間間隔に応じた評価

強雨域の評価指標（ 𝐶𝐶𝐶𝐶𝐶𝐶、 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃、 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 ）では、

4.1 節の評価は深層学習の手法のみで２分間のデータ補間間隔が長い場合であっても深層学習の結果は最良のの補間を行ったが、本節では時間間隔を変えた場合の結果とならず、相関係数の結果とは違う傾向であった。

精度について評価した。深層学習を用いた手法は 4.1 節

特に深層学習の手法は 𝐶𝐶𝐶𝐶𝐶𝐶 と 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 が悪い結果となっての⒝の手法を使用し、3.3 節に示す補間手法と比較した。

おり、各計算因子を確認したところ𝐹𝐹𝐹𝐹の数が多くなって評価は以下に示す３ケースとした。

いた。表２からも、本節の評価で適用した⒝の𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 が

２ 分補間：中間時刻（１ 分後）のデータで精度評価

最も悪い結果となっている。⒝は少雨域に着目している

10 分補間：中間時刻（５ 分後）のデータで精度評価ことから、強雨域の見逃しが多くなっていることが原因

20 分補間：中間時刻（10 分後）のデータで精度評価と推定される。

4.1 節と同様の評価指標で評価した結果を表３に、各

図８～ 10 に補間結果の一例を示す。２分補間はどの

補間タイミングにおける相関係数が、手法間で比較した手法も大差がないが、10 分補間や 20 分補間は黄～赤色

際に最良となった回数について表４に示す。表中の手法の強雨域の位置や形状や値に手法間で差が出ている。

欄において DL は深層学習を用いた手法を、MV は移動

深層学習の手法は比較的安定した結果となっているが、ベクトルを用いた手法を、LI は線形補間を示し、次いで移動ベクトルの手法では 20 分補間では移動ベクトルの付した数字は補間間隔を示す。

算出がうまくできないため、拡大した降水セルが拡大域

相関係数は、補間間隔が短いほど全体的に精度が良くから外れている。また、線形補間の手法は移流を考慮しなる傾向にある。個別に評価すると、補間間隔が短い場合ていないため、降水セルのコアが分割したような結果とには、降水セルの移流よりも盛衰の影響が強いと考えらなっている。

れ、移流を考慮しない線形補間で十分な精度が得られて本章で示した深層学習の手法は、雨量強度で学習したいる。一方、補間間隔が長くなるに連れて移流の影響をものではなく、一般動画で学習された公開されている考慮できる深層学習や移動ベクトルの手法の精度が良くモデルである。したがって、降水に関するデータを用いるなる。表４の 10 分補間では移動ベクトルの手法が最良

ことや、データの離散化を行わない教師データで学習であるが、表３の相関係数は深層学習に比べて悪い結果することにより、精度が更に改善することが見込まれる。

となっている。本結果は、移動ベクトルの手法は雨域が少ない状態や補間間隔が長くなると、移動ベクトルの算出が安定しなくなることを示唆している。20 分補間では

5

MSS 技報・Vol.29

前（2010/7/5 13:09）

正解（2010/7/5 13:10）

後（2010/7/5 13:11）

移動ベクトル

線形補間

拡大図

深層学習

図８

補間結果（2 分補間）

前（2010/7/5 13:05）

正解（2010/7/5 13:10）

後（2010/7/5 13:15）

深層学習

移動ベクトル線形補間

図９

補間結果（10 分補間）

6

MSS 技報・Vol.29

前（2010/7/5 13:00）

正解（2010/7/5 13:10）

後（2010/7/5 13:20）

深層学習

移動ベクトル線形補間

図 10

補間結果（20 分補間）

参考文献

5．むすび
本報では深層学習を用いた時系列補間の技術について、(1) 川嶋 一誠，中村 良介：深層学習を用いた衛星画像

その研究が進んでいる RGB 形式で表現された自然画像の超解像手法，日本リモートセンシング学会誌，を対象としたものではなく、非画像データとして気象の38，No.2，131 ～ 136（2018）

分野に応用した研究結果を紹介した。本結果は評価対象(2) Weinzaepfel，P.，Revaud，J.，Harchaoui，Z.，のデータを基に学習をしていない簡易実験にもかかわらSchmid，C.：DeepFlow：Large Displacement

ず比較的良好な結果が得られており、深層学習を用いた

Optical Flow with Deep Matching，IEEE ICCV

時系列補間技術の非画像データへの適用可能性があるこ

2013，1385 ～ 1392（2013）とを確認した。今後は学習、ネットワークの改良、説明(3) Niklaus，S.，Mai，L.，Liu，F.：Video Frame

変数の入力データへの追加、最新の研究成果の反映等をInterpolation via Adaptive Convolution，IEEE行い、時系列補間の精度を改善していく予定である。まCVPR 2017，2270 ～ 2279（2017）

た、本技術を MSS や MSS の顧客が有する様々なデータ(4) Niklaus，S.，Liu，F.：Context–aware Synthesis forに適用していき、科学技術の発展に寄与していきたい。

Video Frame Interpolation, IEEE CVPR 2018，1701～ 1710（2018）

最後に、これまで各種業務を通し気象データの処理に係る技術的アドバイスを頂いた、国立研究開発法人防災(5) Jiang，H.，Sun，D.，Jampani，V.，Yang，M.，

科学技術研究所 水・土砂防災研究部門の関係者の方にLearned–Miller，E.，Kautz，J.：Super SloMo：High

深く感謝申し上げます。本研究に利用したデータセット

Quality Estimation of Multiple Intermediate

は、文部科学省の委託事業により開発・運用されている

Frames for Video Interpolation，CVPR2018，9000

データ統合・解析システム（DIAS）の下で、収集・提供～ 9008（2018）

されたものです。また、XRAIN データは、国土交通省(6) 加藤 敦，真木 雅之，岩波 越，三隅 良平，前坂 剛：

川の防災情報ホームページ（http://www.river.go.jp/x/）

X バンドマルチパラメータレーダ情報と気象庁レーから提供されたものです。

ダ情報を用いた降水ナウキャスト，水文・水資源

7

MSS 技報・Vol.29

学会誌，22，No.5，372 ～ 385（2009）

執筆者紹介(7) Hirano，K.，Maki，M.：Imminent Nowcasting for
Severe Rainfall Using Vertically Integrated Liquid

川嶋 一誠

Water Content Derived from X–Band Polarimetric2007 年入社。つくば事業部へ配属。2010 ～ 2013 年にRadar，Journal of the Meteorological Society of

国立研究開発法人宇宙航空研究開発機構／ HTV プロ

Japan，96A，201 ～ 220（2018）

ジェクトチーム、2016 年から国立研究開発法人産業技術(8) Shi，X.，Gao，Z.，Lausen，L.，Wang，H.，Yeung，総合研究所／人工知能研究センターに出向。現在は産業

D.，Wong，W.，Woo，W.：Deep Learning for

技術総合研究所における研究の傍ら、HTV・小型回収

Precipitation Nowcasting：A Benchmark and A

カプセルの航法誘導ソフトウェア開発、宇宙・防災・AI

New Model, NIPS 2017（2017）

関連のソフトウェア開発及び研究支援に従事。

(9) Niklaus，S.，Mai，L.，Liu，F.：Video Frame
Interpolation via Adaptive Separable Convolution，

小堀 壮彦

IEEE ICCV 2017，261 ～ 270（2017）1995 年入社。つくば事業部へ配属。入社後は主に宇宙(10) Ronneberger，O.，Fischer，P.，Brox，T.：U–Net：機を対象とした搭載ソフトウェアやシミュレータの開発

Convolutional Networks for Biomedical Image

及び飛行解析業務に携わる。現在は、気象レーダを用い

Segmentation，MICCAI 2015，234 ～ 241（2015）

た豪雨予測や火山噴煙の解析等防災関連のソフトウェア
開発及び研究支援に従事。

8

MSS 技報・Vol.29