132

小特集

気候変動への適応にむけたデータセットの開発とその活用

大規模アンサンブル気候データの効率的な解析に向けたコンテンツベース検索システム
中川友進＊・尾上洋介＊＊・荒木文明＊・小山田耕二＊＊＊

A Content-Based Database System for Large Ensemble Future Climate Data
Yujin Nakagawa＊, Yosuke Onoue＊＊, Fumiaki Araki＊and Koji Koyamada＊＊＊Key words:	Climate Data, Relational Database, Web Application

1．はじめにタセットと比較して，とても大きい．DIAS において，コンピュータの性能の向上に伴い，将来気候の大規d4PDF が保管されているデータサーバーと同じネッ模なアンサンブルデータ（以後，大規模アンサンブルトワークに，d4PDF のための解析サーバーがあれば，気候データ）のデータサイズは急激に増加している．

ユーザーはデータをダウンロードせずに解析を行うこ

例えば，「気候変動リスク情報創生プログラム」によとができる．しかし，現状では d4PDF のための解析り作成された「地球温暖化対策に資するアンサンブルサーバーは無いため，ユーザーは d4PDF を自身のロー気候予測データベース」（the database for Policy Deci-

カルコンピュータにダウンロードする必要がある．こsion making for Future climate change; d4PDF） の場合，の場合，d4PDF のデータサイズが大きいことによりデータサイズは約 3 PB である．このような大規模ア以下の問題が発生すると考えている．

1）

ンサンブル気候データの系統的な解析は，確率的な気

1）d4PDF をダウンロードするユーザーのディスク候変動の影響評価を行うために非常に重要である．し容量が不足する．

かし系統的な解析には，一般に高性能なコンピュータ

2）DIAS のデータサーバーからユーザーのローカだけでなく，大容量のデータ記憶装置が必要である．

ルコンピュータへのダウンロードに長い時間かそのため，個々の研究者による系統的な解析は困難にかる．

なりつつある．

3）データサーバーへ高い負荷がかかる．

（Social「気候変動適応技術社会実装プログラム」

これらの問題を解決するためには，ユーザーが要求をImplementation Program on Climate Change Adaptation

満たすデータを検索してダウンロードできる機能を有Technology; SI-CAT）は，将来の気候変動に対する適したユーザーフレンドリーなシステムが必要である．

応策に資する技術の開発を目的とした国家プロジェク

DIAS や WDCC（https://cera-www.dkrz.de/WDCC/ui/

トである．SI-CAT では，地球の平均気温が産業革命

cerasearch）など，気候データのための従来の Web ベー

以降 2℃上昇した将来気候のアンサンブルデータを作スの検索システムは，気候の研究分野において検索や成した2）．そのデータは d4PDF の一部として，「デー可視化に活用されている．これら全ての従来システム

タ統合・解析システム」（Data Integration and Analysis

は，データファイルに格納されている物理量を使用しSystem Program; DIAS; http://www.diasjp.net）で公開さてデータを検索するようには設計されておらず，デーれている．

タファイルそのものに関連付けられているメタデータ

d4PDF のデータサイズは約 3 PB であり，過去のデーを使用してデータファイルを検索するように設計され＊ている．気候データのデータサイズが，ユーザーの

＊＊

＊＊＊

国立研究開発法人海洋研究開発機構
Japan Agency for Marine-Earth Science and Technology

日本大学
Nihon University
京都大学
Kyoto University

ローカルコンピュータにダウンロードすることができる程度であれば，これらの従来システムはとても有用である．
本研究では，ユーザーが必要とするデータを検索す― 4 ―シミュレーション

第 38 巻第 3 号

133
るサービスを提供するために，SI-CAT の下で「SI-CAT

また検索条件としては，「ある行政区域の指定期間に気候実験データベースシステム」（System for Efﬁcient

おける，3 日間積算降水量の上位から順番に，指定しcontent-based retrieval to Analyze Large volume climate

たケース数だけ表示する．」などが重要であることがdata; SEAL）を開発している．SEAL を使用すると，分かった．第 2 のコンセプトは，生データ（GRIB 形

物理量など，データファイルの内容に関連付けられて式のデータ）に格納されている物理量を出来るだけ加いるメタデータを使用してユーザーがデータファイル工しないことである．そのため，バイアス補正など，を見つけることができる．そのため SEAL は，ユーザーユーザーに依存する加工は行わないこととした．第 3がデータサーバーからローカルコンピュータにダウンのコンセプトは，SEAL のために開発された技術をロードするデータサイズを大幅に削減できる．

様々なデータセットに適用するための汎用性である．
図 1 に SEAL の概念図を示す．SEAL は，リレーショ2．設計と実装

ナルデータベース，データ提供機能，およびユーザー2.1インターフェースで構成されている．これら 3 つ機能

データ

SEAL の設計に使用した d4PDF は，全球シミュレーのうち，時間的，空間的に圧縮されたデータを登録す

ションデータ，および領域シミュレーションデータでる よ う に 設 計 さ れ て い る PostgreSQL を 使 用 し た リ構成される．全球シミュレーションデータは，気象研レーショナルデータベースが重要な役割を担ってい究所が開発した水平格子間隔 60 km の全球大気モデルる．データ提供機能は，ユーザーが検索結果に基づい（MRI-AGCM3））を用いて作成された．領域シミュレーて時間的，空間的に切り出されたデータをダウンロー

ションデータは，気象研究所によって開発された水平ドする機能を提供する．さらに，Web ベースのユーザー

格 子 間 隔 20 km の 非 静 力 学 地 域 気 候 モ デ ル（MRI-

インターフェースにより，ユーザーは PostgreSQL の）を用いて作成されており，将来 4℃昇温知識がなくてもリレーショナルデータベースを簡単にNHRCM

4,5）

実験，将来 2℃昇温実験，過去実験で構成されている．

使用できる．

これらのデータのうち，領域シミュレーションデータ

2.3

リレーショナルデータベースの設計を使用した．地上大気データは

ユーザーは，自身が研究の対象としている特定の領「GRIdded Binary」（GRIB）形式で保管されており，時域に関心があるため，単一の格子点ではなく，複数の間分解能は 1 時間である．

格子点の組み合わせによって定義される領域（行政区の地上大気データ2.21,2）基本コンセプト

域や流域など）における物理量を必要としている．さSEAL の設計は，以下の 3 つの基本コンセプトに基らに，ユーザーは，気温のような物理量については，づいて行なった．第 1 のコンセプトは，ユーザーのニー時別値ではなく，日別値，月別値または年別値を必要ズを満たすための実用性を持たせることである．ユーとする．そこで，d4PDF の物理量に対して，空間的，ザーとして想定される SI-CAT に所属する影響評価の時間的な圧縮を行い，それらの圧縮された物理量をリ研究者に対してニーズ調査を行なったところ，物理量レーショナルデータベースへ登録することとした．ことしては降水量と気温が重要であることが分かった．

こで，空間的圧縮とは，複数の格子点における物理量

図1

令和元年 9 月

SEAL の概念図．

― 5 ―134を平均することである．また，時間的圧縮とは，時別ととした．

値を積算（例えば降水量の場合）または平均（例えば2.7気温の場合）することにより，日別値，月別値，年別2.7.1

値を計算することである．
2.4

ケーススタディ空間的圧縮，時間的圧縮による圧縮率

空間的圧縮，時間的圧縮を適用した際に，生データデータ提供機能の設計と比べて，どのくらいデータサイズが縮小されるかをデータ提供機能により，ユーザーは，リレーショナ定量的に調べるため，それらの圧縮率を計算した．空ルデータベースによる検索結果に基づいて，時間的，空間的に切り出された生データをダウンロードするこ

間的圧縮の圧縮率は，北海道（302 個の格子点で構成）
では 1/302≒0.33％，東京都と大阪府（それぞれ 13 個とができる． DIAS は，ユーザーが「Grid Analysis andの格子点で構成）では 1/13≒7.7％となる．また，時Display System」（GrADS）のバイナリデータ（ビッグエンディアン，ヘッダーなしの 4 バイト浮動小数点）

間的圧縮の圧縮率は，時別値から日別値へ圧縮した場
合は 1/24≒4.2％となる．そのため，空間的圧縮と時をダウンロードできる機能を提供している．しかし，間的圧縮の両方を適用した場合，日別値のデータサイ

ほとんどのユーザーは，テキスト形式や CSV 形式なズは，最大で 0.01％，最小で 0.3％へ縮小する．デー

どの人間が読める形式へ変換したデータを必要としてタサイズの縮小は，従来システムを使用する方法と比いる．そこで，GrADS バイナリデータをテキスト形較して，必要なデータファイルを取得するまでの所要式または CSV 形式へ変換する機能を Python スクリプ

時間の短縮に繋がる．

トで開発した．
2.5

2.7.2

ユーザーインターフェースの設計

必要なデータファイルの取得までの所要時間

SEAL の利点を明確にするために，従来システムを

ユー ザーか らの ニー ズを考え ると， ユー ザー が使用した方法と国立研究開発法人海洋研究開発機構

GRIB 形式や PostgreSQL に関する知識がなくても検索（Japan Agency for Marine-Earth Science and Technology;を行えるシステムであることが望ましい．また，コマJAMSTEC）のローカルサーバー上の SEAL を使用しンドラインインターフェースの知識がなくてもた方法について，必要なデータファイルを取得するまGrADS バイナリデータをテキスト形式または CSV 形での所要時間を定量的に調べた．
ローカルサーバーは，式へ変換できることが望ましい．そこで我々は，これIntel Xeon E7-4820（CPU; 40 コア）と 512 GB の物理らの知識がなくてもリレーショナルデータベースとメモリを搭載している．すべての解析において 1 つのデータ提供機能を利用できる Web ベースのユーザーCPU コアを使用した．図 2 は SEAL の利点の概略図

インターフェース（Web UI）を開発した．Web UI は，であり，北海道で降水量の日別値が 100 mm を超える条件に合うデータを見付けることを主な機能とした日について，将来 4℃昇温実験の降水量と気温の時別「SEAL-Finder」（SEAL-F），データを分析および可視値のデータファイルをダウンロードする状況を想定し化 す る こ と を 主 な 機 能 と し た「SEAL-Visualizer」ている．従来システムを使用した方法では，北海道周（SEAL-V）で構成されている．そのため，ユーザーは，辺の降水量の時別値のデータファイルのダウンロード

SEAL-F を使用すると検索の返り値を数値として取得に 3〜90 時間，条件を満たす日にちの探索に約 31 時間，することができ，また SEAL-V を使用すると検索の条件を満たす日にちにおける気温の時別値のデータ

返り値をヒストグラムなどの画像として取得すること

ファイルのダウンロードに 1〜30 分を要する．一方，ができる．

SEAL を使用した方法では，条件を満たす日にちを約2.6

リレーショナルデータベースの実装

5 秒で見付けることができ，条件を満たす日にちの降検索の高速化と高い実用性の両方を満たすために，水量と気温の時別値のデータファイルを 2〜60 分でダ

降水量は，時別値と日別値の 2 つの異なる時間分解能

ウンロードできる．ダウンロードする時別値のデータのデータをリレーショナルデータベースへ登録するこファイルのデータサイズは，生データと比較して約ととした．また，気温は，日平均値，日最大値，日最0.5％へ減少する．したがって，従来のシステムを使小値を登録することとした．ほとんどの場合，ユーザー用した方法と比較して，SEAL は必要なデータファイは自身が研究の対象とする行政区域の物理量を必要とルを取得するまでの所要時間を 1％未満へ減らすことする．本研究で使用している地上大気データの空間分ができる．

解能が 20 km であることを考慮して，47 都道府県そ

2.7.3

大雨の検索

れぞれについて，行政区域と重なる格子点の物理量をSEAL の実用性を明確にするために，河川工学を専積算して，リレーショナルデータベースへ登録するこ門とするユーザーが利用することが多いと考えられる― 6 ―シミュレーション

第 38 巻第 3 号

135

図2

SEAL の予想される利点の概略図．図に示されている経過時間は，DIASから JAMSTEC へのダウンロード速度（4〜120 Mbps）に基づく，将来 4 度昇温実験のデータを使用した際の実測値である．

検索条件を想定し，ローカルサーバー上で動作するする．

SEAL を用いて検索を行った．将来 4℃昇温実験の東第 1 章で述べたように，大規模アンサンブル気候京都のデータのうち，連続降水日数が 20 日を超え，データから必要なデータファイルを取得するには 3 つかつ累積降水量が 800 mm を超えるという検索条件をの問題が予想される．すなわち，ユーザーのディスク満たすイベントを抽出した．ここで，降水量の日別値

容量の不足，長時間のダウンロード，データサーバーが 0.1 mm を超える日を降水日と定義している．そのへの高い負荷，である．第 2.7 節のケーススタディに結果，検索に約 30 秒かかり，条件を満たす 6 つのイおいて，ユーザーがローカルコンピュータにデータベントが見つかった．その中でも，累積降水量が最大ファイルをダウンロードするデータサイズおよび所要のイベントは，24 日間に約 1,109 mm を示した（図 3）．

時間は，従来の方法と比較して，それぞれ約 0.5% お累積降水量の等高線図を調べたところ，このイベントよび約 1% に縮小された．その結果，1 番目と 2 番目

は，静岡県を中心とする大雨であった．従来の方法での問題が解決された．さらに，データサイズと必要な上記の現象を調べた場合，東京都に対応する降水量のデータを取得するまでの所要時間が大幅に削減される

時別値のデータファイルのダウンロードに 0.13〜3.9ため，データサーバーへの負荷が大幅に減少した．し時間かかる．さらに，ユーザーは自身で連続降水日数た が っ て，3 番 目 の 問 題 も 解 決 さ れ た． そ の 結 果，と累積降水量を計算する必要があるため，さらに時間

SEAL は予想どおりに機能し，大規模アンサンブル気がかかる．したがって，SEAL は必要なデータファイ

候データから必要なデータを取得する際に予想されるルを取得するまでの所要時間を短縮する十分な能力を問題をすべて解決した．

持っている．

4．教訓
第 2.2 節で述べたように，SEAL の開発において，3．考察
従 来 の フ レ ー ム ワ ー ク の 1 つ で あ る OPeNDAPユーザーのニーズを満たす実用性が重要なコンセプト（https://www.opendap.org）は，単一の時系列グリッドの一つである．そこで，SEAL の開発を始めるにあたデータ（すなわち，単一のデータファイル）から値をり，ユーザーとして想定される研究者へのニーズ調査検索する機能を提供している．しかし，データファイを行なった．ニーズ調査に際して，回答の自由度が高ル内のすべての値をスキャンするため，検索速度は速すぎると，SEAL では実現できない要求が出てくる可くは無い．一方，SEAL は，リレーショナルデータ能性があり，一方で制限を付けすぎると回答を誘導すベースを採用することにより，複数のアンサンブル（する可能性がある．そのため，正しくニーズを引き出すなわち全てのデータファイル）から基準を満たす値をためには，アンケートへどのように設問を記載するか高速に検索できる．これは，データベースインデックという点が重要となる．SEAL の検索において，検索スの影響を強く受ける検索については，リレーショナ条件，および「どのような戻り値が必要となるか？」

ルデータベースは検索の速度が大幅に向上するためでという検索結果を問う設問は重要であり，特に慎重にある．さらにリレーショナルデータベースは，複数の議論を行った．その結果，こちらが想定している具体アンサンブルを一度にスキャンできるという利点を有的な回答例を併記することにより，知りたいニーズを

令和元年 9 月

― 7 ―

136

図3

SEAL を使用して見付けた大雨の累積降水量の等高線図．

得ることができた．ただし戻り値については，d4PDF必要とせず，ユーザーは検索結果に基づいて GrADSに格納されていないデータへの要望があったため，戻バイナリ形式，テキスト形式，CSV 形式のデータをり値として可能な範囲を示すべきだったと考えていダウンロードすることができる．さらに，ユーザーはる．すなわち，d4PDF の生データに対して基本的にWeb ベースのユーザーインターフェースを介してす加工は行わないこと（第 2.2 節を参照）を明確にしてべての作業を行うことができる．SEAL のリレーショおくべきだったと考えている．SEAL の開発のチーム

ナルデータベースに格納されるデータサイズは，空間メンバーだけでなく，他の SI-CAT のメンバーの意見的圧縮および時間的圧縮を採用することにより，生を聞くことにより，設問の問題点を洗い出すことがでデータと比較して最大で 0.01％，最小で 0.3％に縮小

き，ユーザーのニーズを正しく引き出し，ニーズを満される．リレーショナルデータベースは，データベーたすシステムを開発できたと考えている．

スインデックスの影響を大きく受ける検索に対しては，検索速度を大幅に改善すると共に，複数のアンサ5．結論ンブルを一度にスキャンすることができる．さらに必大規模アンサンブル気候データのデータサイズが増

要なデータの取得に際して，データサイズと所要時間加するにつれて，従来の Web ベースの検索システムをそれぞれ約 0.5％と約 1％へ減らすことができる．

を使用した検索に際して，3 つの問題が予想される．

これらの利点により，データサーバーへの負荷が削減

すなわち，ユーザーのディスク容量の不足，長時間のされる．その結果，SEAL は期待通りに動作し，すべダウンロード，データサーバーへの高い負荷，である．ての問題を解決することができた．

これらの問題を解決するために，物理量などのデータSEAL は現在，JAMSTEC のローカルサーバーにおファイルの内容に関連付けられたメタデータを使用しいて運用試験中であり，2019 年度末までに DIAS かてユーザーがデータファイルを検索できるようにするら公開される予定である．SEAL のために開発されたシステムである SEAL を開発した．SEAL の使用に際技術は，他の研究分野におけるシミュレーションや観して，ユーザーは GRIB 形式と PostgreSQL の知識は測のデータに対しても，非常に有用だと考えている．

― 8 ―シミュレーション

第 38 巻第 3 号

137
謝辞2）M. Fujita, R. Mizuta, M. Ishii, H. Endo, T. Sato, Y. Okada,S. Kawazoe, S. Sugimoto, K. Ishihara, and S. Watanabe: Precipita-

本研究は，気候変動適応技術社会実装プログラム

tion changes in a climate with 2-k surface warming from large（SI-CAT）の一環として行われている．また，本研究

ensemble simulations using 60-km global and 20-km regional

は SOUSEI と SI-CAT の下で作成された，地球温暖化

atmospheric models, Geophysical Research Letters, vol. 46, no. 1,対策に資するアンサンブル気候予測データベース（d4PDF）を使用した．
参

pp. 435–442（2019）．
3）R. Mizuta, H. Yoshimura, H. Murakami, M. Matsueda, H. Endo,T. Ose, K. Kamiguchi, M. Hosaka, M. Sugi, S. Yukimoto,

考文

S. Kusunoki, and A. Kitoh: Climate simulations using mri-献

agcm3.2 with 20-km grid, Journal of the Meteorological Society ofJapan. Ser. II, vol. 90A, pp. 233–258（2012）．

1）R. Mizuta, A. Murata, M. Ishii, H. Shiogama, K. Hibino, N. Mori,
O. Arakawa, Y. Imada, K. Yoshida, T. Aoyagi, H. Kawase,4）H. Sasaki, A. Murata, M. Hanafusa, M. Oh izumi, and K.

M. Mori, Y. Okada, T. Shimura, T. Nagatomo, M. Ikeda, H. Endo,

Kurihara: Reproducibility of present climate in a non-hydrostatic

M. Nosaka, M. Arai, C. Takahashi, K. Tanaka, T. Takemi,

regional climate model nested within an atmosphere general circulation model, SOLA, vol. 7, pp. 173–176（2011）．

Y. Tachikawa, K. Temur, Y. Kamae, M. Watanabe, H. Sasaki,A. Kitoh, I. Takayabu, E. Nakakita, and M. Kimoto: Over 5,0005）A. Murata, H. Sasaki, M. Hanafusa, and K. Kurihara: Estimation

years of ensemble future climate simulations by 60-km global andof urban heat island intensity using biases in surface air tempera-20-km regional atmospheric models, Bulletin of the Americanture simulated by a nonhydrostatic regional climate model, Theo-Meteorological Society, vol. 98, no. 7, pp. 1383–1398（2017）．

令和元年 9 月― 9 ―retical and Applied Climatology, vol. 112, pp. 351–361（2013）．