AI を活用したダム操作支援機能のシステム導入（強化学習、GAIL）
ひだ よしひさたきぐち ひ ろ きう す い えいすけ

たかはしかずのりあ

べ まさみ○樋田祥久1・滝口大樹1・臼井栄佑1・髙橋一徳2・阿部真己3
1 いであ（株）

社会基盤本部 国土保全事業部 流域減災部（〒158-0094 東京都世田谷区玉川 3-14-5）
社会基盤本部 国土保全事業部 河川部（〒158-0094 東京都世田谷区玉川 3-14-5）
イノベーション戦略本部 AI 総合推進室（〒224-0025 神奈川県横浜市都筑区早渕 2-2-2）

2 いであ（株）
3 いであ（株）

近年の異常豪雨を契機として「ダム再生ビジョン」「既存ダムの洪水調節機能の強化に向けた基本方針」が策定され、今後はダム機能を最大限に活用した高度な操作が求められるが、少子高齢化や公共事業費の縮減に伴い、経験豊富なダム管理者の減少やダム管理人員の削減が進められている。一方、ｺﾝﾋﾟｭｰﾀ処理能力の飛躍的な向上に伴い、人工知能(AI)が広く普及しつつあり、AI により「人間が知能を駆使して行っていることをｺﾝﾋﾟｭｰﾀで実現する」ことで、予測の高度化や処理判断の迅速化が期待されている。そこで、本研究では、洪水時における北上川水系の四十四田ダムと御所ダムの連携操作について、AI を活用したダム放流操作の支援機能を検証し、システム導入した。
Key Words: 連携操作, ダム操作支援機能, 強化学習, GAIL

1. はじめに2018 年の西日本豪雨や 2019 年の令和元年東日本台風など、水災害が激甚化、頻発化している。
ダムによる洪水調節は、下流の全川にわたって水位を低下させ、堤防の決壊リスクを低減するとともに、内水被害や支川背水の影響を軽減する有効な治水対策として位置付けられる。今後はダム機能を最大限に活用した高度な操作が求められるが、少子高齢化や公共事業費の縮減に伴い、経験豊富なダム管理者の減少やダム管理人員の削減が進められている。
一方、人工知能（AI）が広く普及しつつあり、ダム操作に AI を活用することで予測の高度化や処理判断の迅速化が期待されている。
近年では、深層強化学習を用いたダム・貯水池の運用効率化が検討されている 1), 2)。たとえば一言らは、単ダムの諸情報（ダム流入量の実績値及び予測値など）をもとに、洪水調節のための最適な放流量を決定する AI モデルを構築した。この AI モデルは予測流入量の誤差に大きな影響を受けることなく妥当な操作ができている 3)。
本研究では、洪水時における複数ダムの連携操作について、AI を活用したダム放流操作の支援機能を検証し、システム導入した事例を報告する。

2. 検討対象ダムと AI モデル構築方針(1) 検証対象ダム
検証対象ダムは、北上川流域に建設されている国土交通省が管理する四十四田ダムと御所ダムとした。ダム諸元を表-1、ダムの位置図を図-1に示す。両ダムは盛岡市街地の上流に位置し、過去洪水（平成25年9月洪水等）において下流河川の被害軽減を図るため、規則操作より放流量を抑制することでダム下流地点（明治橋地点）の水位を低減させている（図-2）。
表-1 ダム諸元
ダム名竣工
流域面積 [km2]
総貯水容量 [103m3]
計画洪水流量[m3/s]
放流方式

四十四田ダム1968
1,196
47,1001,350
一定率一定量

盛岡市街地

御所ダム
1981
635
65,0002,450
一定率一定量四十四田ダム
明治橋

御所ダム

紫波橋

図-1 四十四ダムと御所ダムの位置図

174

5000

170

4500

166

4000

1400

162

3500

1200

158

3000

貯水位

四十四田ダム 流入量
四十四田ダム 放流量
洪水量
規則操作
四十四田ダム 貯水位（実績）
貯水位（規則操作）
洪水時満水位
常時満水位
ただし書き操作開始水位
制限水位
最低水位

1000
800
600
400
200
0
9/13 00:00
6

9/14 00:00

9/15 00:00

154

流量

9/16 00:00

9/17 00:00

9/18 00:00

150

流量

流量(m3/s)

1600

貯水位（TPm）

四十四田ダム
1800

142

1000

138

500

0

155
150
1451409/15 00:00

9/16 00:00

9/17 00:00

9/18 00:00

135
9/19 00:00

9/15 00:00

9/16 00:00

9/17 00:00

9/18 00:00

9/19 00:00

4
紫波橋
計画高水位
はん濫危険水位
避難判断水位
はん濫注意水位水防団待機水位

20-2-4
9/13 00:00

9/14 00:00

160

流量

紫波橋水位

明治橋
計画高水位
はん濫危険水位
避難判断水位
はん濫注意水位水防団待機水位

水位(m)

水位(m)

2165
御所ダム 流入量
御所ダム 放流量
洪水量
規則操作
御所ダム 貯水位（実績）
貯水位（規則操作）
ただし書き操作開始水位
洪水時満水位
常時満水位
制限水位
確保水位

0
9/13 00:00
6

明治橋水位
4175
170

2000
1500

180

貯水位

2500

146

134
9/19 00:00

185

御所ダム

貯水位(TPm)

2000

9/14 00:00

9/15 00:00

9/16 00:00

9/17 00:00

9/18 00:00

9/19 00:00-2
9/13 00:00

9/14 00:00

図-2 平成 25 年 9 月 16 日洪水（台風 18 号）のダム操作とダム下流水位(2) ダム操作の判断材料を踏まえた AI モデル構築方針
御所ダムによる連携操作（2 エージェント）を行うもの
最適なダム操作を AI に学習させるためには、図-2 のとし、状態量は 24 時間先までの貯水量と放流量とし、ようなダム操作の判断材料を把握することが重要である。 価値（24 時間先までのダム貯水位と下流河川水位）がダム操作の判断材料についてダム管理経験者へヒアリン最適となるよう行動の重みを更新する。予測流入量は貯グにより確認した結果、実績データ（貯水位、流入量、留関数モデルにより算出し、ダム下流水位は不定流計算放流量、ダム下流水位）を基に操作規則を踏まえた操作で算定する。価値はダム管理者およびダム下流の氾濫被を実施していることが分かった。また、大規模な洪水で害抑制の観点から、ダム貯水位では制限水位で最適、下は必ずしも意図した結果とならないことが確認できた。
流河川では水防団待機水位以下が最適となる価値関数を
このため、大規模洪水において迅速で適切なダム操作設定した。
表-2 計算条件
判断を行える体制を構築する必要がある。構築する AI
評価方法

価値関数(ダム貯水位、明治橋水位)

状態量

24 時間先までのダム貯水量(両ダム）
現時刻放流量10,000 回（洪水）モデルは、下流河川の危険度（河川水位）等のダム操作の判断材料を踏まえる他、未経験洪水に対応できるよう、既往の放流実績を学習する教師あり学習ではなく、最適な放流操作を提案できる強化学習と深層模倣学習（GAIL）とした。

降雨波形

平成 22 年～令和 2 年の主要洪水(17 波形)

雨量データ

3. 強化学習によるダム操作支援の検討

降雨倍率

地上雨量データ（直轄）及びティーセン係数を基に算定
1.0 倍,1.1 倍,1.2 倍 からランダムで設定

初期貯水位

最低水位～最高水位 からランダムで設定

ダム流入量

貯留関数モデルによる計算結果

ダム放流量

四十四田ダム：20m3/s～700m3/s
御所ダム：30m3/s～1,200m3/s
河道：一次元不定流モデル
ダム地点：ダム放流量
横流入：貯留関数モデルの計算結果
下流端水位 ：紫波橋の HQ 換算水位

(1) 強化学習のアルゴリズム
強化学習は機械学習の一種で、将来の価値を最大化する行動を学習するモデルである。エージェントであるダム操作予測 AI は状態量を把握し、行動を決定する。行動による環境の変化により価値を算出する。これらを繰り返し、行動の重みを更新することで価値を最大化する
ような行動を AI が学習する。ここで、行動とはダム放流量を指す。強化学習の仕組みは、初期水位と外力をランダムで決定し、ダム流入量と貯水位の状態に応じた放流量を決定する。その結果得られたダム貯水位と下流水位の計算結果から価値を算定し、行動の重みを更新していく。
(2)計算条件（学習時）
本研究で構築した強化学習モデルは、四十四田ダムと学習回数

河川水位
計算手法

四十四ダム：貯留関数モデルによる計算流量

御所ダム：AI（強化学習）による放流量
中津川

雫石川

：一次元不定流計算の範囲

明治橋：価値の評価箇所

北上川

紫波橋（HQ換算水位）

図-4 モデル図(3) 強化学習の検証
強化学習の検証は、実績雨量による予測計算結果と実績値を比較する。検証方法は AI が提案する実績に対するピーク放流量の低減量と、明治橋水位のピーク水位の低減量とした。検証対象洪水は直近 10 年間で発生したダム流入量が最大規模である平成 25年 8月 9日洪水、平GAIL）4)は、教師あり学習と強化学習の中間的な概念にあたる。ここでは、強化学習のように放流後の結果を報酬として最大化しつつ、エキスパートの放流量の真似をするように人間らしい方策を学び取る手法として深層模
成25年9月16洪水、平成29年8月洪水の3洪水とした。
倣学習について適用の可能性を検証した。
AI ダム放流予測モデルの予測結果の事例(平成 25 年 8 月
報酬の最大化を学ぶという意味で全体的な構成は強化
9日洪水)を図-5 に示し、ピーク放流量と明治橋のピーク学習と同様であるが、全く何もない状況から方策を発案
水位の低減量を表-3 に整理した。
するわけではなく、エキスパートの行動を模倣するため、強化学習によるダム放流は、洪水前に必要なだけ放流比較的安定かつ効率的に学習が収束することが期待できし、洪水時のダム放流量と明治橋水位を低減させている。 る。この模倣には敵対的生成ネットワーク(GenerativeAdversarial Network；GAN) 5)を用いて近似するものとし、強化学習によるダム放流操作に効果が見られるため、AIダム放流機能としてシステム導入した。
流入量に対する放流操作が本物らしいかを判定する。これにより、流入量、放流量を用いてダム水位や下流への表-3 評価結果(ピーク放流量、下流水位)放流量の合計を計算、報酬に換算して最大化を図る。
四十四田ダム
ピーク放流量(m3/s)
実績
AI
低減量

御所ダム
ピーク放流量(m3/s)
実績
AI
低減量

明治橋
ピーク水位(m)実績
AI低減量

平成25年8月9日

12150

71

1,185

551

634

1.81

0.54

1.27

平成25年9月16日

560

350

210

845

350

495

1.920.68

1.24

平成29年8月25日

526

350

176

1,028

490

538

2.18

0.88

1.30

洪水名

流域平均雨量[mm/h]

0102030

四十四田

40

御所

50
2000

176

四十四田ダム

170

1200

168

1000

166

800

164

600

162

400

160

200

158
9/15 12:00

9/16 0:00

流入量
制限水位

9/16 12:00

9/17 0:00

AI放流量
サーチャージ水位

9/17 12:00

9/18 0:00

9/18 12:00

実績 放流量
最低水位

1569/19 0:00

貯水位

3500

186

御所ダム

3000

流入量・放流量 [m3/s]

考慮する報酬に関しては表-4 のように設計した。
貯水位 [E.L.m]

172

1400

0
9/15 0:00

1842500

182

2000

180

1500

178

1000

176

500

174

0
9/15 0:00

9/15 12:00

9/16 0:00

流入量
制限水位
AI明治橋

操作を対象とした。学習に使用するエキスパートデータ
は、平成 22 年～令和 2 年までの流入量が大きく貯水位が変動している 3 日間の期間を 54 期間抽出し、検証洪水を除外して選定した。
検証用データは平成 25 年 8 月 9 日洪水、平成 25 年 9月 16 洪水、平成 29 年 8 月洪水の 3 洪水とし、モデルで

174

1600

9/16 12:00

9/17 0:00

AI放流量
サーチャージ水位実績 明治橋

水防団待機水位

9/17 12:00

9/18 0:00

9/18 12:00

実績 放流量
最低水位
氾濫注意水位

貯水位 [E.L.m]

流入量・放流量 [m3/s]

1800(2) モデルの計算条件
GAIL は四十四田ダムと御所ダムの連携操作時の放流

1729/19 0:00

貯水位
避難判断水位

氾濫危険水位表-4 報酬の設計
視点
水位が最高水位を超えない
合計放流量の最大値が小さいか人らしい操作であるか反映方法
報酬として考慮する。
報酬(ペナルティ)=ReLU(最高水位-水位)※ReLU は負の値をゼロ報酬として考慮する。
報酬(ペナルティ)=-max(合計(ダム放流量))
GAN 損失として表現され最適化される。

モデルとしては「流入量から放流量を予測する AI」と「流量収支を計算するダムモデル」の 2 つのパーツに分かれている(図-6)。

河川水位 []T.P.m]

120
119

明治橋水位観測所

118
117
116
115
114
9/15 0:00

9/15 12:00

9/16 0:00

9/16 12:00

9/17 0:00

9/17 12:00

9/18 0:00

9/18 12:00

9/19 0:00

図-5 強化学習による予測結果（平成 25 年 9 月 16 日洪水）

4. 深層模倣学習(GAIL)によるダム操作支援の検討(1) 深層模倣学習(GAIL)のアルゴリズム
深層模倣学習（Generative Adversarial Imitation Learning；

図-6 GAIL の構成

AI 部分は、全体構成図（図-7）に示すとおり、流入量時系列データのエンコーダ ( Ei ) 、放流量時系列データのデコーダ ( Di )とこれに判別器 ( D )で構成される。
学習時はエキスパートデータに含まれる流入量データを VAE ( Variational Auto-Encoder )と呼ばれる生成モデルで周辺化し、再構成損失と潜在変数がガウス分布に近いかどうかの損失で学習する。これらを四十四田ダムと御所ダムで複合させた。
時系列データの潜在変数への埋め込みは、事前放流などの流入量からみると時間を遡った操作を行う場合があることから、1 次元畳み込みでモデルを構成することとした。3 日分（72 時間分）の時系列データを特徴ベクトル（潜在変数）に埋め込むため、時間方向を圧縮して学習の効率化を図った。

(3) AI 深層模倣学習の効果検証
GAIL による予測結果の事例（平成 25 年 9 月洪水）を
図-8 に示す。四十四田ダムの放流量は実績より低減できているが、御所ダムでは放流量が増加しており、人の操作と比べて最適といえる操作が毎回できているわけではない結果となった。
ただし、深層学習を行うには少ないデータからでも自然で滑らかな操作自体はできていると考えられる。本モデルは流入量のみを参照しているが、実際にはダム下流の水位も考慮して操作の判断を行っているため、こういった情報の追加により改善される可能性がある。

5. おわりに強化学習による AI はダム放流操作に効果がみられたため、ダム放流機能としてシステム導入することができた。一方、ダム放流は機械的に最適な放流操作としているため自然で滑らかな操作が課題である。
深層模倣学習 ( GAIL ) は、エキスパートデータのパフォーマンスに依存するため、事前放流の事例等、さらなるデータ蓄積や AI によるデータの解釈の精度向上が今度の課題である。引き続き検討していきたい。

図-7 ネットワークモデルの全体構造

謝辞：本研究を進めるにあたって、国土交通省東北地方整備局北上川ダム統合管理事務所の方々の協力を得たことを付記し謝意を表します。
参考文献
1)

2)

3)

図-8 GAIL による予測結果（平成 25 年 9 月 16 日洪水）

石尾将大，一言正之，島本卓三，房前和朋：深層強化学習を用いたダム操作モデルによる洪水調節, 河川技術論文集, Vol.25, 2019.
田中友紀子，平岡拓也ら：電力ダム操作における強化学習型シンボルグラウディングによる意思決定支援に関する検討，第 32 回人工知能学会全国大会，
2018．
一言 正之，澤谷 拓海，植西 清：深層強化学習を用いたダム操作モデルのダム流入量予測誤差に対する影響評価, AI・データサイエンス論文集 1 (J1), 459464, 2020-11-114)

https://proceedings.neurips.cc/paper/2016/file/cc7e2b878868cbae992d1fb743995d8f-Paper.pdf

5)

https://papers.nips.cc/paper/2014/file/5ca3e9b122f61f8f06494c97b1afccf3-Paper.pdf