AI 強化学習を活用した利根川上流ダム群の低水統合管理への現場適用
かなやま金山たくひろ

もりや拓広1・守谷まさし

よしだ将史2・吉田

かず し

みうら一志1・三浦しん

さいとう心3・齋藤

こうえつ

光悦4

1（株）建設技術研究所 東京本社 河川部（〒330-6030 埼玉県さいたま市中央区新都心 11-2）
2（株）建設技術研究所 大阪本社 水システム部（〒541-0045 大阪府大阪市中央区道修町 1-6-7）3（株）建設技術研究所 東京本社水システム部（〒103-0007 東京都中央区日本橋浜町 3-15-1）
4国土交通省関東地方整備局利根川ダム統合管理事務所（〒371-0846 群馬県前橋市元総社町 593-1）

気候変動に伴う渇水頻度の増加の影響を緩和するため，既存ダムのさらなる有効活用が求められている．本研究では，強化学習の手法を用いてダム群の容量を有効活用するための最適操作を支援するモデルを構築し，その有用性を検証した．構築したモデルは現時刻の各ダムの貯水量や流入量等の各種条件をもとに，最適なダムからの補給量を予測するものである．強化学
習モデルでは，単純に日々の貯水量比率で補給配分率を設定した水収支計算結果と比較して，流入量や貯水量等の個別のダムの特徴を踏まえつつ，基準地点での不足や無効放流が少ない操作を予測できる結果が得られた．
Key Words: 低水管理，統合運用，人工知能（AI），強化学習，Deep-Q-Network

1. はじめに膨大な状況（ケース）を自動的に AI が学習し，人間が与えた報酬に応じて最適な答え（行動）を出す強化学習

気候変動に伴う渇水頻度の増加が懸念される中，限ら（図-1）の仕組みを適用した．この AI 技術を活用し，れた水資源をより効率的に利用することが一層求められ現状のダム群への流入，貯水状況下において，下流基準ており，これを支援することが必要になっている．流域地点への確実な利水補給かつ，効率的に貯水量を温存す内に複数のダムが存在する場合，ダムに貯留した水をよるための最適なダム放流操作の選択を可能とするモデル

り効率的に利用するためには，各ダムへの流入量や貯水の構築を図った．

状況及び下流河川の流量の予測結果等を基に，ダムから2. 対象流域の補給量の設定が必要である．
近年，AI 技術の活用は多分野で活発化しており，ダム管理においても深層学習による流入量予測等の適用事

本研究の対象流域とした利根川の低水管理は，水系上例 1)もある．その他，状況に応じた適切な操作を AIに支流 9 ダム群（矢木沢・奈良俣・藤原・相俣・薗原・八ッ援させることを目的として，洪水調節の操作等に強化学場・下久保・草木ダム，渡良瀬遊水池）の統合運用によ2）

習の手法を適用する研究事例 がある．

り，利根川本川，江戸川及び支川の神流川，渡良瀬川等

本研究では日々の低水管理におけるダム操作に対して， の適正な水利用のための流量を確保することとしている．
環境は行動に応じた状態の変化を算出し状態に応じた報酬を与える
報酬

過不足なく補給したら加点
ダムがパンクしたら減点 等

統合運用における利水基準点は栗橋地点となり，江戸川及び本川下流域における維持流量，都市用水，灌漑用水の水需要を考慮した流量を確保するよう運用されている．

状態

これらの統合管理によるダム操作は，操作規則等の運貯水量・基準点流量等用ルールに従いながら，気象特性や貯水状況，ダム放流

Agent
(学習者)

行動

ダム操作(放流量)等

環境モデル

能力等の多数の情報をもとに放流量が決定されている．
それらダムや河川の状況に応じた操作を，より安定的か

Agentは将来を含めた報酬が最大となるように行動を学習

図-1 強化学習のイメージ

つ効率的に行うためのツールとして，AI の導入が期待されている．

3. AI 強化学習モデルの構築(1) モデルの全体構成構築したモデルの全体構成を図-2 に示す．ダムの最適な補給配分を予測する Agent モデル（AI 強化学習部分）と，それらからダム補給量および貯水量を算定する環境モデル（水収支モデル）を組み合わせた構成となる．入力された状態下で設定した報酬に基づく評価（基準地点となる栗橋に不足を出さない・ダム無効放流量を減少）

Agentモデル
入力層（状態）・ダム流入（現時刻）
・ダム貯水量（現時刻） 等

AI（強化学習：DQN）

環境モデル（水収支モデル）

状態（貯水量）の更新へ入力された状態から、報酬が高くなる最適な行動を出力できるように繰り返し学習（計30000回の繰り返し学習）

DQN は強化学習の学習効率化に深層学習手法を利用したものであり，柔軟で高精度なダム操作の学習が期待できる．また，AI に与える状態（入力項目）と環境モデルの組み合わせで多様な検討にも使用できる．
強化学習の学習アルゴリズムは， 3 層の全結合層からなる深層学習構造とし，活性化関数には ReLU3)を用いた．

表-1 入力項目一覧
状態項目

内訳

個数

ダム流入量

現時点（日単位）×8 ダム※渡良瀬遊水池以外

8

ダム貯水量

現時点（日単位）×9 ダム

9残流域
流出量

ダム地点～栗橋間（現時点）（日単位）

1

栗橋地点
設定流量

現時点（日単位）
正常流量（灌漑期:120m3/s，非灌漑期:80m3/s）

1

月現時点状態 計
奥利根５ダム

藤原ダム
（国交省）

吾妻川

八ッ場ダム
（国交省）

上流 9 ダム群のうち，渇水時の補助的な補給施設となる

神流川
烏川
下久保ダム
（水機構）

現時点の月の情報は，利根川では積雪，融雪を有するこることを踏まえ，学習精度を高めるために設定している．

楢俣川

相俣ダム
（国交省）

計 20 個の情報を設定する．ここでダム流入量は利根川とから季節により状態に対する最適な行動の傾向が異な

奈良俣ダム
（水機構）

赤谷川

吾妻川

渡良瀬遊水池を除く 8 ダムの日単位流入量とした．また

利根川
矢木沢ダム
（水機構）

greedy 方策(ε=0.1) 3)とした．ここで，lr は学習率 3)，εは(3) 状態空間の設定
Agent モデルの入力層となる状態空間は，表-1 に示す

120

最適化手法は Adam(lr=0.001)3)，ダム操作選択の方針はε行動空間からランダムに行動を選択する確率である．

【出力】
各ダム貯水量、不足に対する補給量

図-2 AI 強化学習モデルの全体構成し学習するモデルとしている．

アルゴリズムは，Deep-Q-Network（以下 DQN）とした．

【入力】
各ダム流入量、各ダム補給配分率 等【報酬】〇栗橋地点で不足が発生：マイナス評価〇ダムの無効放流が発生：マイナス評価〇不足もなく無効放流もない：プラス評価

により，最適なダム補給割合が出力できるように繰り返(2) AI 強化学習モデルの構造
Agent モデルに搭載したダム操作に利用する強化学習

出力層（行動）・各ダム補給配分率

片品川
薗原ダム
（国交省）
渡良瀬川
渡良瀬川
渡良瀬遊水池
草木ダム
（国交省）
（水機構）

神流川

基準地点（栗橋）図-3 水収支モデルの概要（赤点線：グループ化範囲）(4) 行動空間の設定
Agent モデルが出力する行動空間として，後述の水収基準地点は栗橋地点の１点確保のモデルとした．

支計算に基づく不足量に対する各ダムの補給配分率を設てダム調整量を戻したダム補給前の流況から栗橋地点で定した．また，AI による行動パターン数（補給配分率の設定流量に対する不足量を算定し，上流ダム群からののパターン数）を抑えるため，ダム群を①奥利根に位置必要補給量を算出する．

水収支計算では先ず，現時点の実績の栗橋流量に対しする 5 ダム群（矢木沢・奈良俣・藤原・相俣・薗原ダ

次に，算出した必要補給量に Agent モデルが出力する

ム），②吾妻川の八ッ場ダム，③神流川の下久保ダム，補給配分率を割り当て各ダムの補給量を算定する．なお，④渡良瀬川の草木ダムの 4 つにグループ化した．

Agentモデルでは奥利根 5ダムを 1つにグルーピングした補給率として出力されるため，本研究では，各ダムの年(5) 環境モデル（水収支モデル）
Agent モデルが出力する補給配分率を受けて，環境モ間の流入総量とダム容量から水のたまりやすさ，たまりデルとなる栗橋基準地点の不足量および各ダムからの放最後に，上流から各ダム地点の流入出に伴う貯水量変にくさに応じて個別のダムに補給量を分配している．

流量，貯水量を算定する水収支モデルを構築した．

化や，ダム群からの補給後の栗橋地点流況を計算し，後本研究で構築した水収支モデルは図-3 に示すように， 述する Agent モデルの行動に対する報酬評価や，次のパ栗橋上流を対象に国土交通省・水機構所管の既設 9 ダム， ラメータ学習に向けた状態を更新する．

(6) 報酬の設定
最適な低水運用を学習させる場合，Agent モデルの行

利水容量
600

栗橋上流9ダム貯水量

ケース3400

貯水量（百万m3）群の統合運用により，極力無効放流を少なくし，ダムケース2500

動によりある状態に遷移したことを評価する必要がある．本研究における最適な低水運用とは，複数のダムケース1が枯渇した場合の下流での不足量を極力小さくする運

300
200
1000

1991(H03)年

1992(H04)年

1993(H05)年

1994(H06)年

1995(H07)年

1996(H08)年

1997(H09)年

1998(H10)年用と定義した．なお，無効放流とは，ダム放流のうち下流の必要量への補給に寄与することなく流下した流

学習期間（未経験期間）検証期間量であり，出水時やドローダウン時の放流量も含む．

図-4 学習期間と検証期間

本研究では以下に示す，栗橋地点での不足量や各ダムの無効放流量，ダム群の貯水率を指標としたプラスとマイナスの報酬設定を行った．

ケース2①栗橋地点で不足を生じた場合：
報酬＝－10×不足量(m3/s)②無効放流が生じた場合：
報酬＝－無効放流量(m3/s)／10③栗橋地点不足も無効放流もない場合：
報酬＝＋全ダム貯水率×100
ケース3(7) 学習データ
学習期間は経年渇水と大規模渇水を含み，利根川上流の渇水特性を網羅している 1991年～1994年の 4年間とした．検証期間は学習期間の 4 年間に加え，未経験期間としてさらに大規模な渇水年の1996年を含む1991年～1998年の 8 年間とした．（図-4 参照）
学習では，1 回のパラメータ学習期間を 1 エピソード－：各エピソードの報酬積算値 －：報酬の移動平均
図-5 ケース 2 及び 3 の学習回数と報酬の推移

した補給配分率による水収支計算結果との比較を行い有といい，トライアル計算による学習の進捗具合や，前年意性を評価した．の貯水状況がその年の貯水量に影響する実態を鑑み 2 年a) 栗橋上流 9 ダム群の比較を 1 エピソードとした．2 年に渡る複数パターンを学習させるため，図-4 にように 1991 年～1994 年の 4 ヶ年を 1

栗橋上流 9 ダム群合計の貯水量，無効放流量および栗橋流量の比較結果を図-6 に示す．

ケース 2 ヶ年にスライドさせて分割し，各ケース 10000

栗橋地点の不足量に対してダムによる補給を行った後エピソードずつ学習させた．なお，各ケース間の学習パのダム貯水量回復時には，AI 操作の方が無効放流を抑ラメータは引き継いで継続学習させている．

えた結果，栗橋上流 9 ダム群の貯水量が大きく，貯水量の温存が図られていることが確認できる．（図-6 の赤4. 学習の結果

点線枠内参照）
AI 操作による不足量の改善効果として，1995 年の貯(1) 学習回数と報酬の推移
ケース 2 及びケース 3 の学習回数と報酬の推移の関係

水量の温存により，貯水量比率配分による結果と比べて，は図-5 に示すように，報酬（１エピソード内の約 730 日たる 13.5 百万 m3 減少できていることが確認できた．この報酬の積算値）が右肩上がりで学習が順調に進んでいれは東京都約 1,400 万人の 4～5 日分の水使用量に当たる．

ることがわかる．ケース 3 では右肩上がりの傾向が緩や

b) 個別ダムの比較かとなり，概ね学習が収束していることが確認される．

翌年の 1996 年のダム枯渇時に生じる不足量を約 6%にあ

個別の各ダムの貯水量のうち，AI の行動空間においてグループ化を行っていない八ッ場，下久保，草木ダム(2) 操作シミュレーション結果と考察
学習済みのモデルにより 1991年～1998年の 8ヶ年の検証期間においてシミュレーションを実施した．検証では，実際の渇水時の取水制限に伴うダムの補給制限等も含まれたダム操作実績との比較が難しいため，本研究では，
AI 操作による結果と，日々の貯水量比率見合いで決定の検討結果を図-7 に示す．
これより AI 操作による日々の運用において，日々の貯水量比率によるダム運用（各ダムの貯水量/有効貯水容量が等しくなるように運用される方式，図中の青線）と比べると，貯水量が回復しにくい傾向にある下久保ダ
ムでは貯水量が温存される傾向が見られ，貯水量が回復

1995年

1996年②無効放流量（AIによる補給配分）
20151050-5-10-15-20
1997年
1998年

1997年

①無効放流量（貯水量比率補給配分）

1992年

1993年

1994年

1995年

操作前流量確保量

操作後流量（貯水量比率補給配分）

1992年

1993年

AI判断による補給配分率 図-6

1994年

40

1995年

0.2

温存傾向が見られる一方で，1992年 9 月，1995 年 9 月に0.0
1992年

1996年

20

1993年

1992年

1993年

八ッ場ダム貯水量図

1994年

大きく補給している期間が見られるが，図-6 に示す栗貯水量（百万m3）0.4

1997年

以上のことからも個別のダムの特徴を踏まえて AI により効率的なダム補給が選択できており，本モデルの有効性が高いと評価できる．

604001991年

1201008060402001991年

によりダム管理を支援するシステムを構築した．
構築したモデルによる予測結果は，ダム下流基準地点への利水補給を行いつつ，ダム群の容量を有効利用できていることが確認され，ダム運用を支援する手法と

1992年

1993年

1992年

1993年

草木ダム貯水量図
貯水量（百万m3）

給に強化学習を適用し，最適ダム放流操作方法の予測

1996年

下久保ダム貯水量図

5. 結論
本検討では，利根川上流ダム群を対象とした利水補

奥利根5ダム

1994年
1995年
1996年
1997年
1998年
利水容量
貯水量（貯水量比率補給配分）
貯水量（AIによる補給配分）

1997年

1998年

1994年
1995年
1996年
1997年
1998年
利水容量
貯水量（貯水量比率補給配分）
貯水量（AIによる補給配分）

貯水量（百万m3）の温存が図られた効果が確認できる．

1998年

八ッ場ダム

8020
1995年

橋上流 9 ダム群全体で評価すれば AI 操作により貯水量貯水量（貯水量比率補給配分）

60100

また，下久保ダムは全体的に AI 操作による貯水量の操作後流量（AIによる補給配分）

800
1991年

的に補給される傾向が確認できる．

1998年

利水容量
貯水量（AIによる補給配分）

貯水量比率補給配分・AI 補給配分の比較
9 ダム合計
草木ダム
下久保ダム

0.6

1991年

1996年

奈良俣ダム貯水量図

0.8
しやすい傾向にある八ッ場ダム，草木ダム等では優先配分率

差分（百万m3）

無効放流量（m3/s）
流量（m3/s）

1994年
差分（②－①）

貯水量（百万m3）

貯水量（百万m3）
不足量（百万m3）

1993年

栗橋地点 流況図400
350
300
250
200
150
100
500
1991年
1.06050403020
100-10-20-30不足量13,500
千m3減少

無効放流量

160
140120100806040200
1991年

利水容量
②貯水量（AIによる補給配分）

差分（m3/s）

差分（②－①）①貯水量（貯水量比率補給配分）

栗橋上流９ダム 貯水量図

600
500
400
300
200
100
0-100
貯留時の無効放流減少-200による貯水量の増加
-300
1991年
1992年

1994年
1995年
1996年
1997年
1998年
利水容量
貯水量（貯水量比率補給配分）
貯水量（AIによる補給配分）

50403020100
1991年

1992年

1993年

1994年

1995年

1996年

1997年

1998年

図-7 貯水量比率補給配分・AI 補給配分 個別ダム

して有効であると考えられる．
ただし，行動テーブル数が多い場合には学習が想定し参考文献たように進まない場合があり，本検討では一部単純化し

1) 古田島樹，三浦心，神瀬史雄，金子拓史，山脇正嗣：ダムにた条件を設定している．今後は複雑な条件下においてもおけるAIを用いた低水流入量予測，令和元年度建設コンサル学習が可能となるようなモデル上の工夫や報酬の設定方

タント業務研究発表会，2019.

法等の検討が必要である．

2) 赤塚洋介，瀬戸里枝，鼎信次郎：深層強化学習を用いたダム

また，今後このような AI による最適行動選択の技術

操作モデルによる予測情報を活用した事前放流操作に関するを適用することで， 治水・利水に関するダム管理だけ検討，土木学会論文集B1（水工学），Vol.76，No.2，I_823-

ではなく，自動運転や最適経路選択等の交通分野など多I_828，2020.

岐に渡るコンサルティングの高度化や領域拡大が期待できる。

3) Antonio Gulli, Sujit Pal：直感 Deep Learning, オライリー・ジャパン ,2018