2020/9/3

ディープラーニングと物理学2020 オンライン

強化学習を用いたボース・アインシュタイン凝縮体の制御

電気通信大学 斎藤弘樹

The University of Electro-Communications

はじめに （自己紹介、この研究を始めた動機など）
もともとの専門は冷却原子気体、量子流体
最近、機械学習の量子多体問題への応用に興味を持つ
Carleo&Troyer, Science 355, 602 (2017)

HS, JPSJ 86, 093001 (2017)
HS and M. Kato, JPSJ 87, 014001 (2018)
HS, JPSJ 87, 074002 (2018)
N. Irikura and HS, Phys. Rev. Res. 2, 013284 (2020)

本セミナー第６回 吉岡信行さん
第８回 野村悠祐さん

強化学習にも興味 (AlphaGo, …)
冷却原子気体の分野に応用できないか？
HS, JPSJ 89, 074006 (2020)“Creation and manipulation of quantized vortices in Bose-Einsteincondensates using reinforcement learning”

The University of Electro-Communications

内容
 強化学習とは ボース・アインシュタイン凝縮体と量子渦 強化学習を用いた量子渦生成

The University of Electro-Communications

強化学習の応用

Nature 529, 484 (2016)

Nature 550, 354 (2017)

The University of Electro-Communications

強化学習の応用

Nature 518, 529 (2015)

学習49 games of Atari 2600

The University of Electro-Communications

強化学習とはエージェント

状態 𝑆𝑆

環境（ゲーム画面）

行動 𝑎𝑎（レバー、ボタン操作）

エージェントは環境についての予備知識は持たない
経験を通じて最適な行動を学習していく

報酬 𝑅𝑅（スコア、ライフ等）

The University of Electro-Communications最適な行動
直近の報酬を最大にすることが最適とは限らない。
将来の報酬も含めて最適化したい。
状態 s のとき行動 a を取ることの「価値」
これが最大となるような行動 a を取ればよい割引付き合計報酬
割引率𝛾𝛾は０から１の実数

Bellman 最適方程式

状態sで行動aを取ったときの報酬

状態sで行動aを取ったときの次の状態

Bellman方程式の解は将来の（割引付き）合計報酬を最大化する

The University of Electro-Communications

Deep-Q Learning
深層ニューラルネットワーク

入力はゲーム画面

出力はゲーム画面

どのボタンを押すかとなるようにネットワークを学習

The University of Electro-Communications

量子系への応用
スピン系の制御

量子カートポールの制御

Z. T. Wang, Y. Ashida, M. Ueda, arXiv:1910.09200(to be published in PRL)

M. Bukov et al., PRX 8, 031086 (2018)
The University of Electro-Communications

内容
 強化学習とは ボース・アインシュタイン凝縮体と量子渦 強化学習を用いた量子渦生成

The University of Electro-Communications

原子気体のボース・アインシュタイン凝縮（BEC)

externalpotentialλdb ∝ T −1/ 2BEC
M. H. Anderson et al., Science 269, 198 (1995)

T<Tc
T>Tc
T>>Tc

size ～10μm
Tc ～100 nK# of atoms 104～6
The University of Electro-Communications

平均場近似多体ハミルトニアン2ˆ ˆ dr=∇ 2 + V ψˆ dr + g ∫ψˆ †ψˆ †ψψHˆ ∫ψˆ  − 2m
†

すべての原子が同じ波動関数を占有していると近似する
Gross-Pitaevskii (GP) 方程式∂ψ   2 22 i= −∇ + V + g ψ ψ
∂t
 2m

原子間相互作用を表す非線形項

The University of Electro-Communications

回転するBECENSJILAMITThe University of Electro-Communications

渦の量子化

循環の量子化 = 整数循環は h / m の整数倍でなければならない(Onsager, Feynman)

遠心力で渦周辺の原子密度が下がる

The University of Electro-Communications量子渦の生成
GP方程式の数値計算

ポテンシャル（左へ動いている）

生成された量子渦対

臨界速度を超えると量子渦対が生成される

T. Frisch et al., PRL 69, 1644 (1992)

The University of Electro-Communications量子渦の生成（実験）レーザーによるポテンシャル

S. Inouye et al., PRL 87, 080402 (2001)

渦対生成の観測（ポテンシャルは渦生成後消されている）

T. W. Neely et al., PRL 104, 160401 (2010)

The University of Electro-Communications

内容
 強化学習とは ボース・アインシュタイン凝縮体と量子渦 強化学習を用いた量子渦生成

The University of Electro-Communications

強化学習によるBECの制御「環境」はBEC＋外部ポテン
シャル（レーザー）「環境」はGP方程式に従い時間発展し、エージェントは密度分布や速度分布などの情報を得られる

外部ポテンシャルの位置や形を制御してBECを望みの状態にすることが目的
The University of Electro-Communications

方法
畳み込みニューラルネットワーク（CNN)

入力は・ 密度分布
・ 流束分布・ ポテンシャル分布

出力は６つ６種類の行動（後述）についてのQ値

リプレイメモリ (50000)
ε-greedy方策
double-Q learning
Huber loss

The University of Electro-Communications

擬二次元系
ｚ方向に強く閉じ込められ二次元的に振る舞う系

ガウシアンポテンシャル

ガウシアンポテンシャル
６種類の行動BEC

1. ξ を少し増加
2. ξ を少し減少
3. η を少し増加
4. η を少し減少

トラップポテンシャル

5. A を少し増加
6. A を少し減少

The University of Electro-Communications

結果：擬二次元系
初期状態

学習の過程

目指す状態

ガウシアンポテンシャル

中央に量子渦

報酬 rt1近傍の伸びに期待ベストな結果

F(t)The University of Electro-Communications

結果：擬二次元系
一様系

×○

時計回り
反時計回り

BECの縁に行き、時計回り量子渦だけ外に逃がす (b), (c)
量子渦を中心まで運んだあとポテンシャル消滅 (d), (e)最適なポテンシャルの動き

報酬 =The University of Electro-Communicationsのとき

相互作用係数 g がずれた場合
実験条件がずれた場合、例えば原子数 N ∝ g が想定と違った場合

g = 1000 で最適化したポテンシャルの動きを別の g に適用

g = 1000 で最適化したポテンシャルの動きを別の g に適用
g = 1000 で最適化した
エージェントを別の g に適用訓練されたエージェントは高い適応能力を持つ

The University of Electro-Communications

三次元系
６種類の行動ガウシアン
ポテンシャル

1. ζ を少し増加

2. ζ を少し減少

3. dy を少し増加 4. dy を少し減少

5. A を少し増加 6. A を少し減少
初期状態

目指す状態
定常的な量子渦輪

等方的調和振動子ポテンシャル ＋ガウシアンポテンシャル

報酬は先ほどと同じx方向に沿ったレーザービームに対応

The University of Electro-Communications

結果：三次元系

最適なポテンシャルの動き

ポテンシャルを –z方向に動かして量子渦対を作る (b),(c)ポテンシャルを平たくして微調整すると２本の渦線が閉じて (d)定常的な渦輪の状態になる (e)学習の過程

The University of Electro-Communications

相互作用係数 g がずれた場合
黄色以外

g = 6000 で最適化したポテンシャルの動きを別の g に適用
g = 5850-6050 ならある程度良い結果
g = 6100 はだめ
黄色

g = 6000 で最適化したエージェントを g = 6100 に適用
g = 6100 でも良い結果。
訓練されたエージェントの高い適応能力

The University of Electro-Communications

まとめ

H. Saito, JPSJ 89, 074006 (2020)

強化学習(Deep-Q learning)をボース・アインシュタイン凝縮体の制御に応用
障害物ポテンシャルを制御してかき回すことで、単一量子渦状態や量子渦輪状態を生成できることがわかった。

展望・ 実際の実験系の制御（測定ベースで）・ より面白い状態の生成（多成分BECにおけるSkyrmionなど）

The University of Electro-Communications