Deep Multi-Agent Reinforcement Learning with Hybrid Action Spaces based on Maximum Entropy, Hongzhi Hua, Kaigui Wu and Guixuan Wen

深層学習の論文について解説してみた

https://qiita.com/official-events/97ae2edf9e1a01bde1fe

参加記事です。まず、抄録を仮訳し、辞書を作り、参考文献一覧を確認しています。

期間の最後には、解説になる予定です。今、しららくお待ちください。

論文をどうやって選んだかというと、
https://arxiv.org
で
Deep Learningで検索した文献を順に見て、最初のn本中、自分が一番得意なものに絞りました。
読者のことは一切考えていません。っていうか、読者のことが考えられるほと、Deep Learningそのものの専門家ではありません。どれくらい専門家でないかというと、「Deep Learning」という単語が入っていないと、Deep Learningの論文かどうか判定できないくらい、Deep Learningは詳しくありません。

参考文献の自己参照に列記した記録のように、深層学習の勉強会で、ソフトウェアの導入、コマンドのエラー対応、pythonのエラー修正などのお手伝いをしました。

連続制御と離散制御および連続通信および離散通信の専門家です。エントロピー学会の世話人をしていたことがあります。期待できません。深層学習の対象側の専門家とご理解ください。

Deep Multi-Agent Reinforcement Learning with Hybrid Action Spaces based on Maximum Entropy, Hongzhi Hua, Kaigui Wu and Guixuan Wen

https://arxiv.org/abs/2206.05108

# Abstract
>Multi-agent deep reinforcement learning has been applied to address
a variety of complex problems with either discrete or continuous
action spaces and achieved great success. However, most real-world
environments cannot be described by only discrete action spaces or
only continuous action spaces. And there are few works having ever
utilized deep reinforcement learning (drl) to multi-agent problems
with hybrid action spaces. Therefore, we propose a novel algorithm:
Deep Multi-Agent Hybrid Soft Actor-Critic (MAHSAC) to fill this
gap. This algorithm follows the centralized training but decentralized execution (CTDE) paradigm, and extend the Soft Actor-Critic algorithm (SAC) to handle hybrid action space problems in MultiAgent environments based on maximum entropy. Our experiences are running on an easy multi-agent particle world with a continuous observation and discrete action space, along with some basic simulated physics. The experimental results show that MAHSAC has good performance in training speed, stability, and anti-interference ability.
1 Springer Nature 2021 LATEX template
2 Deep Multi-Agent Reinforcement Learning with Hybrid Action Spaces based on MaximAt the same time, it outperforms existing independent deep hybrid
learning method in cooperative scenarios and competitive scenarios.
Keywords: multi-agent, deep reinforcement learning, hybrid action spaces,
maximum entropy

仮約
複数代理人深層強化学習は、離散または連続のいずれかの行動空間でさまざまな複雑な問題に適用し、で大成功を収めた。
ただし、ほとんどの実際の環境は、個別の行動空間または連続的な行動空間だけで説明することはできない。そして、混合行動空間での複数代理人問題に深層強化学習（drl）を利用したことのある作品はほとんどない。新しい算法を提案する。
この隙間を埋めるための深層複数代理人混合Soft行動者臨界（MAHSAC）。この算法は、集中型訓練であるが分散型実行（CTDE）規範に従い、最大エントロピーに基づいて複数代理人環境で混合行動空間の問題を処理するためにSoft Actor-Critic算法（SAC）を拡張します。私たちの経験は、いくつかの基本的な模擬試験物理学とともに、連続観測と離散行動空間を備えた簡単な複数代理人粒子の世界で実行する。実験結果は、MAHSACがト訓練速度、安定性、および干渉防止能力において優れたを実績発揮する。
1 Springer Nature2021LATEX雛形
2 Maximに基づく混合行動空間を使用した深層複数代理人強化学習同時に、協調台本および競合台本では、既存の独立した深層混合学習方法よりも優れています。
鍵語：複数代理人、深層強化学習、混合行動空間、最大エントロピー(entropy)

# References
[1] Kai Arulkumaran, Marc Peter Deisenroth, Miles Brundage, Anil Anthony
Bharath. (2017). Deep Reinforcement Learning: A Brief Survey. IEEE Signal Process. Mag. 34(6): 26-38. https://doi.org/10.1109/MSP.2017.2743240
[2] Seyed Sajad Mousavi, Michael Schukat, Enda Howley. (2016). Deep
Reinforcement Learning: An Overview. IntelliSys (2) : 426-440.
https://doi.org/10.1007/978-3-319-56991-8 32
[3] Thanh Thi Nguyen, Ngoc Duy Nguyen, Saeid Nahavandi. (2018).
Deep Reinforcement Learning for Multi-Agent Systems: A Review
of Challenges, Solutions and Applications. CoRR abs/1812.11794.
https://doi.org/10.1109/TCYB.2020.2977374
[4] Ardi Tampuu, Tambet Matiisen, Dorian Kodelja, Ilya Kuzovkin, Kristjan Korjus, Juhan Aru, Jaan Aru, Raul Vicente. (2015). Multiagent
Cooperation and Competition with Deep Reinforcement Learning. CoRR
abs/1511.08779. https://doi.org/10.48550/arXiv.1511.08779
[5] Ryan Lowe, Yi Wu, Aviv Tamar, Jean Harb, Pieter Abbeel, Igor Mordatch.
(2017). Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments. NIPS : 6379-6390. https://doi.org/10.48550/arXiv.1706.02275
[6] Tabish Rashid, Mikayel Samvelyan, Christian Schr¨oder de Witt, Gregory
Farquhar, Jakob N. Foerster, Shimon Whiteson. (2018). QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement
Learning. ICML : 4292-4301. https://doi.org/10.48550/arXiv.1803.11485
[7] Craig J. Bester, Steven D. James, George Dimitri Konidaris.
(2019). Multi-Pass Q-Networks for Deep Reinforcement Learning with Parameterised Action Spaces. CoRR abs/1905.04388. https://doi.org/10.48550/arXiv.1905.04388
[8] Matthew J. Hausknecht, Peter Stone. (2016). Deep Reinforcement Learning in Parameterized Action Space. ICLR (Poster). https://doi.org/10.48550/arXiv.1511.04143
[9] Tuomas Haarnoja, Aurick Zhou, Pieter Abbeel, Sergey Levine.
(2018). Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor. ICML : 1856-1865.
https://doi.org/10.48550/arXiv.1801.01290, Springer Nature 2021 LATEX template
Deep Multi-Agent Reinforcement Learning with Hybrid Action Spaces based on Maximum E[10] Tuomas Haarnoja, Aurick Zhou, Kristian Hartikainen, George Tucker,
Sehoon Ha, Jie Tan, Vikash Kumar, Henry Zhu, Abhishek Gupta, Pieter
Abbeel, Sergey Levine. (2018). Soft Actor-Critic Algorithms and Applications. CoRR abs/1812.05905. https://doi.org/10.48550/arXiv.1812.05905
[11] Olivier Delalleau, Maxim Peter, Eloi Alonso, Adrien Logut.
(2019). Discrete and Continuous Action Representation for Practical RL in Video Games. CoRR abs/1912.11077. https://doi.org/10.48550/arXiv.1912.11077
[12] Petros Christodoulou. (2019). Soft Actor-Critic for Discrete Action Settings. CoRR abs/1910.07207. https://doi.org/10.48550/arXiv.1910.07207

# 単語帳

|頻度|英語|日本語|
|:----|:----|:----|
|215|the|その|
|99|and|および|
|93|to|に|
|88|of|の|
|80|a|一つの|
|76|agent|代理人|
|64|action|行動|
|61|in|中に|
|61|is|です|
|48|multi|複数の|
|44|with|と|
|37|learning|学ぶ|
|36|deep|深い|
|35|which|どの|
|34|hybrid|混成物|
|34|s|s|
|32|reinforcement|強化|
|31|discrete|離散|
|31|i|私|
|31|on|上に|
|30|as|なので|
|29|by|に|
|29|spaces|空間|
|28|at|で|
|28|continuous|連続|
|27|agents|代理人|
|25|can|できる|
|25|st|st|
|24|we|私たち|
|22|hsac|hsac|
|22|q|q|
|21|are|である|
|21|network|通信網|
|20|actions|行動|
|20|this|これ|
|19|based|基づく|
|19|for|為に|
|18|critic|評論家|
|18|each|各|
|18|mahsac|mahsac|
|18|that|それ|
|17|actor|俳優|
|17|be|なれ|
|16|training|訓練|
|16|value|価値|
|15|algorithm|算法|
|15|environment|環境|
|15|prey|獲物|
|15|space|空間|
|14|decentralized|分散型|
|13|latex|latex|
|13|nature|自然|
|13|soft|柔らかい|
|13|springer|springer|
|13|template|雛形|
|12|doi|土井|
|12|entropy|entropy|
|12|has|持つ|
|12|https|https|
|12|org|organization|
|12|problems|問題|
|12|set|設定|
|11|ad|広告|
|11|cooperative|協同組合|
|11|from|から|
|11|other|他の|
|11|target|目標|
|11|two|2|
|10|arxiv|arxiv|
|10|h|h|
|10|it|それ|
|10|maximum|最大|
|10|performance|実績|
|10|scenario|台本|
|10|there|そこの|
|9|ac|交流|
|9|algorithms|算法|
|9|an|一つの|
|9|d|d|
|9|policy|政策|
|9|reward|褒美|
|9|t|t|
|9|where|どこ|
|8|different|違う|
|8|environments|環境|
|8|fig|図|
|8|number|番号|
|8|only|それだけ|
|8|or|また|
|8|our|私たちの|
|8|sac|sac|
|8|state|状態|
|8|will|意思|
|7|both|両方|
|7|figure|図|
|7|its|これは|
|7|j|j|
|7|local|地域の|
|7|many|たくさんの|
|7|maxim|公理|
|7|method|方法|
|7|more|もっと|
|7|parameters|引数|
|7|predator|捕食者|
|7|predators|捕食者|
|7|strategy|戦略|
|7|therefore|したがって|
|7|time|時間|
|7|used|使った|
|6|abs|腹筋|
|6|all|全て|
|6|average|平均|
|6|centralized|一元化|
|6|chongqing|重慶|
|6|complex|繁雑|
|6|components|部品|
|6|corr|corr|
|6|distribution|分布|
|6|en|en|
|6|execution|実行|
|6|extend|拡張する|
|6|input|入力|
|6|maddpg|maddpg|
|6|paradigm|規範|
|6|particle|粒子|
|6|random|無作為|
|6|represents|を表す|
|6|rt|rt|
|6|take|取った|
|6|then|それから|
|6|when|いつ|
|6|world|世界|
|6|y|y|
|5|applied|適用|
|5|architecture|建築|
|5|competitive|競争力|
|5|global|広域の|
|5|good|良い|
|5|here|ここ|
|5|independent|独立|
|5|minimizing|最小化|
|5|oi|oi|
|5|output|出力|
|5|per|あたり|
|5|results|結果|
|5|same|同じ|
|5|shown|示す|
|5|shows|示す|
|5|standard|標準|
|5|these|これらの|
|5|they|それらの|
|5|while|間| 



# 参考文献


最近読んだDeepLearning系の論文メモ

https://qiita.com/mokemokechicken/items/21969cd256b180f5986d

【論文読み】Structured Training for Large-Vocabulary Chord Recognition

https://qiita.com/xiao_ming/items/25a0fec55ab6f71325a8

物体検出のDeepLearning読むべき論文7選とポイントまとめ【EfficientDetまでの道筋】

https://qiita.com/kazukiii/items/f5a35450a8dd02d3a266


【論文まとめ】DropBlockについて

https://qiita.com/tan-z-tan/items/adfcfa0cf1815520560c

DeepLearning研究 2016年のまとめ

https://qiita.com/eve_yk/items/f4b274da7042cba1ba76

【論文メモ】DeepLearningを用いた超解像手法/DeepSRの論文まとめ

https://qiita.com/morimoris/items/09617370be8bfa02a143

【論文メモ】DeepLearningを用いた超解像手法/RVSRの論文まとめ

https://qiita.com/morimoris/items/b118ae84a98294401bc8

【論文メモ】DeepLearningを用いた動画像超解像の調査論文のまとめ

https://qiita.com/morimoris/items/7151478d6a8ad6671f7a

【論文紹介】 FaceNet: 画像のベクトル化と「近さ」の定義

https://qiita.com/tan-z-tan/items/b38410c6e38a9525ea8d

## 自己参照

dockerで機械学習(3) with anaconda(3)「直感Deep Learning」Antonio Gulli、Sujit Pal著

https://qiita.com/kaizen_nagoya/items/483ae708c71c88419c32

dockerで機械学習(2)with anaconda(2)「ゼロから作るDeep Learning2自然言語処理編」斎藤 康毅 著

https://qiita.com/kaizen_nagoya/items/3b80dfc76933cea522c6

「ゼロから作るDeep Learning2自然言語処理編」斎藤 康毅 著　第8章　作業報告

https://qiita.com/kaizen_nagoya/items/e432732b35dbf7940d56

直感Deep Learning, dockerに挑戦(1) pull 書籍通り

https://qiita.com/kaizen_nagoya/items/5c736539d7d096c0a161

ゼロから作るDeep Learning, 斎藤康毅

https://qiita.com/kaizen_nagoya/items/57b0a21e7fc922e9660e

「ゼロから作るDeep Learning」参考文献一覧

https://qiita.com/kaizen_nagoya/items/82975f7b63b6ea2f33ff

dockerで機械学習(1) with anaconda(1)「ゼロから作るDeep Learning - Pythonで学ぶディープラーニングの理論と実装」斎藤 康毅 著

https://qiita.com/kaizen_nagoya/items/a7e94ef6dca128d035ab

「ゼロから作るDeep Learning ２自然言語処理編」読書会に参加する前に読んで置くとよい資料とプログラム

https://qiita.com/kaizen_nagoya/items/537b1810265bbbc70e73

report: chapter 7 on from scratch deep learning 2 natural language

https://qiita.com/kaizen_nagoya/items/291574babeeacf1bedf8

なぜdockerでpython/Rを使って機械学習するか 書籍・ソース一覧作成中 (目標100) docker(18)

https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2

ゼロから作るDeepLearning２自然言語処理編　読書会の進め方（例）

https://qiita.com/kaizen_nagoya/items/025eb3f701b36209302e



深層学習・機械学習　出願特許

https://qiita.com/kaizen_nagoya/items/38085a4fb38cd1d9e4d8

dockerで機械学習(12) with anaconda(12)「Deep Learning 深層学習」Ian Goodfellow, Yoshua Bengio, Aaron Courville 著

https://qiita.com/kaizen_nagoya/items/8645c9a94d8f1b1a0fd1

dockerで機械学習(15) with anaconda(15)「Deep Learning Cookbook Practical Recipes to Get Started Quickly」Douwe Osinga 著

https://qiita.com/kaizen_nagoya/items/966c463150a854749922

dockerで機械学習(18) with anaconda(18)「Deep Learning with Keras」 Antonio Gulli, Sujit Pal著

https://qiita.com/kaizen_nagoya/items/3bdeed004c38e3922b82

dockerで機械学習(16) with anaconda(16)「Deep Learning Essentials」 Wei Di, Anurag Bhardwaj, Jianing Wei 著

https://qiita.com/kaizen_nagoya/items/ab4442b88329a2a377e4

dockerで機械学習(19) with anaconda(19)「Deep Learning Quick Reference」 Mike Bernico著

https://qiita.com/kaizen_nagoya/items/22d8a36340cab0035adc

dockerで機械学習(22) with anaconda(22)「Deep Learning for Computer Vision」 By Rajalingappaa Shanmugamani

https://qiita.com/kaizen_nagoya/items/bf3bf3d22515c1d5b2ad

dockerで機械学習(23) with anaconda(23)「Deep Learning with PyTorch」By Vishnu Subramanian

https://qiita.com/kaizen_nagoya/items/77d6ee15edd7d6d06470

dockerで機械学習(29) with anaconda(29)「Python Deep Learning」 By Valentino Zocca, Gianmario Spacagna, Daniel Slater, Peter Roelants

https://qiita.com/kaizen_nagoya/items/fe18adf6a2e47133b9b0

dockerで機械学習(30) with anaconda(30)「Advanced Deep Learning with Keras」 By Philippe Remy

https://qiita.com/kaizen_nagoya/items/50aadb404ea67abde623

dockerで機械学習(31) with anaconda(31)「Fundamentals of Deep Learning」 By Nikhil Buduma

https://qiita.com/kaizen_nagoya/items/4d9e037aef317b00be10

dockerで機械学習(32) with anaconda(32)「Hands-On Deep Learning with TensorFlow 」By Dan Van Boxel

https://qiita.com/kaizen_nagoya/items/d7200abcdac6b24bc23f

dockerで機械学習(33) with anaconda(33)「Deep Learning with Theano 」By Christopher Bourez

https://qiita.com/kaizen_nagoya/items/e7ea0fde7ba68645b63e

dockerで機械学習(34) with anaconda(34)「Python Deep Learning Cookbook」 By Indra Bakker

https://qiita.com/kaizen_nagoya/items/c4397366e377e75d5636

dockerで機械学習(42) Programming PyTorch for Deep Learning By Ian Pointer

https://qiita.com/kaizen_nagoya/items/7a7391bbfb865cf43ff5

「R Deep Learning Cookbook」 By Philippe Remy 。dockerで機械学習(75) with R(5)

https://qiita.com/kaizen_nagoya/items/4d6d4b5d9739bcffbf02

dockerで機械学習(86) with Spark(1)「Machine Learning with Spark」 By Rajdeep Dua, Manpreet Singh Ghotra, Nick Pentreath

https://qiita.com/kaizen_nagoya/items/d2fdfdf24effe5a76977

dockerで機械学習(93) with Hadoop(1)「Deep Learning with Hadoop」By Dipayan Dev

https://qiita.com/kaizen_nagoya/items/fd4fb931d029e3308038


Data ScientistのためのPython, R, Machine Learning/Deep Learning環境構築。docker(20)

https://qiita.com/kaizen_nagoya/items/ff16ce6f2a1af43c77f3

機械学習・深層学習でできること、できないこと。仮説１０個。仮説（36）

https://qiita.com/kaizen_nagoya/items/41a567f149f78145fd4c

Deep Learning for ENGINEER

https://qiita.com/kaizen_nagoya/items/afb782104c5c24896aa4