１８．今日の日課１６　多様な人間の嗜好からの強化学習 	Reinforcement Learning from Diverse Human Preferences

# はじめに
今日の日課16日目です。
昨日は休みましたが、今日からはしっかり頑張ります。
今日の内容は強化学習についての論文調べです。

## 手法
論文をperplexityで調べて、PDFをChatPDFで要約します。
論文本文は英語版とDeepLで翻訳した日本語版を保存しときます。
要約の中のわからない単語や追加の質問などをChatGPTに聞きます。
これらをWordにまとめて保存、Qiitaに投稿します。

# 今日の日課
### 今日の資料について
論文名： 多様な人間の嗜好からの強化学習
	Reinforcement Learning from Diverse Human Preferences
出典： arXiv:2301.11774, Computer Science > Machine Learning
[Submitted on 27 Jan 2023 (v1), last revised 30 Jan 2023 (this version, v2)]
https://arxiv.org/abs/2301.11774

## 論文内容
### 【アブストラクト】
報酬関数の設計の複雑さは、深い強化学習（RL）技術を広く適用する上での大きな障害となっている。エージェントの望ましい行動や特性を記述することは、専門家であっても困難な場合があります。そこで、人間の嗜好から報酬関数を学習する強化学習（嗜好ベースRL）という新しいパラダイムが有望なソリューションとして登場しました。しかし、既存のプリファレンスベースRLの手法は、正確なオラクルプリファレンスラベルの必要性によって制限されている。
本論文では、プリファレンスラベルをクラウドソーシングし、多様な人間のプリファレンスから学習する方法を開発することで、この制限を解決する。重要な考え方は、潜在空間における正則化と補正によって報酬学習を安定化させることである。時間的整合性を確保するために、報酬モデルには、その潜在空間が事前分布に近くなるような強い制約が課される。
さらに、より安定で信頼性の高い予測を生成するために、信頼に基づく報酬モデルのアンサンブル法を設計する。提案手法は、DMcontrolとMeta-worldの様々なタスクでテストされ、多様なフィードバックから学習する際に、既存のプリファレンスベースのRLアルゴリズムに対して一貫した有意な改善を示し、RL手法の実世界への応用への道を開くことができた。

### 【論文要約】
このPDFファイルは、多様な人間の嗜好を用いた深層強化学習技術における報酬関数の設計に関する貴重な洞察を提供します。提案された方法は、プリファレンスベースのRLアルゴリズムにおける多様性の問題に対処するための効果的なソリューションを提供し、様々な実世界のシナリオで応用できる可能性があります。

## 要点
### １．嗜好ラベルのクラウドソーシングと多様な人間の嗜好からの学習法のキーとなる考え方は何ですか？
A. クラウドソーシングによる嗜好ラベルの収集と多様な人間の嗜好からの学習方法のキーとなる考え方は、報酬学習を潜在空間で正則化・補正することにより安定化させることです。具体的には、報酬モデルの入力を潜在空間にマッピングし、潜在空間で修正することにより、予測される報酬を容易に操作できるようにする。本手法は、フィードバック効率よりも多様性の問題に取り組むことを重視し、多様性と矛盾の多い人間の嗜好からRLエージェントが学習することを支援する。(3ページ目)

### ２．報酬学習における時間的整合性はどのように確保されているのか？
A. 学習過程における時間的整合性を確保するために、本手法は潜在空間を事前分布に近づけるという強い制約を課しています。さらに、報酬モデルの予測に対する信頼度は、潜在空間と事前分布の間のダイバージェンスを計算することで測定される。このダイバージェンスに基づいて、より信頼性の高い安定した予測を生成するために、信頼性に基づく報酬モデルのアンサンブル法が設計される。(3ページ目)

### ３．この方法の実世界シナリオへの応用の可能性は？
A. クラウドソーシングで嗜好ラベルを収集し、多様な人間の嗜好から学習する提案手法は、ロボット工学、自律走行、個人向け推奨システムなど、様々な実世界のシナリオに応用できる可能性がある。本手法は、RLエージェントが、深層強化学習技術における報酬関数を設計する上で重要な、高い多様性と不整合を有する人間の嗜好から学習することを助けることができる。本論文で行った実験では、DeepMind Control Suite（DMControl）とMeta-worldから、それぞれいくつかの複雑な運動タスクとロボット操作タスクで本方法を評価している。(5ページ目)

## 重要単語
1.	報酬関数
2.	強化学習
3.	深層強化学習技術
4.	オラクルプリファレンスラベル
5.	プリファレンスラベル
6.	潜在空間における正則化と補正
7.	時間的整合性
8.	事前分布
9.	アンサンブル法
10.	DeepMind Control Suite（DMControl）
11.	Meta-world
12.	ダイバージェンス
13.	深層生成モデル
14.	潜在空間
15.	ベイズ推論
16.	NEURAL ARCHITECTURE SEARCH
17.	ベンチマーク

## ChatGPTに聞いてみた
1.	報酬関数
• 強化学習において、エージェントが行動した際に受け取る報酬を決定する関数
• 報酬関数は、望ましい行動を促進するように設計される
• 例えば、ロボットが目的地に到達することに対して高い報酬を与え、壁にぶつかることに対して低い報酬を与えることができる

2.	強化学習
• 機械学習の一分野で、エージェントが環境と相互作用し、報酬を最大化するように学習する
• エージェントは、状態を観察し、行動を選択し、環境と相互作用することによって学習する
• 強化学習は、機械学習の教師あり学習や教師なし学習とは異なり、報酬に基づいて学習する

3.	深層強化学習技術
• 深層ニューラルネットワークを用いて強化学習を行う技術
• 深層強化学習は、画像や音声などの高次元の入力を扱うことができるため、より複雑なタスクに適している
• 深層強化学習は、ALPHAGOやOPENAI GYMなどの有名なアプリケーションに使われている

4.	オラクルプリファレンスラベル
• 人間の専門家が提供する、各状態に対する最適な行動を示すラベル
• オラクルプリファレンスラベルは、深層強化学習において、人間の専門家が作成したラベルを使用して、エージェントの学習を促進することができる

5.	プリファレンスラベル
• オラクルプリファレンスラベルとは異なり、人間の意思決定に基づく、エージェントの振る舞いを評価するためのラベル
• 例えば、食事を選択する際に好ましいものを示すラベルなどがある

6.	潜在空間における正則化と補正
• 深層生成モデルにおいて、潜在空間における正則化と補正は、生成されたデータの質を向上させるために使用される
• 正則化は、潜在空間の分布を制御し、生成されたデータの多様性を増加させる
• 補正は、生成されたデータを、入力と同じ分布になるように調整するために使用される

7.	時間的整合性
• 強化学習において、時間的整合性は、エージェントが過去の行動の結果に基づいて、将来の行動を決定することを意味する
• 時間的整合性は、長期的な報酬を最大化するために必要であり、エージェントが最適な行動を選択するためには、短期的な報酬だけでなく、長期的な報酬も考慮する必要がある

8.	事前分布
• ベイズ統計学において、事前分布は、パラメータの事前知識を表す確率分布である
• 事前分布は、データを観察する前に、パラメータの事前知識を表すことができるため、ベイズ推論において重要な役割を果たす

9.	アンサンブル法
• 機械学習において、アンサンブル法は、複数のモデルを組み合わせることによって、より正確な予測を行う手法である
• アンサンブル法は、バギング、ブースティング、スタッキングなどの手法がある
• アンサンブル法は、DEEP LEARNINGにおいても有効な手法であり、例えば、NEURAL ARCHITECTURE SEARCHにおいても使用されている

10.	DEEPMIND CONTROL SUITE（DMCONTROL）
• DEEPMINDが開発した、強化学習における制御タスクのベンチマーク用のプラットフォーム
• DMCONTROLは、物理エンジンを用いて制御タスクをシミュレーションすることができる
• DMCONTROLは、複数の制御タスクを含み、様々な強化学習手法の評価に使用される

11.	META-WORLD
• STANFORD大学が開発した、多くのタスクからなる統一された環境で、強化学習アルゴリズムを評価するためのプラットフォーム
• META-WORLDには、多様なタスクが含まれており、ロボットアームの制御やドアの開閉、ピンポン球を打つなどのタスクを含む
• META-WORLDは、制御タスクの多様性を提供し、現実世界でのロボット制御に近い問題設定を模擬できる

12.	ダイバージェンス
• 機械学習において、モデルが訓練データに過剰に適合して、新しいデータに対して汎化性能が低下することを意味する
• ダイバージェンスは、過学習の一種であり、学習データが少ない場合や、モデルの複雑度が高い場合に発生しやすい
• ダイバージェンスを防ぐためには、データの増量や正則化、ドロップアウトなどの手法が用いられる。

13.	深層生成モデル
 • 深層生成モデルは、画像や音声などの高次元データの生成に用いられるニューラルネットワークの一種
 • 深層生成モデルは、データの潜在表現を学習し、その潜在表現から新しいデータを生成することができる
 • 代表的な深層生成モデルには、GENERATIVE ADVERSARIAL NETWORKS (GANS)やVARIATIONAL AUTOENCODER (VAE)がある

14.	潜在空間
 • 深層生成モデルにおいて、データの潜在表現が存在する空間を指す
 • 潜在空間においては、潜在変数を操作することで、生成されるデータの性質を変化させることができる
 • 潜在空間は、例えばGANにおいてはGENERATORによるサンプル生成、VAEにおいては新しいデータの生成などに利用される

15.	ベイズ推論
 • 確率分布に基づいて、観測データからモデルのパラメータを推定する手法
 • ベイズ推論では、事前分布と尤度を掛け合わせた事後分布を計算し、その事後分布からモデルのパラメータを推定する
 • ベイズ推論は、過学習を抑制するための正則化手法としても利用される

16.	NEURAL ARCHITECTURE SEARCH
 • 深層学習において、最適なニューラルネットワークのアーキテクチャを自動的に探索する手法
 • 従来の手法では、人手によるアーキテクチャの設計が一般的だったが、NASでは、探索空間の中から最適なアーキテクチャを自動的に探索することができる
 • 代表的なNAS手法には、RL-BASED NASやEVOLUTIONARY-BASED NASがある

17.	ベンチマーク
 • 性能評価を行うための基準となるタスクやデータセットのことを指す
 • 機械学習においては、モデルの性能を評価するために、ベンチマーク用のデータセットが利用されることがある
 • 代表的なベンチマーク用データセットには、MNIST、CIFAR-10、IMAGENETなどがある。

# わかったこと
・AIの専門家が正確なラベルを作らなくても、報酬関数による強化学習を行えるようにしたという内容
・こういった手段の制限を緩和する研究はこれからの様々な研究に貢献できると思う。

# まとめ
最近、飽きてきていますが、続けていくことが重要なので、頑張りたいです。
継続は力なり！！