근위 정책 최적화

근위 정책 최적화(Proximal policy optimization, PPO)는 지능형 에이전트를 훈련하기 위한 강화 학습(RL) 알고리즘이다. 구체적으로, 정책 네트워크가 매우 큰 경우 심층 RL에 자주 사용되는 정책 그래디언트 방법이다.

PPO의 전신인 신뢰 영역 정책 최적화(Trust Region Policy Optimization, TRPO)는 2015년에 발표되었다. 신뢰 영역 방법을 사용하여 기존 정책과 새 정책 간의 KL 발산을 제한함으로써 다른 알고리즘인 심층 Q-네트워크(DQN)의 불안정성 문제를 해결했다. 그러나 TRPO는 헤시안 행렬(2차 도함수의 행렬)을 사용하여 신뢰 영역을 적용하지만 헤시안은 대규모 문제에 비효율적이다.

PPO는 2017년에 발표되었다. 본질적으로 헤시안을 계산할 필요가 없는 TRPO의 근사치였다. KL 발산 제약 조건은 정책 그래디언트를 간단히 클리핑하여 근사화되었다.

2018년부터 PPO는 오픈AI의 기본 RL 알고리즘이었다. PPO는 로봇 팔 제어, 도타 2(오픈AI 파이브)에서 프로 선수를 이기는 것, 아타리 게임을 하는 것 등 여러 분야에 적용되었다.Arxiv Insights. "An introduction to Policy Gradient methods," YouTube, Oct 1st, 2018 [Video file]. Available: https://www.youtube.com/watch?v=5P7I-xPq8u8

 같이 보기 
 강화 학습
 시간차 학습
 게임 이론

 각주 

 외부 링크 
 Announcement of Proximal Policy Optimization by OpenAI
 GitHub repo

분류:기계 학습 알고리즘
분류:강화 학습