환경과 상호작용하는 에이전트에 의해 수행될 액션들을 선택하기 위해 이용되는 액터 신경망을 훈련시키기 위한, 컴퓨터 저장 매체 상에 인코딩된 컴퓨터 프로그램들을 포함하는, 방법들, 시스템들, 및 장치. 이 방법들 중 하나는 경험 튜플들의 미니배치를 획득하는 단계; 및 상기 액터 신경망의 파라미터들의 현재 값들을 업데이트하는 단계 - 이 단계는: 상기 미니배치 내의 각각의 경험 튜플에 대해: 상기 경험 튜플에 대한 신경망 출력을 결정하도록 비평 신경망을 이용하여 상기 경험 튜플 내의 상기 훈련 관찰 및 상기 훈련 액션을 처리하는 단계, 및 상기 경험 튜플에 대한 목표 신경망 출력을 결정하는 단계를 포함함 -; 상기 목표 신경망 출력들과 상기 신경망 출력들 사이의 오차들을 이용하여 상기 비평 신경망의 파라미터들의 현재 값들을 업데이트하는 단계; 및 상기 비평 신경망을 이용하여 상기 액터 신경망의 파라미터들의 현재 값들을 업데이트하는 단계를 포함한다.