leegoheun/ppo-pusher-v5

PPO Agent Trained on Gymnasium MuJoCo Pusher-v5

이 모델은 Gymnasium MuJoCo Pusher-v5 환경에서 학습된 Stable-Baselines3 PPO (Proximal Policy Optimization) 강화학습 로봇 팔 제어 정책 모델입니다.

🤖 환경 정보 (Environment Specs)

• 환경: Pusher-v5 (MuJoCo 7-DoF Robotic Arm)
• 목표: 7개 관절 모터를 제어하여 테이블 위의 원통 물체를 목표 지점(Goal)으로 밀어 넣기
• 상태 공간 (23-dim): 관절 각도(7), 관절 속도(7), 로봇 손끝(3), 물체(3), 목표 위치(3)
• 행동 공간 (7-dim): 각 관절 모터에 인가되는 연속 토크 $[-1.0, 1.0]$
• 최고 달성 보상: -39.05 (총 100,000 타임스텝 학습)

---

🚀 모델 로드 및 추론 사용법 (Usage)

import gymnasium as gym
from stable_baselines3 import PPO
from huggingface_hub import hf_hub_download

# 1. 허깅페이스에서 모델 다운로드
model_path = hf_hub_download(repo_id="leegoheun/ppo-pusher-v5", filename="ppo_pusher.zip")

# 2. 환경 생성 및 모델 로드
env = gym.make("Pusher-v5", render_mode="human")
model = PPO.load(model_path, env=env)

# 3. 로봇 팔 제어 실행
obs, info = env.reset()
for _ in range(1000):
    action, _states = model.predict(obs, deterministic=True)
    obs, reward, terminated, truncated, info = env.step(action)
    if terminated or truncated:
        obs, info = env.reset()

env.close()

---

📊 학습 파라미터 (Hyperparameters)

Algorithm: PPO
Policy: MlpPolicy (23 -> 64 -> 64 -> 7)
Learning Rate: 3e-4
Timesteps: 100000
Batch Size: 64
n_steps: 2048
Gamma: 0.99
GAE Lambda: 0.95
Clip Range: 0.2