white100big/microduck-rl-policies

🦆 MicroDuck RL Locomotion Policies (ONNX)

이 저장소는 2족 보행 초소형 로봇 MicroDuck을 위한 강화학습(Reinforcement Learning) 기반 모션 제어 온스(ONNX) 정책 모델 모음입니다.
MuJoCo 시뮬레이터 환경 및 실제 하드웨어 로봇(Sim2Real)에서 실시간으로 구동됩니다.

🦆 MicroDuck Custom Walking Policy (Simulation Rollout at 60 FPS)

---

📌 포함된 모델 파일 목록 (Policies)

파일명	주요 역할 (Behavior)	설명
my_microduck_walking.onnx	사용자 학습 보행 (Custom Walking)	직접 학습된 MicroDuck 전진/회전 보행 제어 정책
alpha_walking.onnx	기본 보행 (Default Walking)	속도 명령(vx, vy, vyaw) 추종 보행 정책
alpha_stand.onnx	기립 및 자세 제어 (Standing & Pose)	제자리 균형 유지 및 신체 6축(z, pitch, roll 등) 제어
alpha_sitstand.onnx	앉기 / 서기 (Sit ↔ Stand)	부드러운 앉기 및 다시 일어서기 상태 전환 제어
alpha_ground_pick.onnx	바닥 물체 줍기 (Ground Pick)	허리를 숙여 바닥 물체를 집어 올리는 궤적 제어
roulade.onnx	앞구르기 (Forward Roll)	다이내믹 앞구르기 후 자동 기립 복원 동작
ball_kick_left.onnx	왼발 공차기 (Left Ball Kick)	전방 공 타격 모션
ball_kick_right.onnx	오른발 공차기 (Right Ball Kick)	전방 공 타격 모션
roller.onnx	롤러스케이트 주행 (Roller Skates)	롤러 신발 장착 시 고속 주행 제어
roller_crouch.onnx	롤러 웅크리기 (Roller Crouch)	롤러 주행 중 무게중심을 낮추는 자세

---

⚙️ 모델 입출력 규격 (Model Specification)

모든 정책 모델은 **통일된 61차원 관측(Observation)**과 14차원 액션(Action) 구조를 가집니다.

• 입력 (Observation): [1, 61] (float32)

  1. imu_ang_vel (3D): IMU 각속도 (X, Y, Z rad/s)
  2. projected_gravity (3D): 몸체 기준 중력 벡터
  3. joint_pos_rel (14D): 기본 서 있는 자세 대비 현재 14개 관절 각도 오차 (rad)
  4. joint_vel (14D): 14개 관절 각속도 (rad/s)
  5. last_action (14D): 이전 스텝 액션 출력값
  6. command (13D):
     • 선속도/각속도 명령: [vx, vy, vyaw] (3D)
     • 머리 방향 명령: [neck_pitch, head_pitch, head_yaw, head_roll] (4D)
     • 몸체 자세 명령: [x, y, z, roll, pitch, yaw] (6D)

• 출력 (Action): [1, 14] (float32)

  • 14개 다이나믹셀 XL330 액추에이터의 목표 각도 오프셋 (Delta angle)

• 제어 루프 (Control Loop):

  • 제어 주기: 50 Hz (0.02초 간격)
  • 물리 시뮬레이션 스텝: 0.005초 (decimation = 4)
  • 모터 타겟 계산: target_position = default_pose + action * action_scale

---

🚀 파이썬에서 ONNX 모델 로드 및 추론 예시

import numpy as np
import onnxruntime as ort

# ONNX 모델 로드
session = ort.InferenceSession("my_microduck_walking.onnx")

# 61차원 관측값 벡터 생성 (예시)
obs = np.zeros((1, 61), dtype=np.float32)

# 추론 실행 (14차원 액션 획득)
input_name = session.get_inputs()[0].name
output_name = session.get_outputs()[0].name
action = session.run([output_name], {input_name: obs})[0]

print("액션 출력 (14개 관절):", action)