leapshared/sciedu_sim_parts_redox_upright

시뮬판 PARTS: 산화환원 판 세우기 잔차 액터(MuJoCo)

OpenArm SciEdu 산화환원 실험에서, 오른손에 쥔 철판을 비커에 넣기 전에 수직으로 세우는 한 단계를 MuJoCo(벤치 2판 props-4 장면)에서 배운 작은 잔차 액터다. 바탕은 얼린 코드 룰("보지 않고 세우기": 판이 늘 같은 각으로 매달린다고 두고 판 아래 끝을 축으로 손을 10°/s 돌림)이고, 액터는 그 위에 오른손 기울기 두 축(세계 x·y 둘레 돌림, 판 아래 끝이 축)만 축마다 ±5° 안에서 더한다. PARTS(Su 외, arXiv 2609.21788)의 병목 잔차 RL을 이 한 단계로 옮긴 것이다. 학습은 청크 단위 TD3 + BC(참조 드롭아웃 50%, 참조 쪽 β, 성공 판 따라하기, 실패 판 0으로), 50판마다 성공 가중 재학습, 처음 20판은 바탕만, 보상은 장면 판정의 희소 1/0이다. 로봇·실물 데이터는 쓰지 않았다.

시뮬 전용. sim_* 판은 시뮬의 판 자세(판 긴 축의 세계 x·y)를 관측으로 읽는다. 실물에는 판 자세 센서가 없어 그대로 옮기지 못한다. proprio_* 판은 실물 서빙에서도 얻는 값(오른팔 관절 7, 앞 명령 − 읽기 7, 바탕이 남긴 돌림 3, 지금 잔차 2, 단계 시간 1)만 읽는다.

결과(평가 시작 20개, 액터 평균 행동, 2026-11-06)

같은 평가 시작 20개(시작 파일 redox_dip·redox_put_left마다 처음 10)에서 잔차 끔 20판·켬 20판. 판정은 판 긴 축 2° 안, 쥠, 판 아래 끝 2 cm 안·테두리 위, 비커 규칙, 팔 멈춤이 0.5초(상한 6초). 대괄호는 Wilson 95% 구간(%).

판	잔차 끔(바탕 룰)	잔차 켬	학습 판	시뮬 틱(30 Hz)	벽시계 분(CPU 두 스레드)
proprio_s0	2/20 [3, 30]	3/20 [5, 36]	820	142,711	23.2
proprio_s1	2/20 [3, 30]	7/20 [18, 57]	420	72,893	11.4
proprio_s2	2/20 [3, 30]	8/20 [22, 61]	420	72,852	12.0
sim_s0	2/20 [3, 30]	19/20 [76, 99]	820	129,589	20.7
sim_s1	2/20 [3, 30]	19/20 [76, 99]	820	132,095	20.9
sim_s2	2/20 [3, 30]	16/20 [58, 92]	820	128,786	19.7

• sim 씨앗 3개 합: 잔차 켬 54/60 [80, 95] (씨앗별 [19, 19, 16]/20)
• proprio 씨앗 3개 합: 잔차 켬 18/60 [20, 43] (씨앗별 [3, 7, 8]/20)

학습 판 수는 바탕만 20판을 넣은 수다. 관절만 보는 망의 씨앗 1·2는 400판(+20)으로 줄였다: 씨앗 0의 800판 곡선이 400판 뒤에도 2~5/20에서 평평했기 때문이다(코디네이터 허락, 2026-11-06). sim_s0_400ep는 같은 씨앗 0을 400판에서 멈춘 앞 판으로, 800판 판의 곡선과 420판까지 같다(결정적 재현 확인).

같은 시작의 룰: 보지 않고 세우기 2/20 [3, 30], 판을 한 번 보고 11/20 [34, 74], 판을 다시 보며 고치기 20/20 [84, 100] (뒤 둘은 시뮬 판 자세를 읽는 윗선).

쓰는 법

from huggingface_hub import hf_hub_download
import json, numpy as np
from safetensors.numpy import load_file
d = "sim_s0"
w = load_file(hf_hub_download("leapshared/sciedu_sim_parts_redox_upright", f"{d}/actor.safetensors"))
cfg = json.load(open(hf_hub_download("leapshared/sciedu_sim_parts_redox_upright", f"{d}/config.json")))
layers = [(w[f"actor.{i}.weight"], w[f"actor.{i}.bias"]) for i in (0, 2, 4)]
def act(obs):                       # obs: cfg["obs_dim"] floats (code/parts_upright.py features)
    x = np.asarray(obs, np.float64)
    for j, (W, b) in enumerate(layers):
        x = W @ x + b
        x = np.maximum(x, 0) if j < 2 else x
    return np.tanh(x) * cfg["limit_deg"]   # degrees about world x and world y, cut to +-5

관측의 꼴·잔차를 손끝 목표에 더하는 법·판정은 code/parts_upright.py와 code/upright_bench.py(저장소 scripts/sim/, 커밋 7b190796)에 있다. 받은 시작은 code/accepted.json, 바탕 룰이 쓰는 손 안 판 자세는 code/taught.json이다. 판마다 log.jsonl(학습 판마다의 결과와 학습 곡선), eval.jsonl(평가 40판)이 있다.

한계

• 시뮬(MuJoCo props-4)에서만 배우고 쟀다. 판 자세 관측(sim_*), 손 안에서 판이 매달리고 미끄러지는 모양, 팔로워 모형은 실물과 다를 수 있다.
• 바탕은 코드 룰이다. 실기 서빙의 바탕(pi0.5) 위의 판은 아직 없다.
• 실물에 쓰려면 실기 안전 검토와 판 축을 재는 인식이 먼저다.