dinov2-base-onnx

facebook/dinov2-base(커밋 f9e44c814b77203eaa57a6bdbbd535f21ede1415)의 pooler_output(최종 layernorm 뒤 CLS 토큰, 768)만 내는 ONNX 그래프다.

OpenArm SciEdu 대화층의 로컬 나뭇잎 판정기(leapshared/leaf_kind_dinov2_logreg)가 쓴다. torch·transformers가 없는 대화층 컨테이너에서 onnxruntime(CPU)으로 특징을 낸다.

입출력

• 입력 pixel_values: [N, 3, 224, 224] float32. AutoImageProcessor(facebook/dinov2-base) 전처리를 마친 값이다.
  • 짧은 변 256으로 bicubic 줄이기(antialias) → 가운데 224 자르기 → /255 → ImageNet mean/std, RGB
• 출력 pooler_output: [N, 768] float32. N은 1~64.
• 224×224 전용이다. 위치 임베딩(37×37 → 16×16 bicubic 보간)을 torch로 한 번 셈해 상수로 넣었다. 그래서 그래프에 보간이 없고, 다른 크기는 받지 않는다.

만든 법

• leaf_kind_onnx.py export(이 저장소에 사본이 있다. 원본은 LEAP-LAB-KUS/openarmsciedu-robot의 scripts/diagnostics/leaf_kind_onnx.py). CPU에서 내보냈다.
• torch 2.11.0, transformers 5.5.4, onnx 1.23.1, onnxscript 0.7.2. torch.onnx.export(dynamo=True), opset 20.
• 가중치는 파일 안에 있다(외부 데이터 없음). 노드마다 붙는 stack_trace 메타데이터는 지웠다(내보낸 PC의 경로). 그래서 같은 도구로 다시 내보내면 같은 파일이 나온다(두 번 내보내 sha256이 같음을 확인).
• model.onnx: 343.0 MB, sha256 8f905c48a542eddc7e43e77d98918683dfc59ecb827ab5789ef8c09a4ac0cc2a
• 모델 메타데이터 source_model, source_revision에 원본을 적었다.

검증 (2026-10-04, 로봇 PC CPU, onnxruntime 1.30.0)

녹화 leapshared/Leaf_rules_20261002_225313_subtask의 가슴 카메라 프레임 698장을 서빙 카메라처럼 JPEG(품질 80)으로 묶었다. 그 사진에서 torch 길(transformers 처리기 + Dinov2Model)과 onnx 길(numpy 전처리 + 이 파일)을 견줬다.

• 전처리: numpy로 옮긴 것(dialogue/leaf_onnx.py)이 transformers 처리기와 원소 105,068,544개 중 다른 것 0
• 특징: 코사인 최소 0.999999999994(1 − 코사인 ≤ 6.4e-12), 원소 최대 차이 2.4e-5(원소 크기 중앙 1.07)
• 판정(leaf_kind_dinov2_logreg): 한 장 판정 698/698 같음, 대화층 판정(세 장 한 번 포함) 654/654 같음
  • 검증 에피소드 6·7·46·47의 카드 22장(세 장 한 번): 두 길 모두 22/22
  • 그리퍼가 카드를 쥔 프레임 22장, 빈 줄 4장: 두 길 모두 none
• 3장 판정 지연(JPEG 풀기 포함, AMD Ryzen 5 7500F 4스레드, 두 번 잼): onnx 중앙 324·353 ms, torch 중앙 425·431 ms

쓰는 법

import onnxruntime as ort
session = ort.InferenceSession("model.onnx", providers=["CPUExecutionProvider"])
features = session.run(None, {"pixel_values": pixel_values})[0]   # [N, 768]

전처리를 numpy로 똑같이 하는 코드는 LEAP-LAB-KUS/openarmsciedu-robot의 dialogue/leaf_onnx.py(pixel_values)에 있다.

라이선스

원본 DINOv2(Meta AI)의 Apache-2.0을 따른다. 가중치는 원본 그대로이고, 위치 임베딩만 224×224로 미리 보간한 값으로 바꿨다.