cmes-deepvision/ACR-instance-segmentation-RF-Refinement-FP16-v1.0.0

ACR Instance Segmentation RF-DETR Refinement FP16 v1.0.0

ACR Refinement용 cmes_RF_Refinement_960_v1.0.0 RF-DETR Seg2XLarge 모델을 RTX 5070과 RTX 5080에서 각각 빌드한 TensorRT FP16 배포 패키지입니다.

검증 요약: 두 엔진 모두 정상적으로 빌드됐고 350장 평가에서 NaN/Inf 없이 동작했습니다. GT F1은 유지 또는 개선됐으며 E2E 추론 속도는 5배 이상 향상됐습니다. GPU별 상세 정확도와 원본 대비 출력 일치도는 아래 표와 benchmarks/ 보고서에서 확인할 수 있습니다.

기준 모델 및 provenance

• 저장소: cmes-deepvision/ACR-instance-segmentation-RF-Refinement-v1.0.0
• 고정 revision: 2ce6b903fd1bd935a32304d5b85ea9e176ae92c7
• 가중치: cmes_RF_Refinement_960_v1.0.0.pth
• 가중치 SHA-256: 06e088c6bbb4c05e4eda2770d4fe625c98cb5ce677e1635a21670238229d7c0d
• ONNX SHA-256: a113f18f9901b2f793fd4ef3d5f56793c530f525c0ba3e099e51977be7c934fd
• 평가 manifest SHA-256: 51aa6018ab921ecc6e1a953e682a73c156b83f9915d829dad112e750c866265f
• 평가 selection SHA-256: 507af326ed1d153a7057e22c8cae0b7dd11d94e00fae5374719757cea5c6bbfe
• evaluator SHA-256: c3e6c1d7f51011755e2241f47bb17b392d98c43d959647d0e51694f5287310c1

엔진 선택

대상 GPU	엔진 파일	크기	SHA-256
RTX 5070	engines/cmes_RF_Refinement_960_v1.0.0.fp16.RTX5070.trt	81,902,636 bytes	ea40a7fb6cf6955f541ae020398da82403be913e3b6a3829b8a4a9ec3e687213
RTX 5080	engines/cmes_RF_Refinement_960_v1.0.0.fp16.RTX5080.trt	82,094,220 bytes	d2185353eaa3adc4209f70772523a0959647f950bd074ed1d1f3472567135a0c

TensorRT serialized engine은 빌드 GPU, TensorRT 및 CUDA 환경에 종속됩니다. RTX 5070에서는 RTX 5070 엔진을, RTX 5080에서는 RTX 5080 엔진을 사용하십시오. 다른 GPU에서의 재사용은 지원하지 않습니다.

모델 및 입력

• 모델: RF-DETR Seg2XLarge (rfdetr==1.9.0)
• 입력: RGB, batch 1, 1 x 3 x 960 x 960
• 정밀도 정책: RF-DETR native export의 TensorRT fp16=True
• 입출력 binding: FP32
• 출력: dets [1,300,4], labels [1,300,4], masks [1,300,240,240]
• confidence threshold: 0.50
• 최대 detection 수: 300

검증 환경

항목	RTX 5070	RTX 5080
NVIDIA driver	580.173.02	580.173.02
Compute capability	12.0	12.0
Python	3.12.3	3.12.13
PyTorch	2.11.0+cu128	2.9.1+cu128
TorchVision	0.26.0+cu128	0.24.1+cu128
CUDA runtime	12.8	12.8
cuDNN	91900	91002
TensorRT	10.16.1.11	10.16.1.11
NumPy / SciPy	2.5.2 / 1.18.1	2.2.6 / 1.18.0

공통 ONNX는 RTX 5080 환경의 PyTorch 2.9.1+cu128, CUDA 12.8로 export한 뒤 각 대상 GPU에서 별도의 TensorRT 엔진으로 빌드했습니다.

설치

python -m pip install -r requirements.txt

다운로드

from huggingface_hub import hf_hub_download

engine_path = hf_hub_download(
    repo_id="cmes-deepvision/ACR-instance-segmentation-RF-Refinement-FP16-v1.0.0",
    filename="engines/cmes_RF_Refinement_960_v1.0.0.fp16.RTX5080.trt",
)

추론

--engine을 생략하면 현재 GPU 이름에서 RTX 5070/5080 엔진을 자동 선택합니다.

python scripts/infer_tensorrt.py image.jpg --threshold 0.50

엔진을 명시하려면:

python scripts/infer_tensorrt.py image.jpg \
  --engine engines/cmes_RF_Refinement_960_v1.0.0.fp16.RTX5070.trt \
  --output-dir outputs

출력 폴더에는 mask/bbox overlay JPEG와 detection JSON이 생성됩니다.

클래스 순서

0  possible
1  impossible
2  under_possible

평가 방법

고정된 Lance Refinement test split 350장 전체에서 동일한 전처리와 후처리를 적용한 원본 PyTorch FP32와 GPU별 TensorRT FP16 결과를 비교했습니다.

• confidence threshold: 0.50
• backend agreement: class-aware Hungarian matching
• bbox/mask 일치 판정: IoU >= 0.50
• GT 평가: class-aware score-ordered greedy matching, mask 비교 320 x 320
• GT 평가 클래스: possible, impossible
• under_possible: GT 집계에서는 제외하고 backend agreement에는 포함

기존 원본 모델 카드의 sanity baseline은 F1 0.581560 (TP/FP/FN = 328/145/327)이고, 이번 paired evaluator의 PyTorch FP32 reference는 F1 0.581333 (327/143/328)입니다. 차이는 -0.000227 (-0.0227 pp)입니다. checkpoint PTH와 평가 manifest/selection은 동일하며, 독립 실행환경과 기존 evaluator 경계(model.predict wrapper/direct module, JPEG decode·mask resize runtime 포함)에서 관찰된 미세 variation입니다. 보존된 기존 evaluator/runtime만으로 단일 원인은 확정할 수 없습니다. 변환 전후 차이는 각 서버에서 동일 evaluator로 측정한 PyTorch FP32↔TensorRT FP16 paired 결과만 사용했습니다.

Backend agreement

GPU	BBox P	BBox R	Mask P	Mask R
RTX 5070	94.48%	94.68%	94.06%	94.26%
RTX 5080	95.84%	93.19%	95.62%	92.98%

위 수치는 class-aware IoU 0.50 매칭 기준으로 측정한 원본 PyTorch FP32 대비 TensorRT FP16의 개별 prediction 일치도입니다.

GT 성능 변화

변화는 TensorRT FP16 - PyTorch FP32이며, pp는 percentage point입니다.

GPU	F1 원본 → TRT	F1 변화	TP mIoU 원본 → TRT	mIoU 변화	FP 원본 → TRT
RTX 5070	0.581333 → 0.602131	+2.0798 pp	0.839419 → 0.836752	-0.2666 pp	143 → 132
RTX 5080	0.581333 → 0.580935	-0.0398 pp	0.839406 → 0.837796	-0.1610 pp	143 → 134

RTX 5080은 원본 대비 F1 변화가 -0.0398 pp, TP mIoU 변화가 -0.1610 pp로 측정됐습니다. RTX 5070은 F1이 +2.0798 pp, TP mIoU가 -0.2666 pp였습니다. RTX 5070의 F1 변화에는 prediction count 차이가 포함되므로 다른 데이터에서도 같은 폭의 향상을 보장하는 수치로 해석하지 마십시오.

두 엔진 모두 평가한 raw output의 NaN/Inf와 invalid class ID는 0개였습니다.

속도

warm-up 5장 이후 고정된 50장을 3회 반복했습니다. E2E는 메모리 내 PIL 이미지의 전처리, 추론, RF-DETR segmentation 후처리 및 CPU prediction 변환을 포함하고, 디스크 I/O와 모델/엔진 로드는 제외합니다.

GPU	PyTorch FP32 E2E	TensorRT FP16 E2E	TensorRT E2E FPS	E2E 속도 향상	엔진 단독
RTX 5070	75.11 ms	12.62 ms	79.23	5.951x	10.82 ms / 92.40 FPS
RTX 5080	51.50 ms	9.76 ms	102.43	5.275x	7.14 ms / 140.11 FPS

전체 수치, 클래스·task별 GT 결과와 개별 acceptance check는 benchmarks/benchmark_RTX5070.json 및 benchmarks/benchmark_RTX5080.json에 있습니다. 공개 보고서에서는 이미지별 레코드와 내부 서버 식별정보를 제거했습니다.

최종 해석

FP16 엔진은 두 GPU 모두 유한한 출력을 내고 GT F1을 대체로 유지하면서 5배 이상의 E2E 속도 향상을 보였습니다. 개별 prediction은 원본과 완전히 동일하지 않으므로 운영 배포 전 실제 데이터에서 threshold 민감도와 누락·추가 detection을 검토하십시오.

무결성 확인

sha256sum -c SHA256SUMS