hkustenterprize/RM26_engineer_exchange
Preview • Updated • 38
RM2026 工程机器人视觉模型的 OpenVINO FP16 部署权重,用于 NUC / 边缘推理。
RM26_engineer_exchange_mode/
├── yolopose/v11.02/ # 单阶段:检测 + 12 关键点
├── yolo/v10.12/ # 仅检测 bbox(两阶段 pipeline 第一阶段)
└── litehr/
├── litehrnet30_v11.0/ # 两阶段:12 点热力图
├── litehrnet30_v9.1/ # 同上架构,v9.1 数据训练
└── litehrnet18_v11.0/ # 轻量版 12 点热力图
每个 openvino_best/ 含 .xml + .bin(LiteHR 另含 .onnx 备用)。
单阶段 YOLO11s-Pose,同时输出 pillar / exchange 的 bbox 与 12 关键点。
| 项 | 值 |
|---|---|
| Base model | YOLO11s-pose(Ultralytics,自 yolo_v9.121 权重继续训练) |
| 训练数据 | dataset_finalversion(45,400 张) |
| 运行时 | OpenVINO FP16 |
| 文件 | best.xml, best.bin, metadata.yaml |
Input
| 属性 | 值 |
|---|---|
| 名称 | x |
| Shape | [1, 3, 640, 640] |
| 类型 | FP32 |
| 预处理 | BGR uint8 → letterbox 640×640 → /255 → NCHW |
Output
| 属性 | 值 |
|---|---|
| Shape | [1, 300, 42] |
| 类型 | FP32 |
| 含义 | 最多 300 个检测;每行 42 维 = x1,y1,x2,y2,score,class + 12×(kx, ky, kscore) |
| 类别 | 0 pillar,1 exchange |
| 关键点 | 12 点:TL, TR, BL, BR, ring, light_BR, light_TR, shell_R, shell_M, shell_L, light_TL, light_BL |
后处理:置信度阈值 + NMS(导出时 nms: true)。
单阶段 YOLO26s 检测,仅 bbox,无关键点。常与 LiteHR 组成两阶段 pipeline。
| 项 | 值 |
|---|---|
| Base model | YOLO26s(Ultralytics,自 yolo26s_det_v10.08 继续训练) |
| 训练数据 | dataset_v10.0_det |
| 运行时 | OpenVINO FP16,end2end(内置 NMS) |
| 文件 | best.xml, best.bin, metadata.yaml |
Input
| 属性 | 值 |
|---|---|
| Shape | [1, 3, 640, 640] |
| 类型 | FP32 |
| 预处理 | 同 YOLO Pose |
Output
| 属性 | 值 |
|---|---|
| Shape | [1, 300, 6] |
| 类型 | FP32 |
| 含义 | 最多 300 个检测;每行 x1, y1, x2, y2, score, class_id |
| 类别 | 0 pillar,1 exchange |
Top-down 姿态估计:输入 已裁剪的 ROI,输出 12 通道热力图,需 DARK 解码得到关键点。
| 项 | 值 |
|---|---|
| Base model | MMPose LiteHRNet-30 + PillarHeatmapHeadWithVis |
| 训练数据 | dataset_v11.0(exchange12 标注) |
| 运行时 | OpenVINO FP16 |
| 文件 | hrnet_heatmap.xml, hrnet_heatmap.bin, hrnet_heatmap.onnx |
Input
| 属性 | 值 |
|---|---|
| 名称 | input |
| Shape | [B, 3, 256, 256](B 动态) |
| 类型 | FP32 |
| 预处理 | BGR → RGB;按 bbox 仿射裁剪至 256×256;ImageNet 归一化 mean=[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375] |
Output
| 属性 | 值 |
|---|---|
| 名称 | heatmaps |
| Shape | [B, 12, 128, 128] |
| 类型 | FP32 |
| 后处理 | DARK 解码 → 12 个 (x, y) 映射回原图坐标;可选 visibility 分支 |
关键点(索引 0–11):pillar 5 点 + exchange 7 点(同 dataset_finalversion schema)。
需外部提供 bbox(通常由
yolo/v10.12给出 pillar 框)。
与 litehrnet30_v11.0 同架构、同 I/O;差异仅在训练数据版本(dataset_v9.1 vs dataset_v11.0)。
| Input | [B, 3, 256, 256] FP32 |
| Output | [B, 12, 128, 128] FP32 heatmaps |
LiteHRNet-18 轻量版,I/O 与 v30 相同,参数量更小。
| 项 | 值 |
|---|---|
| Base model | MMPose LiteHRNet-18 + PillarHeatmapHeadWithVis |
| 训练数据 | dataset_v11.0(exchange12) |
| 文件 | litehrnet18_exchange12_heatmap.xml, .bin, .onnx |
| Input | [B, 3, 256, 256] FP32 |
| Output | [B, 12, 128, 128] FP32 heatmaps |
| 方案 | 模型 | 说明 |
|---|---|---|
| 单阶段 | yolopose/v11.02 |
bbox + 12 kp 一次输出 |
| 两阶段 | yolo/v10.12 → litehr/* |
YOLO 检框 + HRNet 精修关键点 |