mm3dtest / README_zh-CN.md
giantmonkeyTC
new
5eed1e3

English | 简体中文

简介

MMDetection3D 是一个基于 PyTorch 的目标检测开源工具箱,下一代面向 3D 检测的平台。它是 OpenMMlab 项目的一部分。

主分支代码目前支持 PyTorch 1.8 以上的版本。

demo image

主要特性
  • 支持多模态/单模态的检测器

    支持多模态/单模态检测器,包括 MVXNet,VoteNet,PointPillars 等。

  • 支持户内/户外的数据集

    支持室内/室外的 3D 检测数据集,包括 ScanNet,SUNRGB-D,Waymo,nuScenes,Lyft,KITTI。对于 nuScenes 数据集,我们也支持 nuImages 数据集

  • 与 2D 检测器的自然整合

    MMDetection 支持的 300+ 个模型,40+ 的论文算法,和相关模块都可以在此代码库中训练或使用。

  • 性能高

    训练速度比其他代码库更快。下表可见主要的对比结果。更多的细节可见基准测评文档。我们对比了每秒训练的样本数(值越高越好)。其他代码库不支持的模型被标记为

    Methods MMDetection3D OpenPCDet votenet Det3D
    VoteNet 358 77
    PointPillars-car 141 140
    PointPillars-3class 107 44
    SECOND 40 30
    Part-A2 17 14

MMDetectionMMCV 一样,MMDetection3D 也可以作为一个库去支持各式各样的项目。

最新进展

亮点

在1.4版本中,MMDetecion3D 重构了 Waymo 数据集, 加速了 Waymo 数据集的预处理、训练/测试启动、验证的速度。并且在 Waymo 上拓展了对 单目/BEV 等基于相机的三维目标检测模型的支持。在这里提供了对 Waymo 数据信息的详细解读。

此外,在1.4版本中,MMDetection3D 提供了 Waymo-mini 来帮助社区用户上手 Waymo 并用于快速迭代开发。

v1.4.0 版本已经在 2024.1.8 发布:

  • projects 中支持了 DSVT 的训练
  • projects 中支持了 Nerf-Det
  • 重构了 Waymo 数据集

v1.3.0 版本已经在 2023.10.18 发布:

  • projects 中支持 CENet
  • 使用新的 3D inferencers 增强演示代码效果

v1.2.0 版本已经在 2023.7.4 发布:

v1.1.1 版本已经在 2023.5.30 发布:

  • projects 中支持 TPVFormer
  • projects 中支持 BEVFusion 的训练
  • 支持基于激光雷达的 3D 语义分割基准

安装

请参考快速入门文档进行安装。

教程

用户指南
进阶教程

基准测试和模型库

测试结果和模型可以在模型库中找到。

模块组件
主干网络 检测头 特性
算法模型
激光雷达 3D 目标检测 相机 3D 目标检测 多模态 3D 目标检测 3D 语义分割
  • 室外
  • 室内
  • 室外
  • Indoor
  • 室外
  • 室内
  • 室外
  • 室内
  • ResNet VoVNet Swin-T PointNet++ SECOND DGCNN RegNetX DLA MinkResNet Cylinder3D MinkUNet
    SECOND
    PointPillars
    FreeAnchor
    VoteNet
    H3DNet
    3DSSD
    Part-A2
    MVXNet
    CenterPoint
    SSN
    ImVoteNet
    FCOS3D
    PointNet++
    Group-Free-3D
    ImVoxelNet
    PAConv
    DGCNN
    SMOKE
    PGD
    MonoFlex
    SA-SSD
    FCAF3D
    PV-RCNN
    Cylinder3D
    MinkUNet
    SPVCNN
    BEVFusion
    CenterFormer
    TR3D
    DETR3D
    PETR
    TPVFormer

    注意:MMDetection 支持的基于 2D 检测的 300+ 个模型,40+ 的论文算法在 MMDetection3D 中都可以被训练或使用。

    常见问题

    请参考 FAQ 了解其他用户的常见问题。

    贡献指南

    我们感谢所有的贡献者为改进和提升 MMDetection3D 所作出的努力。请参考贡献指南来了解参与项目贡献的相关指引。

    致谢

    MMDetection3D 是一款由来自不同高校和企业的研发人员共同参与贡献的开源项目。我们感谢所有为项目提供算法复现和新功能支持的贡献者,以及提供宝贵反馈的用户。我们希望这个工具箱和基准测试可以为社区提供灵活的代码工具,供用户复现已有算法并开发自己的新的 3D 检测模型。

    引用

    如果你觉得本项目对你的研究工作有所帮助,请参考如下 bibtex 引用 MMdetection3D:

    @misc{mmdet3d2020,
        title={{MMDetection3D: OpenMMLab} next-generation platform for general {3D} object detection},
        author={MMDetection3D Contributors},
        howpublished = {\url{https://github.com/open-mmlab/mmdetection3d}},
        year={2020}
    }
    

    开源许可证

    该项目采用 Apache 2.0 开源许可证

    OpenMMLab 的其他项目

    • MMEngine: OpenMMLab 深度学习模型训练基础库
    • MMCV: OpenMMLab 计算机视觉基础库
    • MMEval: 统一开放的跨框架算法评测库
    • MIM: MIM 是 OpenMMlab 项目、算法、模型的统一入口
    • MMPreTrain: OpenMMLab 深度学习预训练工具箱
    • MMDetection: OpenMMLab 目标检测工具箱
    • MMDetection3D: OpenMMLab 新一代通用 3D 目标检测平台
    • MMRotate: OpenMMLab 旋转框检测工具箱与测试基准
    • MMYOLO: OpenMMLab YOLO 系列工具箱与测试基准
    • MMSegmentation: OpenMMLab 语义分割工具箱
    • MMOCR: OpenMMLab 全流程文字检测识别理解工具包
    • MMPose: OpenMMLab 姿态估计工具箱
    • MMHuman3D: OpenMMLab 人体参数化模型工具箱与测试基准
    • MMSelfSup: OpenMMLab 自监督学习工具箱与测试基准
    • MMRazor: OpenMMLab 模型压缩工具箱与测试基准
    • MMFewShot: OpenMMLab 少样本学习工具箱与测试基准
    • MMAction2: OpenMMLab 新一代视频理解工具箱
    • MMTracking: OpenMMLab 一体化视频目标感知平台
    • MMFlow: OpenMMLab 光流估计工具箱与测试基准
    • MMagic: OpenMMLab 新一代人工智能内容生成(AIGC)工具箱
    • MMGeneration: OpenMMLab 图片视频生成模型工具箱
    • MMDeploy: OpenMMLab 模型部署框架

    欢迎加入 OpenMMLab 社区

    扫描下方的二维码可关注 OpenMMLab 团队的 知乎官方账号,扫描下方微信二维码添加喵喵好友,进入 MMDetection3D 微信交流社群。【加好友申请格式:研究方向+地区+学校/公司+姓名】

    我们会在 OpenMMLab 社区为大家

    • 📢 分享 AI 框架的前沿核心技术
    • 💻 解读 PyTorch 常用模块源码
    • 📰 发布 OpenMMLab 的相关新闻
    • 🚀 介绍 OpenMMLab 开发的前沿算法
    • 🏃 获取更高效的问题答疑和意见反馈
    • 🔥 提供与各行各业开发者充分交流的平台

    干货满满 📘,等你来撩 💗,OpenMMLab 社区期待您的加入 👬