入选ICCV2023 单目3D检测论文成果应用于无人驾驶水平运输-现代港口物流网

入选ICCV2023 单目3D检测论文成果应用于无人驾驶水平运输

2023-08-29 14:34 来源：飞步科技

近日，飞步科技与浙江大学等合作的论文《MonoNeRD: NeRF-like Representations for Monocular 3D Object Detection》被ICCV接收。ICCV全称为计算机视觉国际大会（International Conference on Computer Vision），由IEEE举办，是全球范围内计算机视觉领域的顶级学术会议。ICCV2023共收到全球范围内8068篇投稿，最终收录2160篇，接受率为26.8%。

单目3D检测指的是通过单个摄像头来实现3D目标检测的办法。作为计算机视觉领域内的热门任务，单目3D检测已被广泛应用于自动驾驶、机器人等方向。单目3D检测的核心在于建立二维图像和三维空间之间合理的对应关系，因此利用场景几何线索来提高单目检测器的性能是十分常见的做法。然而，许多现有方法显式地利用了这些线索，例如通过估计深度图并将其反投影到三维空间中——由于从二维到三维的维度增加，这类显式的方法会导致三维表示的稀疏性，从而引发大量的信息丢失，尤其是对于远处及遮挡物体等。

为了解决这个问题，论文提出了一种新颖的单目3D检测框架：MonoNeRD，仅需输入单张图片，就可以通过稠密的三维几何信息与占用（Occupancy）情况来推断目标在三维空间中的位置，从而极大地提高单目3D检测的精度。

具体来说，MonoNeRD使用有符号距离函数（SDF）来对场景进行建模，以便产生稠密的三维表示，并将这些三维表示视为神经辐射场（NeRF），利用体渲染从中恢复出RGB图像和像素级别的深度图。论文提出了基于空间位置信息的position-aware frustum construction来实现三维空间和二维图像信息的交互。在此基础上，基于NeRF中渲染重建的特点提出了SDF loss，通过LiDAR信号来控制三维几何表面满足有符号距离函数的零水平集（zero-level set）约束。

除了开展单目3D检测并大幅提升效率外，论文提出的方法还可以作为一个高效三维占用（3D occupancy）推断器。相较于以往的三维占用预测方法，MonoNeRD无需使用特别标注的三维占用数据集进行训练。在KITTI 3D、Waymo Open Dataset等具有代表性的三维目标检测公开数据集上的实验表明，与现有的基于显示几何线索的单目3D检测算法相比，MonoNeRD的表现更加优越，在Waymo Open Dataset上的总体3D平均精度/朝向加权平均精度（3D mAP/mAPH）提升5-10个点。

MonoNeRD等成果已应用于飞步科技自主研发的无人驾驶水平运输系统(FabuDrive)中，融入深度学习模型的日常训练，大幅提升了单目3D检测效率，对于倒地水马等不规则物体的识别也表现优异，为全天候开展全无人集卡常态化运营奠定了坚实的技术基础。

关键词： ICCV2023 单目3D检测无人驾驶

暂无记录