史上最全综述：3D目标检测算法汇总！（2）

点云数据和深度图数据与寻常的图像差异。点云是零落、不规矩的，必要策画格外模子提取特性。而深度图是辘集紧凑，深度像素存的是3D消息，而不是RGB值。

这些都是必要突破原先的旧例卷积搜集的固有思想，况且自愿驾驶必要检测对象的及时性，推理要速，若何策画一个正在点云和深度图上推理更速的模子也是一个离间。

基于点的对象检测告捷正在点云上行使深度练习法子，提出了一系列框架，可能直接从原始点数据来预测3D对象。将点云通过基于点的主干搜集，通过点云算子来提取点云特性，基于下采样的点和特性预测3D框。

基于点的3D对象检测器要紧构成部门为：点云采样和特性练习。合座流程示贪图和代外性使命睹下图和外。

点云采样。PointNet++[208]的FPS正在基于点的检测器中被平常采用，这种检测器从原始点聚积按序采取最远方的点。PointRCNN[234]是一项开创性的使命，它采用FPS逐渐下采样输入的点云，并从下采样点中天生3D候选。

好似的策画范式正在随后的很众使命中也被采用，并举行了豆割开导滤波[318]、特性空间抽样[321]、随机抽样[189]等刷新。

特性练习。上下文点最初用一个预订义的盘查球半径举行采取，然后上下文点和特性经由众层感知机和max-pooling，取得新的特性。其它点云操作，包罗图操作、细心力操作、Transformer等。

基于点的3D对象检测器受制于特性练习中采用的上下文点数目和上下文半径。弥补上下文点数目可能获取更强的外达才能，但会弥补内存，正在球盘查中，上下文半径太小，会形成上下文消息亏空，半径太大，形成3D细粒度消息遗失。

对待大部门的基于点的3D对象检测器，推理岁月上的瓶颈是点云采样。随机平均采样由于可能并行，效用最高，但激光雷达扫描点漫衍不屈均，随机平均采样会对点云密度高的地方过采样，而零落的地方欠采样。

最远点采样及其变体通过从已有的点聚积按序采取最远点获取特别平均的采样结果，但其不行并行，耗时较大，较难做到及时。

基于网格的3D对象检测器最初将点云栅格化为离散的网格默示，即体素、柱体和鸟瞰视图(BEV)特性图。然后行使古代的2D卷积神经搜集或3D零落神经搜集提取特性。终末，可能从BEV网格中检测出3D对象。

下图显示了基于网格的3D对象检测的示例，下外给出了基于网格的检测器的分类。网格检测有两个基础构成部门:基于网格的默示和基于网格的神经搜集。

体素。体素是3D立方体，体素细胞内包括点。点云可能很容易地通过体素化转化为体素。因为点云漫衍零落，3D空间中的大部门体素细胞都是空的，不包括点。正在实践行使中，惟有那些非空体素被存储并用于特性提取。

VoxelNet[359]是一项运用零落体素网格的开创性使命，提出了一种新的体素特性编码(VFE)层，从体素细胞内的点提取特性。其它，尚有两类法子试图刷新用于3D对象检测的体素默示：

柱体。柱体可能被视为格外的体素，个中体素的巨细正在笔直倾向上是无尽的。通过PointNet将点蚁集成柱状特性[207]，再将其阔别回去，构修二维BEV图像举行特性提取。PointPillars[117]是一个开创性的使命，先容了柱体默示，随后的是[283,68]。

BEV特性图。鸟瞰特性图是一种辘集的二维默示，个中每个像素对应一个特定的区域，并对该区域内的点消息举行编码。BEV特性图可能由体素和柱体投影到鸟瞰图中获取，也可能通过汇总像素区域内的点统计数据，直接从原始点云中获取。

基于网格的神经搜集。目前要紧有两种基于网格的搜集：用于BEV特性图和柱体的2D卷积神经搜集，以及用于体素的3D零落神经搜集。

与BEV特性图和柱体2D默示比拟，体素包括更众机闭化的3D消息。其它，可能通过3D零落搜集练习深度体素特性。

可是，3D神经搜集会带来特别的岁月和内存本钱。BEV特性图是最有用的网格默示，它直接将点云投影到2D伪图像中，而无需特意的3D算子，如零落卷积或柱体编码。2D检测法子也可能正在BEV特性图上无缝行使，无需太众篡改。

基于BEV的检测法子平日可能获取高效用和及时推理速率。然而，轻易地汇总像素区域内的点统计消息会遗失太众的3D消息，与基于体素的检测比拟，这会导致检测结果不太确实。

基于柱体的检测法子运用PointNet对柱体单位内的3D点消息举行编码，然后将特性阔别回2D伪图像中举行有用检测，从而平均3D对象检测的结果和效用。

采取符合巨细的网格单位是全体基于网格的法子都必需面临的环节题目。通过将连气儿点坐标转换为离散网格索引，网格默示性子上是点云的离散形状。

正在转换历程中不成避免地会遗失少少3D消息，其结果很大水准上取决于网格单位的巨细：网格小，诀别率高，可能保留更细粒度的细节，对待确实检测3D对象至闭主要。然而，减小网格单位又会导致2D网格默示（如BEV特性图或柱体）的内存损耗呈二次方增进。至于像体素云云的3D网格默示，题目能够会变得特别紧要。

于是，若何平均更小网格尺寸带来的结果和内存弥补影响效用，依然是全体基于网格的3D对象检测法子的一个离间。

基于点-体素的法子采用了一种搀杂架构，运用点和体素举行3D对象检测。要紧分为两类:单阶段检测框架和两阶段检测框架。下图显示了这两个种别的示例及分类：

单阶段基于点-体素的3D对象检测器通过骨干搜集中的点-体素和体素-点的变换来相连点和体素的特性。点包括细粒度的几何消息，体素盘算效用高，正在特性提取阶段将它们连接正在一块特别有利。

两阶段的基于点-体素的3D对象检测器，正在第一阶段，应用基于体素的检测器来天生一组3D候选对象。正在第二阶段，最初从输入点云中采样环节点，然后通过新的点算子对环节点举行进一步细化。代外使命包罗：PV-RCNN、LiDAR R-CNN、Pyramid R-CNN、CT3D等等。

与纯体素检测法子比拟，基于点-体素的3D对象检测法子正在弥补推理岁月的同时，可能获取更好的检测精度。

Range图像是一种辘集而紧凑的2D默示，个中每个像素包括3D深度消息，而不是RGB值。必要针对Range图策画模子和算子，并要采取符合的视图。

Range图的像素包括的是隔断消息，而非颜色值，于是古代的2D轨范卷积算子无法齐全实用，滑动窗口中的像素正在3D空间中能够会相距很远。少少使命采用了新算子来有用地从Range像素中提取特性，包罗深度扩张卷积[11]、图算子[26]和元核卷积[67]等。

然而，从Range视图举行检测不成避免地会遭遇球面投影所带来的遮挡和标准转化题目。为了规避这些题目，很众法子测试运用其他视图来预测3D对象，比如[219]中运用的圆柱形视图(CYV)，其它计划测试Range视图和鸟瞰视图(BEV)、点视图(PV)的组合。

Range视图因为可能模仿2D卷积的好处，做特性提取比力好，但因为遮挡和标准题目，直接正在上面做检测结果欠好，必要连接BEV来做检测，因而现正在寻常是Range图做特性提取，BEV上做检测。