三维点云开源数据集全景导航：从入门到前沿应用

1. 三维点云数据集入门指南第一次接触三维点云数据时我完全被各种专业术语和庞杂的数据集搞晕了。经过几个项目的实战我发现选对数据集能事半功倍。这里分享几个最适合入门的经典数据集帮你快速上手。斯坦福3D扫描存储库绝对是新手村首选。我第一次用它做点云分类时发现它的模型数据干净规整特别适合练手。比如那个著名的斯坦福兔子几乎成了点云处理的Hello World。数据集主要包含扫描的物体模型从家具到雕塑都有数据量适中处理起来对硬件要求不高。ModelNet系列是另一个必知必会的入门数据集。ModelNet10和ModelNet40分别包含10类和40类常见家居物品的点云数据。我记得第一次用ModelNet40训练分类网络时只用了几百MB显存就跑了起来。这个数据集最大的特点是数据标注规范每个样本都经过人工校验避免了脏数据带来的困扰。对于想尝试实际场景的同学NYU Depth Dataset是个不错的过渡选择。这个数据集采集自各种室内环境包含办公室、客厅等场景的深度信息。我建议先用它的V2版本因为数据已经预处理过去除了噪声和无效点。处理原始点云时我通常会先用直通滤波去掉离群点这个技巧在NYU数据集上特别管用。2. 按场景划分的核心数据集2.1 城市场景数据集做自动驾驶项目时KITTI数据集是我的首选。这个数据集采集自德国卡尔斯鲁厄的城市道路包含雷达点云和同步的图像数据。最实用的是它的3D物体检测标注标注了车辆、行人等关键目标的3D边界框。记得第一次处理KITTI时我被它的坐标系统搞晕了——雷达坐标系和相机坐标系需要转换这个坑我踩过。Waymo Open Dataset是近年崛起的新星。相比KITTI它的数据规模大了几十倍场景也更丰富。我最近用它训练检测模型时发现需要特别注意点云的时序信息——这个数据集包含连续帧的点云可以用来做运动预测。不过要跑得动这个数据集你得有张好显卡我用的RTX 3090处理起来都吃力。2.2 室内场景数据集ScanNet是我做室内场景理解的首选。这个数据集包含1500多个扫描的室内场景标注了语义分割和实例分割信息。处理ScanNet时有个小技巧它的点云是稠密重建的我通常会先做体素化降采样否则显存根本装不下。数据集还提供了相机轨迹可以用来研究SLAM。S3DIS是另一个经典的室内数据集覆盖了6个大型室内区域的3D扫描。我特别喜欢它的房间级标注适合做场景分割研究。不过要注意这个数据集有些扫描质量不太稳定需要做额外的点云修复。3. 按任务划分的专业数据集3.1 分类任务数据集除了前面提到的ModelNetScanObjectNN是更接近真实场景的分类数据集。它最大的特点是包含背景噪声和遮挡模拟了真实扫描环境。我测试过在ModelNet上训练的分类器直接用在ScanObjectNN上准确率能掉20%说明这个数据集的挑战性。PartNet则专注于细粒度分类标注了物体的部件级信息。比如一把椅子会被标注出靠背、座椅、腿等部件。这个数据集特别适合做结构化理解的研究但处理起来需要更复杂的网络架构。3.2 检测任务数据集ApolloScape的3D检测数据集规模惊人包含超过10万帧的高精度标注。我参与过一个项目用它训练检测器发现它的标注非常细致连车灯、后视镜这样的部件都有标注。不过数据下载是个挑战需要申请权限并签署协议。Argoverse则专注于运动预测除了3D检测框还提供了物体的轨迹信息。这个数据集特别适合研究时序感知的检测算法。我建议先用它的子集做实验全量数据需要TB级的存储空间。3.3 分割任务数据集SemanticKITTI是目前最全面的室外场景分割数据集。它标注了28个语义类别包括动态物体和静态场景。我最近用它做实时分割研究发现点云序列的时序一致性是个值得挖掘的方向。NPM3D专注于城市点云分割特点是覆盖了多种采集设备的数据。处理这个数据集时我发现不同设备采集的点云密度差异很大需要设计自适应的采样策略。4. 前沿竞赛与挑战赛数据集Semantic3D竞赛数据集让我又爱又恨。这个数据集包含数十亿级别的点云覆盖多样的城市场景。去年参赛时我们的集群跑了整整一周才完成训练。它的难点在于场景复杂度和数据规模的平衡直接处理原始数据几乎不可能必须设计高效的采样策略。nuScenes-lidarseg是近年新兴的挑战赛数据集。除了丰富的语义标注它还提供了多模态数据。我建议参赛者重点关注它的时序信息利用这是区别于其他数据集的最大特点。说到前沿不得不提Waymo开放挑战赛的数据集。去年我带队参赛时最大的感受是数据规模带来的计算挑战。全量数据超过1PB需要设计分布式训练方案。不过它的标注质量确实顶尖连雨雪天气的数据都有专门标注。5. 数据集使用实战技巧处理大规模点云数据集时我总结了几条血泪经验。首先是数据预处理一定要建立规范的pipeline。我习惯先用Open3D做初步滤波再用PyTorch的Dataloader做在线增强。对于像Waymo这样的超大数据集建议先提取ROI区域可以节省90%以上的处理时间。标注转换是另一个常见痛点。不同数据集的标注格式千差万别我专门写了一套转换工具。比如KITTI的标注是基于相机坐标系而Waymo使用自车坐标系不统一处理会导致模型训练出问题。最后说说数据增强。点云的增强比图像复杂得多我常用的方法包括随机旋转、缩放、平移以及更高级的点丢弃、噪声添加等。最近发现CutMix增强在点云上也很有效能显著提升模型鲁棒性。