2025-02-22，阿里巴巴集团菜鸟自动驾驶实验室和百度研究院共同创建了一个名为 Para-Lane 的真实世界多车道数据集。该数据集目的评估自动驾驶系统中的新型视角合成（NVS）能力，通过提供大量真实世界的数据，弥补了现有合成数据集在真实性方面的不足，为自动驾驶技术的发展和仿真提供了重要支持。

一、研究背景

自动驾驶技术的发展离不开对复杂场景的精确感知和仿真测试。新型视角合成（NVS）技术在自动驾驶系统中扮演着重要角色，它不仅能够帮助训练感知模型，还能生成各种视角的传感器数据，用于闭环仿真。然而，现有的 NVS 数据集大多基于合成场景，缺乏真实世界数据的复杂性和真实性，这限制了 NVS 技术在实际应用中的性能评估和发展。

目前遇到困难和挑战：

真实世界数据采集难度大：在真实世界中，采集多车道数据需要复杂的硬件设备和精确的传感器校准，同时还要面对动态物体、光照变化等挑战。

多传感器数据对齐复杂：自动驾驶系统中涉及多种传感器（如 LiDAR、摄像头等），这些传感器的数据需要精确对齐，但现有的对齐方法在处理多模态数据时存在精度不足的问题。

缺乏真实世界多车道数据集：现有的数据集大多集中在单一路况或合成场景，缺乏真实世界多车道场景的数据，这使得 NVS 技术在跨车道场景下的性能评估变得困难。

数据集地址：Para-Lane|自动驾驶数据集|多传感器数据融合数据集

二、让我们一起来看一下Para-Lane数据集

Para-Lane 是首个真实世界多车道数据集，目的是评估自动驾驶系统中的新型视角合成能力。

Para-Lane 数据集包含 25 组关联序列，涵盖 16,000 张前视图像、64,000 张环视图像和 16,000 帧 LiDAR 数据。所有数据均经过精确标注，区分了动态物体和静态元素。数据集通过多传感器数据对齐，提供了真实世界多车道场景下的精确数据，为自动驾驶仿真和 NVS 技术评估提供了重要资源。

数据集构建：

数据集的构建采用了多阶段姿态优化机制，首先通过 LiDAR 映射构建参考坐标系下的 LiDAR 地图，然后将相机帧注册到 LiDAR 地图中，实现多模态数据的精确对齐。具体步骤包括：

LiDAR 映射：利用 RTK/INS 传感器的初始轨迹，通过离线 LiDAR odometry 和回环闭合优化，构建高精度的 LiDAR 地图。

相机帧注册：将相机帧通过粗初始化和精细优化，注册到 LiDAR 地图中，实现多模态数据的精确对齐。

数据特点：

真实世界数据：数据集来源于真实世界多车道场景，具有高度的真实性和复杂性。

多模态数据对齐：通过多阶段姿态优化，实现了 LiDAR 和相机数据的精确对齐。

精确标注：所有数据均经过精确标注，区分了动态物体和静态元素，方便后续研究和应用。

基准测试:

数据集提供了多种基准测试，包括单车道回归、相邻车道预测、第二相邻车道预测、双车道训练的相邻车道预测和夹层车道预测。基准测试使用了多种评估指标，如峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像块相似性（LPIPS），以全面评估 NVS 方法的性能。

我们的工作引入了第一个真实世界的多车道数据集，用于评估最近的自动驾驶重建方法的新型视图合成能力。使用三个激光扫描仪、一个前视摄像头和四个环视摄像头的多通道轨迹扫描公共城市道路。通过 LiDAR 映射和多模态 Structure-from-Motion 技术精确对齐逐帧姿势。

我们的数据收集无人车的传感器组件和样本框，右侧鱼眼相机对称安装在左侧鱼眼的对面，后鱼眼位于背面的中心。

LiDAR 映射的定量指标。我们选择对拼接的 LiDAR 框架（以厘米为单位）的 MAE 和 RMSE 进行采样和评估。

LiDAR 地图拼接质量在彩虹中 20 厘米周期性高度斜坡（左列）和 10 厘米 cividis 颜色图中可视化，反映距离与重建网格（右列）。误差图和放大视图都反映出，与初始 RTK 轨迹（第一行）相比，这些改进的 LiDAR 帧姿势（第二行）由于帧姿势更好，实现了更薄的拼接云和更少的悬停噪声点。

姿态估计的定量指标。我们选择重投影误差（以像素为单位）作为常见的 SfM 指标 [31] 来评估相机帧之间的相干性，并选择 NID 损失 [30] 来评估相机帧和 LiDAR 映射之间的相干性。

我们的跨模态姿态优化框架中使用的因素，我们通过将彩色强度图的 alpha 混合到相应的相机帧上来可视化 LiDAR 相机的对准质量。我们建议读者参考我们的补充视频，了解我们的 LiDAR 地图和多相机帧的数据对齐质量。

使用不同泳道组合的 5 个评估轨道，用于训练（蓝色）和测试（红色）。

我们提出的 Para-Lane 数据集上不同高斯重建方法的定量结果。

不同方法和设计之间的 NVS 质量比较，有关更多序列的结果，请参阅我们的补充视频

我们提出的带有动态对象的 Para-Lane 数据集的定量结果。我们在有和没有面罩的情况下进行重建以进行消融研究。

EmerNeRF 和 PVG 在单通道测试中 NVS 质量的比较。

三、让我们一起来看一下Para-Lane 数据集应用场景

自动驾驶仿真中的视角合成测试

比如你正在开发一种新的自动驾驶算法，用于在多车道场景中进行路径规划和障碍物检测。以前，你只能使用合成数据集或单一路况数据集进行测试，这些数据集无法完全模拟真实世界中的复杂情况。然而，有了Para-Lane数据集，研究人员可以利用其真实世界多车道场景的数据，进行以下改进：

1、数据加载与对齐 你可以直接加载Para-Lane数据集中的LiDAR和相机数据，并利用其预对齐的多模态数据进行仿真测试。这避免了手动对齐数据的繁琐过程，节省了大量时间和精力。

2、真实场景下的性能评估 通过在Para-Lane数据集上测试自动驾驶算法，你可以评估算法在真实世界多车道场景中的性能。例如，你可以测试算法在不同车道视角下的障碍物检测能力，以及在复杂光照和动态物体条件下的鲁棒性。

3、优化算法性能 基于Para-Lane数据集的测试结果，你可以发现算法在真实世界场景中的不足之处，并针对性地进行优化。例如，你可以改进算法在处理动态物体时的准确性，或者优化算法在不同车道视角下的路径规划能力。

4、提升仿真测试的泛化能力 Para-Lane数据集的多车道场景和真实世界数据，你能够测试算法在各种复杂场景下的性能。这有助于提升算法的泛化能力，使其在真实驾驶环境中表现更加稳定和可靠。

Para-Lane数据集为自动驾驶仿真测试提供了真实世界多车道场景的丰富资源，极大地改善了自动驾驶算法的测试和优化过程

知识小科普：

新型视角合成（Novel View Synthesis，NVS）能力是指从新的相机角度生成与一组图像合理一致的视图的技术。具体来说，给定源图像及源姿态，以及目标姿态，NVS 能够渲染生成目标姿态对应的图片。这项技术在 3D 重建、增强现实（AR）、虚拟现实（VR）等领域有着广泛的应用。

技术原理:

NVS 的一般步骤包括：

1、三维重建：从已有视角的图像中推断出场景的三维几何信息，包括物体的形状和位置。

2、渲染：利用三维重建的信息，通过渲染技术生成新视角下的图像，考虑光照和纹理等因素

应用场景:

自动驾驶：NVS 可以帮助生成不同视角的传感器数据，用于训练和测试自动驾驶模型，特别是在模拟不同驾驶场景时非常重要。

3D 重建：通过从多个视角生成图像，NVS 可以帮助构建更加完整和精确的 3D 模型。

AR/VR：在增强现实和虚拟现实应用中，NVS 可以生成沉浸式的体验，让用户从不同角度观察虚拟场景。

医学成像：NVS 技术可以用于提高医学成像中的 X 射线新视角合成的效率，减少患者和医生的等待时间，提高诊断效率。

更多开源的数据集，请打开：遇见数据集

遇见数据集-让每个数据集都被发现，让每一次遇见都有价值。遇见数据集，领先的千万级数据集搜索引擎，实时追踪全球数据集，助力把握数据要素市场。https://www.selectdataset.com/