CVPR 2026|全新的五模态信息融合数据集，包括RGB、事件、热成像…

• 题目： DSERT-RoLL: Robust Multi-Modal Perception for Diverse Driving Conditions with Stereo Event-RGB-Thermal Cameras, 4D Radar, and Dual-LiDAR｜面向多样化驾驶条件的鲁棒多模态感知——融合双目事件-RGB-热成像相机、4D 雷达与双LiDAR
• 发表： CVPR 2026
• 作者： Hoonhee Cho、Jae-Young Kang、Yuhwan Jeong、Yunseo Yang、Wonyoung Lee、Youngho Kim、Kuk-Jin Yoon；
• 单位： 韩国科学技术院（KAIST）视觉智能实验室。
• 代码： 
• https://jeongyh98.github.io/dsert-roll

目前的自动驾驶数据集大多只关注RGB和LiDAR的数据，而新的传感器数据很少，不同传感器之间的公平比较很困难。DSERT-RoLL同时包含了双目事件、RGB、热成像相机、4D雷达以及两个LiDAR，并且给出了二维/三维框、轨迹ID以及自车里程计；配套的方法在统一的空间里自适应地融合各个传感器的信息来提高复杂的天气和光照条件下三维检测的稳定性。

数据集在同一个道路环境里同步获取五种传感器的信息，包括六种天气状况以及四种光照情况，可以进行公平对比，也可以解决事件摄像头、热成像仪和4D雷达数据不够的问题。

统一了二维和三维的检测评价标准

论文给出了二维/三维边界框、轨迹ID以及自车里程计，并且建立了二维和三维的目标检测基准，可以用来比较同一家族的传感器，也可以用来研究不同传感器之间的融合问题。

针对异构传感器的自适应融合方法

首先用LiDAR和4D雷达产生三维候选框，然后在RGB、事件以及热成像特征的基础上做体素中心采样，并且用可变交叉注意机制以及置信度门控来进行融合。

输入的是长距LiDAR、4D雷达点云以及单目RGB、事件体素网格和热成像图等信息，输出的是三维目标框。该方法首先在鸟瞰图空间中预测出初始框，然后将三种相机特征加入到三维体素中去，并经过置信度融合和感兴趣区域池化之后得到更加精确的目标边界框。

图2：不同传感器互补的应用场景：LiDAR擅长晴朗天气以及远距离几何感知，而4D雷达则在雾雪等恶劣天气下表现更好；RGB、事件和热成像分别适用于纹理识别、高速运动/高动态范围以及夜晚低光照条件下的应用。

图3：训练集和测试集在天气、光照以及目标类别上所处的状态；三种类型的目标是汽车、人和自行车。

表1：自动驾驶目标检测数据集对比，从数据量大小、恶劣天气情况、传感器类型、三维框、轨迹ID和里程计标注等方面进行比较。

表2：传感器套件信息，包含型号、分辨率或者最大量程、视场角以及采样率等。

图4：多模态三维检测框架，主要关注从距离传感器初始框到相机特征体素采样、置信度融合、边界框细化的数据流。

5.2距离传感器和体素空间一起工作

LiDAR和4D雷达经过三维体素骨干抽取特征之后，再取非空体素索引集合，并集起来形成一个统一的稀疏空间。

、分别代表了LiDAR和4D雷达的体素特征集；是第个非空体素的索引；，即它有维特征；是非空体素的数量；表示并集。

如果一个体素只由一个传感器提供数据，则保持原来的特征不变；两个传感器都占据同一个体素的时候，先进行拼接，然后再做线性投影。

、为两种传感器非空体素集；、分别表示差集和交集；表示按照通道拼接；把拼接之后的维特征映射到维空间中去。

公式解释：本方案并不要求所有的体素都必须同时包含两种点云，而是对于重叠的地方进行几何和多普勒信息的合并，在单一来源处只保留有效的观测数据。

5.3体素中心相机特征采样

对于每一个非空体素，首先将其投射到RGB、热成像以及事件图像平面上去，然后以该投影点为中心进行偏移的学习，并且取样。

表示RGB、热成像或者事件模态；为体素在该图像中的投影位置；为采样点的数量，在实验中设置为；和分别表示第个采样点的学习偏移以及聚合权重；为模态的图像特征；为聚合后的结果。

公式解释：网络在网络投影点附近找到可靠的图像线索，并用体素作为查询、特征作为键和值来执行可变形交叉注意机制，从而完成二维语义和三维几何的对应。

5.4置信度体素融合和框细化

三路相机增强体素沿着模态轴堆叠之后，框架就用全局统计的方法产生出相机级别的门控了。

代表三路相机增强体素，表示RGB、热成像以及事件这三种方式，为Sigmoid函数，为各个相机分支对应的标量门控值，表示逐元素相乘操作，和分别表示体素和通道的下标。

公式解释：网络会根据现有的数据来调整三种相机的信息所占的比例，并且把它们和原来的三维体素拼接起来再降到一个维度上。对于每一个初始框，该算法会将其分成个规则子体素，在实验中取，经过ROI池化以及多层次感知机输出得到更细小的边界框。

5.5损失函数

其中用来训练区域建议网络产生初始的三维候选框，用来约束置信度预测，用来做边界框回归，和是权重，在实验中都设置为。

公式解释：三者损失端到端联合优化候选框、融合置信度以及最终框的位置，从而实现传感器的选择和对目标进行检测的学习。

数据集包含大约帧多模态测量数据，并且按照的比例划分为训练集和测试集；根据图3中各个天气分项相加的结果可知，训练集有帧，测试集有帧；模型在张NVIDIA Quadro RTX 8000 GPU上进行端到端训练；评价时将点云轴限定在米范围内，取样点数，框细化网格；三维检测使用Waymo Open Dataset官方标准，以IoU阈值为的平均精度作为主要评价指标，只关注车辆类别的情况；论文没有提及具体的训练轮次、优化算法、学习速率以及网络输入截断大小等信息。

6.2定量的结果

三维基准包括六种天气状况以及四种光线条件，完整方案在表4所列出的十个条件下均排名第一，值分别为：晴天、雾、轻雨、重雨、轻雪、重雪、正常光照、低照度、过曝、HDR。与其他行相比，提升幅度在到之间不等，其中雾天提升了个百分点，过曝提升了个百分点。

表4为DSERT-RoLL上三维目标检测结果，在比较了双目、三维距离传感器以及多种模态融合之后，按照不同天气和光照情况下的车辆类别值进行排序。

6.3定性结果

论文中没有给出三维或者二维检测结果的定性可视化对比图，所以不能得出关于目标突出程度、纹理、伪影或者噪声的结论。图1和图2只用来说明采集环境以及传感器之间的互补关系，并不是方法输出的结果。

6.4二维目标检测基线

论文用左侧相机图像来建立二维检测基准，单模态用YOLOv10、RT-DETR和DEIM，多模态用GM-DETR，评价指标为二维时车辆类别的，三相机配置在所有的10种情况下都是最高的；比如晴天、雾、低光照、过曝和HDR下分别为、、、和；只有在重雪的情况下才达到，说明对于单纯的相机二维检测来说，这个条件仍然很困难。

表5为DSERT-RoLL上相机二维目标检测性能对比，在各种天气以及光照条件下RGB、事件、热成像以及它们的组合对车辆类别的值。

消融实验

以LiDAR单模态为基础，再加入RGB可以提高中等条件下语义和边界定位的效果；加入4D雷达之后，重雪由原来的提高到了，体现出天气鲁棒性。完整的五模态方案相比于LiDAR基线，在重雨和重雪的情况下分别提升了和个百分点，在十个条件下中有八个取得了消融表最优的结果；在雾和HDR的情况下分别比完整的五模态方案高出和个百分点，说明增加更多的模态并不一定都会带来单调的正向效果。

表3为DSERT-RoLL三维检测中各种传感器组合消融实验的结果，在不同的天气和光照条件下RGB、事件、热成像、4D雷达以及LiDAR所起的作用。

6.6模型复杂度

论文中没有提到参数数量、FLOPs、每帧推理所需的时间或者速度等问题，所以不能对完整的五模态框架进行计算量上的对比；可以确定的是训练所用到的硬件是块NVIDIA Quadro RTX 8000 GPU。

DSERT-RoLL将五种类型的传感器放在同一个收集和评价系统里，并且使用一个统一的空间、可以改变的采样以及置信度门控来检验它们之间的互补性。实验结果显示，多种模式的结合可以减轻单个传感器在恶劣天气或者强烈的光线条件下所出现的功能降低问题，并为领域适应和领域泛化的研究打下基础。