RGB还能生成激光雷达强度？IROS2026NIDAR开源，让强度不再…

点击“计算机视觉life”，选择“星标”

机器人AI干货第一时间送达

从 RGB 到点云强度：一条生成路线，连接真实数据、仿真与机器人学习。

仿真里的点云有了 XYZ，却未必有可用的激光雷达回波强度。NIDAR 结合 RGB、已有几何与标定，为点云补上这一通道，支持零样本跨场景迁移（zero-shot transfer），无需针对目标场景重新训练。

UE5 场景中的 NIDAR 强度点云

论文与代码

论文标题：NIDAR: NIR-Guided Intrinsic Decomposition for Scalable Scene-Agnostic LiDAR Intensity Reconstruction

论文作者：Junjie Zhang, Jie Yin, Kefei Qian, Jie Li, Mengpei Jia, Yajuan Dun, Wenbo Chu, Guofa Li

论文：https://arxiv.org/abs/2609.36878

project page：https://nidar-web.github.io/

GitHub：https://github.com/Zjj587/NIDAR

Hugging Face：https://huggingface.co/zhangjunjie587/NIDAR

回波强度与表面响应、距离和观测条件有关，能为几何提供互补线索。这项已被 IROS 2026 录用的工作，从真实数据上的强度重建出发，已在 Isaac Sim、UE5 与 MuJoCo 中开展跨平台应用验证。在 Isaac Sim 的 ISC-LOAM 定位实验中，相比仿真器内置强度，轨迹误差最高降低约 43%；在 MuJoCo 机械臂抓取任务中，则展示了 NIDAR 派生表示辅助 BC-RNN（基于循环神经网络的行为克隆）策略的应用潜力。

实测强度（GT）

NIDAR 生成强度

01为什么不能直接把 RGB 变成灰度？

NIDAR 的出发点是仿真 LiDAR 的回波强度。回波强度与激光在物体表面的反射响应密切相关，而常见 LiDAR 使用近红外波段。然而，常见仿真流程更容易提供 RGB 可见光图像，近红外图像往往难以直接获得。

因此，NIDAR 先从 RGB 推理 pseudo-NIR（伪近红外）图像，再通过本征分解估计反射率表示 R。前一步建立与近红外响应相关的外观估计；由于图像亮暗还受到光照、曝光等因素影响，后一步进一步区分表面反射与明暗因素，再结合几何信息和分布校准生成点云强度，而不是直接把 RGB 灰度当作 LiDAR 强度。

1.1 近红外先验：RGB 到 pseudo-NIR

Spectral Translation Network（STN，光谱转换网络）将 RGB 转换为 pseudo-NIR，为后续处理提供与近红外响应相关的外观先验。与逐场景拟合一套模型不同，NIDAR 在所测试的场景中使用固定网络权重进行前向推理。

1.2 本征分解：区分表面响应与明暗因素

IRNet 采用 U-Net + DeepLab 架构：本征网络输出反射率相关表示 R 和明暗分量 S，并用 R × S 重建输入；辅助强度预测头接受 LiDAR 强度监督。网络不仅要拟合强度，还要学习一种可分解的表示。

1.3 分布校准：把 R 转成点云强度

反射率相关表示 R 还不是传感器读出的强度值。NIDAR 结合标定投影、几何相关调制和分位数重映射，将其转换为点级强度。默认主路线是 R + remap，而不是把辅助强度头的输出直接作为最终结果。

02一个有意思的发现：loss 接近，不代表中间表示相同

2.1 相同训练条件，比较两种输入

为了检验 pseudo-NIR 是否只是多加了一道步骤，作者补充了一组匹配训练条件的对照：RGB 与 pseudo-NIR 使用相同架构、目标和对应样本，445 个图像对用于训练、50 个用于验证，再在两个留出场景各 20 帧上评估。

2.2 相近的 loss，不同的部署表现

两组在稀疏强度监督项上的验证 loss 几乎一样，RGB 甚至略低；但在同为 R + remap 的部署路径上，pseudo-NIR 的 MAE 相对降低约 8.1%，结构相似性也更好。

这支持一个比“加模块就涨点”更具体的解释：pseudo-NIR 的价值，与本征分解得到的 R 如何被使用有关。直接预测强度时，RGB 仍是很强的基线；该对照中 RGB 的直接强度头 MAE 更低。因此，证据支持的是这条组合路线，而不是所有任务都必须经过 pseudo-NIR。

场景 1 · 红框区域

GT

LiDAR4D

NIDAR

场景 2 · 青框内局部

GT

LiDAR4D

NIDAR

03从真实场景到仿真：让强度成为可以使用的数据

论文在 Waymo、nuScenes 上进行了强度重建比较，并展示了与 Isaac Sim、Unreal Engine 5（UE5）的集成。目标不是让点云“颜色更好看”，而是为下游方法提供几何之外的信号。

3.1 UE5：让仿真点云拥有强度

开篇演示来自 UE5。利用场景中现成的 RGB 与几何，NIDAR 为虚拟 LiDAR 点云补充强度通道，让场景资产可以继续用于强度相关的算法研究。

3.2 Isaac Sim：观察场景中的表面响应

视频 2｜Isaac Sim 中的 NIDAR 强度点云展示。颜色表示生成强度，视角切换呈现墙面、地面与场景物体的结构。

3.3 定位应用：让强度参与匹配

在论文报告的 Isaac Sim 实验中，相比仿真器内置强度，NIDAR 让 ISC-LOAM 在 Warehouse 与 Hospital 两条序列上的绝对轨迹误差分别降低约 43.0% 和 41.1%。

04走向具身智能：一种值得继续探索的视觉线索

这组实验在 MuJoCo 中设置了一个带同色干扰物的桌面抓取场景：桌上有三个红色方块，以及各一个蓝色、绿色方块。目标是抓取并抬起中央带木纹的红色方块；另外两个红色方块分别呈哑光和高光外观。

作者将 RGB、深度和 NIDAR 派生表示共同接入 BC-RNN 策略，并设置 RGBD、RGBD＋灰度对照。颜色在这里不能唯一标识目标，纹理与表面外观还能提供额外线索；深度则提供空间与几何信息。NIDAR 的潜在作用，是将已有 RGB 观测重新编码为近红外／反射率相关的辅助表征，为策略提供不同于直接灰度的外观线索。

视频 4｜同一初态下的机械臂闭环抓取对比。左：RGBD；中：RGBD＋灰度；右：RGBD＋NIDAR 派生表示。每列从上到下为 RGB 与深度、辅助表示展示图、机械臂执行画面；RGBD 无辅助图。

这项探索把一个问题带到具身智能面前：除了不断增加模型规模，能否通过更合适的视觉表示，让已有输入更容易被策略利用？NIDAR 将这一思路延伸到机器人学习，也为后续研究视觉－语言－动作模型（VLA）中的输入表示提供了切入点。

05让“强度纪元”从一个可复现的起点开始

NIDAR 的目标，不只是生成一份强度点云，更是让强度成为三维感知中更容易获取、验证和利用的信息。作者希望以开放的代码与工具，推动更多围绕 LiDAR intensity 的创新。

强度信息并不是从今天才有人研究。真正值得推动的是：让更多人拿得到、用得上，也能验证它究竟在哪些任务中有价值。

让强度不再透明，一起开启强度纪元！

欢迎试用、复现和贡献新的应用。让点云的这一维走出文件、走进算法，让“强度纪元”从社区共同构建的工具与应用开始。

https://arxiv.org/abs/2609.36878

新品上新

新品预告｜简介EDU-BOX：拓展具身智能的连接与行动边界

让机器人真正走进真实场景：从“能移动”到“会认路”EDU-D360 × EDU-BOX 一体化智能机器人方案来了

“超级拓展坞”正式发布，EDU-BOX走向实际应用，让机器人从“会走”到“会干活”研发快人一步

推荐阅读

全面详解EDU-D360！具身机器人的一体感知小脑，全开放、真同步、强算力

太夯了！机器狗导航直接省 1年工期

如何解决具身机器人感知之痛？

详细介绍！超远距EDU-SCAN三维激光雷达扫描仪，为开放生态而生！
重磅发布！解锁百米高空无人机测绘！
重磅发布！2分钟重建百米高楼！
重磅发布！助力机器狗SLAM、重建三维世界！
SLAM挑战！EDU-SCAN清晰还原室内超大电子屏
SLAM挑战 ! 9分钟重建万
平地下停车场
这款科研神器丝滑复现最强SLAM：Fast-LIVO2！
三维激光扫描仪全国线下产品试用！
车载扫街，效果实测