NVIDIAFoundation4D：一个模型同时做深度、3D检测、Occupancy…..

点击“计算机视觉life”，选择“星标”

机器人AI干货第一时间送达

以下文章转载自智驾机器人技术前线

图 1：Foundation4D 的几类互补输出。图片取自论文 Figure 1，NVIDIA。

一、为什么自动驾驶需要“感知＋重建”的统一模型？

在自动驾驶系统中，“看懂世界”与“重建世界”长期是两条相邻却并不重合的技术路线。

前者面向实时理解：车辆、行人和障碍物分别在哪里？地面上方哪些体素被占据？自车与物体将如何运动？后者面向几何建图、数据闭环与仿真：相机沿什么轨迹拍下这些画面？场景表面位于何处？换一个相机视角还能不能生成可信图像？

只做 3D 检测，无法直接获得完整的路面、墙体或树木几何；只做深度与相机位姿，无法天然维持动态物体的身份；只做 3DGS，也不等于具备可供规划使用的语义 Occupancy。问题不在于把几个结果摆到同一页面，而在于它们能否共享几何一致、时序一致的中间表征。

VGGT 一类前馈几何模型证明了：多张图像可以直接预测相机与稠密结构。但汽车环视数据具有两个特殊性：一是六个固定相机连续产生海量图像，直接让全部图像 Token 参与全局注意力会带来较高成本；二是车辆始终在运动，多摄像头甚至可能并非严格同步采样。因此，普通多视图重建网络不能原样解决长时段车载视频。

Foundation4D 的答案可以概括成三层：共享表征学习场景、任务头输出互补结果、视频级几何与跟踪系统维持全局一致性。它不是端到端驾驶规划模型，也不能简单等同于传统 SLAM，而是在连接感知、几何重建与可渲染场景表示。

二、整体架构：一个骨干，四类任务，两层时间尺度

图 2：统一模型架构。取自论文 Figure 2，NVIDIA。

输入是来自多个相机、多个时间戳的 RGB 图像，以及训练或相关任务所需的相机内参、镜头模型和标定信息。需要特别说明：模型可以从图像预测相机相对安装关系与自车运动，但并非所有分支都不需要已知标定。例如检测与 Occupancy 中的三维采样投影仍使用给定相机参数。

整体网络由共享 DINOv2 图像编码器、分解式时空 Transformer，以及几何、3D 检测、语义占用和 Gaussian 重建四组任务分支构成。几何分支还带有辅助的像素语义分割和 Pointmap 监督；检测与 Occupancy 共用融合细节信息的 FPN。

它把时序处理分为两个层次：在单个视频窗口里，用 Transformer 直接融合跨相机和跨时间的信息；对完整驾驶片段，再用窗口拼接或位姿图优化汇总轨迹，并利用离线跟踪连接各窗口检测出的物体。这一点非常关键：“前馈推理”描述的是网络在单个窗口内的预测方式，并不意味着处理整段视频完全不需要优化。

2.1 分解式注意力：避开多相机长序列的全局二次复杂度

共享图像编码器采用 DINOv2 ViT-L/14，特征维度为 1024。输入图像统一缩放至 1036×1036，对应 74×74 的 Patch 特征网格。进入时空聚合器前，作者先将其降采样到 37×37，使参与聚合的空间 Token 约为原来的四分之一；原始高分辨率特征仍保留给检测和占用分支使用。

标准 VGGT 的跨图像全局注意力要把窗口中的图像 Token 置于一个大集合内。如果每张图有  个 Token，窗口包含  个摄像头与  个时间样本，整体全局注意力的主要开销可近似写为：

Foundation4D 不直接建立这样一个全局集合，而是交替进行三类注意力：图像内部注意力、同一时刻跨相机注意力、同一相机跨时间注意力。固定其余维度后分别求注意力，从而避免所有相机与所有时间点同时形成完整的全连接注意力矩阵。若只看主导的注意力矩阵规模，可以把其直观理解为：

其中这一表达用于解释计算结构，并非论文给出的精确 FLOPs 公式。实际开销还取决于 Token 组织方式、特殊 Token 以及 CUDA 实现。

论文采用 16 层聚合器，即图示中的 8 组交替层对。除了图像 Patch，每组序列还引入 Rig Token、Ego Token 和四个 Register Token。这样，网络不必让所有空间 Patch 独自承担相机安装关系和车辆运动的表达：Rig Token 负责相机之间的相对关系，Ego Token 负责时间上的运动信息。

2.2 为什么高分辨率信息不能一降到底？

图像编码器给出的 74×74 细节网格和聚合器的 37×37 上下文网格被有意保留为两条信息路径。深度和相机几何需要较强的跨帧匹配上下文，而远处的行人、杆状物、交通标志等检测和占用目标，不能只依赖已经被压缩的低分辨率特征。

因此，模型先在较低空间分辨率上完成时空信息交互，再通过共享 FPN 将聚合特征与高分辨率图像特征融合。这不是形式上的多任务分支，而是针对多摄像头算力预算做出的结构取舍。

三、几何分支：把相机安装关系与自车轨迹分开估计

这部分与多相机 SLAM、视觉里程计、相机外参估计关系最直接。

3.1 Rig–Ego 分解不是小修小补

固定在车上的六个摄像头，在正常安装条件下有相对稳定的外参；随时间变化的是车辆自身运动。若直接独立预测每张图像的世界位姿，网络就需要重复学习不应该随时间变化的相机安装关系。

论文将相机到世界的变换写成：

这里  是相机  相对参考相机坐标系的固定变换， 是在该相机实际曝光时刻计算得到的参考轨迹；两者按所示次序复合。

与默认六路图像严格同步的设定不同，作者保留每路相机自己的采集时间 。在离散自车轨迹样本之间，平移采用线性插值，旋转采用最短弧球面线性插值（SLERP）。这种设计避免了把异步拍摄的图像硬当成同一时刻的观测。

不过论文也明确指出一个残留问题：Rig 监督目标来自第一组时间图像的相对位姿；异步采样时，这个目标可能混入曝光间隔的自车运动。即便在预测阶段对 Ego 轨迹做了插值，也不能反过来消除监督信号中的静态外参与动态运动混叠。这是工程落地时不能忽略的边界。

3.2 深度与 Pointmap：最终几何从深度和位姿重建

几何分支以 DPT 解码器产生 518×518 的相机  深度图、辅助 Pointmap 与语义 logits。最终使用的三维点并不是直接照搬辅助 Pointmap，而是以预测深度、相机模型及组装后的位姿重新反投影。

对像素 ，令  为相机坐标系的  深度， 为考虑畸变的单位相机射线，则世界坐标点可写为：

公式中的除法至关重要：相机  深度与沿像素射线的欧氏距离不是同一个量。前者需要除以单位射线的  分量，才能得到对应的射线距离；在广角镜头或非针孔镜头场景，混淆两者会造成系统性几何误差。

作者还对深度和 Pointmap 引入置信度加权回归，并同时保留不加权误差项，避免网络仅通过降低难样本置信度来减轻损失。训练时深度、点和位移按固定 40 m 参考尺度归一化，帮助网络学习度量几何。加入相邻时间样本的相对运动约束后，轨迹估计也不再只依赖各时刻的绝对位姿监督。

3.3 从窗口预测走向完整视频：Stitching 和 PGO 是两条路径

图 3：跨相机深度与长序列几何示例。取自论文 Figure 7，NVIDIA。

单窗口网络可以给出局部坐标系中的位姿，但完整记录通常远长于 Transformer 的输入窗口。论文实现两种装配方式。

第一种是顺序拼接（Stitching）：利用前后窗口重叠的图像和像素点对应，拟合相似变换 ，将新窗口对齐到之前的公共坐标系。它实现直接、计算相对容易，但每一步依赖前一窗口的拼接结果，误差可能沿时间逐渐积累。

第二种是全局位姿图优化（PGO）：同一帧只保留一个全局轨迹节点；不同重叠窗口针对这些节点产生多个相对位姿约束。各约束共同作用于一条轨迹，而不是按窗口先后顺序依次固定。设窗口  预测的相对位姿测量为：

PGO 先优化旋转，再在已固定旋转的条件下求解平移；后一步可转化为带权线性最小二乘。系统另加入线性运动先验（LM），抑制相邻速度估计间不合理的突变。论文所用的平移目标可以简写成：

为简洁起见，上式略去了论文中对权重总和的归一化；优化思想与原文保持一致。尤其需要注意三件事：

• PGO 假设各窗口预测具备共同的度量尺度，所以主要在  中优化轨迹，而不是为每个窗口单独估计缩放；
• 使用的是模型产生的窗口内相对位姿和时间戳，并没有加入外部回环检测约束或外部位姿因子；
• 优化后的参考轨迹需要依据每个摄像头的真实采集时刻重新计算修正量，不能只对整组相机统一套用某个离散帧的位姿。

图 4：对多摄像头长序列重建结果进行全局装配。取自论文 Figure 8，NVIDIA。

在 PAI 的 1,253 个测试片段上，内部微调 VGGT 的 Stitching ATE 为 111.12 cm；Foundation4D 使用 Stitching 降至 78.06 cm，进一步使用 PGO+LM 降至 52.75 cm。这里的 ATE 使用整个片段共享的一次  评测对齐，对齐仅服务于评测，并非推理阶段用真值修正轨迹。

四、3D 检测与跟踪：网络输出瞬时目标，系统负责持续身份

检测分支采用基于 Query 的 3D 检测设计。每个 Query 对应一个学习得到的三维参考点，经过自注意力和多尺度可变形交叉注意力，从多个摄像头投影位置采样图像特征，最终预测三维立方体框、类别、航向以及平面速度。

论文参考配置为 900 个 Query、6 层检测解码器，每层宽度 256。训练使用 Hungarian 一对一匹配、Focal 分类损失和 3D 框回归；还引入 Query 去噪以及 YOLOX 风格的辅助二维检测头。后二者都只在训练阶段参与，不应误以为在线推理还要额外跑一套 YOLOX 检测器。

真正有意思的是检测结果如何接到长视频上。Foundation4D 没有宣称自己通过一套端到端的时序 Track Query 直接输出完整轨迹，而是采用了相对清晰的tracking-by-detection 路线：

先用装配好的自车轨迹，将各帧 3D 框和速度转换到共同世界坐标系；再用恒速 Kalman Filter 预测物体运动、Hungarian 算法完成关联。第一遍关联采用较保守的轨迹存活时间，第二遍尝试连接碎片化轨迹，最后用 Rauch–Tung–Striebel（RTS）后向平滑让后续观测反过来改善早期状态估计。

图 5：多目标检测与离线轨迹连接示例。取自论文 Figure 12，NVIDIA。

这套设计说明一个经常被忽视的事实：检测网络不只是为检测指标服务，它的速度估计、空间框精度和召回稳定性，直接决定后续动态重建能否把同一辆车当作同一辆车。

在四相机消融实验中，加入 Kalman Filter 后 HOTA 从 41.4 提升至 42.1；再用 RTS 平滑达到 43.6。若把真值自车位姿换成预测位姿，在固定检测及跟踪配置下 HOTA 从 43.6 降为 40.5，可见车辆轨迹误差会向多目标关联传播，但这组实验中的跟踪结果并未完全崩溃。

五、Semantic Occupancy：用紧凑 BEV 承接三维体素输出

Occupancy 不是把道路分割图简单拉伸成三维。它需要判断空间单元是否被占据，并给被占据位置分配语义标签；在遮挡区域，网络往往还要根据上下文推断不可直接观测的结构。

Foundation4D 的内部预测范围是车辆坐标系下：

对应约  个体素单元。如此范围如果每层都维护完整三维密集特征，内存压力会相当突出。因此它在中间阶段主要存储二维 BEV 特征：先沿每个 BEV 柱体选取四个高度参考点，借助相机标定将三维采样点投影到多尺度图像上，再以可变形注意力聚合视觉特征。最后才通过上采样和通道到高度维度的重排，生成体素占据概率与语义类别。

也就是说，三维信息是在视角投影阶段引入，在输出阶段恢复高度维，而不是让整条网络始终持有一个大型三维特征体。 这种做法对于需要同时运行几何、检测和高斯分支的统一模型尤为合理。

图 6：在 OpenOccupancy 上的语义体素预测。取自论文 Figure 13，NVIDIA。

损失函数联合二值占用 BCE、Lovász 损失和体素语义 Cross-Entropy、Dice 损失，同时加一个辅助 BEV 分割监督项。二值占据与语义分类分别训练，能避免单纯用多类分类同时承受“哪里有东西”与“是什么东西”两类难度。

在真实道路上，远距离长尾类别依旧是难点。PAI 完整区域的二值 IoU / 语义 mIoU 为 31.5% / 14.1%；远端 50–100 m 区域降为 22.9% / 6.9%。即使高分辨率预测覆盖到 100 m 前方，稀有类别、薄结构与物体边界仍会出现明显错误。

图 7：PAI 中的白天、夜间场景 Occupancy 对比。取自论文 Figure 14，NVIDIA。

六、3DGS 重建：几何是基础，动态物体的时间关系才是难点

Foundation4D 的 Gaussian 分支沿用 Instant NuRec 风格的分层场景表示：静态场景 Gaussians、与动态 Actor 关联的 Gaussians，以及天空 Cubemap。网络直接从上下文特征预测每个源像素对应的高斯属性，无须对每个片段重新训练高斯网络。

单个高斯的主要属性包括中心 、RGB 颜色 、尺度 、旋转四元数  和不透明度 。它的三维协方差定义为：

高斯中心同样由预测的深度与相机位姿反投影得到，这保证了 Gaussian 分支与前面的几何建模共享基本的坐标定义。为降低天空、车身和未知区域产生无效高斯的风险，作者根据几何分支的语义预测对高斯透明度加掩码。

动态物体是这里真正需要拆开的部分：Gaussian 分支本身不预测 Actor 的运动轨迹。训练时它使用标注相机位姿与 Cuboid Tracks；推理时则消费前述几何分支和离线跟踪系统预测出的轨迹。重渲染某个目标时刻时，根据 Actor 的轨迹插值，将与 Actor 关联的高斯刚性变换到目标时间；静态高斯保持不动。

天空由 Cubemap 补齐，另外学习每个相机的仿射颜色修正，用于适配不同相机的外观差异。最终图像可写为：

其中  是 Gaussian Splatting 累计透明度，剩余透射率对应的颜色由天空表示补上。训练采用 RGB 重建损失、LPIPS、逆射线距离监督、透明度与法向等约束，并在未纳入输入上下文的时间点检验渲染。

图 8：六路相机对应的前馈 Gaussian 渲染结果。取自论文 Figure 15，NVIDIA。

图 9：Foundation4D 与 Instant NuRec 的场景渲染对比。取自论文 Figure 16，NVIDIA。

这里必须区分两件事。Foundation4D 的 Gaussian Head 是前馈产生高斯；论文第 8 节将 Foundation4D 当作 NuRec 的先验时，NuRec 仍会针对每段场景单独优化高斯表示。两条路径可以配合，但绝不是“Foundation4D 的前馈高斯直接等同于 NuRec 最终重建结果”。

七、PAI–Foundation4D：同时解决多任务评测与稠密标注难题

对这样一个横跨几何、检测和 Occupancy 的模型，困难并非只有网络。训练数据需要知道真实相机几何、深度、动态物体以及时序一致的体素标签；若标签本身把运动物体叠成“拖影”，网络学到的就可能是错误的三维世界。

NVIDIA 基于 Physical AI Autonomous Vehicles（PAI）数据构建了新基准 PAI–Foundation4D，包含 1,253 个驾驶片段，在同一批场景上提供稠密深度、语义 Occupancy 与相关评测协议，并包含体素级速度信息。

图 10：由 LiDAR、位姿、目标框与实例掩码生成稠密标签的流程。取自论文 Figure 4，NVIDIA。

标注流水线的核心不是简单叠帧，而是按物体运动状态分别处理：

1. 使用精确时间戳对 LiDAR 回波进行自车运动补偿，静态点云可以在整段视频范围内累积；
2. 根据三维轨迹裁出动态 Actor 点云，对动态物体只使用局部时间邻域，并映射到目标时刻；
3. 依据标定、像素语义、SAM 2 辅助实例掩码和可见性检测，生成相机视角的稠密深度；
4. 将语义投票与动态目标类别映射到三维点，再分别体素化静态与动态场景，合成语义 Occupancy 与速度标签。

尤其在深度生成环节，论文考虑了多传感器时间差与相机滚动快门；对动态对象，遇到无法确认可见深度的像素会标记为无效，而不是机械保留后面的静态背景深度。这样的标注原则对于训练可用于几何反投影的深度网络很重要。

图 11：原始数据、深度和语义占用标签效果。取自论文 Figure 5，NVIDIA。

“LiDAR-free”在这篇论文里有明确适用范围：Foundation4D 运行摄像头模型并为下游 NuRec 提供几何先验时，可以不依赖在线 LiDAR；但构建训练深度、Occupancy 标注的数据流程使用了 LiDAR 等多传感器信息。两者不矛盾，却不能混为一谈。

八、训练细节：不是四个任务从零开始一次联合收敛

论文所用三个内部数据集合计约 20.4 万条片段（集合之间存在重叠），平均每条约 12 秒，总计约 695 小时驾驶记录。输入来自六个相机，原始记录有 30 FPS 图像和 10 Hz、128 线 LiDAR。不同集合对几何、检测、Occupancy 和语义分割的标注覆盖并不完全相同。

作者采用逐步增加难度的三阶段训练：

最终联合训练的总目标为：

其中联合 Gaussian 微调时的权重是：

没有相应标注的样本不会强行计算该任务的损失。工程实现采用 BF16 混合精度，并在几何、Gaussian 等数值敏感部分使用 FP32；共享注意力由 H100 上的 FlashAttention-3 和定制 CUDA RoPE Kernel 加速。

需要强调，论文报告的完整感知预训练约花费 18 天，后续 Gaussian Heads 训练与联合微调约 9 天。这个成本表明 Foundation4D 是一套规模较大的系统，不是把几个现成 Head 接到统一编码器上就能轻松复现的方案。

九、实验结果：四类任务到底做到什么水平？

9.1 深度估计：Waymo 0.09、nuScenes 0.15

论文 Table 2 在 Waymo、nuScenes 验证集上比较了深度 AbsRel。这里越低越好，评价基于各自独立的 48 帧窗口，并在评测时做尺度对齐。

相对 GeoUP，Foundation4D 的 Waymo AbsRel 从 0.13 降至 0.09；nuScenes 从 0.19 降至 0.15。与此同时，视频级 PGO+LM 的轨迹 ATE 在 Waymo 为 23.62 cm、nuScenes 为 17.48 cm（论文 Table 3）。几何精度的提升来自网络与视频级装配的组合，但这几项指标的评测对象和对齐方式不同，不宜混作一个数字解读。

9.2 3D 检测：nuScenes mAP 60.9、NDS 66.5

数据来自论文 Table 7，均为摄像头方案。Foundation4D 在内部预训练后还针对 nuScenes 的标签体系进行了 10k 次迭代微调，推理使用包含未来帧的 8 个 Keyframe 离线窗口。这是离线视频窗口检测结果，不是已证明具备相同延迟的在线流式检测成绩。不同方法的预训练来源也不完全一致，不能把差距完全归功于某一个 Head。

长时序上下文的重要性在单模型消融中格外直观（论文 Table 9）：

检测随上下文变长继续受益，但 HOTA 并非单调上升。更长的视频上下文会带来更多线索，也会增加时序误差传播和计算负担，因此“越长越好”并不是合理结论。

9.3 Occupancy：OpenOccupancy mIoU 18.1

论文在 OpenOccupancy 上单独适配后，与公开摄像头方法比较：

这是论文 Table 12 的结果，评测类别、空间范围与内部 PAI 测试并不相同。它证明统一预训练表征能够迁移到新的占用标签和范围，但不能据此断言在任意场景、任意远距离都具备相同精度。

9.4 3DGS：前馈渲染整体 PSNR 23.94 dB

数据取自论文 Table 15。使用预测自车位姿后，Foundation4D 的整体 PSNR 比使用 GT 位姿时下降 0.08 dB，说明该系统的姿态误差尚未严重破坏整体前馈渲染质量；相对 Instant NuRec，整体 PSNR 高 1.28 dB。

然而动态区域必须单独看：预测位姿版本的 Dynamic PSNR 为 19.98 dB，略低于 Instant NuRec 的 20.01 dB；在未来帧外推的动态区域，Foundation4D 的优势还不稳固。更重要的是，双方所用相机数、上下文窗口及真实位姿输入并不完全一致，属于两个重建系统在各自协议下的比较，不能直接证明 Gaussian Decoder 本身强了 1.28 dB。

十、多任务联合训练：确实有迁移，也确实有负迁移

这篇论文非常值得认真看的部分，不是单个 SOTA 数字，而是 Table 16 中对 GEO、DET、OCC 三种任务七类组合的系统消融。为了控制实验条件，作者使用四相机、相同初始化并统一训练 80k 次更新。

这组结果至少有三点需要分开理解。

第一，检测是明显受益者。GEO+DET+OCC 的 Top-mAP 为 42.14，比只训练 DET 的 40.94 高 1.20 个百分点。几何与占用监督有助于共享特征建立更强的空间结构表达。

第二，相机 Rig 估计也会从检测监督中受益。GEO-only 的 Rig 平移相对误差为 7.53 cm；GEO+DET 降至 6.52 cm，约降低 13.4%。从工程视角看，目标定位对多视图几何表征提供了额外监督，但也不能据此声称外参在线标定已被完全解决。

第三，也是最有价值的一点：任务越多不意味着所有指标都更好。单训 GEO 的深度 AbsRel 为 0.123，加入其他任务后并没有继续下降；而 GEO+OCC 的 mIoU 11.82 高于三任务的 11.53。共享参数、损失权重、任务数据比例都会形成竞争。一个“统一模型”要真正优于专用模型，需要证明不同任务如何互相帮助，而不是简单把多个任务的 Head 全接上去。

图 12：融合的几何、Occupancy 与轨迹结果。取自论文 Figure 17，NVIDIA。

十一、从论文模型到工业流程：NuRec 周转时间缩短 4.3 倍

Foundation4D 的另一个目标是服务自动驾驶数据回放、闭环评测与可渲染仿真。传统重建流水线可能分别依赖几何恢复、深度融合、目标跟踪等多个模块；把这些先验改为由统一感知模型提供，能减少重复处理环节。

图 13：Foundation4D 提供深度、位姿和动态物体轨迹，NuRec 再执行逐场景 Gaussian 优化。取自论文 Figure 18，NVIDIA。

论文第 8 节的流程输入包括多摄像头 RGB 和车辆 GPS/IMU 轨迹；Foundation4D 预测相机几何、稠密结构与目标轨迹，NuRec 再根据这些先验优化最终的动态高斯场景。这里的“无 LiDAR”是指该重建工作流不再以 LiDAR 作为重建输入，并不意味着没有 GPS/IMU、相机标定或其他先验。

论文 Table 18 给出了不同发布版本之间的工作流周转对比：

这些数字的统计范围彼此不同，不能把各行直接相加；论文同时提示，比较的发布版本在摄像头配置、软硬件和具体软件流程上也有差异。因此，4.3 倍是端到端工作流层面的结果，并非在完全相同硬件、完全相同配置下仅替换 Foundation4D 网络测得的纯算法加速比。

图 14：新旧先验下的 NuRec 动态目标与新视角重建。取自论文 Figure 19，NVIDIA。

十二、从 SLAM、3DGS 和自动驾驶工程视角，如何评价这项工作？

Foundation4D 真正有意义的地方，在于它尝试把以前分散在多个技术栈里的约束重新组织成统一的场景处理流程。

对 SLAM/几何研究者而言，值得关注的是 Rig–Ego 分解、异步相机采样处理，以及“局部前馈估计 + 全局 PGO”的组合。它与传统几何优化形成互补，而不是声称大模型能消灭后端优化。尤其是它的 PGO 依赖同尺度预测，并没有引入回环约束，这也给后续研究留下了明确空间。

对 3DGS 研究者而言，关键不是多了一个输出高斯的 Head，而是静态背景、动态 Actor、天空表示和相机外观补偿可以沿着同一条感知链路组织起来。它的可用性取决于深度质量、相机轨迹和动态目标持续跟踪的共同稳定性。未来帧动态外推较弱，也说明“会渲染当前观测”离“可信模拟未来世界”仍有距离。

对自动驾驶感知团队而言，这套模型展示了多任务共享特征的潜力，同时也给出了负迁移证据。部署时若只关心深度，GEO-only 反而可能是更好的指标方案；若关心统一的检测、占用与仿真先验，整体收益才可能抵消更高的 GPU 资源成本。

仍然需要面对的现实限制

• 不是轻量实时方案。 论文 Table 17 中，单张 H100 80GB 处理六相机、每相机 24 个时间样本、全部任务头的前向耗时约 9.673 秒，峰值显存约 32.47 GiB；48 个时间样本则约 19.782 秒、58.41 GiB。计时还不包含数据加载、Gaussian 光栅化、结果导出等环节，不能据此宣称直接适合车端实时部署。
• 长距离和薄结构仍然脆弱。 深度边界、远处目标、杆状结构与稀有占用类别存在明显错误，长距离检测 mAP 下降显著。
• 异步多相机建模尚未彻底闭环。 轨迹插值解决了部分时刻对齐，却无法消除训练监督中的 Rig/运动混叠，也不能自动补偿独立运动物体。
• 多任务共同优化尚未达到最优平衡。 Gaussian 分支是在感知训练后加入的，论文没有系统验证从训练初期就联合几何与渲染会带来什么后果。
• 公开资源应区分数据与代码。 官方页面提供论文及 PAI–Foundation4D 数据集入口；截至本文整理时，官方项目页没有明确提供 Foundation4D 完整模型权重或训练代码的下载入口，不宜直接将其称作“完整开源算法”。

结语

过去几年，自动驾驶多任务模型更多解决“同一段视觉特征如何支持多种感知输出”；前馈几何与 3DGS 则不断推进“图像能在多大程度上直接转化为三维世界”。Foundation4D 的尝试，是把这两件事放到同一套工程体系：用共享表征恢复几何、物体、体素和外观，再利用 PGO 与跟踪维持跨窗口一致性，最后为仿真重建提供可复用先验。

它并不是一个已经替代所有 SLAM、检测、跟踪和 3DGS 系统的万能模型，但论文提供了一个很有价值的信号：下一代自动驾驶场景基础模型的竞争，可能不只是单项任务的排行榜，而是同一个三维世界能否被稳定地理解、对齐、追踪、重建并再次使用。

论文信息

• 论文标题：Foundation4D: Towards a unified perception and reconstruction model for autonomous vehicles
• 中文译名： Foundation4D：迈向自动驾驶车辆的统一感知与重建模型
• 研究机构： NVIDIA
• 作者： Sérgio Agostinho、Maximilian Apodaca、Guillem Braso、Shengyu Huang、Bingxin Ke、Tim Meinhardt、Qunjie Zhou、Laura Leal-Taixé 等 NVIDIA 研究与产品团队成员（完整作者列表见原文 Appendix A）
• 官方项目页： https://research.nvidia.com/labs/sil/projects/foundation4d/
• 公开数据集： https://huggingface.co/datasets/nvidia/PhysicalAI-Autonomous-Vehicles-Foundation4D

新品上新

让机器人真正走进真实场景：从“能移动”到“会认路”EDU-D360 × EDU-BOX 一体化智能机器人方案来了

“超级拓展坞”正式发布，EDU-BOX走向实际应用，让机器人从“会走”到“会干活”研发快人一步

推荐阅读

全面详解EDU-D360！具身机器人的一体感知小脑，全开放、真同步、强算力

太夯了！机器狗导航直接省 1年工期

如何解决具身机器人感知之痛？

详细介绍！超远距EDU-SCAN三维激光雷达扫描仪，为开放生态而生！
重磅发布！解锁百米高空无人机测绘！
重磅发布！2分钟重建百米高楼！
重磅发布！助力机器狗SLAM、重建三维世界！
SLAM挑战！EDU-SCAN清晰还原室内超大电子屏
SLAM挑战 ! 9分钟重建万
平地下停车场
这款科研神器丝滑复现最强SLAM：Fast-LIVO2！
三维激光扫描仪全国线下产品试用！
车载扫街，效果实测