D^2-4DGS: Dual-Depth Guided Sparse-Camera 4D Gaussian Splatting

作者： Jijian Zhao

单位： Huazhong University of Science and Technology

会议： 2026 Arxiv

链接： arXiv

研究动机

Dynamic 4DGS 通常依赖密集、同步的多相机视频。相机数量减少以后，RGB supervision 很难唯一确定动态场景的 3D geometry：错误位置的 Gaussians 仍然可能解释有限 training views，最终产生 missing structures、foreground/background blending 和 floating primitives。

引入 depth prior 是自然选择，但 D²-4DGS 认为 单一 depth source 都不够：

• Monocular depth：coverage 稠密，但 scale ambiguous，而且存在局部 bias；
• Multi-view geometric depth：与 reconstruction coordinate system 一致、几何可靠性更高，但在 occlusion、weak texture、limited baseline 和动态区域中 coverage 很差。

论文真正解决的问题不是“把两张 depth map 融合一下”，而是：

当两个 depth source 的可靠性和 coverage 完全不同，应该让它们在 4DGS optimization 中承担什么不同职责？

D²-4DGS 的答案很明确：先对齐，再做 cross-source verification，然后把 depth 分成不同 reliability level。

• 两种来源一致的 verified anchors：可以作为强几何证据，用于 pruning 和 depth supervision；
• 只有 monocular depth 的区域：只把它当作 densification proposal，用于提出“这里可能缺 surface”，但不直接强迫现有 Gaussians 拟合它；
• 两种来源冲突的区域：直接丢弃。

这种“不同置信度的 prior 承担不同优化职责”是整篇论文最重要的设计。

Fig. 2 的框架图把这条职责链画得很清楚：先并行获得 MDE 与 MVS，再做逐帧对齐和 cross-source verification，最后分别进入 densification、pruning 与 verified-depth RGB-D optimization。

核心方法

1. Dual-source Depth Prior Construction

对每个时间戳 $t$、相机 $n$：

• monocular depth $D^m_{t,n}$：Depth Anything V2 独立预测；
• geometric depth $D^g_{t,n}$：在同一 timestamp 的同步相机之间运行 COLMAP PatchMatch Stereo。

这里 不会跨时间做 MVS，因此避免把动态物体在不同时间的位置混在一起。

COLMAP 自带 geometric-consistency filtering，先得到有效 geometric depth mask $M^g_{t,n}$。

2. 用 geometric depth 对齐 monocular depth

对于每帧、每个 view 独立拟合 positive scale $a{t,n}$ 和 shift $b{t,n}$：

$$(a_{t,n},b_{t,n})= \arg\min_{a>0,b} \sum_{\mathbf p\in\Omega^g_{t,n}} \rho\left(aD^m_{t,n}(\mathbf p)+b-D^g_{t,n}(\mathbf p)\right),$$

其中使用 Charbonnier penalty：

$$\rho(x)=\sqrt{x^2+\epsilon_\rho^2}-\epsilon_\rho.$$

对齐后的 monocular depth：

$$\bar D^m_{t,n}(\mathbf p)= a_{t,n}D^m_{t,n}(\mathbf p)+b_{t,n}.$$

注意这里是 逐帧、逐相机独立 scale-shift calibration，不是一个 sequence-level global alignment。它解决的是“先把 MDE 放进 reconstruction coordinate system”，但本身不保证跨视角局部几何一致。

3. Cross-source Verification

在同时具有 MVS depth 的位置，计算相对 discrepancy：

$$e_{t,n}(\mathbf p)= \frac{|\bar D^m_{t,n}(\mathbf p)-D^g_{t,n}(\mathbf p)|} {D^g_{t,n}(\mathbf p)+\epsilon}.$$

只有满足

$$e_{t,n}(\mathbf p)<\tau_c$$

的像素才进入 verified region $\Omega^v_{t,n}$。

最终 dual-source prior 定义成分段形式：

$$D^*_{t,n}(\mathbf p)= \begin{cases} D^g_{t,n}(\mathbf p), & \mathbf p\in\Omega^v_{t,n},\\ \bar D^m_{t,n}(\mathbf p), & M^g_{t,n}(\mathbf p)=0\ \land\ \bar D^m_{t,n}(\mathbf p)>0,\\ \emptyset, & \text{otherwise}. \end{cases}$$

这一式子就是论文的核心：

• verified overlap：相信 geometric depth；
• MVS 没覆盖：允许 aligned MDE 补 coverage；
• MVS 和 MDE 同时存在但冲突：谁都不信。

更关键的是，后续模块不会对这两类有效 depth 一视同仁。

4. Depth-guided Densification

3DGS/4DGS 可以渲染当前 depth：

$$\hat D_{t,n}(\mathbf p)= \frac{\sum_i w_i(\mathbf p)z_i(\mathbf p)} {A_{t,n}(\mathbf p)+\epsilon},$$

其中 $w_i=T_i\alpha_i$ 是 front-to-back compositing weight，$A=\sum_iw_i$ 表示该 pixel 是否已有足够 Gaussian contribution。

如果当前 rendered depth 无效，或者与 prior 差异很大：

$$\delta_{t,n}(\mathbf p)= \frac{|\hat D_{t,n}(\mathbf p)-D^*_{t,n}(\mathbf p)|} {D^*_{t,n}(\mathbf p)+\epsilon}>\tau_u,$$

则认为这里是 under-reconstructed region。

对应 pixel 被按照 $D^*$ back-project 到 3D，作为新 Gaussian center 的候选：

$$\mathbf x_{t,n,\mathbf p}=\Pi_n^{-1}(\mathbf p,D^*_{t,n}(\mathbf p)).$$

这一步允许 mono-only depth 参与。理由是：densification 的角色只是提出“这里可能需要补一个 primitive”，后续 RGB 和多视角优化仍有机会修正它；因此可以容忍更高的不确定性。

5. Consistency-aware Pruning

Pruning 则更谨慎，只使用 verified anchors 对现有 Gaussian 做几何判断。

对 Gaussian $g_k$，作者计算它在 verified pixels 上的 contribution-weighted depth inconsistency：

$$\widetilde E_k= \frac{\sum_{q\in\mathcal Q_k^v}w_{k,q} \frac{|z_{k,q}-D_q^*|}{D_q^*+\epsilon}} {\sum_{q\in\mathcal Q_k^v}w_{k,q}+\epsilon}.$$

再归一化为 $E_k\in[0,1]$。

同时计算 visibility-aware opacity contribution $O_k$，最后得到 pruning score：

$$S_k=\lambda_eE_k+\lambda_o(1-O_k), \qquad \lambda_e+\lambda_o=1.$$

含义是：

• depth inconsistent：几何位置可疑；
• opacity contribution 小：对 rendering 也不重要。

只有高 pruning score 连续多次出现时才真正删除 Gaussian，避免一次 noisy observation 就误删有效结构。

6. Verified-depth RGB-D Joint Optimization

Depth loss 也只在 verified prior + valid rendered depth 同时存在的位置计算：

$$r^D_{t,n}(\mathbf p)= \frac{\hat D_{t,n}(\mathbf p)-D^*_{t,n}(\mathbf p)} {D^*_{t,n}(\mathbf p)+\epsilon},$$ $$\mathcal L_{depth}= \frac{\sum_{\mathbf p\in\Omega^v_{t,n}} M^r_{t,n}(\mathbf p)\rho(r^D_{t,n}(\mathbf p))} {\sum_{\mathbf p\in\Omega^v_{t,n}}M^r_{t,n}(\mathbf p)+\epsilon}.$$

总目标：

$$\mathcal L=\mathcal L_{rgb}+\lambda_d\mathcal L_{depth}.$$

因此 mono-only depth 从不直接进入 depth loss。它只负责 densification proposal；强监督和 pruning 都必须经过 multi-source verification。

数据集

论文评测三个 dynamic novel-view synthesis benchmark：

• N3DV：6 scenes；
• Technicolor：5 scenes；
• ENeRF-Outdoor：3 scenes。

每个数据集都测试 2 / 3 / 4 camera sparse-view settings。只有指定 cameras 用于训练，其余有效 cameras 全部作为 held-out novel views。

评价指标包括 PSNR、两种 data range 下的 SSIM，以及 LPIPS。

算力

所有实验使用 单张 NVIDIA RTX 4090 24GB。

论文明确指出，dual-depth preprocessing 与周期性的 Gaussian structure updates 会增加训练时间，但正文没有给出像 StereoGS 那样完整的 per-scene minutes 对比表。

因此可以确认单卡 4090 可运行，但不能据此认为方法训练代价与原始 4DGS 相同。

实验结果

1. 九种 dataset-view setting 的主结果

D²-4DGS 在 N3DV、Technicolor、ENeRF-Outdoor 的 2/3/4-view 共 9 个设置中都取得最高 PSNR。论文报告相对于每个设置中最好的 competing method，平均提升约 1.33 dB。

例如 4-view：

• N3DV：24.9534 PSNR；
• Technicolor：29.1182 PSNR；
• ENeRF-Outdoor：22.0253 PSNR。

2-view 时优势尤其明显，因为此时 RGB cross-view constraint 最弱，错误 Gaussian 最容易在 training views 上过拟合。

Table 1 的完整九组结果说明，这个收益并非只出现在某一个数据集或某一个相机数量；从 2-view 到 4-view，dual-depth 仍然稳定改善 sparse-camera novel-view synthesis。

Fig. 3 的定性结果进一步显示，完整方法能减少动态物体边界的 floating primitives、foreground/background blending 和缺失结构；这与数值上的 PSNR 提升是同一个几何改进的两种表现。

2. 单一 prior 与 dual prior

在 N3DV sear_steak 4-view ablation 中：

• Backbone：25.3987 PSNR；
• Mono only：25.9236；
• MVS only：25.6174；
• Dual w/o alignment：25.8469；
• Dual w/o verification：26.1183；
• Full D²-4DGS：27.2302。

这组结果说明：

1. 单目和 MVS 单独用都有帮助；
2. Mono-only 比 MVS-only 更强，说明 sparse dynamic setting 中 dense coverage 很重要；
3. 但简单把两种 prior 拼在一起仍然达不到 full model；
4. alignment + verification 才是 dual-source fusion 真正有效的前提。

Fig. 4 的可视化消融说明，去掉 alignment 或 verification 后，depth prior 会在局部动态区域留下明显错误；full model 则把冲突区域排除在强监督之外。

3. Densification、Pruning、RGB-D 哪个最重要？

同一场景：

• w/o proposed Densification：26.0384；
• w/o Pruning：26.5217；
• w/o RGB-D depth regularization：26.4472；
• Full：27.2302。

移除 densification 的下降最大。这说明 sparse-camera dynamic reconstruction 的首要问题之一不是“已有 geometry 不够精”，而是 某些 surface 根本没有被表示出来。

这与 MDE 的优势非常契合：MVS 在弱纹理/遮挡处可能没有 depth，而 dense monocular prediction 至少能提出 missing-surface candidate。

Table 2 将 densification、pruning 和 RGB-D depth regularization 的组合放在一起比较。它支持一个重要的分工判断：densification 负责补上未表示的 surface，pruning 负责清除可疑结构，RGB-D supervision 再负责把保留下来的 geometry 拉回正确位置。

4. Pruning signal

在 ENeRF-Outdoor actor5_6：

• No pruning：21.1874 PSNR；
• Opacity only：21.5663；
• Depth only：21.9076；
• Joint：22.2082。

Depth inconsistency 比 opacity contribution 单独更有信息，因为一个 Gaussian 即使 photometric contribution 很强，也可能位于错误 depth；两者结合最好。

Table 3 与 Fig. 5 共同说明，pruning signal 需要同时观察 depth inconsistency 和 visibility-aware opacity contribution：只看其中一个信号，都会留下更多错误或低价值 Gaussians。

优势与不足

优势

1. 最大优点不是“用了两种 depth”，而是 按可靠性给不同 prior 分配不同权限。
2. MDE 的 dense coverage 被用于结构补全，但不会在未经验证区域直接变成强监督，避免把 MDE error 硬写进 4D geometry。
3. Prior 不只作为 loss，还直接控制 Gaussian densification 和 pruning，真正改变 representation structure。
4. 消融完整地证明 alignment、verification、densification、pruning、RGB-D supervision 都有独立贡献。

不足

1. Monocular depth 的校准仍然是逐帧 scale-shift；如果 MDE 存在 spatially varying local bias，这个 global affine alignment 本身不能修正。
2. 在 MVS 完全缺失的区域，densification 只能依赖 aligned monocular depth。论文也承认较大的 MDE error 会降低 structural completion accuracy。
3. 方法需要同步、已标定的 sparse multi-camera video，适用条件比普通单目视频 4D reconstruction 更严格。
4. Dual-depth preprocessing 和 structure update 增加训练成本，而且没有引入额外 temporal motion prior；动态几何的一致性主要仍依赖原 backbone。

记忆点

1. 不同 reliability 的 depth prior 不应该拥有相同的优化权限。
2. Verified MDE-MVS overlap → pruning + depth supervision；Mono-only → densification proposal；Conflict → discard。
3. 对 sparse-view 3DGS/4DGS，prior 的作用不应该只设计成一个 depth loss，还可以直接决定 在哪里新增 Gaussian、删除哪些 Gaussian。
4. Densification ablation 的下降最大，说明 sparse reconstruction 的关键瓶颈之一是 missing geometry，而不只是已有 surface 的位置误差。
5. 对单目深度下游研究最值得追问的是：D²-4DGS 用 MVS verification 给 MDE 分配可信度，但仍没有解决 MDE 自身的 spatial local bias 与 cross-view inconsistency。这正是可以继续深入的空间。