MoRe: Monocular Geometry Refinement via Graph Optimization for Cross-View Consistency

作者： Dongki Jung, Jaehoon Choi, Yonghan Lee, Sungmin Eum, Heesung Kwon, Dinesh Manocha

单位： University of Maryland, College Park；DEVCOM Army Research Laboratory

会议： WACV 2026

MoRe-0

研究动机

MoRe 讨论的是一个非常直接的下游问题：单目 3D foundation model 单帧预测很好，但把多个视角的 point map 放到同一个世界坐标系后，为什么仍然对不齐？

以 MoGe 为代表的 monocular geometry model 可以预测细节丰富的 point map 和 normal，但每一帧都是独立推理。即使 camera pose 已知，把各视角 point map 变换到共同坐标系后，仍然会受到 monocular affine ambiguity、局部形状误差和跨视角不一致的影响。结果就是：

同一真实表面在不同视角下形成多个平行或错位的表面；
feature correspondence 对应的 3D points 仍有明显 residual；
直接做 global scale/shift 可以改善整体位置，但不能消除像素级几何残差；
简单最小化 matched 3D points 的 Euclidean distance 又容易被 noisy correspondence 拉坏。

MoRe 的核心判断是：

跨视角 alignment 不能只看“对应点应该重合”，还应该利用 point map 本身已经给出的局部 surface geometry。

因此作者没有训练新的 multi-view network，而是把 monocular point map 当作可优化的显式几何变量，通过 feature matches 建立 inter-frame graph，再用 local planar approximation、surface normal、camera ray 等传统几何约束做 training-free refinement。

这篇论文最值得关注的地方在于：它把“单目深度/point map 到多视角重建”的问题，从 global scale alignment 推进到了 pixel-level 3D geometry optimization。

核心方法

1. 输入与总体流程

给定 reference/source images，MoRe 首先使用 monocular 3D foundation model $F_\theta$ 独立预测 point maps：

$\hat{\mathbf P}^{ref}=F_\theta(\mathbf I^{ref}),\qquad \hat{\mathbf P}^{src}=F_\theta(\mathbf I^{src}).$

同时使用 dense image matcher 得到像素对应关系：

$\mathbf c^{ref},\mathbf c^{src}=M_\theta(\mathbf I^{ref},\mathbf I^{src}).$

之后分两步：

Initial Alignment：先解决大尺度的 scale/shift ambiguity；
Graph Optimization：直接优化 3D point map 和 surface normals，消除 local residual。

作者默认使用 MoGe 作为 monocular geometry prior，但方法本质上是一个后处理框架。

MoRe-1

2. Case 1：有 camera pose 时的 affine alignment

如果外部 camera pose 已知，先把不同视角的 point maps 变换到共同世界坐标。然后利用 matched points 解一个 scale + 3D shift：

$(\alpha^*,\boldsymbol\beta^*)= \arg\min_{\alpha,\boldsymbol\beta} \sum_{(i,j)\in\mathcal C} \frac{1}{z_i} \|\alpha\hat{\mathbf P}^{src}_j+\boldsymbol\beta- \hat{\mathbf P}^{ref}_i\|_1.$

其中 $\alpha$ 是 source view 的全局 scale，$\boldsymbol\beta\in\mathbb R^3$ 是 3D shift。

这一步只能做 coarse registration。论文的关键现象是：即使 matched points 在整体上已经靠近，局部 residual 仍然大量存在。 这正是后续 graph refinement 的动机。

3. Case 2：没有 pose 时使用 MadPose

当 camera pose 不给定时，MoRe 使用 MadPose 从 image matches 与 affine-invariant depth 中联合估计 relative pose、scale 和 depth shift。

作者还发现 MadPose 的 shift 有时会异常增大，压过 relative scale，导致 depth map 失真。因此将 shift 上界限制为有效 depth IQR 的 $0.5\times$，属于一个很实用的稳定化处理。

4. 核心：Local-Planar Graph Optimization

Initial alignment 后，作者把 3D points 看成 graph nodes，用“两个点是否可能属于同一个局部平面”构造 edges。

局部平面最基本的约束是：对于局部 normal $\mathbf ni$ 和邻居 point $\mathbf P{i’}$，如果它们属于同一 surface，应满足

$\mathbf n_i\cdot(\mathbf P_{i'}-\mathbf P_i)\approx0.$

MoRe 将这个简单几何关系扩展成四类约束。

MoRe-2

4.1 Intra-frame planar constraint

同一帧相邻像素之间保持局部共面，同时 normal 不应剧烈跳变：

$L_{intra}^{ref}= \sum_i\sum_{i'\sim i}w_{ii'}^{2D} \left( |\mathbf n_i^{ref}\cdot(\mathbf P_{i'}^{ref}-\mathbf P_i^{ref})| +\gamma\|\mathbf n_{i'}^{ref}-\mathbf n_i^{ref}\|_2 \right).$

它负责保留 monocular point map 原本较好的局部 surface structure，避免跨视角对齐把单帧几何拉散。

4.2 Inter-frame constraint

对 feature matcher 给出的对应点及其邻域建立跨视角平面约束。相比直接要求两个 matched 3D points 完全重合，local plane constraint 对 correspondence noise 更鲁棒，因为它允许点沿切平面方向有一定自由度，而重点惩罚偏离 surface 的法向误差。

这也是 MoRe 相比“matched points + least squares”的核心区别。

4.3 3D kNN constraint

2D matcher 只覆盖部分区域，不能保证所有 surface 都有跨视角 matches。因此作者在当前 3D point cloud 中做 cross-view kNN，给没有直接 feature match 的区域补充几何连接。

对应 loss 同时考虑：

reference normal 下的 point-to-plane error；
source normal 下的 point-to-plane error；
两侧 normal consistency。

默认使用 $k=4$。

4.4 Camera-ray constraint

MoRe 直接优化 xyz point coordinates，而不是只优化 depth。优点是 point 可以在三个方向移动，更容易消除 point-map 的横向偏差；风险则是优化后的 point 可能离开对应像素的 viewing ray。

因此加入：

$L_r^{ref}=\sum_i\|\mathbf r_i^{ref}\times\mathbf P_i^{ref}\|_2,$

本质上最小化 3D point 到原始 camera ray 的距离。

5. 防止 trivial solution

如果只优化上述跨视角几何，point cloud 可能整体塌缩或偏离 monocular prior。因此还加入：

shape/scale regularization $L_s$：约束 refined geometry 与原 point map 保持 similarity-like structure；
normal regularization $L_n$：约束 optimized normal 不要过度偏离输入 normal；
confidence mask：只在 monocular model 较可信区域施加强 prior。

总目标为：

$L_{total}=\sum_{v\in\{ref,src\}} \lambda_p(L_{intra}^v+L_{inter}^v+L_{knn}^v) +\lambda_rL_r^v+\lambda_sL_s^v+\lambda_nL_n^v.$

论文设置 $\lambda_p=30,\lambda_r=50,\lambda_s=0.1,\lambda_n=10$。

数据集

Multi-view depth / geometry evaluation：

KITTI
ScanNet
ETH3D
DTU
Tanks and Temples

3D reconstruction：DTU。

Sparse-view novel-view synthesis：Tanks and Temples，按照 InstantSplat 类似设置，使用约 3/6/12 个 training views。

论文统一将测试图像最长边缩放到 512 pixels。

算力

MoRe 是 training-free optimization method，没有额外网络训练成本，但每组视角需要 test-time graph optimization。

作者使用 Adam 和 two-level multi-scale optimization：两个 level 各优化 50 iterations，学习率均为 $5\times10^{-3}$。

补充材料给出 L40S 上的运行量级：

512×377、5000 matches、kNN $k=4$：约 1.6 s / 838 MiB；
640×471：约 2.5 s / 1354 MiB；
$k=16$：约 2.0 s / 1152 MiB。

因此它比重新训练网络便宜很多，但本质仍是 per-scene / per-pair iterative optimization，处理大量帧时扩展性会成为问题。

实验结果

1. Multi-view depth

在不提供 GT pose/depth range/intrinsics 的设置中，论文报告：

DUSt3R：Average Rel 4.73，$\tau$ 64.52；
MoRe：Average Rel 3.74，$\tau$ 64.48。

这里需要谨慎解读：MoRe 在平均 Rel 上明显更低，但 $\tau$ 与 DUSt3R 基本相当，并不是所有指标都全面领先。

Table 1 还把结果拆成不同的 pose、intrinsics 和 depth-range 条件：在没有 GT pose/depth range 的设定中，MoRe 的平均 Rel 为 3.74，说明 refinement 的收益并不依赖额外的 GT 深度范围。

MoRe-3

更重要的是 ablation：

MoGe：Rel 3.91 / $\tau$ 63.84；
MoRe-align：3.78 / 64.15；
MoRe-full：3.74 / 64.48。

说明 global affine alignment 已能拿到大部分收益，而 graph optimization 进一步带来较小但稳定的 pixel-level refinement。这一点很有研究价值：global scale/shift 确实不是终点，但 local refinement 的增量收益相对更细。

2. DTU 3D Reconstruction

MoRe 在 DTU zero-shot reconstruction 中取得 Acc. 2.202、Comp. 1.352、Overall 1.777。它没有超过针对 DTU 训练的经典 MVS 方法，但在使用相同 GT camera 参数的比较下优于论文中的 DUSt3R variant。

Table 2 的分组结果也应一起看：MoRe 的 zero-shot 行为是 Acc. 2.202、Comp. 1.352、Overall 1.777；它并没有超过针对 DTU 训练的传统或 learning-based MVS 方法。

MoRe-5

Figure 4 的可视化显示，MoGe 的单帧 depth 细节可以保留，但直接合并的 point cloud 会出现跨视角错位；MoRe 在保持细节的同时让 3D 点云更一致。

MoRe-4

因此这部分更支持“monocular foundation geometry 可以通过显式几何优化变成可用的 multi-view initialization”，而不是证明 MoRe 已替代专门 MVS。

3. Sparse-view 3DGS initialization

作者把 refined point maps 作为 3DGS dense initialization，并跳过常规 densification，用 novel-view synthesis 检查几何 initialization 是否真的更好。

在 Tanks and Temples 的 3-view 设置、200 optimization steps 下：

DUSt3R initialization：PSNR 13.77；
Ours-align：17.99；
Ours-full：18.48。

1000 steps 后 Ours-full 达到 19.93 PSNR，而 DUSt3R 为 14.10。

Table 4 和 Figure 5/6 共同说明了下游效果：Ours-full 在 200 steps 的 3-view PSNR 为 18.48，1000 steps 为 19.93；可视化中 refined pointmap 作为初始化后，结构比 DUSt3R、EDGS 或仅 affine alignment 更稳定。

MoRe-7

MoRe-8

MoRe-9

这说明 MoRe 的价值不只体现在 depth metric，而是 更一致的 initial geometry 能显著改变后续 3DGS 的优化起点和收敛速度。

不过 graph optimization 相比仅 affine alignment 的提升并没有初始化整体提升那么大，因此不能把所有收益都归因于复杂 graph loss。

Table 3 的消融也支持这个判断：MoGe 到 MoRe-align 已经把 rel 从 3.91 降到 3.78，加入 graph optimization 后进一步到 3.74；图优化更像是在已有 affine alignment 上完成最后一段局部一致性修正。

MoRe-6

优势与不足

优势

训练自由，能直接把现有 monocular geometry foundation model 当作模块使用。
把 global scale/shift 对齐之后仍然存在的 residual 明确建模为 pixel-level 3D geometry refinement。
不仅依赖 sparse correspondence，还利用 local plane、normal、3D kNN 和 ray constraint，让优化具有明确几何含义。
下游 3DGS 实验证明“单帧指标”和“作为 3D initialization 是否好用”确实是两个不同评价维度。

不足

graph optimization 是 iterative test-time optimization，多帧增量处理的计算复杂度较高，论文自己也将 scalability 列为 limitation。
local planar approximation 假设对曲面、细结构、复杂动态物体并不总成立，虽然 edge weight 与 normal 能缓解，但不能完全消除模型偏置。
3D kNN 是基于当前几何寻找邻居。如果 initial alignment 本身错得很大，错误近邻可能反过来强化错误结构。
从 ablation 看，affine alignment 已经贡献大部分 depth 指标提升；graph refinement 的收益更像“最后一公里”，需要结合更严格的 reconstruction metric 判断成本是否值得。

记忆点

Global scale/shift 只能解决 coarse registration，不能保证同一 3D surface 在多视角中真正重合。
对 noisy correspondence，与其强迫 matched 3D points 点对点重合，不如使用 point-to-local-plane 约束。
直接优化 xyz 比只优化 depth 自由度更高，但必须配合 camera-ray constraint 防止 point 离开原像素射线。
2D matches 负责建立可靠跨视角关系，3D kNN 负责补 coverage，这是一种“稀疏可靠 + 稠密扩展”的图构造方式。
对单目深度进入 3DGS 的问题，MoRe 最重要的启示是：应直接评估多视角投影后的 3D 分布/残差，而不是只关注每帧 depth metric。