CAM3R: Camera-Agnostic Model for 3D Reconstruction

作者：Namitha Guruprasad, Abhay Yadav, Cheng Peng, Rama Chellappa

单位：Johns Hopkins Universit，University of Virginia

会议：2026 Arxiv

链接：https://nam1410.github.io/cam3r/

cam3r-1

研究动机

1.现有的模型在透视图像数据集上训练，局限在针孔相机几何，在大视场角无矫正图像上几何退化严重

2.直接对畸变图像进行矫正会导致图像被严重拉伸，丢弃掉曲率较高的边缘区域

核心方法

cam3r-2

1.Ray Module

参考UniK3D预测球谐函数表示相机光线

$d_i(u)=\frac{\sum_{l=1}^{L}\sum_{m=-l}^{l} c^i_{l,m}Y_l^m(\psi(u))}{\left\|\sum_{l=1}^{L}\sum_{m=-l}^{l} c^i_{l,m}Y_l^m(\psi(u))\right\|_2}$

2.Cross-view Module

参考Dust3R的结构形式进行信息交互与特征提取，最后用DPT head回归radial distance和对应的confidence map。额外采用一个relative pose模型回归图二到图一的位姿变换。

3.损失函数

非对称角度损失：

$\mathcal{L}^{\alpha}_{AA}(\hat{\theta},\theta^*)=\sum_{j:\hat{\theta}_j<\theta_j^*}\alpha\left|\hat{\theta}_j-\theta_j^*\right|+\sum_{j:\hat{\theta}_j\geq\theta_j^*}(1-\alpha)\left|\hat{\theta}_j-\theta_j^*\right|$ $\mathcal{L}_A=\beta\mathcal{L}^{0.7}_{AA}(\hat{\theta},\theta^*)+(1-\beta)\mathcal{L}^{0.5}_{AA}(\hat{\phi},\phi^*)$

回归损失：

计算归一化因子消除尺度模糊：

$\eta_v=\mathrm{mean}_{u\in D^v}\|X^{v,v}(u)\|_2,\qquad \bar{\eta}_v=\mathrm{mean}_{u\in D^v}\|\bar{X}^{v,v}(u)\|_2$ $\mathcal{L}_{regr}=\sum_{v\in\{1,2\}}\sum_{u\in D^v}\left\|\frac{1}{\eta_v}X^{v,v}(u)-\frac{1}{\bar{\eta}_v}\bar{X}^{v,v}(u)\right\|_2^2$

相对位姿损失：

用预测的点图与GT之间的比值对平移进行缩放

$\mathcal{L}_{rot}=\arccos\left(\frac{\mathrm{Tr}(R_{2\to1}\bar{R}_{2\to1})-1}{2}\right)\\ \mathcal{L}_{trans}=\left\|t_{2\to1}-t^*_{2\to1}\right\|_2^2$