Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation

方法

数据清洗及合理数据掩码生成

为了消除不合理像素对训练的影响，使用GroundingSAM将不合理的区域滤除。对于有效像素占比低于20%的图像也进行溢出。

教师模型

对无标签图像使用立方体投影，然后用Depth Anything对投影后的patch进行预测，将360度模型的预测结果投影到立方体视图，再和Depth Anything的输出计算Loss。

随机旋转处理

由于Depth Anything在立方体的每一个面上进行估计，缺乏对场景的综合理解，所以会出现伪影。

在等矩形坐标系下应用旋转矩阵：

$$( \hat{\theta}, \hat{\phi} )=\mathcal{R} \cdot( \theta, \phi). \tag{1}$$

从等矩形到立方体投影，立方体每一个面的视场角等于90度，每一个面都能够看作一个焦距为$w/2$的透视相机，所有的面共用世界坐标系中的中心点。因此每一个相机的外参矩阵能够用一个旋转矩阵定义，则每个面上的像素表示为：

$$p=K \cdot R_{i}^{T} \cdot q, \tag{2}$$ $$q=\left[ \begin{matrix} q_{x} \\ q_{y} \\ q_{z} \\ \end{matrix} \right]=\left[ \begin{matrix} s i n ( \theta) \cdot\operatorname{c o s} ( \phi) \\ \operatorname{s i n} ( \phi) \\ \operatorname{c o s} \theta\cdot\operatorname{c o s} \phi \\ \end{matrix} \right], K=\left[ \begin{matrix} w / 2 & 0 & w / 2 \\ 0 & w / 2 & w / 2 \\ 0 & 0 & 1 \\ \end{matrix} \right], \tag{3}$$

损失函数

仿射不变损失：

$$\mathcal{L} 1=\frac{1} {H W} \sum_{i=1}^{H W} \rho( d_{i}^{*}, d_{i} ), \tag{4}$$ $$\rho( d_{i}^{*}, d_{i} )=| \hat{d}_{i}^{*}-\hat{d}_{i} |. \tag{5}$$ $$\hat{d}_{i}=\frac{d_{i}-t ( d )} {s ( d )}, \tag{6}$$ $$t ( d )=\mathrm{m e d i a n} ( d ), \quad s ( d )=\frac{1} {H W} \sum_{i=1}^{H W} | d_{i}-t ( d ) |. \tag{7}$$