D4D: An RGBD diffusion model to boost monocular depth estimation

方法

阶段一

对NYU和KITTI中的RGBD样本进行预处理，进行归一化以及rescale，分辨率跟第三阶段所采用的model有关

阶段二

第二阶段对输入的RGBD进行前向和后向操作训练网络，同时通过S1和S2两种不同的训练配置，得到不同的生成数据，其中$S1$使用$L1$ loss，$β$策略采用线性策略，$S2$使用$L2$ loss，$β$采用余弦策略

$$S 1 : L 1=\frac{1} {| \mathcal{P} |} \sum_{p \in\mathcal{P}} | | x_{p}-y_{p} | |_{1}, \; \; \beta=l i n e a r \tag{3}$$ $$S 2 : L 2=\frac{1} {| \mathcal{P} |} \sum_{p \in\mathcal{P}} | | x_{p}-y_{p} | |_{2}^{2}, \; \; \beta=c o s i n e \tag{4}$$

最终得到的$S3$就是$S1$和$S2$的并集

$$S 3=( s 1 \cup s 2 ) \; w h e r e \begin{cases} S 1 : \{l o s s : L 1, & \beta: l i n e a r \} \\ S 2 : \{l o s s : L 2, & \beta: c o s i n e \} \\ \end{cases} . \tag{5}$$

最终用于后续训练的增强训练数据集由$S3$和原始的训练数据组成

阶段三

用构建的增强训练数据集对多个model进行训练