md4all:Robust Monocular Depth Estimation under Challenging Conditions

md4all-AD: Always Daytime, No Bad Weather

输入图像经过depth model得到prediction，然后将源图像warp到目标视角中，利用monodepth2中的最小重投影误差$L_p$进行监督，忽略静态像素。

$${\mathcal{L}}_{1} ( I_{t}, {\hat{I}}_{t} )=\left\| I_{t}-{\hat{I}}_{t} \right\|_{1}$$ $${\cal L}_{\mathrm{S S I M}}=1-\mathrm{S S I M} \left( I_{t}, \hat{I}_{t} \right)$$ $$p e \left( I_{t}, \hat{I}_{t} \right)=\left( 1-\alpha\right) {\mathcal{L}}_{1} ( I_{t}, \hat{I}_{t} )+{\frac{\alpha} {2}} {\mathcal{L}}_{\mathrm{S S I M}} ( I_{t}, \hat{I}_{t} )$$ $$\mathcal{L}_{p} \left( I_{t}, \hat{I}_{s \to t} \right)=\operatorname* {m i n}_{s} p e \left( I_{t}, \hat{I}_{s \to t} \right).$$ $$M_{a}=\operatorname* {m i n}_{s} {\mathcal{L}}_{p} \left( I_{t}, I_{s} \right) > \operatorname* {m i n}_{s} {\mathcal{L}}_{p} \left( I_{t}, \hat{I}_{s \to t} \right).$$

$L_s$​促进平滑，保留边缘。两个损失函数在所有解码器尺度上进行计算。

$${\mathcal{L}}_{s} \left( I_{t}, d_{t}^{*} \right)={\frac{1} {N}} \sum_{p \in N} \sum_{i \in x, y} \left| \partial_{i} d_{t}^{*} ( p ) \right| e^{-\left| \partial_{i} I_{t} \right|}$$

添加弱速度监督项，获得尺度感知

$${\mathcal{L}}_{v} \left( {\hat{\mathbf{t}}}_{t \to s}, \mathbf{t}_{t \to s} \right)=\left| \| {\hat{\mathbf{t}}}_{t \to s} \|_{2}-\| \mathbf{t}_{t \to s} \|_{2} \right|$$

• Day-to-adverse translation

  利用translation model 将day-clear的图像转换为challenging ones

  训练机制

  将challenging condition下的image按x%的比例混合进输入图像集

  根据记录时间的不同对图像进行归一化

  • 通过整个数据集预先计算像素值的平均值和方差，然后对不同时间的输入分别进行归一化

  对于具有很严重噪声的相机传感器采集到的图像，添加更多的噪声进行数据的增强，输入中大约有50%添加了噪声，但在计算loss时采用的是未添加噪声的样本

  • 采用均值分布[0.005,0.05]并将像素值限制到[0，1]

  无论输入的图像是什么条件下的，计算Loss时始终在day-clear的环境下计算

  Inference

  在inference阶段不再使用pose models

md4all-DD: Day Distillation

蒸馏损失

$${\cal L}_{d}=\frac{1} {N} \sum_{j=1}^{N} \frac{| D D ( m_{i} )_{j}-B ( e_{i} )_{j} |} {D D ( m_{i} )_{j}}$$

md4all - Supervised

对于监督的方法，同样采用md4all-AD的流程，只采用day-clear条件下的雷达信号进行监督学习