BetterDepth: Plug-and-Play Diffusion Refiner for Zero-Shot Monocular Depth Estimation

Problem Formulation

feed-forward model：

$${\cal L}_{\mathrm{M D E}} ( {\bf d}_{i}, {\bf M}_{\mathrm{F F D}} ( {\bf x}_{i} ) ), \tag{1}$$

Diffusion model：

$${\cal L}_{\mathrm{D M}} \left( \epsilon, {\bf M}_{\mathrm{D M}} \left( {\bf x}_{i}, \mathrm{A d d N o i s e} ( {\bf d}_{i}, \epsilon, t ) \right) \right), \tag{2}$$

Framework

Global Pre-Alignment

给定预训练仿射不变深度模型$\bf{M}_{FFD}$ 和数据对$\bf{(x, d)} ∈ \bf{D}_{syn}$ ，先预测粗糙的深度图$\bf{\widetilde{d}}=\bf{M}_{FFD}(x)$，估计尺度$s$和偏移量$b$对$\bf{\widetilde{d}}$进行对齐：

$$\tilde{\mathbf{d}}^{\prime}=s \tilde{\mathbf{d}}+b, \mathrm{~ w h e r e ~} ( s, b )=\operatorname{a r g} \operatorname* {m i n}_{s, b} \left\| s \tilde{\mathbf{d}}+b-\mathbf{d} \right\|_{2}^{2}. \tag{3}$$

VAE Encoder将$\bf{x, \widetilde{d}^{‘}, d}$转换到潜在空间，然后对$\bf{d}$加噪声得到$\bf{z}^{d}_t$和$\bf{z^x,z^{\widetilde{d}^{‘}}}$连接输入UNet训练。

Local Patch Masking

将$\bf{\widetilde{d}^{‘}, d}$分为多个patch，然后计算对应patch的欧氏距离比较patch之间的相似性：

$$\mathrm{D i s t} ( \tilde{\bf d}_{n}^{\prime}, {\bf d}_{n} )=\left\| \tilde{\bf d}_{n}^{\prime}-{\bf d}_{n} \right\|_{2}, \tag{4}$$

mask：

$$M_{n}=\left\{\begin{matrix} 1, & \mathrm{i f ~ D i s t ( \tilde{d}_n ', \mathbf{d}_n ) \leq~ w \cdot~ \eta~}, \\ 0, & \mathrm{o t h e r w i s e}, \\ \end{matrix} \right. \tag{5}$$ $$\mathcal{L}=\mathbb{E}_{\mathbf{z}, \boldsymbol{\epsilon} \sim\mathcal{N} ( \mathbf{0}, \mathbf{I} ), t \sim\mathcal{U} ( T )} \left[ \frac{1} {\gamma} \left\| \hat{v}_{\theta} ( \mathbf{z}, t ) \odot m-v ( \mathbf{z}_{0}^{\mathbf{d}}, \boldsymbol{\epsilon}, t ) \odot m \right\|_{2}^{2} \right], \tag{6}$$

Inference Strategies

精细的细节是diffusion model 带来的么，如果不是的话，diffusion 的部分是不是也可以更换为传统的回归模型