文章
56
标签
34
分类
7
主页
博文
分类
标签
归档
关于笔者
Zhu Low Key
M²Depth: Self-supervised Two-Frame Multi-camera Metric Depth Estimation
主页
博文
分类
标签
归档
关于笔者
M²Depth: Self-supervised Two-Frame Multi-camera Metric Depth Estimation
发表于
2024-12-08
|
更新于
2024-12-08
|
深度估计
|
总字数:
71
|
阅读时长:
1分钟
|
浏览量:
MFF
STF
Depth Decoder
Adaptive Depth Sample
自动驾驶
确定性模型,多相机输入
赞助
微信
支付宝
上一篇
Grounding Image Matching in 3D with MASt3R
问题描述给定两张图像 $I^1$ 和 $I^2$ ,分别由未知参数的相机 $C^1$ 和 $C^2$ 采集,恢复出一组像素对应点 ${(i,j)}$ Method 由于gt pointmaps是metric的,所以为了得到metric的预测,将原本的nomalize的因子设置为 $z:= \hat{z}$ Matching prediction head and loss回归的方法固有地会受到噪声地影响,且DUSt3R没有显式地针对matching任务做训练。 Matching head D^{1}=\mathrm{H e a d}_{\mathrm{d e s c}}^{1} ( [ H^{1}, H^{\prime1} ] ), \tag{8} D^{2}=\mathrm{H e a d}_{\mathrm{d e s c}}^{2} ( [ H^{2}, H^{\prime2} ] ). \tag{9}Head是一个简单的两层MLP以及非线性GELU激活函数,最后,将每个局部feature 归一化。 Matching objective 一张图像中的每一个local...
下一篇
DUSt3R: Geometric 3D Vision Made Easy
相关概念Pointmap将三维点的稠密二维场表示为pointmap $X \in\mathbb{R}^{W \times H \times3}$ ,对应分辨率为$W×H$ 的RGB图像 $I$,$X$描述了图像像素和三维场景点之间的一一对应关系。 假设每一条相机光线只会击中一个三维点,即忽略半透明表面的情况 Cameras and scene给定相机内参矩阵$K \in\mathbb{R}^{3 \times3}$ ,pointmap就能够根据给定的ground-truth 深度图$D \in\mathbb{R}^{W \times H}$ 获得: X_{i, j}=K^{-1} D_{i, j} \left[ i, j, 1 \right]^{\top}$X^{n,m}$表示相机$n$的pointmap $X^n$在相机$m$坐标系中的表示: X^{n, m}=P_{m} P_{n}^{-1} h \left( X^{n} \right) \tag{1}其中$P{m}, P{n} \in\mathbb{R}^{3 \times4}$ 是世界坐标系到相机坐标系的位姿,$h...
Zhu Jiajun
North-Western polytechnical University
文章
56
标签
34
分类
7
Follow Me
公告
记录读研过程中学习阅读的相关论文书籍与研究内容。部分前期论文阅读记录格式较乱,请多多包涵。后期会尽量统一论文阅读记录的格式。同时也将更新更多有趣的内容。
目录
1.
MFF
2.
STF
3.
Depth Decoder
4.
Adaptive Depth Sample
最新文章
VGGT: Visual Geometry Grounded Transformer
2025-04-02
Amodal Depth Anything: Amodal Depth Estimation in the Wild
2025-03-29
Depth Prompting for Sensor-Agnostic Depth Estimation
2025-03-26
Depth Any Camera: Zero-Shot Metric Depth Estimation from Any Camera
2025-03-24
Reconstruction vs. Generation: Taming Optimization Dilemma in Latent Diffusion Models
2025-03-07
简