2K Retrofit: Entropy-Guided Efficient Sparse Refinement for High-Resolution 3D Geometry Prediction
作者:Tianbao Zhang,Zhenyu Liang,Zhenbo Song,Nana Wang,Xiaomei Zhang, Xudong Cai,Zheng Zhu,Kejian Wu,Gang Wang,Zhaoxin Fan 单位:BUAA,SJTU ,GigaAI,XREAL,NUST,RUC,NUDT,UCAS,BIBMS 会议:2026...
DVD: Deterministic Video Depth Estimation with Generative Priors
作者:Hongfei Zhang, Harold Haodong Chen, Chenfei Liao, Jing He, Zixin Zhang, Haodong Li, Yihao Liang, Kanghao Chen, Bin Ren, Xu Zheng, Shuai Yang, Kun Zhou, Yinchuan Li, Nicu Sebe, Ying-Cong Chen 单位:HKUST(GZ), HKUST, UCSD, Princeton University, MBZUAI, SZU, Knowin, UniTrento 会议:2026 Arxiv 链接:https://arxiv.org/abs/2603.12250 研究动机1.生成式方法具有强大的视频先验和零样本泛化能力,但容易出现随机采样带来的几何幻觉和尺度漂移 2.判别式方法虽然稳定高效,但又高度依赖大规模标注数据来消除语义歧义 3.打破这种...
DepthMaster: Taming Diffusion Models for Monocular Depth Estimation
作者:Ziyang Song, Zerong Wang, Bo Li , Hao Zhang , Ruijie Zhu , Li Liu , Peng-Tao Jiang , Tianzhu Zhang 单位:University of Science and Technology of China, VIVO 会议:2025 Arxiv 链接:https://indu1ge.github.io/DepthMaster_page/ 研究动机 现有的生成式深度估计模型,生成模型的中间特征会对纹理进行过度表达,导致错误的纹理预测 为了提高推理速度,采用单步去噪推理,但会丢失细节 核心方法 1.通过特征对齐模块,引入额外的视觉特征增强生成模型特征2.通过傅立叶增强模块提高模型的细节表达能力数据集Train: Hypersim Virtual KITTI Eval: NYUv2 ScanNet KITTI ETH3D DIODE 算力1张H800 实验结果 优势与不足优势 率先采用了Feature...
PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation
作者:Wenlong Huang, Yu-Wei Chao, Arsalan Mousavian, Ming-Yu Liu Dieter Fox, Kaichun Mo, Li Fei-Fei 单位:Stanford University,NVIDIA 会议:2026 Arxiv 研究动机 对于通用机器人而言,在非结构化环境中进行世界建模是至关重要的 基于物理的模型 : 预测精准,但面临“虚实差距 ”,且需要针对特定环境进行繁琐的建模。 基于学习的动力学模型: 虽然能从交互中学习,但通常依赖于特定领域的归纳偏置 视频生成模型: 虽然能生成逼真的视觉效果(如 Sora 等),但缺乏明确的动作条件控制,且在物理一致性上往往表现不佳 核心方法 1.利用Point Flow对状态动作进行统一的建模 2.对静态动态点的Loss进行加权处理,对noise...
MetricAnything: Scaling Metric Depth Pretraining with Noisy Heterogeneous Sources
作者:Baorui Ma,Jiahui Yang,Donglin Di,Xuancheng Zhang, Jianxun Cui, Hao Li, Xie Yan, Wei Chen 单位:Li Auto Inc 会议:2026 Arxiv 链接:https://metric-anything.github.io/metric-anything-io/ 研究动机由于数据来源复杂,暂无工作将Scaling原则应用于绝对深度估计,实现一个通用的模型 核心方法1.构造20M数据 2.Deep-to-Deep...
WildRayZer: Self-supervised Large View Synthesis in Dynamic Environments
作者:Xuweiyi Chen, Wentao Zhou, Zezhou Cheng 单位:University of Virginia 会议:2026 CVPR 链接:https://wild-rayzer.cs.virginia.edu/ 研究动机现有自监督新视角合成方法均基于三维场景静态假设 核心方法 1.构造动态数据集通过挖掘网络手持影像构建动态数据集D-RE10K 2.融合DINOV3特征的伪运动标签构建 3.mask动态物体进行render数据集 Dynamic RealEstate-10K D-RE10K-iPhone RealEstate10K 算力4张H100 实验结果 优势与不足优势 完全自监督 拓展了自监督NVS在动态场景中的应用 不足 所预测的运动mask质量仍有待提高,对于特殊的纹理,如人影等仍然work得不好,部分分割与欠分割 并不算是真正的动态场景重建,并不能够将动态的物体重建出来 记忆点 Unposed 用COCO数据集的物体标签直接复制粘贴到图像中,以增强模型对随机物体的鲁棒性 DINOV3特征能够加快收敛,预测结果更加Sharp
VGGT: Visual Geometry Grounded Transformer
摘要三维计算机视觉通常被约束在单个任务中,因此我们提出了VGGT,一个前馈神经网络,直接推理场景的所有三维属性,包括相机参数,点云,深度图和三维点轨迹。同时该方法简单且效率高,可以在一秒内重建图像。 简介传统的三维重建任务采用视觉几何方法,但是会增加求解的复杂性和计算成本。DUSt3R等方法虽然能直接使用一个神经网络实现三维任务,但只能接受两个图像的输入,需要后处理来重建更多的图像。 VGGT不需要特定的网络,使用的是标准的transformer结构,在大规模公开数据集上训练。尽管存在潜在的冗余,但学习预测这些相互关联的3D属性可以提高整体准确性。在推理过程中,我们可以从单独预测的深度和相机参数中推导出点云,相比使用点云head可以得到更高的精度。 方法 问题定义和符号输入是$N$张图像$I_i \in \mathbb{R}^{3 \times H \times W}$ 的序列$(I_i)^N_{i=1}$,VGGT transofrmer将序列映射为对应的三维注释: f \left( (I_i)_{i=1}^N \right) = (\mathbf{g}_i, D_i,...










