Depth Any Camera: Zero-Shot Metric Depth Estimation from Any Camera
摘要虽然当前的深度基础模型展现出了强大的泛化能力,但对于不同的相机类型要获得精确的绝对深度仍然是一个具有挑战性的问题,尤其是对于大视场角的相机,例如鱼眼和360度相机。 提出了一个零样本的的绝对深度估计框架Depth Any...
Reconstruction vs. Generation: Taming Optimization Dilemma in Latent Diffusion Models
摘要具有Transformer架构的潜在扩散模型在生成高保真图像方面表现出色。然而近期的研究揭示了这种两阶段设计中的优化困境:虽然增加视觉 tokenizers 中每一个 token 的特征维度能够改善重建质量,但是需要更大的扩散模型和更多的训练迭代来实现可比的生成性能。 现有的系统得到的是次优的解决方案,由于 tokenizers 中信息的损失会产生视觉伪影,由于高昂的计算成本而无法完全收敛。 上述困境来源于学习无约束高维潜在空间的固有困难。 提出在训练视觉 tokenizers 的时候将潜在空间和预训练的视觉基础模型相对齐。提出VA-VAE(视觉基础模型对齐的变分自编码器),使DiT在高维潜在空间获得更快地收敛。 构建了增强的DiT基线,改善了训练策略和结构设计,称为LightingDiT。 贡献提出的视觉基础模型对齐损失解决了潜在扩散模型中的优化困境,使DiT在高维...
Improving the Diffusability of Autoencoders
摘要鲜有人研究autoencoder和diffusion model之间的相互作用 autoencoder潜在空间中的高频分量会影响diffusion生成过程与质量 提出scale equivariance的正则化策略,在decoder中对潜在空间与RGB空间进行频率对齐 只需要改变较少的代码,20K步autoencoder的微调,就能够提高生成质量 简介Diffusability描述了通过扩散过程对分布进行建模的难易程度:高Diffusability表示分布易于拟合,而低Diffusability则使过程更加复杂 扩散模型鼓励误差累积推迟到频谱的高频部分,但是如果autoencoder的潜在低频部分与RGB空间中的对应部分的对应关系丢失了,就会影响重建的准确性。 现有的autoencoders中的潜在空间中存在突出的高频分量,与RGB信号中的频谱分布存在明显偏离,会影响重建的RGB结果,造成明显的视觉伪影。 标准的KL正则化不足以处理频谱缺陷,甚至可能放大问题。 方法背景:Blockwise 2D DCT给定以为二维信号块...
Scalable Diffusion Models with Transformers
摘要基于transformer结构构建了一类新的扩散模型,DiT。即使增加transformer的深度/宽度或者增加输入tokens的数量,依旧能够保持更低的FID。最大的DiT-XL/2模型在ImageNet 512×512和256×256基准上性能优于所有先前的扩散模型,在后者上实现了2.27的FID。 方法预备知识1.扩散模型前向加噪过程:对真实数据逐步添加噪声: x_{0}: q(x_t|x_0)={\cal N} ( x_{t} ; \sqrt{\bar{\alpha}_{t}} x_{0}, ( 1-\bar{\alpha}_{t} ) {\bf I} ) x_{t}=\sqrt{\bar{\alpha}_{t}} x_{0}+\sqrt{1-\bar{\alpha}_{t}} \epsilon_{t}, \quad where\quad\epsilon_{t} \sim{\mathcal{N}} ( 0, \mathbf{I} )对扩散模型进行训练,学习正向加噪过程的反向过程: p_{\theta}\left(x_{t-1} \mid...
[模拟电子技术基础]第五章:集成运算放大器的基本应用电路
5.1 集成运算放大器的符号、模型、电压传输特性5.1.1 集成运算放大器的符号、模型级理想运算放大器条件 集成运算放大器的一般符号 电压放大器 Auo为开环电压放大倍数 理想运放条件 虚断:两个输入端断路,电流趋于零 虚短:两个输入端之间短路(工作在线性区) 5.1.2 集成运算放大器的电压传输特性 输出电压等于开环电压放大倍数与输入端电压之差,受电源电压的限制,因此差模电压很小 5.2 反相比例放大器与同相比例放大器5.2.1 反相比例放大器 1.闭环增益与电压传输特性 由虚断可知,Ii=If,由虚短可知,U-=U+=0,由此可得闭 并不会哈哈哈哈哈哈哈哈哈环增益表达式 \dot{I}_{i}=\frac{\dot{U}_{i}-\dot{U}_{-}} {R_{1}} \approx\frac{\dot{U}_{i}} {R_{1}} \dot{I}_{\mathrm{f}}=\frac{\dot{U}_{-}-\dot{U}_{\mathrm{o}}} {R_{2}}...
[模拟电子技术基础]第三章:双极型晶体管和场效应管放大器基础
3.1放大器的基本概念电子技术中的放大是将微弱的变化信号放大成较大的电信号,以推动负载正常工作。放大电路放大的本质是能量的控制和转换;电子电路放大的基本特征是功率放大;放大的前提是不失真。 3.1.1四种放大器及四种放大倍数定义 由于放大器可等效为有源二端口网络,且输入量可分别取电压或电流,因此一共存在四种不同的组合与四种放大倍数。 电压放大倍数:输出电压与输入电压之比 \dot{A}_{u}=\frac{\dot{U}_{\circ}} {\dot{U}_{i}} \quad (输出电压与输入电压之比) 电流放大倍数:输出电流与输入电流之比 \dot{A}_{i}=\frac{\dot{I}_{\circ}} {\dot{I}_{i}} \quad (输出电流与输入电流之比) 互阻放大倍数:输出电压与输入电流之比 \dot{A}_{r}=\frac{\dot{U}_{\circ}} {\dot{I}_{i}} ( \Omega)\quad (输出电压与输入电流之比) 互导放大倍数:输出电流与输入电压之比 \dot{A}_{g}=\frac{\dot{I}_{o}}...
[毛概]复习笔记
第一章 ...





![[模拟电子技术基础]第五章:集成运算放大器的基本应用电路](/img/md.png)
![[毛概]复习笔记](/img/mg.png)




