DIFIX3D+: Improving 3D Reconstructions with Single-Step Diffusion Models

Tag
Reconstruction
Venue
CVPR 2025
这篇文章训练了一个Diffusion Model能够把破碎的场景渲染画面进行修复。这样既可以用来refine原来不太好的3D重建模型,也能用来作为一个plug-in的高质量渲染器。
notion image
主要就是训练了一个image-to-image translation的网络,感觉如何收集数据和数据增强是一个大问题。
  1. 使用已有的数据集,hold out一部分,先重建3D场景,从hold out的数据的视角渲染并训练。
  1. 先用GT重建一个好的3D场景,然后在其他视角渲染图片用来训练一个差的3D表示,用差的3D表示在GT的视角渲染,来和GT做对比。
  1. 让模型欠拟合,这样就会有比较差的渲染图。
  1. 对多相机数据集,使用一个相机数据来训练,并从其他相机的视角进行渲染。选用图像信号处理器(ISP)相似的相机。