StereoCrafter

StereoCrafter是一个由腾讯ai实验室开发的能将普通的2D视频转换为沉浸式的立体3D视频的开源框架。

StereoCrafter的框架由两个主要步骤组成：深度基于视频喷溅和立体视频修复。首先，通过深度估计从输入的单视角视频中提取深度信息，并利用该信息进行视频的变形和遮挡掩码的生成。接着，使用立体视频修复模型填补变形视频中的空白区域，从而合成右视图视频。这种方法不仅提高了生成的3D视频的质量，还确保了在不同长度和分辨率的视频输入下的灵活性和适应性。