苹果研发新型3D渲染框架LGTM或提升Vision Pro图形性能

苹果公司与香港大学研究人员联合发布一项新研究，提出名为LGTM（Less Gaussians, Texture More）的3D渲染框架，旨在解决高分辨率场景下现有AI渲染技术计算成本过高的瓶颈。

该研究题为《Less Gaussians, Texture More: 4K Feed-Forward Textured Splatting》，提出通过将场景几何结构与渲染分辨率解耦，实现高效高分辨率3D场景生成。传统feed-forward 3D Gaussian Splatting方法在分辨率提升时计算复杂度呈二次方增长，导致在4K及以上场景中难以实用。

LGTM框架通过两步机制优化：首先，模型从低分辨率图像中学习场景结构，并与高分辨率真实图像对比，确保几何结构在高分辨率渲染下无缺失或伪影；其次，引入独立的外观网络，从高分辨率图像中学习细节纹理，叠加于基础几何之上，从而提升视觉保真度。

研究结果显示，LGTM在单视图和双视图输入下均能生成更接近真实图像的细节，尤其在纹理和文字呈现方面表现优异。该技术可提升现有系统生成4K级3D场景的效率，避免计算资源的指数级增长。

目前，Apple Vision Pro配备约2300万像素的双显示屏，单眼分辨率超过4K。尽管硬件具备高分辨率显示能力，但现有3D生成方法在高分辨率下存在计算瓶颈。LGTM框架或可帮助Vision Pro实现更流畅的沉浸式体验与更清晰的透视功能。

项目页面展示了该框架在NoPoSplat、DepthSplat、Flash3D等模型上的应用效果，佐证其在实际场景中的技术优势。