苹果研发新型AI模型 实现单张图像3D重建并还原真实光照效果

苹果研究人员推出名为LiTo的新型AI模型，可仅凭单张图像重建3D物体，并在不同视角下保持反射、高光等光照效果的一致性。

该模型通过将表面光场信息编码为紧凑的潜在向量，在统一的3D潜在空间中联合建模物体几何结构与视角依赖的外观。研究团队利用数以千计在150个视角和3种光照条件下渲染的物体进行训练，使模型能从随机采样的子集学习并重构完整3D模型。

传统3D重建方法通常需要多角度图像输入，而LiTo突破了这一限制，仅需单张图像即可实现高真实感的3D重建。模型通过编码器将物体信息压缩为潜在空间中的数学描述，再由解码器重建出完整几何结构及不同视角下的光照表现，包括镜面高光和菲涅尔反射等复杂效果。

研究团队在项目页面发布了LiTo与TRELLIS模型的对比结果，用户可进行交互式对比。该技术对计算机视觉、增强现实、数字内容创作等领域具有潜在应用价值，相关研究成果已公开发布。

技术原理简述

LiTo的核心在于利用潜在空间（latent space）对3D物体进行高效表征。通过将RGB深度图像中的表面光场随机采样并编码为潜在向量，模型学习到同时包含几何结构和外观变化的统一表征。训练过程中，解码器从子集数据中学习生成完整3D物体及其在不同光照和视角下的真实外观表现。