虎科技
业界资讯 手机产品 数码产品 移动互联 软件产品 智能汽车 生活家电 关于我们

SIGGRAPH Asia 2024:3D生成热度高涨,华人学者表现亮眼引领创新潮流

2024-12-09来源:ITBEAR编辑:瑞雪

第十七届SIGGRAPH Asia大会近日在东京圆满落下帷幕,这场为期四天的盛会围绕“Curious Minds”的主题展开,吸引了大量学者和从业者参与,不仅注册人数创下新高,论文投稿数量也达到了前所未有的规模。华人学者在大会上的表现尤为抢眼,他们的研究成果在多个领域都占据了重要地位。

在计算机视觉学界,研究者们主要分为新兴派和传统派两大阵营。新兴派主要聚焦于具身智能和3D生成领域,而传统派则继续深耕几何建模和几何处理的细节问题。尽管新兴派的论文成果不断涌现,但传统派的研究依然占据了一席之地,展现了学术界的多元与包容。

除了学术论文的交流,今年的SIGGRAPH Asia大会还吸引了众多参展商。与往年相比,今年动作捕捉的展示项目占据了主导地位。同时,以VAST、影眸、元象为代表的3D AIGC大陆厂商也积极参与了展出,展示了他们在3D生成领域的最新成果。

从产业化的角度来看,3D内容的应用尚未像多模态大模型那样广泛普及。然而,深圳大学计算机与软件学院教授胡瑞珍对3D领域的发展前景持乐观态度。她认为,数字媒体的形式一直在不断更新迭代,从最初的音频到二维图像视频,未来不久将向三维形式转变,如体积视频、元宇宙等,这些都强调了3D内容和三维感知的重要性。

目前,3D领域还是一条相对不那么拥挤的赛道,这为学术研究和创业提供了广阔的发展空间。在大会现场,多位从业者表示,3D生成方向的技术成果正在快速更新,特别是在几何和纹理模型方面。然而,关于到底应该走端到端还是多步迭代的路径,业内还存在一定分歧。

在纹理生成方面,传统方法主要依赖于已经训练好的图像生成模型或逐步生成多个单视角的纹理并进行反投影。然而,这些方法存在整体一致性不足的问题,因为AI无法判断各个视角的整体关系。为了解决这个问题,VAST和港大、清华团队提出了TEXGen模型,这是一个原生的3D扩散模型,能够一次性生成整个物体的纹理。

据TEXGen的一作余鑫介绍,他们的模型不需要依赖于2D升3D的方式,而是直接训练一个原生的diffusion model来输出3D纹理内容。这一方法解决了传统方法中存在的问题,为3D纹理生成提供了新的思路。

影眸科技的CTO张启煊也透露,他们团队接下来将重点突破几何的绝对质量和贴图的绝对精度,并计划在明年1月官宣新的突破性进展。他认为,对于3D生成来说,数据的质量比数量更为重要。高质量的数据需要足够细节和平整,才能真正用于实际生产中。

在应用场景方面,3D生成目前主要应用于游戏、美术设计、电商等领域。VAST首席科学家曹炎培表示,他们希望帮助游戏和动画行业降本增效,降低制作成本和时间。同时,他们也关注泛定制化和泛工业的3D打印领域,以及未来需要实时低成本3D内容创作的UGC场景。

然而,3D生成领域的技术还在不断更新迭代中,只有当技术走向成熟后,应用落地才能随之提速。目前,服装类暂时还未被纳入应用范畴,因为结合3D生成做虚拟试衣需要进行布料模拟,这一步非常消耗算力。相比之下,视频生成所需的算力更少,因此在某些场景下更为实用。

尽管如此,3D生成领域依然充满了潜力和机会。元象作为此次大会的代表性厂商之一,选择了大空间VR作为切入方向。他们展示了超采样配合性能优化带来的高清晰度画面以及不眩晕和帧率稳定的大空间VR产品。元象还推出了基于物理的3D动作生成模型MotionGen,旨在解决生成逼真角色动作的挑战。

不过,MotionGen在动作自然度、文本匹配度等方面仍有提升空间。元象动作生成算法负责人钟国仁表示,他们还在探索初期,所使用的还是开源数据集。未来,他们计划从视频中提取动作并结合大语言模型理解这些动作以形成相关数据。

此次SIGGRAPH Asia大会不仅展示了3D生成领域的最新成果和技术趋势,也为学者和从业者提供了一个交流和合作的平台。尽管大会没有给到太多预期外的惊喜,但参会者们依然对计算机视觉和图形学的未来发展充满期待。