9月26日,腾讯宣布,混元3D生成模型家族又添新成员——混元3D-Omni、混元3D-Part发布并开源。这也是腾讯混元在可控3D生成上的新突破,让AI3D建模更具实用性,加速3D生成模型在游戏、打印和AR/VR等实际生产流程中的落地应用。
作为业界首个统一支持多条件控制的3D生成框架,混元3D-Omni突破传统图像输入的局限性,支持多种模态输入,实现对物体几何结构、拓扑和姿态的精细控制。混元3D-Part则实现了灵活可控的部件拆分和生成,让分解和生成3D模型像玩乐高一样简单。
混元3D-Omni、混元3D-Part将完整开放推理代码和权重,全面开源、免费使用,便于学术研究和工业部署,助力可控3D生成的社区探索。
混元3D-Omni:3D界的“ControlNet”,多条件控制一网打尽
近年来,基于原生3D表示(如点云和体素)的生成模型迅速兴起。然而,当前主流方法主要依赖图像输入,易受单视角遮挡、光照干扰,导致几何准确性不足;同时难以精细调控比例、姿态和细节,且无法适应多模态输入,限制了在复杂场景中的实用性。
混元3D-Omni基于混元3D2.1开源模型构建,就像“3D界的ControlNet”,通过轻量化的统一控制编码器和渐进式难度感知训练策略,混元3D-Omni能融合多达四类控制条件,显著提升生成的可控性和质量:
点云控制补充三维信息
边界框控制不同比例
边界框控制解决单图生成“纸片”问题
体素控制物体结构
这些控制条件可灵活组合,支持深度相机、LiDAR或重建模型等输入来源。社区开发者还可基于开源模型轻松扩展更多创意条件,如额外的人物姿态控制。
混元3D-Omni标志着3D生成从“图像主导”向“多模态可控”转型的关键一步。多模态融合的创新,不仅提升了生成的可控性和鲁棒性,还为下游应用铺平道路。想象一下,在虚拟现实项目中,你用骨骼信号控制角色动态姿势,再叠加点云细节让模型更逼真——这一切,都能在本地快速迭代,无需昂贵硬件。
混元3D-Part:组件式生成新范式,让3D模型像乐高一样“可拆卸“
与混元3D-Omni的精准生成相呼应,混元3D-Part则专注解决3D生成的“拆解难题”。
传统算法往往输出不可分割的“一体化”模型,但实际应用中,可拆解的模型则能适应更多场景的需求:比如游戏制作中,汽车模型拆分成车身和独立轮子,便于绑定滚动逻辑;3D打印时,像搭积木般逐个组件打印,能够避免大件变形风险。
混元最新推出的混元3D-Part技术,由业界首个原生3D分割模型P3-SAM与工业级组件生成模型X-Part组成,首次实现高精度、可控的组件式3D生成,支持50+组件自动生成,生成的模型几何质量高、可编辑、结构合理,让模型更易编辑、生产和应用。
P3-SAM的组件分割结果
X-Part的组件生成结果
用户用混元3D2.5或3.0模型生成整体Mesh后,即可通过P3-SAM获取语义特征和边界框,进行自动、精确的组件分割,X-Part接棒将整体Mesh分解为独立部件,输出高保真、结构一致的部件几何体,同时保持灵活可控性。
Hunyuan3D-Part组件拆分整体流程
在PartObj-Tiny、PartObj-Tiny-WT和PartNetE等基准测试中,Hunyuan3D-Part的分割和生成结果大幅超越现有工作,体现其在精度和质量上的领先优势。
X-Part组件生成结果和开源工作对比
目前该模型也已经上线混元3DStudio,通过腾讯混元3D创作引擎即可免费使用。
全面拥抱开源,加速各行业落地应用
过去一年,腾讯混元大模型加速迭代,发布超过30个新模型,并全面拥抱开源,混元语言、图像、视频、3D生成模型全模态、多尺寸开源,多次拿下HuggingFace模型热榜第一。混元3D系列模型是全球最受欢迎的3D开源模型,社区下载量超260万。
在2025腾讯全球数字生态大会上刚刚发布的混元3D3.0生成模型,建模精度提升3倍,几何分辨率高达1536³,支持36亿体素超高清建模,攻克人脸雕刻难题,细节表现力显著增强。面向3D设计师、游戏开发者、建模师等群体,还推出专业级AI工作台——混元3DStudio,通过AI技术整合3D生产全流程,实现更加可控、更加高效的3D创作。
凭借超高清建模和高质量生成,腾讯混元正加速推动3D技术在各行业的落地应用。头部3D打印厂商拓竹科技、创想三维等均接入腾讯混元3D模型,大幅提升建模效率。全球首个设计AgentLovart也在3D生成任务中首选腾讯混元3D,拓展了设计领域的创新应用。
混元3D-Omni:
代码:https://github.com/Tencent-Hunyuan/Hunyuan3D-Omni
权重:https://huggingface.co/tencent/Hunyuan3D-Omni
本文内容由互联网用户自发贡献,该文观点仅代表作者本人。如发现本站有涉嫌抄袭侵权/违法违规的内容,请发送邮件至 203304862@qq.com
本文链接:https://jinnalai.com/jiaodian/778722.html