在2024年的尾声，文生影像领域迎来了一场前所未有的技术盛宴。国内外各大科技巨头纷纷亮出杀手锏，其中，OpenAI的Sora、谷歌的Veo 2以及背靠字节跳动的即梦AI尤为引人注目。
Sora以最高1080P的分辨率、20秒的时长以及创新的故事板、Remix等功能，率先点燃了这场技术竞赛的战火。然而，谷歌随后发布的Veo 2模型，凭借在指令遵循、镜头控制以及画面质量上的卓越表现，再次刷新了人们的认知。与此同时，即梦AI也在激烈的市场竞争中崭露头角，其背靠字节跳动强大的短视频基因，短短数月内便经历了数次迭代，成功解决了AI生成影像中的中文嵌入难题。
在这场技术较量中，即梦AI凭借其独特的“智能参考”功能，让用户能够通过一句简单的话语实现零门槛改图，并精准收获预期效果。例如，用户只需输入“兵马俑喝奶茶”的prompt，即梦AI便能在几秒钟内将一张兵马俑的照片转化为左手握奶茶的图片，且图片其余部位保持原样，无需额外操作。这一功能不仅满足了C端用户在社交媒体制图方面的需求，也为创作者提供了极大的便利，降低了使用成本，提高了创作效率。
不仅如此，即梦AI还上线了“文字海报”功能，用户只需输入一句话即可生成中/英文海报，并可在后续进行涂抹修改错字。这一功能不仅实现了简单快速的排版设计，更在AI图像生成中中文难以生成的问题上取得了突破。同时，即梦的模型还能根据提示词自动完善文案并补充画面细节，在控制图片中的文字生成方面开创了行业先河。
在视频生成方面，即梦AI同样表现出色。其S&P双模型采用了DiT架构，其中S2.0 pro模型在首帧一致性和画质上表现出色，而P2.0 pro模型则具有较高的“提示词遵循能力”。用户输入复杂的提示词，如镜头切换、人物连续动作、情绪演绎、运镜控制等，模型都能理解并精准生成视频。
在实测中，即梦AI的P2.0 pro模型在镜头切换、人物动作以及运镜控制等方面都展现出了卓越的性能。例如，输入一张图和prompt，即可生成多镜头视频，实现全景、中景、特写等镜头切换，并保持视频与原图风格、场景以及人物的高度一致。同时，模型还能演绎哭、笑、悲伤、生气等单一情绪以及“哭中带笑”等复杂情绪，为用户提供了丰富的创作空间。
即梦AI在B端场景的应用同样具有广阔的前景。商品展示类的广告短片、红人口播短视频等都可以通过即梦AI的模型能力实现。即梦还上线了“对口型”功能，用户只需提供一张图片、一段文字或音频，即可生成对口型视频，人物表情、神态以及服饰、配饰等细节都能达到动态逼真的效果。
在12月18日的即梦发布会上，剪映业务负责人张楠表示，视觉模型将极大改变人们观看视频的方式。用户将不再是被动观看，而是可以在任何时刻介入、参与和影响剧情走向或观看不同的故事分支。这一观点不仅展现了即梦AI在技术创新方面的雄心壮志，也预示着未来视频内容创作和观看方式的变革。
剪映业务负责人 张楠
作为字节跳动在生成式AI领域的重要布局，即梦AI不仅拥有优越的资源禀赋和算力资源，还具备独特的生态站位优势。抖音作为字节跳动旗下的短视频平台，需要源源不断的内容支持。即梦AI可以与剪映结合，引入AI生产力工具后将内容反哺给抖音，为抖音提供更加丰富多样的内容创作方式。
