Meta全新自研图像模型来了！不用反复调提示词，首次引入Agent自动改图
智东西 编译 | 茄子 | 编辑：程茜
智东西7月9日讯，全新7月7日，自研t自Meta正式推出其超级智能实验室（Meta Superintelligence Labs,图像图 MSL）研发的首款多模态生成模型——Muse Image。与此同时，模型Meta还展示了视频生成模型Muse Video及其生成效果。不用目前，反复Muse Image仍处于测试阶段，调提动改暂未向公众全面开放。示词首次
此次发布的引入Muse Image标志着Meta将Agent（智能体）能力深度引入图像生成领域。与传统AI绘图工具仅依赖提示词直接出图不同，全新Muse Image更像是自研t自一个具备自主决策能力的AI智能体。它不仅能生成和编辑图片，图像图还能根据任务需求自主搜索信息、模型调用代码工具，不用并持续迭代优化生成结果，反复从而大幅减少用户反复调整提示词的需求。
Meta展示了大量由Muse Image和Muse Video生成的作品，涵盖动态人物、动物互动以及人物与食物、风景等复杂场景的融合。
以下图像均由Muse Image生成，包括戴墨镜吃汉堡的人物、人与动物同桌共餐，以及人物与石柱、蓝天白云等自然风景的无缝融合。
▲Muse Image生成的人物、动物及风景融合图像（图源：Meta）
此外，Muse Video也展示了生成的人物在厨房倒水的流畅视频片段。
▲Muse Video生成的人物视频（图源：Meta）
据TechCrunch报道，Muse Image内部代号为“Mango”，是Meta Muse系列AI模型的重要组成部分。Meta超级智能实验室负责人Alexandr Wang指出，Muse Image具备Agentic能力，能与大语言模型Muse Spark协同工作，在生成图像前完成推理、搜索和规划等前置步骤。
▲Alexandr Wang对Muse Image的技术介绍（图源：Meta）
目前，用户对Muse Image的评价呈现两极分化。部分用户认可其在Instagram等社交场景中的实用性，认为其图像生成与编辑效果出色；另一部分用户则担忧其支持调用他人公开账号照片生成AI图像，且缺乏完善的授权与通知机制，引发了关于肖像权、隐私泄露及深度伪造风险的广泛讨论。
目前，Muse Image已接入Meta AI应用、Instagram Stories（IG快拍）及WhatsApp，未来还将登陆Facebook及其聊天工具Messenger。
一、赋予AI生图Agent能力：自主搜索、编写代码与自我修正
过去几年，AI图像生成主要遵循“输入提示词—输出图片”的单轮模式。Meta此次推出的Muse Image则转向“智能体式图像生成”（Agentic Image Generation）。它不仅依据提示词生成图像，还能调用搜索和编程工具提升准确性，并对自身输出进行迭代优化，通过增加测试时计算量（Test-Time Compute）来改进结果。
1. 调用代码工具处理复杂元素
在生成包含复杂图表、二维码或精确视觉元素的图片时，Muse Image可自动编写并运行程序，生成准确结果后将其融合进最终图像。
▲Muse Image调用代码生成复杂图像（图源：Meta）
2. 实时搜索提升事实准确性
当用户涉及实时事件、现实世界信息或专业知识时，Muse Image可主动搜索网络资料，利用视觉参考提升生成内容的准确性。Meta认为，这种搜索能力能显著减少新闻事件、现实地点及事实信息相关任务中的错误。
▲Muse Image通过搜索工具调查问题（图源：Meta）
3. 基于强化学习的自我优化
生成图片后，Muse Image具备自我检查与修正能力，根据问题类型采取不同策略：
* 局部错误：直接修改当前图片；
* 整体方向偏差：重新生成；
* 事实信息缺失：进一步调用搜索工具。
这种自我修正能力并非人工预设，而是在强化学习训练过程中自然形成的，因为优化结果能获得更高奖励。
▲Muse Image的自我优化机制（图源：Meta）
▲Muse Image的自我优化流程（图源：Meta）
4. 多模态协同与生活场景应用
Muse Image可与大语言模型Muse Spark协同，结合代码与媒体生成能力，制作GIF动画、网页及交互式视觉内容。
在Instagram中，Muse Image将支持30种新的AI Stories特效，用户可通过AI滤镜改变照片风格或利用提示词生成新内容。
▲用户可在Instagram中使用Muse Image更换滤镜（图源：Meta）
此外，Muse Image还拓展至生活场景，如上传家具图片模拟摆放效果，帮助用户预览空间布局。
▲Muse Image模拟家具摆放效果（图源：Meta）
同时，它支持直接在照片上标记指定区域进行AI修改，或生成邀请函、明信片及社交媒体图片。
二、推理计算引入视觉生成：“想得越久，画得越好”
Muse Image的另一大突破是将大语言模型的推理机制引入视觉生成。通过增加测试阶段的计算量，模型在回答复杂问题时表现更佳。
Meta表示，Muse Image在生成过程中会投入更多计算资源，进行更充分的推理、工具调用和自我优化。随着推理强度提升，Muse Image在人类偏好评测中的Elo评分持续走高，在Arena的单张图像编辑、文本转图像和多张图像编辑榜单中位列第二，仅次于GPT Image 2。这证明模型在生成前“思考”时间越长，最终图像质量越高。
▲Muse Image在图像编辑与生成任务中的评分表现（图源：Meta）
这一“思考”过程涉及两类计算：
1. 文本Token：用于推理分析；
2. 视觉Token：用于生成图片。
Meta强调，最终效果取决于两类计算资源的综合投入，而非单纯扩大视觉生成规模。
推理优化 vs. Best-of-N
Meta对比了两种提升质量的方法：
* Best-of-N：一次生成多张图并择优，早期有效但易遇瓶颈；
* 增加推理时间：将资源投入推理、工具调用和自我优化，能带来更持续的性能提升。
测试结果显示，后者在长期性能上优于前者。
▲Muse Image提升图像生成质量的测试结果对比（图源：Meta）
三、AI创作大众化与隐私争议并存
Muse Image接入Instagram等社交平台被视为此次发布的一大亮点。用户认为，主流AI绘图模型常脱离社交语境，而Muse Image更贴合Instagram等平台的实际使用场景。
▲用户对Muse Image接入社交平台的评价（图源：X）
然而，隐私问题随之而来。据The Verge报道，Muse Image允许用户在Instagram提示词中@其他公开账号，并利用其公开照片生成新的AI图像。
▲Muse Image使用公开账号生成照片引发的隐私争议（图源：X）
许多用户担忧，在未获明确许可的情况下使用真实用户形象，可能引发身份滥用、肖像权侵犯及深度伪造风险。
对此，Meta回应称，用户可通过设置控制自己的内容是否被用于AI生成。但现行规则下，被使用照片的用户不会收到通知，且已生成的AI图像不会被自动删除。
▲Meta对隐私争议的解决方案（图源：Meta）
这一设计引发了部分用户的批评，认为缺乏明确授权机制存在安全隐患。
用户实测反馈
用户对Muse Image的功能体验褒贬不一：
正面案例：有用户输入“1988年乔丹扣篮画面+黏土动画+拆解工程分析图”，Muse Image无需额外调试即输出完整成品，展现强大功能。
▲用户对Muse Image的高效体验（图源：X）对比测试：有用户对比Gemini、Grok和Meta AI的图像生成效果。
▲用户对Gemini、Grok、Meta AI图像功能测试对比（图源：X）负面案例：也有用户反馈Muse Image在生成专业解剖图（如内耳解剖图）时不够精准，未能达到预期效果。
▲用户指出Muse Image在专业细节生成上的不足（图源：X）
结语：Meta探索智能创作新方向
过去，Meta的竞争焦点主要集中在大语言模型。此次Muse Image和Muse Video的推出，标志着其AI能力正式扩展至图像、视频及社交内容生产领域。
更重要的是，Muse Image展示了一种新范式：未来AI模型将不再被动等待指令，而是能够理解目标、调用工具、自主规划并完成复杂任务。
然而，当AI开始处理真实用户身份、社交内容及现实世界信息时，技术能力之外，数据边界、用户授权和内容安全将成为下一阶段AI竞争的关键议题。
来源：Meta、TechCrunch、The Verge
