三模态掩码扩散模型的设计空间
Apple 团队首次从头预训练三模态掩码扩散模型(MDM),同时处理文本、图文和音频-文本数据,并系统分析多模态缩放规律、模态混合比例与噪声调度。其批次大小分析提出基于 SDE 的重参数化,将物理批次与逻辑批次解耦,免去最优批次调参。团队预训练出 3B 规模(6.4T tokens)初步模型,在文本生成、T2I 和 T2S 任务上均取得强劲结果。
日期栏展示收录日期,历史补录归入原文日期。
Apple 团队首次从头预训练三模态掩码扩散模型(MDM),同时处理文本、图文和音频-文本数据,并系统分析多模态缩放规律、模态混合比例与噪声调度。其批次大小分析提出基于 SDE 的重参数化,将物理批次与逻辑批次解耦,免去最优批次调参。团队预训练出 3B 规模(6.4T tokens)初步模型,在文本生成、T2I 和 T2S 任务上均取得强劲结果。
原文发布
Higgsfield 借助 GPT-6 Astra 将 AI 视频生成时长从 1 分钟提升到 10 分钟以上,并用 GPT-Image-2.5 提升画面精度,同时通过 GPT-Live 打通语音电影制作路径。
Midjourney 正在 Alpha 网站(alpha.midjourney.com)测试图像生成的“Thinking Mode”,用户可在作品 lightbox 右下角点击“Rerun (Thinking)”触发。测试显示该模式有助于提升提示词准确性、排版和一致性,官方未来可能将其作为通用“thinking”模式或任务后“add more thinking”的方式开放。
Midjourney 在 alpha.midjourney.com 上线共享文件夹,支持按用户名邀请 Collaborator 或 Viewer,也可通过链接分享,Collaborator 可直接在文件夹内生成并接续他人作品。
Pollo AI 使用 GPT-5.6、GPT-6 Astra 和 GPT-Image-2.5,帮助创作者把创意转化为精细图像和电影级视频广告。
Apple 团队提出 Normalizing Trajectory Models(NTM),将扩散模型每个反向步骤建模为带精确似然训练的条件归一化流,结合每步浅层可逆模块与跨轨迹深层并行预测器,可从头训练或从预训练 flow-matching 模型初始化。
ComfyUI 通过 Partner Nodes 上线 Google 图像生成与编辑模型 Gemini Nano Banana 2.1,它是 Nano Banana 2 的继任者,主打价格与性能的平衡。
推荐理由:ComfyUI 官方接入 Gemini Nano Banana 2.1,读者可据此了解新模型的参数变化与接入方式。
Midjourney 在 alpha.midjourney.com 上线侧边栏风格预览、Create 更大图片和文件夹默认参数设置,本周以修 bug 和清理为主。提示词栏中多个 sref 现合并为单个风格 pill 并显示缩略图,悬停可列出代码,--exp 可设为文件夹默认值。下周将推出新的协作工具,随后加入持久化编辑历史和更好的风格探索方式。
Figma Weave 可将产品设计系统中的字体、色彩与布局元素转化为品牌营销素材。示例中,一名产品设计师把 Figma Design 中的框架粘贴为 Figma node,配合 Image Describer 与 Color Palette node 分析配色与版式,再经 Gen Effect node 生成海报、广告牌和社交媒体三类物料。
上海人工智能实验室 InternLM 开源 InstantFusion,通过共享隐空间把不同扩散模型的隐变量对齐,使去噪轨迹可以组合。方法用 Sigma 条件编码器与解码器把两个模型的隐变量映射到共享空间,训练结合重建、交叉重建、隐空间对齐和去噪速度对齐损失,可实现不同步数预算模型间的接力加速、多偏好组合以及跨模型 OPD 蒸馏。
推荐理由:上海人工智能实验室开源 InstantFusion,给出跨扩散模型共享隐空间与模型接力去噪的完整训练和推理代码。
Midjourney 在 alpha.midjourney.com 界面中试验快速模型,Styles 侧边栏可预览最新提示词在多种风格下的效果,开启 "Live previews" 后点击缩略图即可用该风格生成。编辑模型的局部重绘与扩图能力改进,定向编辑只改变选中像素,可反复编辑而不降低画质。tile --tile 在 V8.1/8.2 上优化,平铺图像之间的接缝现已无缝融合。
Midjourney 在 alpha.midjourney.com 更新:Styles 侧栏新增实时预览,浏览样式时可用当前提示词快速预览效果;设置中新增默认参数保存,可将提示词栏当前配置设为默认。
阿里 Qwen 团队的最新图像模型 Qwen-Image-2.1 已在 ComfyUI 原生支持,开放权重、7B 参数,基于优化的 MMDiT 架构。该模型可直接输出带 alpha 通道的 RGBA 图像,原生生成 2048×2048,并最多接受 10 张参考图,生成与编辑共用同一模型。
推荐理由:ComfyUI 原生支持 Qwen-Image-2.1,读者可了解其 RGBA 输出与 10 张参考图等能力差异。
Google 旗下 Envisioning Studio 与 Google Labs 合作,在纽约时装周前用 AI 创意工作室 Google Flow 为设计师 Jane Wade 和 Sergio Hudson 分别定制了 Styling Suite 和 Runway Visualization 两款工具。
蚂蚁 inclusionAI 开源 Ming-Image 0.1 系列,包含两个 6B 参数模型:Ming-Image-0.1-Design 生成 UI、信息图、海报等完整视觉设计,Ming-Image-0.1-Design-Layer 将扁平设计图分解为可独立编辑的透明图层。
推荐理由:开源视觉设计生成与图层分解模型,附可复用的提示词改写流程和 Agent 技能,适合关注设计自动化的人参考。
Midjourney 为 alpha.midjourney.com 推送更新,新增韩语支持,并修复 v8.2 编辑器多项问题:附加图片时提示词栏改为询问“What would you like to change?
OpenAI 发布 ChatGPT Images 2.5 系统卡,涉及 GPT-Image-2.5-Sunburst 和 GPT-Image-2.5-Flare 两个模型。两者均未跨过 Preparedness Framework 的生物高风险与网络高风险阈值,但 OpenAI 仍按生物风险高能力模型采取预防性缓解措施,包括用安全推理模型对所有输入输出应用图像版生物风险安全策略。
Midjourney 在 alpha.midjourney.com 上线 v8.2 编辑模型,并在 lightbox 中内置新编辑器,支持用自然语言指令编辑图片、附加最多 4 张参考图,并集中查看本次会话的所有编辑。
蚂蚁 inclusionAI 开源 LLaDA-Image,一个 6B 参数统一图像生成与编辑模型家族,包含 50 步 Base 模型和 4 步蒸馏 Turbo 模型,支持文生图、VQ 条件生成、参考图编辑及中英文文字渲染。
推荐理由:6B 参数统一生成与编辑模型开源,附推理代码和蒸馏版,可据此评估自部署图像方案。
Goodfire Research 提出块稀疏特征提取器(BSF),将模型激活分解为多维子空间而非 SAE 式的单条直线,在视觉模型中发现了可解释的多维特征,并能实现细粒度引导。研究显示模型中大多数概念都是多维的,BSF 对底层流形的还原保真度显著高于标准 SAE,且块稀疏原则也能提升 MFA 与 SMixAE 的还原能力。
伯克利 AI 研究团队提出一种基于互信息的成像系统评估与优化框架,仅用含噪测量和噪声模型即可量化测量所含信息量,无需重建算法或任务专用解码器。该方法在彩色摄影、射电天文、无透镜成像和显微成像四个领域验证,信息估计能预测下游解码性能,优化后的设计在更少内存和算力下达到与端到端方法相当的水平,相关成果发表于 NeurIPS 2025。