三模态掩码扩散模型的设计空间
Apple 团队首次从头预训练三模态掩码扩散模型(MDM),同时处理文本、图文和音频-文本数据,并系统分析多模态缩放规律、模态混合比例与噪声调度。其批次大小分析提出基于 SDE 的重参数化,将物理批次与逻辑批次解耦,免去最优批次调参。团队预训练出 3B 规模(6.4T tokens)初步模型,在文本生成、T2I 和 T2S 任务上均取得强劲结果。
日期栏展示收录日期,历史补录归入原文日期。
Apple 团队首次从头预训练三模态掩码扩散模型(MDM),同时处理文本、图文和音频-文本数据,并系统分析多模态缩放规律、模态混合比例与噪声调度。其批次大小分析提出基于 SDE 的重参数化,将物理批次与逻辑批次解耦,免去最优批次调参。团队预训练出 3B 规模(6.4T tokens)初步模型,在文本生成、T2I 和 T2S 任务上均取得强劲结果。
Runway 的前沿视频生成与编辑模型 Gen-4.5 和 Aleph 2.0 现已可通过 Baseten 专属部署,用户可从 Runway 直接授权模型权重,在单租户隔离环境中运行。Aleph 2.0 支持最长 30 秒、1080p 的多场景视频编辑,并可在自有数据上微调。Baseten 为该部署提供 99.99% 可用性 SLA,并覆盖 SOC 2 Type II 与 HIPAA 合规。
Runway 的前沿视频生成与编辑模型 Gen-4.5 和 Aleph 2.0 现已可通过 Baseten 专属部署,用户可从 Runway 直接授权模型权重,在单租户隔离环境中运行。Aleph 2.0 支持最长 30 秒、1080p 的多场景视频编辑,并可在自有数据上微调。Baseten 为该部署提供 99.99% 可用性 SLA,并覆盖 SOC 2 Type II 与 HIPAA 合规。
原文发布
Prime Intellect 宣布收购 Moondream,其创始人 Vik Korrapati 和 Jay Allen 将加入并负责扩展推理业务,同时推进多模态模型(含视觉与 computer use)的工作。
推荐理由:收购与整合细节展示了小模型加专用推理引擎在成本与速度上的取舍,可观察多模态推理栈的走向。
Google DeepMind 发布前沿模型 Gemini 4 Argon,即日起通过 AI Studio、Gemini API、Google Antigravity 以及 Gemini 应用和 Search 的 AI Mode 面向开发者、企业和消费者开放,定价为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入 token 享 95% 折扣。
同一新闻,精选展示《Gemini 4 Argon:为解决最棘手问题而打造》
Google 发布 Gemini 4 Argon,即日起通过 Gemini API、AI Studio、Google Antigravity 以及 Gemini 应用和 Search 的 AI Mode 向开发者、企业和订阅用户开放,入门价每百万输入 token 2 美元、输出 token 10 美元,缓存输入享 95% 折扣。
推荐理由:官方给出 Argon 在编码、科研与安全对齐上的具体案例和定价,可据此判断前沿模型的能力边界。
Artificial Analysis 发布 AA-3D v1.0,一个评估 AI 模型构建交互式 3D 体验的基准,并同步上线排行榜。该基准覆盖场景构建、成本与智能体运行过程,后续将随新模型发布持续更新榜单。
蚂蚁 inclusionAI 发布 PolyOCR-Venus 统一 OCR 基础模型家族,包含 2B 和 9B 两个版本,基于 Qwen3.5 视觉语言骨干,覆盖文本识别、定位、文档解析、信息抽取、多语言转换和 OCR 推理六类能力。
Midjourney 在 alpha.midjourney.com 上线共享文件夹,支持按用户名邀请 Collaborator 或 Viewer,也可通过链接分享,Collaborator 可直接在文件夹内生成并接续他人作品。
约翰斯·霍普金斯大学天体物理学家、Anthropic 研究员 Brice Ménard 与 Claude Science 合作,制作出首张完整的紫外波段全天图,其中约三分之一天区(含银河系盘面大部分)此前从未被紫外望远镜观测,由 Claude 用 inpainting 方法预测补全。
推荐理由:Anthropic 研究员用 Claude Science 多智能体补全三分之一未观测天区,给出可迁移的科研自动化流程。
Google 发布实验性游戏平台 Playground,用户通过对话式界面输入提示词即可创建、游玩和分享自定义游戏,无需编程经验。平台基于浏览器,支持手机和笔记本游玩,游戏可设为私密、通过链接分享或发布到 Explore 画廊,部分品类支持排行榜和多人对战。Playground 今日面向美国 18 岁以上用户开放,创建权限按 Google AI 订阅分级,后续将接入 Unity Spark。
推荐理由:Google 官方发布实验性游戏平台 Playground,读者可了解其提示词生成游戏的能力与开放范围。
Preferred Networks 发布 PLaMo 翻译大型更新版,基于第三代国产 LLM PLaMo,称其日语翻译精度与 Claude Fable 5.1、GPT-6.1 Sol、GPT-6 Astra 等前沿模型相当,成本约为原文10万字符14日元,不到海外前沿模型和机器翻译服务的十分之一。
推荐理由:原文给出翻译精度对标、成本对比与53语言扩展,可据此判断国产LLM在垂直场景的落地方式。
Liquid AI 发布 d1-3B 和 d1-omni-600M 两款开放权重决策模型,均已在 Hugging Face 上线。
推荐理由:官方给出两款开放权重决策模型的基准、延迟与架构细节,可据此判断端侧实时决策的可用边界。
Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、740M 参数的开源多模态嵌入模型,采用 Apache 2.0 许可,将文本、图像、音频、视频映射到统一嵌入空间。
推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一进一个 740M 端侧嵌入模型,读者可据此判断本地多模态检索的可行边界。
上海人工智能实验室 InternLM 团队发布 SpatialASM 框架,通过两阶段训练将主动空间心智化(ASM)能力内化进 LVLM,使模型能主动规划视角并想象缺失的空间证据。
Mistral 发布 Mistral Large 4 研究公开预览版,在 Artificial Analysis Intelligence Index 上得分 38,与 GPT-6 Luna(max,38)和 DeepSeek V4.1 Flash(max,39)相当,成为美中之外最智能的模型。
推荐理由:Mistral Large 4 的评测数据与定价对比,可看出美中之外最强模型的性能位置和成本代价。
Liquid AI 发布首个决策模型 d1,在文本基础上新增图像输入,可在 console.liquid.ai 和 d1 Playground 试用。d1 接收文本、图像或两者以及一个或多个问题,一次前向传播直接返回概率而不生成 token,文本决策耗时 200 到 300 ms,支持 Noul、Choice、Score 三类问题。
推荐理由:d1 把决策建模成一次前向的概率输出,并给出与 GPT-6.1 Sol、Claude Opus 5.5 的成本与延迟对比,可据此判断这类模型适合替换哪些 LLM 调用。
知名 AI 动画艺术家 852話 Hakoniwa 用 Comfy Agent 制作了首部动画短片《YUI》,主角名字取自 ComfyUI 最后三个字母。全片成本约 20 万日元(不含人力),一人专注工作 3 天,成片时长 4 分 20 秒,主要使用 Seedance 2.5 生成,幕后花絮用 MiniMax H3。
Figma Weave 可将产品设计系统中的字体、色彩与布局元素转化为品牌营销素材。示例中,一名产品设计师把 Figma Design 中的框架粘贴为 Figma node,配合 Image Describer 与 Color Palette node 分析配色与版式,再经 Gen Effect node 生成海报、广告牌和社交媒体三类物料。
Google DeepMind 发布前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御者开放,随后逐步扩展至开发者、企业和消费者。
推荐理由:官方给出 Gemini 4 Argon 的定价、1M 输出上限与多项基准成绩,可据此判断前沿模型在长程工程与安全防御上的进展。
微软研究院推出 Quine,一个面向生物学复杂性的 AI 研究系统,由生物学世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 两部分组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名的化合物在湿实验中产生了最大的经典到基底细胞状态转变,整个筛选到候选验证过程仅用一个周末。
推荐理由:微软研究院公开 Quine 的生物学世界模型与实验闭环设计,并给出胰腺癌化合物筛选的湿实验验证结果。
上海人工智能实验室 InternLM 开源 Intern-Decision,可将状态、可选图像和多个带类型的问题转成带概率的决策,支持 choice、score 和 noul(是/否)三类问题,通过微调 Qwen3.5 的语言主干并冻结视觉塔与投影器实现。
推荐理由:上海人工智能实验室开源 Intern-Decision,给出训练、推理与校准的完整流程和七套基准结果,可据此判断决策概率建模的可用性。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音对话结合,为 Gemini 的对话式 AI 带来近实时的视觉形象。
推荐理由:官方给出 Live Avatar 的实时音视频对话能力、异步工具调用与 97 种语言支持,可据此判断企业级数字人交互的落地形态。
Liquid AI 发布实验性草稿模型 LFM2.5-VL-DSpark,为其视觉语言模型 LFM2.5-VL-3B 加速解码,GPU 解码吞吐最高提升 2.66×、边缘设备最高 3.13×,端到端吞吐分别最高提升 2.27× 和 2.62×,且不改变输出质量。
Google Beam 宣布扩展至美国、加拿大、英国、法国、德国和日本六国,由 18 家渠道合作伙伴支持部署,旗舰硬件为 HP Dimension with Google Beam,可无缝接入 Google Meet 和 Zoom。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与深度创作控制,后者面向高并发、低成本的配音与语音智能体场景。
推荐理由:原文给出两款 TTS 模型的语音设计、复刻与逐行导演能力及基准排名,可据此判断语音生成工作流的变化。
Cartesia 发布 Multilingual Voices,50+ 语音库音色可原生支持最多 25 种语言,并支持把自建语音克隆做成多语言。每个语言和口音由母语者按评分标准审核,检查口音是否保持以及日期、数字、货币是否按当地方式朗读。
蚂蚁 inclusionAI 开源 Ming-Image 0.1 系列,包含两个 6B 参数模型:Ming-Image-0.1-Design 生成 UI、信息图、海报等完整视觉设计,Ming-Image-0.1-Design-Layer 将扁平设计图分解为可独立编辑的透明图层。
推荐理由:开源视觉设计生成与图层分解模型,附可复用的提示词改写流程和 Agent 技能,适合关注设计自动化的人参考。
蚂蚁 Venus Team 与清华大学开源 Realtime-Venus 全双工交互系统,包含 9B 的 Realtime-Venus-Omni 与 Realtime-Venus-Audio 两个模型,以及负责后台任务执行的 Realtime-Venus-Harness 运行时。
推荐理由:可了解全双工对话模型与异步任务框架如何组合,以及开源仓库提供的模型与运行入口。
Midjourney 在 alpha.midjourney.com 上线 v8.2 编辑模型,并在 lightbox 中内置新编辑器,支持用自然语言指令编辑图片、附加最多 4 张参考图,并集中查看本次会话的所有编辑。
上海人工智能实验室发布 InternLumina-U2,一个把语言、图像、视频和 3D 纳入同一框架的统一多模态模型,采用 16B-A1B 的 MoE 架构,基于 LLaDA-2.0 MoE 扩散语言模型骨干。
推荐理由:上海人工智能实验室开源统一多模态模型,读者可了解其多码本离散表示与昇腾训练路径。
蚂蚁 inclusionAI 开源 LLaDA-UI,一个基于 MoE 的块级扩散视觉语言 GUI 智能体,端到端总参数约 16.7B,语言骨干为 LLaDA2.0-mini-base,视觉编码器为 SigLIP 初始化的原生分辨率 ViT。
推荐理由:蚂蚁 inclusionAI 开源扩散式 GUI 智能体,读者可了解其架构、跨平台训练数据与评测表现。
蚂蚁 inclusionAI 开源 LLaDA-Image,一个 6B 参数统一图像生成与编辑模型家族,包含 50 步 Base 模型和 4 步蒸馏 Turbo 模型,支持文生图、VQ 条件生成、参考图编辑及中英文文字渲染。
推荐理由:6B 参数统一生成与编辑模型开源,附推理代码和蒸馏版,可据此评估自部署图像方案。
LiveKit 的 SFU 架构让机器人会话变成 Room,摄像头、模型、操作员和下游服务都只是新增参与方,无需重构传输层。在人在回路数据采集中,机器人、策略、操作员和录制器作为独立参与方共享同一实时会话,观测同时分发,策略动作与人工干预各自独立回传。VLM 可作任务级编排器,按需调用抓取、放置、插入等技能策略,每个技能策略作为独立参与方加入。
Liquid AI 发布视觉语言模型 LFM2.5-VL-3B,基于此前的 LFM2-VL-3B 在屏幕理解、grounding、函数调用和多图输入四方面做了改进,模型已在 Hugging Face 和 Playground 上线。
推荐理由:Liquid AI 发布 3B 端侧视觉语言模型,给出与更大模型的逐项基准对比和部署支持,可据此判断端侧多模态的当前水位。
Goodfire Research 提出块稀疏特征提取器(BSF),将模型激活分解为多维子空间而非 SAE 式的单条直线,在视觉模型中发现了可解释的多维特征,并能实现细粒度引导。研究显示模型中大多数概念都是多维的,BSF 对底层流形的还原保真度显著高于标准 SAE,且块稀疏原则也能提升 MFA 与 SMixAE 的还原能力。