Apple Machine Learning Research·原文发布· 3 天前AI 评分22
Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings
Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings
AI 导读
苹果研究团队在 150M 至 1.43B 四种模型规模、约 1000 次预训练实验中，以阿拉伯语为目标语言、英语为辅助语言，比较了数据混合与超参数调优两种方案。混合在验证损失和下游任务准确率上均优于超参数调优，且优势随模型规模扩大而增大，效果相当于 2–3 倍目标数据（验证损失）和 2–13 倍（下游准确率）。作者建议优先调整混合比例，并通过 μP 从小代理模型迁移超参数。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 Apple Machine Learning Research · machinelearning.apple.com