上海人工智能实验室 InternLM · 新项目·原文发布· 16 天前AI 评分31
InternLM/ResOPD
InternLM/ResOPD
AI 导读
上海人工智能实验室联合上海交大等发布 ResOPD，一种稀疏在线策略蒸馏方法：精确积分教师 Top-k 粗分布，仅对尾部残差采样，复用同一稀疏教师载荷且不增加教师前向。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 上海人工智能实验室 InternLM · 新项目 · github.com
InternLM/ResOPD