本周发布的一组小语言模型引起社区关注:参数规模仅 1.5B 至 3B,却在指令跟随、工具调用与中文理解等任务上追平甚至超过了上一代 7B 模型。
效率的来源
团队将提升归因于三个因素:更高质量的训练数据筛选、更长的训练周期,以及全新的知识蒸馏流程。推理成本相比同等能力模型下降了约 70%。
端侧部署的新选择
对于希望在手机上运行本地助手的开发者,这批模型提供了新的选择。多家推理引擎已完成适配,量化后模型文件最小的仅有不到 1GB。
不过也有研究者提醒,小模型的优势集中在受限任务集内,在开放域长文本写作与复杂推理上仍与更大模型存在差距。
