我们还提供了一些针对 4.8 万亿个 tokens 训练的微软 7B 和 14B 模型的初始参数缩放结果，在 MT-bench 上达到了 8.38，推出

例如 phi-3-mini 在 MMLU 测试中达到了 69%，轻量这两个版本能力都要比 Mini 版更好。微软

这意味着新模型能够直接在智能手机上进行高级自然语言处理而不需要实时联网进行计算
，推出

当然微软也强调 Phi-3 模型的轻量训练数据集有限，仅有 3.8B 参数的微软 Phi-3 Mini 版在性能上表现优于 Meta 8B 参数的 Llama 和 OPENAI 3.5B 参数的 GPT-3。在低功耗设备上例如智能手机和平板电脑上也可以运行，推出MT-bench 为 8.9。轻量最重要的微软是这个模型足够小 ，

根据微软自己的推出基准测试 ，

与其他人工智能模型不同的轻量是，其使用的微软资源要比同等规模的人工智能模型少得多
，Phi 系列模型的推出侧重点是轻量级 ，从学术基准和内部测试来看 ，轻量但微软也指出较小的高质量模型往往表现更好 。名称分别是 Mini 、即 phi-3-small 和 phi-3-medium，因此 Phi-3 Mini 等模型非常适合集成到一些需要人工智能参与的新颖应用中 。

其中 Small 版的 MMLU 为 75%、7B 和 14B 参数版本 ，新版本也就是 Phi-3 分成 3.8B、

微软研究院在论文中表示：

我们引入了 phi-3-mini ，

微软对 Phi-3 系列模型进行了优化，

微软研究院日前推出了轻量级人工智能模型 Microsoft Phi 的第三个迭代版本  ，可以直接部署在手机上 。它无法与互联网上训练的大规模 AI 模型的知识广度相匹配，

论文地址
：https://arxiv.org/abs/2404.14219