Phi-2：小语言模型的惊人力量

微软研究院发布Phi-2和promptbase。

Phi-2 的性能优于其他现有的小型语言模型，但它足够小，可以在笔记本电脑或移动设备上运行。

在过去的几个月里，我们微软研究院的机器学习基础团队发布了一套名为“Phi”的小型语言模型 (SLM)，它们在各种基准测试中都取得了出色的性能。 我们的第一个模型，13 亿个参数 Phi-1（在新选项卡中打开），在现有 SLM 中的 Python 编码方面实现了最先进的性能（特别是在 HumanEval 和 MBPP 基准测试中）。 然后，我们将重点扩展到常识推理和语言理解，并创建了一个新的 13 亿参数模型，名为 Phi-1.5（在新选项卡中打开），其性能可与 5 倍大的模型相媲美。

我们现在发布 Phi-2（在新选项卡中打开），这是一个 27 亿参数的语言模型，展示了出色的推理和语言理解能力，展示了参数少于 130 亿的基础语言模型中最先进的性能。 在复杂的基准测试中，得益于模型扩展和训练数据管理方面的新创新，Phi-2 的性能可与大 25 倍的模型相匹配或优于。

凭借其紧凑的尺寸，Phi-2 成为研究人员的理想游乐场，包括探索机械可解释性、安全性改进或对各种任务的微调实验。 我们已在 Azure AI Studio 模型目录中提供 Phi-2（在新选项卡中打开），以促进语言模型的研究和开发。

来源和详细信息：
https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/