微软发布新的 Phi-3 语言模型系列, 优于竞争对手
24-04-23
微软发布了新的 Phi-3 语言模型系列,其中包括 Phi-3-mini、Phi-3-medium 和 Phi-3 7B,这些模型在人工智能功能方面取得了进步,并在多个基准测试中优于竞争对手,如 Mixtral 8x7B 和 GPT-3.5。
关键点:
- Phi-3-mini 是一个在 3.3 万亿个代币上训练的 3.8 亿个参数模型,旨在与 Mixtral 8x7B 和 GPT-3.5 等主要模型相媲美。
- Phi-3-medium 拥有在 4.8 万亿个代币上训练的 140 亿个参数,在 MMLU 基准上取得了 78% 的分数,在 MT-bench 上取得了 8.9 的分数。
- Phi-3 14B 模型在大多数基准测试中都优于 Llama-3 8B、GPT-3.5 和 Mixtral 8x7b MoE,而 Phi-3 mini 在 MMLU 和 HellaSwag 中也超过了 Llama-3 8B。
- Phi-3 7B 型号的性能超越了 Llama-3 7B 型号,在 MMLU 上得分为 75.3。
- 这些模型是 Microsoft 增强开源社区努力的一部分,与 Llama-2 共享类似的架构。