扎克伯格：Meta 训练 Llama 4 所需的计算能力将是 Llama 3 的 10 倍

Meta 公司正在开发大型基础开源语言模型 Llama，其 CEO 马克·扎克伯格在最近的财报电话会议上表示，为了训练下一代模型 Llama 4，所需的计算能力将是训练 Llama 3 时的 10 倍。尽管如此，扎克伯格仍希望 Meta 能够建设足够的能力来训练模型，而不是落后于竞争对手。

Meta 在 2024 年第二季度的资本支出增长了近 33%，达到 85 亿美元，这主要是由于对服务器、数据中心和网络基础设施的投资。Meta 的 CFO 苏珊·李表示，公司正在考虑不同的数据中心项目，并建设能力来训练未来的 AI 模型。她预计这项投资将在 2025 年增加资本支出。

训练大型语言模型可能代价不菲。例如，OpenAI 在模型训练上的花费为 30 亿美元，另外还有 40 亿美元用于以折扣价从微软租用服务器。Meta 的 Llama 3 模型在 4 月份发布了，拥有 800 亿参数，而最近发布的升级版 Llama 3.1 405B 模型则拥有 4.05 千亿参数，成为 Meta 最大的开源模型。

Meta 还在电话会议中讨论了面向消费者的 Meta AI 的使用情况，并指出印度是其聊天机器人的最大市场。然而，苏珊·李也指出，公司并不期望通用 AI 产品会在短期内显著贡献收入。