扎克伯格:Meta 训练 Llama 4 所需的计算能力将是 Llama 3 的 10 倍
24-08-01
Meta 公司正在开发大型基础开源语言模型 Llama,其 CEO 马克·扎克伯格在最近的财报电话会议上表示,为了训练下一代模型 Llama 4,所需的计算能力将是训练 Llama 3 时的 10 倍。尽管如此,扎克伯格仍希望 Meta 能够建设足够的能力来训练模型,而不是落后于竞争对手。
Meta 在 2024 年第二季度的资本支出增长了近 33%,达到 85 亿美元,这主要是由于对服务器、数据中心和网络基础设施的投资。Meta 的 CFO 苏珊·李表示,公司正在考虑不同的数据中心项目,并建设能力来训练未来的 AI 模型。她预计这项投资将在 2025 年增加资本支出。
训练大型语言模型可能代价不菲。例如,OpenAI 在模型训练上的花费为 30 亿美元,另外还有 40 亿美元用于以折扣价从微软租用服务器。Meta 的 Llama 3 模型在 4 月份发布了,拥有 800 亿参数,而最近发布的升级版 Llama 3.1 405B 模型则拥有 4.05 千亿参数,成为 Meta 最大的开源模型。
Meta 还在电话会议中讨论了面向消费者的 Meta AI 的使用情况,并指出印度是其聊天机器人的最大市场。然而,苏珊·李也指出,公司并不期望通用 AI 产品会在短期内显著贡献收入。