Mistral AI 发布大量新的开源 LLM

法国人工智能初创公司 Mistral 刚刚发布了 Mixtral 8×22B，这是一款强大的新前沿 LLM。

关键点：

• Mixtral 8×22B 具有 65,000 个令牌上下文窗口和 176B 参数，预计在功能上将超过之前的 Mixtra；
• 该模型使用稀疏混合专家 （SMoE） 方法，通过组合任务的专用模型来优化性能和成本；
• Mistral 本周加入了一波发布模型更新的公司，包括 OpenAI、谷歌和 Meta；

重要性：这显然是本赛季的那个时候——所有主要参与者都在争先恐后地将 LLM 标准推得更高。但是，Mistral 和 Cohere 等初创公司令人印象深刻的开源部署继续挑战只有大型科技巨头才有资源开发最佳模型的观念。