Tiny Recursive Model（TRM）：用 7M 参数小网打败大模型？

25-10-13

免费

快讯

最近，一篇题为 “Less is More: Recursive Reasoning with Tiny Networks” 的论文在 arXiv 发布，作者 Alexia Jolicoeur-Martineau 来自 Samsung SAIL Montréal。论文中提出了一种新的递归推理模型 Tiny Recursive Model（TRM），宣称用极少的参数就能在某些难题上超越大型语言模型（LLM）。

TRM 的设计出发点是对比先前的 Hierarchical Reasoning Model（HRM）：后者用两个小网络按不同频率递归运算以解决 Sudoku、Maze、ARC-AGI 等难题，其规模为 27M 参数，并在小样本（约 1000 个样本）训练时已能击败一些 LLM。但 HRM 的结构较复杂、解释性较弱。论文作者认为：递归推理可以被极简而有效地实现，于是提出 TRM。

TRM 核心在于：用一张非常小的两层网络 + 递归机制，不依赖层级结构、固定点理论或生物学论证，就能逐步改进答案。模型参数仅有 7M，却在多个基准任务上表现优异：在 ARC-AGI-1 上达 45% 测试准确率，在 ARC-AGI-2 上达 8% 准确率，这些结果在很多 LLM（如 Deepseek R1、o3-mini、Gemini 2.5 Pro）参数远多的模型之下尚属罕见。

在更具体任务上，TRM 将 Sudoku-Extreme 的准确率从 HRM 的 ~55% 提升至 87%，Maze-Hard 从 ~75% 提升至 85%。

该项目已有开源代码，托管于 GitHub（SamsungSAILMontreal/TinyRecursiveModels），未来社区可能在更多任务或模型规模上检验其泛化能力。

Memo Team

Signal, not noise!

Tiny Recursive Model（TRM）：用 7M 参数小网打败大模型？

Memo Newsletter