又一重磅级 AI 公司，大模型论文最后一位作者离开 Google 联合创立
2017 年，Google 的 8 位研究员共同发表了一篇论文《Attention Is All You Need》，这篇论文成为了如今生成式 AI 和大模型的基石。
这 8 位作者如今已是 AI 领域最为重要的人才资产，也成为当今最重要几家 AI 公司的核心，创立或者加入了当下最热门的 AI 公司。
今天，随着论文最后一位离开 Google 的作者 Llion Jones 宣布创立自己的 AI 公司，正式宣告了 8 位作者全部进入了新的事业。
Llion Jones 和 Google 日本的 AI 研究负责人 David Ha 一起创立了一家 AI 公司 Sakana AI，有意思的是 David Ha 之前是 Stability AI 的研究负责人，刚与 COO Ren Ito 一起离开了 Stability AI。David Ha 将担任这家公司的 CEO，Llion Jones 则担任 CTO，并且地点选在了日本东京而不是大多数公司选择的硅谷。
目前关于 Sakana AI 的信息还非常少，其官网非常简单，只是说他们正在日本东京建立一个世界级的人工智能实验室，并且正在创建的是一种基于自然启发的新型智能基础模型（A new kind of foundation model based on nature-inspired intelligence），除此之外就没有提供更多的信息了。
据悉，Sakana AI 的目标是根据从观察自然系统中收集到的原理来开发新型人工智能模型，Llion Jones 和 David Ha 认为，当前的人工智能模型过于僵化和脆弱，设计得像建筑物一样，无法适应环境。他们将从自然界的集体智慧以及进化和涌现等原则中汲取灵感，构建更灵活、反应灵敏的人工智能。
Llion Jones 和 David Ha 说，集体智慧发挥作用的自然系统“对周围世界的变化非常敏感和敏感，自然系统可以快速适应并成为环境的一部分。这种方法可以解决当今需要大量数据和计算能力的大规模 AI 模型的高成本和潜在安全风险等问题。
这可能比持有大量数据的集中式模型更安全、更可持续。为了实现这个目标，他们可能会使用相互关联的较小模型，这些模型可以“相互合作解决问题”，类似于鱼群、蜂群或鸟群的协作方式，而不是一味将模型的规模做大。
这个理念也反应在其公司名字上，Sakana 这个名字来源于日语单词さかな（sa-ka-na）的鱼，旨在唤起“一群鱼聚集在一起，从简单的规则中形成一个连贯的实体”的想法。根据他们的说法，他们的研究灵感来自自然概念，如进化和集体智慧。网站页面设计也反映了这一点，一群鱼在游来游去。
在我看来，这种理念更符合自然的复杂生态。David Ha 之前已经发表了不少相关的论文和博客，在 2021 年的论文《The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning》中，他曾提到：
在复杂系统中，我们经常观察到复杂的全局行为是由一组相互作用的代理与环境中的其他个体相互作用而产生的，每个单独的代理只根据本地可用信息进行操作，而不知道整体情况。这些系统激发了人工智能算法在群集优化和细胞自动机等领域的发展。
受复杂细胞系统中集体行为出现的启发，我们构建了将环境中每个感官输入分别输送到不同但完全相同的神经网络中，并且彼此之间没有固定关系。我们展示了这些感官网络可以被训练以整合本地接收到的信息，并通过注意机制进行通信，从而共同产生一个全局一致性策略。此外，在一个事件期间多次随机排列其输入顺序时，该系统仍然可以执行其任务。这种具有置换不变性特点的系统还显示出广泛适用的有用韧性和广泛适用的泛化属性。
在 2017 年的一篇名为《A Visual Guide to Evolution Strategies》（进化策略的可视化指南）的博客论文里，其实已经提出了强化学习的替代方案，David Ha 举例说：
想象一下，如果你建立了一个人工生命模拟器，你可以采样不同的神经网络来控制蚂蚁群中每只蚂蚁的行为。使用简单进化策略来完成这个任务将优化有益于个体蚂蚁的特征和行为，随着每一代的进化，我们的种群将充满只关心自身福祉的优秀蚂蚁。
如果不使用基于适者生存的规则，而是采用另一种方法，即将整个蚂蚁群体的所有适应度值的总和作为优化目标，以此来最大化整个蚂蚁群体在连续几代中的福祉，那么你最终会创造一个马克思主义乌托邦。
其实这些和复杂理论非常类似，我也非常认同复杂理论，之前我在《Benchmark 的投资策略》一文中曾简单提到类似表述：
经济和股市最好被理解为生物系统：具体来说，是复杂的适应性系统。复杂的系统有不可预知的结果，因此，作为投资者，我们专注于那些适应性强、长期专注、创新性强、拥有长期成长性，以及最大化非零和结果的公司。
一个有效的复杂系统总是从一个有效的简单系统演变而来。一个从零开始设计的复杂系统永远不会成功，也不可能通过修补来实现。你必须从一个行之有效的简单系统重新开始。
说实话我还非常期待他们接下来的成果，这应该是非常值得关注的一个项目。如果你在做这块的项目或者做研究，他们的博客和论文非常值得关注：
英伟达高级研究科学家 Jim Fan 也把他认为非常好的几篇都分享了出来，你可以点击下面链接阅读：
2.https://blog.otoro.net/2017/05/19/teaching-machines-to-draw/
3.https://blog.otoro.net/2016/09/28/hyper-networks/
4.https://weightagnostic.github.io/
5.https://blog.otoro.net/2017/10/29/visual-evolution-strategies/
