苹果新 AI 系统 ReALM，可以理解屏幕任务、对话背景和后台进程

在一篇新的研究论文中，苹果研究人员介绍了一种名为 ReALM 的新 AI 系统，它可以理解屏幕任务、对话背景和后台进程，通过观察屏幕上的图像和内容进而更自然地与人类交流。

据该项目负责人称，这一系统在语境解释方面优于 OpenAI 的 GPT-4。它比 OpenAI 的其他大型语言模型更加简单、轻量，因此研究人员将它定性为 “适合嵌入到设备上并不会影响性能的上下文解释系统”。

它可以理解图像，从中提取信息如电话号码或食谱。比方说这样一个使用场景：如果在浏览网站时想要拨打某个商家的电话，用户可以告诉Siri“拨打该商家的电话”，Siri将能够“看到”网站上的电话号码并直接拨打。

ReALM 在使语音助手更具上下文感知性方面迈出了重要一步，通过理解屏幕信息和其他上下文，下一个 Siri 更新可能提供更流畅、无需操作的用户体验。