Nvidia 推出教美国手语的 AI 平台
Nvidia 宣布推出了一个新的 AI 平台,旨在帮助人们学习美国手语(ASL),以缩小沟通差距。这个名为 Signs 的平台正在创建一个经过验证的数据集,供手语学习者和基于 ASL 的 AI 应用开发者使用。
美国手语在美国是第三大普遍使用的语言,但是与英语和西班牙语相比,使用 ASL 数据开发的 AI 工具要少得多。Nvidia 与美国聋儿协会和创意机构 Hello Monday 合作,通过 Signs 这个互动网络平台来缩小这一差距,支持 ASL 学习以及可访问 AI 应用的开发。
Signs 平台允许手语学习者访问经过验证的 ASL 手势库,以扩展他们的词汇量,并通过 3D 头像展示手势,同时使用 AI 工具分析网络摄像头拍摄的视频,提供实时反馈。任何技能水平的签署者都可以通过签署特定词汇来贡献,帮助构建 ASL 的开源视频数据集。
Nvidia 的目标是将数据集扩展到 40 万个视频剪辑,涵盖 1000 个手势词汇,这些视频剪辑将由流利的 ASL 使用者和翻译者进行验证,以确保每个手势的准确性,从而产生高质量的视觉词典和教学工具。
美国聋儿协会执行董事 Cheri Dowling 表示:“大多数聋儿都是由听力正常的父母所生。提供像 Signs 这样的可访问工具,让家庭成员能够尽早开始学习 ASL,使他们能够与孩子建立有效的沟通渠道,从 6 到 8 个月大开始。而且,知道专业的 ASL 教师已经验证了平台上的所有词汇,用户可以对他们所学的内容有信心。”
Nvidia 团队计划使用这个数据集进一步开发 AI 应用,打破聋人和听力社区之间的沟通障碍。这些数据将向公众开放,作为构建可访问技术的资源,包括 AI 代理、数字人类应用和视频会议工具。它还可以用来增强 Signs,并使整个生态系统中的 ASL 平台能够获得实时的 AI 支持和反馈。
无论是新手还是专家,志愿者都可以录制自己签署的视频,为 ASL 数据集做出贡献。
在数据收集阶段,Signs 已经为 ASL 语言习得提供了一个强大的平台,为个人提供了学习和练习最初 100 个手势的机会,以便他们能够更有效地与使用 ASL 的朋友或家庭成员沟通。
Signs 团队目前正在探索如何在未来版本的平台上跟踪和整合面部表情和头部动作等非手势信号。他们还在研究如何在 Signs 中表示地区差异和俚语等细微差别,以丰富其 ASL 数据库,并与罗切斯特理工学院的可访问性和包容性研究中心的研究人员合作,评估并进一步改进 Signs 平台对聋人和重听用户的用户体验。
Hello Monday/DEPT 的创始合伙人 Anders Jessen 表示:“提高 ASL 的可访问性是一项持续的努力。Signs 可以满足高级 AI 工具的需求,帮助打破聋人和听力社区之间的沟通障碍。”Signs 背后的数据集计划在今年晚些时候发布。
用户可以在 signs-ai.com 开始学习或为 Signs 做出贡献,并了解更多关于 Nvidia 的可信 AI 倡议。参加 3 月 17 日至 21 日在圣何塞举行的全球 AI 会议 Nvidia GTC 的与会者将能够在活动中现场参与 Signs。