当GPT开始连接“无声的世界”

设计动态2023-04-29

随着ChatGPT的发展,各行各业都在受到影响。ChatGPT的出现,也让我们看到了它连接世界各国语言的重要作用。既然有声语言可以做到这种程度,那么无声语言呢?作者对其在手语翻译上可以发挥的作用进行分析,一起来看看吧。

如今,GPT让我们看到,它在连接世界各国语言之间的重要作用。

无论是中文、英语、法语、日语、西班牙语、葡萄牙语,还是每个国家之间不同的方言,比如国内的粤语、闽语、吴语、客家语等,GPT都可以在大量学习之后,轻松地进行翻译交流。

然而,世界上还有一种语言,很容易被人遗忘——

那就是聋哑人生活中必不可少的「手语」。

实际上,手语也有国别与地区之分,也有各种各样互不相通的「方言」。

要读懂一个人的手语,真正理解他的意思,从来都不只是像看电视一角的手语翻译者演示的那样简单。

那么,GPT在手语翻译上可以发挥的作用,可以说更加让人震撼。

也许,这种无声的语言,在不久的将来,可能以一种全新的方式,被全世界人们看见、听见。

01  无法被理解的“手语方言” 手语一般分为两种,一种是文法手语,也就是我们平时在新闻联播或重大会议上看到的手语翻译;

另一种是自然手语,有着不同的地区差异,相当于各地「方言」的集合。

目前,世界上有超过140种记录在册的自然手语。

然而,自然手语和文法手语之间没有直接的对应关系,因为它们传达的是概念,而不是单词。

所以,即使是专业的手语翻译者,由于他们学习的是文法手语,也无法很好地理解不同地区聋哑人的手语表达。

比如说,一个美国的聋哑人旅行者来到了英国,他想在一家咖啡店点一杯咖啡。

如果他用美国手语(ASL)对服务员做一个手势,表示“咖啡”。

很有可能服务员会不明白他的意思,因为在英国,懂手语的人也可能只懂英国手语(BSL)。

在美国手语(ASL)和英国手语(BSL)的体系里,表达“咖啡”的手势完全不同。

在美国手语(ASL)中,表示“咖啡”的动作是:两只手做一个拳头,然后把一只拳头放在另一只拳头的下方,上面的拳头像转动圆盘一样画圈圈,模仿的是用手转动咖啡磨来研磨咖啡豆的动作。

而在英国手语(BSL)中,表示“咖啡”的动作是:用拇指和食指做一个“C”的形状,然后在肩膀的高度向嘴巴的方向扭动两次,模仿的是用嘴唇吹气来降低咖啡温度的动作。

因此,在日常生活中,聋哑人可能会遇到各种各样的沟通障碍。这种尴尬,不仅发生在聋哑人与无障碍者之间,也有可能发生在聋哑人彼此之间。

02  无法被看见的“非手部信息” 手语翻译要比我们日常接触到的口语翻译更难。

因为口语通过声道表达,而手语通过手、手臂、头部、肩膀、躯干和面部部分表达。

也就是说,手语是一种多模态的语言。

它不仅包括手势,还包括面部表情、身体姿势、眼神等非手部信息,这些信息都需要被准确地捕捉到,并且加以分析。

目前,有不少科技产品做手语识别,但都无法很好地识别「非手部信息」。

比如,美国华盛顿大学两名学生发明的SignAloud,这是一款特殊的手套,手套上有传感器,可以感知手的位置和运动,然后通过无线信号把信息发送到电脑上,电脑把手部姿势对应的英语单词或短语说出来,或展示出来。

但这个技术目前只能识别美国手语(ASL),更重要的是,它只能识别手部信息。

因此,它只适用于一些简单的生活场景,如点餐、问路等。

而对于一些复杂/专业的场景,如医疗、法律等,它的精细度就不够了。

举个虚构的例子。

假设有一名聋哑人被控告偷窃,他在法庭上用手语为自己辩护,但是法官和检察官不懂手语,只能通过翻译来理解他的话。

在一次提问中,检察官问他是否承认自己偷了东西,他用手语回答说“我不知道”,但是他的面部表情和头部动作表示他很困惑和无辜。

翻译只看到了他的手势,就把他的回答翻译成“我不承认”。

法官和检察官听到这个回答,就认为他在撒谎和抵赖,对他的态度更加严厉和不信任。

这样就可能影响他的判决结果和法律权益。

因此,我们需要更加重视这些非手部信息,需要更好地利用科学技术,来帮助我们理解聋哑人真实的内心世界。

03  GPT的腾空出世 由于对手语的不完全理解,导致了聋哑人在日常生活中受到极大的障碍。

而GPT的腾空出世,为聋哑人的语言交流带来了极大的改善可能。

在方言的学习上,GPT的语言深度学习能力十分有优势。

它可以通过足够多的方言文本数据来进行知识输入,比如方言的书籍、文章、对话、歌词等,自行学习方言的词汇、语法、语音、语境等特征;

它可以掌握一定的方言知识,比如方言和标准语的对照、方言和地域的关系、方言和文化的背景等,更好地理解方言的含义和用法。

它还可以灵活地使用方言进行交流,根据不同的场合和对象来选择合适的方言表达方式,根据上下文来推断方言的意图和情感。

在“非手部信息”的学习上,GPT的多模态识别能力可以发挥强大的作用。

它可以处理不同类型的输入,比如文本、图像、音频、视频等,现在You*T*、TikTok上面有大量的手语短视频,能让GPT快速扩展自己的手语知识面,提高手语理解能力。

GPT可以通过视频观察手语的动作和表情,从而学习手语的语法和语义,这比单纯通过文本或图片学习更加直观和有效。

GPT可以通过视频理解手语的情境和文化,从而增强手语的交流和表达能力,这比单纯通过知识或规则学习更加丰富和灵活。

因此,GPT经过大量训练后,将为聋哑人与无障碍者交流带来极大的便捷。

04  GPT成为“手语翻译师”的意义 事实上,在GPT诞生之前,人类也已经为聋哑人的境遇努力改变过。

比如中国第一位手语律师——唐帅,用10多年的时间,学习了全国各个地方的手语方言,为近16万聋哑人提供了法律咨询和援助。

他还积极培养聋哑律师,培养的学生之一——谭婷,成为中国首位通过司法考试的聋哑人。

但是,依靠人来培养,所需的时间很长,涉及的知识面也始终有限。

而GPT可以成为一名更专业的“手语翻译师”,为聋哑人的生活带来更多改变。

除了法律场景,GPT还有更多可应用的场景,比如:

医疗场景:GPT帮助医生或护士更好地理解聋哑人的手语,避免诊断错误; 救援场景:GPT帮助人们更好地理解聋哑人的手语求助信息,及时采取救援; 金融场景:GPT帮助银行工作人员准确理解聋哑人的手语,避免业务办理错误; 工作场景:GPT帮助聋哑人与工作中的同事或客户沟通,用手语表达自己的需求; 学习场景:GPT帮助聋哑人与课堂上的老师或同学交流,用手语提问或回答问题; 借阅场景:GPT帮助聋哑人与图书馆工作人员沟通,更顺畅地寻找资料; 运动场景:GPT帮助教练或裁判准确理解聋哑人的手语,避免指导错误或判罚错误。 我们欣喜地发现,GPT可覆盖的场景愈发多元化;

我们满心地期待,GPT可以为人类生活带来更多有意义、有价值的帮助,人类也无需在这个科技革命面前踌躇不前,害怕坠入被AI反噬的万丈深渊。

技术照亮生活,让人们在困境中找到出路。

也许GPT正是那一束光,为这个“无声的世界”带来一丝温暖与希望。

专栏作家

Vinky,微信公众号:叁言梁语,人人都是产品经理专栏作家。分享商业干货,关注互联网营销领域。

本文原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

{{{path> 收藏 已收藏 {{ postmeta.bookmark }} {{{path> 点赞 已赞 {{ postmeta.postlike }}


让你的品牌快速脱颖而出,抢占市场份额,提升销量
免费获取方案及报价
*我们会尽快和您联系,请保持手机畅通