AR技术将在帮助人们理解手语方面发挥重要作用

发布日期:2018-03-29 来源:上海未特芮科技 作者:VR/AR开发培训
上海未特芮科技消息,最近,纽约的一所大学生开发了一款应用程序ARSL,使用AR增强现实技术和机器学习将手语翻译为口语,反之亦然。不幸的是,许多聋人仍然觉得他们过着与世隔绝的生活,由于在整个听力人群中缺乏手语知识,如约会和外出之类的事情经常变得异常糟糕。
 
ARSL应用程序使用计算机视觉模型将手语翻译为口语,而其他方式则实时翻译。该应用原型获得了相关资金,作为Verizon Connected Futures挑战的一部分,Verizon Connected Futures挑战旨在搭建纽约大学与公司之间的渠道,以推广下一代技术。
 
ARSL团队由李仲恒(音译)为组长,他的灵感源自于一起陪她长大的聋哑人父母。谈到他的母亲从香港移居美国后的生活,李仲恒注意到,对于没有通用手语的事实,他的母亲感到很沮丧。
 
实际上,目前全世界有数百种不同的手语在使用。这通常会使手语之间的翻译成为一项艰巨的任务,更不用说从符号转换为口语。
 
ARSL应用程序目前仅限于在医疗行业实践应用。扩展功能的迭代升级非常复杂。手语是一种复杂的动作和面部表情系统,其中的单词通常与英语中的顺序不同。再加上等式,以及每个人带来的细微微妙之处,而且还有很多需要机器学习和翻译来处理。
 
李和他的团队希望他们获得的资金能帮助他们在应用程序中添加一系列其他场景,并将小型医疗机构的列为实践应用的首位。因为大型医疗机构和医院可能随时都会有手语翻译。尽管如此,我们仍然离完整的手语翻译程序还有一段距离。