AR智能眼镜开启智慧医疗

发布日期:2018-01-27 来源:未知 作者:admin

手术转播只是应用了谷歌眼镜众多功能中的冰山一角,其彻底解放医生双手的交互平台功能才是智能眼镜最具开发潜质的所在,在未来医学中,智能眼镜无疑的将有更广阔的应用空间。

 

试想一下,急救医务人员可以记录急救护理阶段的所有内容,随时可以接收后方专家的专业指导,并在病人送往医院的途中借助智能眼镜上第一视角摄像头,将信息传送给医院的医务人员,使其清楚、实时地掌握病人病情,实现病人转移和护理的无缝衔接,拯救更多的生命;外科医生只需佩戴智能眼镜就可以知道病人的病历、检查指标和手术方案,无需用手操作,手术时智能眼镜甚至还可以为外科医生设计出最佳的进入路径,避开重要血管和神经,大大降低手术的失误率;护士在用药前利用智能眼镜扫描病人和药品信息,便可有效地控制错误用药的几率……使用智能眼镜的医疗试验已在国外医院相继启动,智能眼镜正全面开启智慧医疗新时代。

 



 

 

远程手术无国界

 

“智能眼镜在手术中的应用并没有止步于用第一视角转播手术,更多的设想源于对医生手术的支持。它可以实现转播前后端功能的分享,后台教授及远程手术指导的信息即时反馈到眼镜的显示屏上,从而形成一个互动交互平台。”这并非简单的视频会议,而可以实现观摩医生和主刀医生之间的语音和图像双向交互,使得专家教授不用亲临现场就能指导主刀医生处理复杂疑难手术,真正实现远程手术指导。

 

美国阿拉巴马大学伯明翰分校高地医院(UAB)曾经进行的一项完整肩关节置换手术过程中,外科医生Brent Ponce披上手术袍并戴上谷歌眼镜,让谷歌眼镜镜架内建的摄影机得以撷取视频,并同步传送给远程的同事——在亚特兰大医院诊疗室收看手术过程的PhaniDantuluri医师。同时,通过谷歌眼镜上的光学显示屏,Ponce能够看到一只虚拟的手指导他进行这项手术。这是Dantuluri医师的手,经由互联网联机另一端的视频撷取其影像后,再叠加于视频中的手术现场,最终在谷歌眼镜的协助下,双方共同顺利地完成了这项手术。

 

 

医生利用智能眼镜进行手术指导可以通过三种途径来进行,首先是语音交互,虽然这是最直接的方式,但问题在于不够精确。第二种方式则可以通过图文结合的形式给予指导,后方观摩医生利用任何一个移动终端传输一些文献、打上一段文字,甚至是以往类似手术的视频、一张截图等,这些内容都会立刻显示在手术医生的智能眼镜光学显示屏里,从而给他手术带来更为直观的帮助。而第三种方式便如同Dantuluri医师那样,观摩医生可以在谷歌眼镜佩戴者的视野里做一些勾画,这样叠加在前方医生的视野中,将对手术的路径,解剖结构、重要点一目了然。每画一笔都会被保存下来,如果主刀医生没有看清可以倒退回去再次观看,同时也可以在术后用来总结和研究。而后方的观摩医生只需在自己的移动终端上开启画笔功能。

 

这三个层次的功能一旦实现,智能眼镜也将不再是一个简单的视频转播设备,同时也可以作为一个远程医疗教学的终端。人们都觉得医疗资源不平衡,大部分优势都集中在三甲医院,很多二甲医院以及边远地区医院遇到手术医生不会做也不敢做,残酷的现状是很多专家必须打飞的去做手术,这样的时间成本和手术成本都相当高。随着智能眼镜的数字技术以及远程通信技术的普及和运用,很多低年资的医生以及边远地区的医生将有更多机会来实践手术,一位美国专家坐在自己的办公室里协助中国某个偏远山区的医生共同完成一台手术也完全可以实现,那也真正达到了手术无国界。

 

实现智能眼镜的交互功能后,另一方面也可以使主刀医生在第一时间获取有用的信息资源、有利于手术的顺利开展。未来,到手术室前,医生可以通过眼镜显示屏查看手术安排情况、病患资料,翻页只需要通过抬头和低头的动作就能完成。手术室的墙上也不再需要挂着各类影像片子,小到病人心跳、呼吸的常规生命体征信息,大到病理冰冻结果、核磁共振成像(MRI)及X光信息都可直接显示在谷歌眼镜上。甚至还可以实现即时查询,如查看解剖图谱、关键步骤的手术图片等。医生们无需为了调看医疗记录来回走动。

 

 

 


 

为手术路径导航

 

如进一步应用增强现实技术(Augmented Reality,简称AR)后,当智能眼镜的摄像头对准患者身体部分时,屏幕上就会出现一个虚拟的3D模型,显示出患者躯干部分的重要构造,如血管的组织构造等。对医生而言,这项应用真正实现了为手术导航,将帮助医生避开重要血管,大大降低手术的失误率,也可助手术医生更安全高效地评估。

 

AR技术实际上是通过CT或MRI扫描获得的人体透视三维图,再由数字技术进行后期处理,便可以与实际人体的部位进行叠合,叠合的部位便可以清楚地看到病人身体上的CT或者MRI图像。其实,AR技术在许多智能设备上已经实现,搬上谷歌眼镜并没有太多障碍。

 

想象一下,当外科医生在进行手术时可以通过视觉看到病人解剖后的表层,他们就能知道具体在哪里下刀,准确判断病变的部位,这样的精确导航不但能避免损害重要结构,还能有效减少触碰到大血管而大量失血的发生。这将帮助手术顺利实施,病人的受医治水平和治疗效果都会得到提升。在骨科手术上,AR技术尤为实用,通常为患者手术要知道骨骼断裂走向如何,而目前的条件下,医生只能靠不断阅片和自己的经验来摸索着前行,而三维重建后,医生就能大致知道裂痕的走向,相关数据被传输到谷歌眼镜中后,主刀医生手术时只需将三维数据模型叠合在患者实际的骨折部位,那钉子该往哪里打,走到哪个程度医生都了然于胸了。

 

有数据显示,在美国每年至少发生4000次手术失误,今后若是所有的外科医生都能在谷歌眼镜中使用AR技术,将可以轻松绘制出病人的整个身体,进而显着降低手术失误率。

 

诊疗全程智能化

 

随着医院信息化建设不断深入,可以预见,谷歌眼镜的应用完全可以覆盖包括院前急诊,门诊到手术,出院康复等医疗的各个细分领域,开启一个全新的智能诊疗时代。智能眼镜将以不可思议的方式来改变医学。

 

急救人员一旦配备了智能眼镜,他们既可以向智能眼镜发出远程指令用以处理罕见事故,让第一现场的急救变得更为及时有效,也能让医院中的医学设备及医生为即将到来的抢救做好准备,达到无缝衔接。

 

而门诊阶段,智能眼镜不但能有效协助医生诊断,也能为医生分担繁重的记录工作。患者的门诊预约结果可以显示在医生或者护士所佩戴的智能眼镜上,当患者抵达医院后只需扫描一个二维码或者条码,患者信息便可立即反映在眼镜上,快速便捷。而统一的电子健康档案建立后,患者的既往病史、手术史以及在外院就诊和检查的资料都可一目了然,这也将协助医生更准确且高效地判断出此次发病的原因。

 

智能眼镜的语音识别功能进一步开发后有望为门诊医生节约更多时间。现在中国的医生只能手写病历,这样既浪费时间,又无法和病人充分交流,因此如果透过智能眼镜只需医生动口叙述,智能眼镜便自动开启记录功能,并将音频转换为文字。这将让医患间有更多时间充分交流。Augmedix是一家软件公司,为谷歌眼镜设计了专门的电子病历应用,并在美国各大医院进行推广。目前,已经有数百名医生在使用该软件。Augmedix表示,虽然普及规模并非一夕间的事情,但该软件已经创造了百万级美元的营收,具有良好的发展前景。

 

医生戴上谷歌眼镜并使用Augmedix应用,可以摆脱传统阅读纸质病历的不便,更好地、更高效地为患者实施诊断,已经有越来越多的医生开始意识到增强现实技术对工作的帮助。

 

在医疗、商务领域,美观性显然不是一个问题,Augmedix表示,98%的受访患者表示根本不在意医生佩戴谷歌眼镜。

 

 

若是智能眼镜实现在用药提醒方面的应用,那将大大提升医疗安全。若是用智能眼镜扫描病人信息,处理系统便会轻松地根据病人既往过敏史、用药史自动排除这个病人的一些禁忌用药。

 

在病房里,智能眼镜仍有广阔的用武之地。中国医生的工作过于繁忙,那么若是经过计算机初步筛选后,重要临床数据能即时推送到医生的智能眼镜上,那将避免错过最佳抢救治疗时间。而有了智能眼镜,查房也打破了空间距离,一般的查房只需普通医生进行,或是在医生下班时间,护士也可自行查房,而一旦出现问题时,通过智能眼镜转播第一视角的画面,便能在第一时间得到医生的帮助。

 

目前,所有的医疗事故中最高发的是配药过程中,发错药、打错针,而智能眼镜的二维码扫描功能则可以很有效地控制这样的错误发生。只要所有药品和患者都会有二维码,护士在发药补液前,只需扫描各自的二维码,电脑系统便会自动核对药品的品名是否正确,剂量是否符合患者需求,患者名字匹配与否,一切确认无误后便可放心使用。虽然这样的扫描可以通过手机等其他终端进行,但智能眼镜的优势在于不影响医护人员手部操作的前提下,仅将佩戴着眼镜的脸部凑近扫描一下,相关的信息便会投射在眼镜的那一小块屏幕上。