1、智能扫地机器人带有2600毫安锂电池,130分钟超长续航能力,配置加长边刷和滚刷,吸米粒,吸头发,进出沙发底,边角地带;
2、采用智能识别规划路线,清扫率高;
3、无线遥控,工作时声音最低仅40db ;
4、复眼系统,全方位搭载多组侦侧仪,测侦范围达到270度,自动识别碰面;
5、自动识别跌落系统,配有红外线传感器;
6、具有预约清扫功能,四种模式随意换;
7、电量过低,能自动寻找充电座充电;
8、具备智能避障功能,可在首次碰撞后产生记忆,形成地图区域,这样机器人可在下次碰撞前提前缓冲,并通过红外扫射躲避悬崖地带,防止外翻等事故。
大数据文摘出品
编译:王缘缘、李雷、宋欣仪
你是不是也做过机动战士高达梦,幻想过将人类意识植入机器?
麻省理工学院近日推出了人形机器人Hermes,它可以通过遥控操作实现灵活移动。
研究人员希望它可以代替人类去执行搜索和营救任务。在面对极度危险的环境时,操纵者可以通过头戴显示器以第一人称视角进行操作。
悲剧敲响的警钟:救援机器人的重要性
2011年日本大地震和海啸造成的福岛第一核电站的灾难为我们敲响了警钟。在灾难中,高危辐射阻止了工人采取紧急措施,他们甚至无法操作压力阀。这个任务其实交给机器人完成是最适合的,但在当时日本或世界的其他地方都没有能力使之变成现实。
福岛灾难让机器人学社区的许多人意识到,救援机器人需要从实验室走到世界各地。
此后,救援机器人开始不断取得重大进展。世界各地的研究小组已经展示了可以行驶在碎石中的无人地面车辆,可以挤过狭窄间隙的机器人蛇,以及在天上绘制站点的无人机。研究人员还在建造仿生机器人,可以测量损坏情况并执行关键任务,例如使用仪表盘或运输急救设备。
尽管取得了进步,但是打造跟应急工作人员具备一样运动和决策能力的机器人仍然是一个挑战。推开沉重的门,卸下灭火器,以及其他简单但艰巨的工作需要的一定的协调能力,还没有能制造出掌握这种能力的机器人。
把人脑放在机器里面
理想的救援机器人应该是灵活而自主性很强的。比如能够自主进入燃烧的建筑物中找到受害者,或者在受损的工业设施中找到需要关闭的阀门。
但是灾难现场是不可预测的,行走在这些复杂的环境中需要高度的适应性,而目前的救援机器人还无法做到。如果自主机器人遇到门把手,但在门把手数据库中找不到匹配,任务失败。如果机器人手臂卡住并且不知道如何自救,任务失败。
人类可以轻松应对这种情况:我们可以随时适应和学习,我们可以辨别物体形状的变化,应对糟糕的能见度,可以在现场临时学会如何使用新工具。我们的运动技能也是如此。比如负重跑步的时候,我们可能会跑得慢一些或者没那么远,但仍然可以跑,我们的身体可以轻松地适应新的变化。
把人脑放到机器里不就可以了吗?
针对这个短板的一种解决方案是使用远程操作,即让操作人员连续地或在特定任务期间远程控制机器人,以帮助其完成超出自身能力的操作。
遥控机器人长期以来一直用于工业、航空航天和水下环境。最近,有研究人员已经尝试使用动作捕捉系统将人的动作实时转移到仿生机器人:你挥动手臂,机器人模仿你的姿势。为了获得完全身临其境的体验,特殊的护目镜可以让操作员通过相机看到机器人看到的东西,触觉背心和手套可以为操作员的身体提供触觉。
在麻省理工学院的仿生机器人实验室,研究团队正在进一步推动人机融合,开发遥操作系统,希望加速实操型救援机器人的发展。他们正在建立一个遥控机器人系统,由两个部分组成:一个能够灵活、动态行为的仿生机器人,以及一种新的双向人机界面,可以将人和机器人的动作互相传递。
通过将机器人与人类联系起来,研究者充分结合了两者的优势:机器人的耐力和力量,以及人类的多功能性和感知力。如果机器人踩上碎片并开始失去平衡,操作员会感觉到同样的不稳定性并本能地做出反应以避免跌落。然后捕获该物理反应并将其发送回机器人,这有助于避免机器人坠落。通过这种人机交互,机器人可以利用操作员的先天运动技能和瞬间反应来保持站立。
比之前的仿生机器人进步在哪
现有机器人的一个特殊限制是它们无法执行我们所说的力量操纵 ,即费力的技能,比如将一大块混凝土敲开或将斧头挥舞向一扇门。大多数机器人只能进行一些精细和精确的动作。
而MIT实验室推出的仿生机器人HERMES可以进行重型操纵。 该机器人重量只有45公斤, 但是强壮有力。它的身型大约是普通人体的90%,这足以让它在人类环境中自然地演习。
为HERMES的关节提供动力的是定制执行器而不是使用常规直流电机,执行器包括将无刷直流电机融合到行星齿轮箱,这样取名是因为它的三个“行星”齿轮围绕“太阳”齿轮旋转,这可以为它们的重量产生大量的扭矩。机器人的肩部和臀部直接驱动,而膝盖和肘部由连接到执行器的金属杆驱动。 这使得HERMES比其他仿生机器人更灵活,能够吸收机械冲击而不会使齿轮摔成碎片。
控制HERMES的人机界面也不同于传统,它是依赖于操作员的反应来提高机器人的稳定性,被称为平衡反馈界面,简称BFI。 BFI需要数月和多次迭代才能开发,最初的概念与2018年史蒂文•斯皮尔伯格执导的电影《头号玩家》中的全身虚拟现实服装有一些相似之处。
具体实验检测
与HERMES合作的时候,操作员站在一个边约90厘米的正方形平台上,由称重传感器测量平台表面的力,由此判断操作员的脚向下推的位置。一组连杆附着在操作员的四肢和腰部,并使用旋转编码器精确测量一厘米的范围内的位移。连杆不仅用于传感,其中还装有电机,用于向操作员的躯干施加力和扭矩。被绑在BFI上的时候这些连杆可以为操作员的身体施加推力。
研究人员准备了两台独立的计算机来控制HERMES和BFI。每台计算机都有自己的控制回路,双方不断交换数据。在每个回路开始时,HERMES收集自己的姿势数据,并将其与从BFI获得的有关操作员姿势的数据进行比较。根据两者的不同,机器人调整其执程序,并将新的姿势数据立即发送给BFI。然后BFI也执行类似的控制回路来调整操作员的姿势。如此重复,每秒执行1,000次。
为了使双方能够高速运作,必须压缩它们之间交换的信息。例如,BFI不会发送操作员姿势的详细数据,仅仅发送操作员的重心位置及其手脚的相对位置。然后,控制机器人的计算机将这些测量数据与HERMES的尺寸进行成比例地缩放,再由HERMES重现该参考姿势。
与任何其他的双向遥控操作回路一样,BFI和HERMES间的耦合可能导致振荡或不稳定,通过微调人体和机器人姿势间映射的缩放参数来使这种振荡或不稳定最小化。
在最初的实验中,研究人员给HERMES使用了早期平衡算法,以了解人类和机器人一起的行为方式。在测试中,一位研究人员使用橡皮锤击打HERMES的上半身。每次打击,BFI都会对研究人员自身也产生冲击,他会习惯性地侧转身体以找回平衡,机器人也能保持平衡。
在另一轮实验中,HERMES做到了挥动斧头和劈开石膏墙板。还在当地消防部门的监督下,实现用灭火器救火。救援机器人需要的不仅仅是蛮力,因此HERMES和还执行了一些需要更多灵活性的任务,比如用水壶往杯子中倒水。
在每种情况下,当佩戴BFI的操作员模拟执行任务时,研究人员观察机器人执行这些相同动作的到位程度,记录了操作员的哪些反应能帮助机器人更好地做动作。例如,当HERMES劈石膏墙板时,它的躯干会向后反弹。几乎同时,BFI将类似的推力作用于操作员,他会习惯性地向前倾斜身体,从而也帮助了HERMES调整姿势。
Little HERMES来助力
因为HERMES体型对于一些实验来说还是太大了,而且能力也过强。虽然HERMES可以执行实际的任务,但要移动它也很耗时,而且要让它动起来还要多加小心,因此研究人员给HERMES弄了个小兄弟。
Little HERMES是HERMES的缩小版。像它的大哥HERMES一样,Little HERMES也使用定制的高扭矩执行单元,装在靠近身体的地方而不是腿上,这样做可以使腿部摆动更灵活。要做到更紧凑的设计,用机器人术语来说,就是减少了运动轴或自由度的数量,每个肢体上从六个减到三个,并且用简单的橡胶球替换HERMES的两趾脚,每只脚都装有一个三向力传感器。
将BFI与Little HERMES连接需要进行调整。人类成年人和这个小型机器人的体型存在很大差异,因此当研究人员无法将两者的动作直接进行关联,比如将人膝盖的位置和机器人膝盖的位置相对应等等,会导致机器人运动很不平稳。
Little HERMES需要的是一个与HERMES不同的数学模型,在新的模型中研究人员加入了跟踪参数,如地面接触力和操作员的重心。这使得新模型可以预测操作员打算做的动作,从而控制Little HERMES执行这些动作。
在一次实验中,操作员一步一步地先慢走,然后再加快速度快走,可以看到Little HERMES也以同样的方式走路。当操作员跳起时,Little HERMES也跳了起来。现在仍然是初步进展阶段,Little HERMES还不能自由站立或四处走动。
研究人员还在进一步扩展它的功能,希望让它可以在实验室里漫步,甚至可以去户外,就像已经完成的另一对兄弟Cheetah和Mini Cheetah一样。
下一步研究目标
接下来还有一系列难题需要解决。一是操作员在长时间使用BFI或高度集中注意力的任务后导致的疲劳问题。实验表明,当操作员不仅要指挥自己的身体而且指挥机器的时候,大脑会快速疲劳。这对于需要精细操作的任务尤其明显,在连续三次重复实验后,操作员就必须休息一下。
目前解决方案是让操作员和控制器共同负责稳定机器人的动作。如果HERMES正在执行的任务需要操作员更多的注意力,那么操作员就不必协助保持机器人平衡,自主控制器可以接管机器人的平衡控制。要识别此类情形的一种方法是跟踪操作员的目光注视。操作员目光的凝视表示其注意力的高度集中,在这种情况下,自主平衡模式就会启动。
就像任何远程操作系统一样,另一个难题是传输延迟。当远程控制机器人时候,如果发出的命令和机器人的反应之间有1秒的延迟,仍然可以远程操作它,但如果延迟变得更久,可能就无法顺利进行操作。目前的计划是依靠新的无线技术,如5G,从而保证低延迟和高吞吐量的传输。
最后,研究人员还正在打算将实验室开发的直立机器人Cheetah和HERMES的技术合并,产生一个可快速移动的四足机器人,可以用四条腿快速进入灾难现场,还可以变形为一个直立机器人,这样救灾人员就可以利用自己丰富的经验技能和反应让机器人开展救援任务。
原文链接:
一部典型的机器臂由七个金属部件构成,它们是用六个关节接起来的。计算机将旋转与每个关节分别相连的步进式马达,以便控制机器人(某些大型机器臂使用液压或气动系统)。与普通马达不同,步进式马达会以增量方式精确移动。这使计算机可以精确地移动机器臂,使机器臂不断重复完全相同的动作。机器人利用运动传感器来确保自己完全按正确的量移动。
这种带有六个关节的工业机器人与人类的手臂极为相似,它具有相当于肩膀、肘部和腕部的部位。它的“肩膀”通常安装在一个固定的基座结构(而不是移动的身体)上。这种类型的机器人有六个自由度,也就是说,它能向六个不同的方向转动。与之相比,人的手臂有七个自由度。
一个六轴工业机器人的关节
人类手臂的作用是将手移动到不同的位置。类似地,机器臂的作用则是移动末端执行器。您可以在机器臂上安装适用于特定应用场景的各种末端执行器。有一种常见的末端执行器能抓握并移动不同的物品,它是人手的简化版本。机器手往往有内置的压力传感器,用来将机器人抓握某一特定物体时的力度告诉计算机。这使机器人手中的物体不致掉落或被挤破。其他末端执行器还包括喷灯、钻头和喷漆器。
工业机器人专门用来在受控环境下反复执行完全相同的工作。例如,某部机器人可能会负责给装配线上传送的花生酱罐子拧上盖子。为了教机器人如何做这项工作,程序员会用一只手持控制器来引导机器臂完成整套动作。机器人将动作序列准确地存储在内存中,此后每当装配线上有新的罐子传送过来时,它就会反复地做这套动作。
机器臂是制造汽车时使用的基本部件之一
大多数工业机器人在汽车装配线上工作,负责组装汽车。在进行大量的此类工作时,机器人的效率比人类高得多,因为它们非常精确。无论它们已经工作了多少小时,它们仍能在相同的位置钻孔,用相同的力度拧螺钉。制造类机器人在计算机产业中也发挥着十分重要的作用。它们无比精确的巧手可以将一块极小的微型芯片组装起来。
机器臂的制造和编程难度相对较低,因为它们只在一个有限的区域内工作。如果您要把机器人送到广阔的外部世界,事情就变得有些复杂了。
首要的难题是为机器人提供一个可行的运动系统。如果机器人只需要在平地上移动,轮子或轨道往往是最好的选择。如果轮子和轨道足够宽,它们还适用于较为崎岖的地形。但是机器人的设计者往往希望使用腿状结构,因为它们的适应性更强。制造有腿的机器人还有助于使研究人员了解自然运动学的知识,这在生物研究领域是有益的实践。
机器人的腿通常是在液压或气动活塞的驱动下前后移动的。各个活塞连接在不同的腿部部件上,就像不同骨骼上附着的肌肉。若要使所有这些活塞都能以正确的方式协同工作,这无疑是一个难题。在婴儿阶段,人的大脑必须弄清哪些肌肉需要同时收缩才能使得在直立行走时不致摔倒。同理,机器人的设计师必须弄清与行走有关的正确活塞运动组合,并将这一信息编入机器人的计算机中。许多移动型机器人都有一个内置平衡系统(如一组陀螺仪),该系统会告诉计算机何时需要校正机器人的动作。
波士顿动力最新升级版的Atlas人形机器人
两足行走的运动方式本身是不稳定的,因此在机器人的制造中实现难度极大。为了设计出行走更稳的机器人,设计师们常会将眼光投向动物界,尤其是昆虫。昆虫有六条腿,它们往往具有超凡的平衡能力,对许多不同的地形都能适应自如。
某些移动型机器人是远程控制的,人类可以指挥它们在特定的时间从事特定的工作。遥控装置可以使用连接线、无线电或红外信号与机器人通信。远程机器人常被称为傀儡机器人,它们在探索充满危险或人类无法进入的环境(如深海或火山内部)时非常有用。有些机器人只是部分受到遥控。例如,操作人员可能会指示机器人到达某个特定的地点,但不会为它指引路线,而是任由它找到自己的路。
NASA研发可远程控制的太空机器人R2
自动机器人可以自主行动,无需依赖于任何控制人员。其基本原理是对机器人进行编程,使之能以某种方式对外界刺激做出反应。极其简单的碰撞反应机器人可以很好地诠释这一原理。
这种机器人有一个用来检查障碍物的碰撞传感器。当您启动机器人后,它大体上是沿一条直线曲折行进的。当它碰到障碍物时,冲击力会作用在它的碰撞传感器上。每次发生碰撞时,机器人的程序会指示它后退,再向右转,然后继续前进。按照这种方法,机器人只要遇到障碍物就会改变它的方向。
高级机器人会以更精巧的方式运用这一原理。机器人专家们将开发新的程序和传感系统,以便制造出智能程度更高、感知能力更强的机器人。如今的机器人可以在各种环境中大展身手。
较为简单的移动型机器人使用红外或超声波传感器来感知障碍物。这些传感器的工作方式类似于动物的回声定位系统:机器人发出一个声音信号(或一束红外光线),并检测信号的反射情况。机器人会根据信号反射所用的时间计算出它与障碍物之间的距离。
较高级的机器人利用立体视觉来观察周围的世界。两个摄像头可以为机器人提供深度感知,而图像识别软件则使机器人有能力确定物体的位置,并辨认各种物体。机器人还可以使用麦克风和气味传感器来分析周围的环境。
某些自动机器人只能在它们熟悉的有限环境中工作。例如,割草机器人依靠埋在地下的界标确定草场的范围。而用来清洁办公室的机器人则需要建筑物的地图才能在不同的地点之间移动。
较高级的机器人可以分析和适应不熟悉的环境,甚至能适应地形崎岖的地区。这些机器人可以将特定的地形模式与特定的动作相关联。例如,一个漫游车机器人会利用它的视觉传感器生成前方地面的地图。如果地图上显示的是崎岖不平的地形模式,机器人会知道它该走另一条道。这种系统对于在其他行星上工作的探索型机器人是非常有用的。
有一套备选的机器人设计方案采用了较为松散的结构,引入了随机化因素。当这种机器人被卡住时,它会向各个方向移动附肢,直到它的动作产生效果为止。它通过力传感器和传动装置紧密协作完成任务,而不是由计算机通过程序指导一切。这和蚂蚁尝试绕过障碍物时有相似之处:蚂蚁在需要通过障碍物时似乎不会当机立断,而是不断尝试各种做法,直到绕过障碍物为止。
小谷智能机器人可以通过下载小谷智慧APP远程机器人,使用手机等设备远程控制该机器人远程机器人,若机器人具有云加节能功能远程机器人,那么可以远程控制该功能。
目前推出5G超远程机器人的公司有英特尔、华为、索尼、索尼爱立信、LG、谷歌、微软、苹果等。
近年来机器人辅助外科手术的出现,引起远程机器人了医学界乃至全世界的关注。什么是手术机器人呢?手术机器人不是机器人在做手术,而是手术机器人系统由经验丰富的外科医生操控机械手臂,来达到手术的目的。医生在机器人手术系统控制台上操作机械臂,被系统精确无误的实时传递,同时在患者体内微小的器械进行手术。医生采用手术机器人辅助手术,可以使手术更加精准、创伤更小、患者恢复更快。
远程手术机器人主要应用于远程手术,比如达芬奇机器人(da Vinci)。远程机器人手术系统主要由控制台和操作臂两部分组成。控制台是机器人手术系统的核心,由计算机系统、手术操作监视器。机器人控制监视器、操作手柄和输入输出设备等组成。术者坐在控制台前,通过机器人的控制监视设定器械动作幅度,张开角度的大小、器械闭合后锁定与否等,利用操作手柄进行操作。手术前需对操作臂活动范围进行设定。术者的手术操作转化为电信号,传导给机器人的操作臂,从而实现远程手术。
2001年7月《自然》 杂志报道了世界首例从美国纽约到法国Strasbourg的跨大西洋腹腔镜胆囊切除术也获得了成功,这是远程手术的一个里程碑,标志着外科手术跨时代的飞跃。现今远程手术机器人手术已应用于心脏外科、普通外科、泌尿外科、妇产科和骨科,具有普通腔镜或开放手术无法替代的优点远程机器人:1、可进行精细操作,计算机系统可将术者在操作台上易于完成的大幅度动作通过缩小传输到机器人双臂手柄上,并可将术者的动作进行高频波过滤,消除器械的抖动和震颤,使操作更平稳准确。2、术者可坐在舒适的椅子上从容进行手术操作,不易疲劳3、手术通常由术者一人就可以完成。有时需1位洗手护士或助手医师,帮助安装、更换手术器械,协助止血,术后卸载器械装置等。
美国食品和药物监管局将远程手术机器人定为二类器械(那些被滥用或错用会造成亚种伤害的器械)来监管,因为它的控制信号都是依靠来自电脑的电磁脉冲。此外,远程手术的机器人操作手术时,术者使用的是机器人手柄或特制的器械,需要一段时间学习和训练,才能获得一种间接的触觉的反馈,否则压力过大会造成局部组织的损伤。在其远程机器人他安全问题上,如黑客网络攻击造成互联网传输的中断、远程传输速度慢造成图像滞后,也会影响手术的精确性等等。由此可见,紧急应付措施及机器人操作的精确性和敏感性应该纳入术前考虑的问题。
对于特别脆弱的组织,医生在第一次远程 "触摸 "时可能已经施加了过大的压力。而正是考虑到这个问题,美国德克萨斯农工大学的一个团队创造了这个实验性的新系统。在其目前的形式下,它结合了光学距离传感器,应用于机器人抓取器的手指内侧,由人类操作者远程控制。当该设备闭上手指抓取物体时,传感器会测量自己和该物体之间的距离递减。这些数据会被传送到操作者佩戴的控制手套上,控制手套会向他们的指尖发出温和的电脉冲。这些脉冲的频率会随着操作者的手指越来越接近物体而增加。因此,操作者可以在实际接触物品之前,精细地调节他们即将施加到物品上的压力大小。
远程手术机器人的关键设备之一是互联网系统。互联网网速会影响图像的传输速度,进而影响手术的精确性。研究表明,600毫秒以内的滞后,在现实中对手术的影响是微乎其微。现在5G网络已经逐渐在普及,图像传输的滞后必将得到解决。
相比之下,互联网的稳定性则是关键的问题,如何保证互联网故障不会发生、服务器遭受黑客恶意攻击,是目前尚待解决的问题。加密在机器人和人类操作员之间流动的数据包将有助于防止某些类型的网络攻击。但是,对于使用无关数据阻碍系统的拒绝服务攻击,它无效。对于视频,加密还存在导致精细操作中不可接受的延迟的风险。为此,华盛顿大学(UW)电气工程团队开发“操作员签名”的概念,该概念利用特定外科医生或其他遥控操作员与机器人交互的方式来创建独特的生物识别签名。通过跟踪特定操作员应用于控制台仪器的力和扭矩以及他或她与机器人工具的相互作用,研究人员开发了一种新方法来验证该人的身份并验证操作员是他或她声称的人。
相信在不久的将来,随着机器人手术器械和手术技术的不断成熟和完善,信息网络技术的飞速发展,远程手术机器人必将越来越完善,能够帮助外科医生减少手术过程中的意外伤害,不断造福于人类。
“远程机器人我们要消除众生的困苦和匮乏,带给他们愉悦和美丽。”——医疗机器人工程师
远程机器人系统已经允许外科医生在一个地方控制另一个地方的机器人手术工具,因此他们可以在远处进行手术。然而,一种新的近距离感应系统可以使这种手术比以往更安全、更精确。
在典型的远程机器人手术设置中,外科医生在视频屏幕上查看切口,移动手指在远程手术室中相应地移动机器人操纵器 "手指 "或其他器械。这种技术不仅可以让外科医生在一个城市给另一个城市的病人做手术,而且还可以在外科医生自己的位置上给病人做手术,帮助他们在做精细手术时,抚平手部的颤动。因此,这些系统通常都包含了触觉反馈功能,操作者可以通过指尖上的振动来感受到他们对病人身体组织施加的力的大小。
也就是说,对于特别脆弱的组织,医生在第一次远程 "触摸 "时可能已经施加了过大的压力。而正是考虑到这个问题,美国德克萨斯农工大学的一个团队创造了这个实验性的新系统。在其目前的形式下,它结合了光学距离传感器,应用于机器人抓取器的手指内侧,由人类操作者远程控制。当该设备闭上手指抓取物体时,传感器会测量自己和该物体之间的距离递减。
这些数据会被传送到操作者佩戴的控制手套上,控制手套会向他们的指尖发出温和的电脉冲。这些脉冲的频率会随着操作者的手指越来越接近物体而增加。因此,操作者可以在实际接触物品之前,精细地调节他们即将施加到物品上的压力大小。
在实验室测试中,11名志愿者使用该系统远程完成了一个物体抓取任务。每个人只在抓取器的视频引导下完成了两次,另外两次是在视频和触觉反馈的引导下完成的。当反馈被利用后,他们能够减少约70%的初始接触力。最终,研究人员希望这项技术能够在远程机器人手术中最大限度地降低患者的风险,并且以不分散注意力的方式进行。
“我们的目标是想出一种能够在不增加这项任务所需的主动思考负担的情况下,提高近距离估计的准确性的解决方案。”首席科学家Hangue Park说。“当我们的技术准备好在手术环境中使用后,医生将能够直观地知道他们的机器人手指离底层结构有多远,这意味着他们可以保持积极的专注于优化患者的手术结果。”
一篇关于这项研究的论文最近发表在《科学报告》杂志上。
有初 科技 |5G远程医疗时代,谈谈手势识别的VR/AR交互应用场景
从新型冠状病毒肺炎疫情开始到现在,中国是世界上疫情控制做得最好的国家。不过,关联境外输入的零星小规模偶发疫情持续不断,一旦疫情出现必然导致隔离发生,医院作为战疫主战场,影响许多需要医疗救助的病人。幸运的是,5G技术推动的远程医疗快速发展,尤其VR/AR技术立体呈现病人器官、组织病变形态,允许医生远程清晰诊断病人的病灶;手势识别精准定位医生的动作与病人身体的位置,远程控制医疗设备为病人诊疗、手术,为远程病人带来曙光。
一、远程医疗“VR/AR+手势识别”方案落地性强
自从5G诞生,云计算速度延迟的基础设施障碍没了,我们落地远程医疗就要考虑三方面因素:一是精度,医疗的精度必须高到离谱,有初 科技 手势控制精度能达到0.01mm级别;二是立体,医生也是人,有正常的交互习惯,建立VR/AR病人器官、组织模型,最大化接近人体并看得更清楚;三是成本,类似一针药100多万的产品没有普及价值,这是一个软件算法配合硬件的方案,软件算法效率提升可以降低硬件成本,进而降低整体成本,实现“普通摄像头+深度学习”方案,大数据进一步训练,精准度越来越高。
首先来讲,基于计算机视觉的手势识别的技术方案优势明显,从医生动作信息输入到VR/AR模型做出反馈,这是一个动态过程,降低了硬件的束缚,为实时手术提供了可行性,而且,手势识别降低了硬件的依赖,让医生的手避免被其他物体遮挡,顺应医生视觉习惯,而且0.01mm识别精度比医生手术刀微弱抖动还小,技术的落地基础有了。
其次,人体是一个三维立体结构,而手势识别也是三维立体识别,VR/AR模型呈现也是三维立体。这过程类似增强CT、MR或造影支持,从机器视觉获取人体三维模型信息到VR/AR模型立体呈现,呈现在医生眼前的就是一个立体的病人器官、组织,并清晰展示病灶情况,此时,医生远程诊断病人情况,需要手术的情况下,也可以借助远程专用VR/AR模型为基础的手术平台,实现两地病人与医生的链接,完成远程手术,为来不及远程运送的急重症病人提供新的希望。
最后,任何 科技 的产生都是为了造福大众,成本的高企无法适应市场需求,进行最优方案降低成本也是必须考虑的因素。目前来讲,基于机器视觉的手势识别方案分为两种“一种是用深度摄像头,一种是用一个或者多个普通摄像头实现。 而其中深度摄像头的方案又分为两种,TOF(Time of Flight,光飞时间)和结构光。”而不同方案的差别就像人的一只眼睛、两只眼睛看到景深层次不同,但是一只眼睛借助已有信息、关键提示等其他辅助软条件也可以达到预定效果,而普通摄像头信息延迟低于TOF数倍、拍摄角度大于TOF很多,虽然提高算法要求,但是降低综合成本,更及时、全面获取信息,也更适应医疗场景需求。
二、远程医疗VR/AR硬件低成本、高精度手势识别技术可行
在手势识别应用于VR/AR硬件方面,有初 科技 有落地项目进行实际验证,并把成本分成不同方案进行呈现,当然,包括最低成本的实现方案。
对于医疗来讲,高精度就是病人的生命,有初 科技 实现0.01mm识别精度,为远程精准医疗提供技术可行性。实现手势识别依赖“摄像头+算法”的合理方案,得益于机器视觉和深度学习技术的发展,我们利用普通摄像头实现高精度的手势识别,对于应用的落地是一大利好。
而且,手势识别的高精度摆脱穿戴设备也是一大突破,一个穿戴设备套在手上,增加一层交互传感的误差,这个误差远远大于手术刀的误差,这一点无手套、无标记的手势识别也是有初 科技 的优势。
对于医疗来讲,延迟和视角是高精度的间接影响因素,却直接影响着医生对病人的治疗。利用现有SLAM摄像头实现手势识别,大部分用于SLAM的摄像头均为鱼眼或者广角灰度摄像头,在实现的精度上,用同样的计算资源或者用同样复杂度模型的话,基于深度的或者灰度的摄像头能够做到精度最高,RGB的精度反而相对会弱一些,因此,直接在SLAM的相机上实现手势识别的精度也能够达到比较满意的效果。
在成本、延迟、广角都占据优势的条件下,SLAM相机进一步加速“普通摄像头+深度学习”方案落地,也可能是未来的主流方案,等待临床数据去训练和验证。
三、远程医疗“最自然交互”手势识别成为VR/AR选择
最好的交互就是没有交互,当下的交互方式都是人适应机器,这样就容易导致用户的操作失误,医生的操作失误就会导致病人的生命危险,所以,交互方式适应人才是最佳方案。
人类诞生语言前,手势识最原始、最自然的交流方式,成为人的一种习惯、潜意识,出错率大大降低,而手势识别就是基于最自然的交互,适应医生的习惯,让医生全身心投入治疗,而不是分心于交互习惯。
而无论具有高度三维立体沉浸感的VR/AR,还是交互自然而生的手势控制,模仿人体日常生活中的行为方式,如挥手、握手、击掌、猜拳、抓取……动态追踪手势进行实时识别,保障动作识别的及时性、准确性。
为了提高真实手术场景的触感,基于VR/AR定制手术刀、镊子等设备,实现手势的触觉反馈体验,进一步感知手部复杂自由度的姿态和意图,未来手势识别成为VR/AR设备主流交互方式指日可待。