“我们都没做过芯片,但我们觉得这事必须要做出来。”
2016年,第一波机器人浪潮翻涌而来,马扬发现,触觉传感器是一片被忽视的蓝海。
对机器人而言,触觉传感器能让机器人像人一样,通过触觉感知物体形态、材质、压力等信息。机器人一旦要执行具体任务,不可避免要与物体接触,触觉在此时起到重要作用。
既然触觉传感器如此重要,马扬与另外两位联合创人孙滕谌和杨五强一合计,三人一同躬身入局,剑指当时鲜有人涉猎的人工智能触觉传感芯片。
然而,自研芯片并不简单,更何况是一颗要放入机器人指尖的触觉传感芯片,这对芯片性能、体积都有严苛的要求。此外,马扬三人此前并没有做芯片的经验。
显然,这注定是条坎坷的道路。
自2017年末成立,到2022年初成功流片,他山科技整整用了四五年时间,历经万般险阻,终于做出首款人工智能触觉传感芯片。
他山AI触觉传感芯片
这一芯片搭载了他山团队基于R-SpiNNaker分布式类脑架构下的AI触觉传感技术,得以在微小平面上探测多维空间触感。此外,还能从采集到的混合信号中单独提取特定变量,可分析处理不同的物理信号,打破了传统触觉传感器的局限。
虽然产品研发上取得了突破,但过往五六年的艰辛也曾让马扬心灰意冷,甚至在第二波浪潮将临之际,他也一度不相信机器人能真的起来。
直到去年,马扬发现确实有了新变化,“整个机器人行业,无论是资本的涌入,还是研发的投入,都有了新高度。与此同时,国家对机器人的定位也不一样了。”
新变量的搅动,让马扬重燃热情与信心,又一次带领团队义无反顾投入进第二次机器人浪潮。
前不久,在世界机器人大会上,他山科技联同多家机器人厂商,展示了灵巧手、机械臂和视触融合等解决方案。
AI触觉传感产品矩阵
他山科技不仅在技术上持续创新突破,也在产业落地上频频布局,坚持技术与市场双轮驱动。
以机器人为终局的他山科技,重点部署触觉传感器、电子皮肤等领域。此外,秉持着两条腿走路的态度,马扬还将目光望向了汽车、家电、消费电子等多个场景,成功拿下了奔驰、宝马等多家主机厂供应商资质,并与比亚迪在多个项目上达成量产。
如今,他山科技已推出了多款触觉传感芯片,并步入正轨,有望在明年实现盈亏平衡。
一路披荆斩棘的他山科技,正在一步步越过山丘。上周,马扬向AI科技评论细数了他山科技的发展,并围绕触觉传感芯片解答了我们的困惑。
期间,马扬虽然较少谈及机器人信仰与情怀,更多讨论的是实实在在的技术和路线。但谈话中,我们能感受到马扬对机器人发展的乐观与向往。
以下是 AI 科技评论与马扬的访谈实录,作者进行了不改变原意的编辑整理:
“这事早晚都要做”
AI科技评论:为什么取名作他山科技,有什么含义吗?
马扬:刚成立时,我们与投资人谈,说的第一件事就是先把硬件做出来。做芯片相当于将二氧化硅变成一个更值钱的东西,于是想到了诗经里“他山之石可以攻玉。”
他山不同的芯片也是用不同石头名字来命名,最早的芯片就叫红宝石,叫Ruby;第二颗叫红水晶;第三颗用在消费级上,相对用量更大一些、便宜点,我们就叫雨花石。
AI科技评论:是什么契机让你们决定进入触觉传感领域?
马扬:2016、2017年正好是机器人行业前一波比较火的一个浪潮,我们看到波士顿动力做出了行走功能不错的机器人,国内优必选、达闼也是最早的一波头部公司。在我们看来,这些公司偏属移动派,更多强调移动能力,能通过屏幕与人进行语音互动。
我们当时觉得,未来机器人更重要的事情肯定是对目标任务的执行,基于这一角度,触觉能力就比较重要。实际上,在公司成立前10年左右的时间,我们在算法层面做了不少触觉任务端的训练,也取得了一些不错的成绩。
在那个时间点,我们发现如果要在机器人手端做执行,最大的壁垒是如何将芯片小型化,以便能放入指尖。当时市面上没有任何一颗芯片能做到,我们也是一时冲动,想着要不我们就先把这颗芯片做出来,于是成立了他山科技。
AI科技评论:第一波浪潮里认为机器人在任务执行这块会有发展潜力?
马扬:2016、2017年那波机器人公司,很多做的是非商业化项目,主要是进行语音和视觉交互的轮式机器人。当时我们觉得机器人在任务执行上非常欠缺,如果真正让机器人商业化落地,走进家庭,任务执行是必须要去做的事。
回头看这几年最好的两个方向,一个是智能驾驶,将人从户外空间 a 移动到 b,完成物理空间的执行;另一个是机器人,更多是帮助人类完成室内环境的移动任务。无论是洗碗炒菜,还是整理物品,这些都离不开触觉、指尖的执行能力,这是我们当时比较笃定的一个方向。
AI科技评论:加入这波浪潮时,当时的挑战是什么?
马扬:当时整个市场上,还没有人很深刻地去思考机器人的执行问题,而我们主要从机器人的广义层面来思考执行。广义上的机器人,包括工厂里的机械臂,都是自动闭环。所谓自动闭环,举个例子,工厂机械臂执行任务时,目标是针对固定物体进行移动,这一执行动作是明确的动作,因此大部分机械臂在实际操作时并不需要添加感知,只需设定好一个重复性的动作即可。当然,有一部分可能会加一些视觉,比如当物体位置有所变化时,一个基础的3D视觉能实现空间定位,然后机器人再执行下一步命令。
但这会存在一个实际问题,即执行的动作得是已经学习过的,或目标物体的各种特性很明确,甚至说目标物体必须是一个刚性物体,才能完成这样的执行。我们当时和其他厂商沟通,发现大家想做的其实是泛化抓取,也就是执行泛化任务。那时候要是能把桌上不同的几个物体抓起来,就很不错了。
我们那波最早进入机器人产业的人其实都有点过于乐观了,当时觉得真正走进家庭也就三五年,最多不超过 10 年,但现在也过去了七八年。回望那个时间点,其实还缺很多东西,尤其是用人工智能做学习时,机器人的一些硬件条件、基础要求还很难达到。
AI科技评论:您提到第一波浪潮中缺了不少东西,具体是少了哪些?现在都补上来了吗?
马扬:那时候我感觉机器人离人还很远,更多是做出一个像人形的机器人,能给人看就不错了。就像一个工业品,最终实现需要三步,第一步是想出来,第二步是做出来,第三步是用起来。我感觉第一波浪潮更多是介于第一和第二阶段的中间,很多东西都还是一个idea,在“想出来”和“做出来”中间还是差了很多东西。在当下这一时间点上,大部分是第二步过渡向第三步,大家已经在做小批量商用,这也是为何这波参与进来的人更多。
AI科技评论:所以当时是直接将目标瞄准向泛化执行?
马扬:这是比较具体的一个目标,我们更大的目标就是为机器人提供可在边缘段执行作业任务的触觉能力。
AI科技评论:你们是只做芯片这一块吗?
马扬:并不是。我们最早要做的事情,其实是机器人整个触觉的解决方案。换言之,我们做的是整个皮肤端的解决能力,其中最主要的是指尖传感器。
当时有一家美国公司指尖传感器做的能力效果和技术指标还行,但国内售价高达2万至3万美金。所以我们当时定下了一个主要的任务目标——先把指尖传感器做好。
触觉既要强感知,也要重执行
AI科技评论:指尖传感器的技术要求高,主要门槛在哪里?
马扬:对指尖传感器而言,其核心需求是既要实现感知,又要实现抓取,这也是触觉与其他感知不同之处。
在整个感知领域,视觉与听觉这两部分已经做得比较成熟,不仅与人的能力不相上下,甚至能超越人的能力。为什么它们能比触觉做得更快?因为对这部分感知来说,只是对客观世界的一个图像化,或是脉冲化的一个反应。再基于过往十年多人工智能的深度学习,我们已经拥有了一套成熟的算法,基于此,视觉与听觉能达到并超越人的能力。
触觉相对比较难的一点是除了感知外还要做执行,甚至可以说,更重要的是做执行。机器人要想完成一个执行的目标,首先要通过视觉的引导,“物体在哪里?”;当接近物体时,此时感知转移到触觉上。触碰物体时,要感知物体的材质、形状、三维力,将物体整个拿起来作交接时,还需要感知物体内部重心的变化。整个过程中,触觉端要完成从感知到执行的全闭环。
我举个例子,比如拿起一杯水,如果杯子是柔性材质,那么在抓取和拿起的过程中,杯子的重心和形状会一直不断地发生变化。当人做这一件事时,不同指尖在抓取姿势和力度的控制上都相应会有所调整。这对于机器人也是如此,需要不断进行调整和闭环。
AI科技评论:目前触觉感知技术的发展情况如何?
马扬:对触觉而言,主要是两个问题。
第一个问题,在前端上要有更快的反应速度。例如,六十赫兹频率,对视觉而言已经算是高频,对于人眼已经足够。但对于触觉端,六十赫兹或一百赫兹还远远不够。要想达到人类的能力,基本上要达到毫秒级,即千赫兹。
此外,触觉传感器的数量更多。无论是触觉还是听觉,对机器人而言一个视觉或听觉传感器就够了。但触觉涉及到最后目标任务的执行,必然需要多个传感器一起做,比如抓取一杯水,得要有五个传感器在五个不同的指尖来协同完成。
每一个指尖传感器,也是由多个传感单元来协同完成。不同于视觉、听觉只需一个芯片就可解决所有的数据问题,由于触觉感知端可能是几十个甚至上百个传感器共同工作,其中所产生的数据仅靠一个芯片难以为继,所以我们采用分布式多芯片系统,以便在前端低延时、低功耗状态下能实现快速边缘处理。
这就好比,当我们摸了一个很烫的东西,手会本能地快速躲避。此时动作并不需过脑,完全是靠手部前端的解决能力和神经元,因此就需要在边缘端实现从感知到执行的自主全闭环。
第二个问题,触觉由于感知维度不同,涉及物体的材质、形状、表面干湿度、三维力、法向力、切向力的情况,且是分布式传感器,要解析多维的触觉数据,就需要在算法端上从基本的感知结构上去解决问题。
这也是为何对机器人来讲,视觉与听觉已经达到了一定的商业化程度,而触觉相对来说还比较慢的原因。
AI科技评论:指尖传感器会产生大量数据,一般如何处理数据?
马扬:数据的处理有两点。数据在单个传感器上完成时,我们会强调在单个芯片上快速从感知到执行全程数据处理的能力。第二,当我们执行抓取动作时,中间的快速反应需要在前端的硬件上完成,即边缘端要有分布式的数据处理能力。
2016、2017年以前,我们基本上也是基于深度学习或卷积的算法去做数据处理,采用的也是市面上主流的芯片。但是做下来后,我们发现整个体积和反应时间达不到应用端的需求,这也是我们自己要去做芯片的原因。
AI科技评论:相当于是在 SNN 结构这一块找到了突破口?
马扬:对,不过与其说是找到一个突破口,不如说是为 SNN 结构找到了一个比较好的应用方向。大家原来都会有一个疑惑,就是 SNN 结构很好,但要用在哪里呢?我想,我们找到了一些答案。
AI科技评论:触觉感知方案上为什么会选择电容感知这一方向?
马扬:联创孙滕谌与杨五强是77届清华自动化系同学。孙滕谌发明了平面电容与曲面电容技术,杨五强在曼彻斯特大学任教时一直在研究电容测量技术。可以说,我们在电容技术这块积累了非常强的know-how。
90年代末时,杨五强的一项技术 ECT 在工业端得到了广泛的应用。我们将搭载电容的传感单元装在石油管道外侧,可实时探测管道横截面上油与水的成分,还能直接做出内部物体材质的成像。这说明,电容技术能很好识别物体材质。
这样的应用放在10年前,在我们开始做抓取学习时非常有用。好比,抓一个塑料瓶还是抓一个玻璃瓶?用多大的力抓取?人抓取任何物体时的底层逻辑是,用尽可能小的压力不让物体在手中滑动。电容技术能在抓取过程中提供除视觉端外的触觉信息,以便帮助我们在抓取端获取信息。
我们后来又改进了传感端的结构,采用多对的电容传感器,再加以力的识别结构,可以很好地做三维力的学习。并且,我们在算法上可以把这两层做一个很好的分级,既能解决前面部分,又能解决后面部分,让两部分数据不产生耦合,这其实非常有难度。
四五年前,包括现在都有很多选择了电容这一路线的团队。通过单一传感器对多维触觉数据做解耦,在这一块我们可以说我们是做得最好的。
AI科技评论:目前市面上还有哪些路线方案?
马扬:触觉传感器目前路线方案较多,我们看现在不同的路线都是可行的,其他路线包括视触觉路线、电子霍尔路线,还有压电压感材料等。
在我们看来,机器人的不同部位对触觉的需求不太一样,采用的路线也会有所差异。比如,躯干更多强调的是可替代化,对单点要有足够的感知能力,整体成本要足够低。像压阻、压电材料成本已经很低了,就很适合大面积布置在机器人身体上。只不过对于机器人而言,电子皮肤得是点阵式,一个点坏了,能快速替换掉。
对于指尖传感器而言,电容感知是业内普遍认可的一个方案。虽然也有其他方案路线,但在我们看来都有些不足。比如,有的只是一个中间方案,实际感知维度是达不到的;还有的可能更适合做展示、做POC、做样件。从最终路线的实现来看,我们会认为电容是一个非常合适的解决方案。
AI科技评论:电容感知方案得到了行业认可,目前是主流方案吗?
马扬:从指尖传感器对厂家的出货量上看,我觉得已经是一个主流方案了。其次,近些年来,我们每年参加 IPRA 会议都会与业内人沟通交流,大家也会认为要实现人形,从目前几种路线来看是最可行的一个方案。
AI科技评论:触觉传感器再进一步发展,要突破的关键点有哪些?
马扬:第一个是在传感端,整个传感器的结构上大家并没有走在同一个路线上,a有a的路线,b说b的路线,这就造成传感器端在商业化上的速度相对来讲是比较慢的。
今年,指尖传感器我们已经可以做到1万颗及以上的批量了,在行业里我们应该算多了。但我也很难笃定地说我们的稳定性已经非常好了。如果没有一个几十万,甚至更多的批量,要说自己的稳定性非常好,可能都是一句比较空的话。
第二个问题是由第一个问题衍生出来的,大家现在在触觉端缺少一个可执行的标准。大家可以用不同思路做感知,但是感知完后关于力的一些基础数据,在解码端可以用同一种方式做解码和存储,这有利于大家快速地做下一代产品迭代。因为不管是谁的数据,如果我们大家可以用起来,不过在短期内也不太好解决。
再往长远看,后面还有一个小壁垒,我们现在还没讲触觉与视觉相融合。从抓取执行的动作来看,视觉先做完再交给触觉,触觉执行完再还给视觉,不断反复进行这一过程。人在这一过程中,是用模糊计算做视触融合,在不同时间里的视触占比会有所变化,对此人是有自己非常精妙的一套机制,但对机器人而言这怎么设定呢?这会是未来要思考的问题。
此外,我们比较强调先在手端做私有网络训练,然后再把手端数据给到脑端,由脑与手的数据相结合,再去做后面的训练,以具备更好的水平。但目前怎么做这种协调的训练,也是比较难解决的一个问题。
未来是机器人的世界
AI科技评论:今年WRC展会上也看到了不少触觉传感器相关厂商,现在触觉传感器市场情况如何?
马扬:这次展会上看到做手的厂商是最多的,不只是传统灵巧手厂商,还有一些头部机器人厂商也在做手,包括一些触觉传感器厂商也加入。
现在传感器走到了一个节点上,主要是两条路径。一个是传统行业里的传感器,有电容屏、触摸屏等应用,整个市场规模也比较大。另一个方向,就是从传统材料切进整个人形机器人做触觉感知,但大家对未来的瞄点不同,技术路径不同,而这个市场还在慢慢起来,朝着更大的商用方向。目前现在做得出色的还相对较少,未来一两年可能会有一次比较大的洗牌。
AI科技评论:您亲历了两次机器人浪潮,您觉得这两次浪潮的变化在哪里?
马扬:我觉得第一波其实相对要虚一点,而第二波明显在落地上会更清晰一些。
第一波没有很多商业化的东西。当时大家更多就是做出来一个样子,主要也是为了展示技术能力,以更好融资来进行下一步。从我们的感受来看,第一波我们还在找方向,也没有什么竞争对手。其实,如果没有竞争对手,就像走夜路一样,走两步就得检查走得对不对。
我希望从第二波开始,这会是真正的一个趋势,而不只是一个浪潮这样。尤其是去年年底开始谈论具身智能,具身智能也涵盖不同的感知,其中触觉得到了更多的重视。我们也看到了更多友商、合作伙伴的加入。这相当于是把我们要做的事情具象化了,商业化也变得更现实了。
AI科技评论:对于人形机器人的发展,您是乐观的吗?
马扬:我还是很乐观的。很多人在讨论,人形落地还要多少年?我觉得这个事情并不是从 0 到 1 的一蹴而就,而是中间会有很多过渡阶段。比如我们之前谈论无人驾驶,虽然到现在也没有实现纯粹无人驾驶,但是智能驾驶在汽车应用上起到了越来越重要的作用, 商业化方面已经做得非常好了。
那么机器人其实也是一样的。我们作为消费者,其实现在还不需要一个能和人同等聪明的机器人——既能帮我做事,又能给我提供情绪价值,这是一个很远的事情。
但是从发展路径上看,首先在一些专用场合,比如物流、清洁、养老等都是比较落地的方向,需求显著。而且,人对机器人的容忍度并不像我们想的那么难以接受。好比智能驾驶汽车一开始也会有一些弱智表现,但只要能给人提供便利,人还是能包容汽车的一些小失误。所以我们会觉得,机器人的市场实在是太大了,你只要能做出一些小小的进步,大家就能共同推动行业一步步发展。
看今年的情况,我觉得大家都很务实。现在大家都很少谈双足了,基本上都会认为可以先做一个轮式,先解决室内平地问题。我们也看到很多厂商已经可以把成本控制到一两万左右,在这基础上我们能够训练出一些执行能力的话,我想在未来两年里应该很快会有落地。
AI科技评论:您对通用机器人的想象是什么?
马扬:我希望未来的通用机器人能拥有与人相类似的能力,不仅是物理空间的移动操作能力,也包括情感能力。
我为什么会这么想呢?我们在研究触觉感知时,中间经常要观察和学习人是如何感知的。人特别有意思,人获取的信息是靠脉冲和神经元,这获取的信息非常模糊,而且都是冲击信号,没有具体信号。具体信号只集中在有限的感知上,如视觉和听觉,其他的都得要充分去调动大脑才能获取一些信息。
现在机器人的信息获取能力已经超过了人。在最终情感的实现上,人其实是通过不断积累的神经元训练所得,那么机器人也可以通过不断喂数据的方式获得与人相类似的情感沟通能力。
现在机器人数据量已经足够大,但它的维度还没有像人这么多,所以我们希望能够在触觉端解决更高维度的问题。我们下一步其实也在做多模态的前端训练,我们希望把听觉、视觉,甚至嗅觉的脉冲信号都加进去,在前端做更多的私有训练。
雷峰网雷峰网雷峰网