前两天,世超玩到了一个很有意思的手机助手。
虽然还很不成熟,甚至可以说简陋。但是,世超随手录了几段发到了群里,直接收获一堆来自数码编辑们的惊叹。
“ 它是怎么做到的? ”
现在,我就把这几段素材分享出来,给差友们也看看。
在世超的素材里,这个助手做到了像人一样理解指令,并且完美操作了手机。
这个操作完美到什么程度呢。现在我正吃着的这碗香气扑鼻的大面条,就是这个助手给我点的,全程我几乎没有插手。
我只和它说, “ 我想吃次坞阿生手打面的红烧小排面了。 ”
接着,它就开始在我手机上操作了。熟练地退出对话界面,在一堆花花绿绿的应用中,调出点饭的那个黄色袋鼠头。
而且,我的指令里没说要吃哪家。它找到好几家后,知道向我二次确认店家信息。
在得到第一家的答复后,进店、搜索、加购,就这么丝滑地帮我点上了。
当然了,出于安全考虑,付钱的这步还得我们自己来。但其他部分,基本不需要我们插手。
后面还有更神奇的。
最近编辑部的一位好朋友拿了块 B 站的百万粉丝小牌牌,半个办公室的同事都排着队跟他合照,整个朋友圈都被刷屏了。
我实在嫌一个一个点赞留言实在太麻烦了,就试着让它帮我一步到位。
“ 帮我给小发最新朋友圈点赞,并且写一串彩虹屁。 ”
它不仅精准地找到了小发,甚至还知道偷懒用缩写的 xf 搜。
点进朋友圈,找到了最上面一条,然后轻轻送上一个赞。并且,在评论区留了一串,我这辈子也憋不出来的彩虹屁。
看到这,可能很多差友们开始好奇,世超到底用的啥手机。
怎么感觉聪明程度,和自己手机上的助手不是一个级别的?
其实它不是 Siri 这种手机自带的手机助手,而是世超前两天从智谱那里薅来的 AI AutoGLM,一个手机上的 AI 助手。
感兴趣的可以申请内测试试,不过目前还只支持安卓,果子用户们还得等等了。
它这种操控手机的设定,这和前几天刷屏的 Claude 3.5 的新能力不谋而合了。Claude 3.5 也可以做到控制电脑,甚至能自己在电脑上玩数独 ( 玩 得 很烂 )。
而智谱的 AutoGLM 则是可以控制手机。不需要我们设定什么工作流,什么都不需要设置,只需要说话。
读到这,是不是觉得有点贾维斯那意思了?
不过,作为一个外来应用,智谱助手要想达到上面这些操作,方法还比较粗暴, 只能通过获取我们的无障碍权限 。这个权限可以让应用模拟我们的操作,来控制我们的手机。
面向老年人的平安通,用的也是类似的权限。
有了畅通无阻的权限,再加上 AI 的理解和对话能力的加持。 使得智谱的助手,可以完美复刻我们很多的操作。
在微信上,它能发消息、转账、发红包、朋友圈点赞,关注账号,阅读账号内容并且总结等等等等。
像给你的老婆发个情人节精美小作文,或者给你的老板发段彩虹屁。你指令给的不准,它也能懂。
说句 “ 让火锅赶紧下楼, ” 它就知道要发下楼。
再比如赏火锅个 5 块钱红包,也是大手一挥,大气至极。 ( 素材演示,实际并未转账 )
还好付钱得手动结账,不然真怕啥时候口误,就不知道便宜谁了。
像导航软件,打车、搜攻略,导航这些最简单的,都是指哪打哪。它也能理解各种应用里的内容,像让它去小红书上找个什么攻略,并且总结一下。
很多以前压根不会让手机助手做的事,现在我都敢张嘴,试着让它给我办办看。
就比如世超现在岁数小涨,就经常容易忘事。
家里的牙膏没了,餐巾纸要买了,或者是某个东西坏了。我前脚刚说: 哎,这东西得记得买了。
结果一转头,马上把这茬忘了。就算点开了淘宝,要是中途一个消息弹出来,就再不可能点回来。
所以我家水壶,现在已经坏了半个月了。。。
这回我路过看到那个盖子坏了的水壶,只用打开手机说: “ 给我买一个上次买过的浇水壶。 ” 然后再点击付款就完成了。
你还能把大模型的能力也用起来,它不仅能写朋友圈的彩虹屁,也能给你写出几十、上百字的商品好评。
不过,试用中,世超也发现了这种模拟点击的操作方法存在的问题: 如果遇到弹窗,智谱这个助手就傻眼了。
要么直接点进广告里去了;要么聪明点,等到弹窗消失;如果遇到必须手动×掉的广告,它就只能求助于我们。
你以为它完全自动化了,结果却突然要你手动操作一下,这就让人格外难受了。
几天试下来,类似这样的小毛病,大大小小也遇到不少。
世超一直常用的外卖软件其实是饿了么,导致我一开始让它帮我点饭,它直接就罢工了,说 我没磨硬拉,连点饭 APP 都没有就让它干。
这是由于还在内测,所以 支持的软件数量还比较少。操作起来也不稳定,现在能用的功能,主要还是集中在下面这几块。
很多系统级别的任务,像换个壁纸,目前它还做不到。让它去支付宝里,给你偷能量、喂小鸡,它也会无奈地说自己不会 ( 这个建议赶紧上架,很需要 )。
并且反问你:【 你确定要我干吗? 】。
比如你如果非它试试,要么就是卡住不动,要么就是给你打开其他软件,来一场抽象瞎点。
当然了,虽然有不少瑕疵,但这些和世超自己薅到的还是内测版有关。
应用少、不稳定这些问题,以后都是可以慢慢解决的。我估计按照 AI 应用们卷的速度来看,到下个月这个工具就会大变样。
而且,让 AI 能操作工具,这事其实并不好做。尤其大模型的各种能力在实际落地执行的时候,很容易发生冲突,互相打架。
这也是为什么大模型发展成这样了,能真正在手机上取代操作的 phone use 应用还是很少。
不过,相信看到这里,不少差友心里一定有担心。
作为一个第三方应用,获取这么高的系统权限,是不是会有风险?
如果真的就这么光杆子把应用推到大家面前,也一定会因为风险和隐私问题受到质疑。
解法之一可能是和主机厂商的深度合作。而智谱在这一周,也已经官宣了和高通基于骁龙芯片的端侧大模型优化,还有和三星的战略合作。
有种一切正按照计划走的即视感。
总而言之世超觉得,如果说贾维斯,现在这个初始版的 AutoGLM 还是担不起。
但给我们的手机助手来个超级加倍,确实是绰绰有余。
撰文:四大
编辑:江江 & 面线
美编:焕妍
图片、资料来源:
智谱 AutoGLM