APP推广合作
联系“鸟哥笔记小乔”
危险,你的AI agent正在「无人驾驶」!
2024-12-27 10:52:12

文 | 周天财经

周天财经 原创出品

最近流行用智能体点咖啡,不同大厂纷纷拿出了绝活儿。比如,荣耀CEO赵明就在一次直播中当场展示了自己用一句话就通过智能体yoyo在美团点了三杯咖啡的片段,画面显示,手机自动完成了寻找门店、自动选定咖啡品类最后到自动完成付款的全流程。

操作十分流畅,仿佛有一根看不见的手指在帮用户点按屏幕,用户只需当甩手掌柜,这些操作都非常像L2级别的自动驾驶,用户只需旁观,必要时才接管,如果再成熟一些,无感地自动化,甚至无需用户目视和接管,L4级别的agent指日可待。

不过,在上述场景里,坐在一旁目睹全过程的周鸿祎直呼:这太危险了。

智能体只会点咖啡吗?非也。在不久前的智谱Agent Openday上,智谱CEO张鹏掏出手机同样也在台上炫技了一把:「帮我在智谱开放日群聊里发两万元红包,数量一百个,名字为‘AI给你发的第一个红包’。」根据张鹏的自然语言,智能体AutoGLM调用微信支付,打开红包功能,顺利发出红包。

危险,你的AI agent正在「无人驾驶」!

图源:智谱

01 智能体开始显露「另一面」

其实,周鸿祎的惊呼并非毫无缘由。有业内人士直指行业里的秘密:由于还没有实现APP的互联互通,当前很多智能体在进行着L2乃至L4级别「无人驾驶」时,实际上比较主流地用到了一种作弊方案:

智能体在执行用户需求时采用的是机器模拟点击,其实现方式与黑灰产作弊实现原理相同,智能体可以根据自己能获取的用户授权高低选择不同的实现方式。对于三方应用层的智能体,权限最低,很难有效区分当前的机器模拟点击到底是来自智能体用户的真实操作意图,还是黑灰产作弊行为,就会造成风控结果的误判。

尽管关于智能体的定义和分类各有不同,但形成共识的还是有以下几个方面:1. 每个智能体都要扮演某种社会角色,参与社会化分工、完成任务并有产出;2. 能进行对话交流和理解用户的行为偏好;依据反馈进行强化学习和重新规划;3 与外部其他的业务系统、其他智能体、工具应用进行协同。

通俗来说,可以是管家、行政秘书和前台、客服、司机,智能体相比信息分发时代的产品,要更加主动且自动,更加靠近用户,成为贴身助理,代替用户发号施令,掌握用户的隐私数据会更多,担当着用户的心腹。

但是,如果心腹的实现,靠的是沿用上述「作弊」机制,会洞开安全的后门。智能体之间的自主交互如果缺乏严格的身份认证和授权机制,将使系统容易受到恶意攻击和不正当访问。恶意智能体可以伪装成合法的智能体,恶意用户可以伪装成合法的用户,从而获得不该有的服务权限。

例如,轻则是财务转账给黑灰产团队,重则危及生命,比如恶意智能体可以假冒成合法智能体发起请求,访问用户的健康敏感数据、交易敏感数据;恶意用户可以伪装成机主,向医疗智能体发送虚假健康数据,可能导致错误的医疗决策,危及患者生命安全。

「心腹成为大患」的安全难题已经迫在眉睫。

02 安全互联互通,刻不容缓

绕开APP生态和应用层的作弊机制是简单的方案,但不是好的方案和唯一方案。

而且,部分手机厂商主导的作弊方案,还会带来一个颠覆产业的激进结果。

入口的收敛,从图形界面收敛到一个语音助手的界面,从信息流变成任务流,对于当前生态颠覆性太大也太快,过于激进。掌握入口的主动权,最终可能造成恶性商业竞争。智能体AI原生的特点使其有机会在中短期内成为现有软件层之前新的入口,在长期甚至有可能替代现有的软件层。

硬件厂商就取代了互联网入口,挤到了用户最跟前,影石创始人刘靖康最近就公开表示,手机厂会是比互联网厂商更大的「BOSS」,因为他们同时掌握了更个人向的数据,以及执行具体操作的「位置」优势。

对用户来说,入口如果未来是极度单一的,用户的自主性和主动权也就丧失掉了。

如果既要安全,又要行业长远健康发展,有没有其他可能?目前业内的另一个思路,是不颠覆当前的应用层,致力于在应用层APP之间建立统一的安全协作标准,从而实现跨APP的流畅操作。其中,IIFAA在12月19日成立的「IIFAA智能体可信互连工作组」,就在主张这一思路。

这一工作组的成员包括了华为荣耀Oppo字节蚂蚁等头部企业,希望联合通过制定跨智能体交互的安全技术规范,为整个智能体行业提供一个更加健康规范的协作环境。

危险,你的AI agent正在「无人驾驶」!

图源:IIFAA官网

IIFAA这个组织我们听起来有点陌生,实际上是早在2015年由中国信通院、华为、中兴、蚂蚁集团、阿里巴巴等联合发起的可信身份认证联盟。目前,其可信数字身份技术规范在全球有超过16亿台手机设备、43个手机品牌商得到应用。

IIFAA互联网可信认证联盟技术负责人万小飞说,不管是系统级、厂商级还是 APP级,都在往端侧个人助理方向发展,如果没有相关的规则和标准的制定,有点像早高峰时没有红绿灯的状态,属于百舸争流,会带来非常混乱的状态,最终影响的是整个生态的健康发展,包括用户权益的损失,这些趋势和背景,是成立智能体可信互联工作组最主要的目的。

工作组的目标是确保智能体和智能体之间能有一套相互的协同和通信的机制。IIFAA专家张璇谈到,「服务可信调用方面,任务非常长,一个服务的链路或许有几十个步骤,我们希望再复杂的服务调用链路,我们希望是全链路可信。经过层层的调用之后,用户的真实意图仍然可以得到最终正确的执行。」

而由于智能体的快速发展,这一工作目前已经有了紧迫性。万小飞感叹,整个智能体的发展是超乎预期,包括苹果的发布会,以及国内手机厂商在自己开发者大会上密集宣布了厂商的智能体,很多的APP厂商也在做自己的智能化助理,都在加速中。

其实,硅谷头部公司和企业家们早已行动起来,均表态要发起统一标准的行业框架,Elon Musk就认为,快速发展的AI可能超出管理其风险的能力,倡导建立监管框架和行业标准以确保负责任的AI发展。

谷歌也发布了Secure AI Framework (SAIF),强调了在创新同时,需要有明确的行业安全标准来负责任地构建AI这项技术。SAIF包括六个核心元素,涉及扩展安全基础、扩展检测和响应、自动化防御、协调平台级控制、适应控制以调整缓解措施,并在周围的业务流程中情境化AI系统风险。

危险,你的AI agent正在「无人驾驶」!

Google SAIF风险地图

回到中国智能体来看,万小飞认为,当前第一阶段工作主要聚焦在比较急迫的4个维度:

1. 智能体可信身份鉴权。「APP都有身份鉴权体系,智能体没有,它的身份到底是属于APP还是设备?要去做定义」

2. 数据的可信流通问题。互联网的前半段,各个APP厂商花很大精力保护数据,一定程度上满足数据属于用户。APP的孤岛被打破以后,数据的流转不在一家APP厂商,是在多家。这时数据的隐私保护职责方是谁?数据的所有权属于谁,要确保数据在端上有一个可信流通通道和机制;

3. 业务的系统风控问题。A智能体在按照B智能体分发的意图做任务时要「听命于」B,因此必须要建立跨APP防护体系,避免智能体被恶意意图操控,出现类似自杀、欺诈、黄赌毒等情况。

万小飞举了个例子,如果在同一个APP内,买了酒和头孢,可能就会触发风控机制,识别出用户意图里有一定程度的自杀倾向,平台就会介入阻止。但如果是智能体来负责执行指令,如果恰好这两个行为分别是孤立发生的,不在一个APP里发生,就无法唤醒风控机制。

4. 智能体的主权保护问题。要允许小的智能体、小型APP也能独立生存,不能绕开主页,直接侵入到系统后台调取小智能体的服务,使其丧失商业价值。

如何在总体上理解可信协同?打个通俗的比方,这就类似于民航、高铁和地铁的「安检互认」,让用户无需二次安检。

相信很多人都有过类似出机场、高铁站进地铁被要求二次安检的经历,我曾经询问过天府机场安检员,为什么出了飞机进地铁还要再次安检,安检员说标准是不一样的,责任主体不一样,最后万一出了事,算谁的?

的确如此。因此,不管是交通运输还是智能体协同,要让用户需求高效地流转,就需要安检互认,在机制上统一安全的标准,并堵住可能的漏洞,并且当用户需求在不同体系内流转时,要明确用户保护的责任方。

03 保护小智能体,做大行业蛋糕

此外,特别值得注意的是上述第4点,入口单一化就是移动互联网时代的一个弊端,PC时代是一个无限链接的时代,但移动时代就变成了一个个孤岛,中间没法自由跳转,APP下载加了一道流程,中间转换效率就差多了,这带来的结果一定会是大的越大,小的越小,巨头垄断会越发厉害,时代行至倒退的边缘。而到了智能体时代,不能再继续强化入口单一化的这种弊端了。

一旦一句自然语言就可以完全自动实现后端的滴滴下单、微信支付发红包这种能力,入口就会统一到手机,原有互联网主流的「通过A业务引流、再靠B业务变现」的商业模式会被快速摧毁。

以滴滴和美团为例,线下运力是巨大的成本单元,本身盈利能力较弱,因而滴滴美团需要通过流量合作和广告来提升利润率,一旦语音唤起,通过智能体的直接操作,劫持了操作流程,用户闭眼操作,美团和滴滴的盈利端就可能被绕开。

如果巨头尚且受到威胁,更小应用的处境可想而知,产业生态不宜面临如此过激的改变。

在早期,如果没有整体的互信安全框架,根据万小飞的判断,只有大厂和大厂之间才会可能自己谈成一个专有的机制,大公司不太可能找非常小的创业公司单独谈协议。今天IIFAA要建立的机制,就是为整个生态更开放和更公正,给所有小的智能体提供快速发展的可能性。

智能体的两条路径已经清晰。一条是走捷径,不直面可信互联的问题,但会带来安全隐患,另一条是做更难的事情,构建一个整体的安全互信框架,避免单点与单点的重复谈判,来形成规模效应,加速智能体的快速互联。

「云端的点对点的这种协同模式基本上是定制化,不可持续,没有办法规模化的方式。在整个基础设施的维度,在整个行业标准的维度有两个好处,一是可以规模化,二是可以给更多的人更公平的机会。」万小飞如是说。

整体地可信协作,实际上是做大智能体的整体蛋糕。

这就类似《集装箱改变世界》里的故事,无论船只大小,集装箱尺寸却是统一的,不仅把运输成本降低了,还避免了二次装卸过程,减少了货物转运时的效率流失,也提升了货物安全。被誉为20世纪人类的百大伟大发明,从集装箱发明之后,人类的全球贸易取得了极大发展。

大家过去都在卷模型生成能力,从目前看,已经越来越不构成差异化了,模型能力总会拉平,业内目前已经有局部能力超过OpenAI的选手。最终是context(上下文背景信息)的采集能力,而不是模型能力,关乎到最终的任务成功率。谁能跨系统、跨平台、跨软硬件采集更多context,谁的智能水平就更高。就像再好的医生,拿不到病人的体检报告,也无处施展。

在这场产业的大变革中,科技巨头的使命会从信息分发(门户陈列模式、搜索引擎、推荐引擎)转向任务引擎,商业模式也极有可能发生巨变:从按点击或交易来收费,变成按照任务完成率来收费。

而提升任务成功率才能做大agent的行业蛋糕,前提就是尽快进行安全的可信互通,让context充分流淌在智能体之间,这理应成为全行业一起用力的方向。

期待智能体「集装箱时刻」的到来。

关键词
周天财经
分享到朋友圈
收藏
收藏
评分

综合评分:

我的评分
Xinstall 15天会员特权
Xinstall是专业的数据分析服务商,帮企业追踪渠道安装来源、裂变拉新统计、广告流量指导等,广泛应用于广告效果统计、APP地推与CPS/CPA归属统计等方面。
20羽毛
立即兑换
一书一课30天会员体验卡
领30天VIP会员,110+门职场大课,250+本精读好书免费学!助你提升职场力!
20羽毛
立即兑换
顺丰同城急送全国通用20元优惠券
顺丰同城急送是顺丰推出的平均1小时送全城的即时快送服务,专业安全,准时送达!
30羽毛
立即兑换
周天财经
周天财经
发表文章35
守望中国科技产业的关键性变迁和决定性瞬间。公众号:周天财经(techfinsight)
确认要消耗 羽毛购买
危险,你的AI agent正在「无人驾驶」!吗?
考虑一下
很遗憾,羽毛不足
我知道了

我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容,同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。


一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规,对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息,主要表现为:
    1)反对宪法所确定的基本原则;
    2)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一,损害国家荣誉和利益;
    3)侮辱、滥用英烈形象,歪曲、丑化、亵渎、否定英雄烈士事迹和精神,以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉;
    4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动;
    5)煽动民族仇恨、民族歧视,破坏民族团结;
    6)破坏国家宗教政策,宣扬邪教和封建迷信;
    7)散布谣言,扰乱社会秩序,破坏社会稳定;
    8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪;
    9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;
    10)侮辱或者诽谤他人,侵害他人名誉、隐私和其他合法权益;
    11)通过网络以文字、图片、音视频等形式,对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法规禁止的其他内容;


2. 不友善:不尊重用户及其所贡献内容的信息或行为。主要表现为:
    1)轻蔑:贬低、轻视他人及其劳动成果;
    2)诽谤:捏造、散布虚假事实,损害他人名誉;
    3)嘲讽:以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述,以此来激怒他人;
    4)挑衅:以不友好的方式激怒他人,意图使对方对自己的言论作出回应,蓄意制造事端;
    5)羞辱:贬低他人的能力、行为、生理或身份特征,让对方难堪;
    6)谩骂:以不文明的语言对他人进行负面评价;
    7)歧视:煽动人群歧视、地域歧视等,针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击;
    8)威胁:许诺以不良的后果来迫使他人服从自己的意志;


3. 发布垃圾广告信息:以推广曝光为目的,发布影响用户体验、扰乱本网站秩序的内容,或进行相关行为。主要表现为:
    1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式:
    2)单个帐号多次发布包含垃圾广告的内容;
    3)多个广告帐号互相配合发布、传播包含垃圾广告的内容;
    4)多次发布包含欺骗性外链的内容,如未注明的淘宝客链接、跳转网站等,诱骗用户点击链接
    5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光;
    6)购买或出售帐号之间虚假地互动,发布干扰网站秩序的推广内容及相关交易。
    7)发布包含欺骗性的恶意营销内容,如通过伪造经历、冒充他人等方式进行恶意营销;
    8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。


4. 色情低俗信息,主要表现为:
    1)包含自己或他人性经验的细节描述或露骨的感受描述;
    2)涉及色情段子、两性笑话的低俗内容;
    3)配图、头图中包含庸俗或挑逗性图片的内容;
    4)带有性暗示、性挑逗等易使人产生性联想;
    5)展现血腥、惊悚、残忍等致人身心不适;
    6)炒作绯闻、丑闻、劣迹等;
    7)宣扬低俗、庸俗、媚俗内容。


5. 不实信息,主要表现为:
    1)可能存在事实性错误或者造谣等内容;
    2)存在事实夸大、伪造虚假经历等误导他人的内容;
    3)伪造身份、冒充他人,通过头像、用户名等个人信息暗示自己具有特定身份,或与特定机构或个人存在关联。


6. 传播封建迷信,主要表现为:
    1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病;
    2)求推荐算命看相大师;
    3)针对具体风水等问题进行求助或咨询;
    4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失,包括通过占卜方法问婚姻、前程、运势,东西宠物丢了能不能找回、取名改名等;


7. 文章标题党,主要表现为:
    1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户;
    2)内容与标题之间存在严重不实或者原意扭曲;
    3)使用夸张标题,内容与标题严重不符的。


8.「饭圈」乱象行为,主要表现为:
    1)诱导未成年人应援集资、高额消费、投票打榜
    2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
    3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
    4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
    5)通过「蹭热点」、制造话题等形式干扰舆论,影响传播秩序


9. 其他危害行为或内容,主要表现为:
    1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的;
    2)不当评述自然灾害、重大事故等灾难的;
    3)美化、粉饰侵略战争行为的;
    4)法律、行政法规禁止,或可能对网络生态造成不良影响的其他内容。


二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时,本网站将依据相关用户违规情节严重程度,对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号,或者滥用多个帐号发布违规内容时,本网站将加重处罚。


三、申诉
随着平台管理经验的不断丰富,本网站出于维护本网站氛围和秩序的目的,将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议,可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)

我知道了
恭喜你~答对了
+5羽毛
下一次认真读哦
成功推荐给其他人
+ 10羽毛
评论成功且进入审核!审核通过后,您将获得10羽毛的奖励。分享本文章给好友阅读最高再得15羽毛~
(羽毛可至 "羽毛精选" 兑换礼品)
好友微信扫一扫
复制链接