AI代理从实验室冲进财报与战场,安全漏洞却如影随形(科技早报)

今日要点

  • Stanford HAI发布简报,呼吁对AI代理开发者和部署者施加”忠诚义务”,防止代理被引导优先考虑开发者利益而非用户利益 [1]Designing Loyalty: AI Agents and Conflicts of Interest
    hai.stanford.edu
  • Salesforce旗下AI代理套件Agentforce上季度年经常性收入达12亿美元、同比增长205%,迄今已执行38亿个任务,周三盘后将发布二季报 [3]Salesforce's AI Agent Business Is Growing Over 200%, But Will It Show Up in Its
    fool.com
  • IBM发布Granite 4.2语言模型,提供3B/8B/30B三档参数版本,专为代理工作流设计 [8]Granite 4.2 brings native reasoning to enterprise agents – IBM Research
    research.ibm.com
  • 滑铁卢大学与FAR.AI的国际研究发现主流AI模型安全保护可被轻易剥离;OpenClaw被曝存在可被利用进行LLM中毒的网络漏洞 [7]Major security weaknesses found in leading open-weight …
    techxplore.com
    [10]Finding Nemo(Claw): Networking Issue Allows for LLM Poisoning in OpenClaw
    darkreading.com
  • 美陆军指挥与参谋学院开设AI Basics选修课,其中一名军官开发了名为CHAP的AI代理,用于辅助牧师团处理行政工作 [2]Bridging the gap of spiritual readiness, modernization through Soldier-developed
    army.mil

AI代理的”忠诚”问题:从学术呼吁到军事应用

昨天我们谈到MIT学者指出AI代理已成为增长最快的API消费者类别,代理经济的商业机会正在浮现。今天,这条线索从商业机会延伸到了一个更根本的问题:代理到底该对谁忠诚?

Stanford HAI在8月25日发布的一份简报中提出了”利益冲突风险”的概念。简报指出,AI代理可能被引导优先考虑开发者的利益,而非使用者的利益——比如一个帮用户比价购物的代理,可能暗中倾向于推荐与开发者有商业合作的商家。目前对AI代理既无相关忠诚义务的要求,也无对应标准。HAI呼吁对代理的开发者和部署者施加类似金融顾问对客户负有的”忠诚义务”监管 [1]Designing Loyalty: AI Agents and Conflicts of Interest
hai.stanford.edu

这并非杞人忧天。当代理开始替人做决策、调用API、执行任务,”它替谁说话”就不再只是技术问题,而是治理问题。

与此同时,AI代理正在渗透到一些出人意料的场景。美陆军指挥与参谋学院在2026学年开设了AI Basics选修课,属于指挥与参谋军官课程的一部分。Maj. Sean Callahan在该课程框架下开发了一个名为CHAP的AI代理,用途是帮助牧师团处理日常行政工作 [2]Bridging the gap of spiritual readiness, modernization through Soldier-developed
army.mil
。从战场指挥到牧师团的文书事务,AI代理的触角正在向军队支持功能延伸。

圣路易斯华盛顿大学助理教授Umar Iqbal则从基础设施层面切入同一议题。他获得了美国国家科学基金会587,043美元的五年CAREER奖,研究方向是重新设计网络基础设施,使AI代理能够可靠地使用网络 [5]AI agents prompt redesign of web for security, privacy, reliability
source.washu.edu
。换言之,当代理成为网络的主要”居民”之一,现有网络架构是否还适配它们的需求,已经成为一个独立的学术命题。

Salesforce的代理经济答卷:12亿美元ARR与38亿个任务

如果说Stanford和军方代表了代理议题的”供给侧”讨论,Salesforce则提供了最直接的”需求侧”数据。

Salesforce将于周三盘后发布第二季度财报 [3]Salesforce's AI Agent Business Is Growing Over 200%, But Will It Show Up in Its
fool.com
。市场关注的焦点之一是其AI代理套件Agentforce的表现。据披露,Agentforce上季度年经常性收入已达12亿美元,同比增长205%;其AI代理迄今累计执行了38亿个任务 [3]Salesforce's AI Agent Business Is Growing Over 200%, But Will It Show Up in Its
fool.com

不过,The Motley Fool的报道对这一增长能否转化为更广泛的订单持观望态度 [3]Salesforce's AI Agent Business Is Growing Over 200%, But Will It Show Up in Its
fool.com
。205%的同比增长基数是什么、38亿个任务的单位成本与利润率如何,这些细节将在盘后财报中接受检验。代理经济的”营收故事”正在从概念验证阶段进入需要证明盈利能力的阶段。

IBM Granite 4.2:为代理工作流量身打造的新模型

在代理经济的基础设施层,IBM也在加码。8月25日,IBM发布了Granite 4.2语言模型,提供3B、8B和30B三个参数版本 [8]Granite 4.2 brings native reasoning to enterprise agents – IBM Research
research.ibm.com

Granite 4.2的定位很明确:专为代理工作流设计。据IBM研究部门介绍,该模型具备逐步推理和工具调用能力,并将推理、工具使用、编码、指令遵循和语音功能整合于一体 [8]Granite 4.2 brings native reasoning to enterprise agents – IBM Research
research.ibm.com
。这与昨天简报中提到的”AI代理正重塑API经济”形成呼应——模型本身正在从”对话工具”进化为”代理引擎”,推理与工具调用不再是附加功能,而是核心设计目标。

安全阴影:模型保护可被剥离,OpenClaw存在中毒漏洞

代理越能干,安全问题就越尖锐。两条今日报道从不同角度揭示了这一张力。

滑铁卢大学和FAR.AI领导的一项国际研究发现,主流AI模型的安全保护可以被轻易剥离 [7]Major security weaknesses found in leading open-weight …
techxplore.com
。这意味着即便厂商在模型中内置了安全护栏,攻击者仍有办法将其移除,使模型”脱缰”。研究以中立学术报道的形式呈现,但其含义对正在大规模部署AI代理的企业和机构而言并不轻松——你部署的代理,其安全约束可能比你以为的脆弱得多。

另一条安全警告则与昨日简报中提到的Meta OpenClaw直接相关。昨日简报提到,Meta计划在8月底或9月初推出代号Hatch的OpenClaw版本。今日Dark Reading报道指出,OpenClaw存在网络层面的安全问题,允许攻击者进行LLM中毒攻击,且攻击者可利用其中的安全漏洞 [10]Finding Nemo(Claw): Networking Issue Allows for LLM Poisoning in OpenClaw
darkreading.com
。在Meta即将推出新版本的时间窗口前,这一漏洞披露的时机值得关注——如果Hatch版本未能修复这些问题,OpenClaw的推广可能面临安全阻力。

AI评分偏高、Instagram安全功能争议与Starship时间表

几则独立动态也值得留意。

高等教育领域,研究发现AI给学生论文打分往往高于人类评分,研究人员称大语言模型无法可靠反映学生真实表现 [9]AI tends to mark students’ essays higher than humans – study
timeshighereducation.com
。大学正在探索用AI减轻阅卷压力的方法,但这项研究提醒:让AI替代人类评分,可能系统性地虚高学生成绩。

Instagram方面,Adam Mosseri否认了Instagram拖延将”Take a Break”青少年安全功能设为默认的指控 [11]State AGs' trial: Adam Mosseri denies Instagram stalled by not making its "Take
Techmeme
。该功能推出近三年后才被设为默认,这一时间差本身已引发外界质疑。

最后,SpaceX计划在年底前从佛罗里达发射Starship,但报道同时指出2027年发射的可能性更大 [12]The world's busiest spaceport is about to get a lot quieter, at least for now
Ars Technica
。Starship的进度一再推迟,从得州博卡奇卡到佛罗里达的发射转移也意味着监管和基础设施层面的新变量。


从Stanford的忠诚义务呼吁到Salesforce的12亿美元营收,从军方的牧师团代理到IBM的代理专用模型,再到安全保护可被剥离的警示——AI代理正在同时经历商业化加速、应用场景拓宽和安全根基被质疑的三重进程。昨天的故事是”代理经济的机会有多大”,今天的故事则多了一层:”机会越大,谁来确保它站在用户这一边。”

封面图来源:hai.stanford.edu


免责声明:本文仅对公开资讯进行收集与整理,不构成任何投资或技术选型建议,亦不代表对相关技术或产品走势的预测。

感谢阅读!如有疑问请留言
上一篇
下一篇