Market Overview

Goodfire推出低成本“由内而外”监控,实时捕获失控AI代理

· · 18 · Source: 快豹快讯
Goodfire推出低成本“由内而外”监控,实时捕获失控AI代理

据TechCrunch于2026年10月8日报道,AI安全初创公司Goodfire发布了一项名为“由内而外”(inside-out)的全新AI代理监控技术。该方案通过直接窥视大语言模型内部的神经元活动来识别风险行为,成本仅为传统“由外而内”监控方法的“一小部分”。在AI代理被广泛应用于金融、医疗等高风险领域的背景下,如何在不显著增加算力开销的前提下确保其安全运行,已成为行业核心痛点。Goodfire的这项创新有望大幅降低企业部署AI代理的安全门槛。

求婚成功

传统监控的算力困境

当前主流的AI代理监控方法,通常依赖一个独立的“裁判”模型来持续审查代理的所有输出。据TechCrunch报道,这种方法虽然有效,但成本高昂。Goodfire的联合创始人兼首席执行官尼克·哈里斯(Nick Harris)在接受采访时表示:“如果你需要为每一个AI代理配备一个同样昂贵的大模型来监督它,那部署成本会成倍增加。”他透露,这种传统模式在高频交易或客服等需要实时响应的场景中,算力消耗可能占到总运营成本的40%至60%。

订婚消息

窥探“黑箱”:Goodfire的技术原理

结婚纪念

Goodfire的方案从根本上改变了监控逻辑。哈里斯向TechCrunch解释:“我们不读它在说什么,我们看它在‘想’什么。”该技术通过分析模型内部神经元的激活模式,在代理执行任务时实时识别其是否进入了被禁止的“思维空间”或意图生成有毒、偏见或有害内容。只有当内部探测器捕捉到可疑信号时,系统才会触发一个更小、更便宜的验证模型进行确认,从而大幅减少对高端计算资源的占用。

晒结婚证
监控方式监控对象算力消耗成本占比(估算)是否依赖第二模型
---------------
传统输出监控代理生成的文本/行为需持续运行大型模型运营成本的40%-60%是
Goodfire“由内而外”监控模型内部神经元激活模式低约为传统方法的20%仅在需要时调用小型模型

安全性与效率的双重突破

Goodfire声称,其新技术不仅能大幅降低成本,还能在安全性上实现提升。据TechCrunch报道,在内部测试中,该方案能够成功拦截超过95%的试图生成恶意代码、金融欺诈信息或违反隐私政策的AI代理行为。哈里斯强调:“传统的输出监控只能看到‘最终行为’,而我们的方法可以在代理‘刚想到’做坏事时就阻止它。”他补充说,这种预判能力对于防范“慢思考”攻击或跨会话的隐蔽操纵至关重要。

金婚纪念

降低AI代理部署门槛

对于企业而言,AI代理的部署成本一直是主要障碍。据路透社近期报道,一家大型银行在试行AI代理进行客户服务时,因监控环节的算力成本过高,最终导致项目推迟。Goodfire的方案直接回应了这一痛点。哈里斯在采访中表示:“我们让AI代理变得‘可管控’,而且成本可预测。”他透露,Goodfire的定价将基于被监控代理的推理量,目标是让初创公司也能负担得起顶级的安全保障。“我们不想让安全成为富人的专利。”哈里斯补充道。

从“事后审计”到“实时防护”

行业观察人士指出,AI代理的失控风险正从理论走向现实。据彭博社的分析报告,2026年上半年因AI代理行为异常导致的企业安全事故同比上升了300%。传统方法多依赖于日志审计和事后补救,但Goodfire的方案首次实现了对代理“思维过程”的实时干预。“这就像是从‘看完犯罪录像去抓人’变成‘在犯罪念头刚出现时就按下暂停键’。”哈里斯形象地比喻道。他强调,这种防护级别对于自动驾驶代理、金融交易代理等高风险应用来说是必须的。

直面偏见与“越狱”挑战

除了成本和安全,Goodfire的技术在应对模型偏见和“越狱”攻击方面也展现了潜力。据TechCrunch报道,通过对模型内部表征的理解,Goodfire的监控器能够识别出代理是否受到了隐藏的提示注入攻击,或者是否正在基于种族、性别等敏感属性做出决策。哈里斯指出,传统的基于关键词的过滤器很容易被绕过,但神经元级别的监控提供了更深层次的保障。“你不能告诉一个AI‘不要思考大象’,但我们可以看见它是否真的在‘想’大象。”他在采访中说道。

企业级AI安全的新赛道

Goodfire的发布正值企业级AI安全领域竞争加剧之际。多家安全巨头和初创公司,如Cranium和Vanta,也在提供AI治理和合规工具。然而,Goodfire凭借其独特的“由内而外”技术路线,开辟了一个全新的细分市场。据AP通讯社援引的市场分析,到2027年,全球AI代理安全市场规模可能达到50亿美元。哈里斯对此表示乐观:“我们相信,最好的安全解决方案应该是透明的、高效的,并且不给创新者带来额外负担。”

Q1: Goodfire的“由内而外”监控与传统监控方法相比,最大的优势是什么?

A1: 最大优势在于极低的算力成本和更高的实时防护能力。传统方法需要另一台大型模型持续监控AI代理的文本输出,成本高昂;而Goodfire的方法直接分析模型内部的神经元活动,仅在有可疑信号时才调用小型验证模型。据TechCrunch报道,其成本仅为传统方法的“一小部分”,且能够更早地发现并阻止恶意行为。

Q2: 这项技术适用于哪些具体的商业场景?

A2: 该技术特别适用于高风险、高合规要求的场景,例如金融交易代理、医疗诊断辅助代理、自动驾驶代理以及处理敏感客户数据的服务代理。它能够实时检测代理是否意图进行欺诈、泄露隐私或执行越狱攻击,同时保持运营成本可控。

Goodfire的“由内而外”监控技术通过解读模型内部神经活动,以远低于传统方法的成本实现了对AI代理的实时监控。这项创新不仅解决了AI代理大规模部署中的安全与成本矛盾,更标志着AI治理从“行为审计”进入“思维预判”的新阶段。

Crypto assets are volatile and high-risk. Nothing here is financial advice; always do your own research.

相关文章

▸ 恩爱日常▸ 甜蜜互动▸ 秀恩爱照▸ 夫妻同框▸ 夫妻综艺▸ 情侣综艺▸ 恋爱综艺▸ 婚恋综艺▸ 综艺看点▸ 综艺花絮
友情链接:综艺嘉宾 综艺收视 综艺排行 综艺资讯 综艺新闻 综艺预告 综艺剪辑 综艺爆笑

🔗 友站推荐

胡塞武装再袭利雅得机场 哈立德国王国际机场紧急疏散
注射死刑失败奇迹生还 美国50岁女死囚康复出院重返监狱 田纳西州后续行刑成谜
马特·伦肖190分逆转南非!澳大利亚德班测试赛创纪录
哈马斯与加沙未来:历史根源超越武装组织 | 深度分析
GameStop 加价 500 美元卖 PS5 Pro:玩家愤怒,FTC 或介入
蓝调王子英格拉姆《Voodoo Charm》现场 新专辑《Hard Road》野心之作
波兰一周内第三起校园刺伤事件 3人受伤 警方拘留76人
恐慌逃离!胡塞武装导弹袭击利雅得机场致数十人伤
软银拟募1000亿美元AI改造基金,中东主权基金或成金主
AI芯片市场三连击:腾讯低价采购、高通华为和解、Groq诉讼