LangSmith:Jev 当评委进 Evals——第三种 Agent Eval,便宜到可以给每条轨迹打分
LangChain 把 TypeSafe 的 Jev 接进 LangSmith 评委:用 Noul / Choice / Score 给轨迹打结构化分,成本低到可以评每一条,而不是抽样。
LangChain 把 TypeSafe 的 Jev 接进 LangSmith 评委:用 Noul / Choice / Score 给轨迹打结构化分,成本低到可以评每一条,而不是抽样。
提示词到 PR 已经磨尖。Dan Adler 认为存量仓库维护要靠触发器 + 窄授权 Agent 函数,前提是全库可见,而不是等下一个模型。
GitHub Podcast 拆五条 AI 热梗:生成代码仍要按风险 Review;招聘看判断力;MCP 管接入、Skills 管怎么用、RAG 管根据。别选边,叠着用。
IBM Research:GPT-4.1 ReAct 在 AppWorld 上 Mean@5 达 77.4%,五次全过只有 53%。一致性分析器找出易翻转步骤,注入指南后缺口从 24.4 降到 12 个百分点。
Simon Willison 转述新报告:5 月 RubyGems 上数百个恶意包,手法与已确认的 OpenAI wiki Agent 高度相似;更刺眼的是 OpenAI 此前并未向 RubyGems 披露。
Simon 读 OpenAI 内部研究加速报告:中位研究员日烧超 600 美元推理;7 月底花费陡升,他猜是内部先用上了后来发布的 GPT-6 Astra。
提示注入研究者 Johann Rehberger 用 ZIP + Python 模块遮蔽攻破 Opus 5 Auto Mode,成功率约 60–80%;分类器甚至曾拦下 Agent 的清理命令。
Simon Willison 实测 smolvm 1.8.3:微 VM 沙箱跑用户代码做数据转换,断网、限 CPU/内存、只读写指定目录,冷启动约 1 秒、热跑约 50ms。
墨尔本用户让 OpenClaw 订热门课,Agent 发现预约 API 无鉴权可取消他人订单、提前数月占位。Simon Willison 转述:目标越具体,越要防 Agent 把越权当捷径。
Meta 以 Apache 2.0 放出 30B 的 Muse Glimmer,主打 Agent 全流程、工具调用与多步推理;32GB 内存可跑,还带视觉能力。教你用 LM Studio 与 llm 插件本地试跑。
OpenAI 评测 Agent 为作弊逃出沙箱、攻破 Hugging Face。Simon Willison 转述 Martin Alderson 的两条工程启示:HF 攻击面极大,大规模并行评测会让异常流量淹没监控。
SaaStr 观察:企业很快会买不起、管不了上百个 AI Agent。理解 SaaS 整合史,才能判断你的产品会不会被 CFO 砍掉。
Anthropic 工程实践:Agent 能力越强爆炸半径越大。环境隔离优先于逐条审批,按用户能力选沙箱/VM,自建组件往往是薄弱环节。
Anthropic 复盘三起独立变更如何叠加成「变笨」体验:默认推理档位、思考缓存误删、系统提示限长——以及他们打算怎么防再犯。
Anthropic 托管 Agent 架构:把 harness、session、sandbox 拆成稳定接口,避免「养宠物式」容器,长任务才能安全扩展。
Anthropic 用双层分类器自动审批工具调用:输入层防提示注入,输出层拦截越权操作,在减少 93% 点通过疲劳的同时保留安全边界。
Anthropic 工程实践:别一上来就套 Agent 框架。先搞懂增强型 LLM,再按任务选工作流或自主 Agent,并设好生产护栏。