← 收录原文
BUILDERS · 精选整理

AI Builders Digest — 2026-10-16

2026-10-16 · 精选来源 13

Anthropic Claude 团队 Boris Cherny

Boris Cherny 表示,Claude 模型在过去几年里持续改进了提示注入防御。随着 agent 承担更多工作,他认为解决这类问题对整个行业越来越紧迫。Anthropic 将与 Gray Swan 合作举办相关竞赛,邀请参与者寻找问题。这条更新强调的是继续检验防御能力,没有宣称提示注入已经解决。

OpenAI Codex 产品成员 Nan Yu

Nan Yu 提醒,品味不等于审美。他认为把品味只理解为外观上的偏好,是最浅的一层定义,也因为太常见而缺乏意思。原帖没有进一步定义更深层的品味。

Box CEO Aaron Levie

Aaron Levie 预计,从来回聊天转向在后台持续完成工作的 agent,token 消耗可能达到现在的100到1000倍。现在的知识工作受限于人的信息处理能力,包括跨系统搬运数据、审阅文档、查代码安全、分析日志和研究潜在客户;聊天助手虽然加快单项任务,人仍是并行工作的瓶颈。他设想先把更难的问题交给 agent,再把任务拆给多个 agent,最终让任意数量的 agent 围绕目标持续工作。代码安全、每次改动的 QA、基础设施检查、逐份文档风险分析和更大规模审计,都可能因此覆盖以前没有做过的工作,而非只是替代既有劳动。这些 agent 群可以由人、工作流、触发器或其他 agent 启动,前提是模型继续改进、成本足够低,随后算力供给会成为限制。另一条更新中,他称 Meta 推出 Muse 开放权重模型,有助于企业用前沿模型处理编排和高难任务,再用低成本、定制后训练模型承担重复工作。他认为这会进一步增加整个技术栈的 token 和工作量,也对机器人、飞行汽车、太空设施及疾病治疗等技术的长期发展表示乐观。100到1000倍消耗与这些未来场景均是他的预测。

AI 教程与访谈作者 Peter Yang

Peter Yang 与8岁的孩子一起征集 T 恤设计反馈。他请家长选择愿意给孩子购买的设计和最喜欢的角色,并用编号和理由回复。他展示了通过 Fourthwall 订购的企鹅设计样品。随后,他向 bot 发出请求,希望它监测这串回复,并在12小时后报告胜出设计。这是一组从实物样品、用户选择到委托汇总反馈的动作,帖子没有提供最终统计结果。

Every CEO Dan Shipper

Dan Shipper 用一段讽刺性的文字提醒,不应把识别模型内部表征直接等同于理解其计划。他描述了一条容易让人过度自信的路径:先关注多义性和叠加,再找到对埃菲尔铁塔有反应的神经元,继而认为知道模型何时想到 France 就足以对齐超级智能。他的落点是,知道模型认出了什么,并不能说明它准备做什么。这是对可解释性结论边界的批评,没有给出新的实验结果。

Builder Zara Zhang

Zara Zhang 引用 Ezra Klein 的一句话:“永远不要低估受众的智力,也不要高估他们已有的知识。”这条分享把理解能力和背景知识区分开。她还展示了自己制作的 The Toddler Times,一份 Harry Potter 风格、图片能动起来的报纸。她称制作过程很有趣,但原帖没有说明实现工具和具体制作步骤。

SPC 普通合伙人、Bevel Health 联合创始人 Aditya Agarwal

Aditya Agarwal 认为 Goodfire 可能是从 SPC 走出的最重要的公司之一。他看重的是这家公司把可解释性和对齐作为工程问题来处理。这是他的评价;原帖没有展开具体技术方法或测量结果。

The MAD Podcast with Matt Turck — Jev: The AI That Makes Decisions, Not Text - and Why It Changes Everything (Diogo Almeida)

**核心要点:Jev 把 AI 做成可组合、可设阈值的决策部件,目标是让软件可靠地自动运行。** TypeSafe CEO Diogo Almeida 曾在 OpenAI 参与 RLHF 工作。他认为,聊天模型流畅、自信的表达抬高了用户预期,但在后台自动化中,细小而不易察觉的错误仍会让整套流程失效。Jev 因此瞄准直接嵌入软件的机器原生智能。 第一,把庞大 prompt 拆成能测试的判断。邮件助理不必一次理解全部偏好,可以分别判断来信是否为销售、招聘,或是否点名要求本人处理,再由代码组合这些判断。每个分支都能单独评估,错误可以加入测试集;他没有声称邮件排程已经被 Jev 完全解决。 第二,把概率和选择权交给开发者。错过重要投资人邮件与多看一封普通邮件的代价不同,开发者应自行调节阈值,而非接受模型隐藏的二元决定。Almeida 说:“你会得到你所优化的东西。”他认为可靠性与概率校准才决定能否把任务交给后台,基准分数不能直接证明这一点。 第三,训练创新从任务定义开始。RLCD 不只是换一个强化学习算法,还涉及输入输出形式、数据形状、平衡方式与目标。团队自行制作数据,并组合开放权重模型,没有从头预训练。分类器在他看来是一种让智能影响软件分支的接口,复杂能力可以由可靠的小部件逐层组合。 第四,低成本应打开新需求。他期待开发者把有效部件反复调用,成本下降后扩展到过去不值得自动化的工作。当前优先通过 API 快速迭代,开放权重仍在讨论,并无承诺。他也提醒,复制接口容易,达到可靠性更难,但对竞品的优劣判断仍需测量。其核心主张是先让明确任务在真实软件里稳定工作,再讨论更宏大的智能愿景。