Vercel CEO Guillermo Rauch
Guillermo Rauch 介绍了 Workflow SDK 5 和 Vercel Workflows 的几项改动。Vercel 称,运行的首步等待时间和步骤之间的等待时间都有缩短。团队也加强了加密,并在大规模运行中测试了包括灾难恢复在内的场景。底层执行日志可以复用,Vercel 因此把这套持久执行机制做成了 durable-harness,供现有 Agent 运行框架接入。
Y Combinator 总裁兼 CEO Garry Tan
Garry Tan 公布了开源的 Agent 运行框架评测仓库。他在 Claude Code 2.1.322 里用 52 道编程任务比较 Fable 5.2 和 Opus 5.5。按他公布的结果,Fable 解出 82.7%,Opus 解出 84.6%,Fable 每道解出任务的成本是 Opus 的 2.80 倍。他据此推荐继续把 Opus 5.5 作为该环境的编程默认模型。这个任务集上 Opus 已能解出大多数题,他认为要区分两者还需要更难的任务。
FPV Ventures 合伙人 Nikunj Kothari
Nikunj Kothari 认为,选模型时应该用自己的实际流程试。他指出,反复针对单个榜单调优可以产生有效的营销素材,却回答不了模型在另一套流程里的表现。他承认有少量通用基准具参考价值。原帖的建议是按手头工作选模型,并未提供不同模型的比较实验。
Training Data — Ronak Malde 谈如何用真实任务训练模型
核心要点:Trajectory 联合创始人 Ronak Malde 想把用户实际做过的任务变成模型训练素材,再用同类任务检验改进、上线并收集下一轮反馈。
Malde 曾在 Windsurf 用产品里的编辑和重试训练模型。他把现有批量更新比作开车前拿一份纸质路线图,理想状态则像导航系统在行驶中继续学习。现在团队先把定制模型的训练、评测和部署放进同一套工作流程,让已经搭建 Agent 的公司能把模型更新带回生产。这是走向持续在线学习的一步。
他把完整任务当作工作单位。要把做过的事变成可训练的经验,先把主 Agent、子 Agent、产品事件和用户反馈串成一条轨迹,再设法重放,最后由领域团队说清楚什么结果算好。环境往往很难原样还原,法律或投行业务也未必有现成的可验证奖励。这两处是他希望减少人工投入的地方。
一条研究路径是修改 GRPO,让同一任务只发生一次时也有机会纳入训练,而不依赖对同一环境反复采样。他也举例,可以从一万条轨迹中选一百条有代表性的样本,由专家写细致的评分准则,再用这些样本训练评分模型,以便评估更多轨迹。他仍把这些做法放在研究方向里,没有说生产反馈可以直接充当可靠分数。
在 Harvey 的法律 Agent 基准上,他说定制模型准确率从开源基线约 4% 提高到约 18%,并称成本约为前沿模型的六分之一。这是来宾报告的特定案例,不能直接推及其他任务。对于以后能主动探索的 Agent,他希望仍由人设定目标,再从与用户互动的结果学习。