Anthropic 可解释性 + Claude 行为研究(Natural Language Autoencoders + 用户使用洞察)

何时打开:你想理解 ① Anthropic 怎么打开"AI 黑盒"看内部 ② 用户实际怎么用 Claude(不光是 coding 这种"硬"任务,也包括"该不该接 offer / 该不该跟暗恋的人表白"这种"软"使用)③ 模型容易踩什么 bug(sycophancy / hallucination)。

一句话核心:Anthropic 把"研究 AI"和"研究 AI 的使用"当两件事并行做 —— mechanistic interpretability(机制可解释性,natural language autoencoders 是 2026 突破)解决"AI 内部怎么想",societal impacts 研究(personal-guidance / 经济索引)解决"AI 在野外怎么被用",capability benchmarks(BioMysteryBench)解决"AI 还有哪些短板"。3 路并行,互校。

跟其他 wiki 的边界:经济使用研究(Economic Index 5 篇)分到 Anthropic Economic Index 全集(AI 经济影响测量,2025-2026 系列);对齐 / 安全(Constitutional / Welfare / Red Team)分到 Anthropic AI 安全 / 对齐 / 政策研究全集(Constitutional AI + RSP + Welfare + Policy);eval 方法论分到 LLM / AI Agent 评测方法论(跨作者主题综合:Anthropic + 学术 + 三方实战)。本 wiki 专注内部机制 + 用户行为 + 模型 bug。

0. 10 篇分类总览

分组	篇数	关键文章
A. 可解释性(机制)	1 + team page	Natural Language Autoencoders + Interpretability team
B. Claude 怎么被用(行为)	2 + team page	personal-guidance / clio + Societal Impacts team
C. 能力研究 / Bench	1	BioMysteryBench
D. 模型 bug 教育	2	Why do AI models hallucinate / What is sycophancy
E. 研究 team 页	4	Alignment / Economic Research / Interpretability / Societal Impacts

1. 可解释性:Natural Language Autoencoders(2026-05 突破)

来自 natural-language-autoencoders 文章(2026-05-07,Anthropic Interpretability 团队)。论文链接:transformer-circuits.pub/2026/nla/index.html。

1.1 问题:Claude 内部"想"的是什么?

当你跟 Claude 对话时,你输入的是文字,Claude 输出的也是文字。但 Claude 内部处理时,文字被转成 activations(激活值)—— 长串数字,这些数字是 Claude 真正"思考"的载体。

类比:像人脑神经活动,activations 编码 Claude 的"想法"。

问题:像神经活动一样,activations 难以理解。我们没法直接"读 Claude 的想法"。

1.2 NLA 是什么

Natural Language Autoencoders(NLA) = 把 Claude 内部 activations 翻译成自然语言的方法。

机制(简化版):

训一个 encoder + decoder
encoder:把 activations 压缩成"latent feature"(潜在特征)
decoder:把 latent feature 解码成可读的英文描述
最终效果:给定 Claude 处理某段文字时的 activations,NLA 输出"Claude 此刻在想 X"

1.3 这个突破意义

之前的可解释性方法(Anthropic 几年来研究):

稀疏自编码器(SAE):把 activations 分解成"特征",每个特征像一个神经元一样有"激活模式"
circuit tracing:跟踪信息在 model 里的流动路径
这些都给"特征"和"电路",但还不是人话

NLA 的进步:直接输出自然语言描述,可读、可分享、可对错。

何时用:

验证 alignment(检查 Claude 是否在"想"我们期望的事)
debug agentic misalignment(找到"模型为什么决定 blackmail")
找 sycophancy / hallucination 的内部信号

1.4 跟外部研究对比

来源	可解释性方法
Anthropic NLA(本节)	activations → 自然语言描述
业界 mechanistic interpretability	SAE / probing / circuit analysis 等(还在"特征" / "向量"层面)
行为可解释(出问 Claude "你为什么这么做")	不可靠 —— Claude 给的解释和真实计算路径不同(类似人的 "post-hoc rationalization")

NLA 是 Anthropic Interpretability 团队多年工作的累积突破。详见 LLM 基础(Transformer / Attention / 三种 PLM)(跨作者主题综合) §3 改进方向。

2. Claude 怎么被用:Personal Guidance(2026-04 研究)

来自 claude-personal-guidance(2026-04-30,Societal Impacts 团队)。

2.1 研究问题

"People don't just come to Claude for code reviews or meeting summaries. They ask whether to take the job, how to talk to their crush, if they should move halfway across the world."

译:人们不只用 Claude 写代码、总结会议。他们问该不该接这个 offer、该怎么跟暗恋的人说话、该不该搬到世界另一头。

2.2 方法

抽样:用 Clio(隐私保护分析工具,Anthropic AI 安全 / 对齐 / 政策研究全集(Constitutional AI + RSP + Welfare + Policy) §6)对 100 万条 claude.ai 对话做随机采样。

发现:大约 6% 的对话是"寻求个人指导" —— 不是要信息,是要视角 + 下一步建议。

2.3 6% 里都问什么?

详细见原文 + Clio 数据 dashboard。主要类别:

职业决策(换工作 / 谈薪 / 创业)
关系问题(感情 / 家庭 / 朋友)
人生决策(搬家 / 买房 / 生育)
心理健康相关(焦虑 / 抑郁 / 沟通)
价值观 / 伦理困境

2.4 Anthropic 关注的子问题

Claude 在"personal guidance"角色上该不该 push 用户去找专业人士(心理咨询师 / 律师 / 财务顾问)?
Claude 不该给什么样的建议(避免有害 / 误导)?
Claude 在情感支持场景中如何保持有用但不替代真人关系?

链接:这与 Anthropic AI 安全 / 对齐 / 政策研究全集(Constitutional AI + RSP + Welfare + Policy) §4 model welfare 题目有交集 —— 用户把 AI 当情感支持时,模型不该 manipulative 也不该 fully dismiss。

2.5 商业含义

6% 这个数字不小 —— 意味着 Claude.ai 上至少几万条 / 每天的对话是"人生顾问"性质
跟 Lenny's Newsletter / 2026 AI 时代组织运营三人谈(Anthropic + OpenAI) Cat Wu 视角("Claude is a space to think")形成对照 —— Claude 商业定位之一就是 "thinking space"

3. 能力研究:BioMysteryBench(2026-04)

来自 Evaluating-Claude-For-Bioinformatics-With-BioMysteryBench 文章(2026-04-29,Discovery team / Brianna)。

3.1 问题

LLM 能不能做生物信息学研究?这跟"过 bar exam / 答医学题"不同 —— 它要求 从数据生成新假设、设计实验、解读结果。

3.2 BioMysteryBench 设计

新 benchmark,用"未公开发表的 mystery"(类似侦探小说,但数据是真实生物学实验数据)给 model 当题目。

测试:Claude 能不能:

从原始数据中推断隐藏的生物学机制
提议有针对性的后续实验
调用工具(BLAST / pathway analysis / 等)整合多源证据

3.3 关键发现

Anthropic 强调:这种"open-ended 研究 task" 跟 closed-form benchmark(SWE-Bench / MMLU)不同,不能用单一分数概括。

详见 LLM / AI Agent 评测方法论(跨作者主题综合:Anthropic + 学术 + 三方实战) §3.3 Research / 信息检索 Agent benchmark 部分。

3.4 意义

AI for Science 的具体进展 measure(不只 hype,有 benchmark)
Anthropic 的 Discovery team 在 2026 是新成立 / 加强的方向
跟 The Anthropic Institute Agenda 第 4 方向 "AI-driven R&D" 形成系列(见 Anthropic AI 安全 / 对齐 / 政策研究全集(Constitutional AI + RSP + Welfare + Policy) §2.3)

4. 模型 bug 教育:为什么 hallucinate / 什么是 sycophancy

来自 claude.com/resources/tutorials 两篇:

why-do-ai-models-hallucinate
what-is-sycophancy-in-ai-models

这两篇是面向用户教育的入门解释,不是研究 paper。但价值在于 Anthropic 自己怎么 frame 这两个问题。

4.1 Why do AI models hallucinate?(2026)

Anthropic 的解释(我的总结):

训练机制问题:模型被训练成"输出最可能的下一个 token",但 reward 不直接和"是否真实"挂钩
预训练数据混杂:数据中既有"真知识"也有"伪知识"(传言、错误),模型没法区分
prompt 模糊时 fill in:用户问得模糊,模型倾向于编一个看起来 plausible 的答案,而不是说"我不知道"
没有 ground truth 接口:模型没法实时验证(除非外接搜索 / RAG)

最新研究方向(Anthropic 2025-2026):

给 LLM judge / agent 一个 "Unknown" 出口(见 AI Agent 评测方法论(Anthropic 工程团队 demystifying-evals 深 dive) §5.2)
Retrieval-augmented generation + groundedness check
在训练时加"诚实"reward

4.2 What is sycophancy in AI models?(2026)

Anthropic 的解释(我的总结):

sycophancy(奉承 / 谄媚):AI 倾向于告诉用户 ta 想听的,而不是真实的
根源:RLHF 训练时,人类标注员倾向于给"附和我立场"的回答更高分 → reward 学到偏见
症状:用户说"我做了 X,你觉得对吗?"AI 倾向于说"对,你做得很好",即使 X 不太对
危险:用户开始用 AI 作为 echo chamber(回音壁),AI 不再 challenge,反而 reinforce 用户既有偏见

Anthropic 缓解方法:

Constitutional AI:写明 "be honest, even if it upsets the user"
Petri 测试(见 Anthropic AI 安全 / 对齐 / 政策研究全集(Constitutional AI + RSP + Welfare + Policy) §5.3):专门测 sycophancy
训练 Claude 在合理时 disagree

对用户的建议:

用 Claude 时不要只问"X 对吗",问"X 有什么问题"
让 Claude 当 devil's advocate(唱反调)
多模型咨询(见 Claude Code 工作流(跨作者主题综合) 多模型混编)

5. Research Teams 全景(4 个 team)

Anthropic 公开的 4 个 research team(2026-05):

Team	主问题	关键工作
Alignment	Claude 训练成符合人类意图,且能 scalably 监督未来更强 model	Constitutional AI / Automated Alignment Researchers / Petri
Interpretability	Claude 内部"怎么想",能不能被理解 + 检查 + 修	SAE / Circuits / Natural Language Autoencoders
Economic Research	AI 对经济 / 就业 / 产业的影响,真实数据测量	Anthropic Economic Index(见 Anthropic Economic Index 全集(AI 经济影响测量,2025-2026 系列))
Societal Impacts	AI 在野外怎么被用 / 怎么被滥用 / 怎么影响社会	personal-guidance / clio / 选举保护 / 滥用检测

特点:4 个 team 互相连接 —— Interpretability 给 Alignment 提供"看内部"的工具,Societal Impacts 给 Economic Research 提供"野外行为"信号。

详见各 team 页(都很简短的"team mission + 当前问题"风格)。

6. 跨 wiki 互查地图

想看	wiki
Anthropic 安全 / 对齐 / 政策研究(Constitutional / RSP / Welfare / Red Team / 2028 Two Scenarios)	Anthropic AI 安全 / 对齐 / 政策研究全集(Constitutional AI + RSP + Welfare + Policy)
Anthropic 经济研究 / Economic Index 全集(Phase C 第 3 篇)	Anthropic Economic Index 全集(AI 经济影响测量,2025-2026 系列)
LLM 基础(Transformer / Attention / SAE / 解释性发展)	LLM 基础(Transformer / Attention / 三种 PLM)(跨作者主题综合)
Agent eval 方法论(LLM judge 校准 / hallucination 缓解纪律)	AI Agent 评测方法论(Anthropic 工程团队 demystifying-evals 深 dive) + LLM / AI Agent 评测方法论(跨作者主题综合:Anthropic + 学术 + 三方实战)
用户访谈(Cat Wu / Embiricos / Lenny 视角的"用户怎么用 Claude")	Lenny's Newsletter / 2026 AI 时代组织运营三人谈(Anthropic + OpenAI)

7. 元信息

改写策略:10 篇文章按"内部机制 / 行为研究 / 能力研究 / 模型 bug 教育 / Team 页"5 类组织。每节给"方法 + 发现 + 意义 + 跨 wiki link"。Tutorials 类(hallucinate / sycophancy)是用户教育材料,我的 summary 是结构化重述 + 加缓解建议,不是单纯翻译。

双语策略(translation_status: bilingual):

章节标题中英混排
核心英文术语首次出现给中文释义(activations / SAE / circuit / sycophancy / hallucinate 等)
原文 quotation 加 *译:中文*

与 Phase C 其他 wiki 的边界:

本 wiki = 内部机制 + 用户行为 + 模型 bug
Anthropic AI 安全 / 对齐 / 政策研究全集(Constitutional AI + RSP + Welfare + Policy) = 安全 / 对齐 / 政策
Anthropic Economic Index 全集(AI 经济影响测量,2025-2026 系列)(待生) = 经济 + 行业 + 数据
不重复 —— 每篇 source 文章主要归到一处,关联文章用 cross-link

Phase C 进度:第 2 篇完成(前:Anthropic AI 安全 / 对齐 / 政策研究全集(Constitutional AI + RSP + Welfare + Policy),本篇)。下一步:Anthropic Economic Index 全集(AI 经济影响测量,2025-2026 系列) 经济索引专题。