KNOWLEDGE NOTES知识整理
按主题浏览已经整理的知识、课程笔记与方法。保留原有正文和出处。
287份知识文档liuup 对 CC v2.1.88 泄露源码的安全与竞品分析。① 数据暴露 6 层(上下文最危险非遥测)② 4 类攻击面(prompt 注入/Unicode 隐写/shell 注入/git 逃逸)及源码防御 ③ 防御体系(双重权限闸/sandbox namespace/密钥扫描/隐私分级/fail-closed)④ 隐私最小化实操 playbook(env+行为)⑤ vs Codex/Gemini CLI/Aider/Cursor。做选型/合规/隐私加固看这篇
CC v2.1.88 泄露源码拆解:最小代理循环 + 12 层生产加固 / 工具接口生命周期 / 权限漏斗 / 4 种子代理 / 3 种上下文压缩 / 会话持久化 / MCP / 桥接层 / Feature flag DCE。读"CC 内部怎么搭"看这篇
CC v2.1.88 泄露源码扒出的"非公开"细节:双层遥测收什么且无法退出 / 模型动物代号(Tengu·Capybara·Fennec·Numbat)+ Capybara v8 行为 bug / 内外部用户差别待遇 / 卧底模式隐藏 AI 身份 / 每小时轮询的远程 killswitch / KAIROS 自主代理等未上线功能。想知道"CC 内部藏了什么"看这篇
7 视角的 Skill 工程化融合。newtype 老黄(Super Analyst 三件套 + Sequential Thinking + 7-Stage Workflow)/ 王凯(Skill 三大陷阱 + 用代码写 Skill + IFS + SillyTavern 7 阶段)/ 小红书 vibecoding(比 N8N 优势 + 调本地服务 + Vibe Marketing + 雅思三件套)/ 老 D(SKILL.md + references/ + Git 版本管理)/ Anthropic 官方(Skill 格式 = zip bundle = SKILL.md + references + scripts)/ **zara 张咋啦(opinionated 分发派 + Centrally fetch locally Remix + Frontend Slides 16k+ star + Fork > PR + Skill > SaaS)**。覆盖 Skill vs MCP vs Sub-Agent 边界、规则适用范围、记忆串、Skill 越多越冲突
Gerhard Paaß + Sven Giesselbach 2023 Springer 开放教材完整精读。436 页 / arXiv:2302.08575。8 章覆盖:Ch1 经典 NLP 基础(token / embedding / RNN / CNN) / Ch2 PLM 三大架构(BERT autoencoder + GPT autoregressive + Transformer seq2seq) + 训练/正则/不确定性/可解释性 / Ch3 改进 PLM 6 大方向(预训练任务变体 + 长距离稀疏注意力 + 多语言 + 知识注入 + 模型规模 + 微调 / few-shot / CoT) / Ch4 PLM 知识评测(GLUE / SuperGLUE / BIG-bench + Probing) / Ch5 信息抽取(分类 / NER / 关系抽取) / Ch6 文本生成(检索 / QA / 翻译 / 摘要 / 故事 / 代码 / 对话) / Ch7 多模态(语音 / 图像 ViT / 视频 / 控制 Decision Transformer + GATO / DNA / Protein) / Ch8 总结展望(Foundation Models 新范式 / 经济应用 / 5 类危害 / Grounding / Fast & Slow Thinking / Planning)。是 [[newtype-agent-architecture-research-2025]] 和 [[newtype-agent-research-papers]] 的"学术基础"补充
Google 官方《Prompting Essentials》提示词课的自包含双语精华。核心是 5 要素提示框架 TCREI(Task 任务/Context 背景/References 参考/Evaluate 评估/Iterate 迭代,记忆口诀 Thoughtfully Create Really Excellent Inputs),把写提示等同于给新人写清晰 Brief。覆盖:4 种迭代修复法(回框架/拆长提示/换相似任务/加约束)与链式密度压缩;提示链(prompt chaining)用前一步输出当下一步输入,区别于单纯迭代,含 chain-of-thought / tree-of-thought 变体;6 类高频办公场景的可复用提示骨架(头脑风暴/表格追踪器/会议纪要/数据可视化/文生图/演示讲者备注),外加邮件/总结/语气风格/多模态/元提示/破译公式与行话;以及负责任使用 AI 的 human-in-the-loop 检查清单(防幻觉/防偏见/护数据)。与 [[newtype-prompt-engineering]] 互补:老黄讲'提示工程不必学'的反共识立场与产品级 Prompt 调度,本篇给 Google 官方的标准化框架与场景模板,适合非技术 PM 入门即用。
Andrej Karpathy 2025-06 在 Y Combinator AI Startup School 演讲完整中文整理。Software 1.0(传统代码)→ 2.0(神经网络权重)→ 3.0(自然语言提示词)三段论;LLM = 新型操作系统/工具/公用事业三类比;LLM 心理学(类人不可靠);1960s 大型机视角看当下 AI(终端→个人电脑还要几年);Vibe Coding 即"软件已转向自然语言编程";Agentic Decade(2025-2035 十年演进,不要做 Agent Demo 上瘾);构建半自主产品的 4 条原则;为 Agent 重写软件基础设施(robots.txt → llms.txt)。
4 视角的 Karpathy 体系融合。newtype Karpathy Software 3.0 完整(YC AI Startup School 2025-06 演讲 / 1.0→2.0→3.0 / LLM = OS+Utility+Fab / LLM 心理学 / Agentic Decade / 半自主 4 原则 / robots.txt → llms.txt)/ newtype 知识系统(Karpathy LLM Wiki 模式作为知识库架构原型)/ 王凯(Karpathy "Just Do It" 引用 + nanochat 学习)/ 小红书 vibecoding(Karpathy 0 基础解读 + 243 行代码复现 LM + Vibe Coding 即"软件已转向自然语言编程")。覆盖 Software 三段论、LLM 三类比、Agentic Decade、Vibe Coding 词源、为 Agent 重写基础设施
跨作者 evals 主题汇总。Anthropic 4 大教训(infrastructure noise 6 点差 / eval awareness 模型识破 / take-home test 寿命 / pass^k 数学)+ 学术派(SWE-Bench / Terminal-Bench / τ2-Bench / BrowseComp / 𝜏2 / OSWorld / CORE-Bench 全集)+ 王凯 / 老黄 / Cal Rueb 实战视角。框架选型(Harbor / Braintrust / LangSmith / Langfuse / Arize)+ PM 14 项自检 checklist。本 wiki 是 [[anthropic-engineering-demystifying-evals]](Phase A 锚 / Anthropic 单源 deep dive)的"横向跨作者拓展"
LLM 分布式训练综合。llm-interview-distributed(9 PDF / 分布式总览 + 流水线并行 + DataParallel/DDP + torch.multiprocessing + AMP 混合精度 + DeepSpeed + accelerate + ZeRO)+ vLLM / 推理优化栈。覆盖 4 大并行策略(DP/MP/PP/TP)、3D Parallelism、ZeRO 三阶段、Megatron + DeepSpeed 主流栈
LLM 内核基础综合。llm-interview-basics(Decoder 三种架构 prefix/causal/encoder-decoder + Layer Norm LN/RMS/Deep + 激活函数 GeLU/SwiGLU + Attention 升级 MQA/GQA/Flash + Transformer 操作 + 损失/相似度函数 + 复读机问题 + 8 大缓解策略)/ Karpathy nanochat(243 行代码复现 LM)/ newtype Karpathy(Software 2.0 神经网络权重)。覆盖 Transformer 三种范式、主流 LLM 配置(LLaMA/GPT/GLM)、Attention 演化、训练经验
大模型 LLM 分布式训练面试 8 PDF 完整图解。涵盖大模型分布式训练面(总览)+ 流水线并行 Pipeline Parallelism + nn.DataParallel + nn.parallel.DistributedDataParallel + torch.multiprocessing + AMP 混合精度训练 + DeepSpeed + accelerate + ZeRO 学习。系统覆盖 PyTorch + DeepSpeed + Megatron 三大主流分布式训练栈
LLM 大模型面试基础架构与组件全集。涵盖 Decoder 三种架构(prefix/causal/encoder-decoder) + Layer Norm (LN/RMS/Deep Norm) + 激活函数(FFN/GeLU/Swish/GLU 系列) + Attention 升级(MQA/GQA/Flash/线性化/稀疏) + Transformer 操作 + 损失函数(KL/交叉熵) + 相似度函数(cosine/欧氏/Jaccard) + LLMs 进阶面(生成式/复读机问题/8 大缓解策略) + LLMs 训练经验帖
LLM 面试中微调 / RLHF / PEFT / 增量预训练板块的 15 份专题 PDF。覆盖 LLMs 微调面 + PEFT(参数高效微调)+ Adapter-tuning + LoRA 系列 + QLoRA + PEFT 库 + 增量预训练 + 增量预训练样本拼接 + lora 二次预训练 + 评测面 + 强化学习面 + RLHF 及变种 + PPO + 强化学习 NLP 应用 + 训练集面 + LLM 生成 SFT 数据 + 显存优化 + 推理面 + Prompting 篇
LLM 面试中 RAG (Retrieval-Augmented Generation) 检索增强生成的 14 份专题 PDF 全集。涵盖 RAG 基础(为什么需要外挂知识库 / R/A/G 三模块)+ langchain RAG 实战 + 大模型外挂知识库 + RAG 经验面 + PDF 解析 + 表格识别 + 文本分块 + 大模型辅助召回(HYDE)+ 负难样本挖掘 + RAG 评测 + RAG 优化策略 + RAG 关键痛点 + RAG-Fusion + Graph RAG + 多轮对话长期记忆 8 种优化
LLM 微调与对齐综合。llm-interview-finetune(19 份 PDF / 微调基础 + PEFT + LoRA 系列 + QLoRA + 增量预训练 + RLHF + PPO + DPO + 显存优化 + 推理 + Prompting + SFT 数据)/ newtype 微调实战 + 王凯 LoRA 应用心得。覆盖全参 vs PEFT、LoRA + QLoRA、RLHF vs DPO、SFT 数据构建、显存优化策略
4 视角的 MCP 协议生态融合。newtype 老黄(DOS→Win95→互联网爆发演化预测 + 老黄自己做 Obsidian/Flux/Prompt House MCP + 常用 MCP 清单 + 配置 7 大坑)/ 王凯(FMP 金融 MCP + Chrome MCP 改造 + 飞书 CLI / 自建 MCP 解决数据准确性)/ 老 D(国内 rap.dev + 小红书 MCP server + Playwright)/ AWS 行业(常高伟 ANP 协议对比 MCP)。覆盖 MCP vs GUI Agent 之争、Smithery 失败、Sequential Thinking + Tavily 默认栈、MCP+n8n 工作流闭环
黄益贺 2024-04 → 2026-05 对 Agent / Multi-Agent / Workflow / Agentic Workflow / Agent Native / CLI Agent / 多 Agent 编排 5 大特征的判断与实战。包括 Manus 命门 / Claude Code Sub-agents 的局限 / newtype Profile 设计 / Agent 交付率 3 法则 / AI 时代三层框架
黄益贺 2025-03 → 2026-05 关于 MCP 的全量观察。基础概念 / 老黄自己做的 MCP / 常用 MCP 清单 / 配置排错 / DOS → Win95 演化预测 / 上下文工程 vs 提示词工程 / Skill + MCP 配合 / 巴菲特复刻 SOP
黄益贺 2024-03 → 2026-05 关于提示词与上下文工程的全量沉淀。从早期"快捷指令 Prompt"到 Prompt House 产品化,到 Karpathy Context Engineering,到 2026 全员上 Skill。包括 Thinking-Claude 表演思考 / Ultra think 32K 思考预算 / 结构化文生图 JSON / Market Insights GEM / 提示词进阶用法 / 书本概括 Prompt