KNOWLEDGE NOTES知识整理
按主题浏览已经整理的知识、课程笔记与方法。保留原有正文和出处。
350份知识文档Google 官方《Prompting Essentials》提示词课的自包含双语精华。核心是 5 要素提示框架 TCREI(Task 任务/Context 背景/References 参考/Evaluate 评估/Iterate 迭代,记忆口诀 Thoughtfully Create Really Excellent Inputs),把写提示等同于给新人写清晰 Brief。覆盖:4 种迭代修复法(回框架/拆长提示/换相似任务/加约束)与链式密度压缩;提示链(prompt chaining)用前一步输出当下一步输入,区别于单纯迭代,含 chain-of-thought / tree-of-thought 变体;6 类高频办公场景的可复用提示骨架(头脑风暴/表格追踪器/会议纪要/数据可视化/文生图/演示讲者备注),外加邮件/总结/语气风格/多模态/元提示/破译公式与行话;以及负责任使用 AI 的 human-in-the-loop 检查清单(防幻觉/防偏见/护数据)。与 [[newtype-prompt-engineering]] 互补:老黄讲'提示工程不必学'的反共识立场与产品级 Prompt 调度,本篇给 Google 官方的标准化框架与场景模板,适合非技术 PM 入门即用。
从 Karpathy 的 Software 3.0 演讲笔记理解 LLM OS 类比、三种软件范式与半自主产品；提供直达章节、一手视频入口和系统边界说明，保留既有解读。
按软件范式、AI 小工具、nanochat 和知识工作流组织 Karpathy 阅读路径，链接原始实践与演讲笔记，区分作者原话、中文社区延伸和历史预测。
跨作者 evals 主题汇总。Anthropic 4 大教训(infrastructure noise 6 点差 / eval awareness 模型识破 / take-home test 寿命 / pass^k 数学)+ 学术派(SWE-Bench / Terminal-Bench / τ2-Bench / BrowseComp / 𝜏2 / OSWorld / CORE-Bench 全集)+ 王凯 / 老黄 / Cal Rueb 实战视角。框架选型(Harbor / Braintrust / LangSmith / Langfuse / Arize)+ PM 14 项自检 checklist。本 wiki 是 [[anthropic-engineering-demystifying-evals]](Phase A 锚 / Anthropic 单源 deep dive)的"横向跨作者拓展"
LLM 分布式训练综合。llm-interview-distributed(9 PDF / 分布式总览 + 流水线并行 + DataParallel/DDP + torch.multiprocessing + AMP 混合精度 + DeepSpeed + accelerate + ZeRO)+ vLLM / 推理优化栈。覆盖 4 大并行策略(DP/MP/PP/TP)、3D Parallelism、ZeRO 三阶段、Megatron + DeepSpeed 主流栈
LLM 内核基础综合。llm-interview-basics(Decoder 三种架构 prefix/causal/encoder-decoder + Layer Norm LN/RMS/Deep + 激活函数 GeLU/SwiGLU + Attention 升级 MQA/GQA/Flash + Transformer 操作 + 损失/相似度函数 + 复读机问题 + 8 大缓解策略)/ Karpathy nanochat(243 行代码复现 LM)/ newtype Karpathy(Software 2.0 神经网络权重)。覆盖 Transformer 三种范式、主流 LLM 配置(LLaMA/GPT/GLM)、Attention 演化、训练经验
大模型 LLM 分布式训练面试 8 PDF 完整图解。涵盖大模型分布式训练面(总览)+ 流水线并行 Pipeline Parallelism + nn.DataParallel + nn.parallel.DistributedDataParallel + torch.multiprocessing + AMP 混合精度训练 + DeepSpeed + accelerate + ZeRO 学习。系统覆盖 PyTorch + DeepSpeed + Megatron 三大主流分布式训练栈
LLM 大模型面试基础架构与组件全集。涵盖 Decoder 三种架构(prefix/causal/encoder-decoder) + Layer Norm (LN/RMS/Deep Norm) + 激活函数(FFN/GeLU/Swish/GLU 系列) + Attention 升级(MQA/GQA/Flash/线性化/稀疏) + Transformer 操作 + 损失函数(KL/交叉熵) + 相似度函数(cosine/欧氏/Jaccard) + LLMs 进阶面(生成式/复读机问题/8 大缓解策略) + LLMs 训练经验帖
LLM 面试中微调 / RLHF / PEFT / 增量预训练板块的 15 份专题 PDF。覆盖 LLMs 微调面 + PEFT(参数高效微调)+ Adapter-tuning + LoRA 系列 + QLoRA + PEFT 库 + 增量预训练 + 增量预训练样本拼接 + lora 二次预训练 + 评测面 + 强化学习面 + RLHF 及变种 + PPO + 强化学习 NLP 应用 + 训练集面 + LLM 生成 SFT 数据 + 显存优化 + 推理面 + Prompting 篇
LLM 面试中 RAG (Retrieval-Augmented Generation) 检索增强生成的 14 份专题 PDF 全集。涵盖 RAG 基础(为什么需要外挂知识库 / R/A/G 三模块)+ langchain RAG 实战 + 大模型外挂知识库 + RAG 经验面 + PDF 解析 + 表格识别 + 文本分块 + 大模型辅助召回(HYDE)+ 负难样本挖掘 + RAG 评测 + RAG 优化策略 + RAG 关键痛点 + RAG-Fusion + Graph RAG + 多轮对话长期记忆 8 种优化
LLM 微调与对齐综合。llm-interview-finetune(19 份 PDF / 微调基础 + PEFT + LoRA 系列 + QLoRA + 增量预训练 + RLHF + PPO + DPO + 显存优化 + 推理 + Prompting + SFT 数据)/ newtype 微调实战 + 王凯 LoRA 应用心得。覆盖全参 vs PEFT、LoRA + QLoRA、RLHF vs DPO、SFT 数据构建、显存优化策略
4 视角的 MCP 协议生态融合。newtype 老黄(DOS→Win95→互联网爆发演化预测 + 老黄自己做 Obsidian/Flux/Prompt House MCP + 常用 MCP 清单 + 配置 7 大坑)/ 王凯(FMP 金融 MCP + Chrome MCP 改造 + 飞书 CLI / 自建 MCP 解决数据准确性)/ 老 D(国内 rap.dev + 小红书 MCP server + Playwright)/ AWS 行业(常高伟 ANP 协议对比 MCP)。覆盖 MCP vs GUI Agent 之争、Smithery 失败、Sequential Thinking + Tavily 默认栈、MCP+n8n 工作流闭环
42章经单期精读｜2023-12-17原节目。围绕从图形学到 AI 生成 3D：我们离 3D 版 Midjourney 还有多远？，整理具体机制、案例、适用条件与编辑判断；含完整中文和英文。
黄益贺 2024-04 → 2026-05 对 Agent / Multi-Agent / Workflow / Agentic Workflow / Agent Native / CLI Agent / 多 Agent 编排 5 大特征的判断与实战。包括 Manus 命门 / Claude Code Sub-agents 的局限 / newtype Profile 设计 / Agent 交付率 3 法则 / AI 时代三层框架
黄益贺 2025-03 → 2026-05 关于 MCP 的全量观察。基础概念 / 老黄自己做的 MCP / 常用 MCP 清单 / 配置排错 / DOS → Win95 演化预测 / 上下文工程 vs 提示词工程 / Skill + MCP 配合 / 巴菲特复刻 SOP
黄益贺 2024-03 → 2026-05 关于提示词与上下文工程的全量沉淀。从早期"快捷指令 Prompt"到 Prompt House 产品化,到 Karpathy Context Engineering,到 2026 全员上 Skill。包括 Thinking-Claude 表演思考 / Ultra think 32K 思考预算 / 结构化文生图 JSON / Market Insights GEM / 提示词进阶用法 / 书本概括 Prompt
黄益贺 2024-03 → 2026-05 RAG 实战。早期 AnythingLLM/Open WebUI/Pinecone → 微软 GraphRAG($11/问) → Cohere Command R+ → Milvus + MCP 自建向量库 → 2026 Obsidian + NotebookLM 终态。RAG 优化要点 / 不同模型对 RAG 检索方式对比 / 文档预处理 / Embedding 选型 / 老黄个人方案演化
黄益贺 2024-03 → 2026-05 模型评测/微调/硬件实测全演化。505 帖,涵盖 GPT/Claude/Gemini/Grok/DeepSeek/Qwen/Llama/Kimi/GLM/Minimax 演化、Mac 集群跑分、Unsloth GRPO 微调、Scaling Law 辩论、输出长度瓶颈、TPU vs GPU、底层通用+上层垂直微调战略、模型路由、模型委员会。
newtype(黄益贺)整理的 4 个高质量 Prompt 模板 + 1 个 CLAUDE.md 范本。YouTube 播客深度理解 Gemini v2(5 步法:章节提取 → 复述 → 双语 → 主题背景 → 学习辅助)/ Social Media Deconstruction(5 框架:Core Insight / Structure / Psychology / Virality / Takeaways)/ Creative Divergence Mode(4 lens:Gap Analysis / Reframing / Cross-Domain / Breakthrough)/ Weekly Synthesis Report(Markdown 文件夹分析 → 跨文档综合)/ CLAUDE.md MCP 配置范本(Tavily + Sequential Thinking + Prompt House + Super Analyst Pro)。是 [[newtype-prompt-engineering]] 的"成熟 prompt 库"补充
newtype 的 Skill 体系 3 个代表作完整拆解。Super Analyst v1(12 个分析框架的智能选择器 + prompt-house-local MCP 联动)/ Super Analyst Pro 2.0(7-Stage Workflow + 双 Sequential Thinking + Bilingual Web Search + 3 级复杂度自适应) / Super Writer(Material Collection + 7 种 Style Analysis + 6 种 Writing Methodology + 三重 Sequential Thinking)。每个 Skill 都是"Sequential Thinking + MCP + 框架库"的工程化范本。是 [[newtype-mcp]] 中"Skill 化是终态"判断的落地实证
