KNOWLEDGE NOTES

知识整理

按主题浏览已经整理的知识、课程笔记与方法。保留原有正文和出处。

287份知识文档
AI 技术与工程 / 大语言模型学习

LLM 面试 / 基础架构与组件

LLM 大模型面试基础架构与组件全集。涵盖 Decoder 三种架构(prefix/causal/encoder-decoder) + Layer Norm (LN/RMS/Deep Norm) + 激活函数(FFN/GeLU/Swish/GLU 系列) + Attention 升级(MQA/GQA/Flash/线性化/稀疏) + Transformer 操作 + 损失函数(KL/交叉熵) + 相似度函数(cosine/欧氏/Jaccard) + LLMs 进阶面(生成式/复读机问题/8 大缓解策略) + LLMs 训练经验帖

TransformerLLM基础模型训练中文整理稿