AI Engineering ／ Newtype
Foundation Models for NLP(Springer 教科书精读)
Gerhard Paaß + Sven Giesselbach 2023 Springer 开放教材完整精读。436 页 / arXiv:2302.08575。8 章覆盖:Ch1 经典 NLP 基础(token / embedding / RNN / CNN) / Ch2 PLM 三大架构(BERT autoencoder + GPT autoregressive + Transformer seq2seq) + 训练/正则/不确定性/可解释性 / Ch3 改进 PLM 6 大方向(预训练任务变体 + 长距离稀疏注意力 + 多语言 + 知识注入 + 模型规模 + 微调 / few-shot / CoT) / Ch4 PLM 知识评测(GLUE / SuperGLUE / BIG-bench + Probing) / Ch5 信息抽取(分类 / NER / 关系抽取) / Ch6 文本生成(检索 / QA / 翻译 / 摘要 / 故事 / 代码 / 对话) / Ch7 多模态(语音 / 图像 ViT / 视频 / 控制 Decision Transformer + GATO / DNA / Protein) / Ch8 总结展望(Foundation Models 新范式 / 经济应用 / 5 类危害 / Grounding / Fast & Slow Thinking / Planning)。是 [[newtype-agent-architecture-research-2025]] 和 [[newtype-agent-research-papers]] 的"学术基础"补充