AI Engineering ／ 大语言模型学习
LLM 面试 / 分布式训练 8 篇图解专题
大模型 LLM 分布式训练面试 8 PDF 完整图解。涵盖大模型分布式训练面(总览)+ 流水线并行 Pipeline Parallelism + nn.DataParallel + nn.parallel.DistributedDataParallel + torch.multiprocessing + AMP 混合精度训练 + DeepSpeed + accelerate + ZeRO 学习。系统覆盖 PyTorch + DeepSpeed + Megatron 三大主流分布式训练栈