本次 homework 主要内容是：实现 softmax 与 LayerNorm kernel fusion 形式的 fwd 与 bwd，完成 CUDA kernel 编写；接入 Python 层；接入 Transformer 模型并验证训练加速。 下面对本次 homework 实现时一些注意点进行介绍。 1. Softmax 1.1 forward 课程已经提供了 block_dim

PyTorch Distributed: Experiences on Accelerating Data Parallel Training 代码：PyTorch DDP arXiv 提交日期：28 Jun 2020 （发表于 VLDB 2020） 作者： 摘要： 本文介绍了 PyTorch 分布式数据并行（Distributed Data Parallel, D

LightSeq2: Accelerated Training for Transformer-based Models on GPUs arXiv 提交日期：12 Oct 2021 GitHub：https://github.com/bytedance/lightseq 作者： 摘要 基于 Transformer 的神经网络模型已被广泛应用于许多人工智能领域。训练这

LightSeq: A High Performance Inference Library for Transformers arXiv 提交日期：23 Oct 2020 GitHub：https://github.com/bytedance/lightseq 作者： 摘要 Transformer、BERT 及其变体在自然语言处理领域取得了巨大的成功。由于 Tran

0. Recap Overall idea: partition the data, distribute the forward/backward Parameter Server server to update and distribute parameters, worker to get local grad NCCL Multi-GPU communicatio

0. Recap 之前课程主线： LLM 简介 CUDA 编程基础 深度学习框架（自动求导） Transformer/Pre-trained LLM LLM 前后两个辅助组件：Tokenizer 与 Decoding Transformer 加速：Kernel Fusion & Mix-precision & Memory Management Optimiza

0. Recap Transformer Architecture： 1. Accelerated GPU Computation for Transformer Training Overview: 对应下面将要介绍的 4 个优化手段： Kernel Fusion：计算图级别优化，通过算子融合减少计算图节点。 Reduce synchronization：算子内优化

0. Recap Subword tokenization: Byte-Pair-Encoding iteratively merging most frequent pairs of tokens Information-theoretic vocabulary (VOLT) solving entropy constrained optimal transport pr

0. Recap Pretraining: Mask-labeled recovery of random spans + next token prediction Multitask supervised fine-tuning with instruction templates Relative position instead of absolute position: Ro

本次 homework 的任务是实现 Decoder-only 的 Transformer 模型，也就是 GPT-2，并在一个翻译任务数据集上进行模型训练。具体来说，包括以下几个子任务： 实现 CrossEntropy Loss 实现基础模块，包括 Linear/Dropout/LayerNorm1d/Embedding 实现 Transformer，包括：MultiHeadAtte