大纲
课程：MIT6.5940: TinyML and Efficient Deep Learning Computing
课程主要分为三个部分，首先讲授了让神经网络轻量化的各种关键技术，例如剪枝、量化、蒸馏、网络架构搜索等等。有了这些基础之后，课程第二部分会讲授面向特定领域场景的各种高效优化技术，涉及了目前深度学习最前沿热门的各个方向，例如大语言模型的推理、长上下文支持、后训练加速、多模态大语言模型、GAN、扩散模型等等。课程第三部分主要涉及各类高效训练技术，例如大规模分布式并行、自动并行优化、梯度压缩、边缘训练等等。Song Han 教授的讲解深入浅出，覆盖的知识面很广，且都是当前热门的领域方向，如果是想对大语言模型有初步了解也可以重点关注第二和第三部分的内容。
视频在油管上有官方版本，B站也有生肉和熟肉搬运。
课程作业一共有5个，前三个分别考察了量化、剪枝和 NAS，后两个主要是对大语言模型的压缩和高效部署，
课程（暑校）：深度学习中的高效计算方法
书：CUDA Example
书：体系结构：量化研究方法
大规模并行处理器编程实战
来自blog的推荐
书：大规模并行处理器程序设计
买上一本呢，买错了，这本还更贵（