2.9 大模型的基本原理（1）（第9课时）
教学重难点
重点：Transformer架构基础；预训练概念；大模型的“大”体现在哪里。
教学过程
1. 导入：ChatGPT等大模型本质，是巨型深度神经网络。
2. Transformer架构：现代大模型的底层基础结构，注意力机制，能够捕捉文本上下文关系。
3. 大模型为什么叫“大”：参数量规模巨大；训练数据集规模巨大。
4. 预训练阶段：在海量互联网文本上做通用预训练，学习语言知识、常识、逻辑。
预训练完成，模型掌握通用能力。
5. 通俗类比：预训练相当于博览群书，广泛学习整个世界的文本知识。
6. 课堂讨论：参数量越大模型就一定越好吗？