尚硅谷AI大模型之NLP教程

来源官方

尚硅谷AI大模型之NLP教程

本套教程专为深耕NLP领域的学习者打造，助力你系统掌握这一前沿技术，解锁智能时代的核心竞争力！ 

教程内容设计循序渐进，全面覆盖NLP核心知识体系，从文本表示入手，带你掌握词级、字符级、子词级分词技术，以及 one-hot 编码、语义化词向量、上下文相关词向量等词表示方法；进而深入传统序列模型，剖析 RNN、LSTM、GRU 的原理与优劣；随后聚焦 Seq2Seq模型的编码器-解码器架构及其在机器翻译中的应用，再到注意力机制的基本思想与Seq2Seq+Attention的性能改进；最终深入Transformer模型的架构精髓，包括位置编码、多头注意力、前馈网络等核心组件，以及GPT-1、BERT、T5等不同结构的预训练模型…

教程兼具理论深度与实践温度，以理论结合实践为核心特色，每章配套丰富的代码示例与实验项目，秉持实用导向原则，紧密贴近真实应用场景，助力你在掌握理论知识的同时，快速提升动手能力，真正实现从知识到技能的转化！

教程要求学习者具备Python编程基础、深度学习基础以及PyTorch编程基础，以便为NLP脚本编写、数据处理及模型实践提供有力支撑。

教程内容：

 001_教程简介

 002_教程概述

 003_导论-常见任务

 004_导论-技术演进历史

 005_环境准备

 006_文本表示-概述

 007_文本表示-分词-英文分词

 008_文本表示-分词-英文分词-BPE算法

 009_文本表示-分词-中文分词

 010_文本表示-分词-分词工具-概述

 011_文本表示-分词-分词工具-jieba-分词模式

 012_文本表示-分词-分词工具-jieba-分词模式-API

 013_文本表示-分词-分词工具-jieba-自定义词典

 014_文本表示-词表示-one-hot&语义化词向量-概述

 015_文本表示-词表示-语义化词向量-Word2Vec-概述

 016_文本表示-词表示-语义化词向量-Word2Vec-原理-Skip-Gram

 017_文本表示-词表示-语义化词向量-Word2Vec-原理-CBOW

 018_文本表示-词表示-语义化词向量-Word2Vec-获取-公开词向量-说明

 019_文本表示-词表示-语义化词向量-Word2Vec-获取-公开词向量-编码

 020_文本表示-词表示-语义化词向量-训练词向量-概述

 021_文本表示-词表示-语义化词向量-训练词向量-实操

 022_文本表示-词表示-语义化词向量-应用-概述

 023_文本表示-词表示-语义化词向量-应用-编码

 024_文本表示-词表示-语义化词向量-应用-OOV问题

 025_文本表示-词表示-上下文相关词向量

 026_传统序列模型-RNN-概述

 027_传统序列模型-RNN-基础结构

 028_传统序列模型-RNN-示意图

 029_传统序列模型-RNN-多层结构

 030_传统序列模型-RNN-双向结构

 031_传统序列模型-RNN-多层+双向结构

 032_传统序列模型-RNN-API-构造参数

 033_传统序列模型-RNN-API-输入输出-概述

 034_传统序列模型-RNN-API-输入输出-含义

 035_传统序列模型-RNN-API-输入输出-形状分析

 036_传统序列模型-RNN-API-小练习

 037_传统序列模型-案例-概述

 038_传统序列模型-案例-思路分析-数据集说明

 039_传统序列模型-案例-思路分析-模型结构和训练思路

 040_传统序列模型-RNN-案例-项目结构

 041_传统序列模型-RNN-案例-数据预处理-思路分析

 042_传统序列模型-RNN-案例-数据预处理-读取json文件

 043_传统序列模型-RNN-案例-数据预处理-文件路径说明

 044_传统序列模型-RNN-案例-数据预处理-文件路径处理

 045_传统序列模型-RNN-案例-数据预处理-构建并保存词表

 046_传统序列模型-RNN-案例-数据预处理-构建训练集

 047_传统序列模型-RNN-案例-数据预处理-保存训练集&测试集

 048_传统序列模型-RNN-案例-数据集-说明

 049_传统序列模型-RNN-案例-数据集-编码

 050_传统序列模型-RNN-案例-模型定义-初始化方法

 051_传统序列模型-RNN-案例-模型定义-前向传播

 052_传统序列模型-RNN-案例-训练脚本-环境准备

 053_传统序列模型-RNN-案例-训练脚本-训练循环

 054_传统序列模型-RNN-案例-训练脚本-单个轮次的训练逻辑

 055_传统序列模型-RNN-案例-训练脚本-Tensorboard使用说明

 056_传统序列模型-RNN-案例-训练脚本-保存模型

 057_传统序列模型-RNN-案例-预测脚本-说明

 058_传统序列模型-RNN-案例-预测脚本-编码-上

 059_传统序列模型-RNN-案例-预测脚本-编码-下

 060_传统序列模型-RNN-案例-评估脚本-说明

 061_传统序列模型-RNN-案例-评估脚本-编码

 062_传统序列模型-RNN-案例-代码改造说明

 063_传统序列模型-RNN-案例-Tokenizer-说明

 064_传统序列模型-RNN-案例-Tokenizer-编码

 065_传统序列模型-RNN-存在问题-概述

 066_传统序列模型-RNN-存在问题-分析

 067_传统序列模型-LSTM-概述

 068_传统序列模型-LSTM-基础结构-说明

 069_传统序列模型-LSTM-缓解梯度消失和爆炸

 070_传统序列模型-LSTM-复杂结构

 071_传统序列模型-LSTM-API-构造参数

 072_传统序列模型-LSTM-API-输入输出

 073_传统序列模型-LSTM-案例-概述&思路分析

 074_传统序列模型-LSTM-案例-数据处理-说明

 075_传统序列模型-LSTM-案例-数据处理-编码-上

 076_传统序列模型-LSTM-案例-数据处理-编码-下

 077_传统序列模型-LSTM-案例-数据集

 078_传统序列模型-LSTM-案例-模型定义

 079_传统序列模型-LSTM-案例-模型训练

 080_传统序列模型-LSTM-案例-模型预测

 081_传统序列模型-LSTM-案例-模型评估

 082_传统序列模型-LSTM-存在问题

 083_传统序列模型-GRU-基础结构

 084_传统序列模型-GRU-复杂结构&API使用说明

 085_传统序列模型-GRU-案例实操

 086_传统序列模型-LSTM_GRU_RNN横向对比

 087_Seq2Seq-概述

 088_Seq2Seq-模型结构-编码器

 089_Seq2Seq-模型结构-解码器

 090_Seq2Seq-模型结构-训练机制

 091_Seq2Seq-模型结构-推理机制

 092_Seq2Seq-模型结构-案例实操-概述

 093_Seq2Seq-模型结构-案例实操-需求分析

 094_Seq2Seq-模型结构-案例实操-数据预处理-读取文件

 095_Seq2Seq-模型结构-案例实操-数据预处理-改造Tokenizer

 096_Seq2Seq-模型结构-案例实操-数据预处理-词表构建

 097_Seq2Seq-模型结构-案例实操-数据预处理-构建数据集

 098_Seq2Seq-模型结构-案例实操-Dataloader

 099_Seq2Seq-模型结构-案例实操-模型定义-编码器

 100_Seq2Seq-模型结构-案例实操-模型定义-解码器

 101_Seq2Seq-模型结构-案例实操-模型定义-完整模型

 102_Seq2Seq-模型结构-案例实操-训练脚本-核心代码

 103_Seq2Seq-模型结构-案例实操-训练脚本-pad_token处理逻辑

 104_Seq2Seq-案例-预测脚本

 105_Seq2Seq-案例-评估脚本-bleu说明

 106_Seq2Seq-案例-评估脚本-编码

 107_Seq2Seq-总结

 108_Attention机制-概述

 109_Attention机制-工作原理-概述

 110_Attention机制-工作原理-具体步骤

 111_Attention机制-注意力评分函数

 112_Attention机制-案例-代码升级改造思路

 113_Attention机制-案例-注意力机制-实现思路

 114_Attention机制-案例-注意力机制-编码

 115_Attention机制-案例-注意力机制-训练和预测逻辑修改

 116_Transformer-概述

 117_Transformer-核心思想

 118_Transformer-模型结构-整体结构

 119_Transformer-模型结构-编码器-概述

 120_Transformer-模型结构-编码器-自注意力子层-生成QKV向量

 121_Transformer-模型结构-编码器-自注意力子层-完整计算过程

 122_Transformer-模型结构-编码器-自注意力子层-多头注意力

 123_Transformer-模型结构-编码器-前馈神经网络层

 124_Transformer-模型结构-编码器-残差连接&层归一化-概述

 125_Transformer-模型结构-编码器-残差连接-说明

 126_Transformer-模型结构-编码器-层归一化

 127_Transformer-模型结构-编码器-位置编码

 128_Transformer-模型结构-编码器-说明

 129_Transformer-模型结构-编码器-小结

 130_Transformer-模型结构-解码器-概述

 131_Transformer-模型结构-解码器-Mask-Attention

 132_Transformer-模型结构-解码器-Cross-Attention

 133_Transformer-模型结构-解码器-小结

 134_Transformer-实现细节-注意力为什么需要缩放

 135_Transformer-实现细节-注意力如何感知相对位置

 136_Transformer-模型训练和推理机制

 137_Transformer-API-概述

 138_Transformer-API-nn.Transformer-构造参数

 139_Transformer-API-nn.Transformer-forward方法-概述

 140_Transformer-API-nn.Transformer-forward方法-输入输出

 141_Transformer-API-nn.Transformer-encoder&decoder

 142_Transformer-案例-代码改造思路

 143_Transformer-案例-模型定义-基础结构

 144_Transformer-案例-模型定义-位置编码-简易实现

 145_Transformer-案例-模型定义-位置编码-哈弗实现

 146_Transformer-案例-模型定义-前向传播

 147_Transformer-案例-训练脚本

 148_Transformer-案例-预测&评估脚本

 149_Transformer-哈佛版本-核心源码解读

 150_预训练模型-概述

 151_预训练模型-分类

 152_预训练模型-主流模型-GPT-概述

 153_预训练模型-主流模型-GPT-模型结构

 154_预训练模型-主流模型-GPT-预训练

 155_预训练模型-主流模型-GPT-微调

 156_预训练模型-主流模型-BERT-概述

 157_预训练模型-主流模型-BERT-模型结构

 158_预训练模型-主流模型-BERT-微调

 159_预训练模型-主流模型-BERT-预训练

 160_预训练模型-主流模型-T5-概述&模型结构

 161_预训练模型-主流模型-T5-预训练&微调

 162_预训练模型-HF-概述

 163_预训练模型-HF-模型加载-AutoModel

 164_预训练模型-HF-模型加载-AutoModelForXXX

 165_预训练模型-HF-模型使用

 166_预训练模型-HF-Tokenizer-加载

 167_预训练模型-HF-Tokenizer-使用

 168_预训练模型-HF-Tokenizer-模型配合使用

 169_预训练模型-HF-Datasets-概述

 170_预训练模型-HF-Datasets-加载数据集

 171_预训练模型-HF-Datasets-查看数据集

 172_预训练模型-HF-Datasets-加载在线数据集

 173_预训练模型-HF-Datasets-预处理数据集-过滤数据

 174_预训练模型-HF-Datasets-预处理数据集-划分数据集

 175_预训练模型-HF-Datasets-预处理数据集-map-上

 176_预训练模型-HF-Datasets-预处理数据集-map-下

 177_预训练模型-HF-Datasets-保存数据集

 178_预训练模型-HF-Datasets-集成Dataloader

 179_预训练模型-案例-数据预处理-上

 180_预训练模型-案例-数据预处理-下

 181_预训练模型-案例-Dataloader

 182_预训练模型-案例-模型定义

 183_预训练模型-案例-模型训练

 184_预训练模型-案例-模型推理

 185_预训练模型-案例-模型评估

 186_预训练模型-案例-测试

 187_预训练模型-案例-带任务头的预训练模型