Transformer算法原理,包含 Transformer算法背景与整体架构;文本数值化、词嵌入与位置编码;自注意力机制;多头注意力机制;填充掩码与因果掩码;残差连接、层归一化与前馈神经网络;编码器、解码器与交叉注意力;Transformer的训练与推理;PyTorch代码实现。
神经网络与深度学习笔记合集
PyTorch深度学习入门笔记合集
神经网络与深度学习笔记_Day1,包含 深度学习 与 PyTorch
神经网络与深度学习笔记_Day2,包含 张量 与 自动微分
神经网络与深度学习笔记_Day3,包含 自动微分 与 激活函数
神经网络与深度学习笔记_Day4,包含 参数初始化、神经网络、损失函数 与 反向传播
神经网络与深度学习笔记_Day5,包含 梯度下降优化方法、学习率衰减策略、正则化 与 ANN案例
神经网络与深度学习笔记_Day6,包含 ANN案例、CNN概述、卷积层 与 池化层
PyTorch深度学习入门笔记P26-32,包含 完整的模型训练套路、利用GPU训练 和 完整的模型验证套路
PyTorch深度学习入门笔记P15-25,包含 神经网络的基本骨架-nn.Module的使用、土堆说卷积操作、神经网络-卷积层、神经网络-最大池化的使用、神经网络-非线性激活、神经网络-线性层及其他层介绍、神经网络-搭建小实战和Sequential的使用、损失函数与反向传播、优化器、现有网络模型的使用及修改 和 网络模型的保存与读取
PyTorch深度学习入门笔记P7-14,包含 TensorBoard的使用、Transforms的使用、常见的Transforms、torchvision中的数据集使用 和 DataLoader的使用