Transformer解读(附pytorch代码)
Transformer中的attention采用的是多头的self-attention结构，并且在编码器中，由于不同的输入mask的部分不一样，因此在softmax之前采用了mask操作，并且解码时由于不能看到t时刻之后的数据，同样在解码器的第一个Multi-Head attention中采用了mask操作，但是二者是不同的。
详解Transformer （论文Attention Is All You Need）. 正如论文的题目所说的，Transformer中抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。
pipinstallpytorch-pretrained-bert 训练模型 接下来，我们需要训练一个神经网络模型，让它学会生成诗歌。这里我使用的是一个名为“GPT-2”的模型，它是由OpenAI开发的一种基于Transformer结构的语言模型。我们可以使用pytorch-pretrained-bert库中的GPT2LMHeadModel类来训练模型。
Hieros/S5WM和S5模型结合了DreamerV3和S5的特性，特别强调层次化的想象，而S5模型简化了状态空间层，专为序列建模优化。S5的PyTorch实现提供了Transformer、RNN和S4模型之间的比较，展示了结构化的状态空间在序列处理中的威力。
Transformer模型解析记录
Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的 Q， K， V矩阵通过输出进行线性变换得到。
transformer模型中缺少一种解释输入序列中单词顺序的方法，它跟序列模型还不不一样。
Transformer的总架构如下图所示：这是典型的Transformer结构，简单来说，Transformer = 预训练（input） + Encoder*N + 预训练（output） + Decoder*N+output。 模型的运行步骤为： ①对Input做Embedding，可以使用Word2Vec等工具，维度为512维，Embedding过后结合positional encoding，它记录了输入单词的位置信息。
Transformer作为另一种革命性的预训练模型，其核心在于自注意力机制，完全摒弃了RNN和CNN。Transformer的架构包括编码器和解码器，每个模块都包含自注意力层、前馈网络以及残差连接和层规范化，以提高计算效率和模型性能。特别是在处理序列数据时，它的并行性显著加快了训练速度。
Transformer原理及其应用
1、transformer 最早使用于NLP模型中，使用了 Self-Attention 机制。相较于RNN结构可以进行并行化训练，能够 拥有全局信息 。
2、变压器（Transformer）是利用电磁感应的原理来改变交流电压的装置，主要构件是初级线圈、次级线圈和铁芯（磁芯）。主要功能有：电压变换、电流变换、阻抗变换、隔离、稳压（磁饱和变压器）等。
3、其中接电源的绕组叫初级线圈，其余的绕组叫次级线圈。它可以变换交流电压、电流和阻抗。能量传递其实就是电磁原理，即一次侧输入电压激磁、电流，二次侧感应电压、电流（有负载），经过传递时会有消耗，这个消耗在无载时是空载损耗和涡流损耗，在负载时是前两项加负载损耗。
4、transformer是变压器 电力变压器是一种静止的电气设备，是用来将某一数值的交流电压（电流）变成频率相同的另一种或几种数值不同的电压（电流）的设备。
5、纵观图1整个Transformer的结构，其核心模块其实就是三个：Multi-Head attention、Feed Forward 以及 Add&Norm。这里关于Multi-Head attention部分只讲程序的实现，关于更多细节原理，请移至开头推荐的知乎链接。
6、Transformer 的重点是 Self-Attention 结构，其中用到的 Q， K， V矩阵通过输出进行线性变换得到。Transformer 中 Multi-Head Attention 中有多个 Self-Attention，可以捕获单词之间多种维度上的相关系数 attention score。
NLP预训练语言模型(三):逐步解析Transformer结构
Transformer的组成模块分为： Attention （包括multi-head self-Attention & context-Attention）， Normalization （使用的是layer Norm，区别于Batch Norm）， mask （padding mask & sequence mask）， positional encoding ， feed forword network （FFN）。
Multi-Head Attention就是把Scaled Dot-Product Attention的过程做h次，然后把输出 合起来。它的结构图如下 输出 合起来后乘以一个参数 矩阵联合训练 因为注意力模型不像RNN那样无视了各输入之间的距离，因此是无法捕捉到序列顺序信息的，例如将K、V按行进行打乱，Attention之后的结果是一样的。
预训练模型是深度学习中的一项关键技术，它通过在海量数据上无监督或弱监督学习，先获取语言知识的精髓，然后针对特定任务进行微调，以提升模型的适应性。BERT，凭借其Masked Language Model（MLM）和Next Sentence Prediction（NSP）预训练策略，广泛应用于文本分类、阅读理解等多样化的下游任务。
自回归与自编码的较量：GPT与BERT GPT，OpenAI的自回归语言模型，以其生成能力见长，单向处理使得信息流动受限，适用于文本生成任务。 BERT，Google的杰作，双向处理技术使得它能捕捉上下文，但Mask标记的使用影响了预训练和Fine-tuning的效率。
标签： #transformer模型代码
