Transformer解读(附pytorch代码)
1、torch.nn.Transformer是PyTorch中实现Transformer模型的类，其设计基于论文Attention is All You Need。本文尝试从官方文档和代码示例入手，解析torch.nn.Transformer源码。
2、深入理解Transformer的原理和实现，有助于在PyTorch平台上进行深度学习模型的开发和预训练。相关资源包括【1】大规模语言模型实践，【2】动手学深度学习教程，以及【3】Google Colab Notebook。有兴趣的读者可以进一步探索这些参考资料，了解更多细节。
3、Transformer中的attention采用的是多头的self-attention结构，并且在编码器中，由于不同的输入mask的部分不一样，因此在softmax之前采用了mask操作，并且解码时由于不能看到t时刻之后的数据，同样在解码器的第一个Multi-Head attention中采用了mask操作，但是二者是不同的。
基于征程5芯片的Transformer量化部署实践与经验
1、在这一讲中，地平线工具链核心开发者杨志刚以《基于征程5芯片的Transformer量化部署实践与经验》为主题进行了直播讲解。
2、征程5芯片 获得top10中国车企定点 地平线一共是两个系列的芯片，征程系列和旭日系列。征程系列的芯片核心聚焦在自动驾驶领域，目前我们也是迭代了三代车规级智能驾驶芯片。
3、”日前，在地平线征程5首发NOA试驾会，地平线副总裁&软件平台产品线总裁余轶南博士说到，征程5的高效计算刷新了国产NOA的体验，在当天的高速NOA功能体验中，地平线征程5展示了国产车规级智能驾驶芯片的实力。
4、在上个月，基于地平线征程5的理想AD Pro，正式完成了高速NOA的推送。也就是说，没有搭载激光雷达的理想L8，也可以拥有高速区间的领航式驾驶辅助功能。需要特别注意的是，理想L8搭载的是一个国产芯片，而且只有一颗。如今“高速NOA功能已经是标配，城市NOA已经开始推送。
5、地平线征程5芯片是基于最新第三代BPU贝叶斯架构设计的，可以高效地支持Transformer的计算，在Swin Transformer、DETR等算法上，计算效率都很高。截至2022年底，地平线已连接软硬件TierODM、IDH、芯片、图商、传感器等上下游产业伙伴100余家，围绕征程芯片形成了国内最繁荣的软硬件生态阵容。
Transformer模型解析记录
1、Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的 Q， K， V矩阵通过输出进行线性变换得到。
2、首先，让我们从宏观视角理解Transformer模型。它主要由编码器（Encoder）和解码器（Decoder）两大部分构成，二者通过自注意力机制和前馈神经网络相互连接。编码器由多个相同的编码器层堆叠而成，而解码器同样由多层组成，结构与编码器相似但并不共享参数。每个编码器层都包含自注意力和前馈神经网络两个子层。
3、本文解析了Google Brain研发的Switch Transformer，一个将语言模型参数量扩展至6万亿的高效稀疏架构，其在资源不变的情况下，训练速度比T5快4-7倍。本文从MoE的选择、网络结构设计、训练技巧和讨论四个方面进行剖析： 为什么MoEMoE通过为不同输入选择性激活参数，避免了参数量增大导致的计算资源浪费。
【论文解读之多模态情感分析系列】——ALMT
1、模态：图像+文本+音频 论文动机：将文本信息指导图像与音频模态，通过文本与图像、音频的注意力聚合，删除冗余信息。已通过映射将模态信息整合到低维向量，减少与情感无关信息的影响，降低参数量。
解读两篇最新多元时间序列预测工作
首先，论文1以时间序列注意力Transformer为核心，通过经验模态分解（SMD）将多变量序列分解为周期性和趋势项，构建出变量间的图结构。每个变量作为图中的节点，节点特征由IMF周期序列组成，边特征则是通过计算IMF的相似度来表示变量间的关联。通过改进的Transformer模型，整合节点信息、边关系和图结构，进行预测。
本文提出了一种新颖的时间模式注意力机制，通过一组滤波器提取时间不变特性的模式，类似于将时间序列数据转换为“频域”。以此为基础，我们构建了一个新机制，选择相关时间序列，利用其频域信息进行多元预测。将该模型应用于实际任务，结果表现卓越，仅在少数任务中略逊一筹。
AAAI 2024将于2024年2月22日至25日在加拿大温哥华举行。本文总结了2024 AAAI上有关时空数据（spatial-temporal）和时序数据（time series）的相关论文，包括交通预测、轨迹表示学习、信控优化、时间序列预测、分类、异常检测、因果发现等工作。
首先，多元时间序列是指多个变量随时间而发展的一种数据类型。这些数据通常以时间序列的形式被记录下来，并被用来预测未来的趋势和变化。多元时间序列在许多领域中都有应用，如经济学、气象学、股票市场等等。其次，多元时间序列分析是一种复杂的技术，需要深入了解理论和实践。
多元时间序列分析（VAR）是一种统计方法，用于处理多个时间序列数据，关注它们的自相关性、同期相关性和不同期相关性。在VAR模型中，数据集由多个时间序列组成，如GDP、GNP和通胀率等。
在2022年，时间序列预测中的transformers的衰落和时间序列嵌入方法的兴起得到了广泛关注。此外，异常检测、分类等领域也取得了显著进步。
PyTorch中torch.nn.Transformer的源码解读(自顶向下视角)
torch.nn.Transformer是PyTorch中实现Transformer模型的类，其设计基于论文Attention is All You Need。本文尝试从官方文档和代码示例入手，解析torch.nn.Transformer源码。
nn.Module是PyTorch中最核心和基础的结构，它是操作符/损失函数的基类，同时也是组成各种网络结构的基类（实际上是由多个module组合而成的一个module）。在Python侧，1回调函数注册，2 module类定义中，有以下几个重点函数：重点函数一：将模型的参数移动到CUDA上，内部会遍历其子module。
Pytorch笔记03深入探讨torch.nn.Modules及其拓展：当我们已经熟悉了torch.nn的基本功能，如快速构建常见的深度学习层，如卷积层，但有时需要自定义网络结构以实现更高的灵活性。此时，torch.nn.Modules的作用就尤为重要。本节将详细阐述如何通过继承torch.nn.Modules类来扩展和创建自定义网络层。
标签： #transformer论文解读
