时间序列|自监督学习|综述
在当今的数据科学领域，时间序列分析正经历一场革命，自监督学习作为其中的璀璨明珠，正逐步揭示其在这一领域的无限潜力。自监督学习，作为无监督学习的精华分支，通过巧妙地设计预设任务，如视觉领域的掩码语言模型和图像重构，从海量未标记数据中挖掘出宝贵的监督信号，从而在视觉和语言处理中取得了显著成就。
时间序列模型的多元旅程- 经典模型：ARIMA的基石，捕捉趋势和季节性。- 监督学习：LSTM和XGBoost的崛起，非线性预测的有力工具。- 深度学习：如SARIMAX，结合自回归与外部变量的现代解决方案。 数据的语言- 时间序列数据：随着时间变化的测量变量，独立（如网站流量）与依赖（如天气预报）的区分。
时间序列是根据时间顺序，对各个观测记录进行排列的数据集合。时间序列数据广泛存在于生产实践和生活的各个领域，因此研究其背后隐藏的信息具有重要的意义。时间序列研究包括有监督学习算法、半监督学习算法和无监督学习算法。
Transformer原理及其应用
1、transformer 最早使用于NLP模型中，使用了 Self-Attention 机制。相较于RNN结构可以进行并行化训练，能够 拥有全局信息 。
2、变压器（Transformer）是一种静止电器，它通过线圈间的电磁感应，将一种电压等级的交流电能转换成同频率的另一种电压等级的交流电能。当交流电源电压U1加到一次绕组后，就有交流电流I1通过该绕组并在铁芯中产生交变磁通Φ。
3、输出变压器，其英文名称为Transformer，是一种核心设备，它基于电磁感应的原理来调整交流电压。这个设备主要由初级线圈、次级线圈和铁心（磁芯）构成。在电气设备和无线电路中，它扮演着至关重要的角色，如电压的升降、阻抗匹配以及提供必要的安全隔离。
4、原理简介 Satons变压器主要应用电磁感应原理来工作。
5、还促进了跨任务的模型泛化。总结来说，预训练模型如BERT、Subword Tokenization、ELMo和Transformer，都在深度学习的语义理解中扮演着关键角色。它们通过各自的优势和策略，为自然语言处理任务带来了显著的性能提升。深入理解这些预训练模型的原理、技巧和应用，无疑能为NLP实践者提供强大的工具。
6、差动变压器与一般变压器在概念、工作原理以及应用范围都有不同，具体区别如下。两者概念不同 变压器（Transformer）是利用电磁感应的原理来改变交流电压的装置，主要构件是初级线圈、次级线圈和铁芯（磁芯。主要功能有：电压变换、电流变换、阻抗变换、隔离、稳压（磁饱和变压器）等。
时序数据预测有哪些好方法?
1、朴素法最基础的预测方式是朴素法，y（t+1） = y（t），它简单地依赖于过去数据的最后一个值来估算未来。 简单平均进阶一步，我们有简单平均，通过历史所有值的平均值作为预测值，y_hat_avg = test.copy（） y_hat_avg[avg_forecast] = train[Count].mean（），为预测赋予稳健的基准。
2、定性预测：定性预测属于主观判断，它基于估计和评价。常见的定性预测方法包括：一般预测、市场调研法、小组讨论法、历史类比、德尔菲法等。时间序列分析：时间序列分析是建立在这样一个设定基础上的，与过去需求相关的历史数据可用于预测未来的需求。历史数据可能包含诸如趋势、季节、周期等因素。
3、指数平滑法即根用于中短期经济发展趋势预测，所有预测方法中，指数平滑是用得最多的一种。季节趋势预测法根据经济事物每年重复出现的周期性季节变动指数，预测其季节性变动趋势。市场寿命周期预测法，适用于对耐用消费品的预测。这种方法简单、直观、易于掌握。
4、在主窗口中用命令data y x。将数据导入Eviews中，excel的数据可以直接复制粘贴到group中。用最小二乘估计中的命令方式ls y c x，建立方程，在主窗口中输入ls y c x，点击enter键。 在上面的Equation窗口中选择forecast按钮， 弹出预测设置窗口。
5、时间序列分析常用的方法：趋势拟合法和平滑法。趋势拟合法就是把时间作为自变量，相应的序列观察值作为因变量，建立序列值随时间变化的回归模型的方法。包括线性拟合和非线性拟合。线性拟合的使用场合为长期趋势呈现出线形特征的场合。参数估计方法为最小二乘估计。
Transformer模型解析记录
1、Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的 Q， K， V矩阵通过输出进行线性变换得到。
2、transformer模型中缺少一种解释输入序列中单词顺序的方法，它跟序列模型还不不一样。
3、Transformer的总架构如下图所示：这是典型的Transformer结构，简单来说，Transformer = 预训练（input） + Encoder*N + 预训练（output） + Decoder*N+output。 模型的运行步骤为： ①对Input做Embedding，可以使用Word2Vec等工具，维度为512维，Embedding过后结合positional encoding，它记录了输入单词的位置信息。
4、Transformer作为另一种革命性的预训练模型，其核心在于自注意力机制，完全摒弃了RNN和CNN。Transformer的架构包括编码器和解码器，每个模块都包含自注意力层、前馈网络以及残差连接和层规范化，以提高计算效率和模型性能。特别是在处理序列数据时，它的并行性显著加快了训练速度。
5、旷视在ICCV2023的创新之作：CMT——跨模态Transformer详解 CMT，旷视团队在国际计算机视觉会议（ICCV）上发布的新论文，是Transformer架构在多模态数据融合领域的一次重要突破。作为PETR的后续发展，CMT通过巧妙地结合激光雷达数据，实现了对视觉和深度信息的高效整合，构建出一个简洁且性能卓越的模型。
6、由于Attention模型本身就可以看到全局的信息， Transformer实现了完全不依赖于RNN结构仅利用Attention机制，在其并行性和对全局信息的有效处理上获得了比之前更好的效果。纵观图1整个Transformer的结构，其核心模块其实就是三个：Multi-Head attention、Feed Forward 以及 Add&Norm。
时序预测的深度学习算法介绍
数据处理 在继续进行预测之前，重要的是首先以数学模型可以理解的形式处理数据。通过使用滑动窗口切出数据点，可以将时间序列数据转换为监督学习问题。然后，每个滑动窗口的预期输出是窗口结束后的时间步长。循环网络 循环网络一种复杂的深度学习网络。它们可以记住过去，因此是序列处理的首选。
自动驾驶：在自动驾驶系统中，深度学习SSD算法可以帮助车辆识别和跟踪其他车辆、行人、交通标志等物体，从而提高驾驶安全性。安防监控：在安防监控系统中，深度学习SSD算法可以帮助摄像头识别和跟踪人员、车辆等物体，从而提高监控效果。
深度学习时间序列预测在构建矩阵时需要在输入序列的每个时间步，LSTM网络都学习预测下一个时间步的值。时间序列预测一直以来是机器学习中的一个难题。要预测序列在将来时间步的值，需要将目标指定为将值移位了一个时间步的训练序列。预测变量是没有最终时间步的训练序列。
深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。区别于传统的浅层学习，深度学习的不同在于：（1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点。（2）明确了特征学习的重要性。
Long Short-Term Memory （LSTM） & Convolutional-Wide Recurrent Neural Network （CW-RNN）：LSTM以其强大的记忆功能处理序列数据，而CW-RNN则结合了卷积和宽时序结构，提高了模型的效率和预测精度。
transformer与cnn相比优缺点
1、总的来说，CNN家族的算法更适合处理有局限性的数据，而Transformer家族的算法更适合处理更加复杂的数据。
2、Bert中训练的是双向语言模型，应用了Transformer Encoder部分，不过在Encoder基础上还做了Masked操作； BERT Transformer 使用双向self-attention，而GPT Transformer 使用受限制的self-attention，其中每个token只能处理其左侧的上下文。
3、Transformer通常在自然语言处理和机器翻译等序列数据处理任务中得到广泛应用，而CNN则更多用于图像分类和识别等任务。
4、深度学习网络架构：CNN（卷积神经网络）： 全连接网络的繁琐性被CNN所减轻，通过局部连接和权重共享，深度学习挖掘出深层次的语义特征，显著降低了运算成本。RNN（循环神经网络）： 为处理变长序列信息而生，它弥补了前馈网络的不足，尤其是在语音识别和语言模型等领域展现卓越性能。
5、Transformer ，则是人工智能领域的热门算法，在智能驾驶场景中发挥出传统CNN算法所不能企及的感知能力，如拥有更高的图像识别能力、更灵活的泛化性能，且和CNN相比，可可实现多模态数据的处理。 不过，尖子生的作业不好抄。 国内诸多科技公司都在学习特斯拉的BEV+Transformer方案。但很多玩家都只学到皮毛，并没有掌握其精髓。
6、Transformer 在机器翻译任务上的表现超过了 RNN，CNN，只用 encoder-decoder 和 attention 机制就能达到很好的效果，最大的优点是可以高效地并行化。
标签： #transformer时序预测
