基于多变量LSTM的工业传感器时序数据预测

引言

物联网、大数据、云计算［1］等新兴产业的发展极大地推动了工业自动化进程。工业生产过程中通过物联网汇总的各类传感器采集的大量信息构成了传感器大数据，这些数据都具备典型的时序数据特征，通过对这些时序数据的处理和预测可以有效地监督自动化生产过程、预防风险隐患和改进工业技术。

目前对工业传感器时序预测的研究方法主要分为2类。一类是基于统计学的经典模型［2］，如移动平均法、指数平滑法、ARIMA模型和状态空间模型等，由于统计模型过分依赖平稳性、稳定性等假设，对数据要求较高，通用性弱，因此不适用于工业用途。另一类是基于机器学习的预测模型，如KNN回归、SVM 回归［3］、BP 神经网络［4－5］和深度神经网络等。其中，KNN回归、SVM回归、BP神经网络结构简洁、性能稳定，但预测精度有所局限。随着云计算、大数据时代的到来，计算能力的提高和训练数据的大幅增加对深度学习提供了支持［6］，以循环神经网络（Recurrent Neural Network， RNN）［7］为代表的深度网络以其通用性强、预测精度高等优点逐渐成为时序预测的热门的研究方向。实际应用中传感器数据规律多与远距离时间数据有关，然而普通RNN随着循环进行发生的梯度爆炸或梯度弥散使模型只能学习到短周期的依赖关系［8］。为解决此问题，引入长短时记忆神经网络［9］（Long Short－Term Memory Neural Network， LSTM NN 或 LSTM）。LSTM的长短时记忆单元能够控制信息的累积速度，并在预测远距离依赖型时序数据上展现了优越的能力。考虑到同一工业设备平台的各类传感器数据之间往往具有很强的相关性，本文基于数据的横向信息（远距离相关性）和纵向信息（多变量相关性），提出了改进的基于多变量LSTM的工业传感器时序数据预测方法。该方法避免了统计学方法中数据假设的过分依赖性，对工业传感器时序预测具有通用性。

1 LSTM传感器时序预测

Connor等人［10］依据传统 RNN算法提出了基于鲁棒性滤波的RNN时序预测模型，以精简的训练方式实现了优于传统统计学时序分析方法的预测性能。但与传统RNN模型一样，该模型对输入配置要求高，并且由于对长期依赖型时序预测存在内部缺陷，因此该模型无法满足更高的精度需求。随着深度学习的发展，LSTM作为一种改进的RNN算法被提出，基于这种算法建立传感器时序预测模型，可以有效弥补普通RNN的缺陷。

1.1 工业传感器时序数据预处理

训练及测试数据为瑞典某公司机械装载传感器时序数据集，该数据集包括一个同步时间段内的压力、热力、电量等24个不同种类的传感器时序数据。数据采集的总时长为6天、时间间隔为1 min。总数据集共有24组、8 641条原生数据，其中包括3组标签数据和21组连续型数据。图1展示了其中4组传感器数据的可视化特征，横轴为时间索引，纵轴为样本值。由图1可知，数据具有明显的周期性，并且不同数据间的相关性也较为显著。考虑到其中油桶温度、排放过滤器压力及室外动力单元温度这3类数据对监督工业生产的正常运行尤为关键，实验模型将分别对这3类数据进行预测。

数据预处理包括数据清洗、标签数据One－hot编码及数据归一化。训练集为前4天的5 760条数据，测试集为余下的2 876条数据。

1.2 LSTM 模型

RNN使用带有自反馈的神经元，不断将自身上一刻的输出当作输入，能够学习任意长度的时序逻辑特征。然而RNN在训练后期，容易出现梯度弥散或梯度爆炸，亦即当时序间隔不断增大，这种神经网络无法学习到远距离信息。

图1 传感器时间序列数据的可视化特征
Fig.1 Visualization of sensor time series

研究中拟预测的传感器数据具有远距离依赖特性，为弥补普通RNN的缺陷，本文提出了基于LSTM模型来预测工业传感器数据。LSTM是循环神经网络的一个变体，由德国学者 Hochreiter和Schmidhuber于1997年提出。LSTM通过有针对性设计避免了长期依赖问题，在大量实验中证明了其优越性。不同于普通RNN的单一隐藏层，LSTM将信息存放在RNN正常信息流之外的控制单元中，即引入一个新的状态单元C，如图2所示，LSTM的设计核心是门限机制，包括输入门、遗忘门和输出门。对其功能设计可分述如下。

图2 长短时记忆神经网络设计核心与结构
Fig.2 The structure of LSTM NN

（1）输入门。作用是筛选新信息，数学模型如式（1）所示：

其中，it为t时刻输入门的输入，经过输入门后保留的成分为it⊗

（2）遗忘门。作用是确定丢弃信息，数学模型如式（2）所示：

其中，ft为遗忘门的门限，经过遗忘门后保留的成分为 ft ⊗ ct－1。

（3）输出门。决定最终输出和保留的信息，数学模型如式（3）所示：

其中，ct表示经过输入门和遗忘门后的状态C，ot为t时刻输出层的状态（即状态O），st为最终保留在隐层的成分（即状态S）。

1.3 多变量LSTM传感器预测模型

针对实际工业传感器数据的远距离相关性及不同传感器数据间多变量相关性特征，本文提出了改进的多变量LSTM传感器时序预测模型。该模型的网络结构包括3层：输入层、隐藏层和输出层。其中，输入层控制输入数据的格式；隐藏层是包含了若干LSTM单元的结构，通过反复迭代、调整权值来降低误差直至收敛。输出层将结果还原为原始数据格式，拓扑结构如图3所示。

图3 多变量LSTM拓扑结构图
Fig.3 The structure of multivariable LSTM

由图3可知，输入层将预处理后的工业传感器时序数据转为可用于监督学习的数据。选取T个时间步为间隔，以每个时刻前T个时间步的数据作为该时刻的输入，该时刻对应的样本值作为目标输出，将数据划分为输入集和相应的输出集。为了使输入数据包含多变量性，将24类传感器数据整合为3维数据：［样本值，时间步，特征］，接着以时间步为唯一索引输入到隐藏层中。

隐藏层数根据数据特征和实验结果灵活调整，本文数据具有较强的规律性，隐层数量过多容易导致过拟合，因此本文中的模型为单隐层结构。由公式（1）～（3）可知，门限激活函数 σ（·） 的选择是模型建立的关键，由于ReLU函数能减轻梯度弥散问题且计算速度较快，因此选其作为门限激活函数。过拟合是多变量多参数深度神经网络训练过程中的一个严重问题，本文在隐层加入Dropout［8］算法，核心是训练期间从神经网络中随机丢弃单元（及其连接），这种方法能够有效缓解过拟合问题。输出层对预测输出＾yi与目标输出yi计算平均绝对值误差（Mean absolute Error，MAE）作为损失函数，MAE 是平均误差幅度的明确度量，适用于大部分模型的平均误差比较［9］。隐藏层将损失函数计算得出的梯度反向传播调整公式中的所有权值，使用Adam算法为每一次迭代学习生成优化参数，直到损失函数收敛。模型训练结束后，输出层对结果进行反归一化等处理，将预测值还原为与输入相符的时序数据格式。

2 实验

实验分为模型训练与模型测试2部分，分别对油桶温度、排放过滤器压力及室外动力单元温度3组时序数据进行预测。输入数据的时间间隔T为5，模型训练的Epoch为50，Batch size为512。 使用相同数据集训练及测试单变量LSTM预测模型、BP神经网络、KNN回归及SVM回归作为对比实验。

2.1 实验环境

实验操作系统为 Ubuntu16.04，编程语言为python2.7，算法平台为Tensorflow；硬件配置为CPU Intel i7，内存 8 G。

2.2 实验结果

为了保证误差测量结果的有效性，实验使用RMSE （Root Mean Square Error，平方根误差）和MAPE（Mean Absolute Percent Error，平均绝对百分误差）作为预测精度评估标准，数学公式如下：

其中，yi和分别表示第i个样本的真实值和预测值，n是样本数量。RMAE和MAPE的值越小，说明预测结果越准确。

研究中得到5种模型对3组数据的预测结果比较可见表1。除单变量LSTM模型外，其它模型均为多变量输入。由比较结果可知，多变量LSTM在3组测试结果中RMSE值均为最低，2组测试结果中MAPE值最低，预测误差最小。实验中，KNN回归和SVM回归的训练速度最快，但预测结果误差较大。多变量LSTM的训练时间低于单变量LSTM，这是由于Dropout算法使多变量LSTM模型的网络节点复杂度降低，且ReLU激活函数计算速度快等原因。

表1 不同模型预测结果比较
Tab.1 Comparison of forecasting results

图4为4种模型对室外动力单元温度的预测值与实际值的比较结果（BP神经网络拟合度较差，不参与比较）。其中，红色为预测值，蓝色为实际值。明显可见，多变量LSTM的时序预测结果与实际数据拟合度最高，能更好地捕捉数据突发性变化。

图4 不同模型预测值与实际值拟合对比
Fig.4 Comparison of predicted and actual value fitting

3 结束语

本文提出了一种基于多变量分析的LSTM预测工业传感器时序数据的方法，该方法不但克服了传统机器学习方法的长期依赖问题，同时利用实际工业生产平台上多类传感器数据存在远距离依赖和相关的特点，有效提高了时序数据的预测精度。实验结果证明：该模型对工业传感器时序数据的预测能力优于BP神经网络、SVM回归、KNN回归及单变量LSTM模型。论文的未来工作将考虑通过扩大数据集，提高模型的泛化能力。