基于Conv-Attention-MLP 的新能源汽车电池
异常检测方法
陈旭东 何宏*
周焱平
湖南工程学院计算机与通信学院 湖南湘潭 411104
摘
要： 在新能源汽车电池异常信号的检测方面，针对传统异常检测方法对多个维度电池数据检测精度低、泛
化性差等问题，提出一种融合了卷积（Conv ）、自注意力机制（Attention ）和多层感知机（Multilayer Perceptron ，MLP ）的Conv-Attention-MLP 深度神经网络方法。该方法首先对多个维度的时序数据使用特征卷积进行降维，再利用多头自注意力机制（MultiHead-Self-Attention ，MSA ）对数据的时间不同步以及数据逻辑之间的重建模，最后经过多层感知机（MLP ）的连续线性映射与非线性运算，产生复杂的分
段映射，以达到更好的拟合效果。实现了对多个维度电池数据的有效检测，提高了模型对于多样化数据的准确性和稳健性。实验结果表明：相较于传统异常检测方法，在vloongs 数据集上Conv-Attention-MLP 模型表现效果更加优越，展现出更高精度和更强的鲁棒性。
关键词： 深度学习 异常检测 自注意力机制 模型融合中图分类号： U472;TP274
文献标识码： A
文章编号： 1672-3791(2024)04-0098-05
The Anomaly Detection Method for New Energy Vehicle Batteries
Based on Conv-Attention-MLP
CHEN Xudong HE Hong *
ZHOU Yanping
College of Computer and Communication, Hunan Institute of Engineering, Xiangtan, Hunan Province, 411104
China
Abstract: I n terms of the detection of abnormal signals in new energy vehicle batteries, in order to solve the issues that traditional anomaly detection methods have low accuracy and poor generalization in the detection of multi-dimensional battery data, this paper proposes a Conv-Attention-MLP deep neural network method which inte⁃grates convolution (Conv), the self-attention mechanism (Attention) and the multilayer perceptron (MLP). The method first uses feature convolution to reduce the dimensionality of multidimensional time-series data, then uses the multihead self-attention (MSA) mechanism to recmodel the asynchrony of data time and the interrelationships among data logic, and finally uses the continuous linear mapping and non-linear operation of the multilayer percep⁃tron (MLP) to generate complex piecewise mapping, so as to achieve better fitting results, which realizes the effec⁃tive detection of multiple-dimensional battery data, and enhances the model's accuracy and robustness for diverse data. Experimental results demonstrate that
compared to traditional anomaly detection methods, the the Conv-Attention-MLP model has better performance on the vloongs dataset, showcasing higher precision and stronger ro⁃bustness.
DOI： 10.16661/jki.1672-3791.2311-5042-1602
基金项目： 国家大学生创新创业训练项目（项目编号：S202311342013）。作者简介： 陈旭东（2002—），男，本科，研究方向为深度学习、计算机视觉。 周焱平（2001—），男，本科，研究方向为深度学习、机器学习。通信作者： 何宏（1971—），男，硕士，教授，研究方向为人工智能、
云计算、数据挖掘。E-mail：***************。
Key Words: Deep learning; Anomaly detection; Self-attention mechanism; Model merging
锂电池因高能量密度、轻便、低自放电率等优势，广泛应用于汽车行业，但锂电池在特殊情况下可能发生热失控，危及驾驶人员。目前，新能源汽车电池异常检测算法主要分为两类：无监督学习算法如聚类算法可处理多维特征［1］，但缺乏实时监测能力；神经网络算法如LSTM在处理时序性数据方面表现优异［2］，但存在梯度消失和梯度爆炸问题。结合两者的新算法，如
VAE-LSTM-DTW［3］，能有效判断异常，但仍缺乏实时性和边缘部署的效率。
近年来，计算机视觉方面的不断发展，对图像处理主要采用卷积神经网络，卷积层使得模型拥有强大的建模能力。Transformer是一种革命性的深度学习模型，其中的自注意力机制（Self-Attention）使模型能够在处理序列对不同位置的信息进行加权［4］。例如：徐浩森等人［5］提出的基于自注意力机制的卷积循环网络语音降噪；张伟雄等人［6］提出的时序自注意力机制对遥感数据时间序列分类。本文在传统Self-Attention网络的基础上，设计出一种融合了卷积、自注意力机制和多层感知器的Conv-Attention-MLP深度神经网络方法，相较于单一方法模型有以下优势：（1）卷积层将有效捕捉时间序列中的局部特征和模式；（2）自注意力机制能够提取电池数据的上下文信息，增强模型的全局建模能力；（3）多层感知器引入了非线性映射，对特征进行更高级别的抽象，有助于学习更复杂的数据表示。
1 模型与原理
Conv-Attention-MLP模型，可分为三部分，具体如图1所示。
卷积部分由三层卷积构成，使n个单维特征数据通过等长卷积核进行卷积，将数据降维，提取来自不同特征的一维数据关键性特征。卷积计算能够有效地挖掘时序数据的相关性，通过卷积中的归纳偏置能力提取时序数据中的局部关联特征。此方法可取代一般异常检测模型中直接堆叠线性层的做法，有助于减少模型参数量，并提高推理速度。
本文在以pointwise（点级特征）为前提、基于重建的电池异常检测任务中提出一种网络模型结构。通过结合自注意力机制，在序列重建过程中构建一层掩码，以增强模型对电池时序数据中异常点处上下文语义信息的表征能力。减轻异常检测任务中正常模式对异常模式的主导，增加模型对电车异常数据的全局建模能力，提升模型精度。
多层感知机（Multilayer Perceptron，MLP）能够通过多层的非线性变换学习到更复杂的数据表示，并在各种任务中表现出强大的建模能力和适应性。使得模型对被控对象的系统参数变化和外界的干扰具有很好的鲁棒性，能够处理复杂的多输入、多输出非线性系统。
1.1 多个维度特征卷积
卷积层是深度学习中的一种关键层次，一般用于计算机视觉以及图像处理任务，对输入二维数据进行特征提取。本文所描述的卷积结构如图2所示，与处理一维时序数据的卷积不同，第一层卷积针对n个电池特性数据，并考虑了来自m条不同行数据的相关性。这里的卷积核大小为m*n，在横向维度上应用了循环填充［m/2］*2行，以确保在卷积过程中数据长度保持不变。这一操作不仅降低了数据维度，减少了模型的复杂性和计算成本，同时也保留了数据的关联性和重要信息。后面两个卷积层所使用的卷积核都为1*1大小，最后将得到的多个维度数据合并为一个二维张量。
1.2 自注意力机制
近期的研究中，证实了自注意力机制在二维图像中表现优秀，能够有效计算不同像素之间的关联性。在时序数据中将数据转化为类似于图像的二维张量，通过自注意力机制处理图像的方式，
计算每个像素（或指二维张量中的元素）之间的关系。考虑到电池数据中，异常片段中必然存在时间上的某种联系，且不同数据之间也可能产生内在联系。本模型将电池多个维度的时序性数据经过卷积处理拼合成二维张量，通过注意力机制捕捉同一数据时间不同步以及不同的数据特
图1 模型基本结构
征之间的联系，提升了异常检测和特征提取的效果。本文中多头自注意力机制（MultiHead-Self-Attention ，MSA ）结构如图3所示，对输入数据进行处理，通过
（key ，query ，value ）三元组对全局信息进行有效捕捉，最终返回一个权重值。将输入特征分别乘以3个矩阵W Q 、W K 和W V （通过训练获得）得到Q 、K 、V 这3个矩
阵；Q 是query ，是输入的信息；K 和V 成组出现，通常是原始文本等已有的信息；引入一个num _heads 表示自
注意力机制有多少头，将Q 、K 、V 分别与矩阵W Q i 、
W K i 、W V i 相乘得到Q i 、K i 、V i （i ={1 2 num _heads }
），多头自注意力公式如（1）（2）所示。
h i =Attention (Q i K i V i )
=softmax
(Q i K i d K
i
)
V i （1）MSA =Concat (h 1 h 2 h mum -
heads))
W α
（2）
其中，公式（1）中d K 表示K 的维度，用于控制点积的尺度，以提高模型的稳定性和训练效果。公式（2）中
MSA 是多头自注意力机制（MultiHead Self-Attention ），Concat (·)用于连接两个或多个数组，W α是Concat (·)权重矩阵。Concat (·)操作会将多头自注意力的特征拼
合，但是不同的头在计算时经过了不同的线性变换，所产生不同子空间的特征。需要对多头特征进行融合，匹配特征子空间。1.3 多层感知机模块
MLP 是一种高度自适应的信息处理系统［7］
，具备
强大的并行处理能力。由连续的线性映射和非线性标量函数来执行，这些连续的映射和非线性运算匹配特征空间，产生复杂的分段映射，以达到更好的拟合效果。本文中的MLP 结构如图4所示，包括两层线性层，通过第一层隐藏层其权重为w h ，偏置为b h ，输入X ，（X ={x 1 x 2 x n }）
经过线性映射为Z =w h ´X +b h 。将中间结果输入非线性高斯误差激活函数（GeLU ）。
GeLU 是一个光滑的函数［
8-9］
，图形类似于S
形曲线，在
整个是实数范围内均有非零的梯度，在深度神经网络中不容易导致梯度消失问题，平滑性有助于更稳定的
图3 多头注意力机制模型结构
图4 MLP 层次结构
图2 卷积层结构与输出
梯度传播和更快地收敛。1.4 模型损失计算
交叉熵损失（Cross-Entropy Loss ）通常用于分类问题中，它衡量了模型的预测与实际标签之间的差异。在异常检测这样的二分类问题上，模型输出最后的预测结果只有两种情况，对于每个类别所得到的概率为p ，则有：
L ce (P Y )=1N ∑i =1
N
L (p i y i )
=1N ∑i =1
N -[
]
y i ×ln ()p i +()1-y i ×l n ()1-p i （3）
式（3）中：y i 表示样本i 的标签，正类为1，负类为
0，
p i 表示样本i 预测为正类的概率。本文采用Mixup 的方式对原始数据进行预处理，假设X 1是一个样本，Y 1是该样本对应的标签；X 2是另一个样本，Y 2是这样
本对应的标签。λ是由参数α β的贝塔分布计算出的混合系数，计算过程如公式（4）（5）所示。
λ=Beta (α β)
（4）X mix =λ×X 1+(1-λ)×X 2 （5）式（4）、式（5）中：
Beta (·)是指贝塔分布；X mix 是X 1和X 2混合后的样本。将混合后的X mix 输入模型进行前向传播，形式上给定一个已知参数的模型，用f s (·)表示x 到y 的映射，对混合后的X mix 有：
Y ^mix =f s (X mix ) （6）
Loss =λ×L ce
(Y
^
mix
Y 1)+(1-λ)×L ce (Y ^
mix Y 2)
（7）
式（7）中：Loss 为模型的整体损失，它是由模型前向传播出来的结果Y ^
mix ，与其两个混合样本的真实标签
之间的加权损失和；
λ表示前面的贝塔分布。2 模型训练与数据处理
2.1 数据获取与预处理
本文使用了昇科能源公司开源的新能源汽车电池信号数据集vloongs ，由28 389个训练样本和6 234个测试样本构成。每个训练样本为元组类型分为数据（data ）部分和元数据（metadata ），根据对数据集的特征分析，发现电池的正异常样本在元数据中里程特征上存在的一定联系如图5、图6所示。将特征整合，每一列数据包含9个维度特征（电压、电流、电池SOC 、最大单电压、最小单电压、最大温度，最小温度、时间戳以及里程数）。元数据包括数据标签（00表示正常、01表示异常），测试样本在元数据部分没有标签值。
数据的9个维度的特征分布很不均匀，结果容易呈现长尾分布。在数据的预处理方面，将特征缩放到0到1的范围，让数据归一化，这有助于确保各个特征对模型的权重贡献相对平衡。受限于训练样本数量较少，容易造成模型的过拟合，Mixup 引入了数据的随机
性，通过将两个不同的电池时序数据混合在一起，可以让模型学习到更一般化的特征，而不是记住训练数据的特定样本，从而降低了模型的过拟合风险，同时Mixup 可以增强样本之间的关联性，适应不同样本的变化差异。
实验配置如下：硬件方面CPU Intel Xeon （R ） Plati⁃num 8255C ，GPU RTX3080（10GB ），软件方面采用Ubuntu 18.04操作系统，Pytorch 深度学习框架，编程语言为Python 。2.2 评价指标
本文在分类模型性能采用精确度（Accuracy ，ACC ）作为评估指标。用来衡量模型在整个数据集上正确分类样本的比例。
ACC =TP +TN
TP +TN +FP +FN
（8）
式（8
）
中：TP 为正确分类的正类别样本数量；TN 为正确分类的负类别样本数量；FP 为将负类别样本错误分类为正类别的数量；FN 为将正类别样本错误分类为负类别的数量。
图6 异常汽车电池里程分布情况
图5 正常汽车电池里程分布情况
3 实验与验证
针对于本文所提出的Conv-Attention-MLP模型，进行了大量的实验，对比记录了模型在vloongs数据集上的实验结果。
3.1 模型层次设定
在模型的层次中所使用的激活函数、Dropout参数以及数据预处理都会影响模型的精度。模型激活函数有两处：一处在模型的卷积层部分；另一处在多层感知机（MLP）中，将模型激活函数设定为Sigmoid或者分别在卷积层和MLP中使用ReLU与GeLU。Dropout中的设定取值会直接影响模型的随机失活程度，良好的数据预处理则有助于提升模型的鲁棒性。如表1所示，模型在卷积层使用ReLU、MLP中使用GeLU作为激活函数、Dropout值设定为（0.2，0.2，0）模型的精度最高。
3.2 模型表现
为了使实验更有说服力，本文对比了4种融合模型在vloongs数据集下的验证集和测试集性能表现。这4
种对比模型分别是自编码器与多头自注意力机制模型（AutoEncoder-Multi-headed Self-attention，AE-MSA）、长短时记忆与自编码器融合模型（Long short-term
memory-AutoEncoder，LSTM-AE）、多头自注意力机制与多层感知机模型（MSA-MLP）以及融合卷积、自注意力机制与全连接层融合模型（Conv-MSA-FC）。上述4种模型与本文所提出的模型表现如表2所示，由此可知本文所提出的模型在相同的训练轮次下在Accuracy 有更好的表现，测试集精度达0.865 7。另外，在对比验证集和测试集后，发现本模型在验证集和测试集上的精度损失仅为0.013 7，远低于其他融合模型。由此可见，Conv-Attention-MLP模型不仅在精度方面表现出，其鲁棒性也高于其他模型。换句话说，本模型能更好地适应数据的变化。
4 结语
本研究提出了一种基于模型融合Conv-Attention-MLP网络，旨在对多个维度的新能源汽车电池数据进行检测。该方法在卷积层中采用多种卷积核对多个维度的电池数据降维，从而有效减轻了计算负担。在多头自注意力机制中，考虑了时间步之间以及数据逻辑之间的相互关系，以重新构建特征空间。同时，在多层感知机的线性映射与非线性计算过程中，产生复杂的分段映射，使特征拟合效果更加出。本研究在vloongs新能源汽车电池数据集上取得了令人瞩目的结果，Accuracy达到了86.57%。此外，Mixup数据预处理方式通过对训练数据进行混合，扩增了数据的多样性，从而有效缓解了数据不平衡和过拟合问
题。这种方法的引入使模型能够更好地应对真实世界中各种复杂的电池工作状态和环境变化。未来，将进一步探索并整合其他有效的数据处理技术，以进一步提升该方法在电池数据检测领域的应用性能。
参考文献
[1]马速良，武亦文，李建林，等.聚类分析架构下基于遗传
算法的电池异常数据检测方法[J].电网技术,2023,47
(2):859-867.
[2]孙洁，刘梦，刘晓悦，等.LSTM神经网络算法对锂电池
故障信号检测的研究[J].现代电子技术,2022,45(3): 73-77.
[3]郭铁峰，贺建军，申帅，等.基于动态规整与改进变分
自编码器的异常电池在线检测方法[J].电子与信息学报,2024,46(2):738-747.
[4]周丽娟，毛嘉宁.视觉Transformer识别任务研究综
述[J].中国图象图形学报,2023,28(10):2969-3003. [5]徐浩森，姜囡，齐志坤.基于注意力机制的卷积循环
网络语音降噪[J].科学技术与工程,2022,22(5):1950-1957.
[6]张伟雄，唐娉，张正.基于时序自注意力机制的遥感
数据时间序列分类[J].遥感学报,2023,27(8):1914-1924.
[7]方伟，江金光，谢东鹏.基于MLP神经网络改进组合
导航算法[J].计算机工程与设计,2021,42(1):65-69 [8]郝建红，范宗皓，王晖.基于ELU卷积神经网络的视
频烟雾检测[J].燕山大学学报,2020,44(4):397-402 [9]叶之骞，钟紫鹏，邓永聪，等.基于Mixup数据增强的
CNN-GRU深度学习电火花线切割放电状态识别[J].机械,2023,50(9):8-15.
表1 Conv-Attention-MLP模型层次设定表现
激活函数Sigmoid ReLU+GeLU ReLU+GeLU ReLU+GeLU ReLU+GeLU
Dropout
(0.5,0.3,0)
(0.5,0.3,0)
(0.5,0.3,0)
(0.1,0.1,0)
(0.2,0.2,0)
预处理
—
—
Mixup
新能源电池Mixup
Mixup
Test-Acc
0.787 3
0.808 8
0.834 1
0.830 3
0.865 7
表2 模型在vloongs数据集上Accuracy对比
Methods
AE-MSA LSTM-AE MSA-MLP Conv-MSA-FC
(our)Epoch
3 000
3 000
3 000
3 000
3 000
Val-Acc
0.630 1
0693 1
0.650 4
0.855 1
0.879 4
Test-Acc
0.601 7
0.640 7
0.499 8
0.824 8
0.865 7
发布评论