《信息通信技术》是中国联合网络通信集团有限公司主管、主办的国内外公开发行的中英文科技期刊（CN11-5650/TN，-1285)，2007年12月正式创刊。本刊旨在反映国内外信息通信技术最新研究成果，提供信息通信技术交流平台，推广先进信息通信业务和应用，为我国建设信息社会和创新型国家服务。

【作者姓名】虞 骅1  胡光宇2  于 佳2

【作者单位】1 江苏省电力有限公司连云港供电分公司  2 南瑞集团有限公司(国网电力科学研究院有限公司)

【摘要】针对设备状态巡检业务应用对图像的智能化程度、可靠性、可用性等需求提出更高要求的情况，提出基于深度学习的电力设备状态检测方案。方案基于异构平台的多类电力设备的状态检测及效率提升技术，实现典型电力设备状态的高效识别，通过低功耗电力设备状态图像采集及分析装置，为应用提供多种形态检测方式，实现多类电力设备的状态检测。此方案改善了电力设备巡检模式，提升了设备状态管控力和运检决策水平，加快了管理决策速度，进一步提升了电力生产管理水平。

【关键词】深度学习；对象分类；设备检测；神经网络；状态分析

引言

电力生产的安全、稳定、高效运行关乎国计民生，对电力工业的持续健康发展具有重大意义，也是整个行业常抓不懈的根本任务[1]。电力设备状态检测是电力公司日常的重点工作，为保证电力设备的正常运行，需要指定严格的巡检计划，分派人员对变电站、输电线路进行巡视，以便及时发现隐患和故障，并把设备的运行情况以及缺陷信息进行汇总和定期的分析统计，人员工作强度大、工作任务重[2]。

在电力设备状态监测方面，应用较早和较普遍的地区主要是北美和欧洲，起始于20世纪60年代至70年代，到20世纪80年代至90年代，随着传感器、计算机等技术的发展和应用，电力设备的状态监测和故障诊断技术才得到迅速发展。我国电力系统设备状态监测科研工作也始于20世纪70年代，起步并不晚。但由于当时技术不完善，测量结果分散性大，加上操作复杂和误报等原因，使该技术没有得到大力推广。随着大容量、高电压等级电气设备的迅速增加，一些设备的故障率偏高，使状态监测和故障诊断技术的开发更加迫切。近十年来，国内已经研制成功很多传感器和监测装置，也取得了较好的成果。国外企业电力设备在线监测传感技术、监测装置的集成性等方面要优于国内，但都是离散的、单一的针对单个设备进行监测研究。

设备巡检过程中产生了大量视频图像数据，巡检人员能够通过视频图像了解现场情况、设备运行情况等，从而为日常工作、应急处理、事故分析等工作提供直观的辅助决策依据。但是，随着图像处理技术的不断深入研究，设备状态巡检业务应用对图像的智能化程度、可靠性、可用性等需求提出了更高的要求。本文针对这些问题，提出了基于深度学习的电力设备状态检测方案。

1 系统架构

系统分层结构包括数据采集层、数据接入层、服务支撑层和应用展现层，如图1所示。数据采集层包括机器人、无人机、监控摄像机、智能手机、PDA、Pad、单兵设备、电力设备状态图像采集装置等巡检采集设备，为上层提供巡检数据；数据接入层包括盒子、电力设备状态图像分析装置，提供安全防护、灵活接入和数据分析能力；服务支撑层为各项功能提供技术支撑服务，包括应用服务、网管服务、控制服务、视频大数据智能分析服务；应用展现层根据各业务的需求实现功能应用，提供B/S应用客户端和APP应用客户端满足不同用户对不同使用场景的使用需要。

总体应用功能架构由前端应用功能、支撑服务功能、系统应用功能三大部分构成，如图2所示，前端应用功能包括电力设备状态图像采集和分析功能；支撑服务功能包括控制服务、网管服务、视频大数据图像分析服务，向电力设备状态监测应用提供统一服务；系统应用功能包括智能分析管理、视图库管理、应用、APP应用，实现对视频图像信息的可看、可管、可控。

系统应用功能架构由前端应用功能、支撑服务功能、系统应用功能三大部分构成。前端应用功能包括电力设备状态图像采集和分析功能；支撑服务功能包括控制服务、网管服务、视频大数据图像分析服务，向电力设备状态监测应用提供统一服务；系统应用功能包括智能分析管理、视图库管理、APP应用。该系统架构实现对视频图像信息的可看、可管、可控。

2 深度学习多特征融合的对象分类模型研究

本文研究不同电力场景中对象的有效特征类型，包括颜色特征、纹理特征、形状特征等，建立各类电力对象的多特征样本库；研究电力设备颜色特征、纹理特征、形状特征及深度学习网络特征的多特征融合方法，构建多特征融合的权重矩阵；基于深度学习方法，提取、建立多层神经元网络，形成属性分类和分割网络模型，通过输入与输出之间的非线性关系，组合低层特征，形成高层的数据抽象表示属性类别或特征，提取数据的分布式特征，以表示数据的分布结构电力专题论文，从而实现大量视频图像数据结构化描述，完成对电力设备视频图像的分类模型构建。

图像融合技术根据融合处理所处的阶段不同，可以分为3个层次：像素层面的图像融合、特征层面的图像融合以及决策层面的图像融合。像素级融合的对象一般是原始数据，通过信息的互补，最大限度地利用原始数据；特征级融合通过特征信息如边缘、纹理、相似亮度等特征数据进行几何关联、目标识别以及特征提取。特征级融合便于信息实时处理和压缩，剔除冗余信息的同时使各个单一特征信息进行互补，多特征图像融合流程如图3所示。特征融合可以去掉对分类决策无用的冗余信息，最大限度地保留各个特征的有效判别信息，进而为分类器的分类决策提供依据。图像的特征处理分为单特征处理和多特征融合两个方面。

全局特征和局部特征是图像分类中特征的主要存在形式[4]。图像的整体特性如结构、颜色和纹理等是图像的全局特征；局部特征则代表图像的局部信息如光照、灰度等。由于图像分类的精确度取决于特征的提取，但底层特征描述图像的能力比较弱，分类效果较差。因此，通过多特征融合来描述图像，实现信息互补和冗余信息的剔除，进而提高图像分类效果。特征融合实现的方法主要有并行融合方法和串行融合方法。具体算法为：将三个特征向量以一定的运算法则进行合并，最终生成一个新的特征向量。

3 基于异构硬件平台的多类电力设备状态检测及效率提升技术

3.1 电力传输线检测

采用图像灰度化，图像增强、去噪、锐化、阈值分割、形态学和边缘提取等算法[5]，提取绝缘子串的形状特征，再基于像素点分类方法，对同类像素点拟合，实现对传输线的检测。电力传输线检测如图4所示。

实现典型电力设备状态的高效识别，采用基于图像处理的电网传输线检测方法，如图5所示，步骤如下。

步骤一：读入直升机、无人机、机器人、固定摄像机等智能设备巡检过程中产生的关于电网传输线的图像。

步骤二：将输入的图片灰度化处理，即将采集到的24位真彩色图像转化为8位灰度图，得到灰度图像。

步骤三：利用高斯算子对灰度化图像进行高斯模糊去噪，将高斯分布权值矩阵与原始图像矩阵做卷积运算，减少图像噪声平滑图像。

步骤四：对平滑后的图像进行算术运算，将图像整体像素值降低，便于后续进行线性变换。

步骤五：对算数运算后的图像进行灰度线性变换，增强图像的对比度，扩大传输线和背景之间的差值，这有利于提升边缘检测的效果。

3.2 安全帽、红马甲检测

在基建场景下，安全员负责现场的安全管理，对于整个建筑项目的完成起着至关重要的作用，安全员若不在现场，整个项目就存在巨大的安全隐患。利用安全员身着红色马甲、戴安全帽这一明显特征，我们可以利用计算机视觉检测技术，通过确定红色马甲位置来检测安全员是否在工作现场，步骤如图6所示。

对采集的训练图像行预处理的步骤如下。

步骤一：利用摄像头采集多个不同场景下的安全员。

步骤二：筛去上述图像中受环境因素影响较大的部分，保留安全员红色马甲特征较为明显的图片。

步骤三：人工的框出行人以及红色马甲的位置，并为其边界框打上标签。

在深度学习方案中，将神经网络的53个卷积层在数据集上进行预训练，得到这些卷积层之间的权重，用于提取图片的特征[7]。

将训练图片输入神经网络，经过卷积层提取特征之后通过全连接层进行分类，根据损失函数算出预测值与真实值之间的损失，通过反向传播算法调整神经网络各个隐层的权重，当损失值下降到一定的阈值时，停止训练，得到最终的神经网络。

具体的损失函数如式(1)。

I表示边界框中是否包含物体，其含义如式(2)。

公式(1)中第一项代表坐标的误差，第二项代表边界框宽和高的误差，第三项代表边界框包含物体时的置信度误差，第四项代表边界框不包含物体时的置信度误差，第五项代表格子中包含物体的类别误差。神经网络训练阶段示意图和安全员实时监测阶段示意图如图7和图8所示。

本文采用HSV颜色空间来判决行人所穿马甲的颜色，步骤如下。

步骤一：由上述神经网络得出行人的位置以及马甲的位置，选取出马甲位置在行人边界框中的马甲。

步骤二：设置合理的阈值，将RGB颜色空间转化

为HSV颜色空间。

步骤三：对所得HSV图像进行二值化处理，后进行闭运算。

步骤四：计算白色像素占边界框中所有像素的比值，确定马甲的颜色。

3.3 大型车辆、船只检测

车辆船只的检测采用深度神经网络来实现，首先，采集传输电线周围的大型车辆以及船只的图片，对大型车辆以及船只进行标注，建立各类车辆、船只、输电线路、杆塔的形状特征库。大型车辆和船只检测如图9所示。

采集的训练图像的预处理的步骤如下。

步骤一：利用摄像头采集多个不同场景下的大型车辆以及船只。

步骤二：筛去上述图像中受环境因素影响较大的部分，保留特征较为明显的图片。

步骤三：人工标注出大型车辆以及船只的位置，并为其边界框打上标签。

在深度学习方案中，将神经网络的53个卷积层在数据集上进行预训练，得到这些卷积层之间的权重电力专题论文，用于提取图片的特征[8]。

将训练图片输入神经网络，经过卷积层提取特征之后通过全连接层进行分类，根据损失函数算出预测值与真实值之间的损失，通过反向传播算法调整神经网络各个隐层的权重，当损失值下降到一定的阈值时，停止训练，得到最终的神经网络。神经网络的训练流程如图10所示。

通过训练所得的神经网络，可以检测出画面中是否含有大型车辆以及船只，检测流程如图11所示。

将图片输入网络，网络输出被检测物体的位置信息以及类别信息。利用检测出物体的相对大小，可以预估出大型车辆以及船只距离传输电线的距离，设定一定的阈值，当预估出的距离小于阈值时，系统发出报警，从而避免它们与传输电线刮擦而引起的事故。

4 低功耗电力设备状态图像采集及分析装置关键技术

本文采用的电力设备状态图像采集装置形态为高清网络球机，按功能模块划分包括：机芯、音视频、云台、系统集成、存储管理、硬件SPI加密、视频智能分析、CS/BS客户端、辅助应用、协议接入十大模块，模块设计框图如图12所示。

电力设备状态图像分析装置搭载CPU和GPU异构硬件平台，分析装置提供WEB客户端，具有系统配置、接入设备配置、配置检测任务、统计和查看检测结果等功能。装置支持多厂商监控摄像机视频图像接入分析，支持用户监控摄像机、机器人、无人机等多来源视频图像的导入和分析，其电力设备状态分析功能包括刀闸分合状态检测、屏柜开关状态巡检、表计读数检测、红外测温检测、输电线路树障检测、输电线路大型车船靠近检测、输电线路异物悬挂检测、螺栓闭口销缺失检测、绝缘子掉片检测，模块设计框图如图13所示。

5 电力设备状态检测和应急处置中的示范应用

针对运维检修工作需要，本文在技术研究基础上，依托统一视频监控平台，实现电力设备状态图像采集装置、电力设备状态图像分析装置、音视频远程盒子的示范应用，达到设备状态自动监视、突发事件应急处置、疑难问题远程交流、历史问题研判分析的目标。

如图14所示，系统部署架构主要包括主站侧及站端侧。主站侧部署视频监控平台，平台新增大数据存储与分析服务集群，包括管理节点服务和计算节点服务，基于大数据框架和深度学习技术，实现分类模型的训练算法、对象分类算法和设备状态分析算法，以保证各算法在后端服务中运行的高效性，实现对下载和导入的历史视频图像的分析。平台执行分析任务，发现设备状态异常时，历史分析将以任务结果形式查阅；平台新增网关服务、控制服务、部署盒子，从而实现视频平台资源与远程进行整合，用户可以灵活接入会场音视频信号，与远程移动终端进行会话，并调用查看平台监控视频、应急处置等业务应用中提供大量现场监控图像，服务于业务指挥。

站端侧移动终端安装远程软件实现与会场的远程视频；部署电力设备状态图像采集及分析装置，以满足多种场景的应用，一旦发生设备状态问题将立刻向平台推送告警信息，启动远程查看、现场核实、远程会诊等预案。电力设备状态图像分析装置，实现对前端电力设备状态图像的实时监视，发现设备状态异常时，将向后台推送告警信息。

6 结论

本文研究的电力设备状态图像采集及分析装置等成果将直接应用到电力设备状态检测和应急处置中，实现对输电线路、变电站等典型场景下的电力设备状态的准确监控，保障电力设备正常运转，保障电网安全运行，提高供电可靠性；同时可以改善电力设备巡检模式，提升设备状态管控力和运检决策水平，加快管理决策速度，进一步提升电力生产管理水平。计算机视觉、机器学习是实践性很强的学科，来自电力生产一线的视频数据是检验算法有效性的最好试金石，同时也为提升算法性能、算法改进和算法创新提供了契机，对相关通用技术的发展进步产生推进作用，并可为类似应用提供借鉴和启发。

参考文献

[1] 肖行诠,李富祥.视频监控系统平台互联互通的建设思路[J].电力系统通信,2010,31(213):30-35

[2] 崔燕明,刘孝先,马超,等.电网视频监控系统及接口技术标准[J].电力系统自动化,2010,34(20):13 -16

[3] 臧晓春.一种基于图像处理和神经网络的变电站关键设备红外检测方法[D].广州:华南理工大学,2018

[4] 陈祥光.浅谈人工神经网络技术[J].电力设备,2004(2):78-79

[5] 张宇峰.基于图像处理及BP神经网络的火灾识别方法[J].数码设计,2017(8):22-23

[6] 冯振新,许晓路,周东国,等.基于Canny算子的简化PCNN电力故障区域提取方法[J].红外技术,2019(7):634-639

[7] 董彦军,刘平,辛锐,等.基于退火算法优化的BP神经网络的电力通信网业务可靠性评价[J].微型电脑应用,2019,35(5):114-116

[8] 邵伟平,王兴,曹昭睿,等.基于与的轻量化卷积神经网络设计[J]. 计算机应用, 2020,40(S1):8-13

【作者简介】

虞 骅：高级工程师，从事电力通信方面的研究工作。

胡光宇：工程师，从事电力通信方面的研究工作。

于 佳：高级工程师，从事电力通信和无线通信方面的研究工作。

相关热词 : 电力专题论文 北欧风格室内设