摘要：随着光伏电站智能化水平的不断提升，现有光伏智能监控系统可视化方法已无法满足实时性、并发的数据可视化需求。为此，文章探讨了实现智能化光伏电站的关键技术，并针对大数据的光伏数据可视化方法进行了分析与研究，提出了一种Kafka，Spark与WebSocket相结合的数据处理方法，可满足并发数据请求下光伏实时数据的可视化需求。利用该数据可视化方法，可监控光伏元件的运行状况，有利于光伏电站的智能化管理、提升发电效率、节省维护管理所需要的时间与人力成本。
关键词：光伏大数据；数据可视化；数据推送；智能化
引言
随着全球环境污染的加剧以及资源的不断锐减，发展新能源已经是一种不可避免的趋势。光伏发电因其资源用之不竭、清洁环保且不受地域限制，加之建设周期短等优点，在长期的能源战略中具有重要的地位。光伏电站的平稳运行，不仅仅需要各个光伏模块的正常运行，也需要各模块协调作业。
如何实时监控各个光伏模块的运行状态，以便运维人员及时作出维护、优化响应，从而保证光伏电站的正常运行，成为亟待解决的问题。传统光伏电站基于网络监控系统与人工运维相结合的设备管理与监控方式，对于设备故障的处理存在着一定的延时，且在数据并发量大的情况下无法保证数据传输的稳定性，影响系统监控管理的效率；其智能管理系统受限于既有的计算及处理能力，一般只能对光伏电站部分关键参数进行实时监控，无法对多个光伏电站所有采样参数进行实时监控及可视化展现。为此，本文提出了一种基于大数据的光伏智能管理系统，其采用基于大数据的光伏智能管理系统架构以及实时数据处理和存储方式，可实现光伏电站并发量数据的可视化展现。
光伏数据处理
该光伏智能管理系统的总体架构如图1所示。系统中，光伏电站的所有运行数据通过配套的4G无线路由器经安全可靠的IPsec隧道回传给大数据平台进行解析，并对光伏实时数据进行可视化处理，且支持处理的结果在台式机、笔记本电脑上或手机及Pad客户端展现。
图1 光伏智能管理系统总体架构
光伏数据可视化主要分为实时数据可视化与历史数据可视化。本文将从实时数据处理以及历史数据存储2个方面分别阐述可视化数据的收集和处理原理与过程。
实时数据处理
光伏数据可视化结果的完整性以及实时性很大程度上依赖于大数据平台接收到数据后处理数据的方式。传统的数据处理方式是光伏电站实时数据通过Socket通信将数据传回至服务器端，客户端以AJAX（异步JavaScript和XML）通信方式向服务器请求数据并在Web浏览器或者手机APP中进行可视化展示。这种方式不能及时处理客户端多并发、多连接情况，且容易造成数据的丢失，影响可视化数据的完整性与准确性；同时由于AJAX通信方式的原理是不断向服务器轮询新数据，当多客户端大批量请求数据时，会导致服务端的压力剧增，影响其服务性能。
本文所提出的光伏智能管理系统采取Kafka(性能跨语言分布式发布/订阅消息队列系统)、Spark(开源的类MapReduce的通用并行框架)和WebSocket(下一代客户端-服务器的异步通信)相结合的方式（图2）。为了防止客户端发生多并发、多连接情况，数据接入服务器时会将实时数据先写入支持快速持久化、吞吐、分布式的Kafka消息队列；从Kafka消息队列获取到实时数据后，为了加快数据预处理过程，采用可提供海量数据交互式查询的Spark分布式计算框架；为了避免客户端不断轮询服务器所产生的压力，采用WebSocket数据推送方式，所推送的数据将作为Web浏览器或手机APP客户端可视化数据源的实时数据。
图2 光伏智能管理系统实时数据处理流程
历史数据存储
对历史数据进行可视化操作的前提是获取历史数据源。考虑到后期光伏电站扩容及存储所有实时数据的需求问题，传统的Mysql数据库（关系型数据库）存储数据的方式已不能满足应用要求，为此该光伏智能管理系统采取Mysql与Hbase（非机构化数据库）相结合的方式进行数据存储，其数据存储流程如图3所示。
图3 数据存储流程
如图3所示，服务器端接收的光伏实时数据将全部存储至Hbase中进行备份和可靠性安全存储。针对非海量数据查询，Mysql的速度比Hbase的快，故光伏故障与统计数据将在Spark中计算后存储到Mysql数据库中；因数据查询速度会随存储容量的增加而降低，故本系统只在Mysql中存储近3个月的故障数据，更长时间段的历史数据则需在Hbase中进行查询操作。
为了便于历史数据的可视化，在Mysql数据库中存储了所有光伏电站的发电企业信息表、设备信息表、故障码表、电站元件拓扑结构表和用户信息表等相关静态信息表。
良好的数据存储方式将直接影响后期数据查询的速度和效率。对于所有数据在Hbase中的存储备份，该系统采取以光伏电站编号与时间戳相结合的方式生成每个Cell（数据存储单元）的RowKey（Hbase数据检索依据）值。
光伏数据可视化实现
所设计的光伏智能管理系统支持Web浏览器及手机APP客户端图表展现，并支持用户在图表中进行交互性操作以快速获取光伏电站各个元器件相互关联关系。
实时数据可视化
1.光伏电站关键信息实时数据可视化
系统运维人员可在Web浏览器端选择查看光伏电站关键信息请求，服务器端将新的实时数据通过WebSocket数据通信方式推送至对应前端页面并进行可视化图表绘制。其关键信息可视化数据处理流程如图4所示。
图4 关键信息可视化数据处理流程
光伏电站关键信息可视化效果如图5所示。通过该系统，运维人员可快速获取电站的日发电量、功率因数和发电效率等实时关键信息。
图5 关键信息可视化效果
2.光伏组件拓扑实时数据可视化
光伏电站各组件拓扑实时数据可视化实现过程如图6所示。
图6 光伏组件拓扑实时数据可视化过程
以某光伏电站的拓扑关系为例，在Web浏览器端获取的光伏组件拓扑实时数据可视化效果如图7所示。运维人员将鼠标移至所关心的拓扑元素上时，该元素的关键实时信息会以图表形式进行可视化展示；通过双击拓扑元素,可以获取该元素的所有实时变量信息值。当某个光伏组件发生故障时，其在拓扑图上所对应的元素将变成红色并闪烁，运维人员可通过双击该元素来获知故障发生的详情描述，并可作为故障处理的参考依据。
图7 光伏组件拓扑实时数据可视化效果
历史数据可视化
1.故障统计数据可视化
光伏电站历史故障统计数据对于针对性维护光伏元件正常工作有着重大意义，利用这些数据，运维人员可以集中各类资源与精力在频率故障上。故障统计可视化数据处理流程如图8所示，前端页面接收到服务端返回的结果后，可以将查询的结果以饼图、柱状图和折线图等方式进行多维度展示。
