编者按：用电信息釆集系统是营销管理现代化的有力技术支撑，是营销实现精益化管理的有效手段，是提升优质服务水平的一项重大举措。国网长沙供电公司充分发挥人才密集、技术过硬、创新能力强、县公司基础好的优势，抓住机遇，用电信息釆集系统率先实现全履盖。本期以此专题，介绍了该公司在用电信息釆集系统建设和应用等方面的先进经验，供同行借鉴。

应用云计算的用电信息采集系统建设

国网长沙供电公司  石 彪　　柳 军  关永前

用电信息采集系统作为在电能计量中使用得较为成熟的专业服务系统，在宏观结构、通讯协议、进程控制和管理算法方面有一定的积累。但是，不管是面对电力网络用户本身，以平均每年增加700万智能计量终端的规模，还是拓展到互联能源网络的计量采集需求，系统都面临较大的挑战。

云计算作为当前领先的大数据存储、处理和分析运算技术，已经集中运用于输配供电系统和软件仿真方面。以当前用采系统的应用背景和面临的困难为出发点，结合云计算在能源互联网和大数据处理方面的优势，将云计算引入到用采系统的建设当中，可以探索新方法，突破当前用电采集系统深入应用的制约，并作为向其他能源网络计量采集延伸的技术杠杆。

1  用电信息采集系统现状

用电信息采集系统物理架构包括主站、通信信道和采集设备3部分；逻辑架构分为主站层、通信信道层和采集设备层3个层次。截止到目前，用电采集系统已经囊括了国家电网27个省级电力公司的1.82亿只智能电表，基本实现了“全覆盖、全采集、全费控”。随着用户用电端的智能化，计量仪表和其他需采集设备还在不断增加。面对海量化、多类别和共享性日益增强的系统大数据，用电采集系统面临的困境主要体现在：

（1）海量数据的入库、读取和分析处理速度缓慢。采集终端和监控设备剧增，导致数据入库和存储的压力剧增。现有的基于中小型机关数据库集群方案，受到传统关系数据库的制约，不能调动使用闲置的分布式资源，使得数据入库和存储速度缓慢，无法满足许多必须的规模性服务质量。同时，单一的数据结构，数据规模的扩充，在进行数据查询、系统运算和分析时，耗时量大，效率低。

（2）硬件设备的扩充，网路开销加大。开放能源网络建立后，能源路由器和其他多类兼容网络设备接入同步，会增加大量的通信服务器和采集前置机，数据漏采，不完整、差错性加大，网络地址转换连接池管理困难，采集网络开销加大。

（3）数据容灾备份预防困难。现有的数据库系统，难以保证出现单点故障后仍维持正常运行，从而降低了系统可靠性，而由于数据量的大幅增加，数据备份的速度以及备份数据的存储恢复都已出现困难。

2  云计算的技术特点

云计算模式主要体现在分布式、并行和效用计算，具有虚拟化、负载均衡、冗余热备份和网路化存储等特点。其按服务方式可分为公有云、私有云和混合云，用在大数据处理方面，有多进程服务、共享资源、按需付费、快速伸缩和网络面广的优势。

2.1　 存储管理

云计算中的存储内核为分布式文件系统，可进行并发读写操作，突破了传统分布式文件系统在存储容量和扩展性上的瓶颈，同时可提供良好的容错机制，大大提高了存储系统的可靠性。对于上层应用，云计算采用的分布式文件系统提供统一应用接口，可屏蔽底层系统的异构特性，能使上层应用透明地访问文件系统。目前已经使用的可靠分布式存储系统有GFS、HDFS、FastDFS和GPFS等。

2.2　 数据库管理

传统的关系型数据库，存在高并发读写速度慢、支撑容量有限、扩展困难、建设运维成本高等缺点。为弥补这些不足，云计算环境主要采用2种数据库：NoSQL数据库和NewSQL数据库。NoSQL 数据库主要采用键值对数据模型，可弱化数据之间的关联性，便于对数据的分布式存储、管理和并行处理，已经成型使用的包括Bigtable、Hbase和Redis等。NewSQL数据库是各种新型可扩展高性能数据库系统的统称，要求具有NoSQL的海量数据管理能力，又必须支持ACID规则和一般SQL检索。

2.3 　并行处理和调度机制

云计算在大数据应用领域广泛采用分布式并行计算技术，其主要包括 Hadhoop、Spark 和Storm 三大系统。Hadhoop是 MapReduce并行计算框架的开源实现，主要用于离线大数据的并行处理，基于磁盘存储，用于任务执行起始阶段，要执行大量磁盘IO操作。Spark是基于内存计算的批处理系统，采用可恢复分布式数据集转换方法，在离线数据处理时，计算效率比 Hadhoop更高。Storm主要采用微批处理技术，针对在线实时大数据流并行处理。这3种系统都具有系统容错功能，在出现节点故障时，可重启节点或转移计算任务，从而保证系统仍能正常运行，能提高系统运行的可靠性。

在进行资源调度时，云计算将分布式资源转换为虚拟机的方式提供给用户。有多个计算框架并存时，仅依靠虚拟化技术难以实现对资源的细粒度高效管理，衍生出了MESOS和 YARN集群资源调度管理系统。从而，实现动态地分配和调度计算资源，对 CPU和内存等资源进行细粒度的调度，保证不同计算框架之间资源的隔离以及系统容错。

3  云计算在用采系统中的应用

使用云计算构建用电信息采集系统，能够有效改善数据存储、查询和计算的性能，提升系统综合效率。但仍需要按照用电信息采集系统的概念模型，处理好基于云计算的用电信息采集系统与传统应用之间的关系，支持智能电网用电信息采集系统向云平台的平滑过渡。

云计算采集系统结构，从功能上大致可以分为采集集群、云数据存储环境、并行 ETL 环境、并行分析计算环境、数据查询组件、前端接口以及用于开发的映射工具。其总体架构如图1所示。

采集集群周期性地从用户终端中采集信息，并通过调用存储接口将数据存储到云存储与查询环境中；数据存储与查询环境负责对采集到的信息进行高并发的存储，并向上提供用电数据索引和高效查询功能。

并行 ETL 环境负责原有关系型数据库中档案信息与云计算环境的数据交换；开发用户需要利用ETL 管理工具建立数据表映射关系以及任务的执行策略，系统通过并行 ETL 工具对关联系统中的数据进行实时跟踪、获取和一致性校验。并行分析与计算环境负责运行用电信息采集系统的应用算法，提供丰富的任务调度和监控工具，以实现整个环境的运行时优化。前端接口包括类 SQL 接口、Web 服务、客户端包等，面向外部系统提供查询和分析计算的服务。映射工具采用了基于查询重写的 SQL 到 Map/Reduce 的优化技术，将原有 SQL 转化为查询图，并利用重写规则演变为多种形式，实现原有存储过程形式的应用程序向云计算环境的辅助迁移、正确性验证和性能优化，能够大幅度降低关系型数据库应用到云计算的迁移成本，提高开发效率，提升并行计算的总体性能。

4　 结束语

云计算以其大数据处理的优势可以为用电采集系统和能源互联网信息采集提供新思路和方法，但是在实现过程中，还有一些实际困难。当前能源系统数据服务基本都是建立在关系数据库之上，使用数据表模型，而云计算使用键值对数据模型，二者必须有效匹配转换。同时，面对不同能源网络的复杂业务需求，NoSQL分布式数据库实时性仍旧较低。其次，云计算在并行处理和计算分析时，要求数据之间的关联性要尽可能低。如何解耦数据之间的相关性，设计合适的并行分析算法，是应用云计算技术的难点。另外，数据共享与融合带来的信息安全问题，也是重要的技术壁垒。因此，在搭建好云计算用电信息采集系统架构后，如何深入研究应用外围的辅助技术，使之真正发挥实效，还有待时日。