论文投稿_医学论文投稿_核心期刊,职称论文投稿发表_论文部落

　　摘要：电力大数据技术的进步为电力系统各领域提供了新的发展契机。该文探讨了其与电力系统仿真计算相结合的若干基本问题。首先阐述二者已有的基础、技术联系和基本结合方式，强调利用大数据技术包中提供的资源和方法解决实际问题；而后明晰了仿真计算数据与大数据相关的特征及其独有优势。在此基础上，讨论了与开展研发工作相关的若干要点，涉及二者结合适用的问题、开展研究的重点等，同时也说明引入大数据技术可能带来的问题。

　　关键词：电力大数据；电力系统仿真；数据分析；应用场景

　　一、引言

　　大数据技术的兴起已引起电力系统各领域的高度关注，2013年《中国电力大数据白皮书》的发表，为我国电力大数据技术的发展指明了方向。以此为契机，相关技术研究和应用尝试日益活跃，统一的电力大数据平台也已在设计、开发之中。大数据具有4V特征，强调跨领域、多类型数据的融合与利用，其以云计算为基础，在理论研究和实际应用方面涉及一系列软硬件技术的进步。电力大数据技术是大数据在电力行业的应用和发展，包括有分布式存储、并行计算，以及各种分析算法等组件，并充分吸收电力系统云计算的先进成果。

　　最终实现大数据技术在电力系统的全面应用，从电力系统各子领域出发的研究和实践是必经之路。这些子领域中的数据通常也具有多类型、分散和未充分利用的特征，借助大数据技术既可促进子领域的技术进步，也能够在一个较小的、可控的范围内验证、发展电力大数据技术，并为最终的多领域融合作好准备。事实上，大数据的含义也在不断演变中，正是在与各类实际问题的互动过程中，才真正具有活力。

　　电力大数据技术是体系化的技术包，而电力系统各子领域通常都具有较为完备的理论体系和强大的应用系统。因此，引入大数据技术的合适方式是针对常规方法无法解决的问题和潜在需求，选择电力大数据技术包中能够为其提供支撑的组件，而不应机械地强调领域数据是否完全符合大数据的特征，或是希望以大数据技术完全取代现有技术。

　　电力系统仿真计算包括离线计算和在线计算，是电网规划、设计和运行的重要支撑，在电力系统研究体系中处于基础地位。仿真计算进行过程中和结束后能够提供大量计算数据，对这些数据进行挖掘和分析，并与在线量测结合解决系统实际问题，特别是暂态稳定问题，长期以来都是数据挖掘技术应用于电力系统的重要研究方向。

　　从方法论的角度讲，电力系统问题研究的主要步骤包括观察规律、理论分析和实验验证，这既要求对系统变化过程的充分观测，也要求对实验结果的充分观测。目前，在电力系统仿真分析中通常只监测少数关键量，这必然会遗漏可能的有效信息，对研究结论产生不利影响。因此，充分利用仿真计算丰富的数据和结果，对其进行深入的观测和分析也是电力系统仿真分析发展的要求。

　　到目前为止，在仿真计算数据挖掘方面的成果大多都只限于理论和算例分析，在实际中应用较少，影响力有限。造成这种情况的原因很多，其中受限于数据吞吐速度、硬件计算能力，以及对各类计算数据的整合与利用不足是很重要的方面。

　　电力大数据技术的发展能够为上述问题的解决提供有效帮助。基于电力大数据平台，由计算能力和数据存储带来的制约将不再是主要问题，相关研究和应用可基于大规模数据整合进行。在此基础上，针对仿真计算数据所提出的各种分析方法，将有机会得到更好地验证和发展并投入实际应用。

　　大数据技术与电网仿真计算相结合可用于2个方面的工作：一是解决传统的电力系统问题，如通过对电网历史数据的分析获得系统稳定性的指标或规则，用于快速判稳；二是解决电网仿真自身的问题，如推进计算算法研究。虽然大数据技术本身强调发现关联关系，但对于电力系统仿真而言仍应进一步开展理论研究，提出或改进与仿真计算分析相关的理论、算法以及指标，回归对电力系统特性本质的探索，最终推动系统仿真分析技术的进步。

　　以电力大数据技术的基本支撑为前提，着重探讨了电网仿真数据的特征，以及大数据技术与电网仿真计算相结合时可适用的问题和研究重点。

　　数据特征

　　电力系统仿真计算数据属于结构化数据，主要特点有：

　　1）多类型异构。不同计算软件、不同类元件、同一元件的不同模型，以及不同类计算结果的数据结构差异较大；

　　2）在线计算数据与离线计算数据的同质性。电力系统仿真中的在线数据通常由量测信息与离线计算数据拼合而成，数据结构相似，因而数据分析的研究成果具有在2种数据上通用的可能；

　　3）存储方式多样。在线数据通常是集中存储、定期更新，而大部分离线数据则分散于工作人员的个人计算机中；

　　4）体量巨大。随着智能电网调度技术支持系统（简称D5000)的广泛使用，在线计算数据飞速积累，体量上将可达到PB级别。虽然离线计算原始数据的单一体量较小，但分析计算产生的结果数据体量巨大。例如，对10000节点电网全网母线进行短路电流扫描并计算各母线故障下的全网电压，将会产生×109个母线电压结果，数据文件达到GB级。此外，同电力系统的其他领域相比，仿真计算在大数据研究方面具有一个独有优势，即仿真计算本身就可以产生丰富的、高质量的数据，受历史积累、系统量测，以及数据源不足的限制相对较小。

　　适用问题

　　仿真计算数据的统一管理力系统仿真计算数据按来源主要分为在线和离线2大类。目前，在线数据主要存储于能量管理系统(energymanagementsystem，EMS)，离线数据主要由计算人员本地管理。为了统一电网计算数据，提高数据质量，省级以上电网公司已陆续建立了数据中心，但其管理范围仅限于部分电网仿真标准公用数据。

　　电力大数据技术既适用于大规模数据的集中存储，也能将数据管理延伸到分散的计算端和存储端。同时，其还能提供数据清洗、整合等各种基本服务，并为实现仿真数据与其他领域数据的融合奠定基础。

　　仿真计算中间结果利用电力系统仿真计算较多地涉及非线性方程和微分方程求解，二者都涉及迭代计算。现有的各种算法在应用于实际大系统计算时，常会出现计算失败或结果异常的情况，如潮流计算不收敛，或是得到不合理解。对仿真计算中间结果进行数据分析，通过观察计算收敛的变化过程，确定关键影响：电力大数据技术与电力系统仿真计算结合问题研究因素，将有助于在计算过程中制定有效的调整方案，提高迭代计算的收敛性和鲁棒性，进而推进仿真计算技术的进步。

　　目前，对于仿真计算迭代中间结果的观测和应用还处于较为初步的阶段。电力大数据技术将使对迭代中间结果数据，乃至迭代计算全过程的快速分析成为可能。时域仿真结果应用在常规的电力系统时域仿真中，多关注扰动发生后系统能否保持稳定，即最终的仿真结果。但随着我国电网规模的扩大和电压等级的升高，系统中出现了一些涉及范围广、失稳时间长的问题，如低频振荡。在时域仿真中，元件模型的所有变量通常都可以计算并输出。利用这些数据，能够实现对电力系统动态过程的精细观察，通过与描述系统演变的数学、物理方法相结合，从多方面掌握系统在空间和时间上的变化情况，进而提取运行规律、模式，加深运行人员对系统动态特性的理解。

　　对20000节点、含有2000台发电机和3700个负荷的系统进行20s的时域仿真，其可输出的计算变量数据至少在1.5亿条以上，占用的存储空间达到GB级。虽然通过提取关键因素、优选分析算法等手段，能够有效压缩所需的数据规模，但考虑到计算速度、数据存储能力和精细观察的要求，电力大数据技术的支撑依然必不可少。

　　多类型计算结果的融合与再分析

　　电网仿真计算包括很多类型，如潮流计算、暂态稳定计算、小扰动分析等。不同的计算结果反映了电网不同方面的稳定特性，需要对其综合运用，才能全面反映电网运行状况。目前，对多类型计算结果的联合分析主要靠人工进行，虽然凭借知识和经验，工程技术人员能够观测并提取部分重要信息，但这仍属于样本分析，不可避免地会因数据简化而丢失信息。

　　对多类型仿真计算结果的自动融合与再分析不仅能促进对系统问题的深入探索，而且将使对电网的“覆盖计算”及其分析成为可能，即不再以典型、经验、最严重等标准筛选需考虑的情况，而是基于所有可能或较为可能的情况进行全面分析或者结论验证，从而为传统的电网仿真分析模式注入新的活力。

　　除了数据量巨大之外，多类型计算结果分析可以看作是电网仿真计算领域中，不同计算子领域间的“跨领域”分析，更加注重多类型数据的整合、挖掘，以及知识提取等，其实现所需的技术条件与电力大数据更为切合。

　　电网运行安全稳定性快速分析

　　在电网在线安全预警及控制中，直接利用在线计算数据或量测数据，通过数据挖掘、机器学习等手段，寻找与系统稳定有关的判定指标或规则，实现对系统的快速分析，是电网仿真分析领域长期以来备受关注的方面。在引入电力大数据技术后，可以2.1到2.4节的研究成果为基础，通过整合多源调度运行数据，以具有物理或数学意义的系统特征量为基础，结合高性能数据分析平台，实现对电网运行规律的深度探索。随着D5000平台的成熟、在线数据质量的提高，这方面的成果将有可能最先具备实际应用条件，在故障集筛选、安全预警，乃至系统特性研究等方面发挥作用。

　　二、研究重点

　　1、总体思路

　　实现大数据技术与电力系统仿真计算结合的首要条件是建立电力大数据平台，解决单机用户在数据存储、计算能力等方面无法自行克服的问题。

　　在此基础上，可结合系统仿真的技术背景、研究目的和数据特点，从专业角度出发采取理论研究与应用开发相结合的方式开展工作。就第2节中所提出的几个适用问题而言，其研究范围主要包括分析模型建模、分析方法本地化，以及实际应用等方面。

　　同时，大数据技术本质上也是一个知识发现的过程，从信息与知识的形成和结果应用的角度看，电力系统仿真数据的演变过程所示。“关联关系”泛指由数据挖掘、机器学习直接得到的数据分析结果，“再学习”是对其的自动归纳，形成便于人工解读的初步结果。

　　“知识”具有最大的出度居于核心地位，由数据向知识的演变可因知识的应用而被优化，进而在数据、信息、知识和思想之间形成一个螺旋上升的过程。同时，知识也可用于改进仿真计算和电网控制，而因果分析则是获得知识的关键性环节。思想由知识的进一步归纳总结得到，其对数据分析、仿真计算和电网控制，乃至于更广领域的研究都有着指导意义。在图中还存在2个反馈环节，一是利用发现的关联关系对特征提取进行改进，这也是一部分特征筛选算法的原理；二是根据发现的知识对找到关联关系进行评估，调整搜索方向并改进算法。

　　各研究内容的联系所示。其中，生数据是原始的仿真数据，可按3种主要维度划分；熟数据随研究目的不同而具有不同的内容和结构。“数据云集”可由大数据平台、与之类似的单个或多个系统，以及系统组件实现，主要提供生数据向熟数分析模型在分析模型建模方面的首要问题是特征量(样本属性)的选取，主要包括特征初筛和压缩。在初筛中确定与问题可能相关的特征量，而后再根据需要进行数据压缩。目前，在与系统仿真相关的领域，对该问题的研究已有较多成果，结合大系统仿真数据分析的需求，可在以下方面推进研究工作：借鉴现代稳健回归思想，采用抗扰性强、效率高的统计量表征系统状态变量的整体情况，从而提高初始特征量的质量，如用中位数代替平均值、使用M估计等。研究了稳健回归在电力系统中的应用；

　　1）基于核方法，在核空间中进行数据的主成分分析，提升数据压缩和主导特征值提取的效果；

　　2）电网仿真数据中包含有大量信息，而现有方法中的初始特征量通常由人工给出，有可能存在遗漏或干扰。基于已有知识自动生成或筛选初始特征量是解决该问题的一条可能途径。专家系统是将形式化建模的先验知识应用于实际问题的成熟方法，但如何将其或类似方法应用到初始特征量选取还需进一步研究。

　　需要注意的是，对信息的压缩通常会导致信息的损失，因此在计算能力允许的情况下，应尽可能减小压缩量或不压缩。大数据平台的应用可以放宽对特征量筛选和压缩的要求。分析方法本地化在分析算法方面，主要涉及机器学习、数据挖掘、人工智能等领域，这其中的大部分算法实质上是相通的。在与电网问题相结合上，相关研究主要包括结合电力系统仿真分析特点，进行算法自身改进和算法融合2个方面，目前已有许多成果，后续可继续关注的方面有：

　　3）以Hadoop、MapReduce等并行数据处理框架为基础，进一步实现算法运算和数据处理的并行化，对大数据环境下的此类问题进行研究；）常见学习算法的训练通常都已较为成熟，但某些方法的参数选择却较为困难，如各种基于核函数的算法，从不同角度对此进行了研究；

　　4）已有成果中，算法的评估多采用算例结果

　　有效性评价方式，对算法性能和结果可信度的反应不够全面，应加强相关的理论分析，如计算复杂度：电力大数据技术与电力系统仿真计算结合问题研究出错界限等。

　　实际应用在实际应用方面，针对不同电网的同一类问题，在分析方法相同的条件下，其分析模型的训练结果很可能不同。因此，在开展研究时应同时建立完整的解决方案，给出可以复用的、算法化的建模、训练和应用方法，并软件实现。

　　同时，还需考虑以下问题：

　　5）样本抽取。在线计算历史数据的积累可能长达数年，应根据预测需要选取样本，建立与时刻、日、月、年，以及长期预测相对应的样本抽取机制；）计算效率。在提高模型和算法的计算效率方面，可作的工作还有：①修改仿真程序输出，简化数据处理；②减少模型种类，优化特征量的生成过程；③将数据处理分散到在线仿真计算各步骤中进行，如在潮流计算完毕后，立即统计与潮流结果有关的特征量，而不是等到全部计算完成；④使用高效的数据处理语言，如R语言、Matelab等；）结果展示。应进一步发展系统演变的描述方式，如通过数据分析结果、特征量或主导特征值的图形表示来描述系统变化，以避免直接采用原始仿真计算结果导致的数据粒度过细、研究分析困难等问题；

　　6）系统集成。由于电网仿真目前已有较为成熟的计算软件和系统，因此数据分析功能在初期可以函数、模块或动态库的方式与之相结合，在需要时由计算软件调用。随着技术的逐步成熟，大数据分析在仿真计算程序中的作用将逐步提高，其独立性也会随之增强，最终有可能发展成为一种新的、独立形态的电网分析系统。

　　知识提取与利用人工智能技术的进步可以为电网仿真分析知识的建模和应用提供良好的基础，但知识模型的最终建立依然需要结合电网专业知识开展研究[8,86-88]。此外，还需进行以下方面的工作：

　　7）知识发现。除了分析结论外，在特征值选取、压缩，以及分析算法的处理过程中都可能提取到新的知识。这些环节中知识的表现形式不尽相同，但最终都需经由因果关系解读，对因果关系与关联关系进行了比较；

　　8）再学习。从大规模数据中提取的规律，其原始表达本身可能很复杂，如一条关联规则可由数十、乃至数百个频繁项组成，不经过自动化的缩减、凝练处理，根本无法理解。基于先验知识，利用语义转换可有助于将初始结果泛化，例如借助分区信息，将各个母线的具体电压水平概括为分区电压的高、低状态，从而更易解读；

　　9）知识应用。在电网仿真数据分析的各主要环节均可引入先验知识以提高效率、提升效果，但如何在算法级别实现形式化建模的知识与已有算法的融合还需深入研究。引入大数据技术可能带来的问题大数据技术与电力系统仿真相结合也会带来一些问题，除了一般性的资源占用过多、重复发现已有知识等不利影响外，

　　10）边际效应。大型电网分析系统一般都是分阶段建立的，在经过最初的高产出比阶段之后，各种资源的新增投入与数据分析效果提升的比值将会越来越大，直至失去技术经济意义；

　　11）数据共享。实际电力系统仿真数据有保密要求，一般用户很难获得。而大数据技术的引入需要有众多的参与者，在无法获得足够样本的情况下，大量研究工作难以展开；

　　12）“正确的”错误。在没有模型、算法错误的前提下，数据分析发现的关联也有可能只是表面现象，如关联是偶然的，或者中间存在诸多环节、不具有实际价值等。冒然使用这样的结果，可能会对电网运行安全造成不利影响；

　　13）决策困境。数据分析和仿真计算的结论可能会不一致，如果按“最严重”标准选取结果，可能会导致付出不必要的代价。

　　14）开展“预言性数据分析问题”研究，确定解决目标问题所需的数据量，对资源投入和数据分析效果作出合理预估，从而指导系统的构建。目前尚缺乏这方面的深入探讨和实际应用。

　　15）将共享数据改为传递算法，即建立开放性的算法研究平台[90]，研究者将其数据分析程序传递到平台上进行验证；

　　16）对于问题3和4，最根本的解决途径是结合已知的电力系统物理特性，对数据分析结论进行合理解释，包括其背后的因果联系、适用条件、成立概率等。在此基础上可以剔除无用的分析结果并逐步建立对大数据技术的信心。

　　展望随着技术的成熟，未来电力大数据平台将会与ERP等系统类似，成为电力系统规划、设计、运行、管理的一个“基础设施”。电网各领域看待问题的视角将会由当前的信息和结果，逆着数据变化的趋势向问题的源头溯源移动。同时，也会依从数据变化的规律，探索其新的趋向，发现潜藏于其中的未来景象。

　　电力系统仿真技术领域的数据具有较强的物理和数学联系。利用大数据技术实现对其的有效观测，以及以既有知识为基础的深度分析，将会使对电网的研究，从以“初始－结果”模式为主提升到新的高度，更多地关注系统的演变、数据的变化与融合等方面，开创出新的视角。

　　电力系统仿真作为一个以保障电网安全为主要目的领域，其所有研究都需要有坚实的理论基础。因此，相关的数据研究必将由现象的发现走向其背后原因的分析，并尽可能上升到理论高度，这为大数据技术在其中的应用提出了新挑战。

　　综上所述，大数据技术与电力系统仿真的结合将能够为系统分析提供新的手段、视角，甚至于方法。本文基于对仿真分析和电力大数据的认识，探讨了该方面研究可能的思路和要点，后续将在此基础上进一步开展具体工作。本文的研究也可为电力大数据涉及的其他相关领域提供积极的参考。

　　参考文献

　　中国电机工程学会信息化专委会．中国电力大数据发展白皮书(2013)[R]．北京：中国电机工程学会，2013．．

　　宋亚奇，周国亮，朱永利．智能电网大数据处理技术现状与挑战[J]．电网技术，2013，37(4)：927-935

　　屈志坚，郭亮，陈秋琳，等．Hadoop云构架的智能调度无损集群压缩技术[J]．电力系统自动化，2013，：93-98．

　　杨劲锋，刘涛，陈启冠，等．基于海量计量数据的电力客户在线分群研究[J]．华东电力，2013，41(8)：

　　周国亮，宋亚奇，王桂兰，等．状态监测大数据存储及聚类划分研究[J]．电工技术学报，2013，28(S2)：

　　丁杰，朱力鹏，胡斌，等．面向多级调度管理的融合型搜索引擎[J]．电力系统自动化，2014，38(3)：150-154．，

　　曲朝阳，陈帅，杨帆，等．基于云计算技术的电力大数据预处理属性约简方法[J]．电力系统自动化，2014，：67-71．

　　黄彦浩，周孝信．基于本体理论的智能电网广义数据管理模型研究[J]．电力系统自动化，2014，38(9)：114-118．，

　　中国计算机学会大数据专家委员会．中国大数据技术与产业发展白皮书(2013)[R]．北京：中国计算机学会，．

　　孟小峰，慈祥．大数据管理：概念、技术与挑战[J]．计算机研究与发展，2013，50(1)：146-169．

　　李国杰，程学旗．大数据研究：未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考．中国科学院院刊，2012，27(6)：647-657．