关键词 大数据分析聚类分析判别决策树离群点分析
随着社会的不断进步和计算机技术的快速发展，信息系统在各领域快速拓展，系统采集、累积和处理的数据越来越多，信息增速也不断加快，这也预示着大数据时代已经到来。麦肯锡认为，“大数据”指所涉及的数据集规模超过了传统数据库软件获取、存储、管理和分析的能力［1］。
虽然现实世界产生的数据量不断增长，但其中可理解的比例却不断下降，人们迫切需要对大数据进行分析，以了解海量数据背后的重要信息和知识，大数据分析技术应运而生。大数据分析是基于IT技术、数据挖掘、统计分析等多门学科的成果应用，通过从海量数据中分析出有效模式，获取存在的关系和规则并对发展趋势作出预测，这也是大数据生态环境中的最重要一环——使数据产生价值。
经过城市照明管理行业20多年的快速发展，路灯远程自动化监控技术有了很大提高。监控系统每分钟都会产生实时监控数据，运行至今的系统大都已经存储了庞大数据，它们记录了照明监控设备的运行状况。但是人们更关心它们背后隐含着的知识和信息，这些“数据”中的“数据”可用于运行状况评估、异常预警和后续运营参数调优，对照明管理部门降本增效、不断改善服务质量具有积极指导意义。由此可见，大数据分析技术应用于城市照明管理行业尤为迫切和必要。
一、大数据分析理论
大数据分析理论指从海量数据中分析和挖掘出知识的方法，本文主要采用聚类、分类等方法。
1、数据仓库建立
进行大数据分析前必须收集待分析的数据资源，虽然数据挖掘可直接从操作数据源中挖掘信息，但建议从专用性和可靠性角度考虑，不采用原有的数据库或数据结构，而是将待分析数据存入数据仓库中。数据仓库是一个集成、相对静态、面向主题的数据集合，通过建立数据仓库，可将异种数据源中的数据通过集成，从而构成语义上一致的数据存储体系结构，它可按不同的主题划分管理决策所需信息，为查询、分析和决策打下基础［2］。
2、特征提取
数据仓库中的集合包含了大量特征，为了通过聚类分析发现潜在的运行模式，需要从序列数据中提取反映运行情况的重要特征向量。
这主要有两方面的工作：一方面为了让模型更容易理解，需要降低数据集的维度，删除不相关的特征并降低噪声，使大数据分析算法效果更好；另一方面通过创建新属性树，将一些旧属性合并或创建新的属性，这样可更有效地捕获数据集中的重要信息。
最常使用的特征集提取技术都是高度针对某一具体领域，一旦大数据分析用于其它领域，首要任务就是找到新的特征并进行特征提取。
3、数据预处理
由于待分析数据可能存在数值区间范围较大、且不同时间段内变化快的问题，因此在大数据分析之前必须使用转换方法进行标准化处理。
数据标准化转换也是大数据分析中常见的转换措施之一，它通过将数据按照比例进行缩小，使之归入一个较小区间范围内，为数据分析建立相对平等的基础。标准分数（Ｚ－ｓｃｏｒｅ）是一种数据标准化的重要方法，能够真实地反应一个分数距离平均数的相对标准距离，标准分数可由式（1）求出：
其中，Ｘ为被标准化的数据，μ为数据集的平均值，σ为数据集的标准差。Ｚ值代表着原始数据和数据集平均值之间的距离，它能表明原始数据在数据类集中的位置，方便在不同分布的数据之间进行比较［3］。
4、聚类算法
聚类就是将数据对象分为多个类，类内数据点具有较高的相似 度 而 距 离 近，类 间 数 据 对 象 差 别 大 而 距 离 点远［4］。聚类技术可以将数据集划分成不同的子集集合，它们在空间上都是一个稠密的区域，能方便实现对数据的分析。Ｋ － Ｍｅａｎｓ 是最为经典的一种基于划分的聚类算法，它采用数据点之间的距离作为评价度量指标，也即将距离比较相近的对象组成类，以得到紧凑而独立的类作为最终目标［5］。Ｋ － Ｍｅａｎｓ 算法的基本工作过程：首先随机选择 ｋ 个数据作为初始质心，将数据对象根据其与各个类的质心距离进行划分，之后重新计算各个类的质心，循环执行直到目标函数最小为止［6］。类的质心为类内所有点的算术平均值，对象到质心的距离一般采用欧几里得距离，可由式（2）求出：
其中，（Ｘ１，Ｙ１）为质心坐标，（Ｘ２，Ｙ２）为样本数据。目标函数采用平方误差准则函数，可由式（3）求出：
其中，Ｃi为第i个簇，Ci为簇Ｃi的质心，Ｋ为簇的个数，X为数据对象，dist为标准欧几里得距离[7]。
5、分类算法
数据分类目的是通过构建一个分类模型，将数据集中的所有项映射到给定类别中的某一项，用于归纳和描述重要数据的分类情况。判别决策树是用于数据分类和预测未来的主要技术，它基于从一类无规则的数据中推理出规律性模型的分类规则［8］。它采用自顶向下方法，在树的节点进行属性值的比较，并根据不同值判断向下分支，最后在树末端的叶节点得到结论。该算法主要基于信息论中的熵理论，把信息增益率作为节点分支属性选择的度量标准，获得最终的决策规则。各属性的信息增益率可由式(4)求出：
其中，Ｓ为数据集，Ａ为分割属性，Gain为信息增益，SplitInfo为分裂信息量。分裂信息量可由式(5)求出：
其中，ｓ为数据子集，ｓi为分割属性，ｃ为数据子集样本数［7］。
6、离群点检测
离群点是数据集中与正常点有较大差异的那一类数据点，在数据点中找出异常点是离群点检测的主要任务。离群点检测在大数据分析中有重要应用，它采用基于距离的异常点检测算法，以欧式距离为衡量标准，找到脱离给定数据集的异常数据。离群点检测算法：根据分类结果选择该数据对象的质心，计算该数据对象到质心的欧氏距离，根据区间范围判断是否为离散点［7］。
二、大数据分析方法
1、城市照明管理相关数据
城市照明运行管理数据具有非常重要的参考价值，可通过对这些数据进行分析，挖掘其中有价值的信息，从而为故障报警、状况预测和决策支持奠定基础。
城市照明运行管理数据按逻辑分类，有动态监控数据和静态业务数据，监控数据分为照明实时数据和故障数据，业务数据分为资产数据和管理数据。系统每隔20min远程采样照明实时数据一次，故障数据由远程监控终端主报。城市照明管理中产生的运行数据如表１所示。
2、运行状况评估
本文对照明监控设备运行状况评估数据源是基于路灯监控终端产生的照明实时数据，并且以输出有功功率作为主要研究对象，对有功功率负荷变化情况进行分析。有功功率指一个周期内发出或负载消耗的瞬时功率的积分的平均值，传统判断有功功率是否出现异常的监测方法是在系统中设定一个阈值，根据超出上下限报警，这完全没有考虑时间和环境特征等因素，导致阈值难以确定，也不能动态适应变化。
本文采用大数据分析方法，通过识别存在的有功功率运行模式，建立模式判定，然后对实时采样的数据进行比较，判断是否存在异常情况。
（1）数据特征提取及标准化
试验数据采用某地010#城市照明监控终端，该监控终端装于迎宾大道路灯控制柜中，主台系统每隔20分钟对该终端运行数据采样一次，将90天产生的1080条亮灯有效数据写入数据仓库。010#终端部分输出有功功率数据如图１所示。
为了通过聚类分析发现潜在的运行状况判断模式，从有功功率序列数据中提取出反映运行情况的特征向量可由式（6）求出：
Ｐ ＝ （Apmean，Apmax） ……………………（6）
其中，Apmean为单位小时有功功率中值，Apmax为单位小时有功功率最大值。
由于有功功率数据值较大且不同时间段变化快，因而对于特征向量使用Z-score规范化处理，实现数据分布于一定区间范围内，标准化结果如图2所示。
（2）K-Means自然划分
K-Means算法中必须选择合适的 K 值，采用多次迭代的方式以同簇距离总长度来判断 Ｋ 值的合理性。图3是在不同 K值下的类指标图，从图中可以明显看到，当簇数目为3时，类指标急剧下降，所以确定这次采用的K-Means聚类算法的 K值为3。采用K值为3的K-Means算法对该数据集进行聚类，完成如图4所示的自然划分结果。
完成聚类分析后，为方便分析有功功率运行模式判别条件，需要构造４个新的属性：质心点 Ｘ、质心点Ｙ、类簇标识和前后半夜标识。构造新属性之后的部分数据如表2所示。
在共1080组数据中，使用810组数据构成训练集，对构造了新属性的数据集进行分类，得到判定决策树如图2所示。使用270组数据作为检验集，分类误差小于2％ ，完全可以采纳。
（3）运行状况评估应用
为论证该方法的实际监测和评估效果，选取010#终端2014年8月25日23点数据进行检验。该采样数值为Apmean ＝33.18ＫＷ ，Apmax＝33.25ＫＷ ，根据模式判别决策树判断该点的模式为Cluster2。特征向量P(33.18,33.25)与Cluster2模式的历史数据一起使用欧氏距离算法进行离群点分析，离群点结果分析结果如图6所示。其中原数据簇中欧氏距离极大值为0.5191，而该数据点欧氏值为0.7462，因此判定为离群点。城市照明监控系统根据判断结果立即报警，推测现场发生异常灭灯情况，值班人员安排维修人员至现场进行查验和检修。
图６离群点结果分析
三、 结语
通过对城市照明监控信息进行大数据分析表明，新方法能够对每个采样点的有功功率数据进行分析，并能及时发现和报告异常状况。在实际运用中，由于采用的大数据算法具有良好抗噪声干扰能力，可以帮助管理人员及时有效了解系统运行情况，为采取有效的管理措施提供决策支持。该方法还具有通用性，能够广泛应用于城市市政设施行业监控系统的数据分析中。将研究成果用于高压钠灯运行寿命、光源全寿命成本、光亮成本费用和照明管理维护费用预测中，则有待进一步研究。