时间:2016-01-11 11:12 文章来源:http://www.lunwenbuluo.com 作者:韩红旗 点击次数:
[摘要]因能从海量数据中发现潜在的、有价值的知识,数据挖掘成为人们非常感兴趣的热点技术。水利工程管理面临的是海量的非空间数据和空间数据,对这些数据的挖掘,能够提炼出有价值的知识,从而提高水利工程管理的科学化水平和决策水平。在水利工程管理中利用空间数据挖掘技术,需要解决数据仓库建设、数据挖掘与GIS集成和数据挖掘系统模型等3个方面的关键问题。数据仓库是建设水利工程数据挖掘系统的基础。数据挖掘与GIS集成的方式有嵌入式、松散耦合式、紧密耦合式3种,紧密耦合式是两者集成的最好方式。水利工程系统的数据挖掘适合采用基于OLAP和OLAM的探查性数据挖掘模型。
[关键词]空间数据挖掘;水利工程;数据挖掘模型;地理信息系统;数据仓库
1、引言
我国长期以来兴建了一大批水利工程,初步形成了具有防洪、排涝、灌溉、供水、发电、养殖、种植、旅游等功能要素的水利工程体系,为国民经济的高速发展发挥了巨大的基础作用和支撑作用。在水利工程建设取得辉煌成就的同时,人们逐渐意识到我们在水利工程的管理上还存在着手段比较落后,重建轻管、水利资源利用率低等突出问题,致使一大批水利工程不能发挥其价值,或者工程寿命大大缩短。穆范椭等分别从制度管理、机制管理、人力资源管理等几个方面对水利工程管理中存在的问题进行了论述,并提出了不少可行性的解决措施。不可否认,水利工管理中出现的问题,不少是制度上的问题,但水利工程管理有其特殊性、复杂性,需要广博的知识和高超的技术,单纯靠“软管理”是不能从根本上解决问题的,必须借助一些现代化的信息手段来辅助进行决策和管理,才能够更好、更科学地解决问题。
近年来,在水利工程信息化的过程中,我国建设了一大批水利工程管理信息系统,对于水利工程的建设和运行管理起到了很好的帮助作用。但是,这些系统所提供的功能大多是业务型的,很少面向管理决策。随着水利工程管理向现代化纵深发展,这些系统远远满足不了人们的需要。另一方面,水利工程管理信息系统在发展过程中积累了海量的数据,不少是空间类型的数据,而且这些数据还在不断地增长,而相比于数据的生产、运输和累积能力,人类对空间数据的分析能力还很落后。人们虽然深知这些海量数据中蕴含了很多有价值的知识,但是不知道如何利用它们,而依靠传统的信息系统是解决不了这些问题的。
数据挖掘技术的出现为这些问题的解决带来了可能。所谓数据挖掘,就是从海量数据中发现潜在的、有价值的知识的过程。传统的数据挖掘技术和方法一般作用于非空间数据,而水利工程管理方面的数据不但有非空间数据,还有大量的空间数据。和非空间数据相比,空间数据除了具备非空间数据的特征外,还有拓扑、方位和距离等非空间特征,因此其挖掘技术的实现有其特殊性。在武汉大学李德仁院士首次提出空间数据挖掘这一概念后,国内外不少学者为此开展了广泛的研究。
2、空间数据挖掘在水利工程管理中应用需要解决的主要问题
水利工程管理信息系统中存在着大量的空间数据,因此需要采用空间数据挖掘技术。和一般的空间数据挖掘系统相比,对水利工程数据的挖掘需要考虑其历史发展因素和特殊性。首先,水利工程是一个系统工程,其有效管理往往需要多领域、多部门的专家相互协作,一项重要决策的做出往往需要对历史数据从各种维度进行分析,反复考虑各种因素,综合各个专家的意见才能形成,而不同的专家和决策者会从不同的角度来分析数据,因此对水利工程数据的挖掘需要交互探查或查询驱动的方法,在技术实现上需要采用数据仓库和数据立方体支持这种探查式的、快速的联机查询和分析。其次,在用的水利工程信息系统的主体是GIS(GeographicalInformationSystem,地理信息系统),大部分的空间数据是由GIS系统生成的,空间数据的查询、计算、分析和可视化显示是一种复杂的技术,因此如何利用原有的GIS系统中的数据,数据挖掘如何和GIS集成以进行复杂的空间数据处理成为一个需要解决的重要问题。最后,要实现水利工程的数据挖掘,需要建立一个数据挖掘系统模型,模型在系统工程的研究、设计和实现中是一个非常重要的问题,一个好的模型对了解系统本质特征、揭示系统的规律起到非常重要的作用,建模也是实现一个工程系统的重要一步。因此,要想实现空间数据挖掘技术在水利工程管理中的应用,这3个问题是我们不可回避的、必须研究的核心问题。
3、空间数据仓库
水利工程信息化的过程中产生了海量的数据,而数据仓库是处理海量数据的关键技术,它可以将不同来源的数据统一到语义上一致的环境下。在水利工程信息系统中除了有丰富的非空间数据外,还有大量的空间数据,如地图、预处理过的遥感图像、视频等。空间数据与非空间数据相比,除了具备传统数据库数据的特征外,还携带了空间特征,如拓扑、方位、距离等。“空间数据仓库是面向主题的、集成的、时变的和非易失性的非空间数据和空间数据的集合”,用于支持空间数据挖掘和与空间数据相关的决策过程。建立空间数据仓库是一个具有挑战性的工作,需要解决两个方面的问题:集成来自异构数据源和系统的空间数据;如何在空间数据仓库中实现快速而灵活的联机分析处理。
影响水利工程建设和管理决策的数据来源是丰富多样的,如气象数据库、蓄滞洪区空间分布式社会经济数据库、雨情和水情数据库、水旱灾情数据库等,它们往往存在于异构的环境中,可能来自于不同的系统,数据格式多种多样。数据格式不仅与特定的结构有关,如光栅格式和矢量格式,而且与特定的厂家有关。为了能够进行空间数据的分析和处理,需要首先对这些异构的数据进行清洗、变换和集成,以清晰一致的格式存放在数据仓库中,然后可以调用相应的数据挖掘算法获取有用的知识。空间数据仓库已成为联机数据分析处理和数据挖掘必不可缺的平台。
利用空间数据仓库技术,可以对异构的各类信息进行过滤、集中和综合,完成水情信息采集、工情信息采集、防汛抗旱信息等水利工程信息的自动接收、处理等功能,在此基础上可以进行汛情分析、暴雨洪水预报、调度、灾情评估以及旱情预测等知识发现功能。
空间数据仓库、OLAP(On-LineAnalyticProcess,联机分析处理)和OLAM(On-LineAnalyticMining,联机分析挖掘)的实现基于多维数据模型,这种模型围绕中心主题组织数据,将数据看作数据立方体的形式。数据立方体允许从多维对数据建模和观察,它由维和事实来定义。数据仓库有星型模式、雪花型模式或事实星座型模式。在这3种结构中,星型模式提供了简洁而有组织的仓库结构,便于进行OLAP和OLAM操作,所以是空间数据仓库建模的好选择。相比于传统的数据立方体,空间数据立方体中存在3种类型的维:非空间维、空间到非空间维和空间到空间维;有两种不同的度量:数值度量和空间度量。
4、水利工程GIS系统与数据挖掘系统结合的方式
联系方式
随机阅读
热门排行