时间:2014-09-09 08:24 文章来源:http://www.lunwenbuluo.com 作者:毛炳文 点击次数:
【摘 要】大数据时代的到来,给气象水文信息保障带来了机遇和挑战。本文首先分析了气象水文信息的大数据特征,然后讨论了大数据技术在气象水文信息保障中的应用情况,最后介绍了几个国内外应用实例。
【关键词】大数据;气象水文;信息保障;数据挖掘;云计算
孙子兵法中讲到“知己知彼,百战不殆;知天知地,胜乃可全。”可见气象水文信息对于军事领域和国民经济领域都具有非常重要的作用,随着气象水文信息需求和技术的发展,气象水文信息保障也不仅满足于天气预报,而扩展到现有的气候预测、气候可行性论证、公共气象服务、专业专项气象服务、气象防灾减灾等,大数据时代到来,又将给气象水文信息保障带来巨大的变化。
一、气象水文信息的大数据特征
气象水文信息保障离不开气象水文数据,包括对气象、水文、天文、潮汐、空间天气等观测数据以及加工处理后得到的产品数据,且是海量数据,如美国国家气象频道每天要处理20兆兆字节的数据,这里包括有关风、雨、雪、冰雹、龙卷风、温度、气压、湿度、地震、飓风、闪电等的相关数据。目前我国每年新增的气象数据就达到PB量级,较上世纪90年代增长了数千倍,并仍在快速增长中。气象水文保障对气象水文信息的时效性要求高,比如天气预报粒度从天缩短到小时,特别是发生自然灾害时时效要求更严苛。大气运动的随机性,导致各气象水文要素无时无刻不在变化中,气象水文信息是动态变化的。大气运动的规律性,可以利用历史数据和实时动态数据,发现数据与结果之间的规律,并假设此规律会延续,捕捉到变量之后进行预测。最早得到应用天气象预报就是利用了气象信息的规律性。
二、大数据技术在气象水文信息保障中的应用
(一)数据挖掘技术
数据挖掘技术在从大量数据中提取特征与规则方面具有很大的优势,能够自动发现以前未知的模式,自动预测未来趋势和行为。由于气象水文数据的数据量巨大,数据本身又具有模糊性和不确定性等因素,因此将数据挖掘技术应用于气象水文数据分析和气象水文预报决策中,利用数据挖掘技术的归纳能力,利用机器学习和数据挖掘算法,可以自动地从大量数据中发现有用的模式,具有一定的现实意义。
在气象水文信息保障中数据挖掘过程由数据准备、挖掘、表述及分析3个主要的阶段组成。数据准备阶段就是从历史数据和当前的操作数据中提取数据并集成,同时对数据进行数据消脏、数据选择和格式转换等预处理,为数据挖掘做准备。挖掘阶段就是综合利用分类、序列分析、关联规则等各种数据挖掘方法,分析经过预处理的数据,发现事件之间的时间和空间关系,从中提取有关特征和规则。上述过程需要不断地反复和评估,以得到一个较为理想的气象水文预报模型。表述就是将数据挖掘所获得的特征和规则以便于理解和观察的方式反映给系统。分析就是对数据挖掘所提取的异常模式或正常轮廓进行评价,如果它能够有效地反映入侵情况,就说明它是成功的,否则,就可以重复执行上述过程,直到满意为止。
(二)云计算技术
将各类计算资源融合在一个大资源池中,资源池被云计算平台管理之后,动态地在上面创立一个虚拟化资源池,使它成为新的气象水文数据处理中心。各级气象水文部门只需向云计算管理平台发送指令就可以动态添加新的资源或取走资源。
联系方式
随机阅读
热门排行