国外大数据产业的发展及启示
时间:2013-11-22 11:08 文章来源:http://www.lunwenbuluo.com 作者:刘小刚 点击次数:
一、大数据的内涵及其应用
(一)大数据的概念、特征
现代社会正以不可想象的速度产生海量数据。根据IDC(InternetDataCenter)即互联网数据中心预测,2020年的数据增长量将是2010年的44倍,达到35ZB。大数据(bigdata)是由数量巨大、结构复杂、类型众多的数据构成的数据集合,是基于云计算的数据处理与应用模式。大数据又称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前的主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策的资讯。
大数据具有以下四个基本特征:一是海量的数据容量(VolumeBig),目前数据量级已从TB发展至PB乃至ZB;二是快速的数据流转和动态的数据体系(VelocityFast),数据流往往为高速实时数据流,而且需要快速、持续的实时处理,处理工具亦在快速演进,软件工程及人工智能等均可能介入;三是多样的数据类型(VariableType),数据类型繁多,主要为网页、视频、图像与位置信息等半结构化和非结构化数据信息;四是巨大的数据价值和数据低密度(ValuehighandLowdensity),以视频安全监控为例,连续不断的监控流中,有价值的可能仅为一两秒的数据流,360°全方位视频监控的"死角"处,可能才挖掘出能被利用的有价值的图像信息。
(二)大数据的应用领域
大数据是海量交易数据、海量交互数据以及海量数据处理三种相互关联又迥然各异的技术趋势的集合体,每一种技术趋势都代表着创新突破和发展潜力。随着各项创新技术的汇集,大数据的应用已经相当广泛。
1.城市管理。搜集城市的地理信息和其他数据,医院、警察局等公共服务部门的位置,天气变化,为可能发生的紧急事件提供预案;通过各行业收集到的数据,分析宏观数据,准确及时地对市场进行调控;通过在城市多处设置的传感器收集交通数据,从而指导人们确定出行计划,避免拥堵,有效缓解大城市交通拥挤问题。
2.农工商业发展。运用大数据对气象、气候、地形进行智能分析,形成现代化高科技农业生产模式;形成以大数据信息为背景的新型现代化工业,智能自动化生产;数据分析工具帮助银行、商店确定最佳的营业网点,优化业务的运营;帮助企业监控客户的商店活动情况与交易记录,确定商品种类、商品摆放位置、商品调价的时间和幅度,减少企业存货,提升利润率;在电子商务方面,准确分析用户的购物行为,通过对用户行为数据的分析,决定购物网站的网页形式和内容,把消费者和销售者对应起来,形成新的"销售-消费"模式;在商品储存方面,开发一种供应链模型,根据产品线的销售情况、运输费用、储存费用,提供极为准确的成本维护视图,建立最优化的商业经营模式。
3.市场研究。安装搜集运营数据的装置,实时连续地收集网络信息,使我们更快地对市场做出反应;利用菜单变化、餐厅设计以及劳动生产力的培训程度对销售额影响进行建模,获取各因素与销售额的相关关系。
4.个人服务。它能自动记录个人经常出现的地理位置,并自动生成为数据图表,帮助分析个人行程路线、生活场所,变成"个人生活助理工具";也可以通过手机App搜集全球人们对于特定问题的看法,找出对于大众生活的若干观察,调查社会群众对于热门话题的立场。
除此之外,大数据还在其他领域有着重要的作用,并且随着大数据收集、整合以及分析技术的提升,大数据的应用领域势必将更加广阔。大数据正驱动着传统产业向现代化、"数据化"产业过渡。
二、国外大数据产业的发展
(一)美国
2004年,布什政府通过司法程序,将"星风"监视计划分拆为由国家安全局执行的4个监视计划,除"棱镜"外,还包括"主干道"、"码头"和"核子"("棱镜"用于监视互联网个人信息)。加上已被有关机构掌握的个人信用数据、犯罪记录和人口统计等数据,美国公民的一切行为数据基本上被收集储存。
近日,由前美国中央情报局(CIA)雇员斯诺登揭秘的"棱镜门"持续发酵。据斯诺登爆料,美国国家安全局和联邦调查局于2007年启动了一个代号为"棱镜"的秘密监控项目,直接进入美国网际网络公司的中心服务器里挖掘数据、收集情报。在美国犹他州专门用于储存数据的美国"间谍中心"也正在紧锣密鼓地修建中。该数据中心主要用于收集、存储、分析信息,破解密码,打击恐怖主义及拦截来自世界各地通信,支持奥巴马政府的综合国际网络安全倡议,并为情报界提供支持。此外,金融信息、国外的军事情报、外交情报以及一些法律文件等也都会在这里进行解密。
而作为奥巴马开放政府承诺的产物,2009年至今Data.gov(美国政府数据库)全面开放了40万联邦政府原始数据集。日前Data.gov宣布采用新"开源政府平台"管理数据,代码将向各国开发者开放。因此从这个角度看,大数据已成为美国国家创新战略、国家安全战略、国家ICT产业发展战略以及国家信息网络安全战略的交叉领域、核心领域。2012年3月,奥巴马政府将"大数据战略"上升为最高国策,认为大数据是"未来的新石油",将对数据的占有和控制作为陆权、海权、空权之外的另一种国家核心能力。
首批共有6个联邦部门宣布投资2亿美元,共同提高收集、储存、保留、管理、分析和共享海量数据所需核心技术的先进性,并形成合力;对信息技术研发投入推动超级计算和互联网的发展。目前,已有美国大学专门开设了研究大数据技术的课程,培养下一代的"数据科学家",一些美国公司也在向大学提供教育研究资助,并赞助与大数据有关的比赛,扩大大数据技术开发和应用所需人才的供给,提高美国的科学发展、环境与生物医药研究、教育和国家安全的能力;美国国家卫生研究院开展的免费开放国际千人基因组计划,它将创建的人类遗传变异研究数据集,供研究人员自由访问和使用;美国国家科学基金会和美国国家卫生研究院对大数据进行联合招标,改进核心科学与技术手段,提高从各种大型数据集中提取重要信息并对其进行有效管理、分析和可视化的能力;美国国防部则计划每年投资2.5亿美元左右,在各个军事部门开展一系列研究计划,以创新方式使用海量数据,通过感知、认知和决策支持的结合,加强大数据决策能力;美国能源部则将斥资2500万美元建立可扩展数据管理与可视化研究所(SDAV),帮助科学家对数据进行有效管理,促进其生物和环境研究计划、美国核数据计划等的研究成果。美国正在握紧大数据这个人类科技领域的最新仪表盘,以求继续保持科技领先地位。当然从现在来看,说大数据改变美国政治或政府的确有些夸张,但从另一层面看,美国政府的开放性数据服务转型正走在世界前列。(二)英国
- 论文部落提供核心期刊、国家级期刊、省级期刊、SCI期刊和EI期刊等咨询服务。
- 论文部落拥有一支经验丰富、高端专业的编辑团队,可帮助您指导各领域学术文章,您只需提出详细的论文写作要求和相关资料。
-
- 论文投稿客服QQ:
2863358778、
2316118108
-
- 论文投稿电话:15380085870
-
- 论文投稿邮箱:lunwenbuluo@126.com