时间:2016-06-24 09:49 文章来源:http://www.lunwenbuluo.com 作者:陈苗苗 蔡吸礼 点击次数:
混合云的存储策略是建立在私有云和公有云服务之上,本文将会采用一种混合云存储策略决定数据存储到公有云还是学校内部的数据中心上,如图1所示。存储策略不仅仅包括数据的存储调度策略还包括数据的迁移调度策略,为了提升访问性能,数据的存储策略会采用两层模式,即在服务器硬盘中设定一定大小的缓存空间,用于存放数据集位置表以及对于需要经常访问的数据。数据的迁移调度策略将会结合数据的敏感度、存储时间、数据的访问频率、数据大小等因素综合考虑,最大程度地提高数据的访问速度[9]。由于缓存空间的容量有限,本算法仅对200MB以下的数据进行缓存。
访问数据时首先根据数据集的安全等级标准判断数据存储在私有云还是公有云,本文中将安全等级在0的数据集存放在私有云,对于其他安全等级的数据集则根据下文中提到的迁移指数,指定存储于缓存空间或者公有云上。并且,为了提升存储在公有云数据的访问速度,本文设计在服务器硬盘中设定一定大小的缓存空间,通过遍历缓存空间的数据集位置表,查找目标数据集,如果数据集在缓存空间则可以直接获取,否则读取数据集的位置,到相应的位置获取。缓存空间是为了使经常使用的数据可以直接获取,不需要从云服务器上获取,在一定程度上提高了数据获取时的性能。但是缓存空间的容量有限,本文设置存储容量为500GB,为了描述此存储迁移调度策略,需要首先描述定义存储迁移调度函数,本文定义的迁移调度函数综合考虑了数据访问的频率、数据的大小、数据的采集时间因素,最大程度地提高数据的访问速度。所以得到迁移调度函数为:
其中,T表示数据的时间长度,本文中用系统当前时间(t)减去上次的访问时间(tk)即为该数据集的某个时间长度记为Tk,整个数据集D的时间T为T==。就数据价值而言,根据数据的生命周期可知,数据的价值与数据的时间长度相关,数据时间长度越长,被访问的频率越低,所以数据的价值将相对越低[10-12]。F表示数据访问的频率,即在某个时间内被访问的次数,在一定时间,数据访问频率越大,则相应的数据价值也就越高,而同样,一段时间内,数据被访问后未使用的时间越长,在一定时间内的数据访问频率F会较小,数据重要性就越低,数据被再次访问的可能性也相应降低。V为数据集D的大小。
根据迁移调度函数计算数据集的迁移指数,指数越大则迁移到缓存空间的要求度越高。数据存储过程算法如下。
4实验分析
混合云存储系统所在网络的传输性能及带宽对本文算法的性能会有较大影响,本文实验环境中内部网络的传输宽带为100Mbps,公有云的网关上行带宽为2Mbps,下行带宽为5Mbps。服务器以我校网络信息中心的服务器作为私有云存储平台共100TB,其中500GB为缓冲空间,阿里云服务提供商提供公有云。数据来源包括:通过学校内部业务系统采集的师生数据、其他院校公开的科研等数据,以及互联网上的相关数据。
如图2所示,传统存储方式对数据访问时,由于数据位于本地的服务器上,访问数据的速度较快且访问速度稳定;而本文的混合云存储模式是一种私有云和公有云结合的数据存储方式,由于某些数据需要从公有云调用数据,这必然会影响数据的访问速度,但是本文的迁移调度算法因为增加了缓冲空间,所以减少了数据从公有云上调用的概率,所以在一定程度上保证了数据的访问速度。
5结束语
混合云存储架构将高校的数据中心与公有云存储整合在一起,弥补了公有云存储在数据安全性和访问性能上的不足。本文采用混合云的存储模式对数据进行管理,即将隐私数据存放于本地的数据中心,将另一部分非隐私的数据存放于公有云中,这样不仅可以减少购买硬件的成本,同时也节省了数据管理与维护的成本,并通过增加缓冲空间的概念在一定程度上保证了数据的访问速度。在存储空间无止境增加的情况下,本文提出的云存储方式并不会影响数据的访问效率。
未来的工作将对此问题进行更为深入的研究,并继续完善本文提出的迁移调度算法,提高缓冲空间在访问时的命中率,进而将其应用在实际的产品中。
参考文献(References):
[1]陈康,郑纬民.云计算:系统实例与研究现状[J].软件学报,2009(5):1337-1348
[2]韩晶.大数据服务与若干关键技术研究[D].北京邮电大学,2013:1-72
[3]孟小峰,慈祥.大数据的管理:概念、技术与挑战[J].计算机研究与发展,2013(1):145-169
[4]苏命峰.云计算环境下高校数据中心的虚拟化研究与实现[D].湖南大学.2015:1-48
[5]朱承学,伍海波.云计算环境下高校教学资源建设与应用研究[J].中国教育信息化,2015.11:51-52
[6]刘玮,王丽宏.云计算应用及其安全问题研究[J].计算机研究与发展,2012.S2:186-191
[7]曹爽,顾柏园,王昭建.高校网络建设中的必然趋势:云计算技术的应用研究[J].教育,2015.16:223-223
[8]田由辉.高校混合云存储的研究与实践[J].电脑知识与技术,2015.26:35-38
[9]卢亮.混合云存储架构的研究与设计[D].北京邮电大学.2014:1-54
[10]GraduateSchoolofLibraryandInformationScienceatUT-Austin:theInformationLifecycle.http://www.ischool.utexas.edu/~l38613dw/readings/infolife-cycle.html,2009.
[11]Humphrey,Charles.e-Scienceandthelifecycleofresearch.http://datalib.library.ualberta.ca/-humphrey/life-cycle-science060308.doc,2012.
[12]CEOS.Datalifecyclemodelsandconcepts.http://wgiss.ceos.org/dsig/whitepapers,2012.
联系方式
随机阅读
热门排行