期刊鉴别 论文检测 免费论文 特惠期刊 学术答疑 发表流程

基于Ceph的分布式存储节能技术研究(3)

时间:2015-10-21 10:16 文章来源:http://www.lunwenbuluo.com 作者:沈良好,吴庆波,杨沙 点击次数:


  5系统实现与实验评估
  基于第3节、第4节所述的优化方法,结合Ceph自身技术特点,本文设计并实现了一个能耗管理框架,并进行了实验评估。
  5.1系统架构
  如图3所示,该功耗管理框架由4个模块组成,其中LayoutOptimizer模块实现针对CRUSH的数据布局的优化算法,并生成新的Crushmap和放置规则;I/OTracer模块用于跟踪与统计系统的I/O数据,即以一定的频率采集分析CephLog中的I/O相关信息记录;LeverShifter则是管理系统功耗级别的模块,根据跟踪统计到的I/O数据,分析当前系统的I/O负载状态,基于所选择的的策略确定是否需要切换功耗级别;StatusManager模块负责功耗级别切换的执行,首先利用Ceph的OSD状态管理工具设置OSD在Ceph集群中的状态为noout,保证不会因主动停止OSD而发生数据迁移,接着通过远程休眠/网络唤醒(WOL11)等技术控制OSD所在的服务器电源管理状态,基于休眠/唤醒的方式比传统的关闭/开启服务器的方式更为节能,式(1)中用于级别切换的能耗对系统的总能耗的影响几乎可以忽略不计,且响应时间更短。
  图3系统架构
  OSDStatus
  I/OTracer
  5.2实验评估
  在一个有6个OSD节点的Ceph系统中进行了该功耗管理框架的实验评估。Ceph版本为0.80.5,操作系统为Kylin3.2,每个节点上配置一个OSD,副
  本策略为select(3,host)。为模拟不同的负载场景,用fio12测试工具进行测试。
  如图4所示内容为连续8h测试(级别切换的超时时间设置为10min,通过thinktime参数使得系统约4h处于低负载时期)中,系统分别处于各能耗级别的次数。
  20100
  在未使用节能框架时,系统运行8h的能耗约为48x6x10minx400W,在开启了节能框架(Ceph-PM)后,系统运行8h的能耗约为(11x2+12x4+25x6)x10minx400W,系统达到的节能比例约为25%,如果系统规模增大,节省的能源开支将会非常可观。但需要注意的是,在真实环境中,系统负载的变化可能更为频繁、剧烈,所以需要更精确、复杂的负载级别切换策略,这也是本文未来的工作内容之一。
  图5、图6描述的是系统在低功耗状态下对随机I/O和顺序I/O的响应时间的影响,总体上,读操作平均响应时间有略微变化,但不会太大地影响服务
  质量。
  而写操作时,由于低功耗状态下需要写副本的次数变少,对于客户端来说,响应时间反而更小一些,且对于顺序写影响更为明显。?
  6结束语
  本文基于Ceph系统,研究分布式存储技术,分析基于CRUSH算法的数据布局存在的不足,提出以节能为目的的优化算法和系统多级功耗管理策略,并实现了Ceph的多级功耗管理框架。实验结果表明,该能耗管理框架能够根据系统负载变化动态地调整系统功耗级别,有效地降低系统能耗。
  参考文献
  [1]KoomeyJ.GrowthinDataCenterElectricityUse2005to2010[EB/OL].(2011-10-11).http://www.analyticspress.com/datacenters.html.
  [2]GurumurthiS,SivasubramaniamA,KandemirM,etal.DRPM:DynamicSpeedControlforPowerManagementinServerClassDisks[C]//Proceedingsofthe30thAnnualInternationalSymposiumonComputerArchitecture.SanDiego,USA:IEEEPress,2003:211-219.
  [3]李海东.磁盘阵列节能技术研究与实现[D].武汉:华中科技大学,2009.
  [4]VermaA,KollerR,UsecheL,etal.SRCMap!EnergyProportionalStorageUsingDynamicConsolida-tion[C]//ProceedingsofFASTJ10.SanJose,USA:USENIXAssociation,2010:148455.
  [5]廖彬,于炯,孙华,等.基于存储结构重配置的分布式存储系统节能算法J].计算机研究与发展,2013,50(1):348.
  [6]WeilSA,BrandtSA,MillerEL.Ceph:AScalable,High-performanceDistributedFileSystemC]//ProceedingsofOSDI'06.Seattle,USA:USENIXAssociation,20061269^77.
  [7]ThereskaE,DonnellyA,NarayananD.Sierra:PracticalPower-proportionalityforDataCenterStorageC]//ProceedingsofEuroSys'11.Salzburg,Austria:ACMPress,2012:153461.
  [8]KaushikRT,BhandarkarM.Greenhdfs:TowardsanEnergy-conserving,Storage-efficient,HybridHadoopComputeClusterC]//ProceedingsofUSENIXAnnualTechnicalConference.Boston,USAIUSENIXAssociation,2010:159467.
  [9]BissonT,WuJ,BrandtSA.ADistributedSpin-downAlgorithmforanObject-basedStorageDevicewithWriteRedirection[C]//Proceedingsofthe7thWork-shoponDistributedDataandStructures.SantaClara,USA:ACMPress,2006:459468.
  [10]WeilSA,BrandtSA,MillerEL,etal.CRUSH:
  Controlled,Scalable,DecentralizedPlacementof
  ReplicatedDataC]//Proceedingsof2006ACM/IEEEConferenceonSupercomputing.Tampa,USAIACMPress,2006:367-378.
  [11]Wake-mlan[EB/OL].(2013-10-10).http://en.wiki
  pedia.org/wiki/Wake_on_lan.
  [12]Fio[EB/OL].(2013-10-10).http://freecode.com/projects/fio.

  •   论文部落提供核心期刊、国家级期刊、省级期刊、SCI期刊和EI期刊等咨询服务。
  •   论文部落拥有一支经验丰富、高端专业的编辑团队,可帮助您指导各领域学术文章,您只需提出详细的论文写作要求和相关资料。
  •  
  •   论文投稿客服QQ: 论文投稿2863358778 论文投稿2316118108
  •  
  •   论文投稿电话:15380085870
  •  
  •   论文投稿邮箱:lunwenbuluo@126.com

联系方式

  • 论文投稿客服QQ: 论文投稿2863358778
  • 论文投稿客服QQ: 论文投稿2316118108
  • 论文投稿电话:15380085870
  • 论文投稿邮箱:lunwenbuluo@126.com

热门排行

 
QQ在线咨询
咨询热线:
15380085870
微信号咨询:
lunwenbuluoli