论文投稿_医学论文投稿_核心期刊,职称论文投稿发表_论文部落

　　4． 3 影像处理及数据质量评价

　　由于遥感平台运动、地球自传等因素影响，卫星遥感对地观测所获得的影像会在几何上产生形变、在灰度上产生衰减。为了能从对地观测数据中精确提取所需地理空间信息，必须对获取的遥感影像进行影像处理，因此开发影像处理算法，包括遥感影像精确几何纠正算法和辐射校正算法，同时建立卫星数据质量评价体系。

　　5 卫星遥感大数据深度分析与地学知识发现技术

　　在数据量增大、信息提取精度高等需求下，从对地观测数据和时空信息中发现地学知识，需要解决海量遥感数据深度分析的新模式问题。目前，以Hadoop-MapＲeduce 为代表的非关系数据分析技术，以其适合非结构化数据处理、大规模并行处理等突出优势，在海量数据存储与分析应用领域中取得了重大进展，已成为大数据分析的主流技术。尽管如此，Hadoop 在应用性能等方面仍存在问题，其编程模型处于较低层次。针对不同数据分析任务，需要开发不同MapＲeduce 程序进行处理，使系统具有高扩展性大数据分析能力。在进行海量卫星遥感数据深度分析与地学知识发现时，可建立反映地面参数时空变化信息及其关联的卫星图像数据仓库，开发基于Hadoop 的高扩展性数据分析算法以及统一框架的时空分析具体任务，包括聚类、关联、分类、时序分析、不确定性挖掘以及知识表达与解释。

　　5． 1 卫星图像数据仓库

　　从应用深度上，可将遥感大数据分析划分为3个层次空间，即: ①数据空间。在该空间上利用现有数据库管理系统的查询检索功能，进行基于关键字或字段的信息查询，实现联机事务处理。②聚合空间。从时空数据集中获取满足空间与时间约束的时空对象集合，在该空间上利用聚集运算，并结合多维分析和统计分析，实现联机分析处理，以提供决策参考的统计分析。③影响空间。按照相似性的聚类，发现关联性、相似时序、分类结构以及不确定性知识等。按照这种层次空间建立卫星图像数据仓库，并从数据仓库中发现隐含的有用信息。

　　5． 2 基于Hadoop 的高扩展性数据分析算法

    针对大数据计算模式和处理环境，利用Hadoop［30］，并结合MapＲeduce 编程模型，可采用一种基于数据本地化计算的数据分析技术［31， 32］，包括数据分布策略和数据挖掘算法2 个方面。

　　数据分布策略将逻辑相关数据聚集存储在相同节点上，对其特定属性进行哈希操作，使得属于同一哈希分区的数据以及属于不同数据表但具有相同哈希分区序号的数据能够集中存放在同一节点上。哈希技术将数据表在机群上进行分布，以分区作为处理单位，分析算法只需执行Map 任务，进行分析处理并直接完成结果输出，从而可以避免Ｒeduce 操作带来的巨大时间开销，大幅度提升连接查询与分析处理的效率。

    然后在MapＲeduce 上开发增量式模式挖掘快速算法，针对对地观测系统在时间粒度、空间尺度、语义层次上的时空聚类、时空关联等特征，通过遥感卫星数据的时空分析，提取面向不同时空知识类型与形式的高层时空模式，建立聚类、关联、时序、分类、不确定性等挖掘为一体的统一模式知识发现体系框架，实现高效的模式分析与挖掘以及知识表达解释。

　　6 基于共享知识库的多数据中心协同处理及云平台技术

　　对地观测活动的最终目标是以满足用户需求为导向，为不同应用需求的用户提供有价值的卫星数据产品和信息资源。因此，通过建立分布式多中心计算环境，实现海量卫星数据分布式存储与共享，使用户能从不同节点方便地获取所需数据、并能直接获得数据分析与知识发现中有价值信息。实现该目标的关键在于建立共享知识库、多中心协同计算以及分布式高性能的卫星图像数据管理与归档。

　　6． 1 共享知识库

　　通过卫星数据管理中心主节点的一级知识目录( 即共享知识库) 及操作工具，从宏观上引导用户使用所发现的信息。同时通过常驻在各个分节点上的二级知识目录，提供详细信息的线索，使用户能进一步了解信息，确定需要获取的信息内容、获取途径和方法，并支持通过网络传输查询结果。对内部用户，通过知识目录及操作工具，既可查询检索其他站点的信息，也可维护管理自己的知识目录。对外部用户，通过知识目录及其浏览工具发现信息、概略或详细地了解信息，并通过适当途径获取信息。同时信息共享知识实施还应包括提供使用卫星数据服务界面的详细描述。

　　6． 2 多中心协同计算

　　通过构建分布式多中心计算环境，开发算法实现有效地调度计算资源以及跨异构系统高性能计算，将独立的或大量松散绑定的数据处理任务动态地分配给闲置计算资源，实现动态资源调度及任务分配。

　　6． 3 分布式高性能卫星遥感信息归档云平台

　　遥感信息的应用需要为各类需求用户提供一个基础平台。运用云计算模式［33］，借助云平台先进的基础架构与管理方式，构建有效的遥感信息公共服务平台，提供权限管理、遥感图像智能化搜索、图像资源浏览、结果获取、订单处理及反馈等基本功能。利用高性能处理终端集群［34］可在遥感数据处理中建立云平台来处理卫星遥感数据，证明云计算模式具有较好的应用潜力。

　　云平台的构建包括3 个不同任务，即虚拟化、平台搭建以及服务提供［35］。其中，虚拟化是整个云平台构建的基础，在此基础上，平台搭建实现对信息资源以及相应虚拟化资源的调度和管理，服务提供则将相应信息资源转化为服务。采用虚拟化软件( 如Vmware，Virtual PC 等) 在虚拟服务器和底层硬件之间建立一个抽象层，然后将卫星遥感相关应用模块迁移到虚拟层上，不同应用模块共享底层硬件计算和存储资源。在建设时，服务器、存储设备以及应用程序等通过虚拟化软件整合成统一资源，动态地给各个应用系统按需分配资源，实现应用的动态迁移。

　　平台搭建具体包括搭建公共云、业务云和支撑云3个平台，对相应信息和数据资源等进行整合。其中，公共云将可供公共使用的数据和信息以及其他相应资源放在该平台上; 业务云为数据中心内部各个业务部门的相互连通而搭建; 支撑云为公众云和业务云的搭建和运行提供资源和技术层面的支持。服务提供使所建云平台向不同的集成系统提供丰富的云端服务。通过分布式高性能卫星遥感信息归档云平台，为用户提供能进入数据分析、知识查询的专用入口。

　　7 结语

　　本文提出大数据环境下卫星对地观测数据集成系统建立与应用中亟待解决的关键技术，包括大容量对地观测数据的存储优化技术、基于网格的遥感图像快速处理技术、海量卫星遥感图像数据的深度分析与地学知识发现技术、基于共享知识库的多数据中心协同处理及归档技术。通过这些关键技术建立卫星对地观测数据集成系统，实现集成卫星图像、地面观测数据和模拟模型的元数据管理、几何精度纠正和卫星数据质量评价、海量卫星图像数据的空间分析与知识发现、分布式高性能卫星图像数据管理和归档系统等基本功能，能够为解决海量卫星数据分布式存储与计算、数据集成与互操作、空间数据分析与地学知识发现这些问题提供新思路、新技术与新方法。

　　参考文献( Ｒeferences) :

　　［1］ Wang Yi． The development of the Earth observation system［J］．Advances in Earth Science，2005，20( 9) : 980-989．［王毅． 新一代对地观测系统的发展［J］． 地球科学进展，2005，20( 9) : 980-989．］

　　［2］ Li Deren，Tong Qingxi，Li Ｒongxing，et al． Current issues inhigh-resolution Earth observation technology［J］． Science in China( Series D) ，2012，42( 6) : 805-813．［李德仁，童庆禧，李荣兴，等． 高分辨率对地观测的若干前沿科学问题［J］． 中国科学: D辑， 2012， 42( 6) : 805-813．］

　　［3］ Max Craglia，Kees de Bie，Martino Pesaresi，et al． Digital Earth2020: Towards the vision for the next decade［J］． InternationalJournal Digital Earth，2012，5: 4-21．860 地球科学进展第30 卷

　　［4］ Li Deren． Opportunities for geomatics［J］． Geomatics and InformationScience of Wuhan University，2004，29( 9) : 753-756．［李德仁． 地球空间信息学的机遇［J］． 武汉大学学报: 信息科学版，2004， 29( 9) : 753-756．］

　　［5］ Li Deren，Shen Xin． Intelligent Earth observing system［J］． Scienceof Surveying and Mapping，2005，30( 4) : 9-11．［李德仁，沈欣． 论智能化对地观测系统［J］． 测绘科学，2005，30 ( 4 ) : 9-11．］

　　［6］ Ｒong Xie，Ｒyosuke Shibasaki． Creating a satellite-data integrationsystem［J］． GIM International，2006，20( 12) : 21-23．［7］ Gong Jianya． Advances in Earth Observation Data Processing andAnalysis［M］． Wuhan: Wuhan University Press，2007．［龚健雅．对地观测数据处理与分析研究进展［M］． 武汉: 武汉大学出版社，2007．］

　　［8］ James Manyika，Michael Chui，Brad Brown，et al． Big Data: TheNext Frontier for Innovation，Competition，and Productivity［Ｒ］．McKinsey Global Institute， 2011．

　　［9］ Daniel Sui，Sarah Elwood，Michael Goodchild． Introduction: Volunteeredgeographic information，the exaflood，and the growingdigital divide［M］∥Crowdsourcing Geographic Knowledge: VolunteeredGeographic Information ( VGI) in Theory and Practice．New York: Springer，2013: 1-14．

　　［10］ Big Data Expert Committee of China Computer Federation． WhitePaper of Big Data Technologies and Industry Development in China［Z］． Beijing: China Computer Federation，2013．［中国计算机学会大数据专家委员会． 中国大数据技术与产业发展白皮书［Z］． 北京: 中国计算机学会， 2013．］            ［11］ Yu Xing． The bigdata tool for geochemical study of seabedrocks—PetDB and its application in geoscience［J］． Advances inEarth Science，2014，29( 2) : 306-314． ［余星． 海底岩石地球化学研究中的“大数据”———PetDB 及其应用［J］． 地球科学进展， 2014， 29( 2) : 306-314．］

　　［12］ Li Guoqing，Wu Yanhui． Scientific research of Earth observationin era of big data［J］． China Computer Society Newsletter，2013，9( 9) : 27-31．［李国庆，邬延辉． 大数据时代的对地观测科学研究［J］． 中国计算机学会通讯，2013，9( 9) : 27-31．］

　　［13］ Zhou Xiaofang，Lu Jiaheng，Li Cuiping，et al． Challenges of bigdata from the perspective of data management［J］． China ComputerSociety Newsletter，2012，8( 9) : 16-20．［周晓方，陆嘉恒，李翠平，等． 从数据管理视角看大数据挑战［J］． 中国计算机学会通讯， 2012，8( 9) : 16-20．］

　　［14］ Qin Xiongpai，Wang Huiju，Du Xiaoyong，et al． Big data analysis—Competition and symbiosis of ＲDBMS and MapＲeduce［J］．Journal of Software，2012，23( 1) : 32-45．［覃雄派，王会举，杜小勇，等． 大数据分析———ＲDBMS 与MapＲeduce 的竞争与共生［J］． 软件学报，2012，23( 1) : 32-45．］

　　［15］ Yang Bingxin． Brief introduction to Xiangshan science conferencesof nos［J］． China Basic Science，2012，14 ( 4) : 22-29．［杨炳忻． 香山科学会议第420-424 次学术讨论会简述［J］．中国基础科学，2012，14( 4) : 22-29．］

　　［16］ Gong Xueqing，Jin Cheqing，Wang Xiaoling ， et al． Data-intensivescience and engineering: Ｒequirements and challenges［J］．Chinese Journal of Computers，2012，35( 8) : 1 563-1 578．［宫学庆，金澈清，王晓玲，等． 数据密集型科学与工程: 需求和挑战［J］． 计算机学报，2012，35( 8) : 1 563-1 578．］

　　［17］ Wang Shan，Wang Huiju，Qin Xiongpai，et al． Architecting bigdata: Challenges，studies and forecasts［J］． Chinese Journal ofComputers，2011，34( 10) : 1 741-1 752．［王珊，王会举，覃雄派，等． 架构大数据: 挑战、现状与展望［J］． 计算机学报，2011，34( 10) : 1 741-1 752．］

　　［18］ Ma Shuai，Li Jianxin，Hu Chunming． Challenging and thinkingof big data science and engineering［J］． China Computer SocietyNewsletter，2012，8( 9) : 22-30．［马帅，李建欣，胡春明． 大数据科学与工程的挑战与思考［J］． 中国计算机学会通讯，2012，8( 9) : 22-30．］

　　［19］ Li Guojie． The scientific value of big data research［J］． ChinaComputer Society Newsletter，2012，8( 9) : 8-15．［李国杰． 大数据研究的科学价值［J］． 中国计算机学会通讯，2012，8( 9) : 8-15．］

　　［20］ International Organization for Standardization． ISO/TC 211-Geographicinformation /Geomatics［S /OL］． ( 2005-07-28) ［2015-01-24］． http: ∥www． iso． org /iso /home /store /catalogue_tc /catalogue_tc_browse． htm? commid = 54904．

　　［21］ OGC． The OpenGIS Abstract Specification［S /OL］． ( 2005-07-28) ［2015-01-24］． http: ∥www． opengeospatial． org /standard /as．

　　［22］ Gu Xingfa． Development Status and Prospects of China Earth ObservationSystem［Ｒ］． Wuhan: Wuhan University，2010．［顾行发． 中国空间对地观测体系发展现状与前瞻［Ｒ］． 武汉: 武汉大学， 2010．］

　　［23］ State Administration of Science，Technology and Industry for NationalDefense［EB/OL］． China Major Projects of High-ＲesolutionEarth Observation System，2007． ［2015-04-06］． http: ∥www． sastind． gov． cn /n25770 /index． html．［国家国防科技工业局［EB /OL］． 中国高分辨率对地观测系统重大专项网，2007．［2015-04-06］． http: ∥www． sastind． gov． cn /n25770 /index．html．］

　　［24］ Gu Xingfa． Thinking of Industry Development of China’s SatelliteApplications［Ｒ］． Wuhan: Wuhan University，2010．［顾行发． 我国卫星应用产业发展思考［Ｒ］． 武汉: 武汉大学，2010．］

　　［25］ Dai Weimin． Techniques and Methods of Semantic Web Informationorganization［M］． Shanghai: Academia Press，2008．［戴维民． 语义网信息组织技术与方法［M］． 上海: 学林出版社，2008．］

　　［26］ Ｒong Xie，Ｒyosuke Shibasaki． Imagery metadata developmentbased on ISO/TC 211 standards［J］． CODATA Data ScienceJournal，2007，6( 3) : 28-45．

　　［27］ Hua Yu，Jiang Hong，Zhu Yifeng，et al． SmartStore: A newmetadata organization paradigm with semantic-awareness for nextgenerationfile systems［C］∥Proceedings of the InternationalConference for High Performance Computing，Networking，Storageand Analysis，2009: 1-12．

　　［28］ Zeng Shaobin，Xie Chuanjie，Li Jiaqi，et al． Parallel fusion for第8 期谢榕等: 大数据环境下卫星对地观测数据集成系统的关键技术861remote sensing images based on grid services［J］． Journal of Geo-Information Science， 2010，12( 2) : 269-274．［曾少斌，谢传节，李佳琪，等． 基于网格服务的遥感图像并行融合［J］． 地球信息科学学报， 2010， 12( 2) : 269-274．］

　　［29］ Li Shengyang，Zhang Aijun，Zhu Chongguang，et al． Fast processingof grid-based remote sensing images［J］． Computer Engineering，2007，33( 6) : 35-37．［李盛阳，张爱军，朱重光，等．基于网格的遥感图像快速处理［J］． 计算机工程，2007，33( 6) : 35-37．］

　　［30］ Dhruba Borthakur． The Hadoop Distributed File System: Architectureand Design ［Ｒ］． The Apache Software Foundation，2007．

　　［31］ Jeffrey Dean，Sanjay Ghemawat． MapＲeduce: Simplified dataprocessing on large clusters［J］． Communications of the ACM，2008，51( 1) : 107-113．

　　［32］ Kyuseok Shim． MapＲeduce Algorithms for Big Data Analysis，Proceedings of 8th International Workshop［C］． Berlin: Springer-Verlag Heidelberg，2013: 44-48．

　　［33］ Thomas Erl，Ｒicardo Puttini，Zaigham Mahmood． Cloud computing:

　　Concepts，Technology ＆ Architecture［M］． New York: ServiceTechPress，2013．

　　［34］ Navid Golpayegani，Milton Halem． Cloud computing for satellitedata processing on high end compute clusters［C］∥IEEE InternationalConference on Cloud Computing． Bangalore， India，2009: 88-92．

　　［35］ Lu Junjie，Hou Weizhen． Construction of e-government cloudplatform oriented information resources integration［J］． LibraryStudies，2012，13: 36-40．［鲁俊杰，侯卫真． 面向信息资源整合的电子政务云平台构建研究［J］． 图书馆学研究，2012， 13:36-40．］