省级自然资源时空大数据云平台研究与应用

作者：李仕佳

来源：《科技资讯》2021年第20期

摘 要：省级自然资源时空大数据云平台立足于一网一库一平台N应用的信息化总体规划，在省政务网（一网）环境下构建一体化数据库（一库），支撑自然资源政务管理与服务平台（一平台）、调查监测及政务服务等应用（N应用）。该文以省级应用为基础，探讨时空大数据云平台技术。通过超融合、海量数据存储、云安全等技术构筑云平台基础，同时引入数据

抽取、清洗、挖掘分析、可视化等数据处理技术，以及分布式平行计算、SOA、微服务、容器等云化技术，提升时空大数据云平台的服务能力，为同类平台建设提供借鉴。 关键词：时空大数据 分布式并行计算 面向服务GIS技术 业务云化 微服务 中图分类号：P208 文献标识码：A文章编号：1672-3791（2021）07（b）-0001-03 Research and Application of Provincial Natural Resources Spatio-temporal Big Data Cloud Platform LI Shijia

（STARGIS （Tianjin） Technology Development Co.， Ltd.， Tianjin， 300384 China） Abstract： The provincial natural resources spatio-temporal big data cloud platform is based on the overall informatization planning of one network， one database and one platform （N application）. And it constructs an integrated database （one database） under the provincial government network （one network） environment to support natural resources government management and service platform （one platform）， investigation and monitoring， government service and other applications （N application）. Based on provincial application， explore the time and space big data cloud platform technology. Build a cloud platform foundation through Hyper-converged， massive data storage， cloud security and other technologies， and introduce data processing technologies such as data extraction， cleaning， mining analysis， and visualization， as well as cloud technologies such as distributed parallel computing， SOA， microservices， and containers to improve service capabilities of time and space big data cloud platform and provide reference for the construction of similar platforms.

Key Words： Spatio-temporal big data; Distributed parallel computing; Service-oriented GIS technology; Business cloudization; Micro-service

業务信息化的推进以数据为基础，与传统静态的、已知的数据相比，大数据是动态的、未知的，时空数据是一种特殊类型的大数据[1]。时空大数据云平台把各种分散的时空数据汇聚在平台上，通过数据的多维融合、关联分析和数据挖掘等过程，找出数据隐含的规律，帮助决策者做出快捷、全面、精准和有效的预判，正如王家耀院士所说“数据隐含价值，计算发现价值，应用实现价值”，时空大数据正日益成为治理体系和治理能力现代化的核心驱动力。近年来，可视化分析、并行数据处理、Hadoop计算框架等技术不断应用到时空大数据业务中[2]。现阶段，迫切需要利用云端运算，对结构复杂、数量庞大的数据进行融合分析，转化为有价值的信息。 1 现状分析

时空大数据来源广泛，数据的丰富性和飞速发展的云计算技术为GIS提供了新的应用模式，在这种形势下，探索云平台建设之路是必然的选择，经历了基础设施的梳理到整合，从数据聚合到按业务梳理，不断地探索时空大数据云平台技术实现之路[3]。为适应当前信息化要求，需要完成以下任务：一是做好总体框架设计，满足未来发展需求;二是构建高效基础支撑层，满足计算、存储、I/O吞吐量、系统稳定性等综合要求;三是提升时空大数据挖掘分析能力，支撑更大范围数据的快速分析和数据深入挖掘能力;四是以应用为导向盘活时空大数据，探索更深入的应用。

2 时空大数据云平台总体框架设计

时空大数据应用云平台四层结构，从下至上分别为基础层、大数据资源中心、政务管理与服务、应用层。云安全体系提供全方位保障，具体情况如图1所示。 2.1 基础层

基于HCI（Hyper Converged Infrastructure）和虚拟化技术，对下层硬件资源进行封装、隔离，抽象为逻辑资源池，向上层操作系统提供多样化的执行环境。利用对象存储、分布式存储技术将时空数据和非时空数据进行存储管理，用大数据计算方法进行抽取、清洗，提供给上层大数据资源中心使用。 2.2 大数据资源中心层

通过数据总线向上层政务管理与服务层提供丰富的数据服务，同时接收来自应用系统层产生的应用数据，不断地丰富时空大数据资源。 2.3 政务管理与服务层

基于GIS微服务架构，提供专题服务、业务规则库和对数字政府通用服务的支撑。 2.4 应用层

通过服务调用和应用开发提供各种自然资源业务应用，按业务层面主要分业务监管与服务应用、调查监测评价应用和政务服务综合应用三大类。 2.5 云安全体系

应用安全方面，通过省统一身份认证系统实行严格身份认证，应用防火墙针对不同应用设置精细策略。数据安全包括容灾备份和传输加密。主机安全方面部署亚信虚拟化防护系统进行深度安全防护。网络安全包括设置安全域、应用防火墙技术对DDoS等攻击进行有效防护。云

平台安全通过多租户隔离实现不同应用的安全隔离。运维安全方面使用堡垒机登录云平台、云服务器和物理设备，实施操作的可追溯审计。 3 超融合高效基础支撑环境

省级时空大数据云平台在原来虚拟化技术的基础之上，按照统一标准构建时空大数据云技术架构，实现裸金属服务器、虚拟机、容器环境、华为基础设施等多套技术体系的融合，最终达到统一化管理。通过隔离驱动层，一方面直接支撑省级时空大数据业务，另一方面通过接口为与“数字政府”之间对接打下基础。 4 时空大数据挖掘分析环境 4.1 分层结构形成时空大数据挖掘

省级时空大数据中心为前、中、后三层结构，前端负责数据应用，中间负责数据处理，后端负责数据收集及存储，具体内容见图2。 4.1.1 后端数据存储

其包含空间数据和其他数据，空间数据描述现实世界的目标，用点、线、面以及实体等基本空间数据结构来表示空间实体的位置、形状、大小及其分布特征;其他数据包括属性、文本、图像等多种空间实体的辅助表示信息数据。数据分涉密版、政务版和公众版，涉密版数据留在涉密存储区，作为其他项目的原始数据集，政务版和公众版数据通过安全隔离网闸摆渡到电子政务外网区或互联网区成为业务应用数据[4]。 4.1.2 中间数据处理

首先，按业务需求对数据源中的表或视图转换成ETL工具可以识别的格式;其次，按规则对抽取的数据进行清洗处理，以纠正数据文件中可识别的错误，使数据具有一致性;最后，对数据进行挖掘分析。 4.1.3 前端数据应用

基础数据服务提供要素、地图、目录 、地名地址、资源共享、资源订阅等查询检索服务;数据处理服务提供在线编辑、应用定制、矢量切片、专题制图等服务;数据分析服务提供通用化空间分析工具、空间数据变化监测分析等。 4.2 时空大数据数据组织

在原有一体化时空大数据组织结构，即公共基础类、专业基础类、业务管理类、公共政务类这四大类进行数据组织的基础上，重点收集补充整合历年的海洋、空间规划、地质环境类数据，不断丰富时空大数据资源。 4.3 分布式计算框架

采用Hadoop主/从集群架构体系。将处理和分析任务分配到不同的云节点上处理;分布式文件系统（HDFS）主要负责集群节点的数据存储，并实现高吞吐率的数据读写;分布式并行计算模型MapReduce[5]用于搜索领域，解决海量时空大数据的计算问题。 5 以应用为导向盘活时空大数据 5.1 业务云化技术

在面向服务GIS架构的基础上探索云化实现，结合容器技术实现微服务架构，达到云化业务应用的目的。

在微服务架构下应用docker容器技术，通过模板制作、应用类型注册、投递方案配置、投递参数配置、投递订单解析、投递流程实现等环节，初步构建了一套业务云化机制[6]。 5.2 应用服务支撑

一是已实现包括三大阳光工程（阳光用地、阳光用矿、阳光用海）、国土空间规划、城市地质和决策参阅等重点应用支撑;二是政务信息共享方面，拟通过数据交换、服务对接等方式和政务大数据中心等实现联通对接，依照部门的职能按需共享，为其他政府部门共享自然资源专题数据，延伸数据服务范围;三是丰富自然资源时空大数据资源，计划利用政务大数据中心的人口、法人、社会信用等各类数据和服务，丰富数据内容。 6 结语

省级时空大数据云平台通过应用超融合架构节省了硬件投资，通过云化业务技术简化了应用部署，通过分布式高性能计算框架提升了业务的对外服务能力，依托云平台建成的自然资源时空大数据中心，实现了数据资源的统一管理，随着数字中国的发展时空大数据云平台将发挥更多作用。 参考文献

[1] 徐刚，周必高，马奇蔚，等.顾及时空信息的暴雨精细化大数据平台构建方法[J].地理空间信息，2021，19（3）：28-30，37，6.

[2] 曹春华，张泽烈.时空大数据服务平台建设模式及应用研究——以重庆市为例[J].测绘通报，2020（10）：135-138.

[3] 趙朋.沈阳市时空大数据共享服务平台关键技术研究[J].测绘与空间地理信息，2020，43（7）：172-175.

[4] 袁辉.面向时间地理分析的轨迹大数据建模与时空邻近性分析研究[D].武汉：武汉大学，2018.

[5] 周洁.面向服务的时空大数据统计分析平台研究及实现[D].北京：北方工业大学，2020. [6]覃现，李玉堂.自然资源审计时空大数据服务体系建设[J].中国高新科技，2020（20）：129-134.