中国地震  2020, Vol. 36 Issue (1): 153-161
地震异构云管理平台的技术架构设计
郭凯1,2,3, 姜立新3, 刘晓雨3, 班世敏4     
1. 中国科学院计算机网络信息中心, 北京 100190;
2. 中国科学院大学, 北京 100049;
3. 中国地震台网中心, 北京 100045;
4. 新华三技术有限公司, 北京 100102
摘要:基于OpenStack的开源标准体系,结合中国地震台网中心和中国地震局第二监测中心的云基础设施现状,设计两级云管理架构,以异构云管理平台作为综合管理平台,纳管区域云管理平台,以统一门户的方式对地震行业云计算资源进行统一管理;通过容器化部署异构云管理平台,初步实现对地震行业云计算资源的统一监控和运行管理。
关键词异构云    云平台    OpenStack    技术架构    
Designing Technical Structure of Heterogeneous Cloud Platform for Earthquake
Guo Kai1,2,3, Jiang Lixin3, Liu Xiaoyu3, Ban Shimin4     
1. Computer Network Information Center, Chinese Academy of Sciences, Beijing 100190, China;
2. University of Chinese Academy of Sciences, Beijing 100049, China;
3. China Earthquake Networks Center, Beijing 100045, China;
4. New H3C Technology Corporation, Beijing 100102, China
Abstract: Based on the open-source standard system of Openstack, combining with the current status of cloud computing platform developed by China Earthquake Networks Center and The Second Monitoring and Application center, CEA, according to the relevant requirements of the national cloud computing standards and specifications, we used the two-level framework of integrated-management platform and resource management platform to unify the cloud computing resources of the earthquake industry, in a unified portal way to realize the unified monitoring and management of the cloud platform in the earthquake industry.
Key words: Heterogeneous cloud     Cloud platform     Openstack     Technical structure    
0 引言

云计算平台通过虚拟化等技术,根据上层应用达到资源共享、快速满足业务等需求,可以有效节约资源、提高用户服务质量(保积元, 2018)。由于地震资料处理数据量大、计算任务大, 云计算技术理所当然是解决上述问题的重要技术, 但目前公有云计算平台还未开展大规模应用, 主要为部署网站、小型业务系统等应用, 考虑到应用领域的特殊性和数据信息的保密性, 如海量数据的传输和处理, 地震行业开展了私有云计算平台的建设和应用(李杰, 2014)。基于自身业务需求, 地震行业已经有较多单位开展了私有云平台的建设和业务研究应用(徐年等, 2018)。蔡寅等(2016)提出基于云端分布式计算技术的大数据分析处理平台体系架构开展强震预警系统的应用研究, 杨乐等(2015)对地震行业建设私有云计算服务平台模型开展相关研究。

云平台的建设应遵循统一架构、统一管理和统一运维的原则, 向上层应用提供功能完善的平台支撑能力, 达到业务敏捷部署、资源按需使用、服务共享的目标(吕红卫, 2016)。目前,地震行业云计算平台主要以私有云的方式进行云资源的提供和服务, 相互独立运行。本文基于中国地震台网中心(以下简称台网中心)和中国地震局第二监测中心(以下简称二测中心)云基础设施平台的现状, 对两地云基础设施平台进行改进, 实现异地双中心云平台资源的统一池化管理及按需动态使用, 支持异地双中心计算、存储、网络资源相关信息的可视化显示, 实现两地虚拟化平台设备、应用、服务等资源的统一管理、统一调度及统一运维, 为用户和管理人员提供全局的云计算、云存储等服务。

1 现状及存在的问题

目前, 地震行业对云计算资源的应用非常广泛, 一般以自建的私有云平台为主进行自身业务的支撑。常见的IAAS层的开源平台有OpenStack、CloudStack、Eucalyptus和OpenNebula, 从近年发展趋势来看, OpenStack和CloudStack的应用情况超过了后两者。当前, 私有云主流的建设框架以OpenStack+KVM为主, 其中OpenStack作为云平台的开源框架已经成为业界主流标准框架, 这得益于其架构的开放性, 可实现对异构虚拟化、网络、存储、安全等资源的统一管理, 并将其作为云服务对外提供服务。在虚拟化层, KVM也已经成为服务器虚拟化领域的成熟主流框架, 其性能稳定, 为业务运行提供高可用保障。

近年来, 随着地震监测台网的不断加密, 防震减灾业务需求的不断强化, 地震行业各级单位为满足业务发展需要, 建设了私有云资源池, 采用集中或分散方式, 部署于业务中心及各省台网中心, 主要承载IT支撑系统和业务平台。台网中心现有云计算平台底层资源基于开源OpenStack+KVM(kernel-based virtual machine), 利用刀片服务器和SAN存储提供计算和存储资源, 支持Win7、WinServer、CentOS、Suse等多种操作系统, 为用户提供IAAS层虚拟化云服务。云计算平台现纳管78台刀片服务器, 后端连接的磁盘阵列以FC方式为平台提供存储资源, 累计容量约200TB。二测中心现有虚拟化平台基于开源OpenStack+KVM云操作系统, 利用刀片服务器和SAN存储提供计算和存储资源, 含32个刀片服务器, 全部用于虚拟化服务器, 存储以FC方式统一向虚拟化平台提供存储资源, 累计容量约70TB。

云计算资源池的建设在促进IT系统集中化部署、实现多业务系统资源共享、降低系统建设成本等方面起到明显作用, 但也面临诸多问题,例如行业内无法统一管理资源池, 不同池间资源不能共享, 建设成本高, 但整体资源利用率低;部分业务应用服务器虚拟化比例较低, 部分资源池还在采用“小型机+磁盘阵列”的传统架构, 带来系统资源扩展和维护成本高的问题;面向行业的分布式云资源池管理体系和运维模式还需要不断探索和完善, 尚未构建统一资源池管理平台, 实现资源集中管理和统一调配的问题。

2 平台设计

近年来, 云计算为企业和政府的数字化转型带来强大动力, 为业务创新搭建了稳固的支撑平台。而随着公有云与私有云的进一步发展, 用户选择云计算架构的方式也在悄然变化。一方面, 私有云在安全性上拥有其天然的优势, 但是公有云丰富的服务种类和充分的资源量却是私有云无法企及的, 客户既需要私有云所具有的数据的安全性, 又需要公有云众多的服务和资源;另一方面, 越来越多的企业和政府机构出于避免供应商锁定等因素的考虑, 在业务部署上逐渐采用了多家云厂商提供服务的策略。因此, 异构云(公有云和私有云的混合、多家云厂商的混合、多云数据中心的混合)将成为云计算架构的主要模式。

按照国家通信行业标准《YD/T 2807.1-2015云资源管理技术要求第1部分:总体要求》(中华人民共和国工业和信息化部, 2015), 建设一套逻辑上统一的云资源管理平台, 采用综合管理平台和资源管理平台两级架构, 即以一级管控平台为统筹调度, 二级服务平台为资源分配及调度的总体框架。一方面在资源层面实现无缝管理, 包括计算资源、存储资源、网络资源等异地双中心云资源的统一管控;另一方面在业务层面实现业务服务统筹运营, 即实现异地云资源申请、资源监控、告警处理均能在云资源管理平台中统一的无差异化管理, 整体架构如图 1所示, 其中国家级云计算中心部署运行异构云管理平台, 行业自建云计算中心以省级节点为单位进行统一纳管。

图 1 地震云计算平台架构设计

为了实现“统筹管控平台+各类资源子服务平台”的两级建设架构, 需要实现对异地异构云平台的资源管理。王金海等(2015)对异构云计算体系下资源分配策略开展了研究工作,吴兴国等(2019)对基于异构资源池管理来实现对分散资源池的统一化管理开展了相关研究。在当前云计算发展的浪潮中, 为应对不同业务需求, 越来越多机构选择多云建设方案, 私有云与公有云异构、不同厂家私有云异构便是其主要表现形式。为实现对这些异构云的管理, 实现对底层异构云平台的纳管是其核心工作, 其需要异构云管理平台通过RestAPI或者其他接口形式与底层云平台进行对接。异构云管理平台通过对接底层异构的公有云或私有云的接口获取其计算、存储、网络、安全等资源的信息及操作权限, 从而实现对底层资源的统一管理。

异构云管理平台应能纳管主流的云计算管理平台, 通过采用两级架构进行设计实现。基于维护难度和兼容性, 华为FusionSphere、H3C CloudOS、阿里云等主流云计算平台API均采用RESTful风格(吴兴国等, 2019), 这里以OpenStack开源体系为基准, 进行标准化接口的设计, 如图 2所示, 满足异地双中心云平台的统一业务管理规范、异地双中心云资源的统一调度和管理, 在保证平台稳定性、安全性的前提下, 最大程度地支持用户自助服务, 实现资源的创建申请、释放申请、自动伸缩以及云主机、云数据库、负载均衡等服务管理内容(李浩然, 2017朱园园等, 2019)。异构云管理平台能够提供对整体资源情况的动态监控、配置以及调度, 实现包括虚拟机、存储、数据库等资源利用率的实时监控, 针对总体资源使用情况进行效能评价;实现对主机安全、虚拟机安全、网络安全、数据安全等云平台安全环境的监控管理。异构云管理平台中云监管接口的标准化设计和兼容性能力非常关键, 通过对下层设备如台网中心和二测中心云业务资源池的RestfulAPI调用, 提供给上层云监管平台需要的接口数据, 从而实现对不同云服务提供商平台的接口整合。

图 2 异构云管理平台功能设计
3 异构云平台建设和部署

为了高效、稳定地对两地云计算平台进行统一管理, 基于台网中心和二测中心云管平台的软硬件环境, 确保云管平台接口的一致性, 对台网中心和二测中心云管理平台统一进行了云管理平台最新版本的升级, 从而与上层异构云管理平台进行更好地适配, 提高业务系统运行和管理维护的可靠性和稳定性;基于集群和容器化部署模式(图 3), 采用3台高性能服务器在台网中心部署了异构云管理平台, 避免出现单节点故障导致系统崩溃的问题。通过对台网中心和二测中心的云平台按照标准接口进行统一接入, 在资源层面实现无缝管理, 对计算资源、存储资源、网络资源等异地双中心云资源进行统一管控;另一方面,在业务层面实现业务服务统筹运营, 即实现异地双中心云资源申请、资源监控、告警处理均能在云资源管理平台中进行统一的无差异化管理, 异构云管理平台对两地云中心的监控和管理界面如图 4所示。

图 3 异构云管理平台部署硬件架构

图 4 异构云管理平台运行界面

异构云管理平台组网方案如表 1所示。

表 1 异构云管理平台组网方案
4 异构云管理平台功能应用

通过地震异构云管理平台的部署应用, 实现了台网中心和二测中心两地云平台的统一运维、统一管理、统一监控, 在业务支撑应用方面主要体现在对两地资源的统一监控、以虚拟机为单位的用户资源管理以及两地资源的统一申请分配等。资源申请流程默认设置为二级审批, 普通用户提交资源申请, 一级组织管理员审批, 二级根据申请资源所在的云, 由CMP上该云的云管理员或资源池管理员审批, 资源申请流程见图 5

图 5 统一门户下的云计算资源申请流程设计

在对两地资源的统一监控方面, 实现了对台网中心和二测中心云主机数量以及CPU、内存和云存储资源的使用情况的监控(图 6), 通过“云服务”功能, 可以对两地正在运行的主机情况进行监控(图 7), 可以就虚拟机、镜像、快照、虚拟网卡等进行管理。

图 6 易购云管理平台计算资源监控

图 7 统一门户下异构云管理平台虚拟机资源管理

通过异构云管理平台可以实现跨区域资源按需申请, 通过统一门户可以按需申请台网中心或二测中心的云计算资源(图 8), 以工单的形式进行提交, 由管理员审批通过后即可使用。用户申请虚机服务时, 管理员能够根据底层各中心计算资源的利用率情况来选择生成虚机的资源域, 达到与双中心的统一资源池化管理, 实现资源的均衡与动态利用。

图 8 异构云管理平台云计算资源申请
5 结论

统一设计和统筹规划地震行业云计算平台管理架构,可以进一步强化行业资源池管理,降低建设成本并提升资源利用率。本文基于OpenStack云管理平台和KVM虚拟化技术,通过设计异构云管理平台和区域云管理平台两级架构,对地震行业云计算资源进行统一纳管,以统一门户的方式为地震行业各项业务提供云计算资源。通过容器化部署的异构云管理平台,对中国台网中心和中国地震局第二监测中心的计算、存储、网络等资源池进行统一管理,达到资源全局化、动态按需使用的效果。

但从统一运维角度方面考虑, 该系统目前还无法做到将底层资源池的告警信息、日志信息进行统一管理, 底层各云管理平台的相关运维信息还需要在各自的云管理平台登陆查询, 针对统一运维工作还需要进一步健全机制与平台建设, 从资源层面、管理层面实现全局纵览, 全盘管理。

致谢: 在异构云管理平台的运行架构设计上得到了中国地震局第二监测中心周辉高级工程师、王丹宁高级工程师的帮助, 在此表示感谢。
参考文献
保积元, 2018.异构云计算平台性能评估模型的设计与实现.硕士学位论文.西安: 西安电子科技大学. http://cdmd.cnki.com.cn/Article/CDMD-10701-1019011856.htm
蔡寅、李红、赵银刚, 2016, 基于私有云计算技术的强震预警系统应用研究, 计算机应用与软件, 33(5): 1-3, 27.
李浩然, 2017. OpenStack虚拟机资源监控关键技术的研究与实现.硕士学位论文.北京: 北京邮电大学. http://cdmd.cnki.com.cn/Article/CDMD-10013-1017291898.htm
李杰, 2014.面向领域的私有云并行处理模型研究.硕士学位论文.青岛: 中国石油大学(华东). http://cdmd.cnki.com.cn/Article/CDMD-10425-1016750165.htm
吕红卫, 2016, 运营商私有云平台建设探究, 电信工程技术与标准化, 29(1): 1-6.
王金海、黄传河、王晶等, 2015, 异构云计算体系结构及其多资源联合公平分配策略, 计算机研究与发展, 52(6): 1288-1302.
吴兴国、蒋辉, 2019, 异构云资源池管理的研究与实践, 电信技术, (11): 23-24, 28.
徐年、李伟、陈飞等, 2018, 江苏省地震局云计算管理平台设计与实现, 华南地震, 38(2): 17-22.
杨乐、郑宁宁、刘晓京, 2015, 云计算在地震行业信息网络服务中的框架研究与设计, 国际地震动态, (6): 6-12.
朱园园、董晔, 2019, 基于OpenStack云资源监控系统设计与实现, 电脑知识与技术, 15(18): 241-242.
中华人民共和国工业和信息化部, 2015, YD/T 2807.1-2015云资源管理技术要求第1部分:总体要求, 北京: 中国标准出版社.