2. 地震预警技术测试实验室, 成都 610200;
3. 广东省地震局, 广州 510070;
4. 自贡市应急管理局, 四川自贡 643002
2. Technical Testing Lab for Earthquake Early Warning, Chengdu 610200, China;
3. Guangdong Earthquake Agency, Guangzhou 510070, China;
4. Zigong Emergency Management Administration, Zigong 643002, Sichuan, China
我国在20世纪发生的内陆破坏性地震占全球的三分之一,1949年以来,地震死亡人数达到全部自然灾害死亡人数的52%,汶川8.0级地震、芦山7.0级地震给我国造成了巨大的人员伤亡和经济损失。地震预警是目前世界上公认的,能充分利用地震监测台网资源有效减轻地震灾害的手段之一(金星等,2012)。“国家地震烈度速报与预警工程”(以下简称“国家预警工程”)作为我国重点推进的重大工程,于2018—2023年经过全面建设,我国建成了世界上规模最大、覆盖人群最广的地震烈度速报与预警台网(金星,2021;肖武军,2023)。
由于地震预警对时效性的要求高,结合地震预警系统规模大、无人工干预和自动产出的系统特性,如果受到非地震信号干扰或技术系统错误的影响,地震预警系统就存在地震误报、错报和漏报的风险(马强等,2023;孙丽等,2021;张红才,2013;郭凯等,2012)。例如,2021年发生了四川泸州8.1级和甘肃临洮8.3级地震误报事件,对社会产生了较大的负面影响。国际上,日本作为世界上最早正式启用地震预警系统的国家,2007年底就建成了大地震预警系统并开展了地震预警服务(陈会忠等,2011)。正式运行16年以来,日本地震预警系统多次发生误报和错报,如2016年东京湾9级地震误报、2020年千叶县南部海域7.3级地震错报,导致部分轨道交通短时停运、公众发生恐慌,严重影响了社会稳定。因此,为了最大限度降低地震预警系统运行的风险(如地震误报、错报、漏报等),在地震预警专业软硬件正式上线运行前,需对其开展充分的测试,客观评估地震预警系统处理和产出各环节的关键影响因素,尽可能早地发现地震预警系统缺陷,提高地震预警系统运行稳定性和产出准确性。
同时,地震预警系统核心算法与处理计算的规范性、科学性和合理性也缺乏充足的验证,在上线运行过程中,预警处理结果存在一定偏差,个别情况偏差较大或不合理。因此也需对核心算法、模型和关键逻辑进行大量数据测试验证和统计分析,验证其科学性和合理性。
鉴于此,作为全国第一家地震预警技术方向的专业测试单位,地震预警技术测试实验室(以下简称“实验室”)已初步建成“观测—计算—产出—发布—服务”全链条业务的地震预警技术测试平台,可同时进行预警专业软硬件测试,促进地震预警系统不断完善和成熟。
1 平台的技术构成地震预警技术测试平台主要是由硬件支撑平台、测试用例数据库系统、测试软件系统、测试硬件系统和测试分析系统组成(图 1)。不仅可对地震预警专业软件和硬件进行全流程测试,而且可按照不同测试目的进行针对性测试。
地震预警技术测试平台的硬件支撑平台主要由8台高性能机架式服务器、13台虚拟服务器和6台存储服务器构成的存储阵列组成计算存储资源,用于承载地震预警各项测试业务。利用2台服务器构建实时和模拟流模式的预警数据流服务,实现基准站、基本站和一般站的实时数据汇入以及全国预警台网产出地震波形等数据的人工导入。利用19台服务器部署参数速报软件、地震预警软件、烈度速报软件、融合决策软件等软件系统。
1.2 测试用例数据库系统为保证测试的充分性,测试用例应尽可能覆盖所有合理和不合理的、越界和不越界的真实情形。以此为原则,地震预警技术测试平台构建的测试用例数据库包括真实地震事件、模拟地震事件、真实误触发干扰事件和人工制造假信号四种数据类型。进一步具体划分,真实地震事件包括普通地震事件(大震、中震、小震和远震)、特殊历史地震事件(原地双震、异地双震和震群)、台网划分地震事件(网内、网缘和网外)、非天然地震事件(爆破、核爆等诱发地震)等;模拟地震事件是在历史地震数据的基础上,通过人为自定义修改,从而设计构造的模拟地震事件数据;真实误触发干扰事件包括真实发生的人工标定、雷击和非地震振动等各类数据;人工制造假信号包括人工生成的各类检验预警系统是否误触发的假地震信号。
1.3 测试软件系统基于搭建的硬件支撑平台,部署和运行的测试软件系统包括在线测试系统和离线回溯测试系统各一套(图 2)。地震预警在线测试系统包括:1套波形交换管理软件、3套地震预警软件(JEEW、EEW和JAYAPURA)、1套综合分析软件、1套参数速报软件、1套烈度速报软件、1套二级融合决策软件和1套一级融合决策软件。离线回溯测试系统构建了模拟国、省两级的数据处理中心。模拟国家级数据处理中心包括:1套参数速报软件、2套地震预警软件(JEEW、EEW)、其他预警软件;模拟省级数据处理中心包括:1套参数速报软件、2套地震预警软件(JAYAPURA、EEW)、1套烈度速报软件。模拟国、省两级数据处理中心产出的预警结果首先汇入二级融合决策进行融合选优,进而汇入一级融合决策进行再次融合选优,最终发布正式地震预警信息。
硬件支撑平台的虚拟服务器中分别部署了1套预警终端专用测试软件和1套预警终端设备管理软件。预警终端专用测试软件主要通过录入地震预警信息和地震速报信息,对预警终端进行不同类型(正式地震预警和演练地震预警等)信息的发送测试。预警终端设备管理软件主要功能是实现预警终端注册、授权和远程管理。为进行预警终端报警音量、灯光亮度、不同电压等类型的测试,配置了高精度照度仪、高精度声级计等预警终端专用测试工具。
1.5 测试分析系统测试分析系统分为软件测试分析和硬件测试分析两部分。软件测试分析包括软件巡检测试、在线功能测试、离线回溯测试和偏差自动产出四个模块。硬件测试分析包括终端管理测试、预警信息测试、信息安全测试和其他功能测试四个模块。最后,对于不同模块产出测试结果进行综合评估。
软件巡检测试和在线功能测试模块主要应用于软件在线测试系统。软件巡检测试模块通过对在线测试系统部署的地震预警、融合决策等软件进行系统巡检测试,记录各软件系统运行日志报错信息,生成巡检记录。在保证在线地震预警测试等业务正常运行的基础上,记录其部署的预警专业软件产出地震预警结果情况,主要用于评估预警专业软件处理和产出的稳定性和可靠性。
离线回溯测试模块和偏差自动产出模块主要应用于软件离线测试系统。离线回溯测试模块包括测试数据回放功能和测试数据处理功能两部分。测试数据回放功能为评估预警专业软件的功能和性能效率提供了模拟实验平台,实现回放过程中的波形实时展示和状态监测。从测试用例数据库中选择单一或批量测试用例回放至波形交换管理系统,通过回放功能实现模拟实时数据流。测试数据处理功能通过回放测试用例数据,仿真数据处理过程,测试预警专业软件的各类功能的实现情况和抗干扰能力,进一步分析产出结果的科学性和合理性。偏差自动产出模块是在多套预警专业软件处理产出地震预警结果后,测试平台将其与地震正式目录结果进行对比分析,自动产出预警信息产出用时、震中位置偏差和预警震级偏差等分析结果。
硬件测试分析中,终端管理测试模块通过录入预警终端名称和型号等信息,对预警终端提供注册授权接口,实现在线管理设备和检测在线状态等功能。预警信息测试模块通过发送不同类型测试信息,测试预警终端响应情况是否达到要求,包括预警终端响应时间的及时性、接收测试信息的准确性和完整性、预警终端日志接收和定时上传等。信息安全测试模块主要依据防篡改系统的要求,对预警终端的数字证书认证功能进行测试(赵国峰等,2023)。其他功能测试模块主要测试预警终端警报音量、存储空间、电源适应性、网络通信等。
2 平台承载的业务功能地震预警技术测试平台主要分为软件测试平台和硬件测试平台两大部分,逐步实现地震监测预警领域“测软件、测功能、测仪器、测技术、测策略”的整体功能。
如图 3所示,软件测试平台通过将基准站、基本站和一般站实时波形数据(在线测试系统)或真实地震事件、模拟地震事件和误触发干扰事件等测试用例数据库波形数据(离线测试系统)汇集至波形交换系统,预警数据处理系统(包括多套地震预警专业软件)对接收到波形数据进行处理和产出预警结果,融合决策平台依据策略对预警结果进行融合选优后,发布地震预警信息。软件测试平台部署的软件巡检测试模块、在线功能测试模块、离线回溯测试模块和偏差自动产出模块对上述处理过程和产出结果进行分析评估,用于验证软件运行的稳定性、处理和产出功能的完备性和正确性。
如图 4所示,硬件测试平台主要通过预警终端专业测试软件、设备管理软件两大测试业务系统,配合仪器设备专用测试工具对预警终端设备进行终端管理测试、预警信息测试、信息安全测试和其他功能测试。具体测试内容包括终端注册、终端管理、远程控制、信息发布、信息反馈接收、模拟地震演练、数字证书加密等,测试完成后对测试结果进行分析评估,检验预警终端减灾服务能力,进一步规范地震预警终端在信息接收及时性、准确性、完整性、安全性等方面的要求。
针对不同的测试情境,地震预警技术测试平台开发和使用波形数据模拟构建技术,构建了不同类型的测试波形数据。以全国地震预警台网获取的地震事件波形数据为基础,通过单个或多个地震波形平移、波形组合、波形叠加和波形拆分等方式进行波形数据重构,模拟生成包括大震、中震、小震、近震、远震、异地双震、同地双震、震群和混叠地震等波形数据。以天然和人工构建的地震波形数据为基础,可按照不同的测试目的,叠加一定的延时、不同的脉冲或误触发干扰事件(雷击、爆炸和其他非地震振动)后生成测试波形数据。
3.2 多环境下测试系统构建技术由于所需测试环境不尽相同,地震预警技术测试平台构建了在线测试系统和离线回溯测试系统。在线测试系统从接入基准站、基本站和一般站台站的实时观测数据,到形成波形交换数据流,再到接入地震预警等业务软件,最后将预警结果汇入融合决策软件进行决策选优,整套测试流程完全按照地震预警正式业务系统的要求构建完成。为了不影响正式地震预警业务系统,在线测试系统与正式业务系统完全隔离运行。离线回溯测试系统中,利用仿真技术高度还原了国家预警工程国、省两级数据处理中心,可同时进行国家级和省级模拟环境下的测试。并且,震例回溯测试系统可以根据实际测试目的,进行单个或批量等不同量级的测试。
3.3 测试平台系统性搭建随着地震预警的广泛推进,世界各国陆续推出了基于多种算法的地震预警系统,但目前并没有相对成熟的评测系统对不同预警系统或软件进行评测(王红蕾等,2019)。实验室搭建完成了面向地震预警技术方向的专业化测试平台,开展了“观测—计算—产出—发布—服务”全流程测试业务,实现包括地震预警专业软件和硬件在内的一体化系统性测试,不仅可适配不同类型和版本的预警专业软件和硬件测试,而且初步探索建立了一套相对成熟的测试评估方法。
4 平台的应用实效对地震预警专业软硬件测试结果进行分析评估具有以下现实意义:①科学评估预警专业软硬件运行风险;②为预警专业软硬件完善和升级提供科学依据;③为预警专业软硬件版本定型和安装部署提供技术支撑;④以此建立长期攻关研发机制,促进预警技术可持续发展。本文以单个地震和批量震例测试为例,对地震预警技术测试平台的应用实效进行具体阐释。
4.1 泸县M6.0地震离线测试以2021年9月16日四川泸县M6.0地震为例,进行单个地震离线测试分析。如图 5所示,通过预警测试软件进行泸县M6.0地震事件波形回放,模拟实时数据流。
泸县M6.0地震的模拟数据流汇集到模拟国、省两级数据处理中心后,模拟省级部署的预警软件JAYAPURA和EEW及模拟国家级部署的预警软件JEEW和EEW对接收到的地震波初至信号进行震相识别后,快速进行地震震中定位、震级和震中烈度等计算。如图 6所示,模拟国、省两级数据处理中心部署的4套预警专业软件均正常产出地震预警信息,并将其推送至预警客户端。
如图 7所示,模拟国、省两级处理中心部署的预警专业软件产出的地震预警信息分别推送至二级融合决策系统(模拟省级和国家级),两套二级融合决策系统产出的地震预警结果推送至一级融合决策系统,一级决策系统将推送的地震预警结果进行融合选优后,对外发布正式地震预警信息(第1报预警震级5.0级,震中位置偏差8km,震级偏差-1.0,震中烈度偏差-1.1)。
模拟预警专业软件JEEW(国家级)、模拟EEW(国家级)和模拟EEW(省级)、模拟JAYAPURA(省级)产出第1报预警用时分别为4.8s、5.2s、5.2s、6.7s,均达到秒级预警(图 8)。由于符合同时有2套二级决策融合决策系统产出结果,且在二级融合决策系统中总共有不低于2套预警专业软件产出结果的发布策略,因此一级融合决策系统根据策略选择了模拟JEEW(国家级)、模拟EEW(国家级)和模拟EEW(省级)3套预警软件的第1报预警信息进行融合选优后发布正式结果,因此一级融合决策产出第1报预警信息发布用时为5.3s。4套预警专业软件和一级融合决策系统产出第2报预警信息用时均小于8s,结果产出迅速。
4套预警专业软件和一级融合决策系统产出第1报的震中位置偏差均控制在8km以内,定位较为精准(图 9)。随着参与计算台站数增多和时程变长,除预警软件JAYAPURA以外,第2报的震中位置偏差均控制在4km以内。预警软件JAYAPURA的第1报和第2报震中位置偏差分别为7.4km和7.0km,原因在于其第1报(用时6.7s)产出0.3s后即产出第2报(用时7s)地震预警信息,报次产出更新过快会在一定程度上降低计算的精度。
模拟国、省两级数据处理中心部署的4套预警专业软件和一级融合决策系统产出第1报的预警震级分别为M5.0、M4.3、M5.4、M4.4和M5.0,震级偏差以中国地震台网正式地震目录为准,震级偏差均在-1.7级以内(图 10)。随着地震动时程变长和参与计算台站数量逐渐增加,4套预警专业软件和一级融合决策系统产出预警震级偏差逐渐降低,第2报的预警震级偏差均在-0.7级以内。
第1报预警震级偏差较大,主要原因包括:①4套预警专业软件和一级融合决策系统产出第1报的实际用时均小于7s,地震预警产出“快”和结果“准”有一定的矛盾(Wald,2019),说明目前地震预警技术存在一定的局限性;②中强震和大震的破裂时间长,地震预警使用有限的地震波初至信号进行震级估算,只能获取有限的破裂信号,并不能捕获最大能量释放信息,会造成一定程度的震级低估。
4.5 批量震例离线测试以2017—2023年100个震例进行批量震例离线测试分析。该批震例发震地点位于国内北京、河北、山西、青海、广东、云南和西藏等地区及国外老挝和缅甸等国家。其中弱震(1.0≤M<3.0)共2个,有感地震(3.0≤M<4.5)共32个,中强震(4.5≤M<6.0)共55个,强震(M≥6.0)共11个。批量震例回溯流程与单个地震一致而不再赘述,下面仅从批量震例产出结果方面进行详细分析。
离线回溯测试系统部署的4套预警专业软件对100个震例进行批量处理和产出结果数量如图 11所示,其中4套预警专业软件的预警结果产出率分别为模拟JEEW(国家级)85%、模拟EEW(国家级)88%、模拟JAYAPURA(省级)88%、模拟EEW(省级)89%。
由于对地震预警的时效性要求高,因此“快”是地震预警极其关键的指标。要达到“快”的要求,预警专业软件采用的算法必须高效,信息传输处理用时也必须压缩(张晁军等,2022;Brooks et al,2021;李同林等,2021;杨陈,2019)。如图 12所示,模拟JEEW(国家级)产出85个震例第1报平均预警用时9.8s,其中65个震例第1报预警用时小于10s,10个震例第1报预警用时大于20s;模拟EEW(国家级)产出88个震例第1报平均预警用时9.8s,其中65个震例第1报预警用时小于10s,6个震例第1报预警用时大于20s;模拟JAYAPURA(省级)产出88个震例第1报平均预警用时9.3s,其中68个震例第1报预警用时小于10s,9个震例第1报预警用时大于20s;模拟EEW(省级)产出89个震例第1报平均预警用时8.3s,其中70个震例第1报预警用时小于10s,6个震例第1报预警用时大于20s。
4套预警专业软件产出第1报中,预警用时大于20s的震例发震地点位于青海海西、新疆阿克苏和西藏昌都等地震预警台网稀疏地区,因此第1报预警用时相对较长。在100个批量震例回放的性能压力条件下,4套预警专业软件产出的预警信息第1报均有65% 以上的比例达到秒级预警,满足对于预警系统“快”的要求,检验了预警专业软件的处理性能。
4.7 批量震例震中位置偏差分析如图 13所示,模拟JEEW(国家级)产出第1报平均震中位置偏差为7.0km,其中56个震例第1报震中位置偏差小于5km,6个震例第1报震中位置偏差大于20km;模拟EEW(国家级)产出第1报平均震中位置偏差为5.9km,其中59个震例第1报震中位置偏差小于5km,4个震例第1报震中位置偏差大于20km;模拟JAYAPURA(省级)产出第1报平均震中位置偏差为7.4km,其中51个震例第1报震中位置偏差小于5km,7个震例第1报震中位置偏差大于20km;模拟EEW(省级)产出第1报平均震中位置偏差为6.3km,其中58个震例第1报震中位置偏差小于5km,6个震例第1报震中位置偏差大于20km。
4套预警专业软件产出第1报中,震中位置偏差大于20km的震例发震地点位于新疆和田、西藏昌都和青海海西等地震预警台网稀疏地区,因此震中定位偏差相对较大。与地震正式目录结果对比,模拟JEEW(国家级)、模拟EEW(国家级)、模拟JAYAPURA(省级)和模拟EEW(省级)批量地震产出第1报震中定位,分别有56%、59%、51%、58%比例产出结果的震中位置偏差小于5km,定位精度较高。
4.8 批量震例预警震级分析如图 14所示,模拟JEEW(国家级)产出第1报平均震级偏差为-0.1级,其中78个震例第1报震级偏差控制在±1以内,最大震级偏差为-2.4级(四川资中M5.2地震);模拟EEW(国家级)产出第1报平均震级偏差为-0.4级,其中73个震例第1报震级偏差控制在±1以内,最大震级偏差为-2.7级(青海玛多M7.4地震);模拟JAYAPURA(省级)产出第1报平均震级偏差为-0.2级,其中81个震例第1报震级偏差控制在±1以内,最大震级偏差为-2.5级(四川资中M5.2地震);模拟EEW(省级)产出第1报平均震级偏差为-0.6级,其中67个震例第1报震级偏差控制在±1以内,最大震级偏差为-3.1级(青海门源M6.9地震)。
通过划分不同震级区间,进一步分析第1报预警震级偏差(图 15)。在实际震级M<4.0区间内,4套预警专业软件平均震级偏差为0.4级,震级偏差为负(预警震级偏小)的比例为13.8%(图 15(a));在实际震级4.0≤M<5.0区间内,4套预警专业软件平均震级偏差为-0.2,震级偏差为负(预警震级偏小)的比例为63.2%(图 15(b));在实际震级5.0≤M<6.0区间内,4套预警专业软件平均震级偏差为-0.7级,震级偏差为负(预警震级偏小)的比例为82.4%(图 15(c));在实际震级M>6.0区间内,4套预警专业软件平均震级偏差为-0.9级,震级偏差为负(预警震级偏小)的比例为94.3%(图 15(d))。实际震级在4.0级以下区间内,预警专业软件均存在高估地震震级的问题。实际震级越大,4套预警专业软件产出第1报预警震级的负偏差越大,预警震级偏小的趋势越明显。实际震级在5.0级以上的中强震和大震区间中,第1报预警震级偏小的概率超过了80%,第1报的最大震级偏差也均出现在此区间(图 15(c)、15(d))。由此说明了实际震级在5.0级以上(尤其是大震)时,预警专业软件均存在低估地震震级的问题。
随着国家预警工程的全面实施,未来预警专业软件性能的提高是今后测试一大重点需求。下一步将健全地震预警技术测试平台的性能效率测试部分,计划引进和使用Burp Suite和LoadRunner测试软件,开发批量台站模拟软件(10万级)和批量终端模拟软件等专用测试工具。如图 16所示,利用软件性能测试工具软件,进一步针对预警专业软件开展渗透测试、负载测试、压力测试、并发性能测试、疲劳强度测试和大数据量测试,检测在特定条件下软件系统使用资源数量的性能,获得预警软件系统的性能表现情况,发现、验证和修改影响软件系统性能的缺陷,为软件系统性能优化提供数据参考。
在测试环境完善、测试功能全面和测试方法科学的基础上,地震预警技术测试平台从观测到服务过程中通过系统性测试尽可能降低预警系统运行风险,不断提升预警专业软硬件产出稳定性和准确性,为地震预警技术攻坚和性能优化提供科学依据,促进预警信息产出的“准”和“快”之间的平衡提升。该平台现已为国家预警中心、多个省级预警中心和软硬件开发单位进行了多次系统性地震预警专业软硬件测试工作,进一步实现了“地震预警,测试先行”。
地震预警技术测试平台目前为初期版本,从实际测试执行情况来看,平台存在一定的不足:①测试和分析全流程自动化尚未实现;②可视化界面有待开发;③评测标准的全面性和规范性有待完善。因此,后续应重点完善地震预警技术测试平台的测试和分析全流程自动化和可视化功能,提高测试和分析效率。今后,需要进一步丰富测试用例的类型和数量,完善测试流程,形成标准的测试规程和量化指标体系。
当前,云计算、大数据、人工智能等创新技术层出不穷,在各行各业应用日益广泛。然而,上述技术在我国地震预警业务领域应用还比较薄弱,严重影响了预警业务技术水平和高质量发展。未来,地震预警技术测试平台应建立长期攻关研发机制,为下一代地震预警技术发展做好技术储备,为实现地震预警系统迭代更新和可持续发展奠定基础。
陈会忠、侯燕燕、何加勇等, 2011, 日本地震预警系统日趋完善, 国际地震动态, (4): 10-15. |
郭凯、温瑞智、卢大伟, 2012, 地震预警系统应用的社会影响调查与分析, 自然灾害学报, 21(4): 108-115. |
金星, 2021, 地震预警与烈度速报: 理论与实践, 北京: 科学出版社.
|
金星、张红才、李军等, 2012, 地震预警连续定位方法研究, 地球物理学报, 55(3): 925-936. |
李同林、彭朝勇、李萍萍等, 2021, 四川地震预警网外玛多7.4级地震预警分析研究, 中国地震, 37(3): 551-563. DOI:10.3969/j.issn.1001-4683.2021.03.001 |
马强、李山有、金星等, 2023, 地震预警是如何实现的, 防灾博览, (1): 4-9. |
孙丽、梁建宏、徐志国等, 2021, 虚拟地震学家(VS)方法在中国地震台网中的测试和评估, 中国地震, 37(4): 843-856. DOI:10.3969/j.issn.1001-4683.2021.04.010 |
Wald L. 2019. 地震预警如何发布最有效的警报. 陈会忠, 译. 国际地震动态, (11): 1~3.
|
王红蕾、Walter M、高景春等, 2019, 美国地震预警系统ShakeAlert测试与评估, 国际地震动态, (5): 17-25. |
肖武军, 2023, 国家地震烈度速报与预警工程, 防灾博览, (1): 18-23. DOI:10.3969/j.issn.1671-6310.2023.01.003 |
杨陈. 2019. 地震预警设计中的若干系统工程问题研究. 博士学位论文. 北京: 中国地震局地球物理研究所.
|
张晁军、陈会忠、沈萍等, 2022, 地震预警实质的探讨, 地震科学进展, 52(4): 154-160. |
张红才. 2013. 地震预警系统关键技术研究. 博士学位论文. 哈尔滨: 中国地震局工程力学研究所.
|
赵国峰、李卫东、李丽等, 2023, 基于国产密码的地震预警服务系统防篡改框架设计与应用, 地震工程学报, 45(1): 145-152. |
Brooks B A, Protti M, Ericksen T, et al, 2021, Robust earthquake early warning at a fraction of the cost: ASTUTI Costa Rica, AGU Adv, 2(3): e2021AV000407. |