文章详情

摘要

文章针对省级气象大数据云平台（天擎）中非结构化资料服务与存储问题展开研究，旨在解决因文件索引与实体存储不一致导致的资料获取失败、存储资源利用率过高等问题，以提升平台资料管理的规范性与服务效率。研究基于气象元数据与血缘关系，综合运用数据库技术，通过基于时序的轻量I/O并行校验、差异化时间范围筛选等方法，系统分析了非结构化资料的存储现状、月增量特征及资料服务中的异常情况。结果表明，天擎中存在资料类别不一致、存储位置变更、新旧资料更替、异常测试资料及数据目录异常五类问题；在存储分布上，数值模式、卫星及雷达资料占比较高，其中部分资料的月增量显著。基于数据服务状态分析和存储分析，依据省级资料分布和增量特征优化存储策略，促进气象大数据云平台业务应用中气象资料的规范化管理与高效服务。

关键词

天擎；非结构化资料；NAS；存储优化；元数据；血缘关系

参考文献

1. [1] 徐俊刚，邵佩英.分布式数据库系统及其应用 [M].北京：科学出版社，2012.
2. [2] 徐拥军，何文春，刘振，等.海量气象站点数据分布式存储测试及其应用 [J].贵州气象，2016，40（5）：61-68.
3. [3] 雷鸣.气象大数据分布式存储设计与实现 [J].计算机技术与发展，2021，31（5）：193-197.
4. [4] 汪华，李波，王彪，等.融合架构的分布式数据库技术在气象大数据平台上的应用实践 [J].中低纬山地气象，2020，44（5）：93-96.
5. [5] 徐娟，刘洋，王旭东，等.一种兼容版气象服务接口系统的实现和应用 [J].科技与创新，2022（18）：152-153.
6. [6] 全国气象基本信息标准化技术委员会（SAC/TC 346）.气象数据服务接口规范：QX/T 618—2021 [S].北京：气象出版社，2021.
7. [7] 徐娟，刘鑫，席晓慧，等.数据湖在气象信息系统中的应用 [J].现代信息科技，2022，6（12）：127-129.
8. [8] 周雪莹，魏敏丹，胡丽丽.基于容器云的气象算法管理系统技术研究 [J].电子设计工程，2025，33（5）：35-39.
9. [9] 黄志，黄珩，梁维亮，等.基于“天擎”DPL的业务融入设计与应用初探 [J].气象研究与应用，2022，43（1）：73-77.
10. [10] 李湘，郭利.气象通信系统发展历程 [J].气象科技进展，2018，8（1）：44-45.
11. [11] 赵芳，何文春，张小缨，等.全国综合气象信息共享平台建设 [J].气象科技进展，2018，8（1）：171-180.
12. [12] 贾晨刚，王玮.基于气象大数据云平台的文件存储优化设计 [J].陕西气象，2025（5）：82-86.
13. [13] 朱添福，余永城，王笑.福建省气象地理信息服务平台设计及应用 [J].海峡科学，2024（5）：110-114，145.

基金项目

甘肃省联合科研基金项目（25JRRA1116）；甘肃省气象局气象科学技术研究项目（Ms2025-A-3）；甘肃省气象信息与技术装备保障中心科技创新基金项目（Ms202402）；甘肃省气象信息与技术装备保障中心科技创新基金项目（XXZXZd202601）

作者简介

张卫卫（1995—），女，汉族，甘肃定西人，工程师，硕士研究生，研究方向：气象信息技术和数据处理；通信作者：许竹霞（1987—），女，汉族，甘肃兰州人，高级工程师，硕士研究生，研究方向：气象信息处理。