零代码算子流式数据建模分析系统设计与应用
(1.公安部第三研究所 经侦技术处,上海 201400;2.七台河市公安局 经济犯罪侦查支队,黑龙江 七台河 154699)
摘要
系统以“分析研判=数据+模型”为核心思路,基于数据治理与自定义建模分析,实现了对数据蕴含行为的高效识别与精准追踪。系统采用微服务架构,并利用容器技术实现高可用性和弹性扩展,综合应用多模数据库,构建出具备标准化、体系化、场景化与智能化特征的建模分析系统。其中,数据治理流程覆盖了汇聚、校验、分级分类、入库、清洗的全链条,确保了数据质量和一致性。模型层将复杂的数据分析方法拆解成直观、易用的算子组件,通过便捷的拖拽式交互操作,按照实际应用的需要,自由组合和配置算子组件,即可构建出针对性强、灵活性高的分析模型。系统经实际应用检验,质效性提升显著。
关键词
数据治理;零代码建模;算子;机器学习;可视化分析
参考文献
- [1] ROWLEY J. The Wisdom Hierarchy: Representations of the DIKW Hierarchy [J].Journal of Information and Communication Science,2007,33(2):163-180.
- [2] WHITEHEAD J E J,GOLAND Y Y. WebDAV: A Network Protocol for Remote Collaborative Authoring on the Web [C]//ECSCW'99: Proceedings of the Sixth European Conference on Computer Supported Cooperative Work.Norwell:Kluwer Academic Publishers,1999:291-310.
- [3] 王嵩立,荆一楠,何震瀛,等.支持混合事务和分析处理的数据库管理系统综述 [J].软件学报,2024,35(1):405-429.
- [4] FERGUSON A L,PFAENDTNER J. Characteristics of Impactful Machine Learning Contributions to the Journal of Physical Chemistry [J].The Journal of Physical Chemistry A,2023,127(2):415-417.
- [5] 万校基,李海林.基于特征表示的金融多元时间序列数据分析 [J].统计与决策,2015(23):151-155.
- [6] CHEN T Q,GUESTRIN C. XGBoost: A Scalable Tree Boosting System [C]//KDD'16: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York:ACM,2016:785-794.
- [7] SINGH P. Airflow [M]//Learn PySpark.Berkeley:Apress,2019:67-84.
- [8] 于健,赵满坤,高洁,等.基于高阶和时序特征的图神经网络社会化推荐算法研究 [J].计算机科学,2023,50(3):49-64.
- [9] 唐雪飞,樊治强.基于元数据映射关系的结构化数据血缘分析方法 [J].现代电子技术,2022,45(16):67-70.
- [10] 李莹,卫凤林.数据库语言SQL标准演变分析 [J].信息技术与标准化,2011(9):50-52.
- [11] 刘月.衍生品市场中央对手方清算融合发展的路径探析 [J].中国证券期货,2024(4):74-82.
- [12] VLASTELICA M,PAULUS A,MUSIL V,et al. Differentiation of Blackbox Combinatorial Solvers [J/OL].arXiv:1912.02175 [cs.LG].(2019-12-04).https://arxiv.org/abs/1912.02175.
- [13] 张立芳.紧密子图挖掘算法研究 [D].济南:山东大学,2022.
- [14] 乔少杰,韩楠,张凯峰,等.复杂网络大数据中重叠社区检测算法 [J].软件学报,2017,28(3):631-647.
- [15] 曹军.Google的PageRank技术剖析 [J].情报杂志,2002(10):15-18.
- [16] 李凡,赵姝,陈洁,等.基于加权中介中心性的结构洞占据者方法获取 [J].南京大学学报:自然科学,2017,53(4):756-763.
- [17] 闫泓任,马国帅,钱宇华.基于节点度中心性的无监督特征选择 [J].数据采集与处理,2019,34(2):312-321.
- [18] 潘曙灿,许青林.融合特征向量中心性与标签熵的标签传播算法 [J].计算机工程与科学,2020,42(8):1489-1499.
- [19] ROCHAT Y. Closeness Centrality Extended to Unconnected Graphs: The Harmonic Centrality Index [C]//Applications of Social Network Analysis ASNA.Zurich:ASNA,2009:1-14.
- [20] ELSEIDY M,ABDELHAMID E,SKIADOPOULOS S,et al. GraMi: Frequent Subgraph and Pattern Mining in a Single Large Graph [C]//Proceedings of the VLDB Endowment.Hangzhou:VLDB Endowment,2014:517-528.
- [21] 赵聪.可视化库D3.js的应用研究 [J].信息技术与信息化,2015(2):107-109.
作者简介
何宪英(1980—),男,汉族,河北承德人,助理研究员,硕士,研究方向:数据挖掘;王临敬(1988—),男,汉族,黑龙江七台河人,二级警长,本科,研究方向:经济犯罪侦查;付豪(1995—),男,汉族,黑龙江佳木斯人,四级警长,本科,研究方向:经济犯罪侦查;陈鹏(1984—),男,汉族,安徽淮北人,工程师,硕士,研究方向:云计算。