关于大语言模型一体化评测的研究和实践
(中国电信股份有限公司 江苏分公司,江苏 南京 210037)
摘要
随着大语言模型应用日益广泛,如何准确、客观、全面地评估大模型能力,已成为学术界与产业界共同关注的重要话题。近年来,江苏电信积极开展大语言模型(Large Language Models, LLMs)的探索和实践,通过大模型重构了BMO域多个应用。文章介绍了江苏电信基于当前开源大模型生态的一体化评测方案及系统实践,该方案能够敏捷接入最新发布的开源大模型,并实现基于实际应用的大模型盲测选型,为构建更加科学完善的大语言模型评测系统提供有益参考。
关键词
大语言模型;评测;框架
参考文献
- [1] 金源,李成智.AI大模型的财务能力测评与启示——基于CPA考试的ChatGPT与国产大模型实测 [J].财会月刊,2024,45(18):44-51.
- [2] 颜璟,陈艳,刘璟.文本理解模型的训练方法和文本理解方法、装置:CN116050465A [P].2023-05-02.
- [3] 余传明,郭亚静,朱星宇,等.基于最大边界相关度的抽取式文本摘要模型研究 [J].情报科学,2021,39(2):34-43.
- [4] 申丽萍,何朝帆,曹东旭,等.大语言模型在中学历史学科中的应用测评分析 [J].现代教育技术,2024,34(2):62-71.
- [5] 张然,赵辉,董昊楠.浅析大模型代码生成技术在数字化银行的应用 [J].中国金融电脑,2024(6):53-55.
- [6] 李志芸,冯落落,李晓瑜,等.一种结合大模型的对话意图识别方法:CN116775870A [P].2023-09-19.
- [7] GitHub. evalplus/evalplus [EB/OL].[2024-12-10].https://github.com/evalplus/evalplus.
- [8] GitHub. THUDM/AgentBench [EB/OL].[2024-12-16].https://github.com/THUDM/AgentBench.
- [9] NI S W,KONG X G,LI C M,et al. Training on the Benchmark Is Not All You Need [J/OL].arXiv:2409.01790 [cs.CL].[2024-12-23].https://doi.org/10.48550/arXiv.2409.01790.
- [10] 许志伟,李海龙,李博,等.AIGC大模型测评综述:使能技术、安全隐患和应对 [J].计算机科学与探索,2024,18(9):2293-2325.
作者简介
何奇(1983.06—),男,汉族,江苏盐城人,工程师,硕士研究生,研究方向:IT系统规划、建设,大数据、AI。