面向AI特性的智能问答功能测试用例设计——以CNKI AI知识问答为例
(同方知网数字科技有限公司,北京 100083)
摘要
随着智能问答检索系统在企业知识管理、学术研究、专业领域问答等场景的广泛应用,其质量保障成为亟待解决的关键问题。与传统软件不同,智能问答系统具有不确定性、模糊耐受性、上下文依赖性、知识边界模糊性和安全脆弱性等核心AI特性,使得传统的测试用例设计方法难以有效评估其质量。文章深入分析智能问答系统的AI特性及其对测试提出的挑战,提出一套面向AI系统特性的功能测试用例设计方法。以CNKI AI知识问答功能为案例,详细阐述针对五大AI特性的功能测试用例设计实践,包括基于蜕变测试的不确定性测试、基于文本变异的鲁棒性测试、基于对话图遍历的上下文测试、基于边界探测的知识边界测试以及基于对抗攻击的安全测试。实践结果表明,该方法成功执行测试用例200个,发现33个问题(其中严重缺陷2个),有效提升了系统的质量和稳定性。文章为智能问答系统的测试提供了系统性的方法指导和可复用的工程实践参考。
关键词
AI特性;测试用例设计;智能问答;质量保障
参考文献
- [1] 郭庆祥,鲍亮亮,周华从,等.CNKI AI在药物化学教学中的应用实践 [J].高教学刊,2026,12(3):114-117.
- [2] 华知大模型2.0在深圳正式发布 [J].中国军转民,2024(9):8.
- [3] 丁少斌,汪红驹.人工智能与金融安全:技术脆弱性、风险演化路径与防范机制 [J].经济体制改革,2026(2):27-36.
- [4] 苏振华,舒乐.风险之内,不确定性之外:公共传播中生成式AI的信任边界 [J].青年记者,2025(12):20-26,32.
- [5] 沈庆超,李行健,姜佳君,等.智能问答系统逻辑推理测试 [J].软件学报,2026,37(2):543-562.
- [6] 茹炳晟,陈磊,朱少民.现代软件测试技术权威指南 [M].北京:电子工业出版社,2025:856.
- [7] DB21/T 3897—2023:张健楠.软件工程 软件缺陷等级判定方法 [S].
- [8] 路辉,王诗琪,万雄,等.面向电网调度自动化系统鲁棒性的验证用例生成方法研究 [J].计算机测量与控制,2026,34(1):259-268.
- [9] 周辉,郭烘佑.大语言模型安全的技术治理:对抗测试与评估审计 [J].西安交通大学学报(社会科学版),2025,45(2):78-88.
- [10] 郑圳,邓伯军.人工智能伦理风险评估的指标与方法研究 [J].人工智能,2025(2):80-92.
作者简介
刘小玲(1980.08—),女,汉族,江苏丰县人,高级工程师,本科,研究方向:软件测试管理。