世界数字技术院（ WDTA） 生成式人工智能应用安全测试标准 世界数字技术院标准 WDTA AI -STR-01 版本： 2024 -04 2 © WDTA 2024 – 保留所有权利。 世界数字技术标准 WDTA AI-STR-01 被指定为 WDTA 规范。 本文件为世界数字技术院 （ WDTA） 的财产，受国际版权法保护。未经 WDTA事先书面许可，禁止使用本文件，包括复制、修 改、分发或重新发布。 WDTA对于本文件中的任何错误或遗漏不承担责任。 更多WDTA标准和相关出版物，请访问 https://wdtacademy.org/ 3 目 录 前言 ................................ ................................ ................................ ................................ . 5 1 范围 ................................ ................................ ................................ ....................... 9 2 目标受众 ................................ ................................ ................................ .............. 12 3 规范参考 ................................ ................................ ................................ .............. 13 4 术语和定义 ................................ ................................ ................................ ........... 14 5 人工智能应用安全和验证标准 ................................ ................................ .............. 16 5.1 基础模型选择测试标准 ................................ ................................ ...................... 17 5.1.1 模型合规性和上下文测试 ................................ ................................ ............ 17 5.1.2 数据使用检查测试 ................................ ................................ ....................... 20 5.1.3 基础模型推理 API安全测试 ................................ ................................ ........ 26 5.2 嵌入和向量数据库 ................................ ................................ ............................. 33 5.2.1 数据清洗和匿名化测试 ................................ ................................ ............... 33 5.2.2 向量数据库安全测试 ................................ ................................ ................... 34 5.3 使用 RAG（检索增强生成）的提示和知识检索 ................................ ................ 37 5.3.1 提示构造测试 ................................ ................................ .............................. 38 5.3.2 外部 API集成测试 （函数调用、插件 ） ................................ ...................... 43 5.3.3 向量数据库检索测试 ................................ ................................ ................... 44 5.4 提示执行 /推理 ................................ ................................ ................................ ... 45 5.4.1 LLM应用 API测试 ................................ ................................ ..................... 45 5.4.2 缓存和验证测试 ................................ ................................ .......................... 49 5.5 代理行为 ................................ ................................ ................................ ........... 50 5.5.1 提示响应测试 ................................ ................................ .............................. 50 5.5.2 记忆利用测试 ................................ ................................ .............................. 51 5.5.3 知识应用测试 ................................ ................................ .............................. 52 5.5.4 规划能力测试 ................................ ................................ .............................. 52 5.5.5 行动执行测试 ................................ ................................ .............................. 53 5.5.6 工具利用测试 ................................ ................................ .............................. 53 5.5.7 过度代理测试 ................................ ................................ .............................. 54 5.6 微调 ................................ ................................ ................................ .................. 55 5.6.1 数据隐私检查测试 ................................ ................................ ....................... 55 5.6.2 用于微调的基础模型选择测试 ................................ ................................ ..... 56 5.6.3 用于微调的基础模型存储测试 ................................ .........