本项目为上海交通大学“大学生创新实践计划”中“深度学习模型安全评估技术研究”项目的仓库,实现了对模型进行安全性评测的功能。
在EvaluationConfig.py文件内加载模型并调整参数,随后运行EvaluationPlatformNEW.py执行测试。
评测结果含十个指标,意义如下:
| 指标名 | 领域 | 说明 |
|---|---|---|
| CACC | 通用 | 原始模型正常任务准确率 |
| ACC | 对抗鲁棒性 | 在固定扰动下执行对抗样本攻击后模型任务准确率 |
| NoisyACC | 对抗鲁棒性 | 叠加高斯噪声后模型任务准确率 |
| BlurredACC | 对抗鲁棒性 | 施加高斯模糊后模型任务准确率 |
| CompressedACC | 对抗鲁棒性 | 图像压缩后模型任务准确率 |
| trigger_std | 后门鲁棒性 | 检测到的后门触发器的异常系数 |
| trigger_size | 后门鲁棒性 | 检测到的后门触发器的大小 |
| PoisonSR | 投毒鲁棒性 | 投毒成功率 |
| After_Datapoison_Defense_ACC | 投毒鲁棒性 | 投毒防御后正常任务准确率 |
| afterPoisonACC | 投毒鲁棒性 | 被投毒攻击后模型正常任务准确率 |