一、文献综述
- 国内外研究现状
- 国外研究现状
Dalvi等人在2004年提出敌手分类（adversarial classification）的概念，指出了早期机器学习在垃圾邮件检测系统中的一些恶意邮件逃避分类检测问题。2005年Lowd等人进一步提出对抗学习（adversarial learning）的概念。Barreno等人在2006年首次较为明确地提出机器学习安全问题的有关概念和知识，包括机器学习系统的攻击分类和敌手建模，并在2010年进一步完善了有关机器学习安全的一些概念。2014年，Szegedy 等发表了一篇非常有影响力的论文，宣称深度神经网络存在决策“盲点（blind spot）”。即对一个图像加入微小的扰动，可使神经网络产生误判，却对人类视觉系统没有任何干扰作用。经过扰动篡改使分类模型误判的数据被称为攻击样本（adversarial sample）。这种神经网络自身的脆弱性引发了研究人员的极大兴趣，针对深度神经网络攻击样本的研究成果大量出现。
- 国内研究现状
国内研究者基于已有的资料和文献，对机器学习安全性问题进行了深入的研究，包括机器学习中的安全性分类、攻击阶段、防御方法等方面。
李盼等人在2018年提出机器学习安全性问题最容易出现也是最早出现在决策树、支持向量机这两种经典分类方法中，多数攻击采取训练期间注入恶意数据或者精心制作恶意数据来逃避分类器的检测。随后有学者提出一种针对基于SVM入侵检测系统的新颖攻击方法——毒性攻击。该方法通过篡改训练数据，进而误导SVM的机器学习过程，降低入侵检测系统的分类模型对攻击流量的识别率。国内外学者普遍认为针对无监督学习中的聚类算法的攻击手段主要是训练期间注入恶意数据，进而影响聚类结果。
国内学者对于机器学习容易发生恶意攻击的阶段，普遍分为针对训练过程的安全威胁和针对测试/推理过程的安全威胁，其中，对于训练过程的安全性威胁最常见的方式是在训练过程中对需要的数据进行投毒，即毒性攻击。对于推理阶段的攻击，攻击者利用训练模型的缺陷精心制作对抗样本来逃避检测，或者模仿受害者以获得非法访问权限，甚至通过基于机器学习的相关应用程序接口来获取内部隐私的训练数据，达到获取受害者隐私信息的目的。对于针对测试/推理过程的攻击，国内学者有两种不同的分类方法，其中，赵文涛等人将其分为欺骗攻击（spoofing attack）（包括逃避攻击、模仿攻击）和逆向攻击，而宋蕾等人根据敌手知识，将此阶段的攻击分为白盒攻击和黑盒攻击（白盒攻击中假设敌手已知目标模型的结构和参数，可以通过分析目标模型结构来构造对抗样本进行对抗攻击；黑盒攻击中敌手得不到目标模型的内部结构和参数，但可以通过 API 进行访问目标模型）。
而对于机器学习安全性防御技术方面，李盼等人提出安全防御技术主要有针对机器学习算法的安全评估、针对训练过程的防御技术、针对测试/推理过程的防御技术以及对数据安全的隐私保护技术这几方面。宋蕾，马春光等人进一步总结出正则化、对抗训练、防御精馏等多种防御方法。
- 研究主要成果
- 机器学习安全性问题分类体系
针对机器学习安全性问题的分类，Barreno等人提出从3个不同角度对攻击行为进行分类，之后经过不断的完善，形成图1所示的分类体系。第一个角度是依据攻击对分类器的影响分为诱发型攻击 （causative attack）（影响训练集）和探索性攻击（exploratory attack）（不影响训练集）。第二个角度依据攻击造成的安全损害（security violation）将其分为完整性攻击（integrity attack）、可用性攻击（availability attack）和隐私窃取攻击（privacy violation attack）。第三个角度从攻击的专一性（specificity of an attack）将其分为针对性攻击（discriminate attack）和非针对性攻击（indiscriminate attack）。
图1 Taxonomy of security threats towards machine learning
- 机器学习敌手模型
Lowd等人最早在2005年提出研究机器学习安全威胁时需要考虑敌手的知识；Barreno 等人在 2010年提出考虑攻击者的目的、能力的敌手模型；Biggio等人在此基础上于2014年进一步完善了机器学习的敌手模型，提出从敌手目标、敌手知识、敌手能力、敌手策略四方面来建立机器学习敌手模型。 具体内容为：
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
