• 万博maxbextx注册动态
  • 最新资讯
  • 营销策略
  • 广告前沿
  • 品牌战略
  • 合作客户
  • 合作客户
  • 联系我们
  • 联系方式
  • 最新资讯
  • 营销策略
  • 广告前沿
  • 品牌战略
  • 腾讯发布业内首个AI安全攻击矩阵,可像查字典一样排查风险
    发布时间:2020-09-27 | 来源:

    近年来,AI 技术在图像识别、语音识别、自然语言翻译等领域得到广泛应用。因此,在关键的 AI 应用场景上,其安全问题也逐步成为企业所担忧和关注的话题。

    如果说模型误判是对 AI 系统攻击,那么信息泄露就是对 AI 系统的窃取。这种攻击可导致模型功能被第三方还原,造成用户隐私的泄漏、公司信息资产被窃取等巨大危害。

    一个良好的模型,往往需要大量的算力训练与高质量的数据支持。很多场景下,企业将训练好的模型部署在云端,开放 API 接口供用户使用。用户可以根据大量的输入查询,得到大量模型输出,从而对此系统建模,逆向还原其功能,进而降低商用模型的竞争力并削减其收益。

    在医疗或金融领域,用户的数据是极为重要的资源,如果泄露,会造成严重的隐私危机和商业价值流失。由于机器学习是数据驱动的,研究者通常采用分布式方法打破数据孤岛,联合企业间数据,并保证数据安全。

    但是在这种场景下,训练者依然有可能窃取数据端的内容。此外,如果项目成果以模型的方式交付,攻击者也有可能基于所得模型逆向恢复出训练数据,引发隐私危机。在考虑模型性能的同时,技术人员与用户也要对 AI 系统自身的安全有所考虑,确保 AI 模型在业务场景下的安全性,从而避免被攻击者轻易控制、影响、或欺骗,也避免造成结果误判或隐私数据泄漏等严重后果。9 月 25 日,腾讯发布业内首个 AI 安全攻击矩阵。这是一份具有高实用性的 AI 安全技术指导框架,首次全面梳理了学术及工业界最前沿的 AI 安全研究,并从攻击者视角系统列举了 AI 技术研发部署各个环节中的攻击过程与技术实现手段,可帮助 AI 从业者快速了解全生命周期下 AI 系统的风险点与对应缓解方法,为 AI 系统的安全部署和应用落地提供重要的技术参考。

    image.png

    图|AI 安全的威胁风险矩阵(来源:腾讯)

    据了解,该矩阵由腾讯两大实验室腾讯 AI lab 和朱雀实验室联合编纂,并借鉴了网络攻防领域中成熟度高、实战意义强的开源安全研究框架 ATT&CK,全面分析了攻击者视角下的战术、技术和流程,能帮助防御者更精准地掌握安全响应方法与防御措施。相比从单一角度研究算法的安全问题,该矩阵的实用价值和参考意义更高。

    该 AI 安全的威胁风险矩阵,不仅强调真实场景,还按照较成熟、研究中、潜在威胁三种成熟度直观地将攻击技术分类。据腾讯 AI Lab 介绍,矩阵编撰的核心难点在于如何选取和梳理 AI 系统安全问题的分析角度。

    作为一种与其他软硬件结合运作的应用程序,AI 系统安全的分析切入角度与传统互联网产品并不完全一致。经过充分调研,该团队最终从 AI 研发部署生命周期的角度切入,总结归纳出 AI 系统在不同阶段所面临的安全风险,从全局视角来审视 AI 的自身安全。

    在上述思想的指导下,该矩阵能够像字典一样便捷使用。研究人员和开发人员根据 AI 部署运营的基本情况,可对照风险矩阵,来排查潜在安全问题,并根据推荐的防御建议,降低已知的安全风险。

    image.png

    图|攻击者的入侵手段示意图(来源:腾讯)

    据悉,腾讯朱雀实验室则专注于实战攻击技术研究和 AI 安全技术研究,以攻促防、守护腾讯业务及用户安全。此前,朱雀实验室就曾模拟实战中的黑客攻击路径,直接控制 AI 模型的神经元,为模型“植入后门”,在几乎无感的情况下,实现完整的攻击验证,这也是业内首个利用AI模型文件直接产生后门效果的攻击研究。

     
     
     上一篇:腾讯电商梦一直在路上
     下一篇:沃尔玛宣布出售旗下英国连锁超市Asda

    微信二维码

    联系我们

    公司名称:山东万博maxbextx注册广告传媒有限公司

    公司地址:烟台芝罘区西盛街28号   

                     烟台莱山区迎春大街171号

    联系电话:400-011-3805
    电子邮件:sdqjggcm@163.com

    版权所有:山东万博maxbextx注册广告传媒有限公司    网站备案号:鲁ICP备15012681