作者:邵江宁
11月27日
打开微信扫一扫
人工智能助力网络安全检测和响应

微软每年投入超过10亿美金做网络安全研究和产品研发,并且每6个月公开发布一期全球网络情报报告(SIR, Security Intelligence Report)。最近发布第22期网络安全报告显示全球的网络安全态势并不乐观,国内目前流行的排名前三的网络威胁类型:木马、病毒和蠕虫。微软的研究还发现,国内互联网传播的恶意代码中有近20%是在世界其他地区所没有遇到的,是具有中国本土特色的网络威胁。




一、全球网络攻击特性的改变


今天的网络攻击者首要目标是以盗取用户的身份。传统安全防护手段如杀毒软件、防火墙、蠕虫检测在应对已知恶意代码是有效的。在新形势下的攻击者一旦成功盗取用户身份,就可以采用合法工具收割用户的数据财产,对用户身份的保护是当前和未来一段时期内最大的安全挑战。


*黑客可以使用合法的IT工具,不是纯依赖恶意软件,因而难以被探测。


*全球范围内安全事件调查分析显示,攻击者被发现前,可以在被入侵网络中潜藏时间达八个月,在两百天内隐身于网络中为所欲为。


*今天的网络攻击造成巨额财物损失,影响品牌声誉,丢失保密数据,高管去职。


二、AI加速:应对网络安全防御的挑战


传统的网络安全防御方案主要有三大短板:


1. 非常复杂,需要手工初始设置、定义规则等,花费较长时间;


2. 容易误报,太多的信号源数据和碎片化的报警规则,需要繁琐手工分析或编程复杂模型,误报或漏报的比例高;


3. 设计用于边界防御,当用户身份被窃取而攻击者藏于内网时,传统网络的防御提供的保护极其有限。


微软的打造了全球化网络威胁情报平台,每天监测到恶意代码的攻击数目平均达900亿个,其中96%的恶意代码只在一台机器上出现一次,在一千台电脑上被发现过一次的恶意代码比例只有0.01%。这意味着速度慢的传统防御、或者手工干涉的机制,不能适应恶意代码的迭代和进化速度,必须要用新的手段,包括使用人工智能来加速响应的流程,提升自动化和响应效率,缩短从发现到响应的间隔。


三、全面和系统的网络安全策略与方法


微软为应对新网络威胁态势,设计了全面和系统的安全战略:


1. 打造安全产品平台,保证平台的安全。从源头增强开发安全,把代码写安全;


2. 构建全球网络安全威胁情报体系,知己知彼,百战不殆;


3. 与合作伙伴合作建设安全生态体系。微软只做产品平台必须的基础安全免疫系统,联合和依赖全球各国的安全合作伙伴,共同打造开放安全生态系统,保护网络空间的安全。





具体安全策略分为三步:保护、探测、响应。每一步在传统定义上都有突破和创新。


*安全保护跨越所有终端,从物联网传感器到云端和数据中心;


*利用设备端探测和捕捉到网络威胁数据,作为数据输入,行为检测和机器学习发现安全异常,形成完整的闭环,探测只是整个响应流程中的起点,不是终点。


*安全响应的目标是缩短发现和后续行动之间的时间差距。




四、微软智能知识图谱


知识图谱是人工智能非常有用的一个分支。微软利用自身的平台优势,打造安全智能知识图谱。知识图谱可以处理和利用大数据,集成专家的经验,取得较好的安全保护效果。微软的网络安全知识图谱的得益于平台上积累大量的数据,包括每分每秒保护用户和网络攻击做对抗过程中产生的数据。利用人工智能把数据后面真正的大数据价值榨取出来,产生很多可以重复使用和可扩展的安全防御模型。


五、安全自动化成熟度模型


榨取海量宇宙级数据的价值要采取颠覆性的策略,包括在安全检测自动化算法、网络威胁情报分析等创新,打造一个可以高度自动化响应的平台模型。对安全自动化的模型尝试定义了成熟度的概念,分为五级,一级为入门,第五级暂定为最高级,每一级代表不同的、可以重复的能力。



第一级:自动汇集,如常见的事件级自动工单应用系统;


第二级:堆栈整理,很多安全情报数据源是离散型的,把多源的数据按照攻击链逻辑和时间戳汇集成单个独立的安全事件,梳理出一条主线;


第三级:数据富集,不同平台的安全探测端,如防火墙、杀毒软件、认证网关等得到数据种类是不一样的,这些数据如果能够进行交叉相关分析,可以建立一个非常全面的安全攻击的场景,为后续工位的安全分析和响应提供指南。


第四级:自动化行动预案,把安全专家常见的响应策略自动化,形成脚本化、自动化的方案。一旦获得确认可靠的安全报警,通过自动化的响应预案触发下游的连续动作,从而降低安全响应人员的劳动强度。


第五级:闭环机器训练和学习场景,由专业安全研究人员,运用人工智能或者是深度学习,在典型样本的分析和安全研发工作基础上,创建更多的自动化模型级算法。


把人工智能和网络安全防御结合时,应特别关注异常检测,网络空间内有很多从未遇到的安全攻击,或者很难用数值指标去定义,如果可以知道合法用户行为的边界,通过比对合法行为边界,就可以反推、判断异常和未知的网络攻击行为。


另外,利用人工智能的技术,可以提高响应的速度,降低误报。传统的安全技术技术开发,需要利用数据和已知明确的程序/规则建立模型,关注最后得到的输出。而机器学习是利用数据,尤其是标注数据,训练输出安全模型,模型可以适应环境变化,并可以随时利用新数据的重复进行训练,提高模型的准确度。


🔸AI成功的标准


有三大原则:第一是可自适应,而不是仅仅基于特征检测,一种特征只能检测一种恶意代码行为;第二是可解释的,无法归因和解释的结果是难以理解的;第三是可行动的,检测必须为下游的响应工作提供指导。


🔸标识数据 


在人工智能里最重要的是数据,监督式的机器学习,微软的标注数据来自于安全专家、客户反馈的安全警报,自动化的攻击,漏洞赏金,MSRC,外科手术式的红队攻击演练,来自其他产品事业部的标注数据。



🔸成功框架 


微软总结了人工智能与网络安全防御应用的成功经验,框架如图所示。前半程依靠机器算法的自动检测,接下来需要结合安全专业知识进行验证。成功的检测需要离散的数据集和规则与安全专业知识的结合。



98%以上的恶意代码检测工作工作可以在前端处理,在终端处集成轻量化的机器学习模型。2%的未知变种需要依靠后台更重量级的分析模型来处理,反馈和响应到前端。通过前端和后端的配重的有效配合,提高响应的速度和应对新变种的能力。微软在云端的安全中心里面集成了很多种检测方式,达到速度、质量和响应的统一。






0 0 评论
流媒体
全球网络安全产业创新论坛致辞
全球网络安全企业竞争力评价
人工智能助力网络威胁防御
全球网络安全产业创新论坛
上海社会科学院互联网研究中心
地址:上海市徐汇区中山西路1610号  电话:64862266-24114  网站:http://cis.sass.org.cn/   邮箱:cis@sass.org.cn
@2017 上海社会科学院互联网研究中心,Inc All rights reserved