AI和ML在网络安全风险管理中

经过Amit Khullar那安佳妮库马尔 2020年12月| POV | 25分钟读取|通过电子邮件发送本文|下载

网络犯罪的数量、类型和程度逐年增加。最近，全球各地的公司都首当其冲地受到了网络安全和勒索软件的攻击，比如NotPetya和WannaCry。进一步的研究表明，由于COVID-19大流行，针对银行的网络攻击增加了238%。¹

图1所示。恶意软件的数量正在增加

来源:AV测试学院²

这些攻击包括犯罪分子使用的非常复杂的网络犯罪方法，例如:

• 恶意软件,包括ransomware。
• 分布式拒绝服务(DDoS)攻击。
• 中间人攻击(MITM)。
• SQL注入。
• 零日攻击。
• 矛网络钓鱼。
• 酒吧。
• WebShell。
• 域名系统(DNS)中毒。
• 端口扫描。
• 跨站点脚本。
• rootkit。

据研究公司网络安全风险投资(Cybersecurity Ventures)预测，到2021年，网络犯罪每年给世界造成的损失将超过6万亿美元，高于2015年的3万亿美元。^3.不幸的是，对于组织来说，传统的分散和竖井式的网络安全风险管理系统已经跟不上复杂的网络犯罪日益扩大的规模。在这种情况下，系统无法支持在大数据规模下对网络风险进行实时监控。

在网络安全方面需要AI

使用人工智能（AI）和机器学习（ML）来打击网络犯罪的时间。网络安全的企业估计，2017年至2021年，全球对网络安全的支出将超过1万亿美元。^4.其中很大一部分将用于解决网络犯罪的创新人工智能解决方案。此外，OnePoll的一项调查发现，82%的受访企业已经实施了ML网络安全解决方案。在剩下的公司中，53%的公司计划在未来三到五年内实施这项技术。^5.和金融服务经纪人的TD Ameritrade的注册投资顾问的结论是，基于AI的网络安全投资大于绩效报告和财务规划的投资（图2）。

图2。基于人工智能的网络安全是2019年退休投资顾问的首选技术投资

来源:TD Ameritrade^6.

所以就是为什么AI和ML如此受欢迎的网络安全圈子？简而言之，这项技术的好处以确保重要的基础设施，阻止不需要的入侵是巨大的。它可以用于：

• 整体网络安全风险管理。
• 积极和准确的评估网络风险态势。
• 实时检测和快速预防网络犯罪。
• 提高网络安全控制的效率和有效性。
• 打击新型多晶型和变质网络攻击。
• 提高了网络安全团队的生产力。
• 增强了真正的积极态度。
• 改进的信噪比，减少了误报。
• 复杂的网络风险报告与定制的定性和定量仪表板。
• 减少人为偏差和人为错误的机会。
• 降低网络安全风险管理成本。
• 降低组织层面的运营和财务风险。

此外，使用AI和ML的网络安全的整体方法有助于构建考虑的综合安全免疫系统：

• 网络。
• 端点。
• 设备。
• 主持人。
• 应用。
• 数据。
• 云。
• 物联网(IoT)设备。
• 身份和访问。
• 防火墙。
• 网络安全基础设施。
• 拓扑。
• 技术堆栈。
• 监管义务。

在本文中，我们通过14 AI和ML用例检查这些元素，包括网络风险量化（CRQ），预防零日攻击以及行为建模和分析（图3）。

图3。AI和ML网络安全使用情况

CRQ和剩余风险计算

使用此解决方案，决策者可以准确地衡量网络风险的范围，他们的公司毗邻实时携带。此外，该解决方案使公司能够采用整体技术和业务价值的途径，以优先考虑网络安全投资和评估投资回报。在这个范式中，网络风险可以在各种战略复杂程度上被挫败。

基于AI和ML的CRQ解决方案的显着方面包括：

基于AI和ml的CRQ解决方案的受益者和益处包括:

图4. CRQ和残余风险计算解决方案的功能架构

网络入侵检测与防御

传统基于签名的系统无法检测到的新奇和意外的入侵和威胁，可以使用人工智能和ML解决方案检测到。这种新方法将:

• 监控所有传入和传出网络流量以识别可疑活动并对威胁类型进行分类。
• 识别大型企业网络中的恶意应用程序。
• 通过以太网、无线、监控和数据采集(SCADA)和软件定义网络(SDN)实现强大的网络保护。
• 利用基于ml的异常检测能力进行企业网络级威胁检测和分类，包括僵尸网络检测和域生成算法(DGA)。
• 使用基于ml的网络流量分析。这可以利用监督和非监督学习算法，基于包头和数据流信息(如协议、字节数、速率和计数器)对攻击进行分类和聚类。
• 提供ML技术帮助IP流量分类。

以下人工智能和ML方法目前正在考虑用于网络入侵检测和预防:

• 使用无标记样本和监督学习算法提高分类器性能，如减少误报。
• 极端学习机器和SVM的组合，以及改进的K-Means聚类，作为入侵检测系统（IDS）模型。
• 利用KDD'99数据集提高准确性并减少误报。
• 基于最小二乘支持向量机抽样的入侵检测。
• Fuzziness-based semi-supervised学习。
• 非对称深度自编码(NDAE)是一种新的基于深度学习的网络入侵检测方法。
• 基于遗传算法和模糊逻辑的网络入侵检测。它使用辉光分析来生成网段的数字签名。它可以预测特定时间间隔内的网络流量行为，并进行异常评估。
• 蚁树矿工分类，一种新的决策树方法。
• 入侵检测系统采用二进制KNN和粒子群优化算法，包括特征选择和分类步骤。
• PSO快速学习网络。

通过文档数字化优化案例评审

使用传统系统进行文档数字化需要基于规则的方法，例如使用正则表达式从固定的字段位置提取光学字符识别(OCR)字段。这些传统的解决方案并不总是最有效的。

随着网络安全风险管理中使用的文档数量的增加(案例管理、政策和网络事件文档)，企业提高流程效率和有效性非常重要。通过将此类文档转换为机器可读的格式，这种健壮的解决方案将提高周转时间。人工智能或ML解决方案可以帮助企业通过文档数字化改进案例审查优化。这样的AI或ML解决方案将:

优化文档数据摄取—自动将物理文档转换为结构化和机器可读的数据。

自动化数据提取-对于机器可读的文档，该解决方案可以使用ML和自然语言处理(NLP)来自动化数据分析。机器人过程自动化(RPA)可以将相关数据输入到数据存储中。

处理大多数文档类型- NLP，先进的ML型号，ANN可以准确处理法制和手写文本。

消除伪造或犯罪意图关联规则学习和情感分析可以快速标记工资报表和身份文件上的潜在犯罪活动。

图5。基于人工智能的文档数字化高级工作流

图6。AI在案例评审优化中的作用

网络安全控制自动化

AI功能 - 特别是RPA，ML和NLP - 可以帮助智能自动化重复和手动网络安全任务，包括网络安全控制和控制功能（参见图7）。以这种方式使用AI导致使用网络控制的效率和有效性，以及控制过程简化，增强控制可见性和控制相关成本降低。

启用了AI和ML的网络安全控制解决方案可以启用：

• 自动控制测试和更新。
• 控制框架自动化和标准化。
• 自动检查、扫描和分析网络日志、应用程序和设备清单。
• 用于数据发现、提取、分类和聚合的自动化控制。
• 自动数据丢失检测和监控。
• 安全性验证和修正。例如，RPA可以自动捕获待测试的url和代码上的信息。
• 自动推出更新和补丁。
• 核心网络安全控制流程的自动备份。
• 与欧盟通用数据保护条例、加州消费者隐私法(CCPA)和支付卡行业数据安全标准相关的法规遵从性保证。
• 威胁情报分类，使用自动入侵通知。
• 在软件开发生命周期中对安全活动的自动大门检查。
• 身份和访问实现，包括基于安全角色的访问支持和未经授权的访问消除。

图7。基于rpa的网络安全控制自动化

警报调查和资格认证

基于AI或ML的解决方案可以帮助网络安全团队提高其警报调查和资格的效率和有效性。例如，马萨诸塞术业研究所的计算机科学与人工智能实验室已开发出名为AI2的自适应ML安全平台。该平台每天提供数百万个日志线，过滤数据，并将其传递给人类分析师。这将警报的数量减少到每天大约100次。随着误报的大量减少，该平台还有助于显着提高攻击检测率。^7.那^8.

AI或ML警报调查和确认解决方案应包含以下要素:

• 丰富的事件背景-在威胁指示器上使用聚类和分类功能，以启用改进的警报优先级上下文。
• 先进的威胁警报研究和分析-使用NLP进行语义分析;以及关于事件、取证、行为和时间序列分析的自动信息和见解收集的深网。
• 假阳性和降噪- 使用主成分分析，RNN和深卷积神经网络（CNN）基于转移学习方法。
• 自动化的重复警报管理任务—使用RPA、NLP、ML等工具对低风险告警进行分类，或进行繁琐的告警数据充实任务。
• 响应计划、模拟和建议- 使用决策矩阵，观察学习和关联规则学习。

恶意软件检测与分析

人工智能或ML解决方案可以有效地检测和分析恶意软件。这样的解决方案可以:

• 检测、分析和防止新的恶意软件变种和进化和自我改变的恶意软件，如病毒、特洛伊木马、蠕虫、利用、逆转录病毒、僵尸网络、恶意广告和勒索软件。
• 分析大量的特性，如磁盘上的访问字段、访问的api、消耗的带宽、消耗的处理器功率、通过互联网传输的数据量，以及访问的产品，如键盘和摄像头，所有这些都是为了检测和分析恶意软件。
• 利用推理技术，使用先前识别的恶意软件特性，以预测基于签名的方法无法检测到的未来威胁。
• 使用ML模型来执行行为和高级静态分析并检测并在执行之前检测和分类恶意软件。
• 使用自动编码器使用无监督的未来学习，以发现恶意软件样本的相关属性。

用于恶意软件检测和分析的一些AI和ML方法包括：

• ML以启用利用虚拟内存访问模式的硬件辅助恶意软件发现。机器学习通过逻辑回归、支持向量机和随机森林分类器来实现这一点。
• 使用操作代码、KNN和SVM作为ML分类器对恶意软件进行分类。
• 通过利用自动编码器以及多层限制的Boltzmann机器，深入了解恶意软件的智能检测。
• 旋转林，一种新型ML算法。
• ANN连同原始序列的API方法调用，用于检测Android恶意软件。
• 基于CNN和深度自动编码器的混合模型用于大规模的Android恶意软件检测。
• 使用PSO或GA的功能优化，恶意软件分类和分类器参数优化的生物启发方法。

网络钓鱼，垃圾邮件检测和过滤

传统的反钓鱼和垃圾邮件方法——包括简单的文字过滤、IP黑名单、内容过滤和发送者声誉映射——并不总是有效的。更高级的解决方案利用提供数百个输入特性的复杂ML模型，使用NLP检查语法，并应用可视化分析来自动更有效地检测和分类钓鱼和垃圾邮件。此外，这种方法可以检测组织想要阻止的内容。

以下是目前正在考虑和使用的跨行业:

• 利用各种ML算法和特征来区分网络钓鱼网站和正版网站的反钓鱼方法。
• 强化学习和神经网络应用识别钓鱼网站。这些方法利用风险最小化原则和蒙特卡罗算法。
• 实时反钓鱼系统，使用各种分类算法和基于nlp的特征。
• 利用HTML和URL特性结合XGBoost、梯度增强决策树和LightGBM对钓鱼网页进行分类的堆叠模型。
• 结合朴素贝叶斯和支持向量机开发垃圾邮件过滤系统。
• 垃圾邮件分类使用改进的布谷鸟搜索增强垃圾邮件分类。采用步长布谷鸟搜索进行特征提取，利用支持向量机进行分类。
• 使用人工智能和ML技术过滤Facebook垃圾邮件。本文采用粒子群算法进行特征选择，采用决策树支持向量机进行分类。
• 通过生物启发计算和社交媒体分析识别Twitter垃圾邮件配置文件的混合方法。垃圾邮件发送者检测使用与征收飞行萤火虫算法和混沌映射集成的改进的K均值。
• 基于随机权重网络和GAs的电子邮件垃圾邮件检测与识别系统。

应对先进的持续威胁

apt是一种利用复杂方法窃取敏感数据而不被发现的网络攻击。APT攻击者通常专注于高价值目标，如政府或大型公司的安全部门。目标往往是长期窃取信息。

AI或ML解决方案可用于防范APT攻击，包括:

• 决策树用于构建IDS，从一开始就检测APT攻击并快速做出反应。
• 基于多个并行分类器的框架。
• 深度神经网络(DNN)利用动态分析特征进行APT归因。
• 使用自组织特征图和机器活动指标，用于区分合法与恶意软件。
• MLAPT，一种基于ml的识别和预测apt的方法。

识别由域生成算法生成的域名

DGAs是一种周期性地生成大量虚假随机域名的算法。这些名称隐藏了操作员的命令和控制服务器。

AI或ML解决方案可以对DGAs创建的域名进行高精度识别。例如，这种解决方案可能部署ML模型来查找与域名系统(DNS)日志中未识别的恶意软件相关的DGAs。

一些AI或ML解决方案包括:

• 采用基于RNN或cnn的架构。
• 使用广义似然比检验。
• 基于lstm的新算法，通过DGA恶意软件检测处理多类不平衡问题。
• 基于ML的DNS隐蔽通道和DGA检测系统。这样的系统利用特异性得分，改进的术语频率 - 逆文档频率和用于识别恶意域名的其他算法。
• 通过利用额外的树木，天真贝叶斯和逻辑回归建造的单词“频率分布和集合分类来识别基于词的DGA。

预防零日攻击

零日漏洞是指负责修复漏洞的各方不知道或尚未解决的软件安全漏洞。在这些漏洞被破解之前，黑客可能会将其误用为犯罪目的。由于尚未生成签名，零日漏洞无法通过反恶意软件或IDS-IPS设备等传统手段检测到。

这里可以使用AI或ML解决方案来帮助关闭零日漏洞。例如，亚利桑那州立大学的一个研究小组使用ML来监控暗网的流量，并识别与零日漏洞相关的数据。^9.有了这样的洞察力，企业就有可能在导致数据泄露之前关闭软件漏洞并修补漏洞。

更明显的是，基于AI或ml的解决方案可以:

• 加速沙箱，或内存转储，专家用来分析一些零日威胁的方法。沙盒包括在虚拟机中安装可疑的文件或程序，然后观察其行为，以确定它是好是坏。如果是手工操作，这个过程可能需要几分钟，而人工智能和ML模型可以在几毫秒内提供判断。
• 使用无监督学习和基于行为的检测技术，分析用户与软件的交互和所有上下文信息，以预测恶意行为。
• 利用面向图模型的能力，如用于动作排序的伽罗瓦格，以及用于跟踪事件之间相关性的分析。

网络威胁搜索和渗透测试

Cyber​​Threat狩猎涉及通过网络积极和迭代地探测，找到并隔离可能避开现有解决方案的先进威胁。这与传统的威胁管理方法不同，例如防火墙，ID和安全信息和事件管理系统，通常需要在提出警告后进行数据调查。

渗透测试——也被称为道德黑客或渗透测试——涉及探测网络、网络应用程序或计算机系统，以识别可能被攻击者滥用的安全漏洞。

基于AI的威胁狩猎和Pentesting解决方案使公司能够有效地学习和重现隐藏和复杂的网络安全漏洞。这些解决方案：

• 对攻击向量进行准确、可靠和全面的覆盖和测试。
• 允许自动化，智力和指导狩猎未知的网络疗效。
• 使用高级ML技术，例如加固学习和部分观察到的马尔可夫决策过程来识别漏洞。
• 与工业渗透测试框架和互联网规模的不同数据源集成，以实现有效的脆弱性评估。
• 利用健壮的预构建威胁库——由模型、查询、数据特性和剧本组成——来支持广泛的威胁。
• 使用链接分析和链接功能自动将链接到事件链接的所有事件并提供完整的上下文。
• 甚至可以预测给定威胁场景下潜在的攻击下一步——以及受影响设备和用途的信息——以启用先发制人的补救。

基于ai杀毒软件

传统的杀毒软件会扫描公司网络上的文件，判断它们是否与已知病毒或恶意软件的特征相匹配。然而，这种传统的防御存在着重大问题。虽然它可以很好地处理以前遇到的具有公共签名的威胁，但很难检测到新的威胁。这些类型的软件速度也很慢，而且不能提供实时威胁检测，因为需要更新来识别新的病毒。

人工智能杀毒软件可以帮助企业克服这些挑战。人工智能不是匹配签名，而是利用异常检测能力来监控程序行为和识别异常动作。

行为建模与分析

某些网络安全漏洞包括网络攻击者窃取用户的凭证(在用户不知情的情况下)，通过技术上合法的手段进入企业网络。因此，这种攻击很难识别和阻止。

AI驱动的解决方案可以使用行为建模和分析功能来帮助防止此类攻击。这些解决方案：

• 从安装在客户工作站和位于网段的传感器上的软件收集数据。
• 将上述数据输入行为分析和威胁情报引擎，这些引擎使用ML来识别异常、异常端点和网络行为。当这些连接发生时，系统会关闭它们。
• 使用ML的回归分析功能来分析未处理的网络流量数据，以确定每个用户和设备的基线行为。
• 利用ML分类技术将不同用户分组进行对等组分析和聚类，以单独的用户组并检测异常值。
• 识别与基线行为有重大偏差的行为，例如在不寻常的时间登录，并提醒企业注意潜在的网络威胁。

对抗AI的威胁

网络犯罪分子可以通过几种方式利用基于人工智能和ml的技术来达到自己的目的。这些威胁利用了技术的共同价值主张，如行为分析、快速可伸缩性和个性化。网络犯罪分子使用人工智能和ML的方式包括:

• 生成旧恶意软件的新变种。
• 创建新的钓鱼和垃圾邮件内容的基础上训练集从早期成功的活动。
• 帮助Phishers和垃圾邮件发送者在恶意内容中检测到重复性模式。
• 检测企业网络中的漏洞点，并利用这些信息来锁定间谍软件、钓鱼或DDoS攻击的入口点。
• 构建智能恶意软件或人工黑客来执行个性化攻击。
• 通过使用公开可用的、收集的或提取的数据分析潜在的受害者，改进恶意软件的目标。
• 通过使用意外，无效或随机数据作为输入来查找新的零天漏洞。这允许ML算法学习识别新漏洞所需的例程。
• 允许僵尸网络节点集体学习并共享识别最有效攻击形式的情报。

公司和网络安全厂商可以启用基于AI或ML的解决方案来反击并不断适应新的情景。这些解决方案使用复杂的ML算法来识别由其他ML算法执行的攻击。在近期实时，高级防御可以检测这些网络攻击和漏洞，并提供建议。AI和ML溶液还可以帮助检测滴滴滴，无效或异常机器。

AI和ML Cyber​​security在现实世界中

以下公司提供真实世界的AI和ML网络安全风险管理解决方案。

AI Technologies在网络安全风险管理中具有许多高冲击用例。公司已经使用AI有效地管理网络安全风险。许多其他人计划在不久的将来实施用例。随着AI和机器学习技术获得更高的成熟度，公司将从这些用例中获得的好处无疑是繁多的。结果将有助于确保网络运营支持大数据规模和业务生态系统的实时监控风险。

首字母缩略词

参考文献

1. 新冠病毒导致针对银行的网络攻击激增238%，查理奥斯本，5月20日，ZDNet
2. 恶意软件, avt
3. 2019年度官方网络犯罪报告Steve Morgan，网络安全风险投资公司
4. 同前。
5. 网络安全中的机器学习时代:走向混乱边缘的更安全世界的一步?，2019年2月，ESET
6. TD Ameritrade机构2019年RIA情绪调查, 2019年1月
7. 麻省理工学院正在教授人工智能如何帮助阻止网络攻击，布莱恩·巴雷特，2016年4月，连线
8. 系统预测85%的网络攻击使用人类专家的输入Adam Conner-Simons，麻省理工学院新闻，2016年4月
9. 机器学习变得黑暗，深深地找到零日零点零点， Kevin Murnane, 2016年8月，福布斯
10. 绝对扩展的弹性力量，以扩大领先终端安全应用的生态系统，2020年2月，意思
11. https://www.absolute.com/
12. 领先的人工智能网络安全公司(上)， 2020年6月，网络安全情报
13. https://bluehexagon.ai/
14. 2020年将有8家领先的AI/ML网络安全公司，3月20日，Jonathan Greig，ZDNet
15. https://www.callsign.com/product/
16. Crowdstrike推出增强的端点机器学习功能和高级端点保护模块，2017年2月，Crowdstrike
17. https://www.crowdstrike.com/
18. Cyberwrite因其基于人工智能的网络风险技术而被Frost & Sullivan评为最具创新的网络风险建模技术公司2020年8月，Frost & Sullivan
19. https://www.cyberwrite.com/
20. Cylance推出“Cylance智能杀毒软件”，为消费者提供人工智能杀毒软件， 2018年7月，Business Wire
21. https://www.blackberry.com/us/en/products#ai
22. 领先的人工智能网络安全公司(上)， 2020年6月，网络安全情报
23. https://www.darktrace.com/en/cyber-ai-platform/
24. Deep Instinct推出首款基于深度学习的实时网络安全商用解决方案， 2015年11月，环球电讯
25. Deep Instinct通过与Micro Focus ArcSight的集成，提供全方位的保护，2018年1月，商业资讯
26. https://www.deepinstinct.com/
27. FICO网络风险评分在AWS Marketplace排名第一， 2019年12月，FICO
28. FICO企业安全评分给出了网络风险暴露的长期视图， 2016年8月，FICO
29. https://www.fico.com/
30. Kount推出新一代人工智能，改变支付欺诈预防方式， 2019年6月，count
31. https://kount.com/
32. SECURITI.aiUnveils PRIVACI.ai, the First-Ever ‘PrivacyOps’ Platform that Automates Data Privacy Compliance， 2019年8月，securit .ai
33. https://securiti.ai/
34. 网络安全中的人工智能——当前的用例和能力，2019年7月的Raghav Bharadwaj，Emerj人工智能研究
35. https://www.shieldx.com/
36. 人工智能在银行网络安全——银行正在投资的领域， Raghav Bharadwaj, 2019年8月，Emerj人工智能研究
37. https://www.tessian.com/
38. 2020年将有8家领先的AI/ML网络安全公司，3月20日，Jonathan Greig，ZDNet
39. https://www.vadesecure.com/en/
40. 人工智能在银行网络安全——银行正在投资的领域， Raghav Bharadwaj, 2019年8月，Emerj人工智能研究
41. https://www.welcome.ai/tech/security/versive
42. https://www.esentire.com/
43. 2020年将有8家领先的AI/ML网络安全公司，3月20日，Jonathan Greig，ZDNet
44. https://zeronetworks.com/product/