一、背景
数字新时代正在加速全面到来，网络环境变得更加多元、人员变得更复杂、接入方式多种多样，网络边界逐渐模糊甚至消失，同时伴随着企业数据的激增。数字化转型促进组织的业务发展的同时，也带来了重大的网络安全挑战。
1.越来越多的外部攻击，包括被利益驱动或国家驱动的难以察觉的高级攻击；
2.心怀恶意的内鬼、疏忽大意的员工、失陷账号与失陷主机导致的各种内部威胁；
3.数字化基础设施的脆弱性和风险暴露面越来越多，业务需求多变持续加剧的问题；
4.安全团队人员不足或能力有限，深陷不对称的“安全战争”之中。
在数字化带来的巨大变化下，传统的安全威胁发现能力受到了巨大的挑战。传统安全产品、技术、方案基本上都是基于已知特征进行规则匹配来进行分析和检测，基于特征、规则和人工分析，以“特征”为核心的检测分析存在安全可见性盲区，有严重的滞后效应、无力检测未知攻击、容易被绕过，以及难以适应攻防对抗的网络现实和快速变化的企业环境、外部威胁等问题。
安全是人和人攻防对抗的游戏，一切的意图都需要通过行为表达，这是安全运营中最重要也最有价值的一块拼图，同时也是传统方式最欠缺的。针对传统方式的不足，安全行业逐步加强基于大数据驱动，机器学习、概率分析、模式识别等的以“行为”为核心的检测分析。
用户实体行为分析（UEBA）应运而生。
二、UEBA是什么
UEBA全名User and Entity Behavior Analytics ，即为用户实体行为分析。
Gartner 对 UEBA 的定义是“UEBA 提供画像及基于各种分析方法的异常检测，通常是基本分析方法（利用签名的规则、模式匹配、简单统计、阈值等）和高级分析方法（监督和无监督的机器学习等），用打包分析来评估用户和其他实体（主机、应用程序、网络、数据库等），发现与用户或实体标准画像或行为相异常的活动所相关的潜在事件。这些活动包括受信内部或第三方人员对系统的异常访问（用户异常），或外部攻击者绕过安全控制措施的入侵（异常用户）
用户行为分析(UBA)关联了用户活动和相关实体（用户相关的应用和终端等）信息构建人物角色与群组，进一步定义这些个体与群组的合法和正常行为，把这些人物角色在群体与群体、群体与个体、个体与个体（那些远离合法和正常行为的群体与个体）维度上相互比对分析，将异常用户（失陷账号）和用户异常（非法行为）检测出来，从而达到检测业务欺诈、敏感数据泄露、内部恶意用户、有针对性攻击等高级威胁的目的。
三、UEBA应用场景
1 账号安全
内部员工特别是高权限用户，以及服务和共享类帐户是内部和外部攻击者的主要目标。通过获取他们的访问权限则能够访问最敏感的交易、数据，甚至可以创建其他新特权帐户或滥用提权操作。由于公司账号数量庞大且难以区分滥用和合法使用，组织在监控这些帐户时面临着巨大的挑战。有效监控特权帐户不仅是一项重要的合规性要求，而且还是一项关键的威胁管理功能。和专有的特权账号管理应用（PAM，Privileged Account Management），PAM类应用提供了特权账号的全生命周期管理，而对特权账号异常行为的监控、检测、分析则是PAM的一类高级功能。PAM 内置的特权账号异常检测能力相对较弱，所以一些 PAM 供应商会跟 UEBA 产品集成，将 PAM 检测到的异常事件接入 UEBA 产品的高级分析引擎中，和其他维度的数据一起做更深层次的特权账号异常事件识别。
细分账号安全的场景，大致有两类。一类是账号本身的操作异常，如创建、提权、删除、暂停、撤回存在异常行为，静默账号忽然出现活动。另一类通过对账号行为如登录的时间、地点、频次的异常监控，判断账号是否被盗用或被攻陷。
2 内部威胁
相比于不受信任的外部人员，内部员工访问和获取公司重要信息的要轻松很多。一方面公司的大部分安全防护、访问控制都是针对外来的攻击者；另一方面内部人员对组织的人员、规章、制度都有一定程度的了解，从而可以利用这些便利性来躲过安全防护检测。内部威胁者通常分为两类，一类是恶意内部人员，即合法的人员利用自己的权限做非法的事情。比如，下载大量重要的客户数据贩卖获取利益。另一类是内部人员账号被攻陷后的恶意行为。内部威胁检测的场景设计比较复杂，一般会从4个维度来考虑。
- 建立用户行为风险画像 - 将所有身份、活动和访问特征，与基线、同组以及其他已知威胁指标进行比较，确定真正的风险区域。
- 高权限账号监控 – 自动识别高权限账号，例如管理员、服务和共享帐户，然后监控他们与攻击相关的异常行为，确定高风险异常行为是否源于高权限用户被成功攻击。
- 关键应用监控 – 为所有关键应用程序和系统构建访问风险评估，以识别与其敏感数据和交易相关的所有高风险用户、访问和活动。
- 内部欺诈侦测 – 利用同组人员的异常行为，比较分析侦测潜在的内部欺诈行为。
3 数据渗漏
一般而言，各类攻击的主要意图是窃取组织中最重要的数据资产。组织一般会部署监控数据流向的 DLP 产品，数据库安全或者应用访问类产品以保护公司的核心数据资产。这类数据防护类产品往往误报很多，每天产生的海量报警让安全团队难以真正聚焦重点。UEBA 可以对应用访问以及 DLP 日志做更深层次的多维分析，从而定位出真正的高风险数据泄漏风险。具体的场景设计可以从以下维度考虑。
应用系统访问监控/风险分析 – 对存储敏感数据的应用系统、文件服务器等的访问进行行为监控，通过与用户过去行为或其同组行为异常行相比较，自动识别并持续监控与此数据相关的高风险访问和活动。
DLP 事件评估 – 将 DLP 事件做多维度关联分析，比如说发生 DLP 事件的人，他的风险等级、是否有离职倾向、敏感数据下载/外发/打印的数量、频次、数据外流的目的地是否为竞争对手等等，从而进一步定位高风险。高风险人群的 DLP 事件优先处置，并且通过多维度分析往往也能进一步定位这些数据泄漏企图背后的动机。
4 失陷主机
除了人员行为异常以外，重要的 IT 资产比如说各种应用服务器、重要的终端等行为异常检测对很多组织也是至关重要。例如，一个重要的应用服务器执行了一个非业务的应用或进程，打开了一个新的端口，外连了从未外连的地址/端口，忽然有长链接的 SSH 会话，系统目录下忽然出现新的可疑文件等等。这些异常行为往往是服务器被攻击的征兆，需要进一步分析与取证。
用 UEBA 技术定位失陷主机通常的思路是，基于相应设备和主机执行的高风险异常事件和活动，建立异常时间线，然后关联各种实体参数，包括：端点安全警报、漏洞扫描结果（常见漏洞评分系统[CVSS]）、用户或帐户的风险级别、访问的目标、请求的有效负载的数据包级别等等，从多维度检测任何异常活动或事件以确定风险评分。
四、UEBA主要实现技术
UEBA 是一个完整的系统，涉及到算法、工程等检测部分，以及用户实体风险评分排序、调查等用户交互、反馈。从架构上来看，UEBA 系统一般包含三个层次，分别是数据中心层、算法分析层、场景应用层。其中，算法分析层一般大数据计算平台之上运行实时分析、统计分析、关联分析、机器学习等分析引擎。
机器学习引擎实现，如基线及群组分析、异常检测、集成学习风险评分、安全知识图谱、强化学习等UEBA 核心技术。
基线及群组分析
历史基线，是行为分析的重要部分，通过构建群组分析，可以跨越单个用户、实体的局限，看到更大的事实；通过对比群组，易于异常检测；通过概率评估可以降低误报，提升信噪比；组合基线分析、群组分析，可以构成全时空的上下文环境。
异常检测
异常检测关注发现统计指标异常、时序异常、序列异常、模式异常等异常信号，采用的技术包括孤立森林、K 均值聚类、时序分析、异常检测、变点检测等传统机器学习算法。现代的异常检测也利用深度学习技术，包括基于变分自编码器（VAE）的深度表征重建异常检测、基于循环神经网络（RNN）和长短时记忆网络（LSTM）的序列深度网络异常检测、图神经网络（GNN）的模式异常检测等。针对标记数据缺乏的现状，某些UEBA 系统能够采用主动学习技术（Active Learning）、自学习（Self Learning），充分发掘标记数据和无标记数据的价值。
集成学习风险评分
把安全运维从事件管理转换到用户、实体风险，极大的降低工作量、提升效率。其中，实现转换的关键在于使用集成学习进行风险评分。风险评分需要综合各种告警、异常，以及进行群组对比分析和历史趋势。同时，风险评分技术中用户间风险的传导同样重要，需要一套类似谷歌搜索使用的网页排名PageRank 算法的迭代评估机制。风险评分的好坏，将直接影响到UEBA 实施的成效，进而直接影响到安全运营的效率。
安全知识图谱
知识图谱已经成为人工智能领域的热点方向，在网络安全中同样也有巨大的应用潜力。部分UEBA 系统已经支持一定的安全知识图谱能力，可以将从事件、告警、异常、访问中抽取出的实体及实体间关系，构建成一张网络图谱。任何一个事件、告警、异常，都可以集成到网络图谱中，直观、明晰的呈现多层关系，可以让分析抵达更远的边界，触达更隐蔽的联系，揭露出最细微的线索。结合攻击链和知识图谱的关系回放，还能够让安全分析师近似真实的复现攻击全过程，了解攻击的路径与脆弱点，评估潜在的受影响资产，从而更好的进行应急响应与处置。
强化学习
不同客户的环境数据源的多元性及差异性，以及用户对异常风险的定义各有不同， UEBA 需要具有一定的自适应性，输出更精准的异常风险。强化学习能够根据排查结果自适应地调整正负权重反馈给系统，进而得到更符合客户期望的风险评分。UEBA 给出异常信号后，结合安全管理人员的排查结果，获取反馈奖赏或惩罚，通过学习进行正负权重调整，从而让整体效果持续优化改进。
五、UEBA行业发展趋势
Gartner《Market Guide for User and Entity Behavior Analytics》报告中指出：
终端用户在UEBA独立解决方案上的支出将呈复合式增长年增长率为48％，从2015年的5,000万美元增长到2020年的3.52亿美元。
UEBA解决方案供应商在2017年和2018年继续减少，主要是由于收购活动。Gartner预计该领域将继续整合，同时在其服务于相邻细分市场的产品中使用UEBA技术的厂商数量也在大幅增加。
到2021年，用户和实体行为分析（UEBA）市场将不再是一个独立的市场。
一些UEBA供应商现在将其市场战略路线聚焦于将其核心UEBA技术嵌入其他供应商的更传统的安全解决方案中。到2022年，UEBA的核心技术将嵌入80％的威胁检测和事件高级解决方案中（如SIEM）。
Gartner认为这一趋势将持续到2022年，届时UEBA将成为被更广泛的安全分析技术所取代。
IndustryARC《UEBA Market - Forecast(2020 - 2025)》报告：
到2025年，用户和实体行为分析市场预计将达到49亿美元，从2020年到2025年，复合年增长率为41.5％。
UEBA是一种用于检测内部风险，财务欺诈和针对性攻击的机制。该方法用于分析人类行为模式，然后使用统计分析和算法来识别差异。
UEBA是一种机器学习模型，可以通过检测保护异常来帮助阻止网络攻击者。UEBA使用高级分析，汇总日志和报告数据，并分析数据包，流，文件和其他类型的信息以及其他类型的威胁数据，以评估某些形式的活动和动作是否可能构成网络攻击。
UEBA的优势包括–内部威胁识别，防止数据泄露，识别和防止欺诈，可操作的风险信息以及IP数据的安全性。
UEBA逐渐成为对全面网络威胁和欺诈的最有希望的回应。软件提供商更专注于确保可靠的算法和集成分析，以及开发应用程序系统。
综合上述报告可以看出：
UEBA市场价值正在飞速上升，UEBA技术研究前景广阔。
UEBA发展方向不再是一个独立个体，而是倾向于将UEBA技术嵌入到其他高级安全解决方案中。
作者博客：http://xiejava.ishareread.com/
关注微信公众号,一起学习、成长！