01袁记短视频热门业务教程网

FlinkCEP简介

FlinkCEP是买赞基于FlinkRuntime建立的复杂风波处理库，它擅长处理跨多个风波的抖音抖音复杂规则匹配场景。比如检查用户下单后，浏览刷qq空间业务 钻类是自助否超过半个小时没有发生支付行为；检查用户步入直播间后，是平台否有浏览商品随即加入购物车行为。

FlinkCEP有以下优势：

02

业务场景与挑战

随着抖音电商业务逐步趋向稳定和成熟，买赞抖音电商实时数仓团队接到的抖音抖音实时数据规则类业务需求也逐渐增多，因而我们开始尝试使用FlinkCEP来支持这种业务场景。浏览

下边列出两个典型的自助业务场景，并介绍一下FlinkCEP在这种场景中遇见的平台一些挑战。

2.1业务背景

第一是买赞实时预警场景，它是抖音抖音十分典型的业务诉求，把用户看数据的浏览形式从大屏“盯盘”转换为“根据规则检查结果，主动推送”，自助这无疑对一些关键业务问题的平台发觉和洞察起到至关重要的作用。有如下三个具体案例：

第二是施行营销场景，它是基于实时数据驱动，按照定义的规则策略挖掘目标群体，并依照业务目标作出精准营销投放的营销活动。有如下三个具体案例：

2.2业务挑战

第一，在规则配置方面存在灵活性不足的问题。当前无论是新增还是更改规则，都须要实时数仓的研制朋友通过更改代码的形式来支持，这就造成研制朋友须要频繁的对接业务。在一些极端的场景，例如双十一大促期间，刷qq空间业务 钻类一个研制朋友常常须要同时应对接，二十多个营运朋友的规则创建或者更改的诉求。业务需求也因为人力的单点阻塞问题迟迟未能上线。

第二，规则与估算任务之间存在深度耦合。当每位规则都须要强制绑定一个估算任务时，都会造成估算任务的数目会随着规则的创建日渐增多。大量的任务会导致极高的运维成本和巨大的资源浪费，使整个系统最终显得不可维护。以上面提及的店家自定义规则检查热卖商品的这个场景为例，考虑到当前抖音电商庞大的店家群体，最终创建规则的数目可能是巨大的，从而造成整个估算任务的数目也急剧爆燃。

第三，当前FlinkCEP支持的规则语义不够丰富。列出两个典型的案例：

03

解决方案实践

整体我们分为四个阶段来解决上述的问题。

第一阶段，我们对FlinkCEP规则的核心信息进行了提炼和具象，并设计了一套清晰易懂的规则DSL。这样就可以让业务朋友自主配置业务规则，因而解决规则配置灵活性不足的问题。这么怎么让业务配置的规则运行上去？

第二阶段，我们对FlinkCEP估算任务进行整修，让其支持动态递交规则或则更新规则的能力，进而实现规则与估算任务之间的彻底前馈。前馈以后，不再强制要求每一个规则必须对应一个估算任务来运行。也就是同一个估算任务可以同时接收递交的多条规则，实现收敛整体估算任务的数目，提高规则借助率的目标。

后面两个阶段要解决了规则配置的灵活性以及规则与其他任务的强绑定问题，并且一直没有解决规则本身的语义丰富性问题。为此，第三阶段，我们主要针对特定业务的场景的规则诉求、升级和拓展规则的语义。

经过前三阶段的升级和优化，上面提及的业务痛点早已基本得到了解决，但规则引擎在易用性和周边能力方面还有所缺乏。比如我们难以直观的查看当前系统运行的规则内容、注册风波数据；业务递交的规则与估算任务之间按照哪些样的策略来进行分发；用户依然须要订阅规则引擎的输出数据进行格式转换、写入目标储存等操作。

因而在第四阶段，我们整合了上面的方案，并不断丰富周边能力生态，塑造了一站式实时规则平台。支持用户在平台上进行风波注册、预览、规则配置、规则调试、规则发布等全流程的自主操作，进一步提高工作效率。

为了实现业务自主配置规则，规则的句型必须清晰易懂。我们设计规则DSL整体结合了JSON和基础SQL句型，借助JSON的高可读性来描述规则的元数据、规则匹配属性等信息，借助SQL的强悍抒发力来描述CEP匹配条件以及匹配结果的处理逻辑。

这儿我们发觉了一个新的问题，怎样通过SQL来抒发风波是否满足匹配条件？SQL可以查询什么表？以一个具体的案例来回答这个问题。

假定要检查用户下单后是否发生了支付行为，这么规则编译生成的NFA可能是上图所示的样子。在规则运行时，我们将当前流入的风波以及当前规则的中间匹配结果，都以数据表的方式注册到上下文。当前流入的风波对应的表名称默认是events，规则中间匹配结果对应的表名称和它的PatternName保持一致。

在这个案例中，每位SQL可查询到的表就是三张，分别是events表，表示当前流入的风波；create_order表，表示当前早已匹配到的下单风波；pay_order表，表示早已匹配到的支付风波。

在配置SQL时，就可以对早已注册到上下文的任意数据表进行查询。当SQL查询的结果非空时，就表示当前匹配条件判定通过。状态机经过Take边流转到下一个状态，并将风波保存到对应的表，否则都会到Ignore边，遗弃掉风波。

再来看一下这个案例对应的规则配置条件的完整配置。整体是一个链表的方式，链表中每位元素表示一个pattern，第二个pattern与前一个pattern之间的联接类型是FOLLOWED_BY。第一个pattern的匹配条件是从流中检查用户下单风波，第二个pattern匹配条件是从流入检查用户支付风波。

注意，这个支付风波的订单是上一步我们缓存出来的下单风波对应的那种订单。经过前面的改建实现了，只要稍稍有一些SQL基础的业务人员，都可以读懂并配置规则。

后面我们谈到，当前的FlinkCEP估算任务不支持动态递交规则。主要诱因是在编译阶段FlinkCEP规则估算逻辑就确定了，而且早已通过NFACompiler编译完毕。在运行时估算任务只能固定执行之前早已编译好的规则。这么我们是怎样改建的呢？

为了实现规则的动态发觉，我们引入了一个规则流，用户递交或更改的规则都可以发到这条流中。为了实现规则的动态注入，我们将规则流设计为BroadcastStream。当发觉新递交的规则时，广播分发到所有的SubTask。

为了实现规则的在线加载执行，我们基于上面提及的规则DSL，研制了一套基于规则的解析器。当SubTask收到分发的规则后，可以在线解析生成规则运行须要的组件。诸如NFA、规则匹配条件SQL对应的执行计划、匹配结果处理函数等。之后保存到FlinkState中，持续监测和处理后续的风波。

解释一下为何采用BroadcastStream来实现规则的动态注入。因为FlinkCEP是有状态的估算，规则的更新/删掉常常须要伴随FlinkStates的操作和处理。诸如：当删掉规则时，连带当前规则关联的风波缓存等状态信息也须要一并删掉。对比通过其他方法感知规则变更，例如启动一个异步线程定时扫描规则，通过BroadcastStream的形式优势是，当测量到规则变更，才能更便捷安全的操作FlinkState。

里面的方案解决了一个估算任务动态递交规则的诉求，但当一个估算任务运行多条规则时，又带来了一个新的问题。

问题一，因为规则的风波分组逻辑可能不同。(例如规则A须要先对风波流根据"用户的IP地址"路由到同一Task后再进行NFA匹配估算。而规则B则须要对风波流按”用户的设备ID“进行路由）。这么当这两个规则运行在同一个估算任务时，怎样兼容呢？

为了解决这个问题，我们新增了KeyGenOperator算子。当测量到新的风波流入时抖音浏览自助平台，先按照每一条规则配置生成一个与之对应分组的Key，之后按分组Key再进行下游的Task分发，这样就实现了对多条规则的不同风波分组逻辑的兼容。

问题二，因为同一个估算任务运行多条规则，就可能会带来规则估算冗余的问题。例如抖音浏览自助平台，规则A关注用户下单、支付等支付相关风波，而规则B关注用户的商品浏览、评论等流量相关的风波。假如同一个估算任务同时运行这两条规则，这么这个任务就必须同时消费这两类风波。也就是说规则A本不关注流量类的风波，但因为整个任务整体订阅了这类风波，就造成规则A也必须处理这类风波。

为了解决上述问题，我们在KeyGenOperator算子新增了“事件筛选”组件，实现针对同一输入风波不同规则里的个性化风波筛选。也就是说，针对新流入的风波，仅当规则关注这个风波的时侯，就会生成与之对应的分组Key，但是进行后续的估算。

值得一提的是：在店家自定义预警的业务场景中，因为风波筛选的疗效是比较好的（也就是说，店家自定义的每位规则仅关注当前店家所属商品的相关风波），这么经过我们测试，单个任务（在600Core、800并发度的情况下）可以支持的店家简单规则数目可以超过百万。

当发生风波A后一段时间内，没有发生风波B，其对应的伪代码可能是前面的这些方式。当前的FlinkCEP不支持这些语义，由于可能导致没有风波触发这条规则，最终完成匹配的情况。

针对这个问题，我们在规则生成的NFA中引入一种Pending状态。当流入风波满足创建订单的条件以后，状态会急剧迁移到Pending状态等待超时。当FlinkCEP任务的watermark往前推动时，会触发Pending状态的NFC进行估算，判定是否早已超时，假如超时都会触发NFA，迁移到下一个Final状态。假如在这之前系统流入了订单支付风波，都会转移到Stop状态。

通过这些方法，我们实现了对发生风波A以后一段时间内，没有发生风波B类的语义的支持。

为了进一步提高规则引擎的应用性，我们整合后面的方案，拓展规则引擎的周边能力，研制了一站式规则平台。用户可以在平台上自助进行风波的注册、预览、规则配置、调试、发布等全流程的自助操作。

平台整个构架共分为四层，分别是：

风波层，比如看播风波、下单风波、物流风波、客服风波等。

估算层，负责动态的接收用户递交的CEP规则，并对规则进行解析，检查后续流入风波。估算层的核心是规则估算模块，也就是具体的FlinkCEP估算任务。同时在估算层还有规则调度模块和规则解析模块，规则调度模块负责将新递交的规则分发到具体的FlinkCEP估算任务，调度策略可以选择同风波源优先或则负载均衡优先。

触达层，负责估算层规则匹配结果的数据应用，主要包括延后策略管理、维度数组扩展、推送目标管理等。

平台层，负责与用户交互以及任务运维等工作。

业务成效方面：

技术成效方面：

04

未来展望

未来我们计划在以下三个方面继续对规则引擎进行建设。