ASP.NET Core中使用滑动窗口限流-C/S开发框架
滑动窗口算法用于应对请求在时间周期中分布不均匀的情况,能够更精确的应对流量变化,比较著名的应用场景就是TCP协议的流量控制,不过今天要说的是服务限流场景中的应用。 算法原理这里假设业务需要每秒钟限流100次,先来看固定窗口算法的两个问题:
如下图所示,单看第1秒和第2秒,其请求次数都没有超过100,所以使用固定窗口算法时不会触发限流。但是第1秒的后500ms的请求数加上第2秒的前500毫秒的请求数就超过了100,这时候可能会给系统带来伤害,使用固定窗口算法时不能检测到这种情况。
针对漏检的问题,你可能会说,可以把时间窗口设置为500ms,把限流阈值设置为50。那么来看下图,除了第2个计数周期超过了50,从而触发限流,前后几个计数周期的请求都很正常,甚至都不会超过阈值的50%,可能第2个计数周期的情况实在太特殊,1天都不会出现第2次,如果对系统不会造成影响,能不能通融下,做不到!固定窗口算法这时候就会显得太过刚性。 那么滑动窗口如何来解决这两个问题呢?还是先来看图: 如上图所示:
从分析还可以看出,滑动窗口的小周期划分的越多,则检测越准确,但用于跟踪的计数也越多,使用的内存和计算量都会增大。 算法实现这里讲两种实现方法:进程内即内存滑动窗口算法、基于Redis的滑动窗口算法。 进程内即内存滑动窗口算法这里介绍一种性能比较高的方法,使用数组实现滑动窗口,这是环形队列的一种特例,如下图所示:
关于这个算法的详细介绍,可以看这篇文章:如何使用数组实现滑动窗口 基于Redis的滑动窗口算法基于Redis时也可以使用类似环形队列的方法,比如定义5个KV作为数组的5个元素。不过我之前实现时采用了一种更直观的方式,每个小的计数周期都创建一个KV,同时设置一个绝对超过滑动窗口时间跨度的过期时间,用不到的小计数周期不会一直占用内存;判断是否触发限流时,把这些小滑动窗口的计数值累加起来就可以了。当然实际实现时还需要完善一些细节上的处理,比如怎么找到这些小计数周期,会有多种方案,存起来或者临时计算都可以。 这些操作逻辑可以封装在一个Lua script中,因为Lua script在Redis中执行时也是原子操作,所以Redis的限流计数在分布式部署时天然就是准确的。 应用算法这里以限流组件 FireflySoft.RateLimit 为例,实现ASP.NET Core中的滑动窗口限流。 1、安装Nuget包有多种安装方式,选择自己喜欢的就行了。 包管理器命令:
或者.NET命令:
或者项目文件直接添加:
2、使用中间件在Startup中使用中间件,演示代码如下(下边会有详细说明):
如上需要先注册服务,然后使用中间件。 注册服务的时候需要提供限流算法和对应的规则:
基本的使用就是上边例子中的这些了。 如果还是基于传统的.NET Framework,则需要在Application_Start中注册一个消息处理器RateLimitHandler,算法和规则部分都是共用的,具体可以看Github上的使用说明:https://github.com/bosima/FireflySoft.RateLimit#aspnet FireflySoft.RateLimit 是一个基于 .NET Standard 的限流类库,其内核简单轻巧,能够灵活应对各种需求的限流场景。 其主要特点包括:
Github开源地址:https://github.com/bosima/FireflySoft.RateLimit
参考文档:
手把手搭建一个ASP.NET Core Web应用程序(默认HTTPS协议) C/S开发框架教程:使用基础资料(数据字典)的DAL层更新主从表(或多表)数据 ASP.NET IIS程序池被回收导致网站打开慢,IIS配置启用预加载模式-C/S开发框架 C#使用SqlBulkCopy快速导入Excel文件(xls/xlsx)-C/S开发框架 最强效率!3个小时完成一个C/S软件系统开发-C/S开发框架 CSFramework开发框架采用一个数据库解决方案(合并数据库)-C/S开发框架 系统登录提示加载账套数据失败,无法选择账套主要原因与解决方案-C/S开发框架 SQL通过附加数据库方式新建用户账套-喜鹊软件OMS系统-C/S开发框架 C# FastReport.NET批量打印条形码报表详解教程-C/S开发框架 C# C/S架构软件自动升级程序Winform+多数据库(MySQL,MsSQL,Oracle)-C/S开发框架 SQLServer多个服务器实例配置端口及SqlConnection连接字符串、安全组规则配置-C/S开发框架 如何关闭Windows Defender-C/S开发框架 ChartControl图表组件ArgumentScaleType/ValueScaleType轴的刻度类型-C/S开发框架 C# FormTool.SetCursor设置光标为等待状态,提高用户体验-C/S开发框架
其它资料:
什么是C/S结构? | C/S框架核心组成部分 | C/S框架-WebService部署图 | C/S框架-权限管理 | C/S结构系统框架 - 5.1旗舰版介绍 | C/S结构系统框架 - 功能介绍 | C/S结构系统框架 - 产品列表 | C/S结构系统框架 - 应用展示(图) | 三层体系架构详解 | C/S架构轻量级快速开发框架 | C/S框架网客户案例 | WebApi快速开发框架 | C/S框架代码生成器 | 用户授权注册软件系统 | 版本自动升级软件 | 数据库底层应用框架 | CSFramework.CMS内容管理系统 | |