Spring Cloud - Sentinel 集成 Gateway 和实时监控

2024年3月28日

Spring Cloud

Spring Cloud
Sentinel
Gateway
实时监控
API网关

大约 9 分钟

Spring Cloud - Sentinel 集成 Gateway 和实时监控

1. Sentinel集成Gateway

参看：https://github.com/alibaba/Sentinel/wiki/%E7%BD%91%E5%85%B3%E9%99%90%E6%B5%81#spring-cloud-gateway

我们的项目流量入口是SpringCloud Gateway，因此我们重点讲解Sentinel集成Gateway。

1.1. Sentinel对网关支持

Sentinel支持对Spring Cloud Gateway、Zuul等主流的API Gateway进行限流。

Sentinel 1.6.0引入了Sentinel API Gateway Adapter Common模块，此模块中包含网关限流的规则和自定义API的实体和管理逻辑

从1.6.0版本开始，Sentinel提供了Spring Cloud Gateway的适配模块，可以提供两种资源维度的限流：

route 维度：即在Spring配置文件中配置的路由条目，资源名为对应的routeId

spring:
  gateway:
  #路由配置
  routes:
    #唯一标识符
    - id: hailtaxi-driver
      uri: lb://hailtaxi-driver
      #路由断言
      predicates:
        - Path=/driver/**
    #唯一标识符
    - id: hailtaxi-order
      uri: lb://hailtaxi-order
      #路由断言
      predicates:
        - Path=/order/**

自动将每个路由标识为资源。

自定义API维度：用户可以利用Sentinel提供的API来自定义一些API分组

这两种维度分别对应如下：

GatewayFlowRule：网关限流规则，针对API Gateway的场景定制的限流规则，可以针对不同route或自定义的API分组进行限流，支持针对请求中的参数、Header、来源IP等进行定制化的限流。
ApiDefinition：用户自定义的API定义分组，可以看做是一些URL匹配的组合。比如我们可以定义一个API叫my_api，请求path模式为/foo/**和/baz/**的都归到my_api这个API分组下面。限流的时候可以针对这个自定义的API分组维度进行限流。

其中网关限流规则GatewayFlowRule的字段解释如下：

resource：资源名称，可以是网关中的 route 名称或者用户自定义的 API 分组名称。
resourceMode：规则是针对 API Gateway 的 route（RESOURCE_MODE_ROUTE_ID）还是用户在 Sentinel 中定义的 API 分组（RESOURCE_MODE_CUSTOM_API_NAME），默认是 route。
grade：限流指标维度，同限流规则的 grade 字段。
count：限流阈值
intervalSec：统计时间窗口，单位是秒，默认是 1 秒。
controlBehavior：流量整形的控制效果，同限流规则的controlBehavior字段，目前支持快速失败和匀速排队两种模式，默认是快速失败。
burst：应对突发请求时额外允许的请求数目。
maxQueueingTimeoutMs：匀速排队模式下的最长排队时间，单位是毫秒，仅在匀速排队模式下生效。
paramItem：参数限流配置。若不提供，则代表不针对参数进行限流，该网关规则将会被转换成普通流控规则；否则会转换成热点规则。其中的字段：
parseStrategy：从请求中提取参数的策略，目前支持提取来源 IP（PARAM_PARSE_STRATEGY_CLIENT_IP）、Host（PARAM_PARSE_STRATEGY_HOST）、任意Header（PARAM_PARSE_STRATEGY_HEADER）和任意URL参数（PARAM_PARSE_STRATEGY_URL_PARAM）四种模式。
- fieldName：若提取策略选择 Header 模式或 URL 参数模式，则需要指定对应的 header 名称或 URL 参数名称。
pattern：参数值的匹配模式，只有匹配该模式的请求属性值会纳入统计和流控；若为空则统计该请求属性的所有值。（1.6.2 版本开始支持）
- matchStrategy：参数值的匹配策略，目前支持精确匹配（PARAM_MATCH_STRATEGY_EXACT）、子串匹配（PARAM_MATCH_STRATEGY_CONTAINS）和正则匹配（PARAM_MATCH_STRATEGY_REGEX）。（1.6.2版本开始支持）

用户可以通过GatewayRuleManager.loadRules(rules)手动加载网关规则，或通过GatewayRuleManager.register2Property(property)注册动态规则源动态推送（推荐方式）。

1.2. GateWay集成Sentinel

我们如果想要让微服务网关集成Sentinel，需要引入依赖包，使用时只需注入对应的SentinelGatewayFilter实例以及SentinelGatewayBlockExceptionHandler实例即可。

1、首先在hailtaxi-gateway中引入如下依赖：

<!--Sentinel-->
<dependency>
    <groupId>com.alibaba.csp</groupId>
    <artifactId>sentinel-spring-cloud-gateway-adapter</artifactId>
    <version>1.8.0</version>
</dependency>

2、实例引入：创建配置类com.itheima.config.GatewayConfiguration：

package com.itheima.config;

import com.alibaba.csp.sentinel.adapter.gateway.common.SentinelGatewayConstants;
import com.alibaba.csp.sentinel.adapter.gateway.common.api.ApiDefinition;
import com.alibaba.csp.sentinel.adapter.gateway.common.api.ApiPathPredicateItem;
import com.alibaba.csp.sentinel.adapter.gateway.common.api.ApiPredicateItem;
import com.alibaba.csp.sentinel.adapter.gateway.common.api.GatewayApiDefinitionManager;
import com.alibaba.csp.sentinel.adapter.gateway.common.rule.GatewayFlowRule;
import com.alibaba.csp.sentinel.adapter.gateway.common.rule.GatewayParamFlowItem;
import com.alibaba.csp.sentinel.adapter.gateway.common.rule.GatewayRuleManager;
import com.alibaba.csp.sentinel.adapter.gateway.sc.SentinelGatewayFilter;
import com.alibaba.csp.sentinel.adapter.gateway.sc.exception.SentinelGatewayBlockExceptionHandler;
import com.alibaba.csp.sentinel.slots.block.RuleConstant;
import org.springframework.beans.factory.ObjectProvider;
import org.springframework.cloud.gateway.filter.GlobalFilter;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.Ordered;
import org.springframework.core.annotation.Order;
import org.springframework.http.codec.ServerCodecConfigurer;
import org.springframework.web.reactive.result.view.ViewResolver;

import javax.annotation.PostConstruct;
import java.util.Collections;
import java.util.HashSet;
import java.util.List;
import java.util.Set;

@Configuration
public class GatewayConfiguration {

    private final List<ViewResolver> viewResolvers;
    private final ServerCodecConfigurer serverCodecConfigurer;

    public GatewayConfiguration(ObjectProvider<List<ViewResolver>> viewResolversProvider,
                                ServerCodecConfigurer serverCodecConfigurer) {
        this.viewResolvers = viewResolversProvider.getIfAvailable(Collections::emptyList);
        this.serverCodecConfigurer = serverCodecConfigurer;
    }

    /**
     * 限流的异常处理器
     * @return
     */
    @Bean
    @Order(Ordered.HIGHEST_PRECEDENCE)
    public SentinelGatewayBlockExceptionHandler sentinelGatewayBlockExceptionHandler() {
        return new SentinelGatewayBlockExceptionHandler(viewResolvers, serverCodecConfigurer);
    }

    /***
     * Sentinel路由处理核心过滤器
     * @return
     */
    @Bean
    @Order(-1)
    public GlobalFilter sentinelGatewayFilter() {
        return new SentinelGatewayFilter();
    }



    @PostConstruct
    public void doInit() {
        // 自定义 api 分组
        initCustomizedApis();
        // 初始化网关流控规则
        initGatewayRules();
    }

    private void initCustomizedApis() {
        Set<ApiDefinition> definitions = new HashSet<>();
        ApiDefinition api1 = new ApiDefinition("customer_api")
                .setPredicateItems(new HashSet<ApiPredicateItem>() {{
                    add(new ApiPathPredicateItem().setPattern("/order/**")
                            /**
                             * 匹配策略：
                             * URL_MATCH_STRATEGY_EXACT：url精确匹配
                             * URL_MATCH_STRATEGY_PREFIX：url前缀匹配
                             * URL_MATCH_STRATEGY_REGEX：url正则匹配
                             */
                            .setMatchStrategy(SentinelGatewayConstants.URL_MATCH_STRATEGY_PREFIX));
                }});
        definitions.add(api1);
        GatewayApiDefinitionManager.loadApiDefinitions(definitions);
    }

    private void initGatewayRules() {
        Set<GatewayFlowRule> rules = new HashSet<>();

        rules.add(new GatewayFlowRule("hailtaxi-driver") // 资源名称，可以是网关中的 routeid或者用户自定义的 API分组名称
                .setCount(2) // 限流阈值
                .setIntervalSec(10) // 统计时间窗口默认1s
                .setGrade(RuleConstant.FLOW_GRADE_QPS) // 限流模式
                /**
                 * 限流行为:
                 * CONTROL_BEHAVIOR_RATE_LIMITER 匀速排队
                 * CONTROL_BEHAVIOR_DEFAULT 快速失败(默认)
                 * CONTROL_BEHAVIOR_WARM_UP：
                 * CONTROL_BEHAVIOR_WARM_UP_RATE_LIMITER：
                 */
                .setControlBehavior(RuleConstant.CONTROL_BEHAVIOR_RATE_LIMITER)
                //匀速排队模式下的最长排队时间，单位是毫秒，仅在匀速排队模式下生效
                .setMaxQueueingTimeoutMs(1000)
                /**
                 * 热点参数限流配置
                 * 若不设置,该网关规则将会被转换成普通流控规则；否则会转换成热点规则
                 */
                .setParamItem(new GatewayParamFlowItem()
                        /**
                         * 从请求中提取参数的策略:
                         * PARAM_PARSE_STRATEGY_CLIENT_IP
                         * PARAM_PARSE_STRATEGY_HOST
                         * PARAM_PARSE_STRATEGY_HEADER
                         * PARAM_PARSE_STRATEGY_URL_PARAM
                         */
                                    .setParseStrategy(SentinelGatewayConstants.PARAM_PARSE_STRATEGY_URL_PARAM)
                        /**
                         * 若提取策略选择 Header 模式或 URL 参数模式，
                         * 则需要指定对应的 header 名称或 URL 参数名称。
                         */
                        .setFieldName("token")
                        /**
                         * 参数的匹配策略：
                         * PARAM_MATCH_STRATEGY_EXACT
                         * PARAM_MATCH_STRATEGY_PREFIX
                         * PARAM_MATCH_STRATEGY_REGEX
                         * PARAM_MATCH_STRATEGY_CONTAINS
                         */
                        .setMatchStrategy(SentinelGatewayConstants.PARAM_MATCH_STRATEGY_EXACT)
                        //参数值的匹配模式，只有匹配该模式的请求属性值会纳入统计和流控
                        .setPattern("123456") // token=123456 10s内qps达到2次会被限流
                )
        );

        rules.add(new GatewayFlowRule("customer_api")
                /**
                 * 规则是针对 API Gateway 的 route（RESOURCE_MODE_ROUTE_ID）
                 * 还是用户在 Sentinel 中定义的 API 分组（RESOURCE_MODE_CUSTOM_API_NAME），默认是 route。
                 */
                .setResourceMode(SentinelGatewayConstants.RESOURCE_MODE_CUSTOM_API_NAME)
                .setCount(2)
                .setIntervalSec(1)
                .setGrade(RuleConstant.FLOW_GRADE_QPS)
        );
        GatewayRuleManager.loadRules(rules);
    }


}

此时集成就完成了。

3、启动hailtaxi-gateway，hailtaxi-drvier，hailtaxi-order测试：

使用postman测试，

请求：http:\//localhost:8001/driver/info/1 10秒内请求超过2次会被限流

请求：localhost:8001/order 1秒内qps达到2次会被限流

查看：https:\//github.com/alibaba/Sentinel/wiki/%E6%8E%A7%E5%88%B6%E5%8F%B0

Sentinel控制台是流量控制、熔断降级规则统一配置和管理的入口，它为用户提供了机器自发现、簇点链路自发现、监控、规则配置等功能。在Sentinel控制台上，我们可以配置规则并实时查看流量控制效果。

2. Sentinel控制台

2.1. Sentinel控制台安装

Sentinel提供一个轻量级的开源控制台，它提供机器发现以及健康情况管理、监控（单机和集群），规则管理和推送的功能。

Sentinel控制台包含如下功能:

查看机器列表以及健康情况：收集Sentinel客户端发送的心跳包，用于判断机器是否在线。
监控 (单机和集群聚合)：通过Sentinel客户端暴露的监控API，定期拉取并且聚合应用监控信息，最终可以实现秒级的实时监控。
规则管理和推送：统一管理推送规则。
鉴权：生产环境中鉴权非常重要。这里每个开发者需要根据自己的实际情况进行定制。

Sentinel控制台安装可以基于jar包启动的方式安装，也可以基于docker安装，为了方便操作，我们这里采用docker安装方式：

docker run --name=sentinel-dashboard -d -p 8858:8858 -d --restart=on-failure bladex/sentinel-dashboard:1.8.0

安装好了后，我们可以直接访问http:\//192.168.200.200:8858/，默认用户名和密码都是sentinel

登录后，效果如下：

2.2. 接入控制台

客户端需要引入Transport模块来与Sentinel控制台进行通信，可以通过pom.xml引入JAR包:

<dependency>
  <groupId>com.alibaba.csp</groupId>
  <artifactId>sentinel-transport-simple-http</artifactId>
  <version>x.y.z</version>
</dependency>

如果是SpringBoot工程接入Sentinel，可以直接引入如下依赖包：

<dependency>
  <groupId>com.alibaba.cloud</groupId>
  <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
  <version>2.2.5.RELEASE</version>
</dependency>

hailtaxi-gateway接入控制台：

1、引入依赖包：

<dependency>
  <groupId>com.alibaba.cloud</groupId>
  <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
  <version>2.2.5.RELEASE</version>
</dependency>

2、在核心配置文件中配置Sentinel控制台服务地址

spring:
  cloud:
    sentinel:
      transport:
        port: 8719
        dashboard: 192.168.200.200:8858

注意：
1、这里的spring.cloud.sentinel.transport.port端口配置会在应用对应的机器上启动一个Http Server，该Server会与Sentinel控制台做交互，比如限流规则拉取。
2、配置信息现在是存储到nacos中，故要在nacos中找到hailtaxi-gateway.yaml，进行如下配置

修改之后记得发布！

3、启动各个服务，

此时我们出发一些请求操作，再看Sentinel控制台会多一个服务监控：

2.3. 可视化管理

2.3.1. 实时监控

同一个服务下的所有机器的簇点信息会被汇总，并且秒级地展示在"实时监控"下。

注意: 实时监控仅存储5分钟以内的数据，如果需要持久化，需要通过调用实时监控接口来定制。

如果要获取监控数据，直接调用http:\//localhost:8719/clusterNode即可获取，效果如下：

2.3.2 流控规则

我们可以在【流控规则】页面中新增，点击【流控规则】进入页面新增页面，如下图：

资源名：其实可以和请求路径保持一致，这里的流控模式为QPS，触发流控执行阈值为1，流控模式为让当前请求的资源快速直白。

这里的参数和我们程序中的参数其实是一样的，如下说明：

resource：资源名，即限流规则的作用对象
count: 限流阈值
grade: 限流阈值类型（QPS或并发线程数）
limitApp: 流控针对的调用来源，若为default则不区分调用来源
strategy: 调用关系限流策略：直接，关联，链路
controlBehavior: 流量控制效果（直接拒绝、Warm Up、匀速排队）

我们测试效果如下：

2.3.3. 降级规则

我们可以选择降级规则>新增降级规则，如下图：

降级规则的熔断策略有3种，分别是慢调用比例、异常比例、异常数，和程序中是一样的。

2.3.4. 热点数据

热点即经常访问的数据。很多时候我们希望统计某个热点数据中访问频次最高的Top K数据，并对其访问进行限制。

拓展知识点：

注意：如果流控模式是链路模式，需要引入如下依赖：

<dependency>
    <groupId>com.alibaba.csp</groupId>
    <artifactId>sentinel-web-servlet</artifactId>
    <version>1.8.0</version>
</dependency>

创建过滤器：

/***
* CommonFilter过滤器
* @return
  */
@Bean
public FilterRegistrationBean sentinelFilterRegistration() {
  FilterRegistrationBean registration = new FilterRegistrationBean();
  registration.setFilter(new CommonFilter());
  registration.addUrlPatterns("/*");  //过滤所有请求
  // 入口资源关闭聚合
  registration.addInitParameter(CommonFilter.WEB_CONTEXT_UNIFY, "false");
  registration.setName("sentinelFilter");
  registration.setOrder(1);
  return registration;
}

bootstrap.yml配置：web-context-unify: false

  cloud:
    sentinel:
      transport:
        port: 8719
        dashboard: localhost:8858
      web-context-unify: false  #可根据不同的URL 进行链路限流

引用资料

https://blog.csdn.net/ZGL_cyy/article/details/130874653

Spring Cloud - Sentinel 集成 Gateway 和实时监控

# Spring Cloud - Sentinel 集成 Gateway 和实时监控

# 1. Sentinel集成Gateway

# 1.1. Sentinel对网关支持

# 1.2. GateWay集成Sentinel

# 2. Sentinel控制台

# 2.1. Sentinel控制台安装

# 2.2. 接入控制台

# 2.3. 可视化管理

# 2.3.1. 实时监控

# 2.3.2 流控规则

# 2.3.3. 降级规则

# 2.3.4. 热点数据

# 引用资料

Spring Cloud - Sentinel 集成 Gateway 和实时监控

1. Sentinel集成Gateway

1.1. Sentinel对网关支持

1.2. GateWay集成Sentinel

2. Sentinel控制台

2.1. Sentinel控制台安装

2.2. 接入控制台

2.3. 可视化管理

2.3.1. 实时监控

2.3.2 流控规则

2.3.3. 降级规则

2.3.4. 热点数据

引用资料