spring cloud 日志追踪使用

spring cloud 家族算是国内比较常见的微服务解决方案了。其中的日志部分也是有相关的组件做支撑。

默认情况下，如果仅仅是简单的开发，或者说只是利用微服务的服务拆分，不去使用多实例负载，且在服务拆分中链路深度低于3层，那么在很大程度上，人工还是能直接通过log日志快速定位问题。

目前由于服务越来越多，且链路也越发复杂，已经不是之前的少量服务的情况。故还是需要将全家桶的方案拿出来使用。

Spring Cloud Sleuth

基本机制为: 在http请求中添加相关参数，大致为:server-name,main-traceid,subspanid。

server-name: 用于标注用的那个微服务。

traceid: 一个前端请求仅此一个id，整个请求唯一。

spanid:  请求的链路中,每个服务拥有一个唯一id。

过程中为了串联起来，还有辅助信息：

parentSpanID:  链路中上个服务的spanid.

ELK

日志收集查询神器elk套装，也是比较稳定的方案了。

主要解决日志量大存储问题，以及后方面运维、开发能方便的查询相关的日志。而不是在shell中费力的寻找。

 

初定方案

使用 spring cloud sleuth 进行链路线管信息记录，通过logback+logstash将日志输出并存储到es中，最后使用kinbana进行日志查询。

至于zipkin 目前暂时用不上，当下最大问题还是找出错误。

配置使用

首先引入sleuth。

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-sleuth</artifactId>
</dependency>

然后加入logstash-logback。

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>4.6</version>
</dependency>

logback-spring.xml 配置文件：

<?xml version="1.0" encoding="UTF-8"?>
<!--该日志将日志级别不同的log信息保存到不同的文件中 -->
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml" />

    <springProperty scope="context" name="springAppName"
                    source="spring.application.name" />

    <!-- 日志在工程中的输出位置 -->
    <property name="LOG_FILE" value="${BUILD_FOLDER:-build}/${springAppName}" />

    <!-- 控制台的日志输出样式 -->
    <property name="CONSOLE_LOG_PATTERN"
              value="%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}" />

    <!-- 控制台输出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <!-- 日志输出编码 -->
        <encoder>
            <pattern>${CONSOLE_LOG_PATTERN}</pattern>
            <charset>utf8</charset>
        </encoder>
    </appender>

    <!-- 为logstash输出的JSON格式的Appender -->
    <appender name="logstash"
              class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>127.0.0.1:9250</destination>
        <!-- 日志输出编码 -->
        <encoder
                class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "severity": "%level",
                        "service": "${springAppName:-}",
                        "trace": "%X{X-B3-TraceId:-}",
                        "span": "%X{X-B3-SpanId:-}",
                        "exportable": "%X{X-Span-Export:-}",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "rest": "%message"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>

    <!-- 日志输出级别 -->
    <root level="INFO">
        <appender-ref ref="console" />
        <appender-ref ref="logstash" />
    </root>
</configuration>

其中logstash>destination 为指定的logstash通道。

注意：需要安装logstash-codec-json_lines插件。

logstash-plugin install logstash-codec-json_lines

logstash.conf

input {
 tcp {
  port => 9250
  codec => "json_lines"
}
}

output {
 elasticsearch {
  hosts => ["http://localhost:9200"]
  index => "ms-%{+YYYY.MM.dd}"
}
}

最后启动elk,启动微服务即可。