loki日志收集系统部署

架构图介绍：
在这里插入图片描述

promtail 部署

下载地址

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# 解压，下载官方配置模板并修改
mkdir /data/promtail
unzip promtail-linux-amd64.zip
wget https://raw.githubusercontent.com/grafana/loki/main/clients/cmd/promtail/promtail-local-config.yaml

# 编辑配置
vim promtail-local-config.yaml

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://192.168.2.81:3100/loki/api/v1/push	## 此处lokiserver修改为服务器端地址

scrape_configs:
- job_name: application			# job名称，自定义
  static_configs:
  - targets:					# 如测试环境多个应用多个路径，从此行开始复制修改对应的标签
      - localhost
    labels:
      job: web-test				# 监控类型
      project: test-api-log			# 项目名称自定义
      host: 192.168.2.81		# 建议修改为本机ip，方便过滤      
      __path__: /data/log/*.log		# tomcat日志路径

# 启动 promtail
cd /data/promtail
nohup ./promtail-linux-amd64 --config.file=promtail.yaml &

loki 部署

下载地址

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
# 解压，下载官方配置模板并修改
mkdir /data/loki
unzip loki-linux-amd64
wget https://raw.githubusercontent.com/grafana/loki/master/cmd/loki/loki-local-config.yaml

# 编辑配置
vim loki-local-config.yaml

auth_enabled: false

server:
  http_listen_port: 3100
  grpc_listen_port: 9096

common:
  path_prefix: /tmp/loki
  storage:
    filesystem:
      chunks_directory: /tmp/loki/chunks
      rules_directory: /tmp/loki/rules
  replication_factor: 1
  ring:
    instance_addr: 127.0.0.1
    kvstore:
      store: inmemory

schema_config:
  configs:
    - from: 2020-10-24
      store: boltdb-shipper
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 24h

# 告警先不配置
# ruler:
#   alertmanager_url: http://localhost:9093

# 下面的配置为新增的，不配置日志太大会报错
limits_config:
  enforce_metric_name: false
  reject_old_samples: true
  reject_old_samples_max_age: 168h
  ingestion_rate_mb: 30  #修改每用户摄入速率限制，即每秒样本量，默认值为4M
  ingestion_burst_size_mb: 15  #修改每用户摄入速率限制，即每秒样本量，默认值为6M


# 启动 loki
cd /data/loki
nohup ./loki-linux-amd64 --config.file=loki.yaml &

配置 grafana

1
2
3
4
5
6
7
1、配置 loki 数据源

2、输入loki服务器的ip和端口（3100）、其他默认，然后Save&Test

3、在Explore中选择loki，可以根据自定义的标签进行过滤

4、显示日志