Promtail & Loki

🪷 Grafana Loki

Grafana Labs 에는 그라파나 외에도 Loki 라는 로그 집계 시스템이 존재합니다. Loki는 모든 애플리케이션과 인프라의 로그를 저장하고 쿼리할 수 있도록 설계된 로그 집계 시스템입니다.

🐛 1. Loki 설정하기

먼저, Grafana Loki를 모니터링 서버에 설치하고 구성해야 합니다. Loki는 로그 데이터를 받아들이고 저장하는 중앙 집중식 서비스 역할을 합니다.

Loki를 통해 받은 로그를 S3와 같은 저장소에 저장할 수 있으나 우선은 로컬에 저장하도록 하겠습니다.

아래 명령어를 통해 loki 설정에 필요한 파일을 먼저 받아줍니다.

wget https://raw.githubusercontent.com/grafana/loki/master/cmd/loki/loki-local-config.yaml

그리고 Loki를 컨테이너로 사용하기 위해 아래처럼 docker-compose.yml 파일을 작성해줍니다.저는 현재 모니터링과 관련된 네트워크(grafana_promnet)를 같이 사용하기 위해 아래처럼 작성해줬습니다.

version: '3'
services:
  loki:
    image: grafana/loki:latest
    container_name: loki
    ports:
      - "3100:3100"
    command: -config.file=/etc/loki/local-config.yaml
    volumes:
      - ./loki-local-config.yaml:/etc/loki/local-config.yaml
    networks:
      - grafana_promnet
        restart: always

networks:
  grafana_promnet:
    external: true

이후 docker-compose up -d 명령어를 통해 loki를 실행 시켜줍니다. 그리고 모니터링서버IP:3100 으로 접근합니다.(서버 인바운드규칙 열어주셔야합니다.)

🍋 2. 애플리케이션 서버에 Promtail 설치 및 구성

Promtail은 로그 파일을 읽고 Loki로 전송하는 에이전트입니다. Spring Boot 애플리케이션이 실행되는 서버에 Promtail을 설치해야 합니다.

promtail-config.yml Promtail 설정 파일을 먼저 생성해줍니다.

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://모니터링서버IP:3100/loki/api/v1/push #모니터링 서버 IP 넣어주셔야합니다.

scrape_configs:
  - job_name: local_logs
    static_configs:
      - targets:
          - localhost # 로그를 수집할 곳
        labels:
          job: varlogs
          __path__: /mnt/logs/*.log

그리고 같은 위치에 protail를 도커를 사용해 설치해주겠습니다. 여기에서 주의할것은 도커를 사용해 promtail을 띄우기 때문에 로컬에 생성되는 로그와 연결해줘야 한다는것입니다.

version: '3'
services:
  promtail:
    image: grafana/promtail:latest
    volumes:
      - /home/ubuntu/blitz/logs:/mnt/logs #/home/ubuntu/blitz/logs를 로그 위치로 변경
      - ./promtail-config.yml:/etc/promtail/config.yml
    command: -config.file=/etc/promtail/config.yml

그리고 docker-compose up -d 명령어를 통해 promtail을 실행시켜줍니다.

 

그리고 다시 그라파나로 돌아와 대시보드를 연결해주기만 하면 됩니다.

대시보드에 Import를 클릭

 

사용할 공유 대시보드 에 접근해 Dashboard ID를 복사해줍니다.

그리고 Loki Data sources를 생성해주면 됩니다.

URL은 http://localhost:3100 또는 저 처럼 Loki와 Grafana의 도커 네트워크가 같다면 http://loki:3100 을 입력해주시고 맨 아래 Save & test를 눌러주시면 됩니다.

그리고 다시 돌아와 생성해준 Loki를 선택후 Import를 해주시면 됩니다.

그러면 위에 처럼 로그가 정상적으로 동작하는 것을 확인 하실 수 있습니다.