MinIO - 50. MinIO용 fluentd 플러그인을 사용하여 Apache 로그 집계

Aggregate Apache Logs with fluentd plugin for MinIO

MinIO용 fluentd 플러그인을 사용하여 Apache 로그 집계

In this recipe, we will learn how to use MinIO as log aggregator for fluentd using fluent-plugin-s3 plugin.

이 레시피에서는 fluent-plugin-s3 플러그인을 사용하여 MinIO를 fluentd용 로그 수집기로 사용하는 방법을 알아봅니다.

1. Prerequisites

1. 전제조건

Install MinIO Server from here.

여기에서 MinIO 서버를 설치하세요.

Install mc from here.

여기에서 mc를 설치하세요.

2. Installation

2. 설치

Install and run Apache server.

Apache 서버를 설치하고 실행합니다.

Install fluentd and fluent-plugin-s3.

fluentd 및 fluent-plugin-s3를 설치합니다.

3. Recipe Steps

3. 레시피 단계

Step 1: Create a bucket.

1 단계: 버킷을 생성합니다.

This is the bucket where fluentd will aggregate semi-structured apache logs in real-time.

이는 fluentd가 반구조화된 Apache 로그를 실시간으로 집계하는 버킷입니다.

mc mb myminio/fluentd

Bucket created successfully ‘myminio/fluentd.

버킷이 ‘myminio / fluentd’를 성공적으로 생성했습니다.

Step 2: Modify the fluentd configuration to use MinIO as backend.

2 단계: MinIO를 백엔드로 사용하도록 fluentd 구성을 수정합니다.

Replace with your own values for aws_key_id, aws_sec_key, s3_bucket, s3_endpoint.

aws_key_id, aws_sec_key, s3_bucket, s3_endpoint에 대한 고유한 값으로 바꿉니다.

Replace /etc/td-agent/td-agent.conf with:

/etc/td-agent/td-agent.conf를 다음으로 바꾸십시오:


  @type tail
  format apache2
  path /var/log/apache2/access.log
  pos_file /var/log/td-agent/apache2.access.log.pos
  tag s3.apache.access



  @type s3
   aws_key_id  `aws_key_id`
   aws_sec_key `aws_sec_key`
   s3_bucket `s3_bucket`
   s3_endpoint  `s3_endpoint`
   path logs/
   force_path_style true
   buffer_path /var/log/td-agent/s3
   time_slice_format %Y%m%d%H%M
   time_slice_wait 10m
   utc
   buffer_chunk_limit 256m

Step 3: Restart fluentd server.

3 단계: fluentd 서버를 다시 시작합니다.

sudo /etc/init.d/td-agent restart

Step 4: Check the fluentd log file to confirm if everything is running.

4 단계: fluentd 로그 파일을 확인하여 모든 것이 실행 중인지 확인합니다.

tail -f /var/log/td-agent/td-agent.log
    path logs/
    force_path_style true
    buffer_path /var/log/td-agent/s3
    time_slice_format %Y%m%d%H%M
    time_slice_wait 10m
    utc
    buffer_chunk_limit 256m
  

2016-05-03 18:44:44 +0530 [info]: following tail of /var/log/apache2/access.log

Step 5: Test the configuration.

5 단계: 구성을 테스트합니다.

Ping the Apache server. This example uses the ab (Apache Bench) program.

Apache 서버에 ping을 보냅니다. 이 예제에서는 ab (Apache Bench) 프로그램을 사용합니다.

ab -n 100 -c 10 http://localhost/

Step 6: Verify Aggregated Logs.

6 단계: 집계된 로그를 확인합니다.

MinIO server's fluent bucket should show the aggregated logs.

MinIO 서버의 fluent 버킷에는 집계된 로그가 표시되어야 합니다.

mc ls myminio/fluentd/logs/
[2016-05-03 18:47:13 IST]   570B 201605031306_0.gz
[2016-05-03 18:58:14 IST]   501B 201605031317_0.gz

Note:

메모:

fleuntd should have access permission for your apache log file located at /var/log/apache2/access.log.

fleuntd에는 /var/log/apache2/access.log에 있는 Apache 로그 파일에 대한 액세스 권한이 있어야 합니다.