Chapter 3. Config and start

ARCUS Exporter

실행 설정 파일

ARCUS Exporter의 실행을 위해 아래와 같은 설정 파일을 작성해야 합니다. (conf/example.json 참고) 하나의 zk ensemble에 대해서만 수집이 가능하므로, 여러 zk ensemble 사용 시 여러 arcus exporter를 구동해야 합니다.

{
    "listen": "hubble-host:13111",
    "ensemble": [
      "zk-1:2181",
      "zk-2:2181",
      "zk-3:2181"
    ],
    "serviceCodes": [
        "test",
        "repl"
    ],
    "collectPrefixes": false,
    "serviceCodesToCollectPrefixes": {
        "serviceCode01": ["*"],
        "serviceCode02": ["prefix01", "prefix02"],
        "serviceCode03": []
    },
    "log": {
      "level": "warn",
      "filename": "INSTALL_DIR/arcus_exporter/log/arcus_exporter.log",
      "maxSize": 20,
      "maxBackups": 10,
      "maxAge": 30,
      "compress": false
    }
}

해당 인자의 의미는 아래와 같습니다.

인자

의미

listen

arcus_exporter의 listen address 설정

ensemble

zk ensemble 주소 설정, ZK 서버 목록이나 ZK 도메인 이름을 설정

serviceCodes

수집 대상 service_codes 목록 설정, 설정하지 않으면 ensemble 내의 모든 service codes 수집함

collectPrefixes

true인 경우 모든 prefix 정보를 수집, false인 경우 prefix metric 수집하지 않음

serviceCodesToCollectPrefixes

서비스 코드별로 수집할 prefix 목록 지정. 이 옵션에 포함된 service code는 collectPrefixes 옵션 무시

log.level

arcus_exporter의 log level 설정, default는 warn이며 debug, warn, error, fatal, panic 중 하나를 사용할 수 있음

log.filename

arcus_exporter의 log 출력 위치를 설정, 기본 설정은 stdout

log.maxSize

arcus_exporter의 log 파일 하나의 용량을 설정, 기본 설정은 20MB

log.maxBackups

arcus_exporter의 백업 log 파일의 개수 지정, 기본 설정은 10개

log.maxAge

arcus_exporter의 log 보존 기간을 설정, 기본은 30일 (24h * 30)

log.compress

arcus_exporter의 백업용 log를 압축해 저장할지 여부를 설정, 기본 설정은 false

serviceCodesToCollectPrefixes에서 각 service code에 대한 prefix 설정의 의미는 아래와 같습니다. serviceCodesToCollectPrefixes에 명시된 service codes에 대해서는 collectPrefixes 옵션은 적용되지 않습니다.

["*"]: 모든 prefix 수집
["prefix01", "prefix02"]: 주어진 prefix만 수집
[]: prefix 수집 않음

실행 방법

start.sh 스크립트를 사용하여 ARCUS Exporter를 실행할 수 있습니다.
아래 예시의 경우, INSTALL_DIR/arcus_exporter/conf/example1.json을 사용하여 exporter를 실행합니다.
다수의 exporter를 일괄 구동할 수 있습니다.

INSTALL_DIR/arcus_exporter/start.sh example1
# INSTALL_DIR/arcus_exporter/start.sh example1 example2 ...

또는 아래와 같이 arcus_exporter 바이너리를 직접 실행할 수 있습니다.

INSTALL_DIR/arcus_exporter/arcus_exporter -config-file=INSTALL_DIR/arcus_exporter/conf/example.json

http://<listenAddress>:<port>/metrics 경로에서 default stats metric 데이터를 조회할 수 있습니다.
http://<listenAddress>:<port>/metrics/prefixes 경로에서 default stats metric 데이터를 조회할 수 있습니다.

Node Exporter

ARCUS 캐시 장비(PM or VM)마다 하나씩 가동해야 합니다. 해당 캐시 장비에서 CPU, 메모리, 네트워크 등의 system resource 정보를 수집합니다.

실행 방법

INSTALL_DIR/node_exporter/start.sh 파일을 실행하거나 아래 스크립트와 같이 실행할 수 있습니다. ARCUS 캐시 장비에서 구동되는 exporter이므로, 캐시 노드의 동작에 영향을 주지 않아야 한다. 이를 위해, 최소한의 리소스만 사용하여 반드시 필요한 metrics만 수집하는 구동 옵션을 사용하도록 설정하였습니다.

GOMAXPROCS=1 INSTALL_DIR/node_exporter/node_exporter --collector.disable-defaults \
             --collector.cpu --collector.meminfo --collector.stat --collector.vmstat \
             --collector.diskstats --collector.netstat --collector.netdev \
             --collector.loadavg --collector.filefd \
             --web.listen-address=0.0.0.0:9100 --log.level=error

예시에 나온 인자의 의미는 다음과 같습니다.

인자

의미

GOMAXPROCS

go routine이 사용할 수 있는 최대 core 개수

collector.disable-default

default metric을 수집하지 않습니다.

collector.*

arcus-hubble에서 필요한 metric을 수집하도록 설정합니다.

web.listen-address

Prometheus의 요청을 받기 위해 listen 하는 주소

log.level

로그 레벨을 지정합니다.(debug, info, warn, error)

http://<listenAddress>:<port>/metrics 경로에서 metric 데이터를 조회할 수 있습니다.

ZooKeeper Exporter

[!WARNING] zookeeper exporter를 사용하려면 mntr 명령어가 4 letter word whitelist에 포함되어 있어야 합니다.

실행 설정 파일

ZooKeeper Exporter의 실행을 위해 아래와 같은 설정 파일을 작성해야 합니다. (conf/example.env 참고) 하나의 zk ensemble에 대해서만 수집이 가능하므로, 여러 zk ensemble 사용 시 여러 zookeeper exporter를 구동해야 합니다.

LISTEN_PORT=9141
ZK_DOMAIN="example.arcus.com:2181"
#ZK_SERVERS=("10.0.0.1:2181" "10.0.0.2:2181" "10.0.0.3:2181")

해당 인자의 의미는 다음과 같습니다.

인자

의미

LISTEN_PORT

Prometheus의 요청을 받기 위해 listen 하는 port

ZK_DOMAIN

ZooKeeper ensemble을 구성하는 server로 구성된 domain

ZK_SERVERS

ZooKeeper ensemble을 구성하는 server 목록

ZK_DOMAIN과 ZK_SERVERS 중 하나의 설정만 사용해야 합니다.

실행 방법

start.sh 스크립트를 사용하여 ZooKeeper Exporter를 실행할 수 있습니다.
아래 예시의 경우, INSTALL_DIR/zookeeper-exporter/conf/example1.env를 사용하여 exporter를 실행합니다.
다수의 exporter를 일괄 구동할 수 있습니다.

INSTALL_DIR/zookeeper-exporter/start.sh example1
# INSTALL_DIR/zookeeper-exporter/start.sh example1 example2 ...

또는 아래와 같이 zookeeper-exporter 바이너리를 직접 실행할 수 있습니다.

[!WARNING] zk-hosts 인자에는 모든 zk server의 endpoint를 명시해주어야 합니다. domain 주소 하나만 명시하면 여러 서버의 데이터가 구분되지 않고 하나의 metric으로 수집됩니다.

INSTALL_DIR/zookeeper-exporter/zookeeper-exporter --listen=hubble-host:9141 --zk-hosts=zk-1:2181,zk-2:2181,zk-3:2181

http://<listenAddress>:<port>/metrics 경로에서 metric 데이터를 조회할 수 있습니다.

Orbiter

실행 설정 파일

실행하기에 앞서 아래의 config.json 파일을 설정해야 합니다.

{
    "listen": "0.0.0.0:8084",
    "ensembleByName": {
        "hubble-demo-community": ["zk-1:2195","zk-2:2195","zk-3:2195"],
        "hubble-demo-repl":["zk-4:12195","zk-5:12195","zk-6:12195"]
    },
    "serviceCodesByEnsembleName": {
        "hubble-demo-community": ["serviceCode01", "serviceCode03"]
    },
    "log": {
      "level": "warn",
      "filename": "INSTALL_DIR/orbiter/log/orbiter.log",
      "maxSize": 20,
      "maxBackups": 10,
      "maxAge": 30,
      "compress": false
    }
}

인자

의미

listen

Orbiter가 listen하는 주소

ensembleByName

앙상블의 논리적 이름을 부여하는 맵 (key: 앙상블의 논리적 이름, value: 물리적 주소)

serviceCodesByEnsembleName

앙상블에서 수집하고 싶은 service Code를 담는 맵 (key: 앙상블의 논리적 이름, value: service code 목록) 따로 목록을 지정하지 않을 경우 모든 service code를 사용하게 된다.

log.level

arcus_exporter의 log level 설정, default는 warn이며 debug, warn, error, fatal, panic 중 하나를 사용할 수 있음

log.filename

arcus_exporter의 log 출력 위치를 설정, 기본 설정은 stdout

log.maxSize

arcus_exporter의 log 파일 하나의 용량을 설정, 기본 설정은 20MB

log.maxBackups

arcus_exporter의 백업 log 파일의 개수 지정, 기본 설정은 10개

log.maxAge

arcus_exporter의 log 보존 기간을 설정, 기본은 30일 (24h * 30)

log.compress

arcus_exporter의 백업용 log를 압축해 저장할지 여부를 설정, 기본 설정은 false

Orbiter에서는 여러 ZK ensemble에서 관리되는 캐시 클러스터 정보를 조회할 수 있으며, 각 ZK ensemble에서도 주어진 service codes 목록에 대해서만 정보를 조회할 수 있다. 이는 Grafana에서 관심 있는 service codes 정보만 보이게 하는 데 필요한 설정이다.

실행 방법

INSTALL_DIR/orbiter/start.sh 파일을 실행하거나 아래 script와 같이 실행할 수 있습니다.

INSTALL_DIR/orbiter/orbiter -config-file=INSTALL_DIR/orbiter/config.json

[!WARNING] Orbiter가 실행되는 장비는 모든 캐시, zk 장비의 hostname을 인식할 수 있어야 하며, exporter가 인식하는 hostname과 달라서는 안 됩니다.

참고로, 아래와 같이 /etc/hosts 파일에 hostname 인식할 수 있도록 설정하면 됩니다.

vi /etc/hosts

###host file ###

192.168.0.1  arcus-zookeeper-1  arcus-zookeeper-1
192.168.0.2  arcus-zookeeper-2  arcus-zookeeper-2
192.168.0.3  arcus-zookeeper-3  arcus-zookeeper-3

Prometheus

실행 설정 파일

raw.yaml

INSTALL_DIR/prometheus/conf/raw.yaml 파일에서 prometheus 설정을 변경할 수 있습니다.Prometheus 설정은 가급적 수정하지 않고 그대로 유지하기 바랍니다.

global:
  scrape_interval:     5s
  evaluation_interval: 5s

rule_files:
  - recording/agg.yaml
  # do enable when you want downsampling
  # - recording/downsample.yaml
  # do enable when you want to get alerts
  # - alert-rules/default_info.yaml
  # - alert-rules/default_warn.yaml

scrape_configs:
  - job_name: meta
    honor_timestamps: true
    scrape_interval: 5s
    scrape_timeout: 5s
    metrics_path: /metrics
    scheme: http
    follow_redirects: true
    static_configs:
      - targets:
          - 1.2.3.4:9090
        labels:
          host: demo-test
  - job_name: system_resource
    relabel_configs:
      - target_label: "resolution"
        replacement: "5s"
    file_sd_configs:
      - files:
          - 'INSTALL_DIR/prometheus/conf/exporter/node_exporter.json'

  - job_name: arcus
    relabel_configs:
      - target_label: "resolution"
        replacement: "5s"
    file_sd_configs:
      - files:
          - 'INSTALL_DIR/prometheus/conf/exporter/arcus_exporter.json'

  - job_name: arcus_prefixes
    scrape_interval: 1m
    metrics_path: /metrics/prefixes
    relabel_configs:
      - target_label: "resolution"
        replacement: "1m"
    file_sd_configs:
      - files:
          - 'INSTALL_DIR/prometheus/conf/exporter/arcus_exporter.json'

  - job_name: zookeeper
    scrape_interval: 1m
    relabel_configs:
      - target_label: "resolution"
        replacement: "1m"
    file_sd_configs:
      - files:
          - 'INSTALL_DIR/prometheus/conf/exporter/zookeeper_exporter.json'

프로퍼티

의미

scrape_interval

prometheus의 metric 수집 주기 설정

evaluation_interval

설정된 rule이 있다면, rule을 이용해 metric 데이터를 평가하기 위한 주기 설정

rule_files

수행하기 원하는 rule 설정 (home dashboard의 집계 데이터 활용을 위한 aggregation rule 설정)

scrape_configs

모니터링 대상 리소스 설정

job_name

모니터링 대상 리소스를 나타낼 이름

file_sd_configs

모니터링 대상 목록 설정

raw.yaml 파일은 file_sd_configs를 통해 수집 대상을 설정하도록 되어 있습니다.INSTALL_DIR/prometheus/conf/exporter 디렉토리 내부에는 수집을 원하는 exporter들의 목록을 json 파일 형태로 구성하고 있습니다. 이 json 파일들을 raw.yaml에 명시하여 prometheus가 exporter로부터 metric 데이터를 수집하도록 합니다. exporter 파일에는 구동된 arcus_exporter, node_exporter, zookeeper_exporter 목록을 명시합니다.

프로세스 실행 중에 raw.yaml 파일을 변경한다면 즉시 반영 되지 않습니다. 수정 후 POST http://<listenip>:<port>/-/reload API를 호출 하거나, 프로세스에 SIGHUP 시그널을 보내야 합니다. 자세한 사항은 [Prometheus 설정 문서] 참고 바랍니다.

알람 규칙

INSTALL_DIR/prometheus/conf/alert-rules 디렉토리 하위에 기본 알람 규칙 파일들이 존재합니다. 기본 알람 규칙에 작성되어 있는 임계값은 가장 일반적인 상황을 가정하고 지정해둔 값이므로, 시스템이나 서비스마다 스펙과 요청량을 고려하여 적절히 수정하는 것이 필요합니다. 알람 규칙을 활성화하려면 1) raw.yaml의 rule_files 에 알람 규칙 파일을 정의하고, 2) Alertmanager를 실행해야 합니다.

raw.yaml 파일과 마찬가지로 프로세스 실행 중에 알람 규칙을 변경할 경우 POST http://<listenip>:<port>/-/reload API를 호출 하거나, 프로세스에 SIGHUP 시그널을 보내야 합니다.

prometheus.env

프로세스 구동 옵션을 지정하는 파일입니다.

PROMETHEUS_LISTEN_ADDRESS="0.0.0.0:9090"
PROMETHEUS_RETENTION_TIME="30d"
PROMETHEUS_RETENTION_SIZE="10GB"
PROMETHEUS_LOG_LEVEL="warn"

해당 인자의 의미는 다음과 같습니다.

인자

의미

PROMETHEUS_LISTEN_ADDRESS

Prometheus의 요청을 받기 위해 listen 하는 address

PROMETHEUS_RETENTION_TIME

metric 데이터의 최대 보관 기간 (y, w, d, h, m, s, ms 단위 지원)

PROMETHEUS_RETENTION_SIZE

metric 데이터의 최대 보관 용량 (B, KB, MB, GB, TB, PB, EB 단위 지원)

PROMETHEUS_LOG_LEVEL

Prometheus의 로그 레벨

Retention 관련 설정에서 둘 중 하나라도 충족될 경우에는 오래된 데이터부터 제거됩니다.

실행 방법

raw.yaml에 수집 대상 exporter에 대한 설정을 확인한 후INSTALL_DIR/prometheus/start-raw.sh 파일을 실행하여 프로세스를 구동할 수 있습니다. 이 때 INSTALL_DIR/prometheus/prometheus.env 파일이 사용됩니다. 혹은, 아래 명령을 통해 직접 프로세스를 구동할 수 있습니다.

INSTALL_DIR/prometheus/prometheus \
--web.listen-address=0.0.0.0:9090\
--config.file=INSTALL_DIR/prometheus/conf/raw.yaml \
--web.enable-lifecycle \
--web.enable-admin-api \
--storage.tsdb.path=INSTALL_DIR/prometheus/data/raw \
--storage.tsdb.retention.time=30d \
--storage.tsdb.retention.size=10GB \
--log.level=warn \
2>&1 | logger -it prometheus &

해당 인자의 의미는 다음과 같습니다.

인자

의미

config.file

수집 관련 설정이 포함된 설정 파일

web.enable-lifecycle

reload API를 통해 설정을 동적으로 변경하기 위한 옵션

web.enable-admin-api

http 요청을 통해 설정 등을 변경할 수 있도록 하는 admin API 활성화

storage.tsdb.retention.time

metric 데이터의 최대 보관 기간

storage.tsdb.retention.size

metric 데이터의 최대 보관 용량

storage.tsdb.path

metric 데이터의 저장 위치

Alertmanager

실행 설정 파일

alertmanager.yml

INSTALL_DIR/alertmanager/conf/alertmanager.yml 파일에서 알람을 전송하기 위한 Slack Webhook 주소, Mail SMTP 정보 등을 입력해줍니다. <please enter ...> 라고 명시되어 있는 부분을 직접 채워야 합니다.

Prometheus와 마찬가지로 프로세스 실행 중에 설정 파일을 수정할 경우 POST http://<listenip>:<port>/-/reload API를 호출 하거나, 프로세스에 SIGHUP 시그널을 보내야 최신 설정 파일이 반영됩니다.

alertmanager.env

프로세스 구동 옵션을 지정하는 파일입니다. 프로세스 Listen Address를 설정해주면 됩니다.

ALERTMANAGER_LISTEN_ADDRESS="0.0.0.0:9093"

실행 방법

INSTALL_DIR/alertmanager/start.sh 파일을 실행하여 프로세스를 구동할 수 있습니다. 이 때 INSTALL_DIR/alertmanager/conf/alertmanager.env 파일이 사용됩니다. 혹은, 아래 명령을 통해 직접 프로세스를 구동할 수 있습니다.

INSTALL_DIR/alertmanager/alertmanager \
--config.file=INSTALL_DIR/alertmanager/conf/alertmanager.yml \
--web.listen-address=0.0.0.0:9093 \
2>&1 | logger -it alertmanager &&

Grafana 설정

실행 설정 파일

설치 script 이용하여 설치했을 경우, dashboard provisioning을 위한 json 파일 및 설정 파일, 플러그인이 모두 설치 됩니다.

grafana.ini

listen ip:port, log 설정 등을 변경하려는 경우 INSTALL_DIR/grafana/conf/grafana.ini 파일을 수정합니다.
설치 스크립트 사용하지 않은 경우 arcus-hubble-v3/conf/grafana/grafana.ini 참고하여 작성합니다.

hubble-v3_dashboards.yaml

dashboard provisioning 설정을 변경하려는 경우 INSTALL_DIR/grafana/conf/provisioning/dashboards/hubble-v3_dashboards.yaml 파일을 수정합니다.
설치 스크립트 사용하지 않은 경우 arcus-hubble-v3/conf/grafana/provisioning/dashboards/hubble-v3_dashboards.yaml 참고하여 작성합니다.
arcus-hubble-v3에서 제공하는 dashboard는 arcus-hubble-v3/conf/grafana/dashboards 하위에 위치하고 있습니다.

hubble-v3_datasources.yaml

datasource provisioning 설정을 변경하려는 경우 INSTALL_DIR/grafana/conf/provisioning/datasources/hubble-v3_dashboards.yaml 파일을 수정합니다.
설치 스크립트 사용하지 않은 경우 arcus-hubble-v3/conf/grafana/provisioning/datasources/hubble-v3_datasources.yaml 참고하여 작성합니다.
JSON datasource 사용을 위해서는 플러그인 설치가 필요합니다.

INSTALL_DIR/grafana/bin/grafana cli\
 --homepath INSTALL_DIR/grafana\
 --pluginsDir INSTALL_DIR/grafana/data/plugins plugins install simpod-json-datasource 0.6.5

실행방법

INSTALL_DIR/grafana/start.sh 파일을 실행하거나 아래 스크립트와 같이 실행할 수 있습니다.

INSTALL_DIR/grafana/bin/grafana-server \
--homepath INSTALL_DIR/grafana \
--config INSTALL_DIR/grafana/conf/grafana.ini \
--pidfile INSTALL_DIR/grafana-server.pid

접속 및 기본 모니터링 설정

grafana 설치 시 설정했던 <listenip>:<port>로 접속합니다. 초기화면은 아래와 같습니다.

Last updated 23 hours ago