[스프링 핵심 원리와 활용] 섹션11. 모니터링 매트릭 활용

[724thomas]

왜 “비즈니스 메트릭”인가? — 무엇을, 어디서, 어떻게 측정할까

1) 기술 메트릭만으로는 모르는 것들

• JVM/OS/인프라(CPU, 메모리, 톰캣 쓰레드, DB 커넥션 풀)는 기본 제공됩니다.
• 하지만 주문 수/취소 수/재고 수량 같은 도메인 메트릭 없이는, 예컨대 택배 지연으로 취소가 급증해도 시스템 지표만 보면 정상처럼 보이는 “블라인드 스팟”이 생깁니다.
• 결론: 비즈니스 특화 메트릭을 직접 등록하세요.

2) 예제 도메인(주문/취소/재고)

• 주문 수/취소 수: 누적 증가 → Counter
• 재고 수량: 오르내림 → Gauge
• 검증용 REST 예시: /order, /cancel, /stock (초기 재고: 100)

3) 최소 구성 요약

• Actuator + Micrometer + Prometheus + Grafana
• Actuator 노출: /actuator/metrics/**, /actuator/prometheus
• Prometheus가 /actuator/prometheus를 pull → Grafana에서 PromQL로 시각화/알람 설정

---

페이지 2) 카운터 제대로 쓰기 — 수치가 “올라만 가는” 것들

1) Counter 핵심

• 단조 증가 누적값 전용(감소 없음). Prometheus 규약상 시계열 이름은 보통 *_total.
• 대표 예: HTTP 요청 수, 주문 수, 결제 시도 수 등.

2) 코드 — 수동 등록 vs AOP 기반 자동 계측

(a) 수동 등록 예시)

import io.micrometer.core.instrument.Counter;
import io.micrometer.core.instrument.MeterRegistry;
import lombok.extern.slf4j.Slf4j;

import java.util.concurrent.atomic.AtomicInteger;

@Slf4j
public class OrderServiceV1 implements OrderService {
  private final MeterRegistry registry;
  private final AtomicInteger stock = new AtomicInteger(100);

  public OrderServiceV1(MeterRegistry registry) { this.registry = registry; }

  @Override
  public void order() {
    log.info("주문");
    stock.decrementAndGet();
    Counter.builder("my.order")
      .tag("class", getClass().getName())
      .tag("method", "order")
      .description("order")
      .register(registry)
      .increment();
  }

  @Override
  public void cancel() {
    log.info("취소");
    stock.incrementAndGet();
    Counter.builder("my.order")
      .tag("class", getClass().getName())
      .tag("method", "cancel")
      .description("order")
      .register(registry)
      .increment();
  }
}

• 공통 name=my.order, method 태그로 주문/취소 구분. Prometheus에선 my_order_total로 노출됩니다.

(b) AOP 자동 계측 — @counted

import io.micrometer.core.annotation.Counted;
import lombok.extern.slf4j.Slf4j;

import java.util.concurrent.atomic.AtomicInteger;

@Slf4j
public class OrderServiceV2 implements OrderService {
  private final AtomicInteger stock = new AtomicInteger(100);

  @Counted("my.order") // 메서드 호출 누적
  public void order() { log.info("주문"); stock.decrementAndGet(); }

  @Counted("my.order")
  public void cancel() { log.info("취소"); stock.incrementAndGet(); }
}

• 중요: @bean 으로 CountedAspect 를 등록해야 AOP가 동작합니다.
• 자동으로 result, exception, method, class 같은 태그가 붙어 성공/예외 레이블링이 가능해집니다.

3) 관측 & 대시보드

• Actuator: /actuator/metrics/my.order → COUNT/태그 확인
• Prometheus 노출 예: my_order_total{class="...", method="order"} 1.0
• Grafana(분당 증가량 보기): increase(my_order_total{method="order"}[1m]) / increase(my_order_total{method="cancel"}[1m])
  → 카운터는 누적만 늘기 때문에 증가율 함수(increase, rate)로 봅니다.

4) 실무 포인트

• 태그 설계: 필터/그룹화용으로 카디널리티 낮은 값만(상태/유형/결제수단 등). 주문번호/PK처럼 고카디널리티는 금지.
• 카운터를 “줄어드는 수치”에 쓰지 않습니다(그땐 게이지나 요약 지표를 설계).

---

페이지 3) Timer로 “얼마나 오래 걸렸는지”까지

1) Timer가 주는 3종 세트

• *_seconds_count (호출 수, 카운터)
• *_seconds_sum (총 소요시간 합)
• *_seconds_max (최대 소요시간, 게이지)
• 평균 소요시간 = sum / count (윈도우 집계로 직접 계산)

2) 코드 — 수동 Timer vs @timed

(a) 수동 Timer

import io.micrometer.core.instrument.MeterRegistry;
import io.micrometer.core.instrument.Timer;
import lombok.extern.slf4j.Slf4j;

import java.util.concurrent.atomic.AtomicInteger;

@Slf4j
public class OrderServiceV3 implements OrderService {
  private final MeterRegistry registry;
  private final AtomicInteger stock = new AtomicInteger(100);

  public OrderServiceV3(MeterRegistry registry) { this.registry = registry; }

  @Override
  public void order() {
    Timer timer = Timer.builder("my.order")
      .tag("class", getClass().getName())
      .tag("method", "order")
      .description("order")
      .register(registry);

    timer.record(() -> {
      log.info("주문");
      stock.decrementAndGet();
      try { Thread.sleep(500); } catch (InterruptedException ignored) {}
    });
  }
}

(b) @timed 로 전역 적용

import io.micrometer.core.annotation.Timed;
import lombok.extern.slf4j.Slf4j;

import java.util.concurrent.atomic.AtomicInteger;

@Timed("my.order") // 클래스의 모든 public 메서드에 Timer 적용
@Slf4j
public class OrderServiceV4 implements OrderService {
  private final AtomicInteger stock = new AtomicInteger(100);

  public void order() { /* ... */ }
  public void cancel() { /* ... */ }
  public AtomicInteger getStock() { return stock; } // 여기도 타이밍됨(원치 않으면 분리)
}

• 중요: TimedAspect 빈을 등록해야 동작합니다.
• 클래스 레벨 @timed 는 public 메서드 전체에 적용되므로 스코프에 주의하세요.

3) 관측 & 대시보드 (Prometheus/Grafana 예)

• 호출 수(분당): increase(my_order_seconds_count{method="order"}[1m])
• 평균 시간(분당): increase(my_order_seconds_sum[1m]) / increase(my_order_seconds_count[1m])
• 최대 시간: my_order_seconds_max{method="order"}
• Actuator: /actuator/metrics/my.order 에서 COUNT, TOTAL_TIME, MAX 확인

4) 실무 포인트

• 평균은 반드시 sum/count로 계산(별도 평균 시계열은 없음).
• @timed 전역 적용 시 원치 않는 메서드(예: 단순 getter)까지 계측될 수 있으니 메서드 분리/개별 애노테이션을 고려.

---

페이지 4) Gauge(현재값)와 운영 팁 — “보면 바로 아는” 대시보드와 알람

1) Gauge 핵심

• 현재 시점의 단일 값을 표현(증가/감소 모두 가능).
• 예: 재고 수량, JVM 메모리 사용량, 큐 길이 등.
• 누적 의도(“얼마나 발생했는가”)면 Counter/Timer, 스냅샷이면 Gauge.

2) 코드 — 게이지 등록 2가지 패턴

(a) 초기화 메서드에서 등록

import io.micrometer.core.instrument.Gauge;
import io.micrometer.core.instrument.MeterRegistry;
import jakarta.annotation.PostConstruct;
import lombok.extern.slf4j.Slf4j;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class StockConfigV1 {
  @Bean
  public MyStockMetric myStockMetric(OrderService orderService, MeterRegistry registry) {
    return new MyStockMetric(orderService, registry);
  }

  @Slf4j
  static class MyStockMetric {
    private final OrderService orderService;
    private final MeterRegistry registry;

    public MyStockMetric(OrderService orderService, MeterRegistry registry) {
      this.orderService = orderService; this.registry = registry;
    }

    @PostConstruct
    public void init() {
      Gauge.builder("my.stock", orderService, svc -> {
        // Prometheus 스크래핑 시마다 호출되어 최신값 반환
        return svc.getStock().get();
      }).register(registry);
    }
  }
}

(b) 더 간단히 — MeterBinder

import io.micrometer.core.instrument.Gauge;
import io.micrometer.core.instrument.binder.MeterBinder;
import lombok.extern.slf4j.Slf4j;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
@Slf4j
public class StockConfigV2 {
  @Bean
  public MeterBinder stockSize(OrderService orderService) {
    return registry -> Gauge.builder("my.stock", orderService, svc -> svc.getStock().get())
                            .register(registry);
  }
}

3) 관측 & 대시보드

• Actuator: /actuator/metrics/my.stock → VALUE(현재 값) 확인
• Prometheus: my_stock
• Grafana: 패널 쿼리로 my_stock 그대로 표시 → 현재 재고 현황판에 적합

4) 운영 구성 3층: 대시보드 → 트레이싱 → 로그

• 대시보드: 시스템/애플리케이션/비즈니스 메트릭을 한 눈에(마이크로서비스면 서비스별/리전별 뷰 분리).
• APM/분산추적: 요청 단위 병목/에러 핫스팟을 핀포인트.
• 로그: 가장 자세한 근거. 일반/에러 로그 분리 보관, MDC로 요청 상관관계 유지.

5) 알람 운영 베스트 프랙티스

• 경고(Warning) vs 심각(Critical) 레벨 분리
  • 예: 디스크 70% → 경고(업무시간 점검), 80% → 심각(즉시 대응: 앱/문자/전화)
• 거짓 알람은 바로바로 튜닝(알람 피로도 방지).
• 레이블/태그로 팀/서비스/리전 단위 라우팅이 가능하도록 설계.