Hayden

이번 포스트에서는 개발자들이 Kafka를 운영하면서 마주치게 되는 골칫거리 중 하나인 OutOfMemoryError 문제에 대해 이야기해보려고 합니다. 실제 운영 환경에서 갑작스럽게 Consumer가 멈춰버리고 java.lang.OutOfMemoryError: Java heap space 에러가 발생할 때, 그 순간의 당황스러움은 경험해본 분들이라면 충분히 아실 겁니다.

이 문제는 단순히 메모리를 늘리면 해결되는 것이 아닙니다. 근본적인 원인을 파악하고 체계적으로 접근해야 진정한 해결이 가능하죠. 지금부터 실무에서 바로 적용 가능한 해결 방법들을 단계별로 알아보겠습니다.

 

 

1. OutOfMemoryError 문제 진단하기

OutOfMemoryError 발생 패턴 파악

Kafka Consumer에서 OutOfMemoryError가 발생하는 대표적인 패턴들을 먼저 살펴보겠습니다.

주요 발생 시나리오

  • 네트워크 레벨 메모리 할당 실패: java.nio.HeapByteBuffer.<init> 단계에서 발생
  • SSL/SASL 인증 과정 메모리 부족: 보안 설정 활성화 환경에서 빈발
  • 대용량 메시지 처리 시 버퍼 오버플로우: fetch 설정 부적절로 인한 문제
  • Direct Buffer Memory 고갈: Off-heap 메모리 부족 상황

실제 에러 메시지 분석

# 가장 흔한 에러 패턴
java.lang.OutOfMemoryError: Java heap space
    at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57)
    at java.nio.ByteBuffer.allocate(ByteBuffer.java:335)
    at org.apache.kafka.common.memory.MemoryPool$1.tryAllocate(MemoryPool.java:30)
    at org.apache.kafka.common.network.NetworkReceive.readFrom(NetworkReceive.java:113)

# Direct Buffer 메모리 부족 패턴
java.lang.OutOfMemoryError: Direct buffer memory
    at java.nio.Bits.reserveMemory(Bits.java:693)
    at java.nio.DirectByteBuffer.<init>(DirectByteBuffer.java:123)
    at org.apache.kafka.common.network.PlaintextTransportLayer.read(PlaintextTransportLayer.java:110)

이러한 스택 트레이스가 보인다면, 메모리 할당 과정에서 문제가 발생했다는 명확한 신호입니다.

 

 

2. 기본 해결책: JVM 메모리 설정

KAFKA_HEAP_OPTS 환경변수 설정

가장 기본적이면서도 효과적인 해결 방법은 JVM 힙 메모리를 적절히 설정하는 것입니다.

# 기본 힙 메모리 설정
export KAFKA_HEAP_OPTS="-Xms2g -Xmx4g"

# 애플리케이션 실행 시 직접 설정
KAFKA_HEAP_OPTS="-Xms2g -Xmx4g" java -jar your-consumer-app.jar

# systemd 서비스 파일에서 설정
Environment="KAFKA_HEAP_OPTS=-Xms4G -Xmx4G"

시스템별 권장 힙 메모리 크기

시스템 RAM 권장 힙 크기 설정 예시 남은 메모리 용도
8GB 2-3GB -Xms2g -Xmx3g OS 페이지 캐시 5GB
16GB 4-6GB -Xms4g -Xmx6g OS 페이지 캐시 10GB
32GB 6-8GB -Xms6g -Xmx8g OS 페이지 캐시 24GB

핵심 원칙: Kafka는 OS의 페이지 캐시를 적극 활용하므로, 전체 메모리의 50% 이상을 JVM에 할당하지 않는 것이 좋습니다.

GC(Garbage Collection) 최적화

# G1GC 사용 권장 설정 (최신 Java 버전)
export KAFKA_JVM_PERFORMANCE_OPTS="-XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16M -XX:MinMetaspaceFreeRatio=50 -XX:MaxMetaspaceFreeRatio=80 -XX:MetaspaceSize=96m"

# 전체 설정 예시
export KAFKA_HEAP_OPTS="-Xms4g -Xmx4g"
export KAFKA_JVM_PERFORMANCE_OPTS="-XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16M"

이 설정은 Cloudera의 공식 권장사항을 기반으로 한 검증된 설정입니다.

 

 

3. Kafka Consumer 설정 최적화

핵심 메모리 관련 설정값

Consumer의 메모리 사용량은 fetch 관련 설정에 크게 좌우됩니다. 이 설정들을 제대로 이해하고 조정하는 것이 핵심입니다.

# 기본 fetch 설정 (consumer.properties)
fetch.max.bytes=52428800           # 50MB - 브로커당 최대 fetch 크기
max.partition.fetch.bytes=1048576  # 1MB - 파티션당 최대 fetch 크기
fetch.min.bytes=1                  # 1byte - 최소 fetch 크기
fetch.max.wait.ms=500              # 500ms - 최대 대기 시간
max.poll.records=500               # 500개 - poll당 최대 레코드 수

# 네트워크 버퍼 설정
send.buffer.bytes=131072           # 128KB
receive.buffer.bytes=65536         # 64KB

메모리 사용량 계산 공식

실제 Consumer가 사용할 수 있는 최대 메모리량은 다음 공식으로 계산됩니다:

최대 메모리 사용량 = min(
    브로커 수 × fetch.max.bytes,
    max.partition.fetch.bytes × 최대 할당 가능한 파티션 수
)

예시: 브로커 3대, 파티션 10개, Consumer 2대인 경우
= min(3 × 50MB, 1MB × 5) = min(150MB, 5MB) = 5MB per consumer

사용 케이스별 최적화 설정

대용량 메시지 처리용 설정:

# 큰 메시지를 효율적으로 처리
fetch.max.bytes=104857600          # 100MB
max.partition.fetch.bytes=10485760 # 10MB
max.poll.records=100               # 레코드 수 제한으로 메모리 절약

소용량 고빈도 처리용 설정:

# 작은 메시지를 빠르게 처리
fetch.max.bytes=10485760           # 10MB
max.partition.fetch.bytes=1048576  # 1MB
max.poll.records=1000              # 더 많은 레코드 처리
fetch.min.bytes=10240              # 10KB로 배치 크기 조정

 

4. 각 플랫폼 환경별 해결방법

Spring Boot 환경에서의 설정

Spring Boot를 사용하는 경우 application.properties를 통해 설정할 수 있습니다.

# application.properties - Consumer 설정
spring.kafka.consumer.fetch-max-bytes=52428800
spring.kafka.consumer.max-partition-fetch-bytes=1048576
spring.kafka.consumer.fetch-min-bytes=1
spring.kafka.consumer.max-poll-records=500

# JVM 옵션 설정 방법
spring.kafka.consumer.properties.receive.buffer.bytes=65536
spring.kafka.consumer.properties.send.buffer.bytes=131072

# 보안 설정 (SSL 사용 시)
spring.kafka.consumer.security.protocol=SSL
spring.kafka.producer.security.protocol=SSL

애플리케이션 실행 시 JVM 옵션:

java -Xms2g -Xmx4g -XX:+UseG1GC -jar your-spring-boot-app.jar

Docker 환경에서의 최적화

docker-compose.yml 설정:

version: '3.8'
services:
  kafka-consumer:
    image: your-consumer-app
    environment:
      - KAFKA_HEAP_OPTS=-Xms1g -Xmx2g
      - KAFKA_JVM_PERFORMANCE_OPTS=-XX:+UseG1GC -XX:MaxGCPauseMillis=20
    deploy:
      resources:
        limits:
          memory: 4g
        reservations:
          memory: 2g

Dockerfile에서의 설정:

# 환경변수 설정
ENV KAFKA_HEAP_OPTS="-Xms1g -Xmx2g"
ENV KAFKA_JVM_PERFORMANCE_OPTS="-XX:+UseG1GC -XX:MaxGCPauseMillis=20"

# 실행 시 메모리 제한
CMD ["java", "-Xms1g", "-Xmx2g", "-jar", "consumer-app.jar"]

Kubernetes 환경에서의 설정

# deployment.yaml
apiVersion: apps/v1
kind: Deployment
spec:
  template:
    spec:
      containers:
      - name: kafka-consumer
        image: your-consumer-app
        resources:
          requests:
            memory: "2Gi"
            cpu: "500m"
          limits:
            memory: "4Gi"
            cpu: "1000m"
        env:
        - name: KAFKA_HEAP_OPTS
          value: "-Xms1g -Xmx2g"
        - name: KAFKA_JVM_PERFORMANCE_OPTS
          value: "-XX:+UseG1GC -XX:MaxGCPauseMillis=20"

SSL/SASL 보안 환경에서의 특별 고려사항

SSL이나 SASL 인증을 사용하는 환경에서는 추가적인 메모리 고려사항이 있습니다.

# SSL 환경에서의 버퍼 크기 조정
send.buffer.bytes=131072           # 128KB
receive.buffer.bytes=65536         # 64KB

# SASL 설정 시 타임아웃 조정
request.timeout.ms=30000
session.timeout.ms=10000
heartbeat.interval.ms=3000

# 보안 프로토콜 명시적 설정
security.protocol=SASL_SSL
sasl.mechanism=PLAIN

IBM의 기술 문서(IT44159)에 따르면, SASL over TLS 환경에서 Kafka 서버 재시작 시 OutOfMemoryError가 발생할 수 있으므로 위의 타임아웃 설정이 중요합니다.

 

 

5. 모니터링 및 예방 방법

JVM 메모리 모니터링

# 현재 JVM 상태 확인
jcmd <pid> VM.info
jcmd <pid> GC.class_histogram

# 실시간 GC 모니터링
jstat -gc <pid> 1s

# 힙 덤프 생성 (문제 발생 시)
jcmd <pid> GC.run_finalization
jmap -dump:format=b,file=heapdump.hprof <pid>

Consumer 상태 모니터링

# Consumer 그룹 상태 확인
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group your-group --describe

# Consumer lag 모니터링
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group your-group --describe --members --verbose

JMX 메트릭을 통한 모니터링

# JMX 설정
export KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9999 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false"

# 주요 모니터링 메트릭
kafka.consumer:type=consumer-fetch-manager-metrics,client-id=*
kafka.consumer:type=consumer-coordinator-metrics,client-id=*

 

 

6. 마지막으로, 단계별 해결을 위한 체크리스트!

단계별 문제 해결 체크리스트

1단계: 즉시 확인사항

  • [ ] 현재 JVM 힙 크기 확인: jcmd <pid> VM.info
  • [ ] 시스템 메모리 사용률 확인: free -h
  • [ ] Consumer lag 상태 확인
  • [ ] 에러 로그에서 구체적인 실패 지점 파악

2단계: 기본 설정 점검

  • [ ] KAFKA_HEAP_OPTS 환경변수 설정 확인
  • [ ] fetch.max.bytes, max.partition.fetch.bytes 값 검토
  • [ ] max.poll.records 설정값 확인
  • [ ] GC 알고리즘 및 설정 확인

3단계: 고급 최적화

  • [ ] Consumer 그룹의 파티션 분산 상태 점검
  • [ ] 메시지 크기 분포 분석
  • [ ] 네트워크 설정 (send.buffer.bytes, receive.buffer.bytes) 조정
  • [ ] SSL/SASL 설정이 있는 경우 관련 설정 검토

4단계: 아키텍처 레벨 검토

  • [ ] Consumer 인스턴스 수와 파티션 수의 균형 검토
  • [ ] 메시지 크기 최적화 필요성 검토
  • [ ] Producer 측 배치 설정 검토

긴급 대응 방법

즉시 적용 가능한 임시 해결책:

# 1. 힙 메모리 즉시 증설
export KAFKA_HEAP_OPTS="-Xms4g -Xmx6g"

# 2. fetch 크기 임시 축소
echo "fetch.max.bytes=10485760" >> consumer.properties
echo "max.partition.fetch.bytes=524288" >> consumer.properties

# 3. Consumer 재시작
kill -9 <consumer-pid>
nohup java $KAFKA_HEAP_OPTS -jar consumer-app.jar &

 

 

Kafka Consumer의 OutOfMemoryError는 복합적인 원인으로 발생하는 문제입니다. 단순히 메모리만 늘리는 것이 아니라, JVM 설정, Consumer 설정, 그리고 아키텍처적인 접근을 종합적으로 고려해야 합니다. 특히 최근의 업계 동향을 보면, 이러한 메모리 문제들이 운영 환경에서 여전히 빈번하게 발생하고 있으며, 체계적인 접근이 더욱 중요해지고 있습니다.

이 글에서 제시한 해결 방법들을 단계적으로 적용하시면, 대부분의 OutOfMemoryError 문제를 해결할 수 있을 것입니다. 무엇보다 사전 모니터링을 통해 문제를 예방하는 것이 가장 중요하다는 점을 기억해주세요.

 

댓글 남기기