[Chap 03] 카프카 스트림즈 ~3.5

[travelbeeee]

현석

• 기능들을 설명하는 챕터라 어려운 부분은 없었고, 그냥 새로운 지식을 받아들이는(?) 챕터였습니다.
• 그래서 카프카 스트림즈를 어떤 상황에서 쓰는거지?? 에 대한 의문은 아직 해결하지못했습니다.
  • 라인에서는 라인 클라이언트와 메신저 서버 간의 통신에서 발생하는 TalkOperation 로그를 생성하고 있는데, 어떤 Consumer 는 모든 종류의 TalkOperation 로그 값을 사용하지만, 어떤 Consumer 는 모든 종류의 TalkOperation 을 사용하지 않으므로 이를 위해 카프카 스트림즈를 사용하고 있다고 합니다.
    • TalkOperation 로그 중 특정 Consumer 에서 필요한 부분만을 보유한 파생 topic 을 스트림즈를 통해 만들어서 제공
  • 라인사례
  • 책에서는 프로듀서-컨슈머 조합으로는 단 한 번의 데이터 처리, 장애 허용 시스템 등의 특징들을 완벽하게 구현하기 어렵다는데 이런 부분 때문에 사용하는게 아닐까... 추측을 해봅니다. (100%이해는 못하고 있습니다.)

[KKambi]

Delivery Semantic

Delivery Semantic for Producer

어떤 원칙으로 메세지를 브로커에 전달할 것인가?

• at least once : acks=all (프로듀서가 메세지 전송 후, 리더 파티션 & 팔로워 파티션 모두로부터 ack를 받아야 완료)
• exactly once : acks=all & enable.idempotence = true (PID → 어떤 프로듀서가 어떤 메세지를 전송했는지 브로커에서 중복 체크)

다수의 파티션에 여러 메세지를 한 번에 보낼 경우, transaction까지 활용해야 한다.

Delivery Semantic for Consumer

어떤 원칙으로 브로커의 메세지를 소비할 것인가? = 컨슈머 내 후속 처리를 중복 처리의 판단 기준으로 보자.

• 브로커에서 어떤 컨슈머가 어디까지 읽었는지 offset을 관리 + 컨슈머에서 읽었다면 commit
• at most once : 읽은 즉시 커밋하거나, 오토 커밋하는 경우
  → 후속 처리가 실패하더라도 오프셋이 커밋되었으므로 재소비 X → 손실 가능
• at least once : 후속 처리가 완료되면 커밋하는 경우
  → 후속 처리가 실패하면 재소비하지만, 네트워크 이슈로 커밋되지 않으면 재소비 O → 중복 가능
• exactly once : 카프카가 아닌 외부 시스템 필요.
  → polling할 때 DB Select + 후속 처리 이후 DB Insert

결론

exactly once를 달성하기는 어렵다 (비용이 큼, 외부 시스템도 항상 완전하지 않음)

Kafka Stream Architecture

Q. 책에서 봤던 것처럼, 주소 토픽과 주문 토픽을 join한다고 하자. 만약 주소 토픽에 <Hanbi, Sanghyeon>가 들어왔다면, 동일한 키를 가진 주문쪽 레코드가 스트림에 들어올 때까지 어딘가에 이 정보를 보존해야 하지 않나?

Stateless or Stateful

스트림 프로세싱은 크게 2가지로 나눌 수 있다.

• Stateless : 이벤트 레코드가 도착했을 때, 그 레코드만으로 처리 가능 (ex. 레코드 A를 레코드 B로 변환하여 다른 토픽으로 전송)
• Stateful : 이벤트 레코드를 일정 기간 보관해두고, 다른 요소를 조합하여 처리 (ex. 이벤트 수 집계, 평균, 히스토그램, 버퍼링, 결합 등)

State Store

Stateful Operation을 구현할 때 사용 (ex. join(), aggregate()와 같은 연산할 때 자동으로 생성하고 관리)

• 프로세서가 위치한 노드의 로컬에 데이터 스토어를 보관하고 유지
• RocksDB, 인메모리 해쉬맵, 혹은 다른 자료구조

[meloncha]

민석

카프카 스트림즈 Exactly-once 설정

• 스트림즈는 기본적으로 at-least-once 프로세싱을 지원 (중복은 발생 O, 유실은 X)
• transaction 처리를 통해 스트림즈 API 사용시 Exactly once 프로세싱을 적용 가능

스트림 프로세스에서 Exactly Once 란?

• 각각의 레코드에 대해 이슈가 발생하더라도 반드시 한번만 처리
• 아래의 3가지 과정을 원자성(Atomic)하게 처리해야 한다
  • Acked produce to sink topics
  • State update of application
  • Offset commit on source topics
• 소스 토픽에 대한 응답(commit)을 인터널 카프카 토픽(offsets topic)에 등록한다
• 스트림즈 라이브러리는 상태(state)를 저장하기 위해 changelog 토픽을 사용한다. 프로세싱 중에 발생하는 각각의 상태를 토픽에 저장함으로써 고가용성을 달성
• 상태 저장에 대한 업데이트 히스토리를 토픽에 저장함으로써 source-of-truth 역할을 한다.

개념 정리

• topic : 카프카에서 데이터를 구분하기 위해 사용하는 단위로 카테고리. 1개 이상의 파티션을 가진다.
• partition : 프로듀서가 보낸 데이터들이 큐 형태로 들어가 저장된다. 이것을 레코드라고 부른다
• commit-offset 토픽 : 데이터를 요청한 컨슈머와 그룹별로 특정 토픽의 몇 번째 offset 까지 데이터를 읽었는지 저장한다. 중복 없이 데이터를 전달하기 위해 사용
• source processor : 하나 이상의 토픽에서 데이터를 가져오는 역할
• sink processor : 데이터를 카프카의 특정 토픽으로 저장하는 역할
• changelog 토픽 : StateStore 를 사용하면 자동으로 changelog 라는 토픽이 Kafka Broker 에 작성된다. statestore에 작성된 변경 사항을 보유하는 토픽이다. 이 토픽을 사용하여 처리 노드 다운 및 태스크 재할당에 대응한다.

참고 : https://blog.voidmainvoid.net/438

[easyfordev]

이지

• 책과 샘플 코드 레포 번갈아가면서 읽었습니다. 스트림즈 DSL까지밖에 못읽었고.... 어려운 부분은 (아직) 없습니다..!

  • 로컬 카프카 띄워서 실습 코드 돌려보면서 하면 더 이해 잘될듯 합니다.. (해볼 예정!)

• 끝까지 읽은 분들) 프로세서 API와 스트림즈 DSL의 차이점이 무엇일까요...? 스트림즈 애플리케이션을 구현하는 방식의 차이라고 저는 이해헸는데요...

  • 책에서는 스트림즈 DSL에는 KStream, KTable, GlobalKTable 개념이 없다고 하고,
  • 상세 로직의 구현이 필요하다면 프로세서 API를 사용하라고 하는데
  • 여러분의 생각이 궁금합니다!
  • 민석님이 공유해주신 차이점 링크 : https://always-kimkim.tistory.com/entry/kafka101-streams

• 저희 팀에서는 스트림즈 앱을 사용하는 용도가 : (정확하게 파악한 것은 아니지만) 다른 팀 Kafka에서 받아와서 -> 우리 입맛에 맞게 가공 과정을 거친 후 -> 다시 저희 팀 Kafka로 보내고 있습니다.

  • 그런데 이런 방식이 비슷한 파이프라인이 추가될 때 마다 코드 변경량이 많다는 단점이 있어 Fade out 시키고 있습니다.

• 스트림즈 앱을 서버에서 운영하다가, 코드가 변경되어 종료하고 다시 배포하려면 어떻게 하는게 베스트일까?

  • kill….?
  • java 코드? stream.start()의 반대가 있음 : streams.close()
  • https://docs.confluent.io/platform/current/streams/developer-guide/dsl-api.html#sample-usage

• ㅌㅣㅁ ㅋㅗㄷㅡ 곧 삭제 예정...

• 스트림즈DSL 개발 프로세스 정리
  • 소스 프로세서 -> 스트림 프로세서 -> 싱크 프로세서
  • 토폴로지를 설계하고 그린다 -> 로직 구현(프로세서 구현) -> 스트림즈 애플리케이션 띄우고 -> 카프카의 토픽에 produce하고 -> consumer도 띄워서 토픽에 어떻게 들어왔는지 확인

[kihyun-yang]

기현

• 이번 범위 읽으면서 궁금하거나 이해 안되는 부분은 없었습니다.
• https://www.youtube.com/watch?v=vKxhPUUEDmM
  • 저자 분이 카프카 스트림즈 관련해서 올리신 유튜브 영상인데 책으로 읽는 것보다 이해가 더 잘되는 것 같습니다.ㅎㅎ