Kafka 작업자-메트릭 콜렉션
구성 데이터
- Version
- 이름
- 브로커 수
성능 지표
- 커넥터 개수
- 커넥터 시작 실패
- 태스크 시작 실패
리밸런싱
메트릭설명세분성
재조정 완료 | 이 작업자 kafka.connect:type=connect-worker-rebalance-metrics,name=completed-rebalances-total이 완료한 재조정의 총 수입니다. | 1초 |
재조정 평균 시간 | 이 작업자가 kafka.connect:type=connect-worker-rebalance-metrics,name=rebalance-avg-time-ms재조정하는 데 소요된 평균 시간 (밀리초) 입니다. | 1초 |
재조정 중 | 이 작업자가 현재 kafka.connect:type=connect-worker-rebalance-metrics,name=rebalancing재조정 중인지 여부입니다. | 1초 |
마지막 재조정 이후 시간 | 이 작업자가 가장 최근의 재조정 kafka.connect:type=connect-worker-rebalance-metrics,name=time-since-last-rebalance-ms을 완료한 이후의 시간 (밀리초) 입니다. | 1초 |
Kafka 커넥터-메트릭 콜렉션
- 커넥터 이름
- 커넥터 클래스
- 커넥터 유형
- 커넥터 버전
커넥터 태스크
메트릭설명세분성
총계 | 커넥터 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-total-task-count의 태스크 수입니다. | 1초 |
실행 중 | 커넥터 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-running-task-count 의 실행 중인 태스크 수 | 1초 |
실패함 | 커넥터 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-failed-task-count의 실패한 태스크 수입니다. | 1초 |
삭제됨 | 커넥터 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-destroyed-task-count의 손상된 태스크 수입니다. | 1초 |
일시중지됨 | 커넥터 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-paused-task-count의 일시정지된 태스크 수. | 1초 |
지정되지 않습니다. | 커넥터 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-unassigned-task-count 의 지정되지 않은 태스크 수 | 1초 |
태스크
메트릭설명세분성
이름 | 태스크 이름 kafka.connect:type=connector-task-metrics,connector={connectorName},task={taskName}입니다. | 1초 |
Status | 커넥터 태스크 kafka.connect:type=connector-task-metrics,connector={connectorName},task={taskName},name=status의 상태입니다. | 1초 |
실행 비율 | 이 태스크가 kafka.connect:type=connector-task-metrics,connector={connectorName},task={taskName},name=running-ratio상태를 실행하는 데 소요한 시간입니다. | 1초 |
일시정지 비율 | 이 태스크가 일시정지 상태 kafka.connect:type=connector-task-metrics,connector={connectorName},task={taskName},name=pause-ratio에서 소비한 분수 시간입니다. | 1초 |
태스크 링크 태스크
메트릭설명세분성
파티션 수 | 이 태스크 kafka.connect:type=sink-task-metrics,connector={connectorName},task={taskName},name=partition-count에 지정된 토픽 파티션의 수입니다. | 1초 |
레코드 읽기 비율 | 이 태스크 kafka.connect:type=sink-task-metrics,connector={connectorName},task={taskName},name=sink-record-read-rate에 대해 Kafka 에서 읽은 초당 평균 레코드 수 | 1초 |
레코드 전송 비율 | 이 태스크 kafka.connect:type=sink-task-metrics,connector={connectorName},task={taskName},name=sink-record-send-rate에서 보낸 초당 평균 레코드 수. | 1초 |
메트릭설명세분성
레코드 폴링 비율 | 이 태스크 kafka.connect:type=source-task-metrics,connector={connectorName},task={taskName},name=source-record-poll-rate에 의해 폴링된 초당 평균 레코드 수. | 1초 |
레코드 쓰기 비율 | 이 태스크 kafka.connect:type=source-task-metrics,connector={connectorName},task={taskName},name=source-record-write-rate에 의해 Kafka 에 기록된 초당 평균 레코드 수입니다. | 1초 |
Kafka 클러스터 연결 클러스터-메트릭 콜렉션
구성 데이터
- Version
작업자
메트릭설명세분성
커넥터 시작 실패 | 이 작업자 kafka.connect:type=connect-worker-rebalance-metrics,name=connector-startup-failure-total이 완료한 재조정의 총 수입니다. | 1초 |
태스크 시작 실패 | 이 작업자 kafka.connect:type=connect-worker-rebalance-metrics,name=task-startup-failure-total이 완료한 재조정의 총 수입니다. | 1초 |
재조정 완료 | 이 작업자 kafka.connect:type=connect-worker-rebalance-metrics,name=completed-rebalances-total이 완료한 재조정의 총 수입니다. | 1초 |
재조정 평균 시간 | 이 작업자가 kafka.connect:type=connect-worker-rebalance-metrics,name=rebalance-avg-time-ms재조정하는 데 소요된 평균 시간 (밀리초) 입니다. | 1초 |
재조정 중 | 이 작업자가 현재 kafka.connect:type=connect-worker-rebalance-metrics,name=rebalancing재조정 중인지 여부입니다. | 1초 |
마지막 재조정 이후 시간 | 이 작업자가 가장 최근의 재조정 kafka.connect:type=connect-worker-rebalance-metrics,name=time-since-last-rebalance-ms을 완료한 이후의 시간 (밀리초) 입니다. | 1초 |
커넥터
메트릭설명세분성
이름 | 커넥터 이름 kafka.connect:type=connect-worker-metrics,connector={name}. | 1초 |
총 태스크 | 커넥터 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-total-task-count의 태스크 수입니다. | 1초 |
실행 중인 태스크 | 커넥터 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-running-task-count의 실행 중인 태스크 수입니다. | 1초 |
실패한 태스크 | 커넥터 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-failed-task-count의 실패한 태스크 수입니다. | 1초 |
영구 삭제된 태스크 | 커넥터 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-destroyed-task-count의 손상된 태스크 수입니다. | 1초 |
일시정지된 태스크 | 커넥터 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-paused-task-count의 일시정지된 태스크 수. | 1초 |
지정되지 않은 태스크 | 커넥터 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-unassigned-task-count의 지정되지 않은 태스크 수입니다. | 1초 |
'Architecture' 카테고리의 다른 글
Kafka 3) MSK Cluster 모니터링 메트릭 (2) | 2024.01.11 |
---|---|
Kafka 2) 모니터링 (2) | 2024.01.11 |
MSA 5) MSA 분리 전략 : 도메인 주도 설계 (0) | 2023.11.01 |
MSA 4) MSA 분리 전략 : 분리 원칙 (0) | 2023.11.01 |
MSA 3) MSA 역량/성숙도 모델 (4) | 2023.10.18 |