공부는 해도 해도 끝이 없구먼

지원되는 버전

Instancea가 수집하는 모든 Kafka 지표는 이용자 그룹 시차 및 소비자/프로듀서 바이트 비율/조절 지표와 별도로 Apache Kafka, Cloudera Kafka및 Confluent Kafka의 모든 버전에 사용할 수 있습니다. 오픈 소스 Apache Kafka에 빌드된 IBM® Event Streams 는 IBM Event Streams 11.0.4 (IBM Event Streams Operator 3.0.5) 이상 버전에서 지원됩니다.

이용자 그룹 지연 지표는 다음 버전에서 사용 가능합니다.

• 0.11.x.x 에서 3.x.x 까지의 Apache Kafka 버전
• 3.x.x 에서 4.1.x 로의 Cloudera Kafka 버전
• 3.3.x 에서 7.x.x까지의 Confluent Kafka 버전.
• 11.0.4 (IBM Event Streams Operator 3.0.5) 이상 버전의 IBM Event Streams 버전

소비자/생성자 바이트 비율/조절 메트릭은 Java Kafka 클라이언트에서만 사용 가능하며 다음과 같습니다.

• 1.1.x 에서 3.x.x 로의 Apache Kafka 버전
• 4.0.x 에서 4.1.x 까지의 Cloudera Kafka 버전
• 4.1.x 에서 7.x.x까지의 Confluent Kafka 버전.
• 11.0.4 (IBM Event Streams Operator v3.0.5) 이상 버전의 IBM Event Streams 버전

 구성

Instancea 에이전트는 실행 중인 Kafka 에이전트를 자동으로 발견하므로 구성이 필요하지 않습니다.

Instana는 주제 이름별로 정렬된 첫 번째 400 주제를 수집합니다.

주제를 필터링하기 위한 요구사항이 있는 경우 에이전트 구성 파일 <agent_install_dir>/etc/instana/configuration.yaml에서 이를 구성할 수 있습니다.

com.instana.plugin.kafka:
  topicsRegex: '<OPTIONAL_REGEX_HERE>'
  brokerPropertiesFilePath: '/path/to/server.properties'
  collectLagData: '' # true or false. The default value is true

• topicsRegex: 이름별로 최대 400개의 주제를 선택하는 선택적 정규식입니다. 값이 비어 있거나 존재하지 않는 경우 Instana는 이름별로 정렬된 처음 400개의 주제를 수집합니다.
• brokerPropertiesFilePath: 에이전트가 브로커 네트워크 및 보안 프로토콜 설정에 대한 정보를 가져오는 데 사용하는 브로커 server.properties 파일의 경로입니다.
• collectLagData: 지연 데이터 콜렉션을 명시적으로 사용/사용 안함으로 설정하는 데 사용되는 플래그입니다 (기본적으로 사용으로 설정됨).

브로커 특성에 대한 경로가 지정되지 않은 경우 에이전트는 다음 위치에서 server.properties 를 찾으려고 시도합니다.

• Kafka 브로커 프로세스 인수
• KAFKA_SERVER_PROPERTIES 환경 변수
• 사전 정의된 경로 사용: Confluent Kafka의 경우 /path_to_kafka_home/config/server.properties 또는 /path_to_kafka_home/etc/kafka/server.properties .

앞에서 언급한 방법으로 server.properties 에 대한 경로를 찾을 수 없는 경우 에이전트는 /opt/kafka/config/server.properties 를 기본 경로로 사용합니다.

 SSL TLS 지원

Kafka 브로커 인스턴스에 SSL 클라이언트 연결이 필요한 경우 <agent_install_dir>/etc/instana/configuration.yaml 를 통해 Instana 에이전트를 구성하여 이용자 지연 메트릭을 수집할 수 있도록 해야 합니다.

com.instana.plugin.kafka:
  ...
  sslTrustStore: '/path/to/truststore.jks'
  sslTrustStorePassword: 'kafkaTsPassword'
  sslKeyStore: '/path/to/sslKeyStoreFile.jks'
  sslKeyStorePassword: 'kafkaKsPassword'

키는 Java키 저장소 형식 (JKS) 이어야 합니다. keytool 을 사용하여 이를 작성할 수 있습니다.

참고: 이를 통해 Instana 에이전트가 SSL을 통해 Kafka 브로커에 연결하고 이용자 그룹 지연 지표를 수집할 수 있습니다.

 Kafka 노드-지표 콜렉션

 구성 데이터

• 버전
• Zookeeper Connect
• 프로세스 ID
• 노드 ID
• 토픽/파티션

 성능 지표

 브로커 트래픽

 브로커 메시지 수신

 요청 생성

 이용자 요청 페치

 팔로워 요청 페치

 평균 유휴 시간

 브로커 실패

 브로커 상태 지표

 파티션

 로그 플러시

 주제

 Kafka 클러스터-지표 콜렉션

• 클러스터 이름
• Zookeeper
• 노드 (이름, 버전)

토픽/파티션

 성능 지표

 평균 요청 대기 시간 대 처리량

 모든 브로커 트래픽

 모든 브로커 실패

 모든 브로커 상태 지표

 평균 유휴 시간 백분율

 로그 플러시

 클러스터 노드

 클러스터 토픽

 이용자 그룹 지연

 이용자

 생산자

Kafka 작업자-메트릭 콜렉션

 구성 데이터

• Version
• 이름
• 브로커 수

 성능 지표

• 커넥터 개수
• 커넥터 시작 실패
• 태스크 시작 실패

 리밸런싱

 Kafka 커넥터-메트릭 콜렉션

• 커넥터 이름
• 커넥터 클래스
• 커넥터 유형
• 커넥터 버전

 커넥터 태스크

 태스크

 태스크 링크 태스크

 Kafka 클러스터 연결 클러스터-메트릭 콜렉션

 구성 데이터

• Version

 작업자

 커넥터