반응형

kafka 3

[kafka] kafka-connect Rest API 호출하기

kafka-connect 의 서버 주소: localhost:8083 [GET] /connectors : 커넥터 목록 조회 [GET] /connectors/{connector_name} : 특정 커넥터의 이름으로 상세 조회 [GET] /connectors/{connector_name}/status : 커넥터의 상태 조회 [GET] /connector-plugins : 카프카 커넥터 내부에 설치된 플러그인 조회 [POST] /connectors : 커넥터 생성 (Body에 JSON 형식으로 데이터 입력) { "name": "my-source-connect", "config": { "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector", "con..

kafka 2023.11.09

[kafka] Apache Kafka 사용법(JDBC Connector 사용을 위한 드라이버 설정)

Kafka 기동 순서 Zookeeper → Kafka-Server → Kafka-Connect 순으로 기동한다. Broker: Kafka 어플리케이션 서버, 보통 3대 이상의 브로커 클러스터로 구성하는것을 권장함. Zookeeper: N개의 Broker 중 1대는 Controller 역할을 수행하는데 각 Broker에 담당 파티션 할당하고, Broker의 정상 동작을 모니터링하여 관리한다. Kafka 폴더 Kafka 설치 후 폴더안에 /config 폴더가 kafka-server와 zookeeper 설정파일 등이 존재하는 폴더이다. /bin 폴더는 kafka-server, zookeeper 의 start / stop, 토픽 생성 등 명령어 .sh 파일이 존재하는 폴더이다. Kafka 명령어 // Zooke..

kafka 2023.10.31

[Kafka] Kafka 설치 및 producer / consumer 테스트

kafka 설치 해당 사이트에 들어가서 Binary downloads -> Scala 언어로 선택하여 설치 (Scala 2.13 - kafka_2.13-3.6.0.tgz (asc, sha512) 설치함) Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org Kafka 폴더 다운로드 파일의 알집을 풀면 /bin 과 /config 폴더가 존재한다. /bin 폴더: kafka, zookeeper를 start, stop 할 수 있는 스크립트 존재함 * windows os 사용자의 경우 /bin/winsows에 .bat 존재함 /config 폴더: kafka, zookeeper 관련 설정 파일 존재함 Kafka 구동 zookee..

kafka 2023.10.17
반응형