Apache Kafka는 분산 시스템의 여러 애플리케이션이 메시지를 통해 통신하고 데이터를 공유할 수 있도록 하는 메시지 스트리밍 서비스입니다.
생산자 응용 프로그램이 메시지를 게시하고 소비자 시스템이 메시지를 구독하는 게시/하위 시스템으로 작동합니다.
Apache Kafka를 사용하면 데이터를 생성하고 소비하는 시스템 부분 간에 느슨하게 결합된 아키텍처를 채택할 수 있습니다. 따라서 시스템 설계 및 관리가 더 간단해집니다. Kafka는 클러스터의 다양한 요소에 대한 메타데이터 관리 및 동기화를 위해 Zookeeper를 사용합니다.
목차
아파치 카프카의 특징
Apache Kafka는 여러 가지 이유로 인기를 얻었습니다.
- 클러스터 및 파티션을 통해 확장 가능
- 초당 200만 쓰기를 수행할 수 있는 빠른 성능
- 메시지가 전송되는 순서 유지
- 복제 시스템을 통한 신뢰성
- 가동 중지 시간 없이 업그레이드할 수 있습니다.
이제 Kafka의 일반적인 사용 사례 중 일부를 살펴보겠습니다.
Apache Kafka의 일반적인 사용 사례
Kafka는 빅 데이터 처리, 분석을 위한 버튼 클릭과 같은 이벤트 기록 및 집계, 시스템의 여러 부분에서 하나의 중앙 위치로 로그 결합에 자주 사용됩니다.
시스템의 서로 다른 응용 프로그램 간의 통신을 가능하게 하고 IoT 장치의 데이터를 실시간으로 처리하는 데 도움이 됩니다.
이제 Windows 및 Linux에 Kafka를 설치하는 자세한 단계를 확인하겠습니다.
윈도우에 카프카 설치하기
먼저 Windows에 Apache Kafka를 설치하려면 컴퓨터에 Java가 설치되어 있는지 확인합니다. 관리자 모드에서 명령 프롬프트를 열고 다음 명령을 입력합니다.
java --version
Java가 설치된 경우 현재 설치된 JDK 버전 번호를 가져와야 합니다.
명령이 인식되지 않는다는 오류 메시지가 표시되면 Java가 설치되지 않은 것이므로 Java를 설치해야 합니다. Java를 설치하려면 Adoptium.net으로 이동하여 다운로드 버튼을 클릭하십시오.
그러면 Java 설치 프로그램 파일이 다운로드됩니다. 다운로드가 완료되면 설치 프로그램을 실행합니다. 이렇게 하면 설치 프롬프트가 열립니다.
기본 옵션을 선택하려면 다음을 반복해서 누릅니다. 그러면 설치가 시작됩니다. 명령 프롬프트를 닫고 관리자 모드에서 다른 명령 프롬프트를 다시 연 다음 다음 명령을 입력하여 설치를 확인합니다.
java --version
이번에는 방금 설치한 JDK 버전을 가져와야 합니다. 설치가 완료되면 Kafka 설치를 시작할 수 있습니다.
Kafka를 설치하려면 먼저 Kafka 웹사이트로 이동합니다.
링크를 클릭하면 다운로드 페이지로 이동합니다. 사용 가능한 최신 바이너리를 다운로드합니다.
그러면 .tgz 파일에 패키지된 Kafka 스크립트 및 바이너리가 다운로드됩니다. 다운로드 후 .tgz 아카이브에서 파일을 추출해야 합니다. 압축을 풀기 위해 WinZip 웹 사이트에서 다운로드할 수 있는 WinZip을 사용하겠습니다.
파일을 추출한 후 파일 경로가 C:kafka가 되도록 C:로 이동합니다.
그런 다음 관리자 모드에서 명령 프롬프트를 열고 먼저 Kafka 디렉터리로 이동하여 Zookeeper를 시작합니다. 그리고 zookeeper.properties를 구성 파일로 사용하여 zookeeper-server-start.bat 파일을 실행합니다.
cd C:kafka binwindowszookeeper-server-start.bat configzookeeper.properties
Zookeeper를 실행하면서 Kafka가 시스템 PATH에 사용하는 wmic 실행 파일을 추가해야 합니다.
set PATH=C:WindowsSystem32wbem;%PATH%;
그런 다음 관리자 모드에서 다른 명령 프롬프트 세션을 열고 C:kafka 폴더로 이동하여 Apache Kafka 서버를 시작합니다.
cd C:kafka
그런 다음 다음을 실행하여 Kafka를 시작하십시오.
binwindowskafka-server-start.bat configserver.properties
이를 통해 Kafka가 실행 중이어야 합니다. server.properties 파일에서 로그가 기록되는 위치와 같은 서버 속성을 사용자 지정할 수 있습니다.
리눅스에 카프카 설치하기
먼저 모든 패키지를 업데이트하여 시스템을 최신 상태로 유지하십시오.
sudo apt update && sudo apt upgrade
다음을 실행하여 컴퓨터에 Java가 설치되어 있는지 확인하십시오.
java --version
Java가 설치되어 있으면 버전 번호가 표시됩니다. 그러나 그렇지 않은 경우 apt를 사용하여 설치할 수 있습니다.
sudo apt install default-jdk
그런 다음 웹 사이트에서 바이너리를 다운로드하여 Apache Kafka를 설치할 수 있습니다.
터미널을 열고 다운로드가 저장된 폴더로 이동합니다. 제 경우에는 다운로드 폴더로 이동해야 합니다.
cd Downloads
다운로드 폴더에 들어가면 tar를 사용하여 다운로드한 파일의 압축을 풉니다.
tar -xvzf kafka_2.13-3.3.1.tgz
추출된 폴더로 이동
cd kafka_2.13-3.3.1.tgz
디렉터리 및 파일을 나열합니다.
폴더에 들어가면 추출된 폴더의 bin 디렉터리에 있는 zookeeper-server-start.sh 스크립트를 실행하여 Zookeeper 서버를 시작합니다.
스크립트에는 Zookeeper 구성 파일이 필요합니다. 기본 파일은 zookeeper.properties라고 하며 config 하위 디렉토리에 있습니다.
따라서 서버를 시작하려면 다음 명령을 사용하십시오.
bin/zookeeper-server-start.sh config/zookeeper.properties
Zookeeper를 실행하면 Apache Kafka 서버를 시작할 수 있습니다. kafka-server-start.sh 스크립트도 bin 디렉토리에 있습니다. 이 명령에는 구성 파일도 필요합니다. 기본값은 구성 파일에 저장된 server.properties입니다.
bin/kafka-server-start.sh config/server.properties
이렇게 하면 Apache Kafka가 실행됩니다. bin 디렉토리 내에서 주제 생성, 생산자 관리 및 소비자 관리와 같은 작업을 수행하는 많은 스크립트를 찾을 수 있습니다. server.properties 파일에서 서버 특성을 사용자 정의할 수도 있습니다.
마지막 말
이 가이드에서는 Java 및 Apache Kafka를 설치하는 방법을 살펴보았습니다. Kafka 클러스터를 수동으로 설치하고 관리할 수 있지만 Amazon Web Services 및 Confluent와 같은 관리형 옵션을 사용할 수도 있습니다.
다음으로 Kafka와 Spark로 데이터 처리를 배울 수 있습니다.