Apache Kafka е услуга за поточно предаване на съобщения, която позволява на различни приложения в разпределена система да комуникират и споделят данни чрез съобщения.
Той функционира като pub/sub-system, където приложенията на производителя публикуват съобщения, а потребителските системи се абонират за тях.
Apache Kafka ви позволява да приемете слабо свързана архитектура между частите на вашата система, които произвеждат и консумират данни. Това прави проектирането и управлението на системата по-лесно. Kafka разчита на Zookeeper за управление на метаданни и синхронизиране на различни елементи от клъстера.
Съдържание
Характеристики на Apache Kafka
Apache Kafka стана популярен, наред с други причини, за да бъде
- Мащабируем чрез клъстери и дялове
- Бързо, способно да извършва 2 милиона записа в секунда
- Поддържа реда, в който се изпращат съобщенията
- Надежден чрез своята система от реплики
- Може да бъде надграден с нулев престой
Сега нека разгледаме някои от често срещаните случаи на употреба на Kafka.
Често използвани случаи на Apache Kafka
Kafka често се използва при обработка на големи данни, записване и агрегиране на събития като щраквания върху бутони за анализи и комбиниране на регистрационни файлове от различни части на система в едно централно място.
Той помага за разрешаване на комуникация между различни приложения в системата и обработка в реално време на данни от IoT устройства.
Сега нека разгледаме подробните стъпки за инсталиране на Kafka на Windows и Linux.
Инсталиране на Kafka на Windows
Първо проверете дали Java е инсталирана на вашата машина, за да инсталирате Apache Kafka на Windows. Отворете командния ред в режим на администратор и въведете командата:
java --version
Ако Java е инсталирана, трябва да получите номера на версията на JDK, която е инсталирана в момента.
Ако получите съобщение за грешка, че командата не е разпозната, Java не е инсталирана и трябва да инсталирате Java. За да инсталирате Java, отидете на Adoptium.net и щракнете върху бутона за изтегляне.
Това трябва да изтегли инсталационния файл на Java. Когато изтеглянето приключи, стартирайте инсталатора. Това трябва да отвори подкана за инсталиране.
Натиснете, Next неколкократно, за да изберете опциите по подразбиране. След това трябва да започне инсталирането. Проверете инсталацията, като затворите командния ред, отворите отново друг команден ред в режим на администратор и въведете командата:
java --version
Този път трябва да получите JDK версията, която току-що сте инсталирали. След като инсталацията приключи, можем да започнем инсталирането на Kafka.
За да инсталирате Kafka, първо отидете на уебсайта на Kafka.
Кликнете върху връзката и тя трябва да ви отведе до страницата за изтегляния. Изтеглете най-новите налични двоични файлове.
Това ще изтегли Kafka скриптове и двоични файлове, пакетирани в .tgz файл. След изтеглянето трябва да извлечете файловете от .tgz архива. За извличане ще използвам WinZip, който може да бъде изтеглен от уебсайта на WinZip.
След като извлечете файла, го преместете в C: така че пътят на файла да стане C:kafka
След това отворете командния ред в режим на администратор и стартирайте Zookeeper, като първо отидете до директорията на Kafka. И стартиране на файла zookeeper-server-start.bat с zookeeper.properties като конфигурационен файл
cd C:kafka binwindowszookeeper-server-start.bat configzookeeper.properties
Когато Zookeeper работи, трябва да добавим wmic изпълнимия файл, който Kafka използва в нашата система PATH,
set PATH=C:WindowsSystem32wbem;%PATH%;
След това стартирайте сървъра Apache Kafka, като отворите друга сесия на командния ред в режим на администратор и навигирате до папката C:kafka
cd C:kafka
След това стартирайте Кафка с бягане
binwindowskafka-server-start.bat configserver.properties
С това Кафка трябва да работи. Можете да персонализирате свойствата на сървъра, като например къде се записват регистрационните файлове във файла server.properties.
Инсталиране на Kafka на Linux
Първо се уверете, че вашата система е актуална, като актуализирате всички пакети
sudo apt update && sudo apt upgrade
След това проверете дали Java е инсталирана на вашата машина, като стартирате
java --version
Ако java е инсталирана, ще видите номера на версията. Ако обаче не е, можете да го инсталирате с помощта на apt.
sudo apt install default-jdk
След това можем да инсталираме Apache Kafka, като изтеглим двоичните файлове от уебсайта.
Отворете вашия терминал и отидете до папката, в която е запазено изтеглянето. В моя случай трябва да навигирам до папката Downloads.
cd Downloads
След като сте в папката за изтегляне, извлечете изтеглените файлове с помощта на tar:
tar -xvzf kafka_2.13-3.3.1.tgz
Отидете до извлечената папка
cd kafka_2.13-3.3.1.tgz
Избройте директориите и файловете.
След като сте в папката, стартирайте Zookeeper сървър, като изпълните скрипта zookeeper-server-start.sh, намиращ се в директорията bin на извлечената папка.
Скриптът ще изисква конфигурационен файл на Zookeeper. Файлът по подразбиране се нарича zookeeper.properties и се намира в поддиректорията config.
Така че, за да стартирате сървъра, използвайте командата:
bin/zookeeper-server-start.sh config/zookeeper.properties
Когато Zookeeper работи, можем да стартираме сървъра Apache Kafka. Скриптът kafka-server-start.sh също се намира в директорията bin. Командата също така очаква конфигурационен файл. По подразбиране е server.properties, съхранен в конфигурационния файл.
bin/kafka-server-start.sh config/server.properties
Това трябва да стартира Apache Kafka. В директорията bin ще намерите много скриптове за извършване на неща като създаване на теми, управление на производители и управление на потребители. Можете също така да персонализирате свойствата на сървъра във файла server.properties.
Заключителни думи
В това ръководство разгледахме как да инсталираме Java и Apache Kafka. Докато можете да инсталирате и управлявате клъстери на Kafka ръчно, можете също да използвате управлявани опции като Amazon Web Services и Confluent.
След това можете да научите обработка на данни с Kafka и Spark.