В этой статье мы установим, настроим и запустим сервис Kafka. Установка будет выполнятся на системе Ubuntu 18.04 для Kafka 2.6.0.

Установка

1. Заходим в свою домашнюю директорию или туда где, Вам удобно работать
2. Качаем архив
   
   wget https://apache-mirror.rbc.ru/pub/apache/kafka/2.6.0/kafka_2.12-2.6.0.tgz

   1	wget https://apache-mirror.rbc.ru/pub/apache/kafka/2.6.0/kafka_2.12-2.6.0.tgz

3. Распаковываем
   
   tar -xvf kafka_2.12-2.6.0.tgz

   1	tar -xvf kafka_2.12-2.6.0.tgz

4. Перемещаем в /opt/kafka
   
   sudo mv kafka_2.12-2.6.0 /opt/kafka

   1	sudo mv kafka_2.12-2.6.0 /opt/kafka

5. Создаем пользователя kafka
   
   sudo useradd kafka -m

   1	sudo useradd kafka -m

6. Устанавливаем ему пароль
   
   sudo passwd kafka

   1	sudo passwd kafka

7. Добавляем его в группу kafka
   
   sudo adduser kafka kafka

   1	sudo adduser kafka kafka

8. Назначаем директории /opt/kafka пользователя kafka и группу kafka, чтобы этот пользователь смог запускать kafka
   
   
   sudo chown -R kafka:kafka /opt/kafka

   1	sudo chown -R kafka:kafka /opt/kafka

9. Создаем директорию для логов Kafka
   
   
   sudo mkdir /tmp/kafka-logs

   1	sudo mkdir /tmp/kafka-logs

10. Назначаем директории /tmp/kafka-logs пользователя kafka и группу kafka, чтобы этот пользователь смог запускать работать в этой директории
    
    
    sudo chown -R kafka:kafka /tmp/kafka-logs

    1	sudo chown -R kafka:kafka /tmp/kafka-logs

11. Создам директорию /tmp/zookeeper для рабочих файлов ZooKeeper
    
    
    sudo mkdir /tmp/zookeeper

    1	sudo mkdir /tmp/zookeeper

12. Назначаем директории /tmp/zookeeper пользователя kafka и группу kafka, чтобы этот пользователь смог работать с директорией (ZooKeeper также будем запускать от пользователя kafka)
    
    
    sudo chown -R kafka:kafka /tmp/zookeeper

    1	sudo chown -R kafka:kafka /tmp/zookeeper

13. Создаем сервис ZooKeeper в /etc/systemd/system/zookeeper.servicе. Для этого открываем vim из под sudo (или удобный Вас редактор):
    
    
    sudo vim /etc/systemd/system/zookeeper.service

    1	sudo vim /etc/systemd/system/zookeeper.service

    
    и помещаем туда текст
    
    
    [Unit] Description=zookeeper After=syslog.target network.target [Service] Type=simple User=kafka Group=kafka ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh [Install] WantedBy=multi-user.target

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

    [Unit] Description=zookeeper After=syslog.target network.target   [Service] Type=simple   User=kafka Group=kafka   ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh   [Install] WantedBy=multi-user.target

14. Создаем сервис Kafka в /etc/systemd/system/kafka.service. Для этого открываем vim из под sudo (или удобный Вас редактор):
    
    
    sudo vim /etc/systemd/system/kafka.service

    1	sudo vim /etc/systemd/system/kafka.service

    
    и помещаем туда текст
    
    
    [Unit] Description=Apache Kafka Requires=zookeeper.service After=zookeeper.service [Service] Type=simple User=kafka ExecStart=/bin/sh -c '/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties > /tmp/kafka-logs/kafka.log 2>&1' ExecStop=/opt/kafka/bin/kafka-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target

    1 2 3 4 5 6 7 8 9 10 11 12 13 14

    [Unit] Description=Apache Kafka Requires=zookeeper.service After=zookeeper.service   [Service] Type=simple User=kafka ExecStart=/bin/sh -c '/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties > /tmp/kafka-logs/kafka.log 2>&1' ExecStop=/opt/kafka/bin/kafka-server-stop.sh Restart=on-abnormal   [Install] WantedBy=multi-user.target

15. Заставим демон перечитать сервисы (команда только заставляет подхватить изменения, но не перезапускает сервисы)
    
    
    sudo systemctl daemon-reload

    1	sudo systemctl daemon-reload

Мы подготовили все необходимое для настройки.

Настройка

Настройка ZooKeeper

Откройте конфигурационный файл ZooKeeper с помощью vim из под sudo (или удобным Вам редактором):

И поместите туда текст:

Настройка Kafka

Откройте конфигурационный файл Kafka с помощью vim из под sudo (или удобным Вам редактором):

И поместите туда текст:

Вместо localhost укажите имя Вашего сервера или IP в последних трех строчках. Если планируете подключаться к Kafka извне, а скорее всего так и будет, то не указывайте localhost или 127.0.0.1, а укажите внешний IP или доменное имя Вашей машины.

Запуск

Для запуска достаточно выполнить две команды

Они запускают сервис ZooKeeper и Kafka соответственно.

Если хотите чтобы сервисы поднимались автоматически при каждом запуске системы то выполните:

sudo systemctl enable zookeeper sudo systemctl enable kafka

1 2	sudo systemctl enable zookeeper sudo systemctl enable kafka

Резюме

В этой статье мы научились установили, настроили и запустили Kafka.