Kafka: Установка и настройка

В этой статье мы установим, настроим и запустим сервис Kafka. Установка будет выполнятся на системе Ubuntu 18.04 для Kafka 2.6.0.

Полный список статей по теме тут.

Заходите в наш телеграмм канал — Enterprise Stack Helper! Делитесь опытом или задавайте вопросы, если что-то непонятно.

Репозитории с примерам из статей по способам аутентификаци и авторизации https://github.com/BlockWit/kafka-security-examples.

 

Установка

  1. Заходим в свою домашнюю директорию или туда где, Вам удобно работать
  2. Качаем архив
  3. Распаковываем
  4. Перемещаем в /opt/kafka
  5. Создаем пользователя kafka
  6. Устанавливаем ему пароль
  7. Добавляем его в группу kafka
  8. Назначаем директории /opt/kafka пользователя kafka и группу kafka, чтобы этот пользователь смог запускать kafka

  9. Создаем директорию для логов Kafka

  10. Назначаем директории /tmp/kafka-logs пользователя kafka и группу kafka, чтобы этот пользователь смог запускать работать в этой директории

  11. Создам директорию /tmp/zookeeper для рабочих файлов ZooKeeper

  12. Назначаем директории /tmp/zookeeper пользователя kafka и группу kafka, чтобы этот пользователь смог работать с директорией (ZooKeeper также будем запускать от пользователя kafka)

  13. Создаем сервис ZooKeeper в /etc/systemd/system/zookeeper.servicе. Для этого открываем vim из под sudo (или удобный Вас редактор):


    и помещаем туда текст

  14. Создаем сервис Kafka в /etc/systemd/system/kafka.service. Для этого открываем vim из под sudo (или удобный Вас редактор):


    и помещаем туда текст

  15. Заставим демон перечитать сервисы (команда только заставляет подхватить изменения, но не перезапускает сервисы)

Мы подготовили все необходимое для настройки.

Настройка

Настройка ZooKeeper

Откройте конфигурационный файл ZooKeeper с помощью vim из под sudo (или удобным Вам редактором):

И поместите туда текст:

Настройка Kafka

Откройте конфигурационный файл Kafka с помощью vim из под sudo (или удобным Вам редактором):

И поместите туда текст:

Вместо localhost укажите имя Вашего сервера или IP в последних трех строчках. Если планируете подключаться к Kafka извне, а скорее всего так и будет, то не указывайте localhost или 127.0.0.1, а укажите внешний IP или доменное имя Вашей машины.

Запуск

Для запуска достаточно выполнить две команды

Они запускают сервис ZooKeeper и Kafka соответственно.

Если хотите чтобы сервисы поднимались автоматически при каждом запуске системы то выполните:

Резюме

В этой статье мы научились установили, настроили и запустили Kafka.

Полный список статей по теме тут.

Заходите в наш телеграмм канал — Enterprise Stack Helper! Делитесь опытом или задавайте вопросы, если что-то непонятно.

Репозитории с примерам из статей по способам аутентификаци и авторизации https://github.com/BlockWit/kafka-security-examples.

 

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *