Cookbook: java kafka consumer example — простой пример

Эта статья представляет собой описание самого простого клиента получения сообщений с сервера Kafka с самой простой конфигурацией.

Статья, нацелена на проверку работы Java Kafka Consumer Example. Минимум объяснений, архитектуры и настроек необходимых для работы из коробки.  Хотите более подробную информацию по Kafka — Вам сюда.

Для проверки работы клиента, Вам потребуется еще создать и producer. Как это сделать описано тут.

Пример проверен при следующих условиях:

  1. JDK не менее чем 1.8
  2. Kafka 2.6.0
  3. Дефолтные настройки Kafka и ZooKeeper

Полный список статей по теме тут.

Заходите в наш телеграмм канал — Enterprise Stack Helper! Делитесь опытом или задавайте вопросы, если что-то непонятно.

Репозитории с примерам из статей по способам аутентификаци и авторизации https://github.com/BlockWit/kafka-security-examples.

 

Пример java Kafka consumer

Для запуска необходим установленный на локальной машине Kafka 2.6.0 с дефолтными настройками. Пример проверялся на данных настройках. Как правило, если Вы конфигурацию не меняли, то такие настройки уже есть и Вам не нужно их перезаписывать.

Maven проект на Java

Сам проект есть на github — https://github.com/BlockWit/kafka-security-examples. Код самого примера  тут https://github.com/BlockWit/kafka-security-examples/blob/master/src/main/java/com/blockwit/kafka/security/examples/cookbook/ConsumerExample.java. Код независим от остальных примеров.

Как создать проект самостоятельно:

Создаем проект Maven

Добавляем в Maven зависимости:

Добавляем в проект код клиента:

Порядок запуска:

  1. Запускаем сначала Kafka если она не запущена,
  2. Запускаем producer из этой статьи, если у Вас в топике test.topic нет сообщений
  3. Запускаем наш JavaKafkaConsumerExample

В итоге должны получить что-то вроде этого

Строчка, означающая успешное выполнение:

Также consumer вывел нам сообщение которое он прочитал — «example message».

Что-то пошло нет так? Пишите в этот телеграмм канал — вместе разберемся.

Параметры Java Kafka consumer example

Основных параметра в Java Kafka Consumer три:

  1. String server = «localhost:9092»; — адрес сервера Kafka. Предполагается что настройки Kafka из коробки Вы не меняли, поэтому сервер на локальной машине.
  2. String topicName = «test.topic»; — название топика куда писал producer и откуда читает наш conusmer
  3. String groupName = «test.group»; — название группы из которой читает наш consumer

Резюме

Это краткая статья, нацелена на проверку работы Java Kafka Consumer Example. Т.е. на проверку возможности чтения сообщений из Kafka. Минимум объяснений, архитектуры и настроек необходимых для работы из коробки. Хотите более подробную информацию по Kafka — Вам сюда.

Полный список статей по теме тут.

Заходите в наш телеграмм канал — Enterprise Stack Helper! Делитесь опытом или задавайте вопросы, если что-то непонятно.

Репозитории с примерам из статей по способам аутентификаци и авторизации https://github.com/BlockWit/kafka-security-examples.

 

Добавить комментарий