[Лаба] Основы работы с Apache Kafka

4000,00
р.
Формат: 4 часа, минимум кода — максимум конфигурации и архитектурных решений.


Зачем аналитикам эта лабораторная?

Kafka сегодня — стандарт де‑факто для событийных и потоковых интеграций: от заказов и платежей до телеметрии и логистики. На лабораторной вы разберётесь, как решения по ключам, числу партиций и политике хранения напрямую влияют на масштабируемость, порядок событий и SLA. Вы научитесь говорить с разработчиками «на одном языке» и принимать зрелые архитектурные решения без написания кода.



Что такое Kafka (вкратце)?

Apache Kafka — распределённая шина сообщений и потоковая платформа. Ключевые понятия: topic, partition, producer/consumer, consumer group, offset, retention. Порядок сообщений гарантируется только внутри партиции; распределение по партициям определяется ключом (key‑based routing).

Для кого

  • Системным аналитикам — чтобы уверенно описывать события/контракты, понимать ограничения порядка и «куда девается сообщение».
  • Архитекторам/тимлидам — для принятия решений по партиционированию, ретеншену, масштабированию и выбору потребительских паттернов.
  • PM/PO — чтобы реалистично оценивать риски и сроки интеграций в событийной архитектуре.

Практика за 4 часа (на кейсе Shop&Ship)

  • Поднимем стенд в один клик: Kafka (KRaft, без ZooKeeper) + Kafka UI + kcat (CLI) в Docker Compose.
  • Спроектируем два топика — orders_raw и orders_cdc — и зададим 3 партиции под горизонтальный масштаб.
  • Прогоним поток событий с ключом order_id и наглядно увидим, как ключ закрепляет порядок внутри партиции.
  • Масштабируем чтение: запустим двух потребителей в одной группе и посмотрим ребаланс (шардинг партиций).
  • Поиграем политиками хранения (retention.ms) и обсудим влияние на стоимость, лаг и повторное потребление.
  • Диагностика «на практике»: offsets, lag, describe‑конфиги, «куда делись сообщения?» и как это правильно интерпретировать.

Вы уйдёте с результатами

  • Понимаете, как выбирать ключи и число партиций под нужный RPS и требования к порядку.
  • Умеете читать и объяснять метрики потребления (lag/offset) и риски потерь при неверных настройках.
  • Имеете готовые артефакты: docker-compose.yml, скрипты создания топиков/проверок, схема «ключ → партиция → порядок».


Чем эта лабораторная отличается

  • Инженерный фокус без программирования: все эксперименты — конфигурацией и командной строкой.
  • Актуальная архитектура: KRaft‑кластер без ZooKeeper, современный UI и best‑practices.
  • Промышленный кейс: Shop&Ship (заказы/CDC/обогащение), а не абстрактные примеры.

Предпосылки и формат

  • Базовые знания Docker/Compose и HTTP/JSON.
  • Формат — онлайн. Среда преднастроена; поднимается одной командой в Docker Compose (локально или на удалённой ВМ).


Предпосылки и формат

Продолжайте маршрут: Kafka Connect (интеграции без кода) → Debezium (CDC) → ksqlDB/Flink SQL (потоковые витрины) → Prometheus+Grafana (наблюдаемость Kafka и lag).

Итог: за один интенсив участники получают технический кругозор по Kafka, учатся принимать архитектурные решения, а не «крутить ручки наугад», и уходят с рабочими шаблонами для своего проекта.

👤 Ведущий: Сергей Булатов
Также на эту тему у нас есть воркшоп Проектирование и реализация очередей в брокерах RabbitMQ и Apache Kafka