Школа анализа
и проектирования
информационных систем
new
🔥  Регулярные онлайн-конференции школы SE по проектированию информационных систем для бизнеса. Подробнее

Онлайн-воркшоп
Проектирование и реализация очередей в брокерах RabbitMQ и Apache Kafka

  • Продолжительность:
    8 часов
  • 2 дня (сб, вс)
    1 раз в 2 месяца
  • 10:00-14:00 мск
  • 18 000 руб. — для частных лиц
    22 000 руб. — для компаний

Автор воркшопа

Анна Вичугова
Главный исследователь и разработчик курсов. Эксперт по бизнес-анализу и проектированию ИС. Аналитик и проектировщик ИС.
Ведущие воркшопа:

Подробнее о воркшопе

Цель обучения
Познакомиться c теорией по RabbitMQ и Apache Kafka

Научиться проектировать потоковый конвейер обработки данных (data pipeline)
На воркшопе вы
Развернёте в бесплатных облачных средах свои инстансы и решите на них задачу публикации и потребления сообщений разными сервисами, написанными собственноручно на Python в Google Colab.
Уровень Middle
Воркшоп для опытных системных аналитиков, которые хотят познакомиться с брокерами сообщений RabbitMQ и Apache Kafka и не испугаются кода на Python

*да, будет хардкор, будем писать код (по заготовкам ведущего)
Формат: воркшоп
■ Онлайн
■ Группа до 16 человек
■ Чередование теории, практики и обратной связи

Воркшоп — формат быстрого освоения мини-компетенций.
Используем
■ Zoom
■ Google Colab
Что получите
■ Опыт проектирования потокового конвейера обработки данных
■ Полезные материалы
■ Сертификат о прохождении воркшопа
.У вас не останется вопросов.
Наш преподаватель во время обучения подробно ответит на все ваши вопросы по теме

Программа практического воркшопа

Модуль 1
Модуль 1
Архитектура и основы работы Apache Kafka
  • Роль брокеров сообщений в современной ИТ-архитектуре. Сравнение sync vs async интеграций.
  • Архитектура Apache Kafka: топики, разделы (partitions), продюсеры и консьюмеры.
  • Группы потребителей, балансировка нагрузки и обработка отказов.
  • Практика: анализ схемы потокового конвейера (data pipeline) на Kafka.
  • Разбор типовых паттернов интеграции с использованием Kafka.
Модуль 2
Модуль 2
Развёртывание и проектирование решения на Apache Kafka
  • Практика: создание топиков, настройка разделов, управление оффсетами.
  • Разработка простых продюсеров и консьюмеров на Python (Google Colab).
  • Практика: проектирование и реализация простейшего сценария обмена сообщениями между сервисами.
  • Особенности масштабирования, идемпотентность и обработка ошибок.
Модуль 3
Модуль 3
Архитектура и практика RabbitMQ
  • Краткий обзор архитектуры RabbitMQ для системных аналитиков.
  • Виды обменников (exchange): direct, topic, fanout, headers — когда и зачем применять.
  • Практика: создание и настройка очередей, биндингов, маршрутизация сообщений.
  • Развёртывание своего инстанса RabbitMQ в облаке CloudAMQP.
  • Сравнение подходов RabbitMQ и Kafka с точки зрения проектирования интеграций.
Модуль 4
Модуль 4
Практикум: интеграционные сценарии и best practices
  • Разработка собственных продюсеров и консьюмеров для RabbitMQ на Python (Google Colab).
  • Практические задачи: сценарии обмена сообщениями между сервисами, моделирование отказов.
  • Типовые ошибки и антипаттерны при проектировании очередей.
  • Итоги: рекомендации по выбору брокера под задачу, чек-лист аналитика для проектирования интеграций.
  • Дополнительные материалы для самостоятельного освоения, ответы на вопросы участников.

Автор воркшопа — практикующий специалист

Ведущие воркшопа — практикующие специалисты

Посмотрите открытые вебинары автора и ведущей

Открытый вебинар (ссылка с VK) - Анна Вичугова
Технологии интеграции: Брокеры сообщений (Kafka, Rabbit MQ)
Открытый вебинар (ссылка с VK) - Зоя Степчева
Разработка требований к Rabbit MQ

Посмотрите проекты учеников

⏳ Скоро проекты будут опубликованы

Отзывы

🔹 «Точно буду применять все полученные знания»

Материал воркшопа на 100% полезен в контексте рабочих задач. Точно буду применять все полученные знания и умения и дальше разбираться с темой.

🔹 «Теперь я понимаю различия в реализации брокеров»
Теперь я понимаю различия в реализации брокеров. Очень полезны шаблоны работ, которые можно переиспользовать при проектировании и выдачи задач на разработку.
🔹 «Интересные задания»
Много практики, так лучше усваивается информация. Интересные задания. Занятия проходят динамично, нет скучной теории.
🔹 «Понравился подход к обучению»
Мне понравился сам подход к обучению — создание своих инстансов брокера позволяет лучше понять, как они устроены.

Подробные отзывы

🔹 «Моё лучшее обучение»
Моё лучшее обучение или как прошли два дня воркшопов по брокерам. В двух словах: Это шедевр!

Ожидания vs Реальность:
Шла на обучение чтобы узнать больше о брокерах, но мы изучили:
1. Что такое асинхронное взаимодействие.
2. Плюсы и минусы асинхронного взаимодействия.
3. Способы реализации асинхронного взаимодействия с визуализацией через sequence диаграммы: long pooling, callback, websockets, gRPC, очереди, брокеры сообщений.
4. Что такое Apache Kafka.
5. Плюсы и минусы Apache Kafka.
6. Глобальное устройство Kafka (сообщение и его структура, producer, consumer, topic, partition).
7. Способы масштабирования Kafka.
8. Паттерны реализации интеграции через Kafka и лучшие практики.
9. Ребалансировка консьюмеров.
10. Consumer группы.
И это первые 20 минут из 8 часов!

Уже понятно, что обучение превзошло ожидания. Теперь брокеры — мой любимый блок на собеседованиях. Рассказываю не только о плюсах, минусах и в каких случаях что выбирать, но и:
— зачем нужна идемпотентность;
— как консьюмеры могут коммитить оффсет и как выбрать подходящий способ;
— где оффсет хранится;
— что будет если консьюмер упадёт;
— сколько консьюмеров и партиций выбрать;
— и ещё много чего пока не остановят.

Честно, мне кажется, что я знаю больше чем 90% интервьюеров. Только никому не рассказывайте!

Особенно понравилcя блок с практикой:

На занятии спроектировала интеграцию через кафку, увидела как выглядит кафка, кролик, сама создала топик, консьюмера и даже получила сообщение! Ещё нашла классный инструмент вместо miro.


Юлия Новикова

Автор Telegram-канала «Шерлок в IT»

🔹 «Хороший баланс теории и практики»
Недавно я прошел Онлайн-воркшоп «Проектирование и реализация очередей в брокерах RabbitMQ и Apache Kafka»

Что хочу сказать о воркшопе:
  1. Блок про Apache Kafka подан структурировано, с актуальными примерами и хорошим балансом теории и практики.
  2. Блок про RabbitMQ так же подан структурировано, однако очень сложный для восприятия (придется пересмотреть) и менее наглядный в части схем, а некоторые моменты требуют более глубокого осмысления.

В целом курс оставил приятное впечатление и пополнил мою копилку знаний по актуальным технологиям.

Также выражаю огромную благодарность ведущему воркшопа Валерию Зубаирову, который в моменте отвечал на все вопросы и привел множество примеров из личного опыта.

Антон Зимин

Автор Telegram-канала «Системный анализ | Чулан системного аналитика | Антон Зимин»

Количество мест ограничено! 16 человек на группу. Успейте записаться.

Оплата и регистрация

Если места на обучение уже закончились или вам не подходят даты воркшопа


Запишитесь в лист ожидания. Как только будет открыт новый поток, мы сообщим о датах.

Полезная мини-книга

Воркшоп для компаний в закрытых группах

Организуем для вашей компании закрытое обучение:
Стоимость рассчитывается индивидуально
Дата по запросу
Удобный график и расписание занятий
Персонифицированный подход к программе обучения и учебным кейсам
В обучение бесплатно входит экспертная оценка уровня компетенций системного аналитика
Группа от 7 чел
____
■ Закрывающие документы
■ Документооборот через Диадок

Бесплатная база знаний по интеграции

Мы первыми на рынке сделали курс по интеграции для аналитиков в 2020-м году. Вы можете ознакомиться с наработками наших специалистов в теме интеграций
Бесплатные статьи,  бесплатные видео-уроки,  рекомендации книг, каталог полезных ссылок, сообщество в Telegram
Ознакомиться →

Расписание всех онлайн-воркшопов