Корпоративный онлайн-воркшоп
Обмен сообщениями. Абстракции, паттерны, реализация в Apache Kafka и RabbitMQ

Продолжительность:
12 часов
По расписанию,
согласованному
с Заказчиком
от 7 до 16
участников
Стоимость обучения по запросу

Автор воркшопа

Валерий Зубаиров

В роли системного аналитика успешно распилил монолит кредитного скоринга, реализовал модуль каскадных моделей для него

Ведущие воркшопа:

Подробнее о воркшопе

Цель обучения

Познакомиться c теорией по RabbitMQ и Apache Kafka

Научиться проектировать потоковый конвейер обработки данных (data pipeline)

На воркшопе ваши сотрудники:

■ Поймут, какие абстракции и паттерны скрываются в современных брокерах сообщений
■ Самостоятельно развернут кластер с Kafka и RabbitMQ, создадите топики и опишите продьюсеры и консьюмеры
■ Спроектируют взаимодействие с помощью Kafka и RabbitMQ
■ Узнают подводные камни интеграций

Уровень Middle

Воркшоп для опытных системных аналитиков, которые хотят познакомиться с брокерами сообщений RabbitMQ и Apache Kafka и не испугаются кода на Python

*да, будет хардкор, будем писать код (по заготовкам ведущего)

Формат: воркшоп

■ Онлайн
■ Группа до 16 человек
■ Чередование теории, практики и обратной связи

Воркшоп — формат быстрого освоения мини-компетенций.

Используем

Kafka, RabbitMQ, Grafana, Prometheus, Docker, Python, Jupyter Notebook, LLM, Whiteboard, AsyncAPI

Чему научатся:

■ Описывать интеграции с помощью asyncAPI
■ Обосновывать применение брокера сообщений
■ Определять необходимые параметры интеграции
■ Абстрагироваться от конкретных технологий
■ На начальном уровне уметь поднять кластеры Kafka, RabbitMQ, написать простые продьюсеры и консьюмеры

Программа практического воркшопа

Модуль 1

Прямая интеграция и интеграция с посредником

Вспомнить классификацию интеграций
Типы интеграций. Прямая интеграция (1-1, 1-M)
Типы интеграций. Интеграция с посредником
Мини-тест по типам интеграции. Применимость, определение
Сравнение типов интеграций. Преимущества и недостатки

Модуль 2

Messaging

Обмен сообщениями. Принципы
Паттерны, применяемые при обмене сообщениями
Паттерн, область применимости, реализация
Мини-тест по паттернам
Улучшение выбранного паттерна (генерация идей, реализация)

Модуль 3

Брокеры сообщений

Область применения
Что дают (сводная по различным технологиями)
Находим паттерны

Практика:

Описание бизнес-процесса, проектирование интеграции (применимость брокеров и формализация контрактов)

Модуль 4

Kafka

Основы Kafka

История появления
Продьюсер, топик, консьюмер
Написание своего продьюсера и консьюмера по заданному контракту
Партиции (+ визуализация)
Маршрутизация по партициям
Группа консьюмеров, распределение партиций

Кластер Kafka

Брокер, Зукипер, Кластер. Распределение партиций
Репликация
Расчет необходимых параметров

Компоненты
Продьюсер, Консьюмер, Топик, Определение необходимых параметров

Практика: Написание продьюсеров и консьюмеров, указание параметров

Модуль 5

Мониторинг

За чем следить
Как реагировать
Grafana + Prometheus

Модуль 6

Rabbit

Основы Rabbit

История появления
Продьюсер, консьюмер, очередь
Написание простейшего консьюмера

Компоненты + Погружение

Direct, Topic, Headers, Fanout
Параметры сообщений, очередей, обменников, привязок, Отказоустойчивость, Масштабируемость

Практика: Проектирование очередей, написание продьюсеров и консьюмеров

Модуль 7

Документирование

AsyncAPI
Описание контрактов в AsyncAPI
C4, Sequence-диаграмма

Если хотите попасть на этот воркшоп в открытый поток

Запишитесь в лист ожидания. Как только будет открыт новый поток, мы сообщим о датах.

Нажимая на кнопку, вы даёте согласие на обработку ваших персональных данных в соответствии с Политикой конфиденциальности

Автор воркшопа — практикующий специалист

■ Больше 5 лет в разработке и проектировании информационных систем
■ Разрабатывал и оптимзировал интерфейсы зарплатного проекта, внедрял и поддерживал кредитный скоринг малого, среднего и крупного бизнеса, платформу поддержки продаж для среднего и крупного бизнеса, ML-платформу, спроектировал и защитил концепт платформы для защиты данных, сейчас развиваю экосистемную лояльность
■ Работал в Альфа-Банке, Positive Technologies, сейчас работаю в Т-Банке системным архитектором

Образование и сертификации:
■ Магистр “Информатика и системы управления”, МГТУ им. Н. Э. Баумана
Дополнительно:
■ Гость круглых столов и подкастов
■ Ментор Solvery

Валерий Зубаиров

Автор и Ведущий воркшопов
Эксперт по проектированию интеграций и распределённых систем

Ведущие воркшопа — практикующие специалисты

■ Больше 5 лет в разработке и проектировании информационных систем
■ Разрабатывал и оптимзировал интерфейсы зарплатного проекта, внедрял и поддерживал кредитный скоринг малого, среднего и крупного бизнеса, платформу поддержки продаж для среднего и крупного бизнеса, ML-платформу, спроектировал и защитил концепт платформы для защиты данных, сейчас развиваю экосистемную лояльность
■ Работал в Альфа-Банке, Positive Technologies, сейчас работаю в Т-Банке системным архитектором

Образование и сертификации:
■ Магистр “Информатика и системы управления”, МГТУ им. Н. Э. Баумана
Дополнительно:
■ Гость круглых столов и подкастов
■ Ментор Solvery

Валерий Зубаиров

Ведущий инструктор
Эксперт по проектированию интеграций и распределённых систем

■ 8лет в роли инженера-исследователя внедрял автоматизированные системы управления для кораблей ВМФ, одновременно погружаясь в несколько совершенно новых для себя предметных областей, разработал и внедрил сложный алгоритм, основанный на методах математической статистики и теории вероятностей.
■ Около года в роли системного аналитика проектировал системы машинного зрения для металлургов совместно с командой data-science инженеров.
■ Последние 1,5 года работаю системным и бизнес-аналитиком на проекте, связанным с инвестициями, занимаюсь автоматизацией процессов управления капиталом состоятельных клиентов.
■ Работает в направлениях: системного и бизнес-анализа
Технологические направления:
■ Описание бизнес-процессов с детализацией схем подпроцессов (исполняемые диаграммы BPMN 2.0/диаграммы деятельности UML) Анализ и проектирование архитектуры.
■ Проектирование интеграций (REST/gRPC/Kafka/Rabbit). Тестирование интеграций (Postman, Insomnia)
■ Построение sequence-диаграмм (plantUML).
■ Проектирование БД - ER-диаграммы (PostgreSQL) Анализ датасетов. Развед. анализ данных (EDA).
■ Описание функциональных решений. Разбор инцидентов. Проектирование макетов UI (Figma). Декомпозиция задач. Составление RoadMap.
■ Планирование спринтов с командой. Оценка трудоемкости задач. Приоритезация задач.
■ Постановка задач разработчикам, контроль за полнотой реализации необходимого функционала]
Бизнес-домены / предметные области:
■ Промышленность, финтех
Образование и сертификации:
■ Кандидат технических наук по специальности «Радиолокация и радионавигация», опубликовал более 50 научных работ в том числе в международных изданиях, получил 2 патента на изобретения
■ Окончил Ульяновский государственный технический университет в 2019 году
■ Сертификат профессионального инженера России по результатам Всероссийского конкурса "Инженер года" в номинации Информатика, информационные сети, вычислительная техника
Дополнительно:
■ Обучает системному и бизнес-анализу. Прокачивает навыки архитектора и аналитика данных.
■ Подготовил и провел более десятка митапов и воркшопов по системному и бизнес-анализу, как ментор подготовил более 10 специалистов, которые успешно работает на позиции системного аналитика

Олег Саверкин

Ведущий инструктор
Системный аналитик

Посмотрите открытый вебинар ведущего

Открытый вебинар (ссылка с VK) - Олег Саверкин

Первые шаги в освоении Kafka и RabbitMQ: просто и без стресса

Отзывы

🔹 «Точно буду применять все полученные знания»

Материал воркшопа на 100% полезен в контексте рабочих задач. Точно буду применять все полученные знания и умения и дальше разбираться с темой.

🔹 «Теперь я понимаю различия в реализации брокеров»

Теперь я понимаю различия в реализации брокеров. Очень полезны шаблоны работ, которые можно переиспользовать при проектировании и выдачи задач на разработку.

🔹 «Интересные задания»

Много практики, так лучше усваивается информация. Интересные задания. Занятия проходят динамично, нет скучной теории.

🔹 «Понравился подход к обучению»

Мне понравился сам подход к обучению — создание своих инстансов брокера позволяет лучше понять, как они устроены.

Подробные отзывы

🔹 «Моё лучшее обучение»

Моё лучшее обучение или как прошли два дня воркшопов по брокерам. В двух словах: Это шедевр!

Ожидания vs Реальность:
Шла на обучение чтобы узнать больше о брокерах, но мы изучили:
1. Что такое асинхронное взаимодействие.
2. Плюсы и минусы асинхронного взаимодействия.
3. Способы реализации асинхронного взаимодействия с визуализацией через sequence диаграммы: long pooling, callback, websockets, gRPC, очереди, брокеры сообщений.
4. Что такое Apache Kafka.
5. Плюсы и минусы Apache Kafka.
6. Глобальное устройство Kafka (сообщение и его структура, producer, consumer, topic, partition).
7. Способы масштабирования Kafka.
8. Паттерны реализации интеграции через Kafka и лучшие практики.
9. Ребалансировка консьюмеров.
10. Consumer группы.
И это первые 20 минут из 8 часов!

Уже понятно, что обучение превзошло ожидания. Теперь брокеры — мой любимый блок на собеседованиях. Рассказываю не только о плюсах, минусах и в каких случаях что выбирать, но и:
— зачем нужна идемпотентность;
— как консьюмеры могут коммитить оффсет и как выбрать подходящий способ;
— где оффсет хранится;
— что будет если консьюмер упадёт;
— сколько консьюмеров и партиций выбрать;
— и ещё много чего пока не остановят.

Честно, мне кажется, что я знаю больше чем 90% интервьюеров. Только никому не рассказывайте!

Особенно понравилcя блок с практикой:

На занятии спроектировала интеграцию через кафку, увидела как выглядит кафка, кролик, сама создала топик, консьюмера и даже получила сообщение! Ещё нашла классный инструмент вместо miro.

Юлия Новикова

Автор Telegram-канала «Шерлок в IT»

Прочитать отзыв Telegram

🔹 «Хороший баланс теории и практики»

Недавно я прошел Онлайн-воркшоп «Обмен сообщениями. Абстракции, паттерны, реализация в Apache Kafka и RabbitMQ»

Что хочу сказать о воркшопе:

Блок про Apache Kafka подан структурировано, с актуальными примерами и хорошим балансом теории и практики.
Блок про RabbitMQ так же подан структурировано, однако очень сложный для восприятия (придется пересмотреть) и менее наглядный в части схем, а некоторые моменты требуют более глубокого осмысления.

В целом курс оставил приятное впечатление и пополнил мою копилку знаний по актуальным технологиям.

Также выражаю огромную благодарность ведущему воркшопа Валерию Зубаирову, который в моменте отвечал на все вопросы и привел множество примеров из личного опыта.

Антон Зимин

Автор Telegram-канала «Системный анализ | Чулан системного аналитика | Антон Зимин»

Прочитать отзыв Telegram

На что мы опираемся при разработке обучения

Российская инженерная школа

Авторы курсов являются практикующими специалистами, которые работают в ИТ-сфере с российским образованием и опытом работы.

Являются представителями и воспитанниками российской инженерной школы.

Наши эксперты

Упор на классиков системного анализа

Эксперты школы опираются на разработки классиков прикладного системного анализа, таких как Тарасенко и Оптнер.

Актуальность и запрос рынка

Курсы развивают прежде всего прикладные умения, актуальные на современном рынке.

Фундаментальное мышление

При прохождении нескольких прикладных курсов мы помогаем развить фундаментальные компетенции и виды мышлений.

Малые группы, живой контакт

Мы практикуем интенсивное интерактивное обучение в малых группах. Мы не делаем ставку на самостоятельное изучение записей и материалов, а специализируемся на живом контакте учебной группы с преподавателем и быстрой обратной связью.

Командное обучение

Командная работа создаёт высокое вовлечение учеников.

Стоимость

Стоимость обусловлена нашим живым и контактным подходом к обучению, которое проходит в малых группах. Уделяем много внимания каждому участнику, чтобы помочь ему стать ценным специалистом, понимающим тему. Рассчитать стоимость

■ Оставьте заявку на обучение

■ Все сотрудники получат электронное свидетельство об окончании обучения

■ Предоставляем все закрывающие документы

Дмитрий Коротыш

CBDO, Руководитель направления корпоративного обучения и Центра оценки и развития компетенций ACSE

Оставить заявку и рассчитать стоимость обучения

Полезная мини-книга

«Основы Apache Kafka для системных аналитиков и проектировщиков интеграций»

Серия «Нейроконспекты системного аналитика»
Редакторы: Валерий Зубаиров, Денис Бесков

Читать

Бесплатная база знаний по интеграции

Мы первыми на рынке сделали курс по интеграции для аналитиков в 2020-м году. Вы можете ознакомиться с наработками наших специалистов в теме интеграций

■ Хаб знаний по интеграции систем

Бесплатные статьи, бесплатные видео-уроки, рекомендации книг, каталог полезных ссылок, сообщество в Telegram

Ознакомиться →

Корпоративный онлайн-воркшопОбмен сообщениями. Абстракции, паттерны, реализация в Apache Kafka и RabbitMQ