★ Новости

Мини-книга по Apache Kafka

Статьи Интеграция
Валерий Зубаиров и Денис Бесков подготовили рождественский подарок для системных аналитиков — мини-книгу по Apache Kafka:

Основы Apache Kafka для системных аналитиков и проектировщиков интеграций

Глава 1. Введение в концепции потоковых данных и Event-Driven Architecture
— Традиционные подходы к интеграции
— Эволюция к реальному времени
— Роль Kafka в архитектуре предприятия

Глава 2. Основные элементы Kafka с точки зрения системного аналитика
— Топики и разделы
— Сообщения (messages)
— Продьюсеры (producers) и консьюмеры (consumers)
— Кластер Kafka и брокеры

Глава 3. Kafka как центральный элемент интеграционной шины
— «Шина событий» vs традиционная ESB
— Типовые интеграционные паттерны
— Реактивные системы и CQRS
— Сопряжение с другими системами

Глава 4. Проектирование топиков и стратегий партицирования
— Логическая модель топиков
— Определение ключей сообщений
— Число разделов и фактор репликации
— Рекомендации по выделению топиков

Глава 5. Гарантии доставки и консистентность данных
— Типы гарантированных доставок
— Управление смещениями (offsets)
— Транзакции в Kafka
— Последовательность событий

Глава 6. Роль Kafka Connect и поточная обработка (Kafka Streams)
— Kafka Connect
— Kafka Streams
— Схема High-Level: Kafka -> Processing -> Хранилища

Глава 7. Инфраструктурные аспекты: масштабирование, отказоустойчивость, безопасность
— Масштабирование Kafka
— Отказоустойчивость
— Безопасность
— Мониторинг и логгирование

Глава 8. Типовые интеграционные сценарии и паттерны использования
— Микросервисы и взаимодействие через события
— Централизованная аналитика событий (Event Streaming)
— Интеграция с legacy-системами
— Социальные сети, push-уведомления, геймификация
— Оркестрация бизнес-процессов

Глава 9. Практические рекомендации по проектированию и внедрению
— Разработка требований к шине Kafka
— Управление схемами и форматами данных
— Управление версиями и совместимостью
— Документирование архитектуры
— Best Practices

Книга пока в бета-версии, как дополним схемами — выложим с возможностью скачивания.
Читать книгу

Освоить Apache Kafka на практике вы можете на воркшопе Валерия Зубаирова и Анны Вичуговой «Проектирование и реализация очередей в брокерах RabbitMQ и Apache Kafka»