Главная
→
Лабораторные

Лабораторные работы по системному анализу

Лабораторная — формат быстрого знакомства с технологией.
■ ~ 4 часа ■ ~80% практики.

Планируем запустить последовательность 50 лабораторных работ

Модуль 1.

Окружение и общий каркас

1) ★ Docker & Docker Compose — базовый каркас стенда (сети, тома, healthchecks). (дальше все лабы опираются на этот стенд)

Модуль 2.

API, контракты, шлюз, безопасности

2)★ REST + OpenAPI — контракты и валидация
3) gRPC + Protobuf — бинарные контракты и стримы.
4) GraphQL — единая схема и BFF‑паттерн.
5)★ Kong API Gateway — публикация сервисов, rate‑limit, ключи.
6)★ Keycloak (OIDC/OAuth2) — аутентификация/авторизация для API.
7) Pact (CDC) — Consumer‑Driven контракты для интеграций.

Модуль 3.

Наблюдаемость и секреты

8) ★ Prometheus + Grafana — метрики и алерты.
9) ★ OpenTelemetry + Jaeger — трассировка сквозных вызовов.
10) EFK‑стек — централизованные логи.
11) HashiCorp Vault — секреты и динамические креды.

Модуль 4.

Сообщения, события и стриминг

12) ★ Apache Kafka (core) — топики, ключи, гарантии.
13) ★ Kafka Connect — коннекторы в/из БД и хранилищ.
14) ★ Debezium (CDC) — поток изменений из OLTP.
15) ★ ksqlDB — потоковые преобразования без кода.
16) ★ Apache Flink SQL — окна/тайм‑водопады, агрегации.
17) Apache NiFi — визуальные потоки, DLQ, back‑pressure.
18) Apache Camel — EIP‑паттерны (обогащение/роутинг).
19) MQTT — телеметрия/IoT, мост в Kafka.
20) RabbitMQ — очереди/обменники, DLX.
21) NATS JetStream — лёгкий брокер, ack/redelivery.
22) Apache Pulsar — альтернативная шина, подписки.
23) AsyncAPI — событийные контракты для шины.

Модуль 5.

Хранилища, lakehouse и поиск

24) ★ PostgreSQL Advanced — партиции, JSONB, индексы.
25) ★ Parquet/ORC — колоночные форматы.
26) ★ MinIO (S3) — слои озера и политики.
27) ★ Apache Iceberg — таблицы в озере, time‑travel.
28) ★ Delta Lake — ACID в Data Lake, MERGE.
29) ★ Trino/Presto — федеративные запросы.
30) DuckDB — аналитика «в файле».
31) ★ ClickHouse — витрины/материализованные представления.
32) Elasticsearch/OpenSearch — полнотекст и агрегаты.

Модуль 6.

Оркестрация, трансформации, качество, метаданные

33) ★ Apache Airflow — DAG, backfill, SLA.
34) Prefect 2 — оркестрация «как код».
35) Dagster — software‑defined assets.
36) ★ dbt Core — моделирование (staging/marts), тесты, docs.
37) ★ Great Expectations — правила качества данных.
38) ★ OpenLineage + Marquez — lineage сквозных потоков.
39) ★ DataHub — каталог, глоссарий, владельцы.

Модуль 7.

LLM‑стек

40) Интеграция LLM через API — стабильные вызовы, лимиты, логирование.
41) RAG на Postgres + pgvector — поиск по базе знаний.
42) Векторные БД (Milvus/Weaviate) — индексы HNSW/IVF и фильтры.
43) LangChain/LlamaIndex — цепочки/агенты/кеш.
44) Guardrails для LLM — политика ответов, валидация схем.
45) Ollama + Llama — локальный инференс, сравнение.

Модуль 8.

Процессы и долгоживущие операции

46) Camunda 8 (Zeebe) — BPMN, SLA‑таймеры, компенсации.
47) Temporal.io — саги, идемпотентность, таймауты.
48) EventCatalog — документация событийной архитектуры.

Модуль 9.

Платформа и GitOps

49) ★ Kubernetes (kind/minikube) — Deployments/Services/Ingress.
50) ★ Argo CD (GitOps) — декларативные релизы и синхронизация.

Сначала каркас (Docker/Compose) → как выставлять и защищать API (OpenAPI/Kong/Keycloak) → как наблюдать и хранить секреты (Prom/OTel/EFK/Vault).
Затем событийность и стриминг (Kafka‑ветка как «универсальная ось»), после чего озеро данных и запросы (Iceberg/Delta/Trino/ClickHouse).
На этой базе — оркестрация, качество, метаданные, где уже видно «сквозную» картину.
LLM‑модуль позже, чтобы опереться на имеющиеся данные/метаданные.
В финале — процессы (BPMN/саги) и платформа (k8s + GitOps), чтобы увязать всё в цикл поставки.