Apache Kafka: администрирование кластера

Вендор:

Open-source, Авторский курс, BDS

Направление:

Big Data

Продукт:

Apache Kafka

Код курса:

KAFKA

Длительность:

3 дня | 24 ак. часа

Цена:

3780 BYN ^{_{с НДС 20%}}

3х дневный практический курс администрирования Apache Kafka создан для администраторов, дата-инженеров и специалистов, которые стремятся научиться строить высоконагруженные, отказоустойчивые конвейеры потоковых данных (data pipelines), обрабатывать миллионы сообщений в секунду и управлять сложными распределенными системами.

Современный мир Big Data требует мгновенной реакции на события. Забудьте об ограничениях пакетной обработки и медленных ETL-процессах. После обучения на курсе Apache Kafka вы сможете создавать системы, которые анализируют данные в режиме реального времени, обеспечивая бизнес актуальной информацией для принятия критически важных решений. Наш программа проведет вас от фундаментальных концепций архитектуры Kafka, Zookeeper или KRaft режима до продвинутых техник администрирования, настройки безопасности с Kerberos и оптимизации производительности кластера. Мы предлагаем не сухую теорию, а максимум практики на реальных кластерах Kafka в облаке.

Целевая аудитория

Админы и DevOps
Дата инженеры
Дата архитекторы

Предварительная подготовка

Уверенное знание команд Linux (опыт работы с командной строкой, файловой системой, POSIX, systemd, текстовыми редакторами). Базовые знания настройки компонент безопасности (Kerberos, PKI, LDAP). Попробуйте пройти наше бесплатное тестирование по Linux для определения степени готовности к курсу!

Чему вы научитесь после курса Apache Kafka

По завершении курса вы сможете уверенно решать реальные рабочие задачи. Вот ключевые навыки, которыми вы овладеете:

Разворачивать и настраивать высокодоступные кластеры Apache Kafka с нуля, как с использованием Zookeeper, так и в современном KRaft-режиме.
Администрировать кластер на профессиональном уровне: управлять брокерами, топиками, партициями и потребителями через CLI и UI-инструменты.
Обеспечивать безопасность кластера с помощью SSL/TLS для шифрования, SASL, Kerberos, OAUTH для аутентификации, а также настраивать детальные права доступа через ACL.
Оптимизировать производительность и масштабировать кластер под высокие нагрузки, правильно подбирать конфигурации и выполнять балансировку партиций.
Настраивать мониторинг с помощью популярных инструментов, таких как Prometheus и Grafana, для проактивного отслеживания состояния кластера и предотвращения сбоев.
Проектировать отказоустойчивые решения, настраивать репликацию данных и репликацию между дата-центрами с помощью MirrorMaker 2.
Планировать и проводить миграцию со старых версий Kafka на новые, включая переход на архитектуру без Zookeeper.
Интегрировать Kafka с другими системами экосистемы Big Data, такими как Apache NiFi, Hadoop, ClickHouse, Greenplum для построения комплексных конвейеров данных.

Как проходит обучение

Формат и расписание

Интенсивное 3х дневное обучение онлайн, с 10:00 до 18:00 (МСК), с двумя перерывами и 1 час обед. Живые лекции и практические занятия на платформе для видеоконференций с записью трансляций. Доступ к лабораторным стендам 24 часа (круглосуточно) в течении 2 недель с даты начала обучения.

Индивидуальный кластер Kafka

50% курса — практика. Доступ к персональному 3х узловому кластеру Kafka. Сквозной практикум от установки кластера до настройки Kerberos и репликации Mirror Maker на другой датацентр. Бонусные лабы!!!

Вспомнить все

Все видеозаписи лекций, презентации и дополнительные бонусные материалы доступны во время и после курса в системе дистанционного обучения или чате группы.

Онлайн поддержка

Чат группы обучения остается активным и после завершения курса для обеспечения поддержки. Вы можете задать вопрос даже через год после обучения и найти поддержку от ваших одногруппников, преподавателей и менеджеров.

Программа курса

Модуль 1. Введение в Apache Kafka

Что такое Apache Kafka
Сценарии использования Kafka
Компоненты Kafka и Kafka экосистемы
Архитектура Kafka 4
Эволюция Kafka: от Zookeeper к KRaft
Новая архитектура без Zookeeper (KIP-500, KIP-866)
Что нового в Apache Kafka 4.0: ключевые функции, изменения и совместимость
Кластер Zookeeper (опционально)
Лабораторная работа 1: Установка single-node кластера Apache Kafka.

Модуль 2. Основные концепции Kafka и компоненты

Как работает Apache Kafka: Топики (Topics) и партиций (Partitions)
Репликация данных.Брокеры (Brokers): Развертывание. Конфигурация Multibroker
Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
Потребители данных (Consumers): Очереди Consumers.
Архитектура с KRaft Controller’ами
Новый механизм управления метаданными
Логическая структура брокеров и quorum.

Модуль 3. Установка кластера Apache Kafka

Установка распределенного кластера Apache Kafka 4.0 в KRaft-режиме
Минимальные требования
Установка Kafka без Zookeeper
Настройка KRaft controllers и quorum voters
Примеры конфигурации kraft-controller mode
Sizing и планирование развертывания кластера
Установка Kafka c Zookeeper (обзорно)
Процедуры миграции с Apache Kafka 3.х на 4.0

Лабораторная работа 2: Установка распределенного 3х узлового кластера Apache Kafka 4.0 в Kraft режиме. (дополнительно с Zookeeper)

Модуль 4. Базовые операции в Apache Kafka

Операции с Топиками (Topic).
Публикация данных с консольного Producer
Получение данных с консольного Consumer
Пользовательские интерфейсы для работы с Kafka: kafka-manager, Conductor, RedPanda GUI, etc

Лабораторная работа 3: Графические консоли GUI для управления и работы с Apache Kafka (follow режим)

Модуль 5. Оптимизация кластера Apache Kafka

Оптимизация производительности компонент кластера
Масштабирование кластера
Балансировка разделов(partition) и использование Partition Reassignment Tools
Best Practices Kafka — Мониторинг кластера Kafka
Настройка мониторинга кластера Kafka с использованием Prometheus + Grafana
Настройка алертинга кластера Kafka

Лабораторная работа 4: Балансировка партиций и тестирование отказоусточивости кластера Apache Kafka.

Лабораторная работа 5: Мониторинг производительности кластера Apache Kafka с использование Prometheus, Grafana, JMX exporter, KMinion.

Лабораторная работа 6: Настройка алертинга для кластера Apache Kafka с использование Prometheus, Grafana и Telegram (email).

Модуль 6. Интеграция с Apache Kafka (обзорно)

Использование Apache NiFi
Интеграция Apache Hadoop с Kafka
Сценарии интеграции с Apache Kafka (ClickHouse, Greenplum)

** Дополнительные модули по интеграции для самостоятельного изучения (видеоматериалы)

Модуль 7. Расширенная конфигурация кластера Kafka

Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.
Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки
логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
REST Proxy. Schema Registry (обзорно)
Репликация кластера с использованием Mirror Maker 2
Новые подходы к rolling-обновлениям в кластере без Zookeeper

Лабораторная работа 7: Настройка MirrorMaker 2.0 для катастрофоустойчивости (DR) для кластера Apache Kafka. (follow режим)

Модуль 8. Безопасность в Apache Kafka 3.0/4.0

Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и клиентов
Аутентификация SSL/SASL
Аутентификация OAuth
Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
Авторизация в Kafka
Управление списками управления доступом (ACL)
Настройка ACL в KRaft-режиме и KIP-866

Лабораторная работа 8: Настройка шифрования TLS для кластера Apache Kafka.

Лабораторная работа 9: Настройка двусторонней аутентификации с сертификатами TLS для кластера Apache Kafka.

Лабораторная работа 10: Настройка аутентификации Kerberos (MIT) для кластера Apache Kafka.

Лабораторная работа 11: Настройка авторизации и управления доступом на базе SASL/SSL для кластера Apache Kafka. (** дополнительные материалы)

Лабораторная работа 12: Настройка авторизации c использованием SASL/OAUTHBEARER на базе Keycloak для кластера Apache Kafka. (** дополнительные материалы)

Бонус: 12 часов материалов для глубокого погружения!

Для подготовленных администраторов кластера Apache Kafka и дата инженеров которые выполняют задачи обслуживания и администрирования кластеров Kafka мы записали дополнительные модули которые могут быть полезны для освоение сверх плановых модулей.
После просмотра видеоуроков, вы сможете задать вопросы преподавателю и выполнить дополнительные ( ** дополнительные) лабораторные работы для закрепления материала на практике.

5 часов дополнительных лекций по продвинутым темам администрирования, обслуживания и интеграции.
7 часов дополнительных лабораторных работ для оттачивания навыков настройки и сопровождения распределенных кластеров по управлением Apache Kafka.

Онлайн формат обучения

Онлайн обучение - это курс, который проходит в режиме реального времени под руководством преподавателя по такому же графику как и очное обучение. Наш учебный центр может организовывать курсы только в онлайн формате или в смешанном, когда часть слушателей находится в классе очно, а часть подключается онлайн.

Занятия на большинстве наших курсов занимают 8 академических часов в день (с 10:00 до 17:00), также есть отдельные программы вечернего онлайн обучения. Чтобы наши студенты не уставали в процессе учебы, мы делаем небольшие перерывы на чай/кофе, при полнодневном обучении также есть время на полноценный обеденный перерыв.

В процессе обучения вы сможете задавать вопросы и общаться с преподавателем и остальными участниками как с помощью чата, так и голосом при наличии микрофона.

В зависимости от выбранной программы обучения, каждому участнику будет предоставлен доступ к заренее настроенной виртуальной машине с лабораторными заданиями. Для удобства мы рекомендуем слушателям подключить 2 монитора, на одном из которых будет учебный материал/трансляция преподавателя, а на другом открыт стенд для выполнения практических заданий. На части из курсов (не всех) предусмотрена запись тренинга, которую слушатели могут просмотреть, если по какой-то причине пропустили часть занятия.