Эксплуатация Apache NIFI

Вендор:

Open-source, Авторский курс, BDS

Направление:

Big Data

Продукт:

Apache NIFI

Код курса:

NIFI3

Длительность:

3 дня | 24 ак. часа

Цена:

3780 BYN ^{_{с НДС 20%}}

3-хдневный практический курс по эксплуатации кластера Apache NiFi для дата-инженеров, проектирующих конвейеры потоковой обработки данных, и администраторов кластера Apache NiFi.

Цель курса: развернуть и настроить свой кластер Apache NiFi, спроектировать и запустить отказоустойчивый потоковой конвейер обработки данных из типовых и кастомных компонентов (процессоры, службы контроллера и пр.), включая интеграцию со сторонними системами (Kafka, веб-сервисы).

Онлайн-курс проходит в формате интерактивного семинара - в дистанционном режиме с вами занимается преподаватель — рассказывает теорию, дает практические задания и проверяет результаты выполнения. В качестве примеров рассматриваются кейсы из реального бизнеса, а также лучшие практики проектирования потоковых конвейеров и настройки отказоустойчивых высокопроизводительных кластеров.

Соотношение теории к практике: 50/50.

Аудитория

Инженеры данных, cистемные администраторы, системные архитекторы, разработчики Hadoop
Желающие получить практические навыки по установке, настройке и управлению потоками данными (Data pipeline) с использованием кластера Apache NiFi

Предварительная подготовка

Знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)
Начальный опыт работы с Hadoop или NiFi

Программа курса

1. Введение в Apache NiFi

Архитектура Hadoop Data Flow
Архитектура решения и ключевые концепции Apache NiFi: Принципы потоковой обработки данных
Data Lineage и Data Provenance (Data Provenance Events)
Функционал NiFi по управлению потоковой обработкой данных: гарантированная доставка, управление каналом (буферизация, pressure), QoS, версионность

2. Создание DataFlow

Создание dataflow: работа с атрибутами FlowFile, маршрутизация, source и sink
Репозитории FlowFile Repository, Content Repository, Provenance Repository. Анатомия FlowFile, процессоры и коннекторы
Мониторинг dataflow
Параметризация dataflow: переменные и параметры

3. Программная обработка FlowFile

Использование скриптов в NiFi: работа с атрибутами и данными FlowFile, программная маршрутизация FlowFile
Сбор данных в месте их производства с помощью Apache minifi

4. Работа с Records и Local State

Controlling service и работа с Records и State: формат FlowFile и его
преобразование, State Manager и его использование
Reporting tasks и обработка результатов
Происхождение данных: анализ provenance и lineage
Apache NiFi Registry версионность и поддержка production deployment

5. Интеграция и масштабирование

Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
Доступные расширения и готовые «из коробки» процессоры и коннекторы
Возможности интеграции кластера NiFi (consumer/provider) с Kafka
Интеграция Apache Kafka, NiFi
Типовые сценарии/схемы потоковой обработки данных
Процессорные группы (Remote Processor Group)

6. Задачи администрирование NiFi

Установка и настройка кластера Apache NiFi
Управление кластером NiFi
Оптимизация DataFlow
Инструменты мониторинга и уведомлений NiFi
Безопасность для Apache NiFi (SSL, Аутентификация LDAP)

Онлайн формат обучения

Онлайн обучение - это курс, который проходит в режиме реального времени под руководством преподавателя по такому же графику как и очное обучение. Наш учебный центр может организовывать курсы только в онлайн формате или в смешанном, когда часть слушателей находится в классе очно, а часть подключается онлайн.

Занятия на большинстве наших курсов занимают 8 академических часов в день (с 10:00 до 17:00), также есть отдельные программы вечернего онлайн обучения. Чтобы наши студенты не уставали в процессе учебы, мы делаем небольшие перерывы на чай/кофе, при полнодневном обучении также есть время на полноценный обеденный перерыв.

В процессе обучения вы сможете задавать вопросы и общаться с преподавателем и остальными участниками как с помощью чата, так и голосом при наличии микрофона.

В зависимости от выбранной программы обучения, каждому участнику будет предоставлен доступ к заренее настроенной виртуальной машине с лабораторными заданиями. Для удобства мы рекомендуем слушателям подключить 2 монитора, на одном из которых будет учебный материал/трансляция преподавателя, а на другом открыт стенд для выполнения практических заданий. На части из курсов (не всех) предусмотрена запись тренинга, которую слушатели могут просмотреть, если по какой-то причине пропустили часть занятия.