Углубленный шестидневный курс Apache Airflow поможет освоить самый популярный инструмент для оркестрации, который используют в ведущих IT-компаниях. Вы научитесь превращать хаос в данных в управляемые, автоматизированные data pipelines, став настоящим архитектором данных.
С Apache Airflow вы научитесь создавать и отслеживать сложные рабочие процессы как код. Этот практический тренинг проведет вас от создания первого DAG до продвинутых техник, включая настройку отказоустойчивых конвейеров и интеграцию с Big Data.
Обучение Apache Airflow разработано для IT-специалистов, которые хотят систематизировать и углубить свои знания в области оркестрации данных. Программа курса по Airflow построена от простого к сложному и на 70% состоит из практики, где вы сможете применить полученные знания на реальных задачах.
Приобретаемые знания и навыки
После прохождения курса вы сможете самостоятельно решать полный спектр задач, связанных с оркестрацией данных. От написания простых DAG до production развертывания:
- Проектировать и писать DAG-файлы: Вы освоите синтаксис и лучшие практики создания DAG, научитесь определять зависимости между задачами, использовать шаблоны Jinja и макросы для создания динамических пайплайнов.
- Использовать ключевые операторы и сенсоры: На практике поработаете с
BashOperator,PythonOperator,PostgresOperator,ExternalTaskSensorи другими, чтобы выполнять скрипты, работать с базами данных и реагировать на внешние события. - Управлять потоком выполнения: Глубоко разберетесь в
Trigger Rulesдля создания сложных правил запуска задач, освоитеBackfillиCatchupдля перезапуска исторических данных. - Обмениваться данными между задачами: Научитесь использовать
XComsиVariablesдля передачи информации и параметров между операторами в рамках одного DAG. - Оптимизировать и отлаживать пайплайны: Вы научитесь анализировать логи, находить «узкие» места, использовать
TaskGroupдля структурирования сложных DAG и применять продвинутые техники для повышения производительности. - Интегрировать Airflow с экосистемой Big Data: Научитесь подключать Airflow к PostgreSQL, Kafka, Spark и другим системам для построения комплексных конвейеров обработки данных.
Главная ценность для вас — это глубокое изучение технологии, которая является стандартом индустрии, и получение практических навыков, которые можно сразу же применить в работе.
