Мы используем файлы cookie для улучшения вашего опыта использования сайта. Это позволяет нам анализировать, как посетители взаимодействуют с сайтом, и делать его лучше. Продолжая использовать сайт, вы соглашаетесь на использование файлов cookie. Подробную информацию вы найдете в политике обработки персональных данных.

Построение DWH на ClickHouse

Вендор:
Open-source, Авторский курс, BDS
Направление:
Big Data
Продукт:
Clickhouse
Код курса:
CLICH
Длительность:
5 дней | 24 ак. часа
Цена:

3780 BYN с НДС 20%

Освойте ClickHouse — самую быструю колоночную СУБД для онлайн-аналитики и обработки больших данных (big data). Интенсивный 5-дневный курс ClickHouse разработан для аналитиков данных и инженеров данных, которые хотят научиться строить высоконагруженные корпоративные хранилища (DWH), обрабатывать миллиарды строк за секунды и принимать решения на основе анализа данных в режиме реального времени.

Курс будет интересен как аналитикам данных и дата инженерам, так и архитекторам данных и разработчикам, принимающим участие в проектировании DWH.

Забудьте о медленных запросах и ограничениях традиционных баз данных. С ClickHouse вы сможете решать самые амбициозные реальные задачи по аналитике, а наш курс даст вам все необходимые для этого знания, навыки и best practices. Мы проведем вас от базовых концепций и синтаксиса SQL до сложной оптимизации запросов, проектирования и построения отказоустойчивых кластеров.

Программа обучения по ClickHouse включает в себя сквозные примеры по развертывания кластера ClickHouse в облаке, проектирование объектов баз данных и таблиц, представлений и индексов на основании бизнес потребностей ваших клиентов по аналитике больших данных. Для полной картины мы также включили практические лабораторные работы и модули  по настройке и обслуживании распределенного кластера  ClickHouse, с проверкой режимов отказоусточивости и восстановления, репликации и мониторинга. Модуль оптимизации позволит разобраться в деталях  профилирования и тонкой настройке хранилища OLAP для  достижения оптимальной производительности ваших запросов. Для инженеров и аналитиков мы предусмотрели широкий спект лабораторных работ по интеграции ClickHouse c наиболее популярными системами: Greenplum, Iceberg, S3, Kafka и Rabbit MQ.

Обучение по ClickHouse построено таким образом, чтобы дать вам системные знания и максимум практического опыта. Соотношение теории и практики – 50/50.

Целевая аудитория

  • Аналитик данных
  • Дата-инженер
  • Архитектор ClickHouse
  • Администратор кластера

Как проходит обучение

Формат и расписание

Обучение проходит онлайн 5 дней, с 14:00 до 18:00, с двумя короткими перерывами. Живые лекции и практические занятия на платформе для видеоконференций с записью трансляций. Доступ к лабораторным стендам 24 часа (круглосуточно) в течении 2 недель с даты начала обучения.

Практика на реальном кластере

50% курса — практика. Доступ к выделенному кластеру ClickHouse в Yandex Cloud в многопользовательском окружении имитирует реальную работу. Сквозной лабораторный практикум по всему жизненному циклу данных: от сбора данных с кластеров Kafka, RabbitMQ, Greenplum, S3  до  визуализации в Datalens, Grafana или Superset.

Доступ ко всем материалам

Все видеозаписи лекций, презентации и методические материалы доступны во время и после курса в системе дистанционного обучения и чате группы.

Поддержка и сообщество

Чат группы обучения для общения с преподавателями и одногруппниками. Чат остается активным и после завершения курса для обеспечения поддержки.

Предварительная подготовка

  • Опыт написания SQL-запросов
  • Опыт работы с терминалом
  • Умение работать с Docker

Программа курса

Модуль 1: Основы ClickHouse

  • Назначение и архитектура ClickHouse
  • Логическая структура базы данных
  • Преимущества и ограничения колоночных СУБД
  • Сценарии использования и развертывания кластера (облако, on-premises, Docker)
  • Лабораторная работа: Создание кластера ClickHouse, настройка подключений и написание первых запросов к системным таблицам.

Модуль 2: Структура БД в ClickHouse

  • Движки баз данных и таблиц (семейство MergeTree, Log, Memory, Buffer)
  • Констрейнты, индексы и проекции для ускорения запросов
  • Простые и материализованные представления
  • Внешние и внутренние словари

Лабораторная работа: Проектирование и создание баз данных, таблиц, индексов и представлений в ClickHouse.

Модуль 3: Основы ClickHouse SQL

  • Специфические типы данных (включая вложенные структуры)
  • Команды DDL и DML
  • Эффективное написание SQL-запросов и best practices
  • Пользовательские функции (UDF)

Лабораторная работа: Пишем быстрые SQL-запросы и учимся их оптимизировать.

Модуль 4: Оптимизация и производительность

  • Профилирование запросов с помощью EXPLAIN и system.query_log
  • Партиционирование и кластеризация данных
  • Стратегии предварительной агрегации и кэширования

Лабораторная работа: Находим и ускоряем “тяжёлые” запросы, проводим профилирование и оптимизацию.

Модуль 5: Распределённые системы

  • Шардирование и репликация данных для масштабирования и надежности
  • Настройка отказоустойчивого кластера
  • Балансировка нагрузки при обработке запросов

Лабораторная работа: Настраиваем собственный отказоустойчивый кластер.

Модуль 6: Интеграция и расширенные возможности

  • Работа с JSON, массивами и геоданными
  • Потоковая обработка больших данных с помощью ClickPipes
  • Интеграция с Kafka, PostgreSQL
  • Инструменты для визуализации данных: Datalens, SuperSet, Grafana, Metabase

Лабораторная работа: Создаём конвейер потоковой обработки данных на ClickHouse с Kafka/RabbitMQ.

Модуль 7: Администрирование и безопасность ClickHouse ( факультатив в видео формате)

Материалы данного модуля предоставляются в формате видеоматериалов, с комплектом лабораторных работ, которые вы можете выполнить дополнительно, в свободное время, и при необходимости задать вопросы преподавателю. 

  • Управление пользователями, ролями и доступами
  • Методы аутентификации
  • Настройка Named Collections для упрощения защиты интеграции с внешними источниками
  • Резервное копирование и восстановление кластера
  • Мониторинг и кастомные метрики
  • Настройка алертинга (Prometheus, Grafana)

Лабораторная работа: Настройка бэкапов, реализация кастомных метрик и построение дашбордов мониторинга.

Бонус: +8 часов материалов для глубокого погружения!

Для администраторв кластера ClickHouse и дата инженеров которые выполняют задачи обслуживания и администрирования кластеров ClickHouse мы записали дополнительные модули которые могут быть полезны.

После просмотра видеоуроков, вы сможете задать вопросы преподавателю и выполнить дополнительные лабораторные работы для закрепления материала на практике.

  • 3 часа дополнительных лекций по продвинутым темам администрирования и обслуживания.
  • 5 часов дополнительных лабораторных работ для оттачивания навыков сопровождения кластера ClickHouse.
Онлайн формат обучения

Онлайн обучение - это курс, который проходит в режиме реального времени под руководством преподавателя по такому же графику как и очное обучение. Наш учебный центр может организовывать курсы только в онлайн формате или в смешанном, когда часть слушателей находится в классе очно, а часть подключается онлайн.

Занятия на большинстве наших курсов занимают 8 академических часов в день (с 10:00 до 17:00), также есть отдельные программы вечернего онлайн обучения. Чтобы наши студенты не уставали в процессе учебы, мы делаем небольшие перерывы на чай/кофе, при полнодневном обучении также есть время на полноценный обеденный перерыв.

В процессе обучения вы сможете задавать вопросы и общаться с преподавателем и остальными участниками как с помощью чата, так и голосом при наличии микрофона.

В зависимости от выбранной программы обучения, каждому участнику будет предоставлен доступ к заренее настроенной виртуальной машине с лабораторными заданиями. Для удобства мы рекомендуем слушателям подключить 2 монитора, на одном из которых будет учебный материал/трансляция преподавателя, а на другом открыт стенд для выполнения практических заданий. На части из курсов (не всех) предусмотрена запись тренинга, которую слушатели могут просмотреть, если по какой-то причине пропустили часть занятия.

Документы об окончании курса

  • Сертификат Учебного центра iqData
  • Cертификат об обучении установленного образцая

сертификат iqData об обучении на курсеСертификат установленного образца

Учились на этом курсе?

Другие курсы ClickHouse

Ближайшие даты
12-16 октября
Онлайн