Курс от SkillFactory обучает базовым навыкам Data Engineering. Преподаватель потока работает с данными более 20 лет. За 10 недель практических занятий студенты прокачают себя в технических инструментах аналитики. Если опыт программирования на Python отсутствует, желательно научиться основам синтаксиса перед стартом.
ПЛЮСЫ:
гарантия трудоустройства;
сертификат;
система скидок.
МИНУСЫ:
нет индивидуальных консультаций с преподавателем;
дополнительная оплата аккаунта облачного сервиса для практики.
Data Engineer от SkillFactory
Крупные компании работают с большими массивами данных Big Data. В этой сфере задействованы разные специалисты. Один из них — инженер данных. Он владеет навыками программирования и пишет скрипты для аналитического отдела. Без корректной работы архитектуры большие массивы не поддаются обработке. Data Engineer — востребованная и актуальная специальность. Инженеры данных приносят ощутимую пользу компании, если код скриптов написан чисто. Прокачать навыки программирования для целей Data Engineering можно на одноимённом курсе от SkillFactory.
Кто такой Data Engineer и чем занимается?
Data Engineer отвечает за сбор и обработку нераспределённых массивов данных. Его задача — сделать работу аналитиков максимально удобной и своевременно обеспечить их нужной информацией. На этом обязанности инженера данных не заканчиваются. Аналитический отдел применяет инфраструктуру, которую прописывает для них Data Engineer. Возникает логичный вопрос — что делать с полученной информацией дальше? Скрипты запросов необходимо трансформировать в рабочие продукты и сервисы. Переводом аналитических моделей в стадию продакшн также занимается инженер данных. Его работа тесно связана с задачами Backend-а и вопросами масштабирования кода. Поэтому крупные компании требуют от специалистов опыт программирования на Python и Java.
Чему вы научитесь
работать в Linux;
извлекать данные из хранилищ;
работать в экосистеме больших данных Hadoop;
структурировать источники данных;
обрабатывать данные в фреймворке Apache Spark;
использовать Apache Airflow для оркестрации конвейеров;
настраивать data pipelines;
работать с облачными хранилищами.
Преподаватель
Михаил Королев — Ведущий Data Engineer в Альфастрахование.
Подробнее о преподавателе можно посмотреть здесь.
Программа курса
Программа курса включает в себя 8 основных блоков.
Введение. Практический Linux.
Современные хранилища данных.
Экосистема Hadoop.
Источники данных и работа с ними.
Полную программу курса вы можете посмотреть здесь.
Как устроено обучение на курсе «Data Engineering» от SkillFactory
Спецификация: Курс «Data Engineering» от SkillFactory
Университет
SkillFactory
Направление
Программирование
Тема
Data Engineering
Приложения и сервисы
Apache Airflow, Apache Spark, Hadoop, Linux, MS Azure
SkillFactory