Курс «Data Engineering» от SkillFactory

Data Engineer от SkillFactory

Крупные компании работают с большими массивами данных Big Data. В этой сфере задействованы разные специалисты. Один из них — инженер данных. Он владеет навыками программирования и пишет скрипты для аналитического отдела. Без корректной работы архитектуры большие массивы не поддаются обработке. Data Engineer — востребованная и актуальная специальность. Инженеры данных приносят ощутимую пользу компании, если код скриптов написан чисто. Прокачать навыки программирования для целей Data Engineering можно на одноимённом курсе от SkillFactory.

Кто такой Data Engineer и чем занимается?

Data Engineer отвечает за сбор и обработку нераспределённых массивов данных. Его задача — сделать работу аналитиков максимально удобной и своевременно обеспечить их нужной информацией. На этом обязанности инженера данных не заканчиваются. Аналитический отдел применяет инфраструктуру, которую прописывает для них Data Engineer. Возникает логичный вопрос — что делать с полученной информацией дальше? Скрипты запросов необходимо трансформировать в рабочие продукты и сервисы. Переводом аналитических моделей в стадию продакшн также занимается инженер данных. Его работа тесно связана с задачами Backend-а и вопросами масштабирования кода. Поэтому крупные компании требуют от специалистов опыт программирования на Python и Java.

Чему вы научитесь

• работать в Linux;
• извлекать данные из хранилищ;
• работать в экосистеме больших данных Hadoop;
• структурировать источники данных;

• обрабатывать данные в фреймворке Apache Spark;
• использовать Apache Airflow для оркестрации конвейеров;
• настраивать data pipelines;
• работать с облачными хранилищами.

Преподаватель

Михаил Королев — Ведущий Data Engineer в Альфастрахование.

Подробнее о преподавателе можно посмотреть здесь.

Программа курса

Программа курса включает в себя 8 основных блоков.

1. Введение. Практический Linux.
2. Современные хранилища данных.
3. Экосистема Hadoop.
4. Источники данных и работа с ними.

Полную программу курса вы можете посмотреть здесь.

Как устроено обучение на курсе «Data Engineering» от SkillFactory