Ищем Senior Data engineer в Modus - экспертный центр цифровых технологий.

Компания расширяет штат data engineers в рамках создания и внедрения внутренней Единой Аналитической Платформы на основе технологий Big Data, индустриального IoT, экосистемы Hadoop и платформ облачных вычислений.

Источниками данных являются различные БД, существующие ИС, разнотипные SCADA-системы СЭС, ВЭС, ТЭС и т.п. (от 20 тыс. до 100 тыс. различных сигналов и параметров в каждой).  

Навыки и знания нашего будущего коллеги:

• Опыт работы в роли инженера данных не менее 2-х лет; 
• Практические навыки проектирования и реализации систем сбора и обработки данных; 
• Понимание основных этапов обработки и анализа данных, инструментов и методов, применяемых в этой области; 
• Понимание принципов распределенных вычислений; 
• Способность осуществлять исследование данных (data exploration) и взаимодействовать с экспертами предметной области с целью достижения бизнес-целей; 
• Знание SQL; 
• Практический опыт работы с элементами Hadoop экосистемы;
• Apache Spark / Databrics; 
• Практический опыт работы с Compute Cloud (AWS, Azure и т.п.); 
• Python (Java / Scala).

Nice to have в любой конфигурации: 

• Apache Spark / Databrics: Core, Structured Streaming, SQL 
• Apache Ignite 
• Apache Flink 
• Apache (Confluent) Kafka / Apache Pulsar 
• NoSQL (Cassandra / Hbase / Kudu / Impala) 
• Indexing engines (Elastic Search / Solr) 
• Apache Hive (Tez), Pig 
• AWS: S3, EMR, EC2, Lambda, Kinesis/Kinesis Firehose, IAM, Athena, Glue, DynamoDB, Redshift, Aurora, Greengrass, IoT Core 
• Azure: Blob storage, HDInsight, VM, Functions, IoT Edge, IoT Hub, Event Hubs etc. 

Что необходимо делать:

• Разработка конвейеров данных (data pipelines) с целью обеспечения сбора, обработки и структурирования данных для последующего анализа и использования в системе; 
• Разработка оптимальной структуры хранения, передачи, предоставления данных по конкретному продукту (подсистеме);
• Разработка и внедрение эффективных механизмов и способов взаимодействия по данным между командами аналитики и ИТ инфраструктуры;  
• Взаимодействие с аналитиками данных, владельцем продукта для определения требований к выгрузке, конвертации и представлению данных в рамках конвейеров данных; 
• Взаимодействие с архитектором и руководителем группы для обеспечения качества разрабатываемых технических решений обработки данных; 
• Участие в создании POC с нуля - проектирование, разработка и прототипирование; 
• Участие во всех циклах разработки - дизайн, кодирование, тестирование и релиз; 
• Проведение оценки и рецензирования кода целью обеспечения качества разработки; 
• Применение концепции непрерывной интеграции и доставки (CI/CD); 
• Оптимизация конвейеров данных и усовершенствование; архитектуры с точки зрения эффективности функционирования как отдельных элементов, так и системы в целом.

 Что получите от нас:

• Удаленный формат работы (на период карантина);
• Бонусы по итогам года;
• Медицинская страховка (после адаптационного периода);
• Регулярное корпоративное обучение и развитие;
• Работа в ультрасовременном офисе (UNIT.City);
• Возможность применять самые современные технологии; 
• Возможность профессионального роста.