• Remote
  • Продукт
  • Є медстрахування
  • Есть Equity
  • Python
  • Scala
  • Aws
  • Apache
  • Python
  • Java
  • Scala
01.09.22

Про роботу

Ищем Senior Data engineer в Modus - экспертный центр цифровых технологий.

Компания расширяет штат data engineers в рамках создания и внедрения внутренней Единой Аналитической Платформы на основе технологий Big Data, индустриального IoT, экосистемы Hadoop и платформ облачных вычислений.

Источниками данных являются различные БД, существующие ИС, разнотипные SCADA-системы СЭС, ВЭС, ТЭС и т.п. (от 20 тыс. до 100 тыс. различных сигналов и параметров в каждой).  

Навыки и знания нашего будущего коллеги:

  • Опыт работы в роли инженера данных не менее 2-х лет; 
  • Практические навыки проектирования и реализации систем сбора и обработки данных; 
  • Понимание основных этапов обработки и анализа данных, инструментов и методов, применяемых в этой области; 
  • Понимание принципов распределенных вычислений; 
  • Способность осуществлять исследование данных (data exploration) и взаимодействовать с экспертами предметной области с целью достижения бизнес-целей; 
  • Знание SQL; 
  • Практический опыт работы с элементами Hadoop экосистемы;
  • Apache Spark / Databrics; 
  • Практический опыт работы с Compute Cloud (AWS, Azure и т.п.); 
  • Python (Java / Scala).


Nice to have в любой конфигурации: 

  • Apache Spark / Databrics: Core, Structured Streaming, SQL 
  • Apache Ignite 
  • Apache Flink 
  • Apache (Confluent) Kafka / Apache Pulsar 
  • NoSQL (Cassandra / Hbase / Kudu / Impala) 
  • Indexing engines (Elastic Search / Solr) 
  • Apache Hive (Tez), Pig 
  • AWS: S3, EMR, EC2, Lambda, Kinesis/Kinesis Firehose, IAM, Athena, Glue, DynamoDB, Redshift, Aurora, Greengrass, IoT Core 
  • Azure: Blob storage, HDInsight, VM, Functions, IoT Edge, IoT Hub, Event Hubs etc. 


Что необходимо делать:

  • Разработка конвейеров данных (data pipelines) с целью обеспечения сбора, обработки и структурирования данных для последующего анализа и использования в системе; 
  • Разработка оптимальной структуры хранения, передачи, предоставления данных по конкретному продукту (подсистеме);
  • Разработка и внедрение эффективных механизмов и способов взаимодействия по данным между командами аналитики и ИТ инфраструктуры;  
  • Взаимодействие с аналитиками данных, владельцем продукта для определения требований к выгрузке, конвертации и представлению данных в рамках конвейеров данных; 
  • Взаимодействие с архитектором и руководителем группы для обеспечения качества разрабатываемых технических решений обработки данных; 
  • Участие в создании POC с нуля - проектирование, разработка и прототипирование; 
  • Участие во всех циклах разработки - дизайн, кодирование, тестирование и релиз; 
  • Проведение оценки и рецензирования кода целью обеспечения качества разработки; 
  • Применение концепции непрерывной интеграции и доставки (CI/CD); 
  • Оптимизация конвейеров данных и усовершенствование; архитектуры с точки зрения эффективности функционирования как отдельных элементов, так и системы в целом.


 Что получите от нас:

  • Удаленный формат работы (на период карантина);
  • Бонусы по итогам года;
  • Медицинская страховка (после адаптационного периода);
  • Регулярное корпоративное обучение и развитие;
  • Работа в ультрасовременном офисе (UNIT.City);
  • Возможность применять самые современные технологии; 
  • Возможность профессионального роста.




Прибрати рекламу інших компаній і рекламувати свою.
Дізнайтесь більше