Обязанности:
- Построение CI/CD пайплайнов для ML-моделей (автоматическое обучение, тестирование, деплой)
- Настройка инфраструктуры для обучения и инференса (GPU-кластеры, облачные платформы)
- Управление версиями данных, моделей и экспериментов (MLflow, DVC, W&B)
- Организация мониторинга моделей в продакшене (дрейф данных, дрейф концепций, качество предсказаний)
- Автоматизация переобучения (retraining) моделей по расписанию или по триггерам
- Интеграция ML-пайплайнов с существующими DevOps-процессами и системами
- Оптимизация затрат на инфраструктуру (выбор инстансов, автоскейлинг)
Требования:
- Опыт: работы в MLOps / DevOps / ML-инженерии от 3 лет
- Знание Python и Bash, понимание CI/CD (GitHub Actions, GitLab CI, Jenkins)
- Опыт работы с Docker, Kubernetes (Helm, K8s), облачными платформами (AWS, GCP, Azure)
- Знание инструментов для MLOps: MLflow, Weights & Biases (W&B), DVC, Kubeflow, Airflow
- Понимание основ ML (чтобы общаться с Data Scientist) и работы с GPU (CUDA)
- Навыки работы с мониторингом (Prometheus, Grafana) и логированием (ELK, Loki)
- Подробнее о подходах MLOps можно прочитать в этой статье.
Часто задаваемые вопросы:
В чём разница между MLOps инженером и DevOps инженером?
Ответ: DevOps инженер работает с общими CI/CD и инфраструктурой. MLOps инженер — это DevOps для ML: он знает, как работать с данными, GPU, моделями, дрейфом и экспериментами.
Какие инструменты нужны MLOps инженеру?
Ответ: Базовый стек: Docker, Kubernetes, MLflow (или W&B), DVC (для данных), Airflow (или Kubeflow) для оркестрации, облачные платформы (AWS/GCP/Azure).
Что такое дрейф данных и почему он важен?
Ответ: Дрейф данных — это когда статистические свойства данных в продакшене меняются по сравнению с обучающей выборкой. Модель начинает ошибаться. MLOps инженер настраивает мониторинг и автоматическое переобучение, чтобы этого избежать.
Как MLOps инженер работает с Data Scientist?
Ответ: Он помогает Data Scientist «упаковать» модель в контейнер, настроить API, и объясняет, как модель будет жить в продакшене. Он отвечает за то, чтобы прототип превратился в работающий сервис.
