Обязанности:
- Разработка и внедрение моделей для обработки естественного языка (классификация текстов, NER (распознавание именованных сущностей), извлечение отношений)
- Работа с текстовыми данными: сбор, очистка, токенизация, лемматизация, векторизация
- Настройка и дообучение предобученных моделей (BERT, RoBERTa, GPT, T5, LaBSE) для специфических задач
- Разработка пайплайнов для анализа тональности, суммаризации, перевода, ответов на вопросы (QA)
- Оптимизация моделей для работы в продакшене (уменьшение размера, ускорение инференса)
- Интеграция NLP-решений с внутренними системами и API
- Мониторинг качества моделей и организация регулярного переобучения
Требования:
- Опыт: работы в NLP от 2 лет
- Знание Python и основных библиотек: Hugging Face Transformers, SpaCy, NLTK, Gensim, FastText
- Понимание архитектур трансформеров, attention, embedding (Word2Vec, GloVe, BERT)
- Опыт работы с большими текстовыми данными (Pandas, Spark)
- Знание методов fine-tuning и работы с предобученными моделями
- Навыки работы с API и развёртывания моделей (Docker, FastAPI)
- Английский: уровень не ниже Intermediate (чтение статей, документации и работа с датасетами)
Часто задаваемые вопросы:
Чем NLP инженер отличается от Data Scientist?
Ответ: Data Scientist работает с разными типами данных (числовые, временные ряды, изображения). NLP инженер фокусируется именно на текстовых данных и задачах обработки естественного языка.
Какие модели сейчас наиболее востребованы в NLP?
Ответ: Среди открытых — BERT, RoBERTa, T5, GPT-2/3 (и их русскоязычные версии: ruBERT, ruRoBERTa, saiga). Среди закрытых — GPT-4, Claude, Gemini.
Какие задачи решает NLP инженер?
Ответ: Классификация текстов (спам/не спам), NER (выделение имен, дат, организаций), анализ тональности, суммаризация, машинный перевод, ответы на вопросы, генерация текстов.
Какой стек нужен NLP инженеру?
Ответ: Python, Hugging Face Transformers, PyTorch (или TensorFlow), SpaCy, NLTK, Pandas, Docker, FastAPI, Git.
Другие специализаии в области AI
AI-Инженерия и разработка
