Практическое руководство по offline-online разрыву в RecSys: feedback loops, delayed labels, train/serve skew, ограничения OPE, 11 релизных гейтов и регламент инцидентов.
Обо мне
Проектирую ML‑системы, которые работают на реальном трафике: поиск, генерация, рекомендации, ценообразование. Здесь мой путь от бизнеса к ML‑разработке.
Мышление
Инженерное образование, которое я закончил в 2012, не дало великого откровения, но научило главному: разбирать сложное на части и искать закономерности.
В 20 лет стал работать внутри крупного государственного механизма и увидел, как решения зависят не от людей, а от регламентов, согласований и кучи бумаг.
Собрал бизнес
На старте все делалось руками через чаты: правки по 10 кругов, дедлайны в Excel. Никакого трекинга, только "кто помнит, тот и прав".
Когда команда выросла с 5 до 30+ человек, я охуел - половина времени уходила на тушение пожаров и пересылку задач между людьми.
Пришлось перепроектировать все. Разбил бизнес-процессы на четкие этапы, внедрил CRM и убрал ручные отчеты, заменив их скриптами. Чтобы быстрее проверять свои гипотезы, сам внедрял API и писал скрипты для сотрудников.
С переходом на системный подход рентабельность выросла на 22%, а количество просроченных задач в проектах упало почти до нуля.
Я понял: структура это сила, она масштабируется, люди - нет.
От бизнеса к коду
Все чаще стал писать код сам. В IT было то, чего мне не хватало в маркетинге - прозрачная логика. Есть вход, есть код, есть результат.
Понял, что развернуть агентскую модель не получится - начал собирать собственные it-проекты. Делал парсеры и ботов на Python, собирал сервисы, чтобы проверять, как связать данные из SQL, логику и автоматизацию в рабочую систему.
Мои запуски были инженерно-стартаперскими экспериментами: как устроена система, где она ломается, как упростить и масштабировать. Мне было важно только одно: чтобы технически все работало не один раз, а всегда.
Прыжок в ML
Гайды тогда уже были, но разрозненные: Jupyter, Colab, статьи по TensorFlow. Попробовал собрать инфраструктуру вокруг и понял, что без системных знаний дальше не продвинуться.
Меня интересовала инженерная сторона ML и Data Science: как устроена инфраструктура, как модели проходят путь от обучения до продакшна.
Чтобы разобраться в этом на практике, гонял мини-сервисы на Heroku, но увидел предел: хотелось понять, как держатся системы с большим трафиком, где сбой стоит денег. Решил идти за знаниями Big Tech. В тот момент технических вакансий не было, но опыт в маркетинге дал возможность зайти через Google, где я отвечал за маркетинговую аналитику и цифровые продукты.
Внутри я прошел ML-программы - сначала теоретически, потом на продовых инструментах. Отсюда и первый опыт с BigQuery, пайплайны на Airflow, тестировал TFX. Разбирался, как устроены реальные системы: деплой, логирование, требования к стабильности. Это дало фундамент для системного подхода к ML-инфраструктуре.
ML в проде
С мая 2022 отвечал за ML-цепочку в B2B-платформе. Строил модули для ценообразования, генерации описаний и прогноза спроса на XGBoost и Scikit-learn. Спроектировал end-to-end пайплайн с auto-retrain, fallback и сквозным мониторингом, обеспечил SLA 99.9 % при ~1 млн предсказаний в сутки.
В 2023 присоединился к команде инженеров AI-платформы для e-commerce. Работал над архитектурой мультимодального поиска и рекомендаций: от выращивания эмбеддингов до онлайн-ранжирования.
Под капотом CLIP-модели и LLM превращают текст и изображение запроса в унифицированные векторы, быстрый FAISS-индекс поднимает кандидатов, а сверху их доранжирует гибрид BM25 + нейросеть.
Реализовал онлайн-дообучение на кликах: CTR вырос на 14 %, инфраструктурные затраты упали на 30 %.
Архитектура, которой доверяют
Фокус на платформенной архитектуре для ML-продуктов: автообновляемые пайплайны, наблюдаемость, отказоустойчивость. Я строю так, чтобы инженер не затыкал баги.
Финальный тест для архитектуры когда она работает, даже если ты в отпуске.
Статьи
Рекомендованные статьи
Разбор архитектуры ML/LLM-систем: решения, риски, эксплуатация.
Подробный инженерный фреймворк выбора между workflow и агентом: критерии, архитектурные паттерны, evals, безопасность, стоимость и план внедрения.
Практический гайд по запуску RAG-агента поддержки с tool-calls: архитектурный контракт, release-gates, policy-контроль, observability и FinOps.
Кейсы
Связанные кейсы
Проекты с задачами, архитектурой и измеримыми метриками.
Голосовой AI для колл-центра
On-prem голосовой AI-оператор закрывает 72% звонков без человека за 0.96 с со снижением стоимости на 58%.
Проблема: 600 мест в контакт-центре, ожидание 9 минут, штрафы за SLA и новые требования AI Act, регламенты устаревают быстрее, чем успевают учить операторов.
Решение: On-prem стек со стримингом, каскадом моделей, оркестрацией и базой знаний. Правила безопасности и ручная эскалация.
Платформа оценки стоимости ML‑инференса
Внутренний инструмент для профилировки latency, throughput и $/req моделей в проде
RAG-ассистент для каталога
MVP чат-поиск с автоматизацией деплоев, экспериментов и мониторинга качества
Где применяли мой опыт
Связаться
Контакты
Готов к обсуждению ML‑проектов и внедрений, отвечаю лично.
Игорь Якушев,
ML инженер
обо мне Senior/Staff ML Engineer. System design, ownership, высоконагруженные ML-системы.
Быстрее всего
Написать в Telegram