Инженерный разбор evals для LLM-агентов: карта отказов, уровни оценки, грейдеры, pass^k, статистика прогонов, калибровка LLM-as-judge, архитектура харнесса и релизные гейты.
Статьи
Опубликовано 11 материалов по поиску, рекомендациям, LLM и MLOps: архитектура, качество, надежность и стоимость.
Инженерный разбор пайплайна, который превращает продуктовые логи поиска, рекомендаций и мультимодального поиска в данные для SFT, DPO, GRPO и модели-судьи.
Инженерная статья о слое отбора контекста вокруг GPT, Claude и Gemini: как искать, ранжировать и упаковывать PDF, таблицы, скриншоты и visual evidence для grounded LLM-ответов.
Практический разбор для поисковых команд: как встроить вызовы инструментов в продакшн-поиск и не потерять качество выдачи, задержки, безопасность и возможность отката.
Практический план миграции с OpenAI Assistants API на Responses API и Conversations API: сроки, новая модель объектов, состояние, retrieval, tool calling, streaming и проверка паритета.
Практическое руководство по offline-online разрыву в RecSys: feedback loops, delayed labels, train/serve skew, ограничения OPE, 11 релизных гейтов и регламент инцидентов.
Подробный инженерный фреймворк выбора между workflow и агентом: критерии, архитектурные паттерны, evals, безопасность, стоимость и план внедрения.
Практический гайд по запуску RAG-агента поддержки с tool-calls: архитектурный контракт, release-gates, policy-контроль, observability и FinOps.
Практический каркас MLOps для релиза модели: какие гейты обязательны до выкладки, как держать качество, SLO и стоимость под контролем.
У моего сайта теперь есть второй режим - OS. Там живет AI-ассистент, который управляет окнами и приложениями. Что это, как попасть и зачем оно вообще нужно.
Как научить языковую модель понимать каталог через семантические идентификаторы и делать управляемые рекомендации с объяснениями