К содержимому

Строю LLM-продукты: агентов, RAG и инфраструктуру для моделей. 10 лет в backend-разработке, из них 4 года архитектором и тимлидом.

Санкт-Петербург, работаю удалённо

Резюме

Спросите моего агента

Так устроен agent harness, который я делаю в продуктах: вопрос, вызовы инструментов, ответ. Ответы собраны заранее из резюме, модель здесь не вызывается.

Я отвечаю по резюме Романа. Выберите вопрос: сначала будет видно, какие инструменты я вызываю, потом сам ответ.

Вопросы

Чем занимаюсь

Довожу LLM до продакшена: от модели на своём сервере до функции, которой пользуются люди.

LLM-продукты

AI-ассистент в мобильном приложении на собственном agent harness: tool-calling, стриминг, память, веб-поиск. Квоты, учёт токенов и защита от prompt injection.

  • инструменты
  • память
  • веб-поиск
  • квоты

Распознавание документов

Eval-стенд, каскад моделей и лимит расходов для 30 тыс. страниц PDF-протоколов.

53%%

точность на эталонном наборе

Инфраструктура для моделей

LLM-шлюз на LiteLLM с ключами, бюджетами и фолбэками. Модели с открытыми весами на своих серверах.

  • LiteLLM
  • vLLM
  • Ollama
  • Whisper

RAG и оценка качества

Поиск по документам с гибридным ранжированием. Качество ответов проверяю на eval-наборе вопросов.

  • pgvector
  • гибридный поиск
  • eval-набор

Команды и архитектура

10 лет в backend на PHP/Symfony, Go и Python. Перевёл команду на агентную разработку.

%

быстрее закрываются задачи

Напишите мне

Быстрее всего отвечаю в Telegram.

@omasn

Санкт-Петербург, работаю удалённо