Тестирование RAG-системы (построение QA) (для всех)

Категория: Сайты и IT

Бюджет: 3,500.00 руб.

Срок выполнения: 3 дней.

Город: Удаленная работа

Описание задачи:

Мы с командой на начальной стадии разработки RAG cистемы, разговорного агента, работающего в чатах. На текущий момент есть MVP прототип с возможностью:
- загрузки знаний, в том числе парсер сайтов;
- ingest воронка. Т.е. все что в документах индексируется с определенными особенностями;
- дальше, собственно, сам агент, пока без тулов, но с классификацией интента, эскалацией на оператора и т.д.
На проекте есть субъективное ручное тестирование на небольшом датасете и RAGAS.

Ищу человека, который в первую очередь сможет принести систему, с помощью которой мы сможем контролировать и конечный результат и отдельные звенья агента. Пока не усложняя, держа в голове начальную стадию развития проекта.

С точки зрения бизнеса есть потребность:
- понимать текущий показатель качества по сравнению с конкурентами;
- контролировать качество продукта при его развитии.

Сейчас только в процессе организации юр лица, поэтому работаю с ИП и самозанятыми. Ищу человека с опытом решения подобных задач, кто сможет «распаковать» свой багаж знаний на нашем проекте, научить и развивать проект вместе с нами. В откликах буду благодарен, если расскажите про свой опыт на подобных проектах.

Требуемые навыки: Аутсорсинг и консалтинг / QA (тестирование)

Заказчик: @fl_client

FL-Core — Биржа безопасных сделок и фриланса

FL-Core — современная инновационная платформа для поиска заказчиков и исполнителей. Безопасная сделка, удобный чат, кастомные услуги и прозрачный арбитраж.

Разделы сайта:

  • Услуги фрилансеров (Кворки)
  • Каталог фрилансеров
  • Справка и помощь (FAQ)
  • Контакты и реквизиты