ИСТИНА

В докладе предлагается простая методология для оптимизации подсистемы генеративного ридера, являющегося одним из ключевых компонентов RAG систем. Описанная методология может быть использована в качестве предварительной оптимизации, которая позволяет быстро построить вопросно-ответную систему (QA-система) приемлемого качества. Основным принципом этой методологии является использование генеративной модели GPT4 от OpenAI в качестве эталонного генеративного ридера. Наша методология описывает процедуру создания синтетического датасета и определяет основные метрики для оптимизации. Использование синтетических данных позволяет точно контролировать, что изменения, вносимые в QA-систему, приближают ее ответы в эталонным. На основе разработанной методики мы провели ряд простых экспериментов по оптимизации для быстрого поиска лучшей конфигурации подсистемы ридера. Эти эксперименты позволили существенно улучшить качество ответов QA-системы. В результате мы добились относительного прироста средней семантической близости ответов нашего ридера с эталонным GPT4 почти 50% по шкале BLEURT и 26% по шкале SAS. Наша методология была проверена для построения русскоязычной вопросно-ответной системы, но она также может быть применена для построения вопросно-ответной системы