Программа автоматизации оценки и анализа метрик результатов работы СППР основанных на LLM

Наименование РИД	Программа автоматизации оценки и анализа метрик результатов работы СППР основанных на LLM
Реферат	Программа мониторинга качества СППР на базе LLM предназначена для автоматического сбора и анализа метрик эффективности таких систем. Она записывает взаимодействия пользователей (запросы, ответы модели, обратную связь) и вычисляет показатели качества: точность рекомендаций, удовлетворенность пользователей, быстродействие системы и т.д. Специалисты отслеживают динамику этих метрик, сравнивают версии моделей и выявляют тенденции качества. Программа генерирует предупреждения при резком ухудшении показателей и формирует отчеты с рекомендациями по улучшению модели. Основные пользователи — разработчики, дата-сайентисты, QA-инженеры и аналитики, следящие за качеством LLM-моделей; администраторы платформы также используют отчеты для контроля системы. Конечные клиенты напрямую не взаимодействуют с программой, но получают более качественные рекомендации благодаря ее работе.
Возможные направления использования	Автоматический сбор и анализ метрик эффективности СППР на базе LLM.
Количество опытных образцов	1
Количество просмотров	4
Наличие дополнительных файлов	False
Использование РИД правообладателем	True
Внешнее использование РИД	—
НИОКТР (JSON)	{}
ИКСИ (JSON)	[{"last_status": {"created_date": "2025-12-22T11:01:08.394483+00:00", "registration_number": "725122200028-1"}, "iksi_external_using": []}]
ИКСПО (JSON)	[{"last_status": {"created_date": "2025-12-25T08:08:57.015216+00:00", "registration_number": "825122500099-7", "status": {"name": "Подтверждена"}}, "copyright_protections": [{"protection_way": {"name": "Осуществлена государственная регистрация"}}]}]
ОЭСР (JSON)	[]
Дата первого статуса	2025-12-19T20:10:42.856650+00:00
Предполагаемый тип результата	Программа для ЭВМ
Ожидаемая роль	Исполнитель
Заказчик	ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "СОЮЗ СПОРТ И ЗДОРОВЬЕ"
Руководитель работы	Дёминов Марк Маратович
Руководитель организации	Дёминов Марк Маратович
Регистрационный номер НИОКТР	125121714596-2
Последний статус	Подтверждена, 625122200038-1, 2025-12-22 06:38:01 UTC
ОКПД	Услуги информационные автоматизированные компьютерные прочие, не включенные в другие группировки
Ключевые слова	LLM; Метрики СППР; DSS
Исполнители	ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "СОЮЗ СПОРТ И ЗДОРОВЬЕ"
Авторы	Козлов Сергей Викторович; Дёминов Марк Маратович; Крутько Вячеслав Николаевич; Кудлай Наталия Юрьевна
Коды тематических рубрик	28.23.25 - Модели и системы обучения; 28.23.19 - Эвристические методы
OESR	Компьютерные, информационные науки и биоинформатика (разработка аппаратного обеспечения относится к разделу 2.2, социальный аспект относится к разделу 5.8)
Приоритеты научно-технического развития	в) переход к персонализированной, предиктивной и профилактической медицине, высокотехнологичному здравоохранению и технологиям здоровьесбережения, в том числе за счет рационального применения лекарственных препаратов (прежде всего антибактериальных) и использования генетических данных и технологий;