| Название НИОКТР |
Договор о выполнении научно-исследовательских работ между ООО "Техкомпания Хуавэй" и СПбГУ на тему: "Бенчмарк Math-X" (Math-X benchmark)
|
| Аннотация |
Современные БЯМ имеют проблемы с математическим рассуждением. С проблемами существующих математических бенчмарков и процесса оценки непосредственно связан ряд вызовов. Вызовы для существующих математических бенчмарков: насыщение существующих бенчмарков; для развития технологий Хуавэй необходимы гораздо более сложные бенчмарки; загрязнение бенчмарков тренировочными данными; необходима закрытая независимая проверка. Вызовы для оценки: оценка БЯМ в области трудной математики является сложной задачей, и для этого требуются эксперты в области математики; БЯМ (например, GPT-4) часто упускают из виду практические способности к понимаю молодых студентов, поэтому требуется помощь экспертов в области математического образования в оценке БЯМ. Ключевой целью проекта является разработка стратегии оценки математических рассуждений, которая помогает в долгосрочном улучшении БЯМ и в целевых бизнес сценариях. Цели проекта: 1. провести обзор математических бенчмарков; 2. создать эксклюзивный набор данных со сложными математическими заданиями; 3. подготовить отчет об оценке тестирования; 4. подготовить научную статью, в которой представлены основные результаты бенчмарка Math-X; 5. подготовить документацию с результатами проекта - технический отчет.
|
| Доступ к ОКОГУ исполнителя |
True
|
| Количество связанных РИД |
0
|
| Количество завершенных ИКРБС |
0
|
| Сумма бюджета |
28.0
|
| Дата начала |
2025-11-26
|
| Дата окончания |
2026-09-26
|
| Номер контракта |
ТС20250822046
|
| Дата контракта |
2025-11-26
|
| Количество отчетов |
1
|
| УДК |
004.83
|
| Количество просмотров |
3
|
| Руководитель работы |
Петров Федор Владимирович
|
| Руководитель организации |
Лебедева Елена Витальевна
|
| Исполнитель |
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ"
|
| Заказчик |
Общество с ограниченной ответственностью "Техкомпания Хуавэй"
|
| Федеральная программа |
Отсутствует
|
| Госпрограмма |
—
|
| Основание НИОКТР |
Договор со сторонней организацией
|
| Последний статус |
2025-12-23 09:32:39 UTC, 2025-12-23 09:32:39 UTC
|
| ОКПД |
Нет
|
| Отраслевой сегмент |
—
|
| Минздрав |
—
|
| Межгосударственная целевая программа |
—
|
| Ключевые слова |
Математическое рассуждение; Оценка; Бенчмарк
|
| Соисполнители |
—
|
| Типы НИОКТР |
Разработка новых материалов, научно-методических материалов, продуктов, процессов, программ, устройств, типов, элементов, услуг, систем, методов, методик, рекомендаций, предложений, прогнозов
|
| Приоритетные направления |
—
|
| Критические технологии |
—
|
| Рубрикатор |
28.23.25 - Модели и системы обучения; 28.23.20 - Формирование решений в интеллектуальной среде. Модели рассуждений; 28.29.15 - Методы исследования операций
|
| OECD |
—
|
| OESR |
Автоматизированные системы управления
|
| Приоритеты научно-технического развития |
а) переход к передовым технологиям проектирования и создания высокотехнологичной продукции, основанным на применении интеллектуальных производственных решений, роботизированных и высокопроизводительных вычислительных систем, новых материалов и химических соединений, результатов обработки больших объемов данных, технологий машинного обучения и искусственного интеллекта;
|
| Регистрационные номера |
—
|
