| Название НИОКТР |
Теория точного управления конечным оператором для ускорения вывода больших моделей
|
| Аннотация |
В связи с широким распространением больших языковых моделей (LLM) эффективность и стоимость становятся ключевыми сдерживающими факторами. Форматы данных с низкой точностью (например, FP16 и INT8) значительно уменьшают потребление аппаратных ресурсов за счёт оптимизации вычислительных и коммуникационных операторов. Однако использование форматов пониженной точности часто сопровождается снижением точности модели, особенно в сложных сценариях (таких как мультимодальное взаимодействие), накопление ошибок может привести к сбоям в прогнозировании или отклонениям в принятии решений.
Поэтому необходимо разработать метод моделирования распространения ошибок от уровня отдельных операторов до уровня модели, чтобы обеспечить автоматическую локализацию и восстановление потерь точности.
Ключевые цели:
- Приоритет 1 (высокий): Моделирование ошибок операторов в LLM и распространения ошибок в модели LLM математическими методами.
- Приоритет 1 (высокий): Создать многомерную систему моделирования точности для различных типов операторов, смоделировать влияние различных методов квантизации на точность модели и предоставить стратегию гибридной квантизации на уровне операторов с учетом установленного предела ошибки модели.
- Приоритет 2 (высокий): Обеспечить моделирование зависимости результатов оценочных тестов LLM от ошибок квантизации и ошибок операторов.
- Приоритет 2 (высокий): С помощью моделирования локализовать проблемы точности LLM на основе входных и выходных данных моделей.
Ключевые технологии:
Python
Pytorch
|
| Доступ к ОКОГУ исполнителя |
True
|
| Количество связанных РИД |
0
|
| Количество завершенных ИКРБС |
0
|
| Сумма бюджета |
13857.403
|
| Дата начала |
2025-09-01
|
| Дата окончания |
2026-12-01
|
| Номер контракта |
ТС20250126011-2025-02
|
| Дата контракта |
2025-09-01
|
| Количество отчетов |
1
|
| УДК |
658.512
|
| Количество просмотров |
8
|
| Руководитель работы |
Богданов Александр Владимирович
|
| Руководитель организации |
Лебедева Елена Витальевна
|
| Исполнитель |
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ"
|
| Заказчик |
Общество с ограниченной ответственностью "Техкомпания Хуавэй"
|
| Федеральная программа |
Отсутствует
|
| Госпрограмма |
—
|
| Основание НИОКТР |
Договор со сторонней организацией
|
| Последний статус |
2025-11-27 13:14:20 UTC, 2025-11-27 13:14:20 UTC
|
| ОКПД |
Услуги консультативные по компьютерному оборудованию
|
| Отраслевой сегмент |
—
|
| Минздрав |
—
|
| Межгосударственная целевая программа |
—
|
| Ключевые слова |
моделирование; платформа моделирования и симуляции; большие модели; теория управления; конечный оператор
|
| Соисполнители |
—
|
| Типы НИОКТР |
Разработка новых материалов, научно-методических материалов, продуктов, процессов, программ, устройств, типов, элементов, услуг, систем, методов, методик, рекомендаций, предложений, прогнозов
|
| Приоритетные направления |
—
|
| Критические технологии |
—
|
| Рубрикатор |
28.23.33 - Аппаратная реализация интеллектуальных систем; 50.47.29 - Автоматизированные системы управления непрерывными технологическими процессами
|
| OECD |
—
|
| OESR |
Компьютерные, информационные науки и биоинформатика (разработка аппаратного обеспечения относится к разделу 2.2, социальный аспект относится к разделу 5.8)
|
| Приоритеты научно-технического развития |
а) переход к передовым технологиям проектирования и создания высокотехнологичной продукции, основанным на применении интеллектуальных производственных решений, роботизированных и высокопроизводительных вычислительных систем, новых материалов и химических соединений, результатов обработки больших объемов данных, технологий машинного обучения и искусственного интеллекта;
|
| Регистрационные номера |
—
|
