| Название НИОКТР |
Теоретическая система оптимальной диспетчеризации конечных больших моделей
|
| Аннотация |
Объем бизнеса инференса больших моделей переживает быстрый рост, сталкиваясь с проблемами достижения максимальной конкурентоспособности по соотношению цена-производительность в отрасли. В реальных сетевых операциях последовательности запросов инференса, организованные в хронологическом порядке, демонстрируют различную длину, динамически изменяющиеся распределения запросов, несбалансированную загрузку горячих/холодных экспертов MoE и различные приоритеты запросов. Эти факторы приводят к тому, что оптимальное решение по развертыванию для систем инференса динамически меняется с течением времени, что затрудняет получение оптимальных результатов посредством ограниченной офлайн-оптимизации.
Необходимо исследовать оптимальную теорию комбинаторной оптимизации в реальном времени для планирования инференса большой модели. Это включает динамическое моделирование запросов инференса из прошлых периодов и имитацию мелкозернистого временного планирования на основе теории очередей и параллельных методов комбинаторной оптимизации (включая, но не ограничиваясь: случайное планирование, планирование рулетки, пакетно-непрерывное планирование, планирование конвейера PP, гетерогенное планирование ресурсов)/горячее-холодное экспертное распределение ресурсов/планирование отношения PD и т. д. Цель состоит в том, чтобы обеспечить генерацию оптимального решения на уровне минут, поддерживая 20%-ное улучшение использования ресурсов системы инференса. Высокопроизводительная система инференса, созданная большой моделью Дубао, использует гетерогенное оборудование в сочетании с различными стратегиями оптимизации для четырех вычислительных квадрантов, образованных Prefill/Decode и Attention/FFN. Обеспечивая низкую задержку, он значительно повышает пропускную способность, достигая оптимальных показателей TTFT и TPOT, а также снижая общие затраты.
|
| Доступ к ОКОГУ исполнителя |
True
|
| Количество связанных РИД |
0
|
| Количество завершенных ИКРБС |
0
|
| Сумма бюджета |
13650.835
|
| Дата начала |
2025-09-01
|
| Дата окончания |
2026-12-01
|
| Номер контракта |
ТС20250126011-2025-03
|
| Дата контракта |
2025-09-01
|
| Количество отчетов |
1
|
| УДК |
658.512
|
| Количество просмотров |
6
|
| Руководитель работы |
Богданов Александр Владимирович
|
| Руководитель организации |
Лебедева Елена Витальевна
|
| Исполнитель |
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ"
|
| Заказчик |
Общество с ограниченной ответственностью "Техкомпания Хуавэй"
|
| Федеральная программа |
Отсутствует
|
| Госпрограмма |
—
|
| Основание НИОКТР |
Договор со сторонней организацией
|
| Последний статус |
2025-11-27 13:05:08 UTC, 2025-11-27 13:05:08 UTC
|
| ОКПД |
Услуги консультативные по компьютерному оборудованию
|
| Отраслевой сегмент |
—
|
| Минздрав |
—
|
| Межгосударственная целевая программа |
—
|
| Ключевые слова |
оптимальная диспетчеризация; диспетчеризация; конечные большие модели
|
| Соисполнители |
—
|
| Типы НИОКТР |
Разработка новых материалов, научно-методических материалов, продуктов, процессов, программ, устройств, типов, элементов, услуг, систем, методов, методик, рекомендаций, предложений, прогнозов
|
| Приоритетные направления |
—
|
| Критические технологии |
—
|
| Рубрикатор |
28.23.33 - Аппаратная реализация интеллектуальных систем; 50.47.29 - Автоматизированные системы управления непрерывными технологическими процессами
|
| OECD |
—
|
| OESR |
Робототехника и автоматическое управление; Электротехника и электроника; Информатика – архитектура и аппаратное обеспечение
|
| Приоритеты научно-технического развития |
а) переход к передовым технологиям проектирования и создания высокотехнологичной продукции, основанным на применении интеллектуальных производственных решений, роботизированных и высокопроизводительных вычислительных систем, новых материалов и химических соединений, результатов обработки больших объемов данных, технологий машинного обучения и искусственного интеллекта;
|
| Регистрационные номера |
—
|
