| Название НИОКТР |
Техническое задание (ТЗ № 8) № ТС20250126011-2025-08 к Проекту Хуавэй по Соглашению о совместной лаборатории № TC20250126011 от 1 апреля 2025 г
|
| Аннотация |
Большие модели вступили в эпоху открытого исходного кода, период итерации сократился, и новые модели загружаются одна за другой. В результате эффективность и точность моделирования нагрузки становятся узкими местами. Первоначальный коэффициент эффективности соответствующий модели Roofline неэффективен и неточен. В данном научно-исследовательском проекте высокоточное моделирование вычислительных операторов, операторов коммуникации и совмещенных операторов имеет решающее значение для быстрой адаптации новой модели в Ascend. В настоящее время анализ нагрузки основан на roofline модели соответствующего коэффициента эффективности оператора. Однако нагрузка от программ и приложений искуственного интеллекта быстро меняется, что приводит к быстрому увеличению типов операторов, а вычислительные характеристики, доступ к памяти и коммуникационные характеристики разных операторов сильно различаются. Текущий метод не может полностью описать модель производительности нового оператора. В результате снижается точность моделирования всей сети. Как следствие требуется много времени для профилирования оператора или модели и ручной калибровки коэффициента эффективности. Обобщение калиброванной модели также недостаточно, что приводит к увеличению повторной работы после итерации.
Из-за объективного влияния положения конкурентов в экосистеме ИИ новый оператор должен быть предпочтительно адаптирован к Ascend. Как быстро адаптировать новый оператор к Ascend и добиться хорошей производительности, зависит от того, сможет ли новый оператор быстро реагировать на требования рынка. Быстрое моделирование для новых операторов, разработка политик тайлинга и решений по планированию конвейера на уровне моделирования, а также автоматическая оптимизация тайлинга/конвейера. Это значительно снижает потребление рабочей силы на этапе внедрения оператора и поддерживает быструю итеративную оптимизацию производительности оператора. Основные цели:
- Приоритет 1 (высокий): Высокоточное моделирование производительности оператора: Точность времени моделирования производительности основных операторов в сценарии основной большой модели должна быть не менее 90% для целевых операторов. Реализация алгоритма оптимизации политики тайлинга оператора, что повышает производительность указанных в приложении операторов на 10% по сравнению с результатами профилировки. - Приоритет 2 (высокий): Улучшить обобщение (по линейным размерам тензора и типу данных (FP32, FP16, BF16, FP8, INT8, INT16)) моделирования операторов. Точность прогнозирования времени выполнения оператора для фиксированного тензора должна достигать 80%. Типы операторов включают в себя CUBE операторы, VECTOR операторы, смешанные операторы и операторы слияния (например, FA). Размеры тензоров и описание целевых операторов (MM, BMM, SwiGLU, GMM, GEMM, FA, QBMM, Dispatch) находится в Приложении 1. Целевое оборудование Ascend 310P, Ascend 910B, David. - Приоритет 3 (высокий): Построить унифицированный инструмент представления моделирования операторов на основе компилятора. Спроектировать промежуточное представление, выполнить иерархическую абстракцию операторов на основе компилятора. Предполагается использовать многоуровневую асбтрацию, где верхний уровень соответствует фреймворку Pytorch и нижний уровень соответствует аппаратным функциям для оборудования разных поколений (Ascend 310P, Ascend 910B, David). Система моделирования и имитации операторов должна быть проста в использовании практична, и может быть встроена в платформу моделирования и имитации обучения Лаборатории Маркова.
|
| Доступ к ОКОГУ исполнителя |
True
|
| Количество связанных РИД |
0
|
| Количество завершенных ИКРБС |
0
|
| Сумма бюджета |
34944.0
|
| Дата начала |
2025-11-26
|
| Дата окончания |
2026-11-26
|
| Номер контракта |
ТС20250126011-2025-08
|
| Дата контракта |
2025-11-26
|
| Количество отчетов |
1
|
| УДК |
001.891.573
|
| Количество просмотров |
4
|
| Руководитель работы |
Богданов Александр Владимирович
|
| Руководитель организации |
Лебедева Елена Витальевна
|
| Исполнитель |
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ"
|
| Заказчик |
Общество с ограниченной ответственностью "Техкомпания Хуавэй"
|
| Федеральная программа |
Отсутствует
|
| Госпрограмма |
—
|
| Основание НИОКТР |
Договор со сторонней организацией
|
| Последний статус |
2025-11-27 13:13:03 UTC, 2025-11-27 13:13:03 UTC
|
| ОКПД |
Нет
|
| Отраслевой сегмент |
—
|
| Минздрав |
—
|
| Межгосударственная целевая программа |
—
|
| Ключевые слова |
Моделирование производительности операторов; Оптимизация тайлинга; Иерархическая абстракция операторов
|
| Соисполнители |
—
|
| Типы НИОКТР |
Разработка новых материалов, научно-методических материалов, продуктов, процессов, программ, устройств, типов, элементов, услуг, систем, методов, методик, рекомендаций, предложений, прогнозов
|
| Приоритетные направления |
—
|
| Критические технологии |
—
|
| Рубрикатор |
28.17.19 - Математическое моделирование; 27.37.17 - Математическая теория управления. Оптимальное управление; 28.23.37 - Нейронные сети; 27.41.23 - Машинные, графические и другие методы вычислительной математики
|
| OECD |
—
|
| OESR |
Робототехника и автоматическое управление
|
| Приоритеты научно-технического развития |
а) переход к передовым технологиям проектирования и создания высокотехнологичной продукции, основанным на применении интеллектуальных производственных решений, роботизированных и высокопроизводительных вычислительных систем, новых материалов и химических соединений, результатов обработки больших объемов данных, технологий машинного обучения и искусственного интеллекта;
|
| Регистрационные номера |
—
|
