| Название НИОКТР |
Разработка мультимодальной большой языковой модели “Менон”
|
| Аннотация |
Разработка собственной мультимодальной большой языковой модели (Multimodal Large Language Model) "Менон", способной извлекать информацию и связывать три модальности - текстовую, визуальную (графическую) и акустическую, а также поддерживать связный контекст на протяжении всего диалога с пользователем. Предлагается альтернативный подход и новые алгоритмы к построению мультимодальной нейросети и связыванию модальностей. Ключевой элемент системы – кросс-модальный RAG (Retrieval Augmented Generation, или генерация, обусловленная поиском). Подобная система является универсальной – её можно адаптировать к решению задач в конкретной предметной области, необходимой заказчику, при этом процесс формирования запроса к языковой модели основан на результатах Разработка собственной мультимодальной большой языковой модели (Multimodal Large Language Model) "Менон", способной извлекать информацию и связывать три модальности - текстовую, визуальную (графическую) и акустическую, а также поддерживать связный контекст на протяжении всего диалога с пользователем. Предлагается альтернативный подход и новые алгоритмы к построению мультимодальной нейросети и связыванию модальностей. Ключевой элемент системы – кросс-модальный RAG (Retrieval Augmented Generation, или генерация, обусловленная поиском). Подобная система является универсальной – её можно адаптировать к решению задач в конкретной предметной области, необходимой заказчику, при этом процесс формирования запроса к языковой модели основан на результатах поиска и потому легко интерпретируем. Прикладное применение подобной системы может быть весьма широким. В частности, непосредственно для нужд факультетов и университета можно предусмотреть следующие сценарии применения:
1) автоматизация ответов на организационно-методические вопросы студентов;
2) “искусственный семинарист”, отвечающий на вопросы по конкретным темам дисциплин, интерпретируя рукописные формулы, рисунки и чертежи.
Систему можно пополнить внутренней корпоративной базой знаний, сделав специализированным консультантом компании.
Также “Менон” способен осуществлять автоматическую модерацию мультимодальных данных в интернет-площадках, способен автоматизировать работу копирайтера и генерировать описания товаров и услуг на основе входных условий, заданных одновременно в нескольких модальностях.
3) автоматизация ответов на часто задаваемые вопросы от абитуриентов, студентов и представителей других целевых аудиторий университета (интеграция чат-бота в официальные представительства университета в соцсетях, например, в Телеграме);
4) цифровой помощник в ходе проведения университетских мероприятий (в том числе и экскурсий), который способен отвечать на вопросы, касающиеся навигации на площадке, программы и др.;
5)автоматизация работы контент-менеджеров, которые отвечают за сопровождение соцсетей университета и других медийных площадок университета: генерация текстов и изображений.
|
| Доступ к ОКОГУ исполнителя |
False
|
| Количество связанных РИД |
2
|
| Количество завершенных ИКРБС |
1
|
| Сумма бюджета |
8000.0
|
| Дата начала |
2024-05-28
|
| Дата окончания |
2024-12-31
|
| Номер контракта |
075-15-2024-208
|
| Дата контракта |
2024-02-07
|
| Количество отчетов |
1
|
| УДК |
002.6:025.4
|
| Количество просмотров |
8
|
| Руководитель работы |
Мулляджанов Рустам Илхамович
|
| Руководитель организации |
Федорук Михаил Петрович
|
| Исполнитель |
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НОВОСИБИРСКИЙ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ"
|
| Заказчик |
МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
|
| Федеральная программа |
—
|
| Госпрограмма |
—
|
| Основание НИОКТР |
Грант
|
| Последний статус |
2025-06-19 09:01:13 UTC, 2025-06-19 09:01:13 UTC
|
| ОКПД |
Услуги по технической поддержке информационных технологий
|
| Отраслевой сегмент |
—
|
| Минздрав |
—
|
| Межгосударственная целевая программа |
—
|
| Ключевые слова |
цифровая трансформация университетов
|
| Соисполнители |
—
|
| Типы НИОКТР |
Разработка новых материалов, научно-методических материалов, продуктов, процессов, программ, устройств, типов, элементов, услуг, систем, методов, методик, рекомендаций, предложений, прогнозов
|
| Приоритетные направления |
Информационно-телекоммуникационные системы
|
| Критические технологии |
Технологии доступа к широкополосным мультимедийным услугам
|
| Рубрикатор |
20.19.01 - Общие вопросы
|
| OECD |
—
|
| OESR |
Компьютерные, информационные науки и биоинформатика (разработка аппаратного обеспечения относится к разделу 2.2, социальный аспект относится к разделу 5.8)
|
| Приоритеты научно-технического развития |
а) переход к передовым технологиям проектирования и создания высокотехнологичной продукции, основанным на применении интеллектуальных производственных решений, роботизированных и высокопроизводительных вычислительных систем, новых материалов и химических соединений, результатов обработки больших объемов данных, технологий машинного обучения и искусственного интеллекта;
|
| Регистрационные номера |
ikrbs: {'card_list': [{'id': '47XOKK1IOBLGPQKZDZ663ZQT'}]}; nioktr: {'id': 'GUDC2YNCGK2X54E7V9JIYTL9'}; nioktr: {'id': 'KRFZ8SBJJZ7TKHZYO84AJH61'}
|
