Интеллектуальная система многомодального распознавания когнитивных нарушений людей

Название НИОКТР	Интеллектуальная система многомодального распознавания когнитивных нарушений людей
Аннотация	Данный научный проект направлен на решение актуальной проблемы многомодального распознавания когнитивных нарушений людей по анализу их разговорной речи и визуального проявления мимики и поведения с использованием современных методов цифровой обработки сигналов и глубокого машинного обучения. Целью проекта является разработка и исследование интеллектуальной компьютерной системы для многомодального анализа поведения людей с целью распознавания когнитивных нарушений (при таких заболеваниях как болезни Альцгеймера и Паркинсона, деменция, депрессия и др.) на основе аудио, видео и текстовых данных для повышения эффективности и оперативности бесконтактного диагностирования заболевания. Исследования по автоматической диагностике речевых и многомодальных проявлений когнитивных нарушений являются крайне востребованной междисциплинарной областью применения новейших информационных технологий и искусственного интеллекта в обеспечении здравоохранения и благополучия (healthcare and wellbeing) людей. Это объясняется перспективностью использования методов искусственного интеллекта для оперативной, дистанционной и нетребовательной к оборудованию медицинской диагностики, особенно значимой для людей, которые могут быть ограничены в перемещении в силу особенностей возраста, состояния здоровья, либо по причине удаленного места проживания и невозможности очного приема у медицинского специалиста. Такие исследования обязаны соответствовать высоким требованиям к качеству распознавания нарушений со стороны пользователей и специалистов, а также этическим требованиям, поэтому особую актуальность и значимость имеет разработка новых эффективных, надежных и объяснимых методов искусственного интеллекта (explainable AI) для интерпретации принимаемых решений. В ходе работы над проектом планируется разработать и исследовать новые и усовершенствовать известные модели, методы, алгоритмы и программные решения для комплексного многомодального распознавания когнитивных нарушений людей. В частности, планируется решить актуальные проблемы, связанные с аугментацией (augmentation) обучающих аудиовизуальных данных на различных языках и изучить возможности получения новых языконезависимых наборов признаков и их применения для русскоязычных данных с использованием экспертных, нейросетевых подходов и больших языковых моделей. Также планируется исследовать подходы для машинной классификации (наличия или отсутствия патологии) или регрессии (определения степени тяжести когнитивного заболевания) рассматриваемых когнитивных нарушений, подходы к обеспечению объяснимости экспертных и нейросетевых признаков, вероятностных моделей когнитивных нарушений. Основным результатом данного проекта должен стать прототип интеллектуальной экспертной системы для автоматического распознавания когнитивных нарушений людей на основе комплексного многомодального анализа акустических характеристик голоса, визуальных характеристик мимики, жестов и поведения человека, а также лингвистических составляющих его речевых высказываний. Ожидается, что полученные результаты будут отвечать современным требованиям и стандартам в данной области и находиться на передовом мировом уровне. Практическая и научно-техническая значимость поставленных в проекте задач подтверждается высоким спросом на разрабатываемые технологии на рынке речевых и многомодальных экспертных технологий для обеспечения здравоохранения и благополучия людей, а также большим количеством зарубежных научных публикаций, посвященных данной проблеме в ведущих научных журналах и трудах международных конференций. Разработанная интеллектуальная система будет уникальной в своем роде ввиду возможности комплексного многомодального определения рассматриваемых когнитивных нарушений в речи и многомодальной коммуникации, использования новых наборов анализируемых признаков, а также применения многоуровневых методов анализа с учетом взаимозависимостей между рассматриваемыми когнитивными нарушениями.
Доступ к ОКОГУ исполнителя	False
Количество связанных РИД	0
Количество завершенных ИКРБС	0
Сумма бюджета	21000.0
Дата начала	2025-05-29
Дата окончания	2027-12-31
Номер контракта	25-11-00319
Дата контракта	2025-05-29
Количество отчетов	3
УДК	004.89:004.4
Количество просмотров	6
Руководитель работы	Карпов Алексей Анатольевич
Руководитель организации	Ронжин Андрей Леонидович
Исполнитель	ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ "САНКТ-ПЕТЕРБУРГСКИЙ ФЕДЕРАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК"
Заказчик	Российский научный фонд
Федеральная программа	Отсутствует
Госпрограмма	—
Основание НИОКТР	Грант
Последний статус	2025-11-11 07:29:47 UTC, 2025-11-11 07:29:47 UTC
ОКПД	Услуги, связанные с научными исследованиями и экспериментальными разработками в области компьютерных наук и информационных технологий
Отраслевой сегмент	—
Минздрав	—
Межгосударственная целевая программа	—
Ключевые слова	искусственный интеллект; обработка естественного языка; интеллектуальные технологии для здравоохранения и благополучия людей; распознавание когнитивных нарушений; цифровая обработка сигналов; распознавание образов; многомодальный анализ; аудиовизуальные данные; речевые технологии
Соисполнители	—
Типы НИОКТР	Фундаментальное исследование; Поисковое (ориентированные фундаментальные) исследование
Приоритетные направления	—
Критические технологии	—
Рубрикатор	28.23.29 - Программная реализация интеллектуальных систем
OECD	—
OESR	Компьютерные, информационные науки и биоинформатика (разработка аппаратного обеспечения относится к разделу 2.2, социальный аспект относится к разделу 5.8)
Приоритеты научно-технического развития	в) переход к персонализированной, предиктивной и профилактической медицине, высокотехнологичному здравоохранению и технологиям здоровьесбережения, в том числе за счет рационального применения лекарственных препаратов (прежде всего антибактериальных) и использования генетических данных и технологий;
Регистрационные номера	ikrbs: {'card_list': [{'id': 'RPI9MWQC98R5GKMRNU5D6W0C'}]}