В Новосибирске представили модель ИИ-помощника для незрячих

2025-07-21T08:55:13Z — В устройстве используется мультимодальная языковая модель, благодаря чему оно выдает качественное словесное описание окружающих помещений и предметов

НОВОСИБИРСК, 21 июля. /ТАСС/. Базовую модель автономного интеллектуального помощника для слабовидящих и незрячих пациентов представили зампредседателя правительства РФ Дмитрию Григоренко во время его визита в Новосибирский государственный университет. Разработка устройства осуществляется с использованием больших языковых моделей и технологий ИИ, сообщили ТАСС в пресс-службе вуза.

Как отметил директор филиала МНТК "Микрохирургия глаза", профессор Валерий Черных, сейчас для помощи незрячим есть разные социальные и реабилитационно-обучающие программы, требующие достаточно больших финансовых вложений. Кроме того, ученые последние 20 лет пытаются вживить дорогостоящие и высокотехнологичные чипы либо в сетчатку глаза, либо непосредственно в затылочную часть коры головного мозга, которая отвечает за функцию зрения. Однако это дорого, сложно и сопряжено с большим риском.

"Родилась идея использовать слуховой анализатор мозга для ориентации человека в пространстве. Когда человек читает книгу или слушает аудиозапись, в его мозгу формируются определенные образы о предметах и т. д. Если дать слабовидящему или слепому пациенту через слуховой анализатор возможность определять расстояние до объекта (дверного проема, окна, транспортного средства), его размеры. Это, безусловно, поможет ему в реальной жизни и адаптации в социальной среде", - приводит слова профессора пресс-служба.

На первом этапе разработчики создают прототип прибора и обучают модель в соответствии с поставленными задачами, чем активно занимается сформированная рабочая группа, в которую вошли ученые центра ИИ НГУ и МНТК "Микрохирургия глаза". "Принцип работы данной системы прост: "видеть" вместо человека будет видеокамера, информация с которой поступит в портативный компьютер, преобразующий ее в текст. Затем текстовое описание преобразуется голосовым помощником и подается через наушники непосредственно пациенту. Данное сообщение предоставляет основную информацию, которую пользователю необходимо знать, чтобы ориентироваться в пространстве, - пояснил руководитель проекта в центре ИИ НГУ Алексей Окунев.

При разработке устройства используется мультимодальная языковая модель, благодаря чему оно уже выдает достаточно качественное словесное описание окружающих помещений и предметов. В перспективе у пользователя появится возможность задавать уточняющие вопросы о наблюдаемой сцене и получать развернутые ответы на них. Также данная языковая модель прекрасно распознает тексты, считывает надписи, указатели, предупреждения о препятствиях.

Сейчас учеными создана базовая модель, прототип устройства будет готов к концу 2025 года. Это компактная носимая система, состоящая из одноплатного 16-ядерного компьютера, размещенного в наплечной сумке, видеокамеры (например, GoPro) и наушников. Устройство будет снабжено аккумулятором, а все элементы будут соединены беспроводными каналами коммуникации. Видеокамеру пользователь будет держать в руке и наводить в желаемом направлении. Общий вес устройства с аккумулятором составит около 1 кг.

О планах ученых

По оценке специалистов ЦИИ НГУ, на разработку конечного продукта, готового для тиражирования, потребуется не один год, и сейчас они находятся на самом старте проекта. Это касается и технической части, и обучения искусственного интеллекта. После создания прототипа в этом году начнется длительная работа по настройке устройства, установлению режимов, сбору базы данных и обучению ИИ.

В планах разработчиков научить ИИ расставлять акценты в предоставлении информации, выделяя из всего видеоряда детали, которые наиболее важны для ориентации слабовидящего человека в пространстве и оценки окружающей обстановки в зависимости от ситуации. Предполагается, что устройство будет иметь несколько режимов работы: режим движения - для передвижения в пространстве, режим чтения - для работы с текстовыми документами.

Читайте также: