Специалисты Новосибирского филиала МНТК «Микрохирургия глаза» совместно с Центром искусственного интеллекта НГУ создали инновационное устройство для помощи слабовидящим людям. Разработка была представлена вице-премьеру Дмитрию Григоренко во время его визита в технопарк новосибирского Академгородка.
Система представляет собой автономный комплекс, состоящий из видеокамеры (например, GoPro), 16-ядерного одноплатного компьютера и наушников. Принцип работы основан на мультимодальной языковой модели: камера фиксирует окружающую обстановку, компьютер преобразует изображение в текстовое описание, которое затем озвучивается через наушники.
Ключевые возможности устройства включают: определение расстояния до объектов (дверей, окон, транспорта), описание размеров и характеристик предметов, распознавание текстов, указателей и предупреждений, а также возможность отвечать на уточняющие вопросы пользователя.
«Мы используем большие языковые модели, чтобы помочь данной категории пациентов в анализе окружающего пространства — создать им проводника, который мог бы дать концентрированное словесное описание всех объектов, находящихся перед пользователем», — пояснил руководитель проекта в Центре ИИ НГУ Алексей Окунев.
Особенность разработки заключается в полной автономности (не требует интернет-соединения) и портативности (вес около 1 кг). Пользователь может носить компьютер в сумке, а камеру держать в руке, направляя ее в нужную сторону.
Прототип устройства планируется завершить к концу этого года. Сейчас ученые также работают над обучением ИИ-модели, сбором базы данных и настройкой оборудования.
Как отметил директор филиала МНТК «Микрохирургия глаза» Валерий Черных, эта технология значительно улучшит качество жизни слабовидящих людей, помогая им лучше ориентироваться в пространстве и адаптироваться в социальной среде.
