Учёные разработали «электронную сетчатку» для улучшения зрения роботов и беспилотников

Новый светочувствительный сенсор изменяет свою чувствительность в реальном времени без внешнего управления

Одной из наиболее сложных задач для систем компьютерного зрения остаются резкие изменения освещения. Человек может без особых затруднений выйти из темного помещения на яркую улицу или заметить объект в свете встречных фар ночью. Для камер беспилотных автомобилей и роботов такие переходы часто становятся источником ошибок. Исследователи из Университета Пенсильвании разработали электронный сенсор, который решает эту проблему, подражая работе человеческого глаза.

Результаты исследования опубликованы в журнале Nature Communications.

Основная идея основана на устройстве сетчатки. В человеческом глазу палочки и колбочки отвечают за восприятие света. Палочки особенно чувствительны к низкому уровню освещения, однако при ярком свете временно теряют свою чувствительность, а затем постепенно восстанавливают её в темноте. Это позволяет глазу непрерывно адаптироваться к окружающим условиям и сохранять способность различать детали в широком диапазоне яркости.

Команда под руководством профессора Ларри Чэна попыталась воспроизвести этот механизм в электронном устройстве. Для достижения этой цели исследователи создали новый тип фотомемристора — компонента, который одновременно чувствует свет и хранит информацию о предыдущих воздействиях.

Конструкция состоит из двух материалов: проводящего полимерного слоя с гелеобразными свойствами и диоксида титана. Когда свет попадает на устройство, диоксид титана генерирует электрический ток. Этот ток заставляет полимер поглощать или выделять воду в зависимости от уровня освещённости. В результате чувствительность сенсора автоматически изменяется без внешнего управления, адаптируясь к окружающей среде в реальном времени.

Чтобы оценить эффективность технологии, учёные собрали матрицу из 16 сенсоров размером 4×4 и подключили её к нейронной сети, создав простейшую систему машинного зрения. Затем систему подвергли испытанию, напоминающему классическую проверку зрения у человека. Она должна была распознавать светящуюся букву F на фоне с постоянно изменяющейся яркостью.

После 7 циклов обучения экспериментальная установка достигла точности более 95% даже при сложных условиях освещения. Это говорит о том, что система сохраняла способность корректно распознавать объекты там, где обычные камеры часто теряют контрастность и допускают ошибки.

Каждый отдельный фотомемристор имеет размер около половины миллиметра. При этом разработчики подчеркивают, что такие элементы можно объединять в гораздо более крупные массивы без изменения конструкции отдельных сенсоров. Это открывает путь к созданию полноценных камер нового поколения для автономных транспортных средств и робототехнических систем.

По словам авторов работы, технология может найти применение далеко за пределами беспилотного транспорта. Среди возможных направлений называются промышленные роботы, работающие в условиях переменного освещения, а также вспомогательные устройства для людей с нарушениями зрения.

Исследователи уже подали предварительную патентную заявку и работают над следующим этапом проекта. В будущем они планируют создать мультимодальную систему, способную одновременно обрабатывать не только визуальную информацию, но и данные о прикосновениях. Если эта задача будет решена, то новые сенсоры смогут стать основой более чувствительных и адаптивных роботизированных платформ, которые будут воспринимать окружающий мир ближе к тому, как это делает человек.