Добавь сайт в закладки! Инструкция по ссылке.
У него всего 16 МБ флеш-памяти
Украинский разработчик Slava S (slvDev) продемонстрировал, что запуск локальной языковой модели возможен даже на очень недорогом микроконтроллере. В рамках проекта ESP32-AI ему удалось запустить ИИ непосредственно на ESP32-S3 стоимостью около 10 долларов. При этом все было реализовано без подключения к интернету и облачным сервисам.
На первый взгляд задача кажется почти невозможной. ESP32-S3 располагает всего 512 КБ встроенной оперативной памяти (SRAM), 8 МБ PSRAM и 16 МБ флеш-памяти. Обычно таких ресурсов недостаточно даже для самых миниатюрных языковых моделей.
Чтобы преодолеть это ограничение, разработчик применил архитектурный метод Per-Layer Embeddings, который используется в семействе моделей Google Gemma. После квантования модели до 4 бит ее размер удалось сократить до 14,9 МБ. Самую крупную таблицу, содержащую около 25 миллионов параметров, разместили во флеш-памяти, а SRAM использовали исключительно для вычислений. Это позволило значительно снизить требования к оперативной памяти.
Используемая модель включает 28,9 миллиона параметров и обучена на датасете TinyStories. Она способна генерировать лишь короткие художественные тексты и не предназначена для общения, написания кода или поиска фактов. Поэтому проект скорее иллюстрирует технические возможности современных архитектур, чем претендует на полноценную замену крупных языковых моделей.
По мнению автора, подобный метод может быть востребован в автономных устройствах, где важно обрабатывать данные локально. Например, бытовая техника, промышленные контроллеры или различные встроенные системы смогут использовать искусственный интеллект без постоянного подключения к облачным сервисам.
Использованный принцип многоуровневого хранения данных может оказаться полезным и для будущих серверных ИИ-систем, где в настоящее время активно изучается возможность хранения части моделей на высокоскоростной флеш-памяти вместо дорогостоящей оперативной памяти.
ИсточникПоделись видео: