ESP32-S3 draait 135 M-parameter LLM op microcontroller
Op 4 september beschreef Hackster.io een project van Dsn Industries waarin een ESP32-S3 een 135-million-parameter taalmodel volledig lokaal uitvoert. De ontwikkelaar heeft het model SmolLM-135M tot 4-bit kwantisatie teruggebracht, waardoor het bestand ongeveer 74 MB groot werd. Omdat de chip slechts 8 MB PSRAM bevat, werd het model op een micro-SD-kaart opgeslagen en per laag ingeladen via SPI. Deze aanpak maakte inference mogelijk ondanks het beperkte interne geheugen.
Prompt-invoer gebeurde via de seriële monitor van ESP-IDF en de gegenereerde tekst verscheen zowel op een SSD1306 OLED-display als op de terminal. Elke respons duurde ongeveer 45 minuten, waardoor de toepassing praktisch onbruikbaar is voor dagelijks gebruik. Het experiment toont echter aan dat agressieve kwantisatie en externe opslag een microcontroller in staat stellen een groot taalmodel te draaien. Meer details staan op de pagina van Hackster.io.
