Oude telefoon verandert in lokale AI-server voor productiviteit

Poco M6 Pro-eigenaar Ayush Pande veranderde zijn verouderde smartphone in een lokale LLM-server, geschikt voor eenvoudige productiviteitstaken. Met behulp van Termux en de inference-engine llama.cpp draait hij het model Gemma 4 E2B, dat dankzij zijn efficiënte architectuur redelijke prestaties levert: 5 à 6 tokens per seconde.

Het model ondersteunt ook visuele invoer, waardoor de camera van de telefoon gebruikt kan worden voor taken zoals optische karakterherkenning (OCR) en analyse van documenten.

De telefoon was oorspronkelijk bedoeld voor simpele containerized services, maar bleek verrassend geschikt voor AI-werk. Pande kiest voor Gemma 4 E2B omdat het model vergelijkbare redeneervermogen heeft als grotere modellen, maar met een kleiner footprint. Zo genereert hij OCR-rapporten, vat hij PDF’s en boeken samen en controleert hij e-mailontwerpen. Hoewel de telefoon geen vervanging is voor zijn thuislab met zwaardere modellen, blijkt deze opstelling ideaal voor snelle, mobiele taken.
Meer details staan op de pagina van XDA Developers.