LLM's inbakken in chips lost grootste AI-bottleneck niet op

Chipmakers onderzoeken of het rechtstreeks 'inbakken' van language models in silicium de prestaties van AI-hardware kan verbeteren. Volgens Techzine verhelpt dit echter niet de grootste bottleneck in AI-systemen. Die zit niet zozeer in de rekenkracht van de chip zelf, maar in het transport van data tussen geheugen en processor. Zolang die geheugenbandbreedte de beperkende factor blijft, levert een LLM op chipniveau weinig extra winst op voor de totale snelheid van AI-toepassingen.