AI die op het toestel draait: wanneer is dat slim?
Steeds meer AI-functies kunnen op het toestel zelf draaien in plaats van via een server. Dat verandert je afwegingen rond snelheid, kosten en privacy, maar het is geen gratis winst. Dit is wanneer het loont en wanneer niet.
Wat er lokaal kan
Telefoons hebben tegenwoordig hardware die speciaal voor modellen is bedoeld, en de modellen die daarop passen zijn de afgelopen jaren flink beter geworden. Spraakherkenning, tekstclassificatie, beeldherkenning, samenvatten van korte teksten en vertalen doen het lokaal inmiddels goed genoeg voor veel toepassingen.
Wat lokaal nog moeizaam gaat is alles wat een groot model vraagt: lange redeneringen, uitgebreide generatie, of taken waarbij kennis nodig is die niet in een compact model past. Daarvoor blijf je bij een server uitkomen.
De praktische vuistregel: als de taak smal en herhalend is, is lokaal vaak haalbaar. Is de taak open en breed, dan niet.
Wat het oplevert
Snelheid, want er is geen netwerkrondgang. Voor functies die tijdens het typen of tijdens het filmen reageren, is dat het verschil tussen bruikbaar en irritant.
Werken zonder verbinding. In het veld, in een kelder, in een vliegtuig: een lokale functie doet het gewoon. Voor apps die door monteurs of inspecteurs worden gebruikt is dat vaak doorslaggevend.
Privacy en kosten in één. Gegevens die het toestel niet verlaten, hoef je niet te verantwoorden richting een verwerker, en je betaalt niet per verzoek. Bij functies die veel worden gebruikt telt dat tweede snel op.
Waar je tegenaan loopt
Modelgrootte. Een model dat in je app zit, maakt je download groter, soms met tientallen megabytes. Dat is een reële drempel bij installatie, en de stores kijken ernaar mee.
Accu en warmte. Zware modellen laten draaien kost energie, en een app die de telefoon warm maakt, wordt weggedaan. Test dit op oudere toestellen, niet alleen op de nieuwste.
Versiebeheer. Een servermodel werk je bij zonder dat gebruikers iets merken. Een lokaal model zit vast in de versie die iemand heeft geïnstalleerd, en niet iedereen werkt bij. Reken op meerdere versies tegelijk in het veld.
De middenweg
In de praktijk kiezen veel apps geen van beide maar allebei. De snelle, veelgebruikte taak draait lokaal; de zware taak gaat naar een server. Dat vraagt wel dat je vooraf bedenkt wat er gebeurt als de server niet bereikbaar is, want anders krijg je een app die soms half werkt zonder dat de gebruiker begrijpt waarom.
Wat je in elk geval vastlegt: welke gegevens het toestel verlaten en welke niet. Dat is niet alleen een technische keuze maar ook wat je in je privacylabel en richting gebruikers moet kunnen uitleggen.
