Een goedkoper model voor het simpele werk

Tot voor kort koos je één model en dat deed alles: de moeilijke afweging én het opzoeken van een bestandsnaam. Je betaalde dus voor het duurste denkwerk, ook bij het domste klusje.

Agents die met deelopdrachten werken, kunnen nu per deelopdracht een model kiezen. De hoofdagent redeneert met het sterkste model, en de sub-agenten die tests draaien, documentatie bijwerken of bestanden doorzoeken, doen dat met iets goedkopers.

Daar bovenop kwamen de prijsdalingen. Het vlaggenschipmodel van Anthropic kwam eind juli uit op ongeveer de helft van de prijs van zijn voorganger, en OpenAI verlaagde de tarieven op sommige modellen met tot tachtig procent. Open modellen die je zelf draait, zijn inmiddels goedkoop genoeg om er agentwerk mee te doen voor centen.

Het eerste is dat je vaker moet herhalen wat je bedoelde. Een goedkoper model dat de opdracht net anders leest, kost je twee extra beurten — en die twee beurten zijn samen duurder dan het verschil dat je dacht te besparen.

Het tweede is dat het resultaat klopt maar niet past. De code doet wat er gevraagd is en volgt niet de manier waarop de rest van je project is opgebouwd. Dat merk je niet aan een foutmelding maar aan het gevoel dat je aan het opruimen bent in plaats van aan het bouwen.

Het derde is dat de agent vaker vastloopt op iets kleins. Een pad dat niet klopt, een naam die net anders is. Zwaardere modellen redden zich daar doorheen; lichtere blijven eraan hangen. Als je dat merkt, zet die stap terug in plaats van je opdracht scherper te formuleren.

De bruikbaarste vraag is: heeft deze stap een oordeel nodig of alleen een uitvoering? Alles wat een oordeel vraagt, gaat naar het sterke model. Alles wat een instructie uitvoert die al vaststaat, kan goedkoper.

Een tweede vraag die helpt: hoe erg is het als deze stap fout gaat en ik merk het pas later? Een fout in een samenvatting merk je meteen. Een fout in de opzet van je gegevensmodel merk je over drie maanden. Dat verschil bepaalt waar je op bezuinigt.

Wat je in de praktijk ziet gebeuren, is dat mensen te ver doorslaan naar goedkoop en dan concluderen dat het niet werkt. De verhouding die bij ons standhoudt, is ongeveer een derde van de stappen op het zware model en de rest eronder — maar dat derde deel is wel het deel waar alles op rust.

Op een gemiddelde bouwsessie is het verschil merkbaar maar niet spectaculair: je verbruik zakt, en het valt vooral op bij lange sessies met veel opzoekwerk. Wie een uur per dag met een agent werkt, merkt het in zijn maandrekening; wie een keer per week iets bouwt, nauwelijks.

Waar het wél groot wordt, is bij werk dat in de breedte gaat: een migratie over honderd bestanden, een set tests aanvullen, een codebase doorzoeken op een patroon. Daar zit het meeste verbruik in stappen die geen oordeel vragen, en daar loopt het verschil op tot een veelvoud.

Reken er tegelijk op dat de tarieven blijven bewegen. Wat vandaag een goede verdeling is, kan over een half jaar anders liggen. Bouw je opzet daarom zo dat je de keuze per stap kunt veranderen zonder je hele werkwijze om te gooien.

Als je een assistent in je eigen app zet, betaal je per gebruik aan een modelaanbieder terwijl je klant je waarschijnlijk per maand betaalt. Dat gat is waar marges verdwijnen, en het is precies dezelfde afweging: welk deel van je functie heeft het zware model nodig?

In veel producten is dat maar een klein deel. Het herkennen van wat iemand bedoelt, het samenvatten van een gesprek, het ophalen van het juiste stuk tekst — dat kan meestal een tandje lager. Alleen het antwoord zelf, het stuk dat je klant leest, vraagt het beste dat je hebt.

Wie dat onderscheid maakt bij het ontwerpen, houdt een functie over die betaalbaar blijft als het gebruik verdubbelt. Wie het niet maakt, ontdekt het bij de eerste klant die je functie tien keer intensiever gebruikt dan de rest.

In een bouwdag telt voorspelbaarheid zwaarder dan de laatste procenten besparing. We laten het denkwerk op het beste model lopen en zetten alleen het duidelijke opzoek- en herhaalwerk lager. Dat is geen optimalisatie maar een vangnet: als er iets misgaat, wil je niet ook nog uitzoeken of het aan de modelkeuze lag.

Wat we wel altijd doen, is een plafond instellen voordat we beginnen. Niet omdat we verwachten eroverheen te gaan, maar omdat een agent die in een lus belandt anders de hele dag doorrekent zonder dat iemand het ziet.