Elke paar maanden een nieuw AI-model: moet je overstappen?

Er komt weer een nieuw model uit. De aankondiging staat vol grafieken waarop het balkje van de nieuwkomer net iets hoger is dan dat van de concurrent, er staat "state of the art" in de titel, en op sociale media roept iedereen dat alles nu anders is. Twee maanden later gebeurt hetzelfde bij een ander bedrijf. Als je AI serieus gebruikt in je werk, dringt zich een vervelende vraag op: moet ik hier iets mee?

Waarom die benchmarkgrafieken je weinig vertellen

Modellen worden vergeleken op gestandaardiseerde tests: wiskundeopgaven, programmeeropdrachten, examenvragen, redeneerpuzzels. Zo'n score is niet nutteloos, maar hij meet iets anders dan wat jij doet.

Ten eerste zijn de verschillen aan de top vaak klein. Een sprong van 88 naar 91 procent oogt indrukwekkend op een staafdiagram dat bij 80 begint, maar is in dagelijks gebruik nauwelijks merkbaar. Ten tweede is er het probleem van besmetting: als een test lang genoeg op internet staat, komt hij vroeg of laat in de trainingsdata terecht. Het model heeft de antwoorden dan deels gezien. Ten derde, en dat is het belangrijkste: er is geen benchmark voor "schrijft een bruikbare conceptbrief in de toon van ons kantoor" of "vat dit dossier samen zonder de nuance eruit te slopen". Precies dat is wel wat jij ermee doet.

Daar komt bij dat de aankondiging marketing is. Een bedrijf kiest de tests waarop het goed scoort en laat de rest weg. Dat is niet oneerlijk, het is normaal, maar het betekent dat je de grafiek moet lezen als een reclamefolder en niet als een onderzoeksrapport.

Wat wél is verbeterd, en waarom je dat merkt

Er is de laatste jaren echte vooruitgang geboekt, alleen zit die vaak niet in de cijfers die uitgelicht worden.

Het contextvenster, de hoeveelheid tekst die een model in één keer kan overzien, is enorm gegroeid. Waar je vroeger een lang rapport in stukjes moest hakken, gaat het nu in één keer naar binnen. Dat verandert wat je praktisch kunt doen, veel meer dan een paar procent op een testscore.

Betrouwbaarheid van instructies is verbeterd. Nieuwere modellen houden zich beter aan "antwoord in maximaal drie zinnen" of "gebruik alleen informatie uit dit document". Dat scheelt in de praktijk enorm, want het is precies waar oudere modellen op afhaakten.

De prijs per taak is gedaald, terwijl de kwaliteit steeg. Wat twee jaar geleden alleen het duurste model kon, doet nu een klein en snel model voor een fractie van de kosten.

Multimodaliteit, het verwerken van beeld en geluid naast tekst, is van demo naar dagelijks bruikbaar gegaan. Een schermafbeelding of een gescand document erin gooien werkt gewoon.

De enige test die er echt toe doet

De vraag is niet of een model beter is, maar of het beter is voor jou. En dat kun je verrassend eenvoudig zelf meten.

Verzamel tien tot twintig taken die representatief zijn voor je dagelijkse werk: een e-mail die je vaak schrijft, een document dat je regelmatig samenvat, een vraag die je klanten steeds stellen. Bewaar ook wat een goed antwoord is, of in ieder geval waar je op let. Als er dan een nieuw model verschijnt, laat je diezelfde set erdoorheen lopen en vergelijk je de uitkomsten naast elkaar.

Dat kost je één keer een uurtje opzetten en daarna tien minuten per nieuwe release. In ruil krijg je iets wat geen enkele benchmark je geeft: een eerlijk antwoord op de vraag of het in jouw situatie uitmaakt. In organisaties die AI structureel gebruiken is zo'n eigen testset het verschil tussen onderbouwd kiezen en meewaaien met de hype.

Wanneer overstappen wél verstandig is

• Je liep tegen een concrete grens aan en die is nu weg: je documenten pasten niet in het contextvenster, of het model kon een bestandstype niet aan.
• De kosten dalen serieus bij gelijke kwaliteit op jouw eigen testset. Bij volume tikt dat direct door.
• Er is een functie bijgekomen die je echt nodig hebt, bijvoorbeeld betrouwbaar werken met bronnen of het aansturen van tools.

En wanneer niet? Als de reden is "het is nieuwer". Overstappen kost tijd: je prompts moeten opnieuw afgesteld, je collega's moeten wennen, en je eigen kwaliteitscontrole begint van voren af aan. Bij een gelijkspel op je eigen testset is blijven zitten de goedkoopste keuze.

Het geruststellende deel

De onderliggende principes veranderen veel langzamer dan de versienummers. Dat een taalmodel het volgende woord voorspelt, dat het daarom kan hallucineren, dat het geen bronnen raadpleegt tenzij je dat expliciet regelt, dat het contextvenster eindig is: dat gold twee jaar geleden en dat geldt bij de volgende lancering weer. Wie die principes begrijpt, hoeft niet elke aankondiging te volgen. Je herkent binnen een paar minuten of een nieuwe functie fundamenteel iets verandert of dat het een mooiere verpakking is.

Meer over hoe het modellenlandschap in elkaar zit en hoe je gericht kiest, lees je in het juiste AI-model kiezen en modellen evalueren.