Waarom werd AI zo goed? Schaal en emergentie
Cursussen › Cursus 4 · Onder de motorkap
In een paar jaar tijd gingen taalmodellen van het produceren van vage zinnen naar het schrijven van code, het uitleggen van wetten en het doordenken van complexe problemen. Dat is niet alleen het gevolg van slimmere algoritmen — een groot deel komt door pure schaal: meer parameters, meer trainingsdata, meer rekenkracht.
Wat onderzoekers verraste, was dat bij een zekere omvang opeens nieuwe vaardigheden opdoken die niemand had voorspeld. Dat fenomeen heet emergentie: vaardigheden die er bij een kleiner model niet waren, verschijnen plotseling als het model groot genoeg wordt. In deze module leer je waarom schaal zo'n verschil maakt — en waar de grenzen van die aanpak liggen.
In deze module leer je
- Wat schaalwetten zijn en waarom meer data en parameters helpen
- Wat emergente vaardigheden zijn en hoe ze opdoken in grote modellen
- Waarom de sprong naar grote modellen zo onverwacht krachtig was
- Waar de grenzen van schalen liggen en welke alternatieven onderzoekers verkennen
Veelgestelde vragen
Grotere modellen hebben meer parameters en zijn getraind op meer data, waardoor ze fijnere patronen oppikken. Bovendien treden bij grotere schaal emergente vaardigheden op: capaciteiten die bij kleinere modellen afwezig zijn.
Emergente vaardigheden zijn capaciteiten die plotseling opduiken bij een bepaalde modelgrootte, zonder dat ze bij kleinere versies zichtbaar waren. Voorbeelden zijn meerstapps-redeneren en vertaling tussen talen die nauwelijks in de trainingsdata zaten.
Niet onbeperkt. De opbrengsten van schalen nemen af, en de kosten aan rekenkracht en energie stijgen sterk. Onderzoekers zoeken daarom ook naar betere trainingsmethoden en architecturen.
Deze module zit in de cursus Onder de motorkap. Module 1 van AILogica is gratis.
Meer uit deze cursus: Tokens en het contextvenster · Bronnen, tools en agents