Van GPT naar ChatGPT: pretraining en RLHF
Cursussen › Cursus 2 · Hoe taal-AI denkt
Een ruwe taalmodel is getraind op enorme hoeveelheden tekst van het internet en kan daarmee het volgende woord voorspellen — maar het is nog geen bruikbare assistent. De stap van GPT naar ChatGPT vereist twee extra lagen: fine-tuning op instructies en gesprekken, en RLHF (Reinforcement Learning from Human Feedback), waarbij menselijke beoordelaars het model leren welke antwoorden beter zijn.
Die twee lagen maken het verschil tussen een model dat tekst completeert en een dat vragen beantwoordt, feedback opvolgt en schadelijke uitvoer vermijdt. In deze module ontdek je hoe die drie fasen — pretraining, fine-tuning, RLHF — op elkaar volgen en wat elke fase verandert aan het gedrag van het model.
In deze module leer je
- Wat pretraining is en waarom het zo veel tekst en rekenkracht vraagt
- Hoe fine-tuning een algemeen taalmodel omvormt tot een assistent
- Wat RLHF is en welke rol menselijke beoordelaars spelen
- Waarom dit proces niet perfect is en welke beperkingen het achterlaat
Veelgestelde vragen
GPT is het onderliggende taalmodel, getraind op tekst van het internet. ChatGPT is dat model na extra fine-tuning en RLHF: het is afgestemd op gesprekken en instructies opvolgen, en getraind om nuttig en veilig te antwoorden.
RLHF staat voor Reinforcement Learning from Human Feedback. Menselijke beoordelaars rangschikken antwoorden van het model; die rankings trainen een apart "beloningsmodel" dat vervolgens gebruikt wordt om het taalmodel verder bij te sturen.
Nee. RLHF verbetert het gedrag sterk, maar het model kan nog steeds hallusineren, vooroordelen overnemen uit trainingsdata of antwoorden geven die plausibel klinken maar onjuist zijn.
Deze module zit in de cursus Hoe taal-AI denkt. Module 1 van AILogica is gratis.
Meer uit deze cursus: Embeddings: de landkaart van betekenis · Waarom hallucineert AI?