Distillatie (model distillation) — wat is het?

Distillatie (model distillation) — Distillatie is een techniek waarbij een kleiner model wordt getraind om het gedrag van een groter model na te bootsen, zodat het compacter en sneller wordt.

Het grote model fungeert als 'leraar': het genereert zachte kansverdelingen over antwoorden die meer informatie bevatten dan een binair juist/fout-label. Het kleine 'student'-model leert die nuances, waardoor het beter presteert dan wanneer het op ruwe labels was getraind. Distillatie maakt het mogelijk om compacte modellen te maken die dicht bij de kwaliteit van reuzen zitten. GPT-4o mini en vergelijkbare modellen zijn mede door distillatie zo efficiënt.