In-context learning — wat is het?

In-context learning — In-context learning is het vermogen van een taalmodel om een taak uit te voeren op basis van uitsluitend de voorbeelden en instructies in de prompt, zonder hertraining.

Klassieke machine learning vereist training of fine-tuning om nieuwe taken te leren. Bij in-context learning volstaat het om de taak in de prompt te omschrijven — eventueel met een paar voorbeelden. Het model past zijn gedrag aan zonder dat één gewicht wordt gewijzigd. Dit maakt taalmodellen uitzonderlijk flexibel, maar betekent ook dat het 'leren' verdwijnt zodra het gesprek eindigt.