Inference — wat is het?

Inference — Inference is het gebruik van een al getraind model om een voorspelling of antwoord te genereren op nieuwe invoer.

Training en inference zijn twee aparte fasen. Tijdens training passen de gewichten zich aan; tijdens inference liggen ze vast en wordt enkel de berekening vooruit uitgevoerd. Inference is wat er gebeurt elke keer dat je een vraag stelt aan een taalmodel. Hoewel goedkoper dan training, is inference op grote schaal alsnog kostbaar en energiehungrig.