Kwantisatie — wat is het?

Kwantisatie — Kwantisatie is een techniek waarbij de gewichten van een model worden opgeslagen met minder bits, zodat het model kleiner en sneller wordt.

Een standaard model slaat gewichten op als 32-bits of 16-bits getallen. Kwantisatie reduceert dit naar 8, 4 of zelfs 2 bits met minimaal kwaliteitsverlies. Het resultaat: het model past in minder geheugen en draait sneller, ook op gewone hardware. Kwantisatie is een van de voornaamste technieken die het mogelijk maken om grote modellen lokaal op een laptop of telefoon te draaien.