Scaling laws, wat is het?

Scaling laws, Scaling laws zijn empirische wetmatigheden die beschrijven hoe de prestaties van AI-modellen verbeteren naarmate je meer parameters, data of rekenkracht inzet.

Onderzoekers ontdekten dat de verbetering van modellen voorspelbaar volgt uit drie factoren: het aantal parameters, de hoeveelheid trainingsdata en de hoeveelheid rekentijd. Deze verbanden zijn verrassend consistent over vele ordes van grootte. Scaling laws gaven AI-labs de zekerheid dat groter trainen loonde, en dreven de race naar steeds grotere modellen. Ze geven echter geen garantie dat capaciteiten oneindig blijven schalen.