Gradient descent — wat is het?

Gradient descent — Gradient descent is de optimalisatiemethode waarmee een model zijn gewichten stap voor stap aanpast om de fout zo klein mogelijk te maken.

Stel je voor dat je in een berglandschap staat en de laagste vallei wilt vinden terwijl je niets ziet: je zet telkens een stap in de richting die het snelst omlaag gaat. Zo werkt gradient descent — alleen in een ruimte met miljarden dimensies. De stapgrootte heet de leersnelheid: te groot en je springt voorbij het optimum, te klein en het duurt eindeloos. Varianten zoals SGD en Adam versnellen het proces in de praktijk.