Activatiefunctie — wat is het?

Activatiefunctie — Een activatiefunctie bepaalt of en hoe sterk een neuron zijn signaal doorgeeft, en voegt niet-lineariteit toe aan het netwerk.

Zonder activatiefunctie zou een neuraal netwerk met meerdere lagen wiskundig gelijk zijn aan één laag — alle leerwinst van diepte zou verdwijnen. Activatiefuncties zoals ReLU of sigmoid zorgen ervoor dat het netwerk complexe, niet-lineaire verbanden kan leren. ReLU is tegenwoordig dominant: alles kleiner dan nul wordt nul, de rest blijft onveranderd. Die eenvoud werkt verrassend effectief op grote schaal.