Activatiefunctie, wat is het?

Activatiefunctie, Een activatiefunctie bepaalt of en hoe sterk een neuron zijn signaal doorgeeft, en voegt niet-lineariteit toe aan het netwerk.

Zonder activatiefunctie zou een neuraal netwerk met meerdere lagen wiskundig gelijk zijn aan één laag, alle leerwinst van diepte zou verdwijnen. Activatiefuncties zoals ReLU of sigmoid zorgen ervoor dat het netwerk complexe, niet-lineaire verbanden kan leren. ReLU is tegenwoordig dominant: alles kleiner dan nul wordt nul, de rest blijft onveranderd. Die eenvoud werkt verrassend effectief op grote schaal.