Self-attention — wat is het?

Self-attention — Self-attention is het mechanisme waarmee een model elk woord in een tekst afweegt tegen alle andere woorden in diezelfde tekst.

Bij self-attention stelt elk woord als het ware de vraag: "welke andere woorden in deze zin zijn relevant voor mijn betekenis?" Het antwoord is een gewogen mix van alle woorden. Dit gebeurt parallel voor elk woord en in meerdere 'aandachtshoofden' tegelijk. Self-attention is de kern van de transformerarchitectuur en de reden dat deze modellen zo goed zijn in het omgaan met lange afstandsafhankelijkheden in tekst.