Attention — wat is het?

Attention — Attention is het mechanisme waarmee een taalmodel bepaalt welke woorden in een tekst relevant zijn voor het begrijpen van een specifiek woord.

Stel je leest: "De bank stond vol met bladeren." Of het om een geldinstelling of een zitbank gaat, hangt af van context. Attention laat het model alle andere woorden wegen: "bladeren" en "stond" trekken meer aandacht dan "de". Dit herhaalt het model voor elk woord tegelijk, in meerdere parallelle "hoofden" — vandaar de naam multi-head attention. Het is dé reden waarom transformers zo goed zijn in nuance en context.