Transformer, wat is het?

Transformer, De transformer is de architectuur die de basis vormt van vrijwel alle moderne taalmodellen, ontwikkeld in 2017.

Vóór de transformer verwerkte AI tekst woord voor woord in volgorde, wat langzaam was en problemen gaf met lange zinnen. De transformer verwerkt alle woorden tegelijk en gebruikt attention om te bepalen welke woorden relevant zijn voor welk ander woord. Die aanpak bleek zo effectief dat het de basis werd van GPT, BERT en vrijwel alle opvolgers. De naam "transformers" in de film heeft er overigens niets mee te maken.