Encoder-decoder — wat is het?

Encoder-decoder — Een encoder-decoder is een architectuur waarbij een encoder invoer comprimeert tot een interne representatie en een decoder die omzet naar uitvoer.

De encoder leest de invoer (een zin, een afbeelding) en destilleert de betekenis naar een compacte representatie — een soort samenvatting in getallen. De decoder gebruikt die representatie om de gewenste uitvoer te genereren, zoals een vertaling of een gegenereerd beeld. Vroege sequentie-naar-sequentie modellen voor vertalen gebruikten dit principe. In transformers zijn encoder en decoder aparte blokken met verschillende rollen.