Temperatuur (sampling), wat is het?

Temperatuur (sampling), Temperatuur is een instelling die bepaalt hoe creatief of voorspelbaar een taalmodel reageert bij het genereren van tekst.

Bij elke stap kiest een taalmodel een volgend token op basis van kansen. Een lage temperatuur (bijv. 0,1) kiest bijna altijd het meest waarschijnlijke token, betrouwbaar, maar repetitief. Een hoge temperatuur (bijv. 1,5) gooit vaker minder waarschijnlijke keuzes in de mix, creatiever, maar soms onsamenhangerend. Voor feitelijke vragen wil je een lage temperatuur; voor creatief schrijven een hogere.