Bias (vooringenomenheid) — wat is het?

Bias (vooringenomenheid) — Bias in AI is een systematische vertekening in de uitvoer van een model, vaak veroorzaakt door vertekeningen in de trainingsdata.

Als een model getraind is op tekst die bepaalde groepen vaker negatief portretteert, neemt het die patronen over — ook al is dat nooit de bedoeling geweest. Bias kan ook ontstaan door keuzes in de selectie van trainingsdata of de beloningsfunctie bij RLHF. Het gevaarlijke van bias is dat het onzichtbaar kan zijn: de output klinkt objectief terwijl er een systematisch patroon in zit. Testen en diversiteit in trainingsdata helpen, maar lossen het probleem niet volledig op.