Alle paar Monate ein neues KI-Modell: sollten Sie wechseln?

Es erscheint wieder ein neues Modell. Die Ankündigung ist voller Diagramme, in denen der Balken des Neulings etwas höher steht als der der Konkurrenz, im Titel steht "state of the art", und in den sozialen Medien ruft jeder, dass jetzt alles anders sei. Zwei Monate später passiert dasselbe bei einem anderen Unternehmen. Wer KI ernsthaft im Beruf einsetzt, steht vor einer lästigen Frage: Muss ich darauf reagieren?

Warum diese Benchmark-Diagramme wenig aussagen

Modelle werden anhand standardisierter Tests verglichen: Mathematikaufgaben, Programmieraufgaben, Prüfungsfragen, Logikrätsel. Solche Werte sind nicht nutzlos, aber sie messen etwas anderes als das, was Sie tun.

Erstens sind die Unterschiede an der Spitze oft klein. Ein Sprung von 88 auf 91 Prozent wirkt beeindruckend in einem Diagramm, das bei 80 beginnt, ist im Alltag aber kaum spürbar. Zweitens gibt es das Problem der Kontamination: Steht ein Test lange genug im Netz, landet er früher oder später in den Trainingsdaten. Das Modell hat die Antworten dann teilweise gesehen. Drittens, und das ist entscheidend: Es gibt keinen Benchmark für "schreibt einen brauchbaren Briefentwurf im Ton unserer Kanzlei" oder "fasst diese Akte zusammen, ohne die Nuancen zu zerstören". Genau das aber tun Sie damit.

Hinzu kommt: Die Ankündigung ist Marketing. Ein Unternehmen wählt die Tests aus, in denen es gut abschneidet, und lässt den Rest weg. Das ist nicht unlauter, sondern normal, bedeutet aber, dass Sie das Diagramm wie einen Werbeprospekt lesen sollten und nicht wie einen Forschungsbericht.

Was sich wirklich verbessert hat

In den letzten Jahren gab es echte Fortschritte, sie stecken nur oft nicht in den hervorgehobenen Zahlen.

Das Kontextfenster, also die Textmenge, die ein Modell auf einmal überblicken kann, ist enorm gewachsen. Wo Sie früher einen langen Bericht zerstückeln mussten, geht er heute am Stück hinein. Das verändert praktisch mehr als ein paar Prozentpunkte in einem Test.

Die Zuverlässigkeit bei Anweisungen ist gestiegen. Neuere Modelle halten sich besser an "antworte in höchstens drei Sätzen" oder "nutze nur Informationen aus diesem Dokument". Das macht im Alltag viel aus, denn genau daran scheiterten ältere Modelle.

Der Preis pro Aufgabe ist gesunken, während die Qualität stieg. Was vor zwei Jahren nur das teuerste Modell konnte, erledigt heute ein kleines, schnelles Modell zu einem Bruchteil der Kosten.

Multimodalität, also die Verarbeitung von Bild und Ton neben Text, ist von der Demo zum Alltagswerkzeug geworden. Einen Screenshot oder ein gescanntes Dokument hineinzugeben funktioniert einfach.

Der einzige Test, der wirklich zählt

Die Frage ist nicht, ob ein Modell besser ist, sondern ob es für Sie besser ist. Und das können Sie überraschend einfach selbst messen.

Sammeln Sie zehn bis zwanzig Aufgaben, die für Ihren Arbeitsalltag typisch sind: eine E-Mail, die Sie oft schreiben, ein Dokument, das Sie regelmäßig zusammenfassen, eine Frage, die Kunden immer wieder stellen. Halten Sie fest, wie eine gute Antwort aussieht oder worauf Sie achten. Erscheint dann ein neues Modell, lassen Sie dieselbe Sammlung durchlaufen und vergleichen die Ergebnisse nebeneinander.

Das kostet einmalig eine Stunde Vorbereitung und danach zehn Minuten pro Release. Dafür bekommen Sie etwas, das kein Benchmark liefert: eine ehrliche Antwort darauf, ob es in Ihrer Situation einen Unterschied macht. In Organisationen, die KI strukturell einsetzen, ist so eine eigene Testsammlung der Unterschied zwischen fundierter Entscheidung und Mitschwimmen im Hype.

Wann ein Wechsel sinnvoll ist

• Sie sind an eine konkrete Grenze gestoßen, die jetzt wegfällt: Ihre Dokumente passten nicht ins Kontextfenster, oder ein Dateiformat wurde nicht unterstützt.
• Die Kosten sinken deutlich bei gleicher Qualität in Ihrer eigenen Testsammlung. Bei Volumen schlägt das sofort durch.
• Eine Funktion ist hinzugekommen, die Sie wirklich brauchen, etwa zuverlässiges Arbeiten mit Quellen oder das Ansteuern von Werkzeugen.

Und wann nicht? Wenn der Grund lautet "es ist neuer". Ein Wechsel kostet Zeit: Prompts müssen neu justiert werden, Kolleginnen und Kollegen müssen sich umgewöhnen, und Ihre Qualitätskontrolle beginnt von vorn. Bei einem Gleichstand in Ihrer eigenen Testsammlung ist Bleiben die günstigste Entscheidung.

Der beruhigende Teil

Die zugrunde liegenden Prinzipien ändern sich viel langsamer als die Versionsnummern. Dass ein Sprachmodell das nächste Wort vorhersagt, dass es deshalb halluzinieren kann, dass es keine Quellen konsultiert, sofern Sie das nicht ausdrücklich einrichten, dass das Kontextfenster endlich ist: Das galt vor zwei Jahren und gilt bei der nächsten Ankündigung wieder. Wer diese Prinzipien versteht, muss nicht jeder Meldung folgen. Sie erkennen binnen Minuten, ob eine neue Funktion grundlegend etwas ändert oder nur hübscher verpackt ist.

Mehr dazu, wie die Modelllandschaft aufgebaut ist und wie man gezielt auswählt, finden Sie unter Was ist ein LLM? und Was ist KI?.