Eine Forschungsgruppe der Stanford University hat 50 verbreitete Behauptungen über KI-Sprachmodelle erneut geprüft. 44 Prozent davon gelten heute nicht mehr, weitere 34 Prozent haben an Gewicht verloren. Im Schnitt ist eine solche Aussage nach 15,7 Monaten überholt. Die Technik entwickelt sich damit schneller, als Menschen ihre Wahrnehmung nachführen können. Für Schweizer Klein- und Mittelunternehmen (KMU) hat das praktische Folgen. Wer KI-Werkzeuge nach den Erfahrungen von gestern beurteilt, beurteilt oft ein Produkt, das es in dieser Form nicht mehr gibt.

Fünfzig Behauptungen auf dem Prüfstand

Die Studie von Owen Queen und James Zou richtet sich an grosse Sprachmodelle (Large Language Models, LLM): 50 Behauptungen über deren Schwächen und Eigenheiten, die in Fachpublikationen weite Verbreitung hatten, wurden mit demselben Test erneut geprüft. Die 20 getesteten Modelle stammen von acht Entwicklern und erschienen zwischen Juli 2024 und September 2026. Die Behauptungen stammen aus Veröffentlichungen zu Schmeichelei, Sicherheitslücken, Vorurteilen und langen Dokumenten.

Vom Erdbeer-Test bis zum Meetingprotokoll

Die abgelaufenen Behauptungen betreffen vor allem sichtbare Fehlfunktionen. Lange galt als Beleg für die Grenzen der KI, dass Modelle im englischen Wort «strawberry» zwei statt drei r zählten. Auch das Rechnen in ungewohnten Zahlensystemen bereitete Mühe, also mit einer anderen Basis als der üblichen Zehn. Fakten aus der Mitte langer Dokumente gingen gerne verloren. In Meetingzusammenfassungen tauchten vertrauliche Inhalte auf. Trading-Agenten, also Programme, die selbständig an der Börse handeln, trafen Entscheidungen auf Basis von Insiderwissen. Diese Aussagen waren nie falsch. Sie sind überholt, weil die Modelle besser geworden sind.

Erfundene Zitate werden selten

Ein Beispiel macht den Mechanismus greifbar. Das Nature-Paper von Walters und Wilder wies 2023 nach, dass ChatGPT 55 Prozent der Zitate in selbst geschriebenen Literaturübersichten erfand. Aktuelle Modelle machen das kaum noch, wie die Stanford-Forscherin und der Stanford-Forscher zeigen. Die ICLR-Konferenz weist Forschungsarbeiten mit erfundenen Quellen trotzdem weiterhin pauschal ab. Die Behauptung ist nicht falsch geworden. Sie ist überholt.

Was sich hartnäckig hält

Andere Schwächen bleiben. Dazu gehören Schmeichelei, also das Gefällige statt des Korrekten, eine politische Grundhaltung bei Tests und die Tendenz, auch bei unbeantwortbaren Fragen eine Antwort zu geben. Die leicht nachtrainierbaren Fehler verschwinden, Urteils- und Vorurteilsverhalten hält länger. Das ist die eigentliche Botschaft der Studie für den Umgang mit KI.

Relevanz für Schweizer Unternehmen

Vor einem Jahr als schwach bewertete KI-Werkzeuge können heute besser sein als gedacht. Umgekehrt bleiben Schmeichelei und Vorurteile auch in neuen Modellen bestehen. Die nüchterne Regel lautet: KI-Werkzeuge vor der Einführung mit aktuellen Tests bewerten und diese Tests regelmässig wiederholen. Wer ein System laufend prüfen lässt, sieht, wann sich die Grenzen verschieben, und kann sein Urteil nachziehen, bevor es falsch wird.

Ein Hinweis zum Schluss: Wer kontinuierliche KI-Tests mit vertraulichen Unternehmensdaten aufsetzt, braucht eine Umgebung, in der die Daten vertraulich behandelt werden. Mit META10 Secure AI bleiben sämtliche Daten jederzeit im Schweizer AI-Datacenter. Sie werden weder für das Training von KI-Modellen noch für Werbezwecke verwendet. Die Konformität mit der DSGVO und dem EU AI Act ist gewährleistet.