ENTSCHLÜSSELT
Warum KI unterschiedlich antwortet – selbst auf dieselbe Frage
Warum KI unterschiedlich antwortet, obwohl die Eingabe unverändert bleibt, hat mit der Erzeugung jedes einzelnen Textbausteins zu tun. Sprachmodelle wählen zwischen mehreren plausiblen Fortsetzungen, während Temperatur, Auswahlverfahren und technische Rechenabläufe den weiteren Weg beeinflussen. Diese Vielfalt kann nützlich sein – bei Fakten und Entscheidungen wird sie jedoch zur Grenze.
Ein Chatbot erhält zweimal dieselbe Bitte: „Erkläre den Treibhauseffekt in drei verständlichen Sätzen.“ Die erste Antwort beginnt mit der Sonnenstrahlung, die zweite mit den Gasen in der Atmosphäre. Beide können fachlich stimmen, andere Beispiele verwenden und dennoch denselben Kern vermitteln. Bei einer dritten Wiederholung fehlt womöglich ein wichtiger Zusammenhang oder eine Formulierung klingt plötzlich wesentlich sicherer als zuvor.
Das System hat seine Meinung nicht geändert. Es erinnert sich auch nicht zwingend an die frühere Antwort und entscheidet sich anschließend bewusst für eine Alternative. Der Unterschied entsteht bereits in dem Moment, in dem aus der Eingabe der nächste Textbaustein ausgewählt wird. Ein Sprachmodell erzeugt keinen fertigen Absatz auf einmal, sondern setzt die Antwort schrittweise zusammen. An jedem dieser Schritte sind mehrere Fortsetzungen denkbar.
Damit berührt die Frage einen zentralen Mechanismus der Textgenerierung. Frühere Beiträge aus KI entschlüsselt haben gezeigt, weshalb Sprachmodelle Text in Tokens statt in sichtbaren Buchstaben verarbeiten und warum sie dabei plausible Falschaussagen erzeugen können. Nun geht es um den Augenblick dazwischen: Wie wird aus den berechneten Möglichkeiten genau jene Formulierung, die auf dem Bildschirm erscheint?
Jede Antwort beginnt mit einer Verteilung
Bevor ein Sprachmodell ein Wort ausgibt, verarbeitet es die bisherige Eingabe als Folge von Tokens. Wie der GadgetChecks-Beitrag über das falsche Zählen von Buchstaben erklärt, können solche Tokens vollständige Wörter, Wortteile, Satzzeichen oder andere Einheiten repräsentieren. Für die nächste Position berechnet das Modell anschließend Werte für sein gesamtes Vokabular. Nach einer mathematischen Umwandlung lassen sie sich als Wahrscheinlichkeitsverteilung darstellen.
Auf den Satzanfang „Der Zug erreicht den Bahnhof und …“ könnten beispielsweise mehrere passende Fortsetzungen folgen. „hält“, „öffnet“ oder „fährt“ wären je nach Kontext unterschiedlich wahrscheinlich. Die Werte bedeuten nicht, dass das Modell über die Wahrheit jeder Variante nachgedacht hat. Sie drücken aus, wie gut das jeweilige Token nach den erlernten Mustern und dem aktuellen Kontext an diese Stelle passt.
Die Antwort ist zu diesem Zeitpunkt noch nicht festgelegt. Zwischen der berechneten Verteilung und dem sichtbaren Text liegt das sogenannte Decoding: ein Auswahlverfahren, das bestimmt, welches Token tatsächlich verwendet wird. Die Dokumentation der Transformers-Bibliothek von Hugging Face unterscheidet dafür unter anderem zwischen einer stets auf den Spitzenwert gerichteten Auswahl und verschiedenen Sampling-Verfahren.
Warum KI unterschiedlich antwortet: Decoding wählt einen Weg
Die einfachste Strategie heißt Greedy Decoding. Das System nimmt an jeder Position das Token mit dem höchsten berechneten Wert. Bleiben Modell, Eingabe, Rechenablauf und sämtliche Einstellungen wirklich identisch, führt diese Auswahl grundsätzlich immer denselben Pfad entlang.
Viele Anwendungen verwenden jedoch Sampling oder verwandte Verfahren. Dabei wird das nächste Token aus mehreren plausiblen Kandidaten gezogen. Ein Kandidat mit hoher Wahrscheinlichkeit besitzt eine größere Chance, ausgewählt zu werden, ist aber nicht zwingend jedes Mal an der Reihe. Der Zufall ist dabei normalerweise kein unkontrollierbares Rauschen, sondern Teil eines festgelegten Auswahlprozesses mit pseudozufälligen Zahlen.
Das lässt sich mit einer Schale vergleichen, in der für wahrscheinlichere Fortsetzungen mehr Lose liegen als für unwahrscheinliche. Ein oft passendes Token könnte 60 Lose besitzen, zwei Alternativen jeweils 20. Der Favorit gewinnt besonders häufig, aber nicht bei jeder Ziehung. Nach der Auswahl wird das gezogene Token an den bisherigen Text angehängt, und das Modell berechnet auf dieser neuen Grundlage die nächste Verteilung.
Eine einzige frühe Abzweigung genügt deshalb, um zwei vollständige Antworten auseinanderlaufen zu lassen. Beginnt eine Erklärung mit einer Definition, werden anschließend andere Formulierungen wahrscheinlich als bei einem Einstieg über ein Alltagsbeispiel. Beide Texte stammen aus demselben Modell und derselben ursprünglichen Frage, bewegen sich nach dem ersten Unterschied aber durch verschiedene Kontexte.
Temperatur verändert die Auswahl, nicht das Wissen
Die Temperatur ist eine verbreitete Stellgröße für diese Auswahl. Sie verändert die Form der Wahrscheinlichkeitsverteilung, bevor ein Token gezogen wird. Eine niedrige Temperatur hebt besonders wahrscheinliche Kandidaten stärker hervor. Eine höhere Temperatur flacht die Verteilung ab, sodass auch weniger wahrscheinliche Fortsetzungen häufiger zum Zug kommen.
Dadurch kann eine niedrige Temperatur Antworten ähnlicher und fokussierter machen. Eine höhere Einstellung fördert sprachliche Abwechslung, ungewöhnlichere Ideen und alternative Blickwinkel, erhöht aber zugleich das Risiko unpassender Abzweigungen. Die Temperatur fügt dem Modell weder neues Wissen hinzu noch entfernt sie vorhandene Fakten. Sie beeinflusst, wie breit das System bei der Ausgabe unter seinen berechneten Möglichkeiten auswählt.
Das häufig gemeinsam eingesetzte Top-p-Verfahren begrenzt diese Auswahl zusätzlich. Dafür werden die Kandidaten nach Wahrscheinlichkeit sortiert und nur so viele berücksichtigt, bis ihre addierten Werte einen festgelegten Anteil erreichen. Ist die Verteilung sehr eindeutig, kann diese Gruppe klein sein. Bei einer offenen Situation gelangen mehr Kandidaten hinein. Der Kreis zulässiger Fortsetzungen passt sich somit bei jedem Schritt neu an.
Dieses als Nucleus Sampling bekannte Verfahren wurde von Ari Holtzman und seinen Mitautoren systematisch untersucht. Ihre bei der ICLR 2020 veröffentlichte Arbeit zur Degeneration neuronaler Texte zeigte, weshalb die ständige Maximierung von Wahrscheinlichkeiten bei offenen Texten zu faden, unzusammenhängenden oder repetitiven Ausgaben führen kann. Etwas Auswahlspielraum ist deshalb nicht bloß eine technische Ungenauigkeit, sondern kann die Textqualität verbessern.
Ein kleiner Unterschied wächst Satz für Satz
Sprachmodelle arbeiten autoregressiv: Jedes erzeugte Token wird Teil der Eingabe für den nächsten Schritt. Das sorgt dafür, dass ein früher Unterschied nicht auf ein einzelnes Wort beschränkt bleibt.
Wählt eine Antwort zunächst „Ein wichtiger Grund“, liegt eine erklärende Fortsetzung nahe. Beginnt sie dagegen mit „Drei Faktoren“, entsteht wahrscheinlich eine Aufzählung. Nach wenigen Tokens unterscheiden sich Satzbau, Schwerpunkt und Länge deutlich. Später können sogar andere Argumente erscheinen, weil der inzwischen erzeugte Text unterschiedliche Zusammenhänge aktiviert.
Dieser Effekt erklärt, weshalb zwei Antworten inhaltlich nahe beieinanderliegen und trotzdem kaum einen identischen Satz enthalten müssen. Er erklärt aber auch, wie aus einer zunächst winzigen Abweichung ein sachlich bedeutender Unterschied werden kann. Wird früh eine mehrdeutige Annahme gewählt, bauen alle folgenden Schritte womöglich darauf auf. Die Variation betrifft dann nicht mehr nur den Stil, sondern die Schlussfolgerung.
Sampling ist deshalb kein nachträglich aufgesetzter Synonymgenerator. Die gewählte Fortsetzung verändert fortlaufend die Bedingungen, unter denen das Modell den restlichen Text erzeugt.
Verschiedene Antworten sind nicht automatisch ein Widerspruch
Bei offenen Aufgaben gehört Variation häufig zum gewünschten Ergebnis. Für eine Geburtstagskarte gibt es nicht die eine statistisch korrekte Formulierung. Auch eine Ideensammlung, ein Titelvorschlag oder eine anschauliche Erklärung kann auf mehreren Wegen gelingen. Würde das System immer nur die wahrscheinlichste Wortfolge verfolgen, entstünden leicht sehr ähnliche, vorsichtige und repetitive Texte.
Bei geschlossenen Fragen gelten andere Maßstäbe. Das Ergebnis einer Rechnung, das Datum eines Urteils oder die Dosierungsangabe eines Medikaments wird nicht richtiger, weil es abwechslungsreich formuliert ist. Weichen mehrere Antworten lediglich im Aufbau voneinander ab, kann das harmlos sein. Ändern sich jedoch Zahlen, Quellen, Voraussetzungen oder die zentrale Aussage, zeigt die Variation eine fehlende Stabilität.
Mehrere übereinstimmende Ausgaben bilden dabei keinen Wahrheitsbeweis. Ein Modell kann dieselbe gelernte Falschinformation sehr konsistent wiederholen. Umgekehrt können zwei unterschiedliche Formulierungen denselben korrekten Inhalt transportieren. Entscheidend ist daher nicht die Zeichenübereinstimmung, sondern ob die tragenden Behauptungen stabil und anhand belastbarer Quellen prüfbar sind.
Das grenzt die Variabilität zugleich von Halluzinationen ab. Der frühere Beitrag darüber, warum Sprachmodelle halluzinieren, behandelt die Trennung zwischen sprachlicher Plausibilität und überprüfbarer Wahrheit. Sampling erklärt zunächst nur, weshalb ein Modell verschiedene Pfade wählen kann. Ob einer dieser Pfade eine unbelegte Behauptung enthält, ist eine weitere Frage.
Temperatur null ist keine absolute Garantie
Wird Sampling abgeschaltet und stets das wahrscheinlichste Token gewählt, erscheint die Ausgabe auf den ersten Blick vollständig deterministisch. Für ein abstraktes Modell mit exakt denselben Zahlen und Rechenschritten trifft das grundsätzlich zu. Reale KI-Systeme laufen jedoch auf umfangreicher Hardware, verteilen Berechnungen über mehrere Prozessoren und fassen Anfragen aus Effizienzgründen zu wechselnden Stapeln zusammen.
Dabei kommen Gleitkommazahlen mit begrenzter Genauigkeit zum Einsatz. Addition und Multiplikation solcher Werte sind nicht in jeder Reihenfolge bitgenau gleich. Die PyTorch-Dokumentation zur numerischen Genauigkeit weist deshalb darauf hin, dass mathematisch gleichwertige Berechnungen je nach Reihenfolge, Stapelverarbeitung, Plattform oder Rechenwerk nicht zwingend bitidentische Ergebnisse liefern.
Meist sind diese Differenzen winzig. Liegen zwei mögliche Tokens nahezu gleichauf, kann eine kleine Rundungsabweichung dennoch ihre Reihenfolge vertauschen. Sobald ein anderes Token ausgewählt wurde, setzt der autoregressive Verstärkungseffekt ein und aus einem minimalen numerischen Unterschied entsteht ein sichtbar anderer Text.
Eine auf der NeurIPS 2025 veröffentlichte Untersuchung zur Nichtdeterministik bei der LLM-Inferenz demonstrierte diesen Effekt unter kontrollierten Bedingungen. Bei den getesteten Modellen konnten Änderungen an Stapelgröße, Zahl und Typ der Grafikprozessoren selbst mit Greedy Decoding und identischem Startwert zu abweichenden Antworten führen. Besonders lange Reasoning-Ausgaben reagierten empfindlich, weil frühe Rundungsunterschiede über viele Erzeugungsschritte anwuchsen.
Das bedeutet nicht, dass jede wechselnde Chatbot-Antwort durch Hardware verursacht wird. Sampling, veränderter Kontext und aktualisierte Modelle sind im Alltag meist die naheliegenderen Erklärungen. Die Rechenebene zeigt jedoch, weshalb selbst „Temperatur null“ nicht unter allen Betriebsbedingungen mit garantierter Zeichenidentität gleichgesetzt werden darf.
Die sichtbare Frage ist nicht immer die vollständige Eingabe
Was im Texteingabefeld gleich aussieht, kann im Hintergrund zu zwei verschiedenen Modellaufrufen gehören. Eine Chat-Anwendung ergänzt häufig eigene System- oder Entwickleranweisungen, den bisherigen Gesprächsverlauf, gespeicherte Präferenzen, Auszüge aus Dokumenten und Ergebnisse externer Werkzeuge. Die OpenAI-Dokumentation zur Textgenerierung beschreibt beispielsweise verschiedene Nachrichtenrollen, deren Anweisungen unterschiedlich gewichtet werden. Die zugehörige Dokumentation zum Gesprächszustand zeigt, wie frühere Antworten und weitere Kontextelemente in spätere Aufrufe einfließen können.
Eine Frage in einem bestehenden Gespräch trifft deshalb auf andere Voraussetzungen als dieselbe Frage in einem neuen Chat. Auch eine Websuche kann bei zwei Durchläufen andere Fundstellen liefern. Das Sprachmodell verarbeitet dann nicht zweimal exakt denselben Informationsstand, selbst wenn der sichtbare Nutzersatz unverändert geblieben ist.
Hinzu kommen Aktualisierungen des Dienstes. Anbieter können Modellversionen, Systemanweisungen, Sicherheitsregeln, Werkzeugauswahl und Erzeugungseinstellungen verändern. Der bekannte Produktname in der Oberfläche reicht daher nicht immer aus, um zwei Antworten technisch gleichzusetzen. Für eine reproduzierbare Prüfung müssten auch Modellstand, vollständiger Kontext, Werkzeuge, Decoding-Konfiguration und Ausführungsumgebung kontrolliert werden.
Verlässlichkeit bedeutet mehr als denselben Wortlaut
Für einen kreativen Entwurf darf eine neue Antwort tatsächlich neu klingen. Bei einer Datenextraktion, einer rechtlichen Einordnung oder einer technischen Konfiguration ist dagegen nicht die sprachliche Vielfalt, sondern die Stabilität der entscheidenden Angaben wichtig. Entwickler versuchen deshalb, beide Anforderungen getrennt zu behandeln.
Engere Ausgabevorgaben können Form und Umfang stabilisieren. Strukturierte Ausgabeformate begrenzen, welche Felder ein System erzeugen darf. Eine feste Modellversion, unveränderte Anweisungen und kontrollierte Decoding-Einstellungen reduzieren weitere Unterschiede. Deterministische Rechenverfahren und höhere numerische Präzision können Abweichungen auf der Hardwareebene verringern, verlangen jedoch unter Umständen mehr Rechenzeit oder Speicher.
Für exakte Operationen bleibt ein spezialisiertes Werkzeug oft zuverlässiger als eine möglichst streng eingestellte Textgenerierung. Ein Rechner sollte die Zahlen bestimmen, ein Parser die Pflichtfelder prüfen und eine Datenbank den aktuellen Datensatz liefern. Das Sprachmodell kann die Anfrage verstehen und das Ergebnis erläutern, muss aber nicht selbst jene Eindeutigkeit erzeugen, für die seine probabilistische Arbeitsweise schlecht geeignet ist.
Auch die Prüfung sollte zum Risiko passen. Bei einem Formulierungsvorschlag genügt häufig die persönliche Auswahl. Bei Fakten müssen Originalquellen tragen. Bei automatisierten Entscheidungen braucht es definierte Testfälle, zulässige Wertebereiche und eine Behandlung für widersprüchliche oder unvollständige Ausgaben. Eine wiederholte Anfrage kann Unterschiede sichtbar machen, ersetzt diese Kontrolle aber nicht.
Was wechselnde Antworten über Sprachmodelle verraten
Warum KI unterschiedlich antwortet, lässt sich weder allein mit Zufall noch mit einem vermeintlichen Meinungswechsel erklären. Ein Sprachmodell berechnet an jeder Position mehrere mögliche Fortsetzungen. Das Decoding bestimmt, wie eng oder breit daraus ausgewählt wird, und jedes erzeugte Token verändert die Grundlage für alle weiteren Schritte. Zusätzlich können Gesprächskontext, Werkzeuge, Modellversion und numerische Rechenabläufe variieren.
Diese Beweglichkeit ist ein Teil der Fähigkeit, Sprache offen zu erzeugen. Sie ermöglicht verschiedene Erklärungen, Ideen und Formulierungen, statt immer denselben starren Text abzurufen. Dieselbe Eigenschaft setzt aber eine klare Grenze: Ein plausibler Einzeltext ist keine vollständig reproduzierbare Berechnung.
Für Nutzer ist deshalb weniger entscheidend, ob zwei Antworten wortgleich sind. Wichtig ist, ob die zentralen Aussagen gleich bleiben, ob Abweichungen für die Aufgabe vertretbar sind und ob folgenreiche Angaben außerhalb des Sprachmodells geprüft werden können. Wo nur eine richtige Zahl, Zeichenfolge oder Entscheidung zulässig ist, sollte die letzte Instanz kein Auswahlverfahren für plausible Sprache sein.
Stand der Recherche: 14. Oktober 2026.
Hauptquellen
- Hugging Face: Generation – Konfiguration von Greedy Decoding, Sampling, Temperatur und Top-p
- Holtzman et al.: The Curious Case of Neural Text Degeneration, ICLR 2020
- Yuan et al.: Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference, NeurIPS 2025
- PyTorch: Numerical Accuracy
- OpenAI: Text Generation
- OpenAI: Conversation State
Technik-Deals im Überblick
Ausgewählte Angebote und zeitlich begrenzte Preisaktionen rund um Technik und Gadgets.
Mehr auf gadgetChecks
Entdecke mehr bei gadgetChecks
Was sich für dich ändert
Regeln, Fristen, Kosten und Warnungen mit ihren konkreten Folgen für Verbraucher.
Alltag Aktuell öffnenGames, Plattformen und Deals
Aktuelle Meldungen zu Releases, Konsolen, PC Gaming, Mobile, Studios und Abos.
Gaming öffnenProdukte, Angebote und Ideen
Neues für Küche, Reinigung, Wohnen, Garten und Balkon – verständlich und praktisch eingeordnet.
Zuhause öffnen
