ENTSCHLÜSSELT
Warum Sprachmodelle Buchstaben falsch zählen
Ein Sprachmodell kann einen komplizierten Vertrag zusammenfassen, einen flüssigen Brief entwerfen und Programmcode erklären – und trotzdem an der Frage scheitern, wie oft ein bestimmter Buchstabe in einem Wort vorkommt. Warum Sprachmodelle Buchstaben falsch zählen, wird verständlich, sobald man betrachtet, in welcher Form Text tatsächlich im Modell ankommt. Die Tokenisierung macht moderne Sprachmodelle erst effizient, verbirgt aber ausgerechnet jene Zeichenstruktur, die für fehlerfreies Zählen, Ersetzen und Sortieren gebraucht wird.
Wie oft steht der Buchstabe „r“ im englischen Wort „strawberry“? Die Antwort lautet drei. Für Menschen ist die Aufgabe so leicht, weil sie das Wort als sichtbare Folge einzelner Buchstaben betrachten, mit dem Blick von links nach rechts wandern und bei jedem Treffer weiterzählen können. Ein großes Sprachmodell verarbeitet dieselbe Eingabe jedoch normalerweise nicht als Reihe sauber getrennter Zeichen. Noch bevor seine eigentlichen Modellschichten beginnen, wird der Text in andere Einheiten zerlegt. Darin liegt der Kern eines Fehlers, der gern als amüsante Marotte abgetan wird, aber viel über die Arbeitsweise moderner KI-Systeme verrät.
Dass ein System über Literatur diskutieren und zugleich bei einer Buchstabenfrage stolpern kann, ist deshalb kein Widerspruch zwischen großer und kleiner Intelligenz. Es sind zwei technisch sehr unterschiedliche Aufgaben. Sprachliche Bedeutung lässt sich oft aus Mustern, Zusammenhängen und gelernten Beziehungen erschließen. Exaktes Zählen verlangt dagegen, dass jedes relevante Zeichen zuverlässig sichtbar bleibt, eindeutig positioniert und nach einer festen Regel verarbeitet wird. Die Serie KI entschlüsselt blickt an dieser Stelle nicht auf eine bloße Fehlermeldung, sondern auf die unscheinbare Übersetzungsschicht zwischen unserem Text und dem Modell: den Tokenizer.
Das Wort kommt nicht als Buchstabenreihe im Modell an
Tippt ein Nutzer einen Satz in einen Chatbot, gelangt dieser nicht unmittelbar als sichtbarer Text in das Sprachmodell. Ein Tokenizer wandelt ihn zunächst in eine Folge numerischer Kennungen um. Jede Kennung steht für ein Element aus einem festgelegten Vokabular. Solche Tokens können ein vollständiges häufiges Wort, eine Wortendung, eine Silbe, ein Satzzeichen, ein Leerzeichen zusammen mit einem Wortteil oder bei bytebasierten Verfahren auch eine Folge von Bytes repräsentieren. Wo die Grenzen liegen, hängt vom konkreten Tokenizer ab. Dasselbe Wort kann deshalb bei zwei Modellfamilien unterschiedlich zerlegt werden.
Ein verbreitetes Verfahren ist Byte Pair Encoding, kurz BPE. Vereinfacht beginnt es mit kleinen Einheiten und verbindet beim Aufbau des Vokabulars häufig gemeinsam auftretende Nachbarn schrittweise zu größeren Einheiten. Ein oft gesehenes Wort oder Wortstück kann dadurch mit wenigen Tokens dargestellt werden, während seltene Begriffe, Tippfehler oder ungewöhnliche Zeichenfolgen in mehr Teile zerfallen. Die einflussreiche Arbeit von Rico Sennrich, Barry Haddow und Alexandra Birch setzte eine solche Zerlegung 2016 für die neuronale Maschinenübersetzung ein, um seltene und zuvor ungesehene Wörter ohne starres Wörterbuch behandeln zu können. Das Prinzip wurde später zu einem wichtigen Baustein vieler Sprachmodelle.
Die Tokenisierung löscht die Buchstaben nicht. Aus den Tokens lässt sich der ursprüngliche Text wieder zusammensetzen; das demonstriert beispielsweise die Lehrimplementierung des OpenAI-Tokenizers tiktoken, die Text zunächst in Bytes und anschließend mit BPE in Tokens überführt. Entscheidend ist jedoch, welche Repräsentation das Modell bei seiner eigentlichen Arbeit erhält. Es sieht nicht automatisch für jeden Buchstaben eine eigene Position, sondern verarbeitet zunächst die Kennungen der zusammengefassten Einheiten und deren gelernte Vektorrepräsentationen. Stecken mehrere Buchstaben in einem Token, muss ihre innere Struktur für eine Zeichenaufgabe erst indirekt erschlossen werden.
Warum diese Abkürzung trotzdem so wertvoll ist
Ein Vokabular aus vollständigen Wörtern wäre kaum beherrschbar. Namen, zusammengesetzte deutsche Substantive, Fachbegriffe, neue Markenbezeichnungen, gebeugte Formen und Tippfehler würden ständig neue Einträge verlangen. Eine reine Zeichen- oder Bytefolge löst zwar dieses offene Vokabularproblem, macht Texte aber erheblich länger. Das ist teuer, weil die großen Modellschichten dann viel mehr Positionen verarbeiten und für die Ausgabe entsprechend mehr einzelne Schritte berechnen müssten.
Subword-Tokens bilden den praktischen Kompromiss. Häufige Muster werden kompakt, unbekannte Ausdrücke bleiben über kleinere Bestandteile darstellbar. Dadurch passen mehr Wörter in ein gegebenes Kontextbudget, und die aufwendigen Modellberechnungen müssen nicht für jeden Buchstaben einzeln ausgeführt werden. Wie der frühere Beitrag über große Kontextfenster und ihre Grenzen erklärt, bezeichnet eine hohe Tokenkapazität allerdings nur den technisch verfügbaren Raum. Nun kommt eine zweite Einschränkung hinzu: Ein Token ist keine feste Menge von Zeichen, Wörtern oder Informationen. Seine Grenzen folgen dem trainierten Vokabular und nicht einer universellen sprachlichen Maßeinheit.
Das betrifft auch verschiedene Sprachen. Ein Tokenizer, dessen Vokabular stark an englischen Daten ausgerichtet ist, kann andere Sprachen stärker zerstückeln und damit mehr Rechenschritte für denselben Inhalt benötigen. Eine kontrollierte NAACL-Untersuchung von 2024 trainierte 24 ein- und mehrsprachige Modelle mit jeweils 2,6 Milliarden Parametern und zeigte, dass die Wahl des Tokenizers sowohl Rechenkosten als auch nachgelagerte Leistung beeinflussen kann. Die dort gemessenen Werte lassen sich nicht pauschal auf jeden kommerziellen Chatbot übertragen. Sie machen aber deutlich, dass Tokenisierung keine neutrale Verpackung ist, sondern eine technische Designentscheidung mit Folgen.
Das Buchstabenwissen muss erst wieder entstehen
Sprachmodelle sind Buchstaben nicht vollständig blind. Würden sie keinerlei Informationen über die Bestandteile ihrer Tokens lernen, könnten sie kaum buchstabieren, Reime bilden, Wortstämme erkennen oder mit vielen Schreibvarianten umgehen. Das Training liefert zahlreiche indirekte Hinweise: Ein verwandtes Wort wird möglicherweise anders segmentiert, ein Wort erscheint getrennt durch Bindestriche, in einer Liste stehen einzelne Zeichen, oder dieselbe Buchstabenfolge taucht in Code und natürlicher Sprache in unterschiedlichen Zusammenhängen auf. Aus solchen Regelmäßigkeiten können Modellschichten Wissen über die innere Form eines Tokens aufbauen.
Wie indirekt dieser Weg ist, zeigen mehrere Forschungsarbeiten. Ayush Kaushal und Kyle Mahowald konnten mit trainierten Prüfklassifikatoren aus den Repräsentationen verschiedener Modelle Informationen darüber auslesen, welche Zeichen in einem Token vorkommen. Größere untersuchte Modelle schnitten dabei im Allgemeinen besser ab, und die Ergebnisse ließen sich auch auf mehrere nichtlateinische Schriften übertragen. Das bedeutet jedoch nicht, dass jedes Modell intern ein fehlerfreies Buchstabenverzeichnis besitzt. Ein Prüfklassifikator kann eine statistisch vorhandene Information aufspüren, während die normale Textausgabe sie noch lange nicht zuverlässig für eine mehrstufige Aufgabe nutzt.
Eine 2025 bei den EMNLP Findings veröffentlichte Analyse von Tatsuya Hiraoka und Kentaro Inui kam zu einem ähnlichen, aber feineren Ergebnis: In den untersuchten Modellen enthielt bereits die Einbettung eines Tokens nicht dessen vollständige Zeicheninformation, besonders jenseits des ersten Zeichens. Erst mittlere und höhere Modellschichten rekonstruierten einen größeren Teil dieses Wissens. Buchstabieren erscheint damit nicht als einfaches Ablesen des Eingabecodes, sondern als erlernte Fähigkeit, die während der Verarbeitung aufgebaut werden muss.
Genau darin liegt die überraschende Asymmetrie. Ein Sprachmodell kann die Bedeutung eines Wortes sehr stabil repräsentieren, obwohl seine Schreibweise für eine konkrete Operation nur unvollständig verfügbar ist. Bedeutung und Orthografie hängen in menschlicher Schrift eng zusammen, sind im Modell aber nicht dieselbe Rechenaufgabe.
Warum Sprachmodelle Buchstaben falsch zählen
Zu erkennen, dass ein Token wahrscheinlich ein „r“ enthält, ist noch nicht dasselbe wie festzustellen, an welchen Positionen der Buchstabe steht und wie oft er insgesamt vorkommt. Für eine sichere Zählung müsste das System das Wort korrekt in Zeichen zerlegen, jede Position genau einmal prüfen, Treffer in einem stabilen Zwischenstand sammeln und am Ende die richtige Zahl ausgeben. Das klingt trivial, ist aber eine kleine algorithmische Prozedur. Das gewöhnliche Training eines Sprachmodells optimiert dagegen vor allem, aus einem Kontext eine passende Fortsetzung vorherzusagen. Eine plausible häufige Antwort wird dadurch begünstigt; die lückenlose Ausführung eines Zählalgorithmus ist nicht automatisch garantiert.
Die 2025 veröffentlichte Studie „The Strawberry Problem“ isolierte die Zeichenverarbeitung in 19 synthetischen Aufgaben. Die Forschenden beobachteten, dass entsprechende Fähigkeiten bei tokenisierten Sprachmodellen erst spät im Training und nicht gleichmäßig entstanden. Eine von ihnen vorgeschlagene zusätzliche Architekturkomponente verbesserte die Zeichenaufgaben deutlich. Das stützt eine wichtige Einordnung: Der Fehler entsteht nicht einfach, weil ein Modell zu klein ist oder zu wenig „nachdenkt“. Die Repräsentation der Eingabe erschwert den Zugriff auf genau jene Information, die Menschen bei dieser Aufgabe direkt vor Augen haben.
Auch Zufälligkeit bei der Ausgabe ist nicht die alleinige Ursache. Eine niedrige Temperatur oder eine vollständig deterministische Auswahl kann Antworten reproduzierbarer machen, aber sie verwandelt eine falsch gelernte oder unzureichend ausgeführte Zeichenoperation nicht automatisch in einen korrekten Algorithmus. Der wahrscheinlichste nächste Antwortbaustein kann weiterhin die falsche Zahl enthalten.
Der Unterschied zur Halluzination ist ebenfalls wichtig. Beim Halluzinieren erzeugt ein Modell häufig eine nicht abgesicherte Behauptung, weil sprachliche Plausibilität und überprüfbare Wahrheit auseinanderfallen. Beim Buchstabenzählen liegt die vollständige Information bereits sichtbar in der Eingabe. Das Problem besteht darin, sie in der benötigten Granularität zu repräsentieren und exakt zu bearbeiten. Derselbe falsche Wert kann am Ende ähnlich selbstbewusst klingen, doch der technische Weg zum Fehler ist ein anderer.
Aus dem Wortspiel wird ein praktisches Problem
Die Erdbeerfrage ist ein eingängiges Beispiel, aber Zeichenpräzision wird auch bei ernsthaften Aufgaben gebraucht. Eine Zeichenfolge nach festen Regeln zu anonymisieren, Tippfehler aus einem OCR-Text zu korrigieren, Spalten einer textbasierten Tabelle auszurichten, eine Baumstruktur aus Einrückungen zu lesen oder eine biologische Sequenz umzuschreiben verlangt mehr als ein ungefähres Verständnis des Inhalts. Schon ein ausgelassenes Zeichen kann ein Ergebnis unbrauchbar machen.
Der auf der ACL 2026 veröffentlichte Benchmark SubTokenTest übertrug diese Schwäche deshalb auf zehn praktische Aufgabentypen aus vier Bereichen. Dazu gehörten unter anderem simulierte Tastatureingaben, Chiffren, OCR-Störungen, regelbasierte Maskierungen, ausgerichtete Tabellen, textbasierte Bäume und Karten sowie die Bearbeitung biologischer Sequenzen. Die Anweisungen wurden so gestaltet, dass möglichst wenig Fachwissen nötig war und Fehler stärker auf die Verarbeitung unterhalb der Tokenebene zurückgeführt werden konnten. Auch leistungsfähige Reasoning-Modelle lösten diese Aufgaben nicht durchgehend zuverlässig.
Damit wird die Grenze für den Alltag greifbar. Wer einen Absatz zusammenfassen lässt, braucht vor allem semantische Verdichtung. Wer dagegen verlangt, in jeder Kontonummer alle Zeichen bis auf die letzten vier zu ersetzen, benötigt eine deterministische Transformation. Das Sprachmodell kann die Regel sprachlich korrekt erklären und sie dennoch an einer einzelnen Position verletzen. Bei Maskierung, Datenbereinigung, Dateiformaten, Code, Prüfsummen oder maschinenlesbaren Kennungen reicht „fast richtig“ nicht.
Mehr Rechenzeit hilft – bis sie neue Fehler erzeugt
Ein naheliegender Ausweg besteht darin, das Modell das Wort zuerst sichtbar in einzelne Zeichen zerlegen zu lassen und danach zu zählen. Diese Zwischenrepräsentation kann die verborgene Struktur nach außen holen. Reasoning-Modelle verwenden ähnliche Zerlegungen, indem sie für eine Aufgabe zusätzliche Rechenschritte erzeugen. Das verbessert manche Zeichenoperationen, beseitigt die Ausgangsschwäche aber nicht, denn bereits die ausgeschriebene Zeichenfolge kann einen Fehler enthalten. Außerdem steigt der Aufwand erheblich.
SubTokenTest fand bei leistungsfähigen Reasoning-Modellen Vorteile durch solche expliziten Zwischenschritte, allerdings zu hohen Tokenkosten. In einem eng abgegrenzten Versuch mit DeepSeek-R1-Distill-Qwen-7B und einer Aufgabe zur Bearbeitung biologischer Sequenzen stieg die gemessene Leistung zunächst mit dem Denkbudget, erreichte ungefähr zwischen 1.024 und 2.048 erzeugten Denktokens ein Plateau und fiel bei noch längeren Spuren wieder ab. Dieser einzelne Versuch ist kein allgemeines Gesetz für alle Modelle und Aufgaben. Er zeigt aber, weshalb „mehr nachdenken“ nicht mit einer unbegrenzt steigenden Genauigkeit gleichgesetzt werden darf: Längere Zwischenschritte schaffen zusätzliche Möglichkeiten für Wiederholungen, Abweichungen und Übertragungsfehler.
Zuverlässiger ist bei exakten Zeichenaufgaben häufig ein spezialisiertes Werkzeug. Ein kurzes Programm, eine Suchfunktion oder ein regelbasierter Textprozessor kann jede Position deterministisch prüfen; ein Sprachmodell kann die Aufgabe formulieren, das Werkzeug aufrufen und dessen Ergebnis in verständlichen Text einordnen. Dabei muss klar bleiben, woher die Genauigkeit stammt. Liefert ein Chatbot die richtige Buchstabenanzahl, kann das Ergebnis aus den Modellgewichten, aus einer intern erzeugten Zerlegung oder aus einem angeschlossenen Codewerkzeug kommen. Benutzeroberfläche, Sprachmodell und Werkzeug sind drei verschiedene Ebenen.
Modelle ohne feste Token suchen einen anderen Kompromiss
Forschende versuchen seit Jahren, die starre Tokenisierung zu umgehen. CANINE verarbeitet Zeichen ohne ein festes Subword-Vokabular und verkürzt die lange Zeichenfolge intern, bevor tiefe Transformer-Schichten den Kontext berechnen. ByT5 arbeitet direkt mit Bytes und zeigte in den damaligen Experimenten besondere Robustheit gegenüber verrauschtem Text sowie Stärken bei Aufgaben, die von Schreibweise und Aussprache abhängen. Der Preis solcher Ansätze liegt in den längeren Eingabefolgen: Was ein Subword-Modell in wenigen Tokens bündelt, benötigt auf Byte- oder Zeichenebene viele Schritte.
Der Byte Latent Transformer, kurz BLT, versucht diesen Konflikt mit dynamischen Gruppen zu lösen. Statt ein festes Tokenvokabular zu verwenden, fasst die Architektur Bytes abhängig davon zusammen, wie schwer der nächste Abschnitt vorherzusagen ist. Die BLT-Arbeit berichtet für die untersuchten Modellgrößen über konkurrenzfähige Skalierung, besseren Umgang mit verrauschten Eingaben und stärkere Zeichenfähigkeiten. Sie stammt allerdings von den Entwicklerinnen und Entwicklern der Architektur und ist kein Beleg dafür, dass feste Tokens bereits allgemein überholt wären.
Gerade SubTokenTest liefert die nötige Gegenperspektive. Das dort untersuchte BLT-Modell verbesserte einzelne zeichenempfindliche Aufgaben, übertraf ein größenähnliches BPE-Modell jedoch nicht durchgehend und löste den gesamten Benchmark keineswegs. Direkter Zugriff auf Bytes entfernt eine Hürde, ersetzt aber weder geeignetes Training noch eine zuverlässige Rechenstrategie. Tokenfreie Modelle müssen deshalb denselben Grundkonflikt neu austarieren: möglichst genaue Details auf der einen, beherrschbare Sequenzlänge und Rechenkosten auf der anderen Seite.
Was Nutzer aus einem Buchstabenfehler ableiten sollten
Ein falsches Zählergebnis beweist nicht, dass ein Sprachmodell Sprache grundsätzlich nicht versteht. Die verdichtete Tokenrepräsentation ist gerade einer der Gründe, weshalb solche Systeme Bedeutungen über lange Passagen hinweg verknüpfen und flüssig formulieren können. Ebenso wenig beweist eine richtige Antwort, dass das Modell einen stabilen Zählalgorithmus beherrscht. Es kann ein häufig gesehenes Beispiel wiedergeben, eine günstige Tokenzerlegung erwischt oder ein Werkzeug benutzt haben. Entscheidend ist deshalb die Art der Aufgabe.
Für Zusammenfassungen, Formulierungen, thematische Gliederungen und viele Übersetzungen passt die Arbeit auf Wort- und Bedeutungsebene gut zur Architektur. Sobald das Ergebnis von jedem einzelnen Zeichen abhängt, sollte es separat geprüft oder mit einem dafür vorgesehenen Werkzeug erzeugt werden. Das gilt besonders für Anonymisierung, Zugangscodes, Seriennummern, strukturierte Datensätze, technische Konfigurationen und Programmcode. Dort ist eine beinahe richtige Zeichenfolge häufig schlicht falsch.
Was der kleine Zählfehler über große Modelle verrät
Warum Sprachmodelle Buchstaben falsch zählen, lässt sich damit als Folge eines bewussten technischen Kompromisses erklären. Tokenisierung verdichtet Text, hält das Vokabular offen und senkt den Rechenaufwand. Gleichzeitig nimmt sie dem Modell den unmittelbaren, positionsweisen Zugriff auf die Zeichen innerhalb vieler Tokens. Buchstabenwissen kann während des Trainings indirekt entstehen und in höheren Schichten rekonstruiert werden, doch eine exakte Zähl- oder Ersetzungsprozedur folgt daraus nicht automatisch.
Die Grenze verläuft daher nicht zwischen „intelligent“ und „unintelligent“, sondern zwischen statistischer Sprachverarbeitung und deterministischer Zeichenarbeit. Moderne Systeme können diese Lücke mit zusätzlichen Trainingsaufgaben, bytebasierten Architekturen, sichtbaren Zwischenschritten und externen Werkzeugen verkleinern. Vollständig verschwunden ist sie nicht. Wer das berücksichtigt, erkennt in der falsch gezählten Erdbeere keinen kuriosen Totalausfall, sondern einen selten so anschaulichen Blick auf die Repräsentation unterhalb einer erstaunlich flüssigen Antwort.
Stand der Recherche: 10. September 2026.
Hauptquellen
- Sennrich, Haddow und Birch: Neural Machine Translation of Rare Words with Subword Units – ACL 2016, grundlegende Arbeit zur Subword-Tokenisierung mit BPE.
- Kaushal und Mahowald: What do tokens know about their characters and how do they know it? – NAACL 2022, Untersuchung impliziter Zeicheninformationen in Tokenrepräsentationen.
- Ali et al.: Tokenizer Choice For LLM Training: Negligible or Crucial? – Findings of NAACL 2024, kontrollierter Vergleich verschiedener Tokenizer.
- Cosma et al.: The Strawberry Problem – EMNLP 2025, Studie zur Entstehung von Fähigkeiten auf Zeichenebene.
- Hiraoka und Inui: Spelling-out is not Straightforward – Findings of EMNLP 2025, Analyse der Rekonstruktion von Zeichenwissen in Modellschichten.
- Hou, Hu und Zhang: SubTokenTest – ACL 2026, Benchmark für praktische Aufgaben unterhalb der Tokenebene.
- Xue et al.: ByT5 und Clark et al.: CANINE – begutachtete Arbeiten zu byte- und zeichenbasierten Modellen.
- Pagnoni et al.: Byte Latent Transformer – Entwicklerarbeit zur dynamischen Gruppierung von Bytes, in der verwendeten Fassung ein Preprint.ki
Technik-Deals im Überblick
Ausgewählte Angebote und zeitlich begrenzte Preisaktionen rund um Technik und Gadgets.
Mehr auf gadgetChecks
Entdecke mehr bei gadgetChecks
Was sich für dich ändert
Regeln, Fristen, Kosten und Warnungen mit ihren konkreten Folgen für Verbraucher.
Alltag Aktuell öffnenGames, Plattformen und Deals
Aktuelle Meldungen zu Releases, Konsolen, PC Gaming, Mobile, Studios und Abos.
Gaming öffnenProdukte, Angebote und Ideen
Neues für Küche, Reinigung, Wohnen, Garten und Balkon – verständlich und praktisch eingeordnet.
Zuhause öffnen
