ENTSCHLÜSSELT
Wie KI Diagramme liest und wo sie sich verliest
Die Kurve steigt. Das erkennt ein Chatbot oft auf Anhieb. Sobald er den genauen Wert für März nennen soll, kann dieselbe Grafik zur Stolperfalle werden. Wie KI Diagramme liest, hängt davon ab, was das Bild tatsächlich hergibt und wie das Modell Linien, Zahlen und Beschriftungen miteinander verknüpft.
Der Screenshot aus der Strom-App zeigt zwei Linien, ein paar Monatskürzel und eine schmale Skala am linken Rand. Auf die Frage, in welchem Monat der Verbrauch am höchsten war, weist ein Chatbot im Beispiel auf den richtigen Gipfel. Gleich danach nennt er für März 186 Kilowattstunden. Im Bild liegt der Punkt irgendwo zwischen 180 und 200. Einen exakten Wert würde die App erst anzeigen, wenn man den Punkt antippt.
Die beiden Fragen sehen ähnlich aus, verlangen aber unterschiedliche Arbeit. Für den höchsten Punkt genügt es, die passende Linie zu finden und ihre Höhe mit den übrigen Punkten zu vergleichen. Für den Märzverbrauch muss das System zusätzlich die Skala lesen, den Punkt richtig zuordnen und erkennen, ob er überhaupt genau genug dargestellt ist. Die Zahl 186 klingt, als hätte das System sie irgendwo abgelesen. Der Screenshot zeigt aber nur, wo der Punkt ungefähr liegt.
Wie KI Diagramme liest
Ein Screenshot enthält Pixel. Die ursprüngliche Tabelle, die Formel hinter einer Kurve oder die eingeblendeten Werte einer interaktiven Grafik sind nur verfügbar, wenn die Anwendung sie separat mitliefert. Bei einem Bild-Sprach-Modell verarbeitet zunächst ein Bildencoder die Grafik. Er wandelt die Bilddaten in Zahlen um, die das Sprachmodell zusammen mit der Frage auswerten kann. Manche Anwendungen setzen zusätzlich eine Texterkennung oder einen spezialisierten Dokumentendienst ein. Am fertigen Antwortsatz ist oft kaum zu erkennen, welchen Weg das System genommen hat.
Bei Qwen2.5-VL ist der Aufbau öffentlich beschrieben. Die Höhe und Breite des Bildes werden zunächst auf Vielfache von 28 Pixeln gebracht. Anschließend verarbeitet der Bildencoder Ausschnitte von 14 mal 14 Pixeln und berechnet für sie Bildmerkmale. Je vier räumlich benachbarte Merkmalsdarstellungen werden zusammengeführt und in eine Form gebracht, die das Sprachmodell gemeinsam mit der Texteingabe verarbeiten kann. Diese visuellen Tokens enthalten verdichtete Bildinformationen. Das Sprachmodell kann daraus beispielsweise die Beschriftung „Mär“ erkennen. Ob es sie mit dem richtigen Punkt verbindet, entscheidet sich erst bei der weiteren Verarbeitung. Technischer Bericht zu Qwen2.5-VL
Aus dem Beitrag über das falsche Zählen von Buchstaben ist ein ähnlicher Perspektivwechsel vertraut. Schon bei Text verarbeitet das Modell eine andere Darstellung als die, die Menschen auf dem Bildschirm sehen. Beim Diagramm kommt die räumliche Zuordnung hinzu. Die Zahl am linken Rand ist erst dann hilfreich, wenn das Modell sie mit der passenden Höhe und der richtigen Kurve verbindet.
Eine Kurve zu verfolgen ist leichter, als ihr einen Wert zu geben
Viele Diagramme folgen wiederkehrenden Konventionen. In Liniendiagrammen läuft die Zeit oft von links nach rechts. Gleichfarbige Segmente gehören häufig zu einer Reihe. Balken reichen in einer üblichen Darstellung von einer Grundlinie bis zur Höhe des jeweiligen Werts. Solche Zusammenhänge lassen sich aus Trainingsbeispielen lernen. Das Qwen-Team beschreibt im eigenen Bericht unter anderem eine Million synthetisch erzeugte Diagrammbeispiele für Qwen2.5-VL, darunter Balkendiagramme und Heatmaps. An solchen Beispielen kann ein Modell lernen, welche Bildmerkmale beim Lesen, Zuordnen und Vergleichen eine Rolle spielen. Qwen2.5-VL Technical Report, Trainingsdaten
Um bei zwei gut getrennten Balken den höheren zu benennen, kann ein Modell mit ihren Umrissen auskommen. Für die Differenz muss es beide Werte bestimmen. Steht neben der Achse „in Tsd.“, kommt eine weitere Information hinzu. Ein Balken bei 25 steht dann für 25.000 Einheiten. Und bei einer logarithmischen Achse steht derselbe Abstand auf dem Papier für denselben Faktor. Zwischen 10 und 100 liegt auf einer solchen Skala ebenso viel Platz wie zwischen 100 und 1.000.
Wenn die richtige Zahl zur falschen Linie gehört
Bei zwei Achsen kann das Modell beide Skalen richtig lesen und trotzdem einen falschen Wert nennen. In einer Grafik mit Temperatur links und Stromverbrauch rechts lässt sich eine Linienhöhe erst dann sinnvoll deuten, wenn feststeht, zu welcher Achse die Linie gehört. Ein falsch zugeordnetes Kürzel in der Legende kann daher die ganze Auswertung verschieben. Die Zahlen mögen sauber erkannt sein. Der Fehler steckt in der Zuordnung.
Tückisch wird es dort, wo sich zwei ähnlich gefärbte Linien kreuzen. Bis zur Kreuzung kann die gesuchte Reihe eindeutig zu verfolgen sein. Danach muss das Modell etwa einen Farbunterschied, die Strichelung oder ein Markierungssymbol wiedererkennen. Sind diese Merkmale im Bild schwer auszumachen, kann das Modell der falschen Linie folgen und trotzdem eine schlüssige Beschreibung des Jahresverlaufs liefern. Auch ein Mensch kann sich an dieser Stelle verlesen. Der Fehler fällt oft erst auf, wenn man die Linie vom Legendeneintrag bis zum fraglichen Punkt verfolgt.
Ein schärferes Bild kann helfen, die Datentabelle bleibt entscheidend
Die Märzmarkierung im Stromdiagramm könnte in einem scharfen Export deutlicher zu sehen sein als in einem verkleinerten Screenshot. Ist sie trotzdem nur als Punkt zwischen zwei Teilstrichen eingezeichnet, bleibt der Wert eine Schätzung. Durch Rundung und die begrenzte Zahl an Bildpunkten können mehrere leicht unterschiedliche Messwerte praktisch gleich aussehen. Die ursprüngliche Zahl lässt sich aus dem Bild allein dann nur näherungsweise bestimmen. Mehr Auflösung hilft vor allem, wenn das Detail im Ausgangsmaterial tatsächlich vorhanden ist.
Wie stark die Darstellung die Modellleistung verändern kann, untersuchten Fime und Kollegen mit ROBUSTCHART360. Die auf der EMNLP 2026 veröffentlichte Arbeit wertete 35.070 Antworten von 14 offenen und proprietären Bild-Sprach-Modellen zu 2.505 Diagrammvarianten aus. Geringe Auflösung und mobile Layouts zählten zu den Veränderungen, die den getesteten Systemen Schwierigkeiten bereiteten. Wenn Bild und Text einander widersprachen, stützten sich die Modelle in der Untersuchung häufig zu stark auf den Text. Bei einem Screenshot mit Titel, Legende und Kommentar kann sich eine Antwort also plausibel auf die Überschrift stützen, obwohl die gezeichnete Kurve etwas anderes zeigt. ROBUSTCHART360, EMNLP 2026
Auch ein Ausschnitt hat zwei Seiten. Wird der Märzpunkt größer dargestellt, lassen sich Linien und Teilstriche möglicherweise leichter unterscheiden. Schneidet man dabei die Legende oder die Achsenbeschriftung ab, fehlt womöglich genau das Detail, das aus einer Höhe einen Verbrauchswert macht. Eine Detailansicht hilft beim Ablesen. Die vollständige Grafik zeigt, zu welcher Reihe der Punkt gehört und welche Skala für ihn gilt.
Manche Fragen lassen sich aus dem Bild nicht beantworten
Ein Diagramm kann zeigen, dass der Verbrauch im März gestiegen ist. Ob die Heizung, ein zusätzliches Gerät oder ein längerer Abrechnungszeitraum den Anstieg erklärt, steht in einer bloßen Verbrauchskurve gewöhnlich nicht. Ebenso wenig verrät ein Monatsbalken, wie viel Strom an einem bestimmten Dienstag verbraucht wurde. Wer nach einer Ursache oder einem Tageswert fragt, verlangt Informationen, die in dieser Darstellung fehlen.
Genau solche Fälle enthält der Benchmark ChartQAPro. Masry und Kollegen stellten 1.948 Fragen zu 1.341 Grafiken zusammen, darunter Dashboards, Infografiken und Fragen, auf die das vorgelegte Material keine Antwort gab. Unter den 21 untersuchten Modellen waren GPT-4o, Gemini Flash 2.0 und Claude Sonnet 3.5. Die Fehleranalyse fand Probleme beim Ablesen dichter Grafiken und beim Ableiten von Zahlen aus Balkenhöhen. Auch Rechenfehler kamen vor. Die Untersuchung aus dem Jahr 2025 zeigt damit, an wie unterschiedlichen Stellen eine einzige Diagrammfrage scheitern kann. ChartQAPro, Findings der ACL 2025
Aus KI entschlüsselt ist das Grundproblem der Halluzinationen bei Sprachmodellen bekannt. Bei Diagrammen lässt es sich genauer eingrenzen. Eine Zahl kann beim Ablesen falsch zugeordnet, beim Rechnen verändert oder überhaupt erst ergänzt worden sein. Wer nur die Endantwort sieht, kann diese Fälle kaum auseinanderhalten. Die Fundstelle im Bild und der Rechenweg geben zwei getrennte Möglichkeiten, den Fehler zu finden.
Aus der Grafik wird eine Tabelle, die sich prüfen lässt
Der Forschungsansatz DePlot trennt das Ablesen von der Auswertung. Ein spezialisiertes Modell übersetzt das Diagrammbild zunächst in eine Tabelle in Textform. Ein Sprachmodell bekommt diese Tabelle zusammen mit der Frage und kann darauf aufbauen. Steht für März in der erzeugten Tabelle der richtige Wert, lässt sich eine falsche Differenz separat untersuchen. Steht bereits in der Tabelle eine falsche Zahl oder die falsche Reihe, wird der Fehler sichtbar, bevor er sich in einem ganzen Absatz fortsetzt. Die Tabelle bleibt eine Rekonstruktion aus dem Bild. Ihre Spalten können ordentlich aussehen und trotzdem falsch befüllt sein. DePlot, Findings der ACL 2023
CharTool geht einen anderen Weg. Das System kann einen Bildausschnitt genauer betrachten und Code für die Berechnung ausführen. In den Versuchen der Autoren schnitt der Ansatz über mehrere Diagrammtests hinweg besser ab als die jeweiligen Basismodelle. Die Werkzeuge greifen an verschiedenen Stellen ein. Der Ausschnitt hilft beim Ablesen, der Code beim Rechnen. Geht der Wert der falschen Linie in die Rechnung ein, kann der Code die Differenz korrekt berechnen und trotzdem ein falsches Ergebnis für die gestellte Frage liefern. CharTool, Autorenfassung für ACM Multimedia 2026
Wann sich ein Blick in die Originaldaten lohnt
Für einen ersten Überblick kann ein Bild-Sprach-Modell gute Dienste leisten. Es kann einen möglichen Wendepunkt nennen, zwei grobe Verläufe beschreiben oder auf eine auffällige Lücke hinweisen. Sobald eine Zahl in einen Bericht, eine Präsentation oder eine weitere Rechnung einfließt, zählt ihre Herkunft. Ein direkt beschrifteter Wert lässt sich in der Grafik wiederfinden. Ein Wert, den das System aus der Höhe eines Punkts abgeleitet hat, gehört als Schätzung gekennzeichnet.
Gerade bei einer interaktiven Grafik ist die ursprüngliche Datenansicht oft der kürzere Weg zur Antwort. Der Märzpunkt in der Strom-App lässt sich antippen, und manche Anwendungen bieten zusätzlich einen Tabellenexport. Sind die Daten als Tabelle verfügbar, kann ein Rechenwerkzeug die Differenz aus den erfassten Werten bestimmen. Auch dann bleiben Einheit und Zeitraum wichtig. Bei fehlenden Einträgen kommt eine weitere Frage hinzu. Eine leere Zelle kann für einen Messausfall stehen. Wer daraus beim Zusammenfassen eine Null macht, rechnet anschließend womöglich mit einem Verbrauchswert, den es nie gab.
Die Kurve zeigt den Verlauf, die Quelle liefert die Zahl
Ein Chatbot kann den höchsten Punkt einer Linie finden, weil sich die gesuchte Information in ihrer Form und Position ausdrückt. Einen Verbrauchswert muss er dagegen an eine Zeitangabe, eine Skala und eine Einheit binden. Dabei kann schon eine kleine Lücke im Bild oder eine Verwechslung der Reihen den Unterschied ausmachen.
Im Strombeispiel ist „zwischen 180 und 200 Kilowattstunden“ die belastbarere Antwort. Sie beschreibt, was der Screenshot hergibt. Die 186 lassen sich erst übernehmen, wenn sie am Datenpunkt oder in der zugrunde liegenden Tabelle stehen.
Stand der Recherche: 3. November 2026.
Hauptquellen
- Bai et al. · Qwen2.5-VL Technical Report, Anbieterbericht von 2025
- Fime et al. · ROBUSTCHART360, EMNLP 2026
- Masry et al. · ChartQAPro, Findings der ACL 2025
- Liu et al. · DePlot, Findings der ACL 2023
- Zhang et al. · CharTool, Autorenfassung für ACM Multimedia 2026ki
Technik-Deals im Überblick
Ausgewählte Angebote und zeitlich begrenzte Preisaktionen rund um Technik und Gadgets.
Mehr auf gadgetChecks
Entdecke mehr bei gadgetChecks
gadgetChecks Technik
Tests, Kaufberatung, Technik-News, Ratgeber, Streaming und aktuelle Angebote.
Technikmagazin öffnenWas sich für dich ändert
Regeln, Fristen, Kosten und Warnungen mit ihren konkreten Folgen für Verbraucher.
Alltag Aktuell öffnenGames, Plattformen und Deals
Aktuelle Meldungen zu Releases, Konsolen, PC Gaming, Mobile, Studios und Abos.
Gaming öffnenProdukte, Angebote und Ideen
Neues für Küche, Reinigung, Wohnen, Garten und Balkon – verständlich und praktisch eingeordnet.
Zuhause öffnenPflege, Kosmetik und Geräte
Produkte und Wissen für Frauen und Männer – ehrlich getestet und verständlich eingeordnet.
Gepflegt öffnenTraining, Ernährung und Supplements
Sport, Ausrüstung und Nahrungsergänzung – verständlich erklärt und kritisch eingeordnet.
Sport & Supplements öffnen
