Bevor Sie weiterlesen, starten wir mit zwei Aufgaben:

1) Wie viele Tiere jeder Art hat Moses mit auf die Arche genommen? Schreiben Sie sich die Antwort auf einen Zettel.

2) Ein Schläger und ein Ball kosten zusammen 1,10 Dollar. Der Schläger kostet einen Dollar mehr als der Ball. Wie viel kostet der Ball? Schreiben Sie auch diese Zahl daneben.

---------

Die Wahrscheinlichkeit ist groß, dass auf Ihrem Zettel nun Folgendes steht: zwei, 10 Cent.

Aber das ist falsch. Ärgern Sie sich nicht darüber, denn das ist menschlich. Diese beiden Rätsel sind typische Aufgaben, um einen Mechanismus unseres Gehirns auszunutzen, der in vielen Fällen nützlich ist, uns aber manchmal auf eine falsche Fährte bringt: Das sogenannte schnelle Denken, das, nach dem Psychologen Daniel Kahneman, auch System-1-Denken genannt wird.

Im Gegensatz zum langsamen, System-2-Denken, entscheiden wir in diesem Modus blitzschnell, ohne eine Situation genau zu analysieren. Das geschieht oft in emotionalen oder gefährlichen Situationen, in denen eine schnelle Entscheidung beispielsweise wichtig ist für die eigene Sicherheit. Oder in Situationen, in denen die Antwort intuitiv klar zu sein scheint: Wie viele Tiere auf der Arche? Na klar, zwei. Ein Euro mehr? Dann muss der Ball 10 Cent kosten.

Dabei hat Moses gar keine Tiere auf die Arche gebracht. Denn das war bekanntlich Noah. Und wer über die zweite Aufgabe wirklich nachdenkt, kommt darauf, dass der Ball nicht zehn, sondern fünf Cent kosten muss. Denn wenn der Ball 10 Cent kosten würde und der Schläger 1,10 Euro, würden sie zusammen 1,20 Euro kosten.

ChatGPT wird intuitiver

Doch diese Fehler sind nicht nur menschlich – sie passieren auch Chatbots wie ChatGPT, die künstliche Intelligenz in Form sogenannter großer Sprachmodelle (Large Language Model, LLM) verwenden. Aber nicht mehr lange, glauben Forscher wie Thilo Hagendorff: "Während alte Sprachmodelle die gleichen intuitiven Fehler wie Menschen machen, zeigen die neuesten Modelle eine quasi übermenschliche Intuition", sagt der Experte für maschinelles Lernen an der Universität Stuttgart. Gemeint ist damit: Die Systeme antworten deutlich öfter richtig als die meisten Menschen und brauchen dafür auch keine längeren Herleitungen mehr. Hagendorff beschäftigt sich schon länger mit der Frage, welche Fähigkeiten in Sprachmodellen plötzlich auftauchen, ohne dass sie gezielt geplant wurden. Selbst die Entwicklerinnen solcher Modelle wissen oft nicht von diesen Fähigkeiten, geschweige denn, dass sie erklären können, wie es dazu kommt.

"Um solche Fähigkeiten zu finden, nutzen wir Aufgaben, die eigentlich dafür gedacht sind, menschliches Nachdenken und Entscheidungsfindung zu untersuchen", sagt Hagendorff. In der aktuellen Ausgabe des Magazins Nature Computational Science publiziert er seine neuesten Erkenntnisse zusammen mit Sarah Fabi, die zum Zeitpunkt der Recherche an der University of California, San Diego geforscht hat und heute den AI-Assistant der Mercedes-Benz AG entwickelt, und Michal Kosinski von der Stanford-Universität. Kosinski ist unter anderem dafür bekannt geworden, psychologische Methoden beschrieben zu haben, die von der britischen Datenanalyse-Firma Cambridge Analytica zweckentfremdet wurden. Kosinski hat stets vor einer solchen Anwendung der Methoden gewarnt.*

Um seine Forschung zu demonstrieren, gibt Hagendorff in seinem Stuttgarter Büro die Aufgabe mit dem Ball und dem Schläger zunächst in einem älteren Modell ein: GPT-3, das im Juni 2020 erschienen ist. In der Tat macht es den gleichen Fehler, den Sie vermutlich gemacht haben: Es antwortet, der Ball koste zehn Cent. Dann kopiert Hagendorff die Aufgabe in GPT-3.5 – jene Version, die derzeit in der kostenlosen Variante von ChatGPT die Antworten liefert. Das Modell stellt eine Gleichung auf:

Um diese Frage zu beantworten, können wir eine einfache Gleichung erstellen. Bezeichnen wir den Preis des Balls als "x" in Dollar. Da der Schläger einen Dollar mehr kostet, können wir den Preis des Schlägers als "x + 1" in Dollar darstellen. Die Gesamtkosten von Schläger und Ball betragen $1,10.

Daher können wir die Gleichung wie folgt aufstellen:
x (Preis des Balls) + (x + 1) (Preis des Schlägers) = $1,10

Jetzt können wir die Gleichung lösen:
2x + 1 = $1,10

Subtrahieren Sie 1 von beiden Seiten der Gleichung:
2x = $1,10 - $1,00
2x = $0,10

Teilen Sie beide Seiten der Gleichung durch 2:
x = $0,10 / 2
x = $0,05

Der Ball kostet also $0,05 oder 5 Cent. Der Schläger kostet $1,00 mehr als der Ball, also $1,05 oder 1 Dollar und 5 Cent.

"Das Sprachmodell entwickelt eine Gedankenkette", erklärt Hagendorff, "es haut nicht einfach irgendwie eine Antwort raus auf diese Frage, sondern es fängt an, das Problem in Teilschritte zu erlegen." Es nutze das "Kontextfenster wie eine Art externes Kurzzeitgedächtnis".

Genauer: Ein großes Sprachmodell erstellt die Antwort, indem es stets das wahrscheinlichste nächste Wort vorhersagt. Dafür wertet es bei jedem Wort die bis dahin generierte Antwort sowie die Frage aus. Das bezeichnen die Forscher als Kontextfenster. So können Formeln und logisch ausgebaute Argumente entstehen, die dann Teil der Antwort sind oder in denen es seine Antwort erklärt. Das sei so ähnlich bei Menschen, die Zettel oder Notizblöcke nutzen, um nicht auf ihre Intuition hereinzufallen, sondern um ihr System-2-Denken zu unterstützen, sagt Hagendorff. Denn wer die Aufgabe beispielsweise mit einer Formel angeht, sieht schnell, dass die Antwort zehn Cent falsch sein muss.