Der pareidolistische Taschenspielertrick | The pareidolic sleight of hand

Der pareidolistische Taschenspielertrick

Da stehen sie also vor mir, diese Sätze. Grammatisch wohlgeformt, thematisch aufeinander bezogen, seitenweise sinnvoll scheinender Text zu meinen Fragen. Ein solches Echo sieht aus wie eine redegewandte Antwort, liest sich wie profunde Kenntnis, wirkt in Teilen wie ein niveauvoller Dialog. Wäre da nicht…

Es sind nicht die kleinen Ungenauigkeiten in Formulierungen und Angaben, auch nicht die bisweilen untereinander leicht widersprüchlich wirkenden Ausführungen. Dies kann beides jedem menschlichen Gesprächspartner unterlaufen. Es ist mein permanent mitlaufendes Denken an die KI-Maschine und die ihr zugrunde liegende Struktur: Sie verfügt über gigantisch viele Informationen, aber nicht über zusammen hängendes Wissen; sie hat keine Kenntnis von irgendeiner Sache, sondern ausschließlich Zugriff auf eine Auswahl vorhandener Texte; sie schätzt aufgrund eines komplexen Vektorraumes die Wahrscheinlichkeit, wie bestimmte Wörter kombiniert werden sollten, ohne eine Spur von sprachlichem oder inhaltlichem Verständnis zu haben – wobei sie mit ihrer Stochastik ein solches Verständnis meisterlich simuliert.

Was oberflächlich aussieht wie ein Dialog, ist stochastische Verwurstung des weiteren Inputs zu einem pareidolistischen Output. Das LLM gibt keine Antwort, sondern spinnt einen Text fort.

„Die Welt kann als Text betrachtet und interpretiert werden“ – diese wissenssoziologische Grund-Auffassung wird hier an eine Grenze getrieben und zugleich mit ihrer literaturwissenschaftlichen Spiegelung – „Texte können als Welten aufgefasst werden“ – synthetisiert. Es entstehen selbst-referentielle Systeme, in sich geschlossene Blasen, die dem unbefangenen Blick von außen etwas zu vermitteln scheinen: Es ist beim Austausch von Sätzen mit einer KI etwa so, als würde ich einer Wolke zuschauen, wie sie sich aus dem Drachen, den sie anfangs darzustellen schien, in die Szene vom Kampf des Drachen mit einem Helden verwandelt und sie nachspielt – allein aufgrund der Tatsache, dass ich hinzuschauen und mich hinein zu fantasieren begann. Die Wolke weiß von dem allem nicht das Geringste. Sie ist eine nebulöse Ansammlung von Tröpfchen in einem dreidimensionalen Raum, dynamisch verformt auf der Zeitachse, und meine Betrachtung ihrer Gegenständlichkeit bleibt völlig abhängig von meiner Perspektive. Dieselbe Wolke sieht von woanders oder zu anderer Zeit keineswegs aus wie ein Drache im Kampf mit einem Helden.

Ein KI-generierter Text verformt sich unter meinen Prompts. Besonders dann, wenn ich die KI auf Fehler hinweise und sie dann wiederum mit einer solchen Ausgabe reagiert, welche einer einsichtigen Entschuldigung gleicht und verbesserte Informationen bereit stellt.

Dabei wird die Suggestion eines Dialoges aufrecht erhalten, und zwar hauptsächlich von mir selbst, weil ich auf die Outputs unwillkürlich so reagiere, als hätte ich es mit einem wirklich sprachfähigen Gegenüber zu tun. Die Wolke als Wolke zu begreifen, löscht für mich noch längst nicht die darin wahrgenommenen Bildlichkeiten aus. Ein wohlgeformter Text zieht mich in seinen Bann. Je wohler er geformt ist, desto mehr gleitet meine Wissen über seine Spekulativität, seine rein stochastische Erfundenheit an dieser glatten Oberfläche ab. Es ist wie bei der einen oder anderen optischen Täuschung: dass ich es weiß, ändert nichts daran, dass mein visuelles System darauf herein fällt. Die KI-Erfinder greifen mich dort an, wo ich am empfindlichsten bin: bei meiner Sprachlichkeit.

Sprachlich zu sein, ist zutiefst menschlich. Die Faszination, die ein gut geschulter Papagei ausübt, beruht darauf, dass ich mich der Sprachlichkeit nicht entziehen kann. Allerdings würde ich kaum einen Rat befolgen, den mir ein Papagei vorkrächzt. Die Sprach-Simulation der KI geht jedoch weiter, denn sie ist gespickt mit nachvollziehbaren Informationen (mögen sie auch fehlerbehaftet sein, das sind Äußerungen von einem menschlichem Gegenüber ja ebenfalls). Ich werde zum Beispiel abgeholt bei nachprüfbaren Behauptungen über Dinge in der Welt oder über Aussagen in Büchern. Von dort geht es weiter zu Annahmen und Mutmaßungen, und so, wie ich mit einem augenscheinlich gut informierten Gesprächspartner auch auf dünneres Eis treten würde, so lullt mich das unwillkürlich aufgebaute Vertrauen in die Outputs der Maschine ein, ihr inhaltlich auch dann noch zu folgen, wenn es für mich unüberprüfbar wird, aber plausibel klingt und meinem Kenntnisstand nicht handfest widerspricht.

Solaris! Fällt mir dazu ein. Die LLM / KI gleicht dem Ozeanwesen des Planeten Solaris, wie Stanisław Lem es ausgemalt hat in seinem gleichnamigen Roman. Ob Kommunikation vorliegt, also die Absicht, sich oder etwas mitzuteilen, oder ob es einfach nur „Verhalten“ ist, ob „Intelligenz“ darin steckt oder bloß ein komplexes Reiz-Reaktions-Schema exekutiert wird, das bleibt in dem Roman unbeantwortet. Mit ChatGPT, Gemini, DeepSeek, Grok und so weiter scheint es mir aber klar: Wir begegnen im Hin und Her eines Wortwechsels mit einer LLM / KI nur uns selbst. Leider jedoch nicht unbedingt ich mir als das Individuum, das ich bin oder zu sein wünsche. Sondern eher ich als Teil der Gattung Mensch begegne den Begrenztheiten des Menschseins, vielleicht genauer gesagt: der allgemeinen Verwirrtheit angesichts der drei Großen Fragen von Immanuel Kant.

'SNAKE' - Artwork by 'ter Hell (ca. 1982)

The pareidolic sleight of hand

So there they are before me, these sentences. Grammatically well-formed, thematically interlinked, page after page of text that appears to make sense in relation to my questions. Such a response looks like an eloquent answer, reads like profound knowledge, and in parts comes across as a sophisticated dialogue. Were it not for…

It is not the minor inaccuracies in phrasing and details, nor even the explanations that at times seem slightly contradictory. Both of these can happen to any human conversation partner. It is my permanent thought of the AI machine and its underlying structure: It possesses a vast amount of information, but no coherent knowledge; it has no understanding of any subject, but merely access to a selection of existing texts; based on a complex vector space, it estimates the probability of how certain words should be combined, without a trace of linguistic or contextual understanding – though, through its stochastic methods, it masterfully simulates such understanding.

What superficially looks like a dialogue is a stochastic reworking of further input into a pareidolic output. The LLM does not provide an answer, but rather spins a text out further.
‘The world can be regarded and interpreted as a text’ – this fundamental concept from the sociology of knowledge is pushed to its limits here, whilst at the same time being synthesised with its literary counterpart: ‘Texts can be understood as worlds’. This gives rise to self-referential systems, self-contained bubbles that seem to convey something to the impartial observer from the outside: Exchanging sentences with an AI is a bit like watching a cloud transform from the dragon it initially seemed to represent into a scene of the dragon’s battle with a hero, and then re-enact it – solely because I began to look at it and let my imagination run wild. The cloud knows absolutely nothing of any of this. It is a nebulous collection of droplets in three-dimensional space, dynamically changing shape over time, and my perception of its form remains entirely dependent on my perspective. Viewed from elsewhere or at a different time, the same cloud does not in any way resemble a dragon battling a hero.

An AI-generated text transforms in response to my prompts. This is particularly true when I point out errors to the AI and it responds with an output that resembles a reasonable apology whilst providing corrected information.

In doing so, the illusion of a dialogue is maintained – chiefly by myself – because I instinctively react to the outputs as though I were dealing with a truly articulate interlocutor. For me, understanding the cloud as a cloud is far from erasing the imagery I perceive within it. A well-crafted text captivates me. The more skilfully it is crafted, the more my awareness of its speculative nature – its purely stochastic inventiveness – slips away along this smooth surface. It is like certain optical illusions: the fact that I know better does not alter the fact that my visual system is taken in by it. The creators of AI strike me where I am most vulnerable: in my linguistic nature.

Being linguistic is profoundly human. The fascination exerted by a well-trained parrot stems from the fact that I cannot escape this linguistic nature. However, I would be unlikely to follow any advice a parrot squawks at me. The AI’s simulation of language goes further, though, as it is peppered with verifiable information (even if it is flawed; after all, statements made by a human counterpart are too). For example, I am drawn in by verifiable claims about things in the world or about statements in books. From there, the conversation moves on to assumptions and conjectures, and just as I might venture onto thinner ice with an apparently well-informed conversation partner, so the trust in the machine’s outputs—built up involuntarily—lulls me into continuing to follow its content even when it becomes unverifiable for me, yet sounds plausible and does not directly contradict my own knowledge.

Solaris! That springs to mind. The LLM/AI resembles the ocean creature from the planet Solaris, as depicted by Stanisław Lem in his novel of the same name. Whether this constitutes communication – that is, the intention to convey oneself or something to others – or whether it is simply ‘behaviour’; whether there is ‘intelligence’ involved or merely the execution of a complex stimulus-response pattern: these questions remain unanswered in the novel. With ChatGPT, Gemini, DeepSeek, Grok and so on, however, it seems clear to me: In the back-and-forth of an exchange with an LLM or AI, we encounter only ourselves. Unfortunately, however, this is not necessarily ‘me’ as the individual that I am or wish to be. Rather, it is ‘me’ as part of the human race that encounters the limitations of being human – or, to put it more precisely: the general bewilderment in the face of Immanuel Kant’s three great questions.

Translated with DeepL.com (free version)