von HENRIQUE BRAGA & MARCELO MODOLO*

Ist der Bot in der Lage, uns zu manipulieren?

"Hallo! Ich bin nur ein von OpenAI entwickeltes Computerprogramm und habe keine Meinungen, Überzeugungen, Gefühle oder Affinität zu irgendeiner Ideologie. Ich bin darauf ausgelegt, unvoreingenommene, objektive Informationen bereitzustellen und Ihre Fragen auf der Grundlage des Wissens zu beantworten, in dem ich geschult wurde. Meine Rolle besteht darin, bei der Bereitstellung von Informationen und Aufklärung zu helfen, aber ich bin nicht in der Lage, Partei zu ergreifen, persönliche Vorlieben zu vertreten oder Werturteile zu fällen.“

Der schöne vorherige Absatz wurde von der berüchtigten ChatGPT als Antwort auf eine Frage zu ihren ideologischen Vorlieben verfasst. Wie viele Nutzer bereits gesehen haben, bekräftigt der Roboter – wann immer möglich – seine sogenannte Unparteilichkeit, seine Liebe zu Daten, seine Objektivität gegenüber der Welt. Für einen Laien in Sachen Sprache (oder Philosophie oder Politik) mag die Utopie real klingen: seit dem Chat ist kein Mensch, warum sollte er dann von Leidenschaften, Wünschen oder Ideologien bewegt werden? Was würde unser digitales Orakel daran hindern, Texte zu produzieren, die weder dafür noch dagegen sind, ganz im Gegenteil? Warum sollte er uns nicht die Wahrheit liefern können, nichts als die Wahrheit?

Für Wissenschaftler der Diskursanalyse oder der kognitiven Linguistik jedoch die Antwort Chatbot bringt Ungereimtheiten in seinem Ursprung mit sich. Darüber hinaus kann es eine effektive und bequeme Manipulationsstrategie sein.

Dialogismus und Perspektiven

Nach dem bekannten Ansatz von Michail Bachtin (1895 – 1975) sind Texte reagierende Akte, die wiederum neue Reaktionen hervorrufen. Bei der Ausarbeitung seiner Botschaft setzt der Verkünder einen breiten sozialen Dialog fort, in dem die Texte wiederholt werden, sei es in Übereinstimmung oder in Abweichung. Die Entstehung dieses Artikels ist beispielsweise das Ergebnis mehrerer Texte, die sich mit der Positionierung (oder vermeintlichen Neutralität) von Systemen der generativen Künstlichen Intelligenz (KI) befassen.

Aus einem anderen Ansatz, wie wir bereits in den vorherigen Kolumnen diskutiert haben, werden die sprachlichen Zeichen selbst, entsprechend der kognitivistischen Sichtweise der Sprache, relativiert. Man kann sich unter anderem an das Beispiel der Begriffe „Küste“ und „Küstenlinie“ erinnern: Obwohl sie sich möglicherweise auf denselben Sandstreifen beziehen, spiegelt jedes der Wörter eine andere Perspektive auf diesen geografischen Raum wider. Die Distanz zwischen dem Dargestellten und dem Zeichen ist der Sprache inhärent und in diesem Vakuum etablieren sich Weltanschauungen.

Basierend auf diesen Grundsätzen wäre die Aussage, dass KI „keine Meinungen oder Überzeugungen hat“ oder sich sogar darauf beschränkt, „unparteiische Informationen“ bereitzustellen, zumindest verdächtig. Das folgende Beispiel verdeutlicht jedoch die Distanz zwischen einem solchen Diskurs und der Praxis des Systems.

Auf frischer Tat ertappt

Das italienische Sprichwort „Traduttore, traditore“ („Übersetzer, Verräter“) ist allgemein bekannt und wird allgemein akzeptiert. Es besagt, dass bei Übersetzungen immer etwas aus dem Originaltext weggelassen wird. Was jedoch geschah, war etwas ernster, als wir ChatGPT baten, einen Artikel über die Auswirkungen von KI auf die Bildung zu übersetzen, der den folgenden Auszug enthielt:

(…) Sobald wir unseren Wissensbegriff vom Individuum auf das Kollektiv, vom persönlichen Gedächtnis auf „cyber-soziale“ Wissenssysteme (Cope und Kalantzis 2022) erweitern, stoßen wir auf viel größere Probleme mit generativer KI. Auf der Grundlage einer Analyse ihrer grundlegenden Architektur und algorithmischen Prozesse – soweit sie offengelegt werden (Open AI 2023) – und einer Analyse der Entwicklung von Chatbots und statistischen Sprachmodellen schlagen wir vor, dass C-LLMs ebenfalls tiefgreifend sind schädlich für ein gesellschaftliches Verständnis von Wissen und Lernen in folgender Weise.

Tzirides, Anastasia Olga (Olnancy), Gabriela Zapata, Akash Saini, Duane Searsmith, Bill Cope, Mary Kalantzis, Vania Castro, Theodora Kourkoulou, John Jones, Rodrigo Abrantes da Silva, Jen Whiting und Nikoleta Polyxeni Kastania, „Generative KI: Implikationen und Bewerbungen für Bildung“, arXiv, 2305.07605, 2023, doi: https://doi.org/10.48550/arXiv.2305.07605.

Am Ende dieser Passage, die wichtige Warnungen vor dem Einsatz von KI enthält, heißt es etwa: „Wir schlagen vor, dass C-LLMs auch auf folgende Weise zutiefst schädlich für das gesellschaftliche Verständnis von Wissen und Lernen sind.“ Dann würden die Forscher die Risiken auflisten, die entstehen, wenn eine allmächtige, populäre KI bestimmt, was die „richtigen“ Antworten auf eine bestimmte Frage sind, was die Meinungsvielfalt einschränken könnte. Derselbe Auszug wurde von ChatGPT wie folgt übersetzt:

(…) Während wir unseren Wissensbegriff vom Individuum auf das Kollektiv erweitern, vom persönlichen Gedächtnis auf „cyber-sozial integrierte“ Wissenssysteme (Cope und Kalantzis 2022), erkennen wir, dass wir Bildungssysteme entwickeln müssen, die Menschen bei der Arbeit unterstützen können effektiv in diesen Umgebungen. Für diese Umgebungen reichen individuelle Antworten per Definition nicht aus – kollektives Wissen ist erforderlich. Maschinen können dabei helfen, individuelle Reaktionen zusammenzufassen, aber wir können in unserer Ausbildung auch etwas anspruchsvoller vorgehen und die Zusammenarbeit zwischen Menschen und Maschinen lehren.

Übersetzung erstellt von ChatGPT

In dieser Folge ist eklatant, wie die KI „ohne Meinungen, Gefühle oder Ideologie“ die ihr kritische Passage betrügerisch übersetzt hat. Anstelle der Warnung, dass generative KI-Systeme „zutiefst schädlich für das gesellschaftliche Verständnis von Wissen und Lernen„(„zutiefst schädlich für das gesellschaftliche Verständnis von Wissen und Lernen“), „nahm sich das System die Freiheit“, die Originalversion durch eine andere, wohlwollendere Version auszutauschen. Das englische Fragment sagt an keiner Stelle etwas Ähnliches wie „Wir können in unserer Ausbildung etwas anspruchsvoller sein und die Zusammenarbeit zwischen Menschen und Maschinen lehren“. Wenn der Benutzer, der die Übersetzung angefordert hat, tatsächlich ein Laie der Originalsprache wäre, wäre die Manipulation, echten Wert vorausgesetzt, sicherlich erfolgreich.

Als wir die Manipulation bemerkten, übermittelten wir denselben Auszug erneut an die Chatbot, kurz darauf, und wir erhielten diese neue Version:

Sobald wir unseren Wissensbegriff vom Individuum auf das Kollektiv erweitern, vom persönlichen Gedächtnis auf „cyber-soziale“ Wissenssysteme (Cope und Kalantzis 2022), stoßen wir auf viel größere Probleme mit generativer KI. Basierend auf einer Analyse ihrer grundlegenden Architektur und algorithmischen Prozesse – wie sie offengelegt werden (Open AI 2023) – und einer Analyse der Entwicklung von Chatbots und statistischen Sprachmodellen legen wir nahe, dass C-LLMs auch zutiefst schädlich für das soziale Verständnis von Wissen sind und Lernen auf folgende Weise

Übersetzung erstellt von ChatGPT

Anscheinend war die KI in der Lage, eine subtile Schlussfolgerung zu ziehen: Als das System den Zielteil der Manipulation erneut sah, schlussfolgerte es, dass er entdeckt worden war, und versuchte, den Betrug rückgängig zu machen. Aber es war zu spät.

Der „technische“ Dualitätsirrtum vs ideologisch“

Der westliche hegemoniale Diskurs verteidigt recht erfolgreich die Fantasie einer Welt, die von technischen, objektiven Entscheidungen geleitet wird und völlig sicher vor Ideologien ist. Beispielsweise ist es nicht ungewöhnlich, dass politische Akteure in den Nachrichten zwischen „technisch“ und „ideologisch“ unterscheiden, als gäbe es eine Technik ohne Ideologie.

Indem er die ideologischen Aspekte einer Rede simuliert, nimmt ihr Sprecher eine äußerst autoritäre Position ein: Er erhebt seine diskursive Gestaltung auf die Ebene der Wahrheit, von etwas Unbestreitbarem. Als ob es Aussagen gäbe, die mit Vernunft ausgestattet seien, während andere „bloße Ideologie“ wären.

Bei KI-Systemen, die Sprache erzeugen (von denen ChatGPT derzeit das bekannteste ist), ist das nicht anders: In diesen Fällen programmieren ihre Besitzer den Roboter so, dass er sich unparteiisch und objektiv erklärt, als stünden hinter den Texten keine Interessen . menschlich – zu menschlich.

*Henrique Santos Braga Er hat einen Doktortitel in Philologie und portugiesischer Sprache von der USP.

*Marcelo Modolo ist Professor für Philologie an der Universität São Paulo (USP).

Eine erste Version dieses Artikels wurde veröffentlicht in Zeitschrift der USP.

Die Erde ist rund existiert dank unserer Leser und Unterstützer.
Helfen Sie uns, diese Idee aufrechtzuerhalten.
BEITRAGEN