Gedankenspiel: Was ChatGPT ad absurdum führen könnte

Ein Beitrag von Prof. Götz Piwinger, Mitbegründer der Orgabrain GmbH, Fachbuchautor, Coach, Berater, Trainer und Professor für People & Culture

ChatGPT steht für „Chat Generative Pre-trained Transformer“ und wurde im November 2022 veröffentlicht. Es nutzt Sprachmodelle – derzeit das Chat-3.5 –, die mit riesigen Mengen von Daten trainiert wurden, sogenannte Large Language Models (LLM). 175 Milliarden Parameter und 800 Gigabyte an Speicherkapazität wurden dafür verwendet. GPT basiert auf Daten bis 2021. Es kann derzeit keine Fragen beantworten, die sich auf Daten danach beziehen.

So funktioniert die Technologie dahinter

ChatGPT nutzt mehrere neuronale Netze. Diese Dienste haben unterschiedliche Aufgaben – unter anderem auch, rassistische oder nicht angemessene Passagen auszulassen. Sie verfügen über PPO-Modelle (Proximal Policy Optimization) zur „Überwachung“ und Reward Modellen zur „Belohnung“ guter Ergebnisse, die wiederum in das PPO-Modell gefüttert werden. Es ist, als würde die Ausgabe der Daten von sehr vielen künstlichen Gehirnen geprüft und danach erst freigegeben. Das geht erstaunlich schnell und braucht entsprechend sehr hohe Rechenzentrumskapazitäten. Soweit zur grundsätzlichen Technologie.

Was, wenn das System auf Echtzeitdaten zugreifen könnte?

Vereinfacht gesagt, sucht GPT Antworten aus dem Big Data Pool bis 12/2021 und stellt diese sehr schön in menschlich anmutenden Sätzen zusammen. Damit kommen wir zur Frage, was mit diesen Ergebnissen passiert. Angenommen, die GPT-Sätze finden Einzug in journalistische Artikel, in Blogs, Bücher etc. Dann finden die Ausgabedaten aus 2021 ihren Weg in den Datenbestand von 2022 und 2023. Es hat einen guten Grund, warum der Datenbezug immer in einem bemerkenswerten Abstand zur Gegenwart gehalten wird. Denn wenn die AI-Systeme auch auf Echtzeitdaten zugreifen könnten, würde die KI ihre eigenen Ausscheidungen verspeisen, was zu einer unheilvollen Mega-Rekursion – einer Art Implosion – führen würde. Umso kleiner der Abstand zwischen Datenpool und Ausgabezeitpunkt wird, desto mehr verfälschen die AI-Systeme ihre Ergebnisse selbst, weil die eigenen Ausgaben quasi wieder als Eingabe im System landen.

Informationen immer ähnlicher?

Es ist anzunehmen, dass mit äußerstem Hochdruck an neuronalen Netzen gearbeitet wird, die diesen Effekt verhindern sollen. Doch hier funkt der Mensch dazwischen. Denn die wenigsten Menschen geben sich die Blöße, ein KI-Ergebnis 1:1 zu übernehmen, sondern verändern Inhalte und Formulierungen mit ihrem persönlichen Stil. Diese Ergebnisse können von der KI nicht als Ausgabe einer KI erkannt werden und landen somit im Big Data Pool, dem „Futtertrog“ der AI-Systeme.

Es ist aus meiner Perspektive derzeit nicht abschätzbar, welche Zeiträume vergehen werden, bis sich die ausgegebenen Informationen dadurch immer ähnlicher und damit zunehmend einheitlich werden. Aber eines ist dabei heute schon klar: Die Arbeit der Rechenzentren und damit der Energieverbrauch wird schlagartig exponentiell explodieren.

Lesen Sie auch:

Ist ChatGPT zur Versicherungsberatung geeignet?

ChatGPT für Versicherer: Was sich ändern wird, was bleiben wird

So helfen ChatGPT & Co. bei Social Media

New Work – Wer bist du eigentlich?