von Götz Piwinger
ChatGPT steht für „Chat Generative Pre-trained Transformer“ und wurde im November 2022 veröffentlicht. Es nutzt Sprachmodelle – derzeit das Chat-3.5 –, die mit riesigen Mengen von Daten trainiert wurden, sogenannte Large Language Models (LLM). 175 Milliarden Parameter und 800 Gigabyte an Speicherkapazität wurden dafür verwendet. GPT basiert auf Daten bis 2021. Es kann derzeit keine Fragen beantworten, die sich auf Daten danach beziehen.
ChatGPT nutzt mehrere neuronale Netze. Diese Dienste haben unterschiedliche Aufgaben - unter anderem auch, rassistische oder nicht angemessene Passagen auszulassen. Sie verfügen über PPO-Modelle (Proximal Policy Optimization) zur “Überwachung” und Reward Modellen zur “Belohnung” guter Ergebnisse, die wiederum in das PPO-Modell gefüttert werden. Es ist, als würde die Ausgabe der Daten von sehr vielen künstlichen Gehirnen geprüft und danach erst freigegeben. Das geht erstaunlich schnell und braucht entsprechend sehr hohe Rechenzentrumskapazitäten. Aus diesem Grund kann GPT nicht kostenfrei bleiben. Ähnliche (aktuellere) Systeme, wie “Bloom” bleiben zwar in der Nutzung ohne Berechnung, stellen aber dafür die Datacenter-Nutzung mit circa 40 €/h in Rechnung. Soweit zur grundsätzlichen Technologie.
Vereinfacht gesagt, sucht GPT Antworten aus dem Big Data Pool bis 12/2021 und stellt diese sehr schön in menschlich anmutenden Sätzen zusammen. Damit kommen wir zur Frage, was mit diesen Ergebnissen passiert! Angenommen, die GPT-Sätze finden Einzug in journalistische Artikel, in Blogs, Bücher etc. Dann finden die Ausgabedaten aus 2021 ihren Weg in den Datenbestand von 2022 und 2023. Es hat einen guten Grund, warum der Daten bezug immer in einem bemerkenswerten Abstand zur Gegenwart gehalten wird. Denn wenn die AI-Systeme auch auf Echtzeitdaten zugreifen könnten, würde die KI ihre eigenen Ausscheidungen verspeisen, was zu einer unheilvollen Mega-Rekursion - einer Art Implosion- führen würde. Umso kleiner der Abstand zwischen Datenpool und Ausgabezeitpunkt wird, desto mehr verfälschen die AI-Systeme ihre Ergebnisse selbst, weil die eigenen Ausgaben quasi wieder als Eingabe im System landen.
Es ist anzunehmen, dass mit äußerstem Hochdruck an neuronalen Netzen gearbeitet wird, die diesen Effekt verhindern sollen. Doch hier funkt der Mensch dazwischen. Denn die wenigsten Menschen geben sich die Blöße, ein KI-Ergebnis 1:1 zu übernehmen, sondern verändern Inhalte und Formulierungen mit ihrem persönlichen Stil. Diese Ergebnisse können von der KI nicht als Ausgabe einer KI erkannt werden und landen somit im Big Data Pool, dem Futtertrog der AI-Systeme! Es ist aus meiner Perspektive derzeit nicht abschätzbar, welche Zeiträume vergehen werden, bis sich die ausgegebenen Informationen dadurch immer ähnlicher und damit zunehmend einheitlich werden, aber eines ist dabei heute schon klar: Die Arbeit der Rechenzentren und damit der Energieverbrauch wird schlagartig exponentiell explodieren. Die beigefügte Grafik stammt aus einer KI, dieser Text (noch) nicht.
ChatGPT steht für „Chat Generative Pre-trained Transformer“ und wurde im November 2022 veröffentlicht. Es nutzt Sprachmodelle – derzeit das Chat-3.5 –, die mit riesigen Mengen von Daten trainiert wurden, sogenannte Large Language Models (LLM). 175 Milliarden Parameter und 800 Gigabyte an Speicherkapazität wurden dafür verwendet. GPT basiert auf Daten bis 2021. Es kann derzeit keine Fragen beantworten, die sich auf Daten danach beziehen.
ChatGPT nutzt mehrere neuronale Netze. Diese Dienste haben unterschiedliche Aufgaben - unter anderem auch, rassistische oder nicht angemessene Passagen auszulassen. Sie verfügen über PPO-Modelle (Proximal Policy Optimization) zur “Überwachung” und Reward Modellen zur “Belohnung” guter Ergebnisse, die wiederum in das PPO-Modell gefüttert werden. Es ist, als würde die Ausgabe der Daten von sehr vielen künstlichen Gehirnen geprüft und danach erst freigegeben. Das geht erstaunlich schnell und braucht entsprechend sehr hohe Rechenzentrumskapazitäten. Aus diesem Grund kann GPT nicht kostenfrei bleiben. Ähnliche (aktuellere) Systeme, wie “Bloom” bleiben zwar in der Nutzung ohne Berechnung, stellen aber dafür die Datacenter-Nutzung mit circa 40 €/h in Rechnung. Soweit zur grundsätzlichen Technologie.
Vereinfacht gesagt, sucht GPT Antworten aus dem Big Data Pool bis 12/2021 und stellt diese sehr schön in menschlich anmutenden Sätzen zusammen. Damit kommen wir zur Frage, was mit diesen Ergebnissen passiert! Angenommen, die GPT-Sätze finden Einzug in journalistische Artikel, in Blogs, Bücher etc. Dann finden die Ausgabedaten aus 2021 ihren Weg in den Datenbestand von 2022 und 2023. Es hat einen guten Grund, warum der Daten bezug immer in einem bemerkenswerten Abstand zur Gegenwart gehalten wird. Denn wenn die AI-Systeme auch auf Echtzeitdaten zugreifen könnten, würde die KI ihre eigenen Ausscheidungen verspeisen, was zu einer unheilvollen Mega-Rekursion - einer Art Implosion- führen würde. Umso kleiner der Abstand zwischen Datenpool und Ausgabezeitpunkt wird, desto mehr verfälschen die AI-Systeme ihre Ergebnisse selbst, weil die eigenen Ausgaben quasi wieder als Eingabe im System landen.
Es ist anzunehmen, dass mit äußerstem Hochdruck an neuronalen Netzen gearbeitet wird, die diesen Effekt verhindern sollen. Doch hier funkt der Mensch dazwischen. Denn die wenigsten Menschen geben sich die Blöße, ein KI-Ergebnis 1:1 zu übernehmen, sondern verändern Inhalte und Formulierungen mit ihrem persönlichen Stil. Diese Ergebnisse können von der KI nicht als Ausgabe einer KI erkannt werden und landen somit im Big Data Pool, dem Futtertrog der AI-Systeme! Es ist aus meiner Perspektive derzeit nicht abschätzbar, welche Zeiträume vergehen werden, bis sich die ausgegebenen Informationen dadurch immer ähnlicher und damit zunehmend einheitlich werden, aber eines ist dabei heute schon klar: Die Arbeit der Rechenzentren und damit der Energieverbrauch wird schlagartig exponentiell explodieren. Die beigefügte Grafik stammt aus einer KI, dieser Text (noch) nicht.
