Julian Witusch

KI: Eine fundierte Prognose für das neue Zeitalter

Der ominöse Begriff „KI“ dominiert spätestens seit der Veröffentlichung von ChatGPT im November 2022 die gesamte Welt. Während bis heute nicht einmal Einigkeit über die genaue Definition von künstlicher Intelligenz herrscht, müssen inzwischen selbst Skeptiker zugeben, dass diese Technologie den Alltag von Millionen Menschen fundamental verändert hat. Nach heutigem Stand gilt ChatGPT als die am schnellsten gewachsene Online-Plattform aller Zeiten1 und weist gegenwärtig wöchentlich ca. 200 Millionen aktive Nutzer:innen auf.2

Mit scheinbar grenzenlosen Möglichkeiten weckt das Thema KI derzeit sowohl ungebremste Euphorie, Skepsis, Überdruss als auch existenzielle Zukunftsangst gleichermaßen und hat zudem unter manchen Firmen einen wahren Goldrausch ausgelöst. Doch was ist wirklich dran an dem Hype? Wie nachhaltig wird KI unsere Welt verändern? Und ist es wirklich die letzte Erfindung der Menschheit?

Die Welt der großen Sprachmodelle

ChatGPT mag für viele ein Synonym für KI sein, dennoch stellt es nur eine kleine Spitze des gesamten Eisbergs dar. Millionen hochspezialisierter auf maschinellem Lernen basierender Computerprogramme sind bereits seit Jahrzehnten Teil unseres Lebens3 und tragen direkt und indirekt zum Fortschritt und Wohlstand vieler Menschen bei.

Gleichwohl wird die Veröffentlichung von ChatGPT gerne als der „iPhone-Moment“ von KI bezeichnet.4 Die Besonderheit liegt primär darin, dass dieses sprachübergreifende System erstmalig Fachwissen in mehreren Bereichen gleichzeitig besitzt und dieses auf neue Probleme anwenden kann.

ChatGPT und ähnliche Systeme wie Claude, Gemini, Llama oder Grok werden als sogenannte Large Language Models bezeichnet, also große Sprachmodelle, die darauf programmiert wurden, selbstständig wiederkehrende Muster (z. B. Worte oder Sätze) in jeglichen Daten zu finden. Dadurch sind sie anschließend in der Lage, bei einer Eingabe (z. B. von Text) das nächste Wort statistisch vorherzusagen und damit eigenständig neue Sätze (Gedanken?) zu formulieren.

Für das Lernen sowie die Vorhersage wird dabei eine unvorstellbare Computerleistung benötigt. Hier eine grobe Schätzung der benötigten Rechenoperationen, Menge an Trainingsdaten und Kosten, die für das Training vergangener ChatGPT-Modelle erforderlich waren:

KI-ModellRechenleistung5TrainingsdatenKosten
GPT-1 (2018)1.8e+19 FLOPs (Zahl mit 18 Nullen)5 GB6Unbekannt
GPT-2 (2019)1.9e+21 FLOPs (Zahl mit 21 Nullen)40 GB745.000 €8
GPT-3 (2020)3.1e+23 FLOPs (Zahl mit 23 Nullen)570 GB94 Mio. €10
GPT-4 (2023)2.1e+25 FLOPs (Zahl mit 25 Nullen)Unbekannt57 Mio. €11

Um diese Zahlen besser einzuordnen, werfen wir am besten einen Blick auf die benötigte Energie zum Training dieser KI-Modelle:

  • GPT-3 benötigte schätzungsweise 1287 Megawattstunden für das Training.12 Das entspricht dem jährlichen Stromverbrauch von etwa 600 durchschnittlichen deutschen Haushalten.13

  • Für GPT-4 gibt es keine offiziellen Zahlen, aber einige Schätzungen gehen von bis zu 50 Gigawattstunden aus14 – das wäre genug Energie, um ca. 25.000 Haushalte ein Jahr lang mit Strom zu versorgen.

Diese enormen Energiemengen verdeutlichen nicht nur die Komplexität dieser Modelle, sondern werfen auch wichtige Fragen zur Nachhaltigkeit und Umweltverträglichkeit der KI-Entwicklung auf. Da lokale Stromnetze diesem exponentiellen Bedarf in naher Zukunft nicht mehr gerecht werden können, arbeiten viele Unternehmen daher intensiv an Möglichkeiten, die Energieeffizienz ihrer Modelle zu verbessern, das Training geografisch verteilt durchzuführen oder gar Atomkraftwerke zur direkten Versorgung ihrer Datenzentren zu errichten.15

Die Erschaffung von Intelligenz

Dennoch stellt sich die fundamentale Frage, ob diese Investitionen dem realen Nutzen im Alltag wirklich gerecht werden. Während um den Hype gegenwärtig kaum einer herumkommt, so stellt sich für viele nach der ersten Verwendung diverser KI-Produkte dennoch eine gewisse Ernüchterung ein.

So sehr zahlreiche Berichterstattungen suggerieren, dass KI bald alle Jobs vollständig automatisiert und zuletzt das Ende der Menschheit einläutet, so schnell verpufft der technologische Zauber spätestens, wenn ChatGPT selbst bei den einfachsten Aufgaben überfordert ist oder Fakten halluziniert. Es wäre jedoch ein Trugschluss, zukünftige Entwicklungen am gegenwärtigen Entwicklungsstand zu messen.

Ein allzu oft übersehener Aspekt ist dabei die zunehmende Multimodalität von KI-Modellen. Dies bedeutet, dass inzwischen nicht nur Textdaten in das Training einfließen, sondern auch eine Vielzahl anderer Datentypen, u. a. Fotos, Videos, Musik, Sprache, Programmcode, Gesundheitsdaten und mehr.16 Diese Erweiterung des Datenhorizonts ermöglicht es KI-Systemen, ein umfassenderes Verständnis der Welt zu entwickeln und komplexere Zusammenhänge zu erfassen.

Obwohl unzählige Leistungstests existieren, um die Fähigkeiten von KI-Systemen zu bewerten17, bleibt dennoch unklar, was wir eigentlich meinen, wenn wir von „Intelligenz“ sprechen. Prüfungsaufgaben aus Schule, Studium oder der Medizin dienen oft als Maßstab, doch ähnlich wie beim Menschen ist eine gute Leistung in solchen Tests nicht zwangsläufig ein Indikator für praktische Fähigkeiten im realen Leben. Zudem wird häufig kritisiert, dass viele dieser Aufgaben inklusive der Lösungen bereits in den Trainingsdaten enthalten sind, und somit keine neue Herausforderung für KI-Modelle darstellen. Wir befinden uns daher in einem Katz-und-Maus-Spiel, bei der stets neuartige Leistungstests entwickelt werden müssen.

Die Frage nach der tatsächlichen Intelligenz ist daher hochkomplex und völlig zurecht Kern jeglicher Diskussion rund um das Thema KI. Während etwa eine häufig genannte Kritik besagt, dass ChatGPT nur eine „Wortvorhersagemaschine“ sei, so zeigen erste Forschungen, dass KI-Modelle „gelernte“ Daten generalisiert auch auf zuvor ungesehene Probleme anwenden können.18 Dies könnte implizieren, dass sich diese Systeme selbst ein gewisses Maß an Verständnis und Argumentationsfähigkeit angeeignet haben und eine innere Repräsentation der Realität besitzen.19

Zudem ist es wichtig zu verstehen, dass das primäre Ziel der KI-Entwicklung nicht unbedingt darin besteht, in allen Bereichen übermenschliche Fähigkeiten zu erreichen. Vielmehr liegt ein Hauptaugenmerk darauf, den Prozess der KI-Entwicklung selbst zu automatisieren. Dies beinhaltet die Schaffung potenzieller Feedback-Loops, die eine automatische Selbstverbesserung einleiten können. Dieser Ansatz könnte zu einer deutlichen Beschleunigung der KI-Fortschritte führen und wirft gleichzeitig wichtige ethische und sicherheitstechnische Fragen auf.

Die Skalierungsgesetze und ihre Grenzen

Die Skalierungsgesetze in der KI, insbesondere im Bereich der großen Sprachmodelle, beschreiben die Beobachtung, dass die Leistung von Modellen mit zunehmender Datenmenge, Modellgröße und Rechenleistung vorhersehbar zunimmt. Tatsächliche Beobachtungen in der Leistungsfähigkeit scheinen diesem Trend bisher zu gehorchen20, weshalb gegenwärtig ein globales Wettrüsten im Bereich KI stattfindet.

OpenAI und Microsoft planen beispielsweise bereits Rechenzentren in der Größenordnung von über 100 Milliarden Dollar21, was etwa den 160-fachen Kosten des derzeit leistungsstärksten Supercomputers entspricht.22 Doch so astronomisch diese Zahlen wirken, so fundamental steuert die Entwicklung auf potenzielle Flaschenhälse zu, dazu zählt primär die Verfügbarkeit von Strom, Daten und KI-Chips.

Während bereits ein großer Teil des Internets in den Trainingsdaten enthalten ist, existieren dennoch zahlreiche bisher unerschlossene Quellen. Es ist sicher kein Zufall, dass KI-Unternehmen äußerst zurückhaltend mit Informationen über ihre verwendeten Daten sind. Die Analyse des generierten Outputs lässt jedoch rückschließen, dass sie mit hoher Wahrscheinlichkeit auch auf urheberrechtlich geschütztes Material, Daten aus konkurrierenden sozialen Netzwerken, transkribierte Videos und Podcasts sowie viele andere Archive und Quellen zurückgreifen.

Der gegenwärtige Zeitpunkt markiert daher möglicherweise die letzte Gelegenheit, das Internet als Trainingsgrundlage zu nutzen. Mit der rapide zunehmenden Menge KI-generierter Inhalte gewinnt die sogenannte „Dead Internet Theory“ momentan an Realität: Menschlich erstellte Inhalte drohen zur Minderheit zu werden, was zudem eine Art digitale Inzucht beim KI-Training begünstigen und die Vielfalt sowie Qualität zukünftiger Modelle beeinträchtigen könnte. Neueste Entwicklungen, wie das kürzlich von OpenAI vorgestellte Modell o1, deuten daher bereits auf ein zunehmendes Training mit künstlich synthetisierten Daten hin – ein potenzieller Wendepunkt in der Art und Weise, wie KI-Systeme lernen und sich weiterentwickeln.23

KI auf dem Weg in unseren Alltag

An der Schnittstelle zwischen digitaler Innovation und physischer Realität zeichnet sich gegenwärtig ein Bild ab, das sowohl fasziniert als auch nachdenklich stimmt. Das häufig zitierte Mooresche Gesetz, das bereits seit 1965 als verlässlicher Indikator dient, besagt, dass sich die Rechenleistung von Computern im Schnitt alle zwei Jahre verdoppelt. Sollte dieses Wachstum bis 2030 anhalten, würde dies eine Leistungssteigerung um das etwa 64-fache (26 Verdopplungen) implizieren.

Nachdem die Skalierung jedoch nicht nur vertikal, also durch leistungsfähigere Hardware, sondern auch horizontal, durch den parallelen Einsatz einer größeren Anzahl von Computerchips, erfolgt, hält das Forschungsinstitut Epoch AI eine Skalierung von KI-Modellen bis 2030 um den Faktor 10.000 für realistisch.24 Diese Entwicklung wird die Kosten so drastisch senken, dass selbst die aufwendige Generierung von Videos, 3D-Modellen oder Videospielen in Echtzeit bis nächstes Jahr realistisch erscheint.

Mit der Zunahme der generierten Outputmenge wächst auch die Herausforderung, diese Daten manuell auf Qualität und Richtigkeit zu überprüfen. Bereits heute erfordert es Fachwissen oder ein vertieftes Studium, um beispielsweise generierten Programmcode oder wissenschaftliche Texte auf ihre Validität zu prüfen. Die schiere Menge an generiertem Output wird daher bald die menschliche Kapazität zur Kontrolle übersteigen.

Parallel dazu werden aktuell sogenannte KI-Agenten entwickelt, die autonom Betriebssysteme oder das Internet navigieren, um dort etwa Apps zu steuern, Informationen abzurufen oder langfristige Aufgaben schrittweise zu bearbeiten. Perspektivisch könnten dies jedoch mit weiterem Training direkt auf eine neue Ebene übergehen: Die dynamische Generierung von Anwendungen in Echtzeit. Dies verspricht eine neue Ära der Softwareentwicklung und Interaktion mit jeglichen digitalen Geräten, stellt aber auch die Frage nach der Kontrolle und Sicherheit solcher autonomen Systeme.

Mit der steigenden Zahl an autonomen Bots, die bereits gegenwärtig für schätzungsweise 50 % des globalen Internetverkehrs verantwortlich sind25, wird sich das Internet existenziell wandeln. Da derzeit keine zuverlässigen Verifikationen für Mensch und Maschine existieren, können wir mit einem starken Zuwachs an Desinformationen rechnen, sodass reale Interaktionen wieder zunehmend an Bedeutung gewinnen könnten. Durch fortschreitende Integration dieser selbstlernenden Computernetze in physische Maschinen (Roboter) muss zudem diskutiert werden, wie nachhaltig das Konzept von Arbeit ist und welche Kompetenzen wir im Bildungssystem vermitteln sollten.

Wenn wir KI als Werkzeug für das globale Gemeinwohl begreifen und gestalten, könnte sie nicht nur zum Katalysator für eine weltweite Demokratisierung von hochwertiger Bildung und Gesundheitsversorgung werden, sondern auch die wissenschaftliche Forschung und den Wohlstand vorantreiben. Angesichts dieses Paradigmenwechsels ist es von größter Bedeutung, dass wir bereits heute gemeinsam Strategien entwickeln, um die Auswirkungen der bevorstehenden technologischen Umwälzungen abzufedern.

Es bedarf daher einer breiten, fundierten und demokratischen Diskussion, die sowohl die Chancen des technologischen Fortschritts als auch das menschliche Wohlergehen in den Mittelpunkt stellt. Nur so können wir sicherstellen, dass künftige Entwicklungen im Informationszeitalter nicht nur technologisch, sondern auch menschlich und ethisch vertretbar voranschreiten.

Quellen:

  1. https://www.forbes.com/sites/cindygordon/2023/02/02/chatgpt-is-the-fastest-growing-ap-in-the-history-of-web-applications/ ↩︎
  2. https://www.theverge.com/2024/8/29/24231685/openai-chatgpt-200-million-weekly-users ↩︎
  3. https://mebis.bycs.de/beitrag/ki-geschichte-der-ki ↩︎
  4. https://www.handelsblatt.com/meinung/kommentare/kommentar-der-neue-iphone-moment-chatgpt-und-die-tech-revolution/28969310.html ↩︎
  5. https://epochai.org/data/notable-ai-models ↩︎
  6. https://s10251.pcdn.co/pdf/2022-Alan-D-Thompson-Whats-in-my-AI-Rev-0b.pdf ↩︎
  7. https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf ↩︎
  8. https://www.reddit.com/r/mlscaling/comments/1d3a793/andrej_karpathy_gpt2_124m_in_llmc_in_90_minutes/ ↩︎
  9. https://arxiv.org/pdf/2005.14165 ↩︎
  10. https://lambdalabs.com/blog/demystifying-gpt-3 ↩︎
  11. https://the-decoder.de/leaks-zeigen-gpt-4-architektur-datensaetze-kosten-und-mehr/ ↩︎
  12. https://arxiv.org/pdf/2211.02001 ↩︎
  13. https://www.handelsblatt.com/unternehmen/energie/stromverbrauch-in-deutschland-2024-so-viel-strom-verbrauchen-haushalte-im-durchschnitt/29024506.html ↩︎
  14. https://www.forbes.com/sites/arielcohen/2024/05/23/ai-is-pushing-the-world-towards-an-energy-crisis/ ↩︎
  15. https://www.tomshardware.com/tech-industry/oracle-will-use-three-small-nuclear-reactors-to-power-new-1-gigawatt-ai-data-center ↩︎
  16. https://openai.com/index/hello-gpt-4o/ ↩︎
  17. https://www.holisticai.com/blog/navigating-llm-benchmark ↩︎
  18. https://arxiv.org/pdf/2409.04109 ↩︎
  19. https://news.mit.edu/2024/llms-develop-own-understanding-of-reality-as-language-abilities-improve-0814 ↩︎
  20. https://youtu.be/CM_DP7pkJQk ↩︎
  21. https://www.heise.de/news/Stargate-Microsoft-soll-KI-Rechenzentrum-fuer-100-Milliarden-Dollar-planen-9671372.html ↩︎
  22. https://www.ornl.gov/journeytofrontier ↩︎
  23. https://openai.com/index/learning-to-reason-with-llms/ ↩︎
  24. https://epochai.org/blog/can-ai-scaling-continue-through-2030 ↩︎
  25. https://www.imperva.com/resources/resource-library/reports/2024-bad-bot-report/?Lead-Source=Referral-Organic ↩︎