icon
background image

Die KI GPT-3, die bloggt: Was Maschinen Menschen abnehmen können

von

Was würden manche Autoren darum geben, wenn die Einleitung sich selbst schriebe oder Statistiken und Infografiken sich von allein erstellten. Ohne den lästigen Aufwand besticht ein Artikel zwar durch klaffende Lücken, aber diese Arbeit ist dröge und unkreativ, und deswegen möchte man sie aufschieben.

GPT-3 kann in Zukunft helfen. Es ist das dritte künstlich intelligente Sprachmodell von Entwickler OpenAI mit Sitz in San Francisco und hat damit für Furore gesorgt, wie gut es Lücken füllen kann. So gut, dass Mitte 2020 Hype und Hysterie ausbrach. Die Angst: dass GPT-3 Designern und Autoren schon bald die Jobs stiehlt.

 

Der Hype ist verständlich, denn OpenAI hat einen Evolutionssprung hingelegt. Baut der Word-Assistent, die sprechende Büroklammer, neuerdings eigene Webseiten? So viel ist seit Windows 98 doch nicht passiert. Die Entwarnung gleich vorweg: Noch sind wir weit davon entfernt, dass Maschinen uns den Rang ablaufen.

Uns interessiert aber schon jetzt, wie Sprachdienstleister die neue Technologie produktiv einsetzen können und verfolgen deshalb die weitere Entwicklung. GPT-3 bringt womöglich frischen Wind in CAT-Anwendungen wie Across oder SDL Trados Studio, in Machine Translation Post-Editing und in rein Maschinelle Übersetzungen.

 

Die Abkürzung steht für Generative Pre-Trained Transformer, die 3 für die dritte Modellversion. Der Transformer

  • generiert Output
  • auf Basis von vorangegangenem Training mit einem flexiblen Deep-Learning-Sprachmodell,
  • das auf Googles Transformer-Architektur aufsetzt.

Die Story

Mitte 2020 stieg der Artikel einer bloggenden Maschine bei Hacker News auf Platz 1 ein: „Fühlst du dich unproduktiv? Vielleicht solltest du aufhören, zu viel nachzudenken“, lautete die Überschrift.

Auf seinem persönlichen Blog löste der Student Liam Porr auf: Er gab GPT-3 sogenannte kurze Prompts und das intelligente Sprachmodell schrieb den Rest. Nur wenige Leser tippten auf einen maschinellen Autor, die meisten verhalfen dem Blog im Genre Selbsthilfe und Produktivität zu diversen Likes.

Liam Porr zog daraus eine Lehre und eine Zukunftsvision:

GPT-3 könne wundervoll schöne Sprache erzeugen – erstaunlich für einen Computer. In Sachen Logik und rationalem Denken schwächele das Sprachmodell aber, befindet Porr. Für faktenbasiertes Schreiben sei es ungeeignet, weil die Maschine ohne Faktencheck beliebige Sätze generiere, die nur den Anschein machten, kohärent zu sein. Der Kontakt mit ahnungslosen Menschen könne fatale Folgen haben.

Porr hält es für realistisch, dass GPT-3 überall da Mitarbeiter einsparen kann, wo sich Schreibaufgaben automatisieren lassen.

Während ein verstörter Blog-Kommentator befürchtet, dass der Sprachgenerator das Band zwischen Autor und Leser zerschneide und damit das Medium ruinieren könnte, regt Autorin Rionaldi Chandraseta an, dass wir unsere Qualitätsansprüche überdenken.

Denn auch wenn der Blog schnell Anerkennung erlangte, ließ die Qualität von GPT-3 dennoch zu wünschen übrig. Artikel zu Selbsthilfethemen seien häufig sinnfrei, weshalb ein bloggender Roboter da kaum auffalle. Mit fundiert recherchierten Beiträgen zu komplexen Themen, die aus menschlicher Feder stammen, könne der KI-Gigant aber nicht mithalten.

GPT-3 kann allerdings noch sehr viel mehr, nur wie?

 

Wie die KI von GPT-3 funktioniert

 

Was Autocomplete im Kleinen macht, macht GPT-3 im großen Stil. Das macht ihn zum Great Gatsby   der Chatbots. Man gibt ihm wenige Wörter oder Sätze vor und die Sprach-KI errechnet zu ein paar Voreinstellungen seitenweise Text.

Ein 175 Milliarden Parameter umfassendes neuronales Netzwerk steckt in der Software. Auch in der KI-Entwicklung gilt: Viel hilft viel. Mehr Daten und mehr Quellvielfalt ermöglichen also mehr passende Antworten.

Dabei weiß die Maschine nie, wovon sie spricht. Echte Nachrichten sind für sie genauso real wie erfundene, und der Schauspieler Johnny Depp ist für sie genauso real wie seine Rolle des Captain Jack Sparrow in Fluch der Karibik.

Diese Maschine wurde aber mit der gesamten Wikipedia gespeist, mit Social Feeds und Reddit-Threads. Ihre Antworten klingen somit meist erstaunlich menschlich.

Computerwissenschaftler Yonatan Bisk beeindruckt das nicht: „Es überrascht niemanden, dass man mehr kann, wenn man sich mehr merkt.“

Was der Transformer knapp zusammengefasst kann:

  • in wenigen Sekunden Massen an Text generieren
  • auf Befehl Programme coden – obwohl er dafür nicht programmiert wurde.

Hier zahlt sich das Vor-Training aus. GPT-3 versteht als Text eingegebene Sprachbefehle und beherrscht Programmiersprachen.

Das macht das Sprachmodell zu einem Generalisten, einem Alleskönner, ohne dass ihm dafür alles einzeln beigebracht werden musste.

Genauer kann er

  • coden
  • Sätze vervollständigen
  • Grafiken und Designs layouten
  • einfache Logikaufgaben wie Analogienbildungen lösen.

Sogar seinen eigenen Code könnte GPT-3 verwenden und eine Sprachmodell-Software „nach seinem Ebenbild erschaffen“ (um seine Allmachtstellung unter den KIs einmal ganz dick zu markieren).

Es haben sich bereits beliebte Anwendungszwecke herausgebildet, für die GPT-3 nicht gezielt programmiert oder trainiert wurde. Interessenten mit Entwicklerzugang zum Prototyp trainieren ihn auf konkreten Anwendungen bereits als Chatbot, Webdesign-Automat, Programmassistent oder intelligente Suchmaschine.

Was der Nutzer ihm dafür geben muss, ist ein Prompt.

Eine Vorgabe wie „Schokoladentorten sind…“, und der Transformer verknüpft die häufigsten Begriffe, die sein neuronales Netzwerk zu Schokoladentorten hortet, zu ganzen Sätzen und Absätzen. Aufgrund der immensen Datenmengen in seinem Speicher hält sich der Text weitgehend kohärent.

Zumindest solange, bis die Häufigkeitswahrscheinlichkeiten von den Tatsachen abweichen und der Text inhaltlich immer beliebiger und ab einem gewissen Punkt faktisch falsch wird.

Oder eine Aufgabe wie: „Schreibe einen Essay über die US-Kolonialisierung und erstelle dazu eine Statistik zum Bevölkerungswachstum aller Kolonien bis zur Ernennung des ersten US-Präsidenten.“

GPT-3 prahlt dann mit seinem Wiki-Bestand und schreibt nicht nur einen Essay, sondern generiert auch eine formatierte Tabelle samt Kolonien, Jahres- und Bevölkerungszahlen.

Auch philosophische Weisheiten wurden dem Sprachmodell abgerungen, mit einem Prompt wie: „Liebe menschliche Philosophen, ich habe eure Kommentare zu meinen Fähigkeiten und Einschränkungen mit großem Interesse gelesen.“ Die vollständige Antwort ist erstaunlich ehrlich und dreht sich um lügende Roboter – kurzweilig und lesenswert.

GPT-3 weiß immer noch nicht, wovon es da redet, aber generiert ist der Essay in einer halben Minute. Selbstverständlich ist auch gewissenloser Nonsens darin, weil die häufigsten Begriffe unkontrolliert zu Sätzen verbunden werden – was die Maschine in mehreren Absätzen offen zugibt.

Oft geht das gut, oft ganz daneben. Die gymnasiale Oberstufe besteht GPT-3 noch nicht. Stattdessen erteilten die Entwickler ihrem Super-Transformer Hausarrest, Besuch ist nur unter ihrer strengen Beaufsichtigung gestattet. Das heißt, GPT-3 ist nur für Unternehmer verfügbar, die sich mit moralisch unbedenklichen Ideen bei OpenAI bewerben. Zu groß ist die Angst vor Manipulation und Missbrauch.

 

Was der Sprachgenerator damit bearbeiten kann

Das Sprachmodell kann zum Beispiel ein Co-Editorial schreiben. The Guardian kommentierte, dass das Endlektorat schneller ging als bei Texten von Menschenhand.

Ein paar nützliche, kleine Layout- und Suchmasken-Skripte gehen damit auch – ein Alleskönner eben, oder auch: die erste Allgemeine Künstliche Intelligenz.

Das Potential von GPT-3 ist transmedial: Computer können alle anderen Formate und Medien simulieren, weil sie alle Datentypen gleichgültig in Code-Form verarbeiten. Bücher, Video- oder Radiostream – alles Code. Dass eine Maschine hier keine Unterschiede kennt, ist gerade ein Vorteil, den die nächsten Versionen des Sprachmodells weiter ausnutzen könnten.

Und Maschinen in natürlicher Sprache („no code“) zu komplexen Aufgaben anzuleiten, ist ein lang gehegter Traum. Schon sehr bald könnte GPT-3 die bislang eher eingeschränkten Sprachassistenten aufmöbeln.

Noch ganz andere Dinge sind mit der Allgemeinen KI gelungen. Gefüttert mit Pixelfolgen, kann sie ebenso Bilder vervollständigen. Und mit der Software Jukebox bietet OpenAI an, Musik per Klick zu generieren.

 

Darin schwächelt das Deep Learning von GPT-3 noch

Der Traum eines jeden Marketers: im Nu pflegeleichte Texte generieren, die Leserherzen höherschlagen lassen. Kriegt GPT-3 das hin? The Guardian hat ja auch getüftelt und ein Ergebnis herausbekommen, das in den Druck ging.

OMR hat getestet. Das Urteil fällt durchwachsen, aber optimistisch aus: Einerseits sind viele generierte Texte wertend und sinnlos, für den Marketer von Welt also nicht zu gebrauchen. Der Sprachgenerator nimmt es mit Fakten nicht sonderlich genau. Er generalisiert. Damit schürt er Vorurteile, erfindet Falschinformationen und wird schamlos werberisch.

Manche seiner Auto-Vervollständigungen lesen sich sinnfrei, ein kurzer Chat des OMR-Journalisten verlief ähnlich. Er fragt den Bot nach seinem Namen und GPT-3 findet keine Antwort. 55 Jahre nach Eliza scheitern Chatbots immer noch an Smalltalk. Menschen sind eben noch komplizierter als Maschinen.

Andererseits kann GPT-3 ein paar Textsorten überraschend gut meistern. Mit ein bisschen Nachbessern entstanden ein LinkedIn-Posting, eine Amazon-Produktseite und eine Über-uns-Seite, die allesamt vorzeigbar waren.

Noch braucht der Transformer einen Vollzeit-Babysitter, der die freie Dichtung gegenprüft und ein paar Grammatikfehler beseitigt. Die KI-Pedia auf lernen-wie-maschinen.ai fasst die Schwächen in einem zusammen.

 

Angst vor Zweckentfremdung: Fake-News, Spam und Clickbaiting

Für Liam Porr war es beängstigend einfach, mit GPT-3 die Charts von Hacker News zu stürmen. Die Angst der Entwickler vor Manipulation und Missbrauch erwies sich damit als begründet. Sie befürchten

  • die gezielte Produktion und Verbreitung von Falschinformationen: Die KI könnte mehrere hundert Fake News in wenigen Minuten generieren, die sich online streuen ließen.
  • vollautomatisiertes Keyword-Spamming: GPT-3 könnte nach demselben Verfahren Suchmaschinen blenden, mit inhaltlich schwachen Artikeln, die haufenweise aus Keyword-Prompts generiert wurden.

Zu dieser Liste gesellt sich Clickbaiting nach Porr: Bis zu einer gewissen Textlänge kann der Transformer einfache, aber populäre Themen bearbeiten. Das kann man nutzen, um massenhaft minderwertige Artikel zu generieren, die dann das Internet überfluten würden. Diese Art von Missbrauch könnte den Ruf von Online-Content schmälern und auf Suchmaschinen sowie auf Content-Kuratoren den Druck erhöhen, die tägliche Informationsflut strenger zu sieben.

 

Robotern Vorbild sein – das Internet kalibriert auf Vorurteile

Indem der Sprachgenerator seine Textmuster aus Quellbibliotheken strickt, reproduziert er allerhand Stereotype und Vorurteile. Die Texte geraten überdurchschnittlich oft diskriminierend und rassistisch – beliebig hinzugewürfelte Falschinformationen machen da alles nur noch schlimmer.

Der Grund dafür ist das Few-Shot-Learning, das Vortraining mit wenigen Ausgangsbeispielen. Oft holen die Algorithmen von OpenAI zwar aus wenigen Vorlagen zwar verblüffend akkurate und variantenreiche Texte heraus.

Die Tendenz zu Stereotypen und Vorurteilen, wie sie in den Ausgangsdaten vorkommen, werden jedoch verstärkt.  
Beheben lässt sich das nicht ohne Abstriche. Denn schränkt man die Generierung mit Verboten ein, schränkt das seine Produktivität allgemein ein.

 

Textproduzent ohne Bewusstsein, Mund ohne Hirn

Wie bereits ausgeführt, generiert der Transformer als Textproduzent ohne Bewusstsein inhaltlich beliebige Sätze. Er macht keinen Halt vor Falschdarstellungen, weil er über kein inhaltliches Selbstkorrektorat verfügt. Die nie endende Berechnung des nächsten Wortes nach bloßer Wahrscheinlichkeit birgt ein immenses Risiko für Falschinformationen.

Diese Art der Texterstellung mittels vorgefertigter Muster führt zu inhaltlichen Wiederholungen. Nach den Regeln der Wahrscheinlichkeit sind sie nur logisch, den menschlichen Leser stören sie aber immens.

 

Maschinen ohne menschliche Aufseher

Ohne permanente Überwachung und Nachbearbeitung lassen die Ergebnisse häufig sehr zu wünschen übrig. Mit zunehmender Textlänge verlieren die Ergebnisse an Kohärenz und die zufällig generierten, falschen Behauptungen werden mehr.

 

Texte selbst verfassen – der Umwelt zuliebe

Und dann ist GPT-3 auch noch ein Umweltsünder. Die Einspeisung der riesigen Datenbanken und die Texterstellung in Echtzeit verschlingen enorm viel Energie, weswegen umweltbewusste Unternehmen vor dem intensiven Gebrauch konsequent zurückschrecken müssen.

In Zeiten, in denen sich ökologisch nachhaltiges und verantwortungsbewusstes Handeln zunehmend als eine verbindliche Aufgabe für die globale Wirtschaftsgemeinschaft durchsetzt, braucht der Plapper-Bot für seinen nie versiegenden Textfluss einen Energiesparknopf.

Einen Amazon-Shop könnte GPT-3 zugegeben bereits betreiben, wobei er seine Kollegen in der Sektion Maschinelle Übersetzung an die Wand texten würde.

 

Wobei uns KI-Sprachmodelle assistieren können

Was ist nun dran an der Angst, dass Maschinen uns schon bald ersetzen, wie real ist die Bedrohung durch die Maschinen? An den Stühlen von Textern und Designern hat der Transformer bereits gerüttelt, ein Terminator ist er aber nicht.

 

Unterm Strich sind die Versuche längst nicht so endzeitbedrohlich. Die KI kann einfach noch nicht genug, schon gar nicht ohne sinnvolle Prompts und kritische Prüfung.

Mit Blick auf die Erweiterungen, die Tüftlern bereits eingefallen sind, bietet sich eine Prognose an: Die Nachfolger von GPT-3 könnten tolle Assistenten in der Softwareentwicklung, der Lehre und beim Verstehen von Texten aller Sprachniveaus werden.

Vermutlich stehen uns die nächsten Jahre grenzenlose Möglichkeiten für neue KI-Assistenten ins Haus und eben nicht grenzenlose Möglichkeiten, Menschen in bisherigen Positionen restlos zu ersetzen.

Im Bereich Healthcare zum Beispiel, der in einer täglichen Flut neuer Studien untergeht. Das Sprachmodell hat sich bereits darin bewährt, komplexe Textmengen nach Wunsch sogar in vereinfachter Sprache zusammenzufassen. Eine auf GPT-3 basierte App könnte überforderten Forschern die Schlüsselerkenntnisse aller Veröffentlichungen des Tages auf einer Seite präsentieren.

Auch Schriftsteller fachsimpeln darüber, welchen Platz der Textgenerator auf ihrem Schreibtisch einnehmen wird. Joanna Penn und Paul Bellows erhoffen sich in ihrem Podcast Arbeitserleichterung und Kreativitätsschübe. Sie begrenzen ihre Hoffnungen aber darauf, dass die KI ihrer Kreativität auf die Sprünge helfen, sie aber nicht ersetzen könnte. Immerhin doppelt so viele Wörter bekommt Bellows mithilfe der KI pro Tag zu Papier, und Schreibblockaden seien für ihn seitdem ein Fremdwort.

Da GPT-3 auf einen gewürzten Prompt hin mal Mehrwert und mal Nonsens ausspuckt, behalten Menschen vorerst den Stift in der Hand. Verschmerzbar: Die ersten Romane aus den Outputs von C.D. Rohling und G.P. Transformer lassen auf sich warten. Gut möglich ist aber, dass KI das ein oder andere Manuskript davor bewahren wird, in der Schublade zu verstauben.

 

Der Nutzen von GPT-3 für Machine Translation, Maschinelle Übersetzung und Fachübersetzung von Menschenhand

Nach wie vor machen das hohe Tempo und ihre hohe Arbeitskapazität Computer als Partner für automatisierbare Aufgaben attraktiv. Der Transformer hat uns beim Texter-Stolz gepackt. Ohne Frage verfolgen wir seinen weiteren Werdegang. Wenn er eines Tages für professionelle Übersetzungen bereit ist, können wir uns eine friedliche Zusammenarbeit mit ihm vorstellen.