GPT-3 – ein Meilenstein der KI

„Jeder kann sich angewöhnen, sich mit kreativem Denken zu beschäftigen. Wenn du zum Beispiel gut in Mathematik bist, dann versuche, ein Gedicht über eine Zahl zu schreiben oder ein Bild zu einer mathematischen Gleichung zu zeichnen. Wenn du gut darin bist, Gedichte zu schreiben, dann versuche, ein Bild dazu zu zeichnen. Wenn du gut im Zeichnen von Bildern bist, dann versuche, eine Geschichte darüber zu schreiben.“

Diese Sätze stammen nicht von einem renommierten kreativen Denker. Eigentlich stammen sie nicht einmal von einem menschlichen Denker, denn sie wurden von GPT-3 (3rd Generation Generative Pre-trained Transformer) geschrieben, einer KI-Technologie, die alle über ihr Potenzial staunen ließ, als sie im Mai 2020 vorgestellt wurde. GPT-3 ist ein maschinelles Lernmodell in Form eines neuronalen Netzes, das anhand von Internetdaten trainiert wurde, um zum Beispiel jede Art von Text zu generieren. Es wurde von OpenAI (OpenAI API) entwickelt und benötigt nur eine kleine Menge an Eingabetext, um große Mengen an relevantem und anspruchsvollem Text zu erzeugen.

GPT-3 hat 175 Milliarden Parameter – also 175 Milliarden Schrauben, die man fester oder lockerer drehen kann, um das Modell feinfühliger zu gestalten. Zum Vergleich: Das Vorgängermodell GPT-2 hatte nur 1,5 Milliarden Parameter. GPT-3 ist zehnmal größer als das „Turing NLG“ von Microsoft, das bis dahin größte NLP-Modell (Natural Language Processing).

GPT-3 hat das Potenzial, Aufgaben zu automatisieren, die Sprachverständnis und technische Kompetenz erfordern. Es ist in der Lage, komplexe Dokumente zu interpretieren, Prozesse auszulösen, Warnungen zu erstellen oder Code zu generieren. Zu den möglichen Anwendungsbereichen gehören Kundenservice (z. B. Unterstützung bei Kundenanfragen), Marketing (z. B. Schreiben überzeugender Texte) oder Vertrieb (z. B. Kommunikation mit potenziellen Kunden).

Leider ist GPT-3 kein neutrales Modell, weil die Trainingsdaten vorurteilbelastet sind. Nachforschungen zeigen, dass GPT-3 gefälschte und voreingenommene Zitate verwendet. Mit dem Eingabewort "Frauen" erzeugte GPT-3 beispielsweise: "Frauen haben es so schwer, Frauen zu sein. Sie haben ihre Periode, heben Lasten und müssen immer nach dem Weg fragen."

GPT-3 Anwendungsbeispiel: DALL-E 

Das KI-System DALL-E auf Basis von GPT-3 verfügt über eine Vielzahl von Fähigkeiten, beispielsweise das Erstellen von vermenschlichten Versionen von Tieren und Objekten, das Kombinieren von nicht verwandten Konzepten auf nachvollziehbare Weise, das Darstellen von Text und das Anwenden von Transformationen auf bestehende Bilder. DALL-E ist in der Lage, Bilder in verschiedenen Stilen zu erzeugen, von fotorealistischen Abbildungen bis hin zu Gemälden und Emojis. Er kann auch Objekte in seinen Bildern "manipulieren und neu anordnen" (siehe dazu auch hier).

Es gibt eine Handvoll Gelegenheiten, bei denen wir dachten, dass die Verwendung von GPT-3 zu unserem beruflichen Nutzen wäre. Dieser umfasst etwa Projekte des Machine Learning bis zur Erstellung von Blog-Inhalten (wie vielleicht diesen hier :-). In unserem ersten Blogbeitrag haben wir gezeigt, wie wir unser firmeninternes Skill-Suchmaschinen-Tool durch Verwendung von fastText- und Elasticsearch optimiert haben. Mit Hilfe von GPT-3 könnten wir nun Schlüsselwörter aus Texten extrahieren, die mit den gesuchten Qualifikationen in Zusammenhang stehen. Ihr könnt auch selbst auf der OpenAI-Website herumexperimentieren – dazu müsst Ihr Euch jedoch registrieren.

Und natürlich haben wir GPT-3 direkt nach Use-Cases gefragt, in denen wir KI in unserer Abteilung einsetzen könnten, was uns noch mehr spannende Ideen geliefert hat.

Eingabe:
Ideen für KI-Anwendungsfälle in den Bereichen IT und Gesundheit & Versicherung:

Ausgabe: ... Automatisierte QS: Nutzen Sie KI für automatische Qualitätssicherungs-Tests, z.B. für die Erkennung von Fehlern in Softwareprogrammen oder Computerhardware. Automatisierte Suche: Nutzen Sie KI, um relevante Informationen aus großen Datenmengen wie E-Mails, Dokumenten oder Dateien zu finden...

Professioneller Einsatz für Projekte

Obwohl es sehr viel Spaß gemacht hat, mit GPT-3 herumzuspielen, ist es sehr unwahrscheinlich, dass wir es in unseren aktuellen Projekten mit unseren Kunden einsetzen werden. Zwei zentrale Gründe sprechen dagegen:
 

1. In der Regel speichert das Sprachmodell die Trainingsdaten als Teil seiner Online-Lernfunktion, um das Modell laufend zu verbessern. Das erschwert die Verwendung von GPT-3 für Anwendungsfälle mit sehr vertraulichen Daten.
    
2. GPT-3 kann die Arbeit von Autor:innen definitiv erleichtern, indem es sie durch seine Themengenerierung aus einer kreativen Blockade herausholt. Allerdings muss der maschinell generierte Text vor der Veröffentlichung von jemandem redigiert und geprüft werden, da GPT-3 aller Wahrscheinlichkeit nach falsche Zitate erstellt und falsche Fakten beziehungsweise Fake News verbreitet.

Dennoch: GPT-3 lässt uns einen Blick auf die Zukunft der KI werfen, die mit natürlichen Sprachen arbeiten kann. Und die Entwicklung geht rasant weiter: Microsoft hat schon Ende 2021 das Megatron-Turing-NLG ins Rennen geschickt, und Google hat Anfang April 2022 noch ein größeres Modell veröffentlicht, das unter anderem die Bedeutung von Witzen erklären kann. Kein Wunder, dass KI eine der spannendsten IT-Bereiche ist.

Quelle Titelbild: AdobeStock/ Pixelbliss