Einführung in Natural Language Processing (NLP), AI-Content und das GPT3-Modell

von Über den Otter...

Im ersten Teil der Serie „Contenterstellung mit KI“ werden die Begriffe künstliche Intelligenz (KI) und Natural Language Processing (NLP) erklärt. Außerdem wird ein Blick auf ein aktuell vieldiskutiertes Modell – das GPT3 von Open AI – geworfen. Der Artikel endet mit einem Praxistest des Modells mithilfe von jasper.

Was ist künstliche Intelligenz (KI)?

Künstliche Intelligenz ist aktuell das Buzzwort schlechthin. Schon Tausendmal gehört. Doch nicht so richtig verstanden. Vereinfacht gesagt geht es darum, Maschinen so zu trainieren, dass sie „menschenähnliche“ Intelligenz entwickeln. Dabei stehen das selbstständige Denken, das autonome Handeln sowie die Fähigkeit zu Lernen zentral. All das was unser menschliches Gehirn auszeichnet.

Wenn von KI gesprochen wird, geht es oft eher um Machine Learning. Dies ist ein Teilbereich der künstlichen Intelligenz, bei dem Maschinen Muster in vorliegenden Datensätzen erkennen und dadurch eigenständige Lösungen für Probleme finden. Hierfür werden sogenannte Modelle entwickelt. Diese simulieren, vereinfacht gesagt, den menschlichen Entscheidungsprozess. Dabei lernen sie von den zugeführten Informationen und Erfahrungen („den Daten“) – ähnlich wie das menschliche Gehirn.

Natürlich sind Computersysteme noch längst nicht so intelligent wie wir Menschen. Daher wird zwischen schwacher und starker KI unterschieden. Eine schwache KI arbeitet an Lösungen für einen sehr konkreten Anwendungsfall. Hierzu zählt zum Beispiel das Navigationssystem im Auto. Es findet den schnellsten Weg von A nach B. Ob diese Route nun über einen schwer zu befahrenen Waldweg oder die asphaltierte Straße führt, sei erstmal dahingestellt. Die Maschine ist darauf trainiert den schnellsten Weg unter Berücksichtigung der aktuellen Verkehrslage zu finden.


Das Navigationssystem im Auto als „schwache KI“: Es schafft selbstständig eine Lösung für einen konkreten Anwendungsfall.



Das menschliche Gehirn hingegen, hat aus Erfahrung gelernt, dass die Route über die asphaltierte Straße zwar etwas länger dauert, dafür aber die deutlich angenehmere ist. Könnte die Maschine dies einschätzen, würde es sich um eine starke KI handeln. Dieser Begriff bezeichnet eine „maschinelle Intelligenz“, die der des Menschen gleicht oder diese sogar noch übertrifft. Hört sich stark nach Science-Fiction Film an und liegt aktuell auch außerhalb der technischen Möglichkeiten.

Wichtig ist, sich vor Augen zu führen, dass es nicht die eine künstliche Intelligenz gibt. Stattdessen werden für verschiedene Anwendungsfälle unterschiedliche Methoden, Verfahren und Technologien entwickelt und genutzt [1,2].


Im nachfolgenden Video von Doktor Whatson wird das Phänomen künstlicher Intelligenz sehr anschaulich erklärt:
https://www.youtube.com/watch?v=mZlV5RLH0ns


Was ist Natural Language Processing (NLP)?

Amazon Alexa, Siri oder der Gmail Spam-Filter – Maschinen sprechen unsere Sprache. Der dafür verantwortliche Bestandteil der künstlichen Intelligenz nennt sich Natural Language Processing (NLP). Mit dieser Abkürzung werden alle Techniken zur maschinellen Verarbeitung von natürlicher Sprache beschrieben. Ziel ist eine direkte Kommunikation zwischen Mensch und Computer. Elementare Bestandteile der natürlichen Sprachverarbeitung sind das „Verstehen von Sprache“ und das „Erzeugen von Sprache“ [3].

Beispiele für Natural Language Processing

NLP ist kein neues Phänomen, sondern in vielerlei Hinsicht bereits fester Bestandteil unseres Alltags. Nachfolgend finden Sie 3 typische Anwendungsfälle:

1. Rechtschreibprüfung & Autocomplete

Tippfehler passieren. Doch oft nehmen wir sie gar nicht mehr wahr, denn sie werden von der automatischen Rechtschreibprüfung souverän ausgebügelt. Gerade die Rechtschreibprüfung der Smartphone-Tastatur ist wohl jedem ein Begriff. Auch das beliebte Tool Grammarly greift auf Natural Language Processing zurück, um Rechtschreibfehler zu erkennen und die richtige Schreibweise vorzuschlagen.

Eine andere Form von Textvorschlägen stellt die Autocomplete-Funktion der Smartphone-Tastatur dar. Hierbei wird basierend auf der Eingabe des Nutzers, das wahrscheinlich nächstfolgende Wort ermittelt und vorgeschlagen. Tippt man zum Beispiel das Wort „Wie“ ein, könnte die KI die Worte „geht“, „es“ und „dir?“ vorschlagen. Dabei lernt das Modell basierend auf den Nutzereingaben, sodass selbst Spitznamen oder Wortneuschöpfungen mitaufgenommen werden können.


Autocomplete-Funktion auf der Smartphone Tastatur (siehe Wortvorschläge über Tastatur).


2. Spam-Filter

Haben Sie sich schonmal gefragt, warum eine E-Mail im Spam-Filter landet? Neben vielen weiteren Faktoren prüfen E-Mail-Anbieter den Inhalt einer Nachricht auf verdächtige Begriffe und Textpassagen, die mit hoher Wahrscheinlichkeit auf Spam hindeuten.

3. Virtuelle Assistenten

Virtuelle Assistenten, wie Amazon Alexa oder Google Now, sind wohl das bekannteste Beispiel für Natural Language Processing. Dabei greifen sie auf Natural Language Understanding (NLU), welches der Maschine hilft die natürliche Sprache zu verstehen, sowie auf Natural Language Generation (NLG) zurück, welches die Maschine befähigt zu sprechen.


Alexa Echo basiert auf Natural Language Understanding (NLU) und Natural Language Generation (NLG).



Weitere bekannte Anwendungsfälle, die auf Natural Language Processing basieren, sind Chatbots, automatisierte Umfrage- und Social Media-Auswertungen, Siri oder die Google Suchergebnisse (BERT & RankBrain).

Was ist das GPT3-Modell und wie funktioniert es?

Große Datenmengen und Wahrscheinlichkeiten – das macht die Contenterstellung mit KI aus. Doch zu Beginn steht immer ein Modell. Dabei wird mithilfe von Algorithmen nach bestimmten Mustern in vorliegenden Daten gesucht, sodass die Simulation („Modell“) zukünftig eigenständige Lösungen entwickeln kann. Das bedeutet, das Modell simuliert quasi den Entscheidungsprozess eines Menschen. Ähnlich wie das menschliche Gehirn lernt es dabei von den zugeführten Informationen. 

GPT3 ist womöglich das aktuell meistdiskutierte Modell in der NLP. Es wurde von der gemeinnützigen Organisation OpenAI entwickelt, welche im Jahr 2015 von Elon Musk und weiteren Investoren in San Francisco gegründet wurde. Besondere Aufmerksamkeit erlangte es, da es Texte erstellen kann, die sich nur schwer von denen menschlicher Autoren unterscheiden lassen.

Durch das Training mit großen Datenmengen haben die Algorithmen gelernt, welches Wort mit hoher Wahrscheinlichkeit das Nächste sein wird. Dabei betrachtet das Modell nicht mehr nur einzelne Worte (Markov-Ketten), sondern die vorangegangenen Wortkombinationen in seiner Gesamtheit. Konkret wird der Text in einzelne Zeichenfolgen, sogenannte Token unterteilt. Dabei generiert das Modell Content, indem es die nächstwahrscheinliche Zeichenfolge in einer Reihe von Zeichenfolgen errechnet.

Gibt man zum Beispiel das Wort „Sportschuhe“ ein, ermittelt das GPT3-Modell das höchstwahrscheinlich nächstfolgende Wort. Nehmen wir mal an, es wäre „günstig“. Anschließend wird diese Zeichenfolge als Ganzes genutzt, um die darauffolgende Zeichenfolge zu bestimmen (z.B. „kaufen“). Dieser Prozess wird ständig wiederholt.

Im Gegensatz zum Vorgängermodell wurde das GPT3-Modell mit einer fast fünfzigmal größeren Datenmenge trainiert – insgesamt etwa 40 TB an reinem Text. Aufgrund dieser großen Datenmenge lassen sich nicht nur recht ansehnliche Texte erstellen. Auch Textvorschläge können entwickelt werden, die sich zuvor so noch nicht in den Trainingsdaten wiedergefunden haben. Selbstverständlich versteht das Modell nicht was es schreibt, sodass der Inhalt stets durch einen Menschen gegenprüft und überarbeitet werden muss [4].

Das Vorgängermodell GPT2 generiert auf den ersten Blick auch ansehnlichen Content. Bei näherer Betrachtung, fällt allerdings auf, dass diese Inhalte von einer Maschine erstellt wurden. Zwei anschauliche Beispiele hat Kai Spriestersbach unter dem Titel „Why I left the SEO industry“ für seinen Vortrag auf der SEO-komm (Folien 61/62) erstellt.

Praxistest: Wie gut ist GPT3 wirklich?

Genug der Theorie. Wie weit fortgeschritten ist die Contenterstellung mithilfe von KI? Um dies beantworten zu können, habe ich das GPT3-Modell einem Praxistest unterzogen. Spezielle Tools, wie Jasper (ehemals Jarvis oder Conversion.ai), Frase.io oder Rytr, bieten einen komfortablen Einstieg. Wer mehr zu den gängigen Tools erfahren möchte, sollte einen Blick auf die Testberichte von Kai Spriestersbach werfen.

Das Thema für meinen Praxistest war auch schnell gefunden. Im letzten Jahr habe ich im Squash ein neues Hobby gefunden. Als Nische ideales Futter für unser Experiment. Auch spannend im Hinblick auf die grundsätzliche Ähnlichkeit zu anderen Ballschlagsportarten, wie Tennis oder Racquetball. Die KI soll ja auch etwas ins Schwitzen kommen…

Konkret habe ich mithilfe des „Long Form Editors“ in Jasper einen Blogbeitrag zum Thema „squash rules“ geschrieben. Dieser hat etwas mehr als 1.300 Wörter und wurde auf Englisch verfasst. Es war mein allererster Beitrag im Tool, sodass sich das Modell noch nicht an den Themen oder der Wortwahl aus vorherigen Projekten orientieren konnte.


Die ersten Absätze des Blogbeitrags zum Thema „squash rules“, den ich mithilfe des GPT3-Modells in Jasper erstellt habe.



Mein Fazit fällt positiv aus: Selbstverständlich kann das GPT3-Modell keinen professionellen Texter ersetzen. Dennoch liefert es solide bis gute Ergebnisse – gerade für Themen bei denen Aktualität und Erkenntnisgewinn nicht die größte Rolle spielen. In Kombination mit einem erfahrenen Texter spielt es seine Vorzüge voll aus: Durch die Unterstützung der künstlichen Intelligenz ist es möglich deutlich schneller (Zeitersparnis!) hochwertige Inhalte zu erstellen. Wenn es richtig gefüttert wird (Themenrecherche & Texter-Briefing) beugt es Schreibblockaden vor und liefert eine gute Basis für hochwertigen Content. Den finalen Touch (vor allem Erkenntnisgewinn & Aktualität) kann der Texter dann händisch nachjustieren. Insgesamt bietet es eine gute Unterstützung, um hochwertige Inhalte in kurzer Zeit und bei verhältnismäßig geringen Kosten (Tool + Texter) zu produzieren.

Die Details des Praxistests habe ich nachfolgend ausgearbeitet. Auch werde ich den Artikel demnächst veröffentlichen und von meinen Erfahrungen im Hinblick auf das Ranking in der Suchmaschine berichten. Wichtig: Wenn mit dem AI-Content das Ziel verfolgt wird, in der Suchmaschine zu ranken, gibt es einige Punkte zu beachten – Stichworte: Google-Richtlinie, „Helpful-Content-Update“ & Urheberrecht (mehr dazu im zweiten Teil der Serie).

Praxistest: Vorteile des Modells

Der größte Vorteil der Texterstellung mithilfe des GPT3-Modells ist auf jeden Fall die Zeitersparnis. Für den Artikel zu den Squash-Regeln mit 1.300 Wörtern habe ich inklusive Recherche etwa 6-8 Stunden benötigt. Für einen komplett von Hand geschriebenen Artikel hätte ich deutlich mehr Zeit investieren müssen.

Zum einen werden Schreibblockaden bei der Contenterstellung mithilfe von KI vermieden. Auf Grundlage einer Kurzbeschreibung (z.B. Ziel, Textart und Tonalität) und den Keywords erstellt Jasper automatisch verschiedene Titel und Einleitungen. Diese können anschließend nach den eigenen Vorstellungen hin überarbeitet werden. Besonders spannend hierbei: Die Wünsche werden im Briefing direkt schriftlich an die KI formuliert.


Zum anderen greift Jasper dem Texter auch während des Schreibprozesses stark unter die Arme. Die Zwischenüberschriften des Artikels zum Beispiel lassen sich komplett automatisch generieren. Diese können dann wiederum genutzt werden, um über die „Compose“-Funktion, den Inhalt für genau diesen Abschnitt erstellen zu lassen. Dabei sucht das Modell basierend auf der Zwischenüberschrift nach der nächstwahrscheinlichen Zeichenfolge. Je größer die Datengrundlage für das Modell, umso besser das Ergebnis. Interessant hierbei: Das Modell lernt während des Schreibens dazu. Je weiter fortgeschritten der Text bereits war, desto besser wurden die automatisch erstellten Textpassagen des Modells.


Zusätzlich lassen sich einzelne kurze Textabschnitte aus der vorherigen Themen- und Quellenrecherche mithilfe des Tools direkt umschreiben. Gerade bei informativen Themen, die keinen großen Veränderungen unterliegen (z.B. Definitionen) spart dies wertvolle Zeit. Wichtig hierbei: Quellenangaben nicht vergessen.


Dem menschlichen Texter obliegt oft nur noch das Feintuning hinsichtlich Formulierung und Lesefluss. Die oben vorgestellten Möglichkeiten führen in ihrer Gesamtheit dazu, dass die Contenterstellung deutlich zügiger verläuft. Natürlich muss hierbei erwähnt werden, dass ich andere Qualitätsansprüche (z.B. Originalität & Lesefluss) an einen KI-Text erhebe als an einen, der komplett von menschlicher Hand geschrieben wurde.


Durch die Zeitersparnis und die relativ geringen Kosten der Tools am Markt können branchenaffine Texter vergleichsweise günstig hochwertigen Content erstellen. Monatsabonnements für gängige KI-Tools liegen zwischen 30€ und 100€. Hinzu kommt der Aufwand für die Bearbeitung durch einen erfahrenen Texter mit Branchenkenntnissen. Die Bewertung der Kosten ist immer abhängig von der eigenen Erwartungshaltung. Daher gilt: Am besten selber ausprobieren! Die meiste Tools bieten günstige Testversionen an, mit denen man sich selbst ganz einfach ein eigenes Bild machen kann.

In folgendem Video von Kai Spriestersbach können Sie das Tool „Jasper“ im Einsatz sehen:
https://www.youtube.com/watch?v=mZlV5RLH0ns

Praxistest: Nachteile des Modells

Beim Thema Texterstellung mithilfe von KI stellt man sich allzu schnell ein Tool vor, das hochwertigen Inhalt quasi „auf Knopfdruck“ produziert. Und dieser Wunsch ist nur allzu verständlich, schließlich ist die Contenterstellung einerseits der größte Aufwand in SEO-Projekten, gleichzeitig aber auch der Hebel (zusammen mit Backlinks) zur Skalierung des Projektes. Dennoch bleibt dieser Wunsch zunächst eine Illusion. Vielmehr bietet das Modell eine hochwertige Unterstützung für erfahrene Texter und solche, die es werden wollen. 

Dabei ist ein nicht zu vernachlässigender Nachteil die fehlende Logik des Modells. Vereinfacht gesagt, berechnet es basierend auf einem riesigen Datensatz schlicht die nächstwahrscheinliche Zeichenfolge. Dies muss nicht die faktisch richtige sein. Bei ausbleibender oder fehlerhafter Nachbearbeitung schleichen sich dann schnell Fehler ein. Schließlich handelt es sich lediglich um eine schwache und nicht um eine starke KI. Sprich: Das Modell versteht nicht, was es schreibt.

So kann man Squash durchaus mit vier Spielern im Doppel spielen. Allerdings ist dies nicht die gängige Assoziation der Leser, wenn man an diese Ballschlagsportart denkt. Nicht falsch, aber das Einzel sollte nicht unter den Teppich gekehrt werden. Auch wurden zum Teil Regeln von anderen ähnlichen Sportarten, wie Tennis oder Racquetball, eingestreut. Somit ist die Nachbearbeitung durch einen menschlichen Experten aktuell unabdingbar. 


Der viel größere Nachteil ist allerdings der drohende Mangel an Erkenntnisgewinn. Bereits jetzt ähneln sich die Suchergebnisse zu bestimmten Themen immer stärker. Sucht man zum Beispiel nach dem Schlagwort „Pinterest SEO“ bieten 4 der 10 Suchergebnisse auf der ersten Seite „xx Tipps für ein höheres Ranking“ an. Diese überlappen sich inhaltlich. Natürlich kann man das Thema inhaltlich nicht komplett neu aufladen. Doch warum beschreibt keines der Ergebnisse den Pinterest Algorithmus oder nützliche SEO-Tools für die Plattform? 


Die Suchergebnisse zum Keyword „Pinterest SEO“ ähneln sich stark. Mit dem Rollout des „Helpful content update“ will Google den Erkenntnisgewinn von Suchergebnissen steigern.



Nutzer haben wenig Interesse daran, sich stark ähnelnde Inhalte anzusehen. Daher hat Google im April 2020 unter dem Namen „Contextual Estimation of Link Information Gain“ ein Patent zur Bewertung des Erkenntnisgewinns von Suchergebnissen eingereicht. Hierbei wird ein sogenannter „Information Gain Score“ für jedes Ergebniss einer Suchanfrage berechnet. Dieser beschreibt den Erkenntnisgewinns eines Dokuments im Verhältnis zu den anderen rankenden Dokumenten. Laut Google sollen relevant Ergebnisse zumindest teilweise basierend auf dem jeweiligen Information Gain Score gerankt werden können. Hier muss differenziert werden: Nur weil Google ein Patent angemeldet hat, muss es noch lange nicht heißen, dass dieses bereits aktiv in der Suchmaschine verwendet wird. Vor dem Hintergrund des Rollout des Helpful-Content Updates im September 2022, könnte ich mir allerdings gut vorstellen, dass die beschriebene Technik bereits Anwendung findet.


Praxistest: Anwendungsfälle für das Modell

Das GPT3-Modell hat seine Schwierigkeiten bei Nischenthemen oder Inhalten, die große Aktualität erfordern. Aufgrund der grundlegenden Funktionsweise und der „begrenzten“ Datengrundlage, mit der das Modell trainiert wurde, bleibt der Erkenntnisgewinn der Inhalte in der Regel überschaubar. Daher eignet es sich vor allem für Themen, zu denen es bereits massig Informationen gibt und die sich nicht so schnell ändern. So bietet es bei der Beschreibung der Squash-Regeln eine lohnenswerte – weil zeitsparende – Unterstützung. Bei der Frage, ob und warum Squash keine Olympische Disziplin ist, sind mehr „Meinung“ und „Interpretation“ gefragt.

Praxistest: Fazit

Die Texterstellung mithilfe von künstlicher Intelligenz ist eine lohnenswerte Unterstützung für professionelle Texter. Sie beugt Schreibblockaden vor, spart Zeit und schafft eine gute Basis für einen hochwertigen Inhalt. Dennoch ist die Nachbearbeitung unabdingbar, um Erkenntnisgewinn und Aktualität zu wahren. Mit der Kombination aus Mensch und Maschine können hochwertige Inhalte in verhältnismäßig geringer Zeit erstellt werden.



Quellen

[1] https://www.ki-konkret.de/was-ist-ki.html

[2] http://www.informatik.uni-oldenburg.de/~iug08/ki/Grundlagen_Starke_KI_vs._Schwache_KI.html

[3] https://www.wonderflow.ai/blog/natural-language-processing-examples

[4] https://www.search-one.de/textgenerierung-mit-gpt-3/

Otter-Diskussion: Was denken Sie?