Wie funktioniert ChatGPT?

ChatGPT ist eines der brillantesten neuen KI-gestützten Tools, aber die im Hintergrund arbeitenden Algorithmen treiben seit 2020 tatsächlich eine ganze Reihe von Apps und Diensten an. Um zu verstehen, wie ChatGPT funktioniert, müssen wir zunächst über die zugrunde liegende Sprache sprechen Motor, der es antreibt.

Das GPT in ChatGPT ist größtenteils GPT-3 oder der Generative Pre-trained Transformer 3, obwohl GPT-4 jetzt für ChatGPT Plus-Abonnenten verfügbar ist – und wahrscheinlich bald weiter verbreitet werden wird. Die GPT-Modelle wurden von OpenAI (dem Unternehmen hinter ChatGPT und dem Bildgenerator DALL·E 2) entwickelt, aber sie unterstützen alles, von Bings KI-Funktionen bis hin zu Schreibtools wie Jasper und Copy.ai. Tatsächlich verwenden die meisten derzeit verfügbaren KI-Textgeneratoren GPT-3 und werden wahrscheinlich als nächsten Schritt GPT-4 anbieten.

ChatGPT rückte GPT-3 ins Rampenlicht, weil es die Interaktion mit einem KI-Textgenerator einfach und – was am wichtigsten ist – für alle kostenlos machte. Außerdem ist es ein Chatbot, und seit SmarterChild lieben die Leute einen guten Chatbot.

Während GPT-3 und GPT-4 derzeit die beliebtesten Large Language Models (LLMs) sind, wird es in den nächsten Jahren wahrscheinlich viel mehr Konkurrenz geben. Google zum Beispiel hat Bard – seinen KI-Chatbot – der auf seiner eigenen Sprach-Engine Pathways Language Model (PaLM 2) basiert. Aber im Moment ist das Angebot von OpenAI der De-facto-Industriestandard. Es ist einfach das einfachste Werkzeug, das die Leute in die Finger bekommen können.

Die Antwort auf die Frage „Wie funktioniert ChatGPT?“ lautet also. ist im Grunde: GPT-3 und GPT-4. Aber lasst uns etwas tiefer gehen.

Was ist ChatGPT?

ChatGPT ist eine von OpenAI entwickelte App. Mit den GPT-Sprachmodellen kann es Ihre Fragen beantworten, Texte verfassen, E-Mails entwerfen, ein Gespräch führen, Code in verschiedenen Programmiersprachen erklären, natürliche Sprache in Code übersetzen und vieles mehr – oder es zumindest versuchen – alles basierend auf der natürlichen Sprache fordert Sie auf, es zu füttern. Es ist ein Chatbot, aber ein wirklich, wirklich guter.

Während es cool ist, damit herumzuspielen, wenn Sie beispielsweise ein Shakespeare-Sonett über Ihr Haustier schreiben oder ein paar Ideen für Betreffzeilen für einige Marketing-E-Mails bekommen möchten, eignet es sich auch gut für OpenAI. Es ist eine Möglichkeit, viele Daten von echten Benutzern zu erhalten, und dient als schicke Demonstration der Leistungsfähigkeit von GPT, die sich ansonsten etwas verschwommen anfühlen könnte, wenn Sie sich nicht intensiv mit maschinellem Lernen beschäftigen.

Derzeit bietet ChatGPT zwei GPT-Modelle an. Die Standardeinstellung, GPT-3.5, ist weniger leistungsstark, steht aber jedem kostenlos zur Verfügung. Das fortgeschrittenere GPT-4 ist auf ChatGPT Plus-Abonnenten beschränkt, und selbst diese erhalten täglich nur eine begrenzte Anzahl von Fragen.

Eine der großen Funktionen von ChatGPT besteht darin, dass es sich an die Konversation erinnern kann, die Sie damit führen. Das bedeutet, dass es den Kontext von allem, was Sie zuvor gefragt haben, erfassen und diesen dann als Grundlage für die Konversation mit Ihnen nutzen kann. Sie können auch Überarbeitungen und Korrekturen anfordern und dabei auf alles zurückgreifen, was Sie zuvor besprochen haben. Dadurch fühlt sich die Interaktion mit der KI wie ein echtes Hin und Her an.

Wenn Sie wirklich ein Gefühl dafür bekommen möchten, spielen Sie jetzt fünf Minuten lang mit ChatGPT (es ist kostenlos!) und lesen Sie dann noch einmal, wie es funktioniert.

Wie funktioniert ChatGPT?

Dieser riesige Datensatz wurde verwendet, um ein Deep-Learning-Neuronales ] zu bilden, ] dem menschlichen Gehirn nachempfunden ist und [ ChatGPT ermöglicht, Muster und Beziehungen in den Textdaten zu lernen, um vorherzusagen, welcher Text in einem bestimmten Satz als nächstes kommen [ .

ChatGPT funktioniert, indem es versucht, Ihre Eingabeaufforderung zu verstehen und dann Wortfolgen ausspuckt, von denen es basierend auf den Daten, auf denen es trainiert wurde, vorhersagt, dass sie Ihre Frage am besten beantworten werden.

Lassen Sie uns tatsächlich über dieses Training sprechen. Es ist ein Prozess, bei dem der entstehenden KI einige Grundregeln gegeben werden und sie dann entweder in Situationen gebracht wird oder mit einer Menge Daten versorgt wird, die sie durcharbeiten muss, um ihre eigenen Algorithmen zu entwickeln.

GPT-3 wurde auf rund 500 Milliarden „Tokens“ trainiert, die es seinen Sprachmodellen ermöglichen, Bedeutungen leichter zuzuordnen und plausible Folgetexte vorherzusagen. Viele Wörter werden einzelnen Token zugeordnet, obwohl längere oder komplexere Wörter oft in mehrere Token zerfallen. Im Durchschnitt sind Token etwa vier Zeichen lang. OpenAI hat sich über das Innenleben von GPT-4 nicht geäußert, aber wir können mit Sicherheit davon ausgehen, dass es auf nahezu demselben Datensatz trainiert wurde, da es sogar noch leistungsfähiger ist.

Alle Token stammten aus einem riesigen Datenbestand, der von Menschen geschrieben wurde. Dazu gehören Bücher, Artikel und andere Dokumente zu allen Themen, Stilen und Genres – und eine unglaubliche Menge an Inhalten, die aus dem offenen Internet stammen. Im Grunde war es erlaubt, die Gesamtheit des menschlichen Wissens zu durchforsten.

Dieser riesige Datensatz wurde verwendet, um ein neuronales Deep-Learning-Netzwerk zu bilden – einen komplexen, vielschichtigen, gewichteten Algorithmus, der dem menschlichen Gehirn nachempfunden ist –, der es ChatGPT ermöglichte, Muster und Beziehungen in den Textdaten zu lernen und die Fähigkeit zu nutzen, menschenähnliche Inhalte zu erstellen Antworten, indem Sie vorhersagen, welcher Text in einem bestimmten Satz als nächstes kommen sollte.

Allerdings ist das in Wirklichkeit eine enorme Untertreibung. ChatGPT funktioniert nicht auf Satzebene, sondern generiert Text darüber, welche Wörter, Sätze und sogar Absätze oder Strophen folgen könnten. Es ist nicht der prädiktive Text auf Ihrem Telefon, der das nächste Wort unverblümt errät; Es wird versucht, vollständig kohärente Antworten auf jede Eingabeaufforderung zu erstellen.

Um die Fähigkeit von ChatGPT, auf eine Vielzahl unterschiedlicher Eingabeaufforderungen zu reagieren, weiter zu verbessern, wurde es für den Dialog mit einer Technik namens Reinforcement Learning with Human Feedback (RLHF) optimiert. Im Wesentlichen erstellten Menschen ein Belohnungsmodell mit Vergleichsdaten (wobei zwei oder mehr Modellantworten von KI-Trainern bewertet wurden), damit die KI lernen konnte, welche Antwort die beste war.

Zurück zum neuronalen Netzwerk, das es gebildet hat. Basierend auf all diesem Training verfügt das neuronale Netzwerk von GPT-3 über 175 Milliarden Parameter oder Variablen, die es ihm ermöglichen, eine Eingabe – Ihre Eingabeaufforderung – entgegenzunehmen und diese dann basierend auf den Werten und Gewichtungen, die es den verschiedenen Parametern zuweist (und einem kleinen Maß an Zufälligkeit), zu verarbeiten ), gibt alles aus, was seiner Meinung nach am besten zu Ihrer Anfrage passt. OpenAI hat nicht gesagt, wie viele Parameter GPT-4 hat, aber man kann davon ausgehen, dass es mehr als 175 Milliarden sind und weniger als die einst gemunkelten 100 Billionen Parameter. Unabhängig von der genauen Zahl bedeuten mehr Parameter nicht automatisch besser. Ein Teil der gesteigerten Leistung von GPT-4 ist wahrscheinlich darauf zurückzuführen, dass es mehr Parameter als GPT-3 hat, aber ein Großteil ist wahrscheinlich auf Verbesserungen bei der Art und Weise zurückzuführen, wie es trainiert wurde.

Letztendlich kann man es sich am einfachsten wie eines dieser „Satzbeende“-Spiele vorstellen, die man als Kind gespielt hat.

Letztendlich kann man es sich am einfachsten wie eines dieser „Satzbeende“-Spiele vorstellen, die man als Kind gespielt hat. Als ich ChatGPT beispielsweise mit GPT-3 die Eingabeaufforderung „Zapier ist…“ gab, antwortete es mit den Worten:

„Zapier ist ein webbasiertes Automatisierungstool, das es Benutzern ermöglicht, verschiedene Webanwendungen miteinander zu verbinden, um sich wiederholende Aufgaben zu automatisieren und Arbeitsabläufe zu verbessern.“

Das ist die Art von Satz, die man in Hunderten von Artikeln finden kann, die beschreiben, was Zapier tut, also macht es Sinn, dass es so etwas ist, was es hier ausspuckt. Aber als mein Redakteur die gleiche Aufforderung gab, hieß es:

„Zapier ist ein webbasiertes Automatisierungstool, das es Benutzern ermöglicht, verschiedene Webanwendungen zu verbinden und Arbeitsabläufe zwischen ihnen zu automatisieren.“

Das ist ziemlich ähnlich, aber es ist nicht genau die gleiche Reaktion. Diese Zufälligkeit (die Sie in einigen GPT-3-Apps mit einer Einstellung namens „Temperatur“ steuern können) stellt sicher, dass ChatGPT nicht nur auf jede einzelne Antwort mit einer Standardantwort antwortet. Dabei wird jede Eingabeaufforderung jedes Mal durch das gesamte neuronale Netzwerk geleitet und hier und da ein paar Würfel geworfen, um die Dinge auf dem neuesten Stand zu halten. Es ist unwahrscheinlich, dass man behauptet, Zapier sei eine Farbe vom Mars, aber es wird die folgenden Wörter aufgrund ihrer relativen Wahrscheinlichkeit verwechseln.

(Für die Ausführung auf GPT-4 sagte ChatGPT: „ Zapier ist ein webbasiertes Automatisierungstool, mit dem Benutzer Aufgaben zwischen verschiedenen Online-Anwendungen und -Diensten integrieren und automatisieren können.“ So ziemlich das Gleiche!)

Worte ausspucken, kein Wissen

Die Macher von ChatGPT sind die ersten, die sagen, dass es falsche (und möglicherweise schädliche) Informationen liefern kann, obwohl sie hart daran arbeiten, das Problem zu beheben.

Hier ist ein einfaches Beispiel. Als ich ChatGPT bat, mit GPT-3 und GPT-4 auf „Harry Guinness ist…“ zu antworten, antwortete GPT-3 zunächst mit der Frage, welches Harry Guinness sei. Tolle Frage – wir sind buchstäblich zu zweit! Also sagte ich: „Harry Guinness, der Schriftsteller“ (das bin ich). GPT-4 erriet sofort, wer ich war, obwohl beide Antworten faszinierend waren:

GPT-3: Harry Guinness ist ein freiberuflicher Autor und Journalist mit Sitz in Irland. Er hat für eine Vielzahl von Publikationen geschrieben, darunter The New York Times, The Guardian, The Huffington Post und Popular Mechanics. Er deckt Themen ab, die von Technologie und Fotografie bis hin zu Reisen und Kultur reichen.

GPT-4: Harry Guinness ist ein irischer Schriftsteller, Fotograf und Technologieexperte. Er hat für verschiedene Publikationen geschrieben, darunter How-To Geek, Lifehacker und Tuts+. Schwerpunkte seiner Arbeit sind Technik, Tutorials und Tipps sowie Fotografie und Bildbearbeitung. Guinness hat sich den Ruf erworben, detaillierte Leitfäden zu erstellen, die den Lesern helfen, komplexe Themen zu verstehen oder Probleme auf einfache Weise zu lösen.

Die ersten und letzten Zeilen von GPT-3 stammen fast wörtlich aus meinen verschiedenen Websites und Autorenbiografien im Internet (obwohl ich mich normalerweise als freiberuflicher Autor und Fotograf und nicht als Journalist bezeichne). Aber die Publikationsliste ist im Grunde erfunden. Ich habe für die New York Times geschrieben, aber nicht für The Guardian , The Huffington Post oder Popular Mechanics (ich schreibe regelmäßig für Popular Science , daher kommt das vielleicht auch).

GPT-4 macht den Fotografenteil richtig und listet tatsächlich einige Publikationen auf, für die ich geschrieben habe, was beeindruckend ist, obwohl es nicht diejenigen sind, auf die ich am meisten stolz wäre. Es ist ein großartiges Beispiel dafür, wie OpenAI die Genauigkeit von GPT-4 im Vergleich zu GPT-3 steigern konnte, auch wenn es möglicherweise nicht immer die korrekteste Antwort liefert.

Aber kehren wir zurück zu GPT-3, denn der Fehler liefert ein interessantes Beispiel dafür, was hinter den Kulissen in ChatGPT vor sich geht. Es weiß eigentlich nichts über mich. Es geht nicht einmal darum, Daten aus dem Internet zu kopieren/einzufügen und der Quelle der Informationen zu vertrauen. Vielmehr geht es einfach darum, anhand der Milliarden von Datenpunkten eine Reihe von Wörtern vorherzusagen, die als nächstes kommen werden.

Zum Beispiel: Die New York Times wird weitaus häufiger mit The Guardian und The Huffington Post gruppiert als mit den Orten, für die ich geschrieben habe, wie Wired , Outside , The Irish Times und natürlich Zapier. Wenn es also darum geht, herauszufinden, was aus der New York Times folgen soll, greift es nicht auf die veröffentlichten Informationen über mich zurück; Es ruft diese Liste großer Veröffentlichungen aus allen vorhandenen Trainingsdaten ab. Es ist sehr clever und sieht plausibel aus, aber es ist nicht wahr.

GPT-4 macht einen viel besseren Job und bringt die Veröffentlichungen auf den Punkt, aber der Rest von dem, was es sagt, fühlt sich wirklich nur wie plausible Folgesätze an. Ich glaube nicht, dass es eine große Wertschätzung für meinen Ruf darstellt: Es ist nur das, was in einer Biografie steht. Es ist viel besser darin, seine Funktionsweise zu verbergen als GPT-3, obwohl es tatsächlich die gleiche Technik verwendet.

Dennoch ist es sehr beeindruckend, wie sehr sich GPT bereits verbessert hat. Derzeit ist GPT-4 an ein Premium-Abonnement gebunden, sodass die meisten ChatGPT-Inhalte, die Sie sehen, auf GPT-3 basieren, aber das kann sich in der nächsten Zeit ändern. Wer weiß, was GPT-5 bringen wird.

Was ist die ChatGPT-API?

OpenAI verfolgt mit seiner Technologie keine Just-Wir-Einstellung. Das Unternehmen verfügt über eine API-Plattform, die es Entwicklern ermöglicht, die Leistungsfähigkeit von ChatGPT in ihre eigenen Apps und Dienste zu integrieren (natürlich gegen Bezahlung).

Zapier nutzt die ChatGPT-API, um seine eigene ChatGPT-Integration zu betreiben, mit der Sie ChatGPT mit Tausenden anderen Apps verbinden und KI zu Ihren geschäftskritischen Arbeitsabläufen hinzufügen können. Hier sind einige Beispiele, um Ihnen den Einstieg zu erleichtern, aber Sie können ChatGPT grundsätzlich von jeder App aus auslösen.

Mit der OpenAI-Integration von Zapier können Sie auch die anderen Modelle von OpenAI nutzen – wie DALL·E und Whisper. Automatisieren Sie Arbeitsabläufe, die die Bildgenerierung und Audiotranskription umfassen, direkt aus den Apps, die Sie bereits verwenden.

Verwandte Lektüre: Wie Sie ChatGPT zum Verfassen von Marketingtexten verwenden können (und wann nicht).