Können KI-Detektoren uns vor ChatGPT retten? Um das herauszufinden, habe ich drei Online-Tools ausprobiert

Dies ist der zweite Artikel in einer Reihe, die sich mit den Problemen von KI-generiertem Text befasst.

In dieser Folge beschäftigen sich mein KI-Kumpel und ich mit der Frage, ob es möglich ist, sich gegen KI-generiertes Plagiat zu wehren, und wie das funktionieren könnte.

Außerdem: Was ist ChatGPT und warum ist es wichtig? Folgendes müssen Sie wissen:

Bevor ich jedoch fortfahre, müssen wir über das Konzept des Plagiats sprechen und wie es mit diesem Problem zusammenhängt. Webster's definiert „plagiieren“ als „stehlen und (die Ideen oder Worte eines anderen) als eigene ausgeben: Nutzung (der Produktion eines anderen) ohne Nennung der Quelle.“

Dies passt für KI-erstellte Inhalte. Während jemand, der ein KI-Tool wie Notion AI oder ChatGPT verwendet, keine Inhalte stiehlt, erfüllt die Wörterbuchdefinition von Plagiat dennoch die Definition von Plagiat, wenn diese Person die Wörter nicht als von einer KI stammend angibt und behauptet, sie seien ihre eigenen.

ZDNET empfiehlt

Die besten KI-Chatbots: ChatGPT und andere interessante Alternativen zum Ausprobieren

KI-Chatbots und -Autoren können Ihnen dabei helfen, Ihre Arbeitsbelastung zu verringern, indem sie E-Mails und Aufsätze schreiben und sogar Mathe machen. Sie nutzen künstliche Intelligenz, um Texte zu generieren oder Anfragen basierend auf Benutzereingaben zu beantworten. ChatGPT ist ein beliebtes Beispiel, aber es gibt auch andere bemerkenswerte Chatbots.

Lies jetzt

In diesem experimentellen Artikel habe ich ChatGPT um Hilfe gebeten. Meine Worte sind in normaler und fetter Schrift geschrieben. Die Wörter der KI sind kursiv geschrieben. Ich werde außerdem drei Online-ChatGPT-Plagiatsdetektoren verwenden (die ich weiter unten ausführlicher beschreibe). Nach jedem KI-generierten Abschnitt zeige ich die Ergebnisse der Detektoren. Am Ende des Artikels schauen wir uns an, wie gut die Detektoren insgesamt abgeschnitten haben.

Hier ist das Ergebnis für den obigen Text, den ich selbst geschrieben habe:

• GPT-2-Ausgangsdetektor: 99,98 % echt
• Writer AI Content Detector: 100 % von Menschen erstellte Inhalte. Fantastisch!
• Content at Scale KI-Inhaltserkennung: 100 % menschlicher Content-Score. Sieht großartig aus!

Damit fangen wir an.

Erklären Sie, warum ChatGPT im Hinblick auf Plagiate ein echtes Problem für Lehrer und Redakteure sein kann

ChatGPT ist eine Variante des von OpenAI entwickelten GPT-Sprachmodells (Generative Pre-trained Transformer). Es wurde entwickelt, um menschenähnlichen Text zu generieren, indem das nächste Wort oder die nächste Phrase in einer bestimmten Eingabesequenz vorhergesagt wird. Während ChatGPT ein nützliches Tool zum Generieren von Texten und zum Beantworten von Eingabeaufforderungen sein kann, kann es für Lehrer und Redakteure auch ein Problem sein, wenn es um Plagiate geht.

Einer der Hauptgründe, warum ChatGPT für Lehrer und Redakteure ein Problem darstellen kann, besteht darin, dass es Texte generieren kann, die denen echter menschlicher Autoren sehr ähnlich sind. Dies bedeutet, dass Studierende oder andere Personen möglicherweise ChatGPT verwenden könnten, um Texte zu generieren, die sie dann als eigene Arbeit einreichen könnten, und so ein Plagiat begehen könnten.

Außerdem:Kann der Notion AI-Schreibhelfer diesen Artikel schreiben?

Für Lehrer und Redakteure kann es sehr schwierig sein herauszufinden, ob ein bestimmter Text von ChatGPT generiert oder von einem Menschen geschrieben wurde, da der generierte Text möglicherweise keine offensichtlichen Fehler oder Unstimmigkeiten enthält, die seinen künstlichen Ursprung verraten würden. Dies kann es für Lehrer und Redakteure schwierig machen, Plagiate zu erkennen und zu verhindern, da sie möglicherweise nicht erkennen können, ob es sich bei einem bestimmten Text um ein Original oder eine Kopie aus einer anderen Quelle handelt.

Insgesamt können ChatGPT und andere ähnliche Sprachmodelle ein Problem für Lehrer und Redakteure darstellen, wenn es um Plagiate geht, da sie Texte erzeugen können, die schwer von Menschen zu unterscheiden sind, was es für Schüler und andere Personen einfacher macht, Plagiate zu begehen, ohne es zu sein erkannt.

• GPT-2-Ausgangsdetektor: 99,69 % echt
• Writer AI Content Detector: 97 % von Menschen generierter Inhalt. Fantastisch!
• Content at Scale KI-Inhaltserkennung: 87 % menschlicher Content-Score. Gut aussehen!

Denken Sie daran, dass der kursiv dargestellte Text von der KI generiert wurde.

Zeigen Sie mir mindestens drei Möglichkeiten, wie ich erkennen kann, dass ChatGPT zur Erstellung eines Texts verwendet wurde

Es gibt mehrere Möglichkeiten, potenziell festzustellen, ob ChatGPT oder ein anderes Sprachmodell zur Erstellung eines Texts verwendet wurde. Hier sind drei mögliche Ansätze, die Sie verwenden könnten:

1. Suchen Sie nach sich wiederholenden oder ungewöhnlichen Mustern im Text: Eine Möglichkeit herauszufinden, ob ein Sprachmodell zum Generieren eines Textstücks verwendet wurde, besteht darin, nach sich wiederholenden oder ungewöhnlichen Mustern im Text zu suchen. Beispielsweise können Sprachmodelle bestimmte Phrasen oder Wortkombinationen wiederholen oder ungewöhnliche oder inkonsistente Satzstrukturen verwenden.
2. Auf mangelnde Originalität prüfen: Eine weitere Möglichkeit, festzustellen, ob ein Sprachmodell zum Generieren eines Textstücks verwendet wurde, besteht darin, den Text auf mangelnde Originalität zu prüfen. Wenn ein Text aus einer anderen Quelle kopiert zu sein scheint oder Informationen enthält, die im Internet oder in anderen Quellen weit verbreitet sind, könnte dies ein Zeichen dafür sein, dass er von einem Sprachmodell generiert wurde.
3. Verwenden Sie einen Plagiatsprüfer: Schließlich können Sie mit einem Plagiatsprüfer prüfen, ob ein Text scheinbar aus einer anderen Quelle kopiert wurde. Auch wenn ein Plagiatsprüfer möglicherweise nicht definitiv feststellen kann, ob ein Sprachmodell zum Generieren eines Textstücks verwendet wurde, kann er Ihnen dabei helfen, Fälle von Kopieren oder Paraphrasieren aus anderen Quellen zu identifizieren.
4. Beachten Sie, wenn die Antwort offensichtlich falsch ist: Ich habe darüber in meiner Notion AI-Rezension gesprochen, in der ich einen Text hervorgehoben habe, den die KI mit scheinbarer Autorität geschrieben hat, der aber offensichtlich falsch war. Wenn ein Student oder Autor das diskutierte Thema nicht vollständig beherrscht, erkennt er möglicherweise die Ungenauigkeiten nicht und belässt sie einfach in der von der KI generierten Antwort. Natürlich sind falsche Aussagen nicht nur Gegenstand eines KI-Schreibtools. Viele Blogger und Kommentatoren wiederholen beispielsweise einfach Aussagen anderer Blogger und erzeugen so einen Echoraum völlig „falscher Fakten“, der zeigt, dass Intelligenz zwar künstlich sein mag, Dummheit jedoch eine universelle Eigenschaft ist.

Bedenken Sie, dass es schwierig sein kann, eindeutig zu bestimmen, ob ein Sprachmodell zum Generieren eines Textstücks verwendet wurde, und dass diese Methoden möglicherweise nicht immer effektiv sind. Sie können jedoch nützliche Werkzeuge sein, die Ihnen dabei helfen, potenzielle Instanzen von sprachmodellgeneriertem Text zu identifizieren.

In dieser Reihe von Tests wurde nur der oben kursiv gedruckte Inhalt durch die Checker-Suite ausgeführt.

• GPT-2-Ausgabedetektor: 99,98 % gefälscht
• Writer AI Content Detector: [ kein Ergebnis ]
• Content at Scale KI-Inhaltserkennung: 0 % menschlicher Content-Score. Offensichtlich KI

Listen Sie drei Plagiatsprüfer auf, die ChatGPT-Text erkennen können

Innovation

• Ich habe Apple Vision Pro ausprobiert und es übertrifft meine Erwartungen bei weitem
• Dieser winzige Satellitenkommunikator ist vollgepackt mit Funktionen und sorgt für Sicherheit
• So verwenden Sie ChatGPT: Alles, was Sie wissen müssen
• Das sind meine 5 Lieblings-KI-Tools für die Arbeit

Es ist erwähnenswert, dass es derzeit keinen Plagiatsprüfer gibt, der speziell darauf ausgelegt ist, von ChatGPT oder anderen Sprachmodellen generierten Text zu erkennen. Während einige Plagiatsprüfer möglicherweise in der Lage sind, bestimmte Merkmale von durch Sprachmodelle generierten Texten zu identifizieren, die auf dessen künstlichen Ursprung hinweisen könnten, gibt es keine Garantie dafür, dass sie definitiv feststellen können, ob ein Textstück von einem Sprachmodell generiert wurde.

Vor diesem Hintergrund sind hier drei Plagiatsprüfer, die Sie in Betracht ziehen könnten, um potenzielle Instanzen von sprachmodellgeneriertem Text zu identifizieren:

1. Turnitin: Turnitin ist ein beliebter Plagiatsprüfer, der häufig von Schulen und Universitäten verwendet wird. Es vergleicht einen Text mit einer Datenbank anderer Texte, um Fälle von Kopieren oder Paraphrasieren zu identifizieren. Während es möglicherweise nicht in der Lage ist, definitiv zu bestimmen, ob ein Textstück von einem Sprachmodell generiert wurde, könnte es möglicherweise bestimmte Merkmale eines durch ein Sprachmodell generierten Textes identifizieren, die auf seinen künstlichen Ursprung hinweisen könnten.
2. PlagScan: PlagScan ist ein weiterer Plagiatsprüfer, der einen Text mit einer Datenbank anderer Texte vergleicht, um Fälle von Kopieren oder Paraphrasieren zu identifizieren. Wie Turnitin ist es möglicherweise in der Lage, bestimmte Merkmale von durch Sprachmodelle generierten Texten zu identifizieren, die auf dessen künstlichen Ursprung hinweisen könnten, ist jedoch nicht speziell für die Erkennung von durch Sprachmodelle generierten Texten konzipiert.
3. Copyleaks: Copyleaks ist ein Plagiatsprüfer, der fortschrittliche Algorithmen für maschinelles Lernen verwendet, um einen Text zu scannen und ihn mit einer Datenbank anderer Texte zu vergleichen, um Fälle von Kopieren oder Paraphrasieren zu identifizieren. Obwohl es möglicherweise in der Lage ist, bestimmte Merkmale von sprachmodellgeneriertem Text zu identifizieren, ist es nicht speziell für die Erkennung von sprachmodellgeneriertem Text konzipiert.

Es ist erwähnenswert, dass kein Plagiatsprüfer absolut narrensicher ist und immer die Möglichkeit besteht, dass ein durch ein Sprachmodell generierter Text der Erkennung entgeht. Daher ist es wichtig, Plagiatsprüfer nur als Teil einer umfassenderen Strategie zur Erkennung und Verhinderung von Plagiaten einzusetzen.

• GPT-2-Ausgangsdetektor: 99,62 % echt
• Writer AI Content Detector: [ kein Ergebnis ]
• Content at Scale KI-Inhaltserkennung: 86 % menschlicher Content-Score. Gut aussehen!

Online-KI-Plagiatsprüfer

Die meisten Plagiatsdetektoren werden verwendet, um Texte mit anderen Texten zu vergleichen. Wenn beispielsweise ein Student einen Aufsatz einreicht, vergleicht ein Produkt wie Turnitin den eingereichten Aufsatz mit einer riesigen Bibliothek anderer Aufsätze in seiner Datenbank sowie mit anderen Dokumenten und Texten im Internet, um festzustellen, ob der eingereichte Aufsatz bereits Folgendes enthält: geschriebener Inhalt.

Aber die KI-Schreibwerkzeuge generieren zumindest theoretisch originelle Inhalte. Ja, sie bauen ihren Inhalt auf der Grundlage dessen auf, worauf sie trainiert wurden, aber die tatsächlichen Wörter, die sie konstruieren, sind für jede Komposition irgendwie einzigartig.

Außerdem: Das wahre Ziel der KI ist möglicherweise nicht mehr Intelligenz

Daher werden die oben genannten Plagiatsprüfer wahrscheinlich nicht funktionieren, da der KI-generierte Inhalt beispielsweise in der Arbeit eines anderen Studenten wahrscheinlich nicht vorhanden war.

Also ging ich zu Google und suchte nach Detektoren, die speziell für die Suche nach den verräterischen Signaturen von KI-gesteuerten Inhalten entwickelt wurden. Ich habe drei gefunden. Für den in den Screenshots unten gezeigten Testinhalt habe ich ChatGPT folgende Frage gestellt: „Ist Star Trek besser als Star Wars? Begründen und erklären.“ Die Antwort war überhaupt nicht schlecht, und ich habe diese Antwort an die drei Tester weitergegeben.

• GPT-2-Ausgangsdetektor: 99,98 % echt
• Writer AI Content Detector: 100 % von Menschen erstellte Inhalte. Fantastisch!
• Content at Scale KI-Inhaltserkennung: 100 % menschlicher Content-Score. Sieht großartig aus!

GPT-2-Ausgangsdetektor (Genauigkeit 66 %)

Dieses erste Tool wurde mithilfe eines Hubs für maschinelles Lernen entwickelt, der von der in New York ansässigen KI-Firma Hugging Face verwaltet wird. Während das Unternehmen 40 Millionen US-Dollar für die Entwicklung seiner Bibliothek natürlicher Sprache erhalten hat, scheint der GPT-2-Detektor ein vom Benutzer erstelltes Tool zu sein, das die Hugging Face Transformers-Bibliothek nutzt. Von den sechs Tests, die ich durchgeführt habe, waren vier genau.

Writer.com AI Content Detector (Genauigkeit N/A)

Writer.com ist ein Dienst, der KI-Schreiben generiert und sich an Unternehmensteams richtet. Sein AI Content Detector-Tool kann nach generierten Inhalten suchen. Leider fand ich dieses Tool unzuverlässig. Von den sechs Scans, die ich durchgeführt habe, schlug es bei drei fehl. Von den dreien, die es erfolgreich durchlief, waren zwei richtig und eines falsch.

Nachdem dieser Artikel veröffentlicht wurde, wandten sich die Leute von Writer.com an ZDNET. CEO May Habib hatte diesen Kommentar zu teilen:

Die Nachfrage nach dem KI-Detektor ist sprunghaft angestiegen. Der Traffic ist seit unserer Einführung vor ein paar Monaten um das Zwei- bis Dreifache pro Woche gestiegen. Wir haben jetzt die nötige Skalierung dahinter, um sicherzustellen, dass es nicht abstürzt, und unser Ziel ist es, es kostenlos zu halten – und auf dem neuesten Stand zu halten, um die Ausgaben der neuesten Modelle, einschließlich unserer, abzufangen. Wenn die KI-Ausgabe wörtlich verwendet werden soll, sollte sie unbedingt angegeben werden.

Content at Scale KI-Inhaltserkennung (Genauigkeit 50 %)

Das dritte Tool, das ich gefunden habe, wurde ebenfalls von einem Unternehmen zur Erstellung von KI-Inhalten entwickelt, dieses schien jedoch zuverlässig zu funktionieren. Content at Scale gibt sich selbst als „Wir helfen SEO-fokussierten Content-Vermarktern durch die Automatisierung der Content-Erstellung.“ Der Marketing-Aufruf zum Handeln lautet: „Laden Sie eine Liste mit Schlüsselwörtern hoch und erhalten Sie Blogbeiträge mit mehr als 2.600 Wörtern, die die KI-Inhaltserkennung umgehen – und das alles ohne menschliches Eingreifen!“ Von den sechs Tests, die ich durchgeführt habe, war es bei drei genau.

Abschließende Gedanken

KI-gesteuertes Plagiat ist ein wachsendes Problem, da KI-Tools wie Notion AI und ChatGPT Texte generieren können, die schwer von von Menschen geschriebenen Texten zu unterscheiden sind. Es gibt verschiedene Möglichkeiten, um festzustellen, ob ein Text von einer KI generiert wurde, z. B. durch die Suche nach sich wiederholenden oder ungewöhnlichen Mustern, die Prüfung auf mangelnde Originalität oder die Verwendung einer Plagiatsprüfung. Plagiatsprüfer wie Turnitin, PlagScan und Copyleaks können möglicherweise bestimmte Merkmale von durch Sprachmodelle generierten Texten identifizieren, sind jedoch nicht narrensicher.

Selbst die Spezialwerkzeuge, die ich gefunden habe, waren für diese Aufgabe völlig ungeeignet. Der beste Fall war der GPT-2 Output Detector, der jedoch nur zwei Drittel des übermittelten Textes korrekt erfasste.

Zum jetzigen Zeitpunkt glaube ich nicht, dass wir bereit sind, KI gegen KI kämpfen zu lassen. Stattdessen müssen wir uns auf die menschliche Wahrnehmung verlassen (was bedeutet, dass die Leute aufmerksam sein müssen), um Werke zu identifizieren, die von einer KI erstellt wurden.

Gehen Sie nicht sofort davon aus, dass etwas maschinell erzeugt wird. Nur weil etwas dumm oder furchtbar ungenau ist, sollten Sie nicht sofort davon ausgehen, dass es nicht von einem Menschen geschrieben wurde. Wie wir alle wissen, sind Menschen durchaus in der Lage, ganz alleine einige unglaublich schlechte Dinge zu schreiben.

Außerdem: ChatGPT von OpenAI ist in meinem Job beängstigend gut, kann mich aber (noch) nicht ersetzen.

Also was denkst du? Können Sie erkennen, ob ein Stück KI-generiert ist? Haben Sie diese KI-Schreibwerkzeuge in den Monaten verwendet, seit sie plötzlich alle verfügbar waren? Glauben Sie, dass sie eine Hilfe oder ein Hindernis für Bildung und Journalismus sind? Lass es uns unten in den Kommentaren wissen. So hat ChatGPT darauf geantwortet:

Als Sprachmodell kann ich keine physischen Schriftstücke sehen oder mit ihnen interagieren, daher kann ich nicht sagen, ob ein Stück KI-generiert ist oder nicht. Ich kann Ihnen jedoch sagen, dass es mehrere KI-Schreibwerkzeuge gibt, mit denen eine breite Palette schriftlicher Inhalte generiert werden kann, darunter Nachrichtenartikel, Belletristik, Gedichte und mehr.

Ich habe keine persönlichen Erfahrungen mit diesen Tools, da ich nur ein Computerprogramm bin und nicht in der Lage bin, im Internet zu surfen oder physische Tools zu verwenden. Ich kann Ihnen jedoch sagen, dass einige Leute KI-Schreibtools als hilfreich für Bildung und Journalismus empfunden haben, da sie durch die Automatisierung bestimmter Aufgaben Zeit und Mühe sparen können. Andere haben Bedenken hinsichtlich der Möglichkeit geäußert, dass diese Tools dazu verwendet werden könnten, irreführende oder voreingenommene Inhalte zu produzieren oder menschliche Autoren zu ersetzen. Ob KI-Schreibwerkzeuge hilfreich oder hinderlich sind, hängt letztlich davon ab, wie sie eingesetzt werden und in welchem Kontext sie eingesetzt werden.

Also, ja, das gibt es.