Deutsch
ภาษาไทย
ဗမာစာ
فارسی
Română
Italiano
Polski
اردو
Türkçe
Tiếng Việt
Français
한국어
Bahasa Indonesia
日本語
Русский
Português
हिन्दी
Suomi
नेपाली
Dansk
العربية
繁體中文
Norsk bokmål
Čeština
Filipino
עברית
Bahasa Melayu
Nederlands
বাংলা
Español
English
Open Source GPT Chat hat einen weiteren Schritt nach vorne gemacht mit der Veröffentlichung des Dolly Large Language Model (DLL), entwickelt von dem Unternehmen für Unternehmenssoftware Databricks.
Der neue ChatGPT-Klon heißt Dolly, benannt nach dem berühmten Schaf namens Dolly, dem ersten geklonten Säugetier.
Open-Source Große Sprachmodelle
Der Dolly LLM ist die neueste Ausprägung der wachsenden Open-Source-KI-Bewegung, die eine größere Zugänglichkeit zur Technologie ermöglichen möchte, damit sie nicht von großen Unternehmen monopolisiert und kontrolliert wird.
Eine der Sorgen, die die Open-Source-KI-Bewegung antreiben, ist, dass Unternehmen möglicherweise zögern könnten, sensible Daten an eine Drittpartei zu übergeben, die die KI-Technologie kontrolliert.
Basiert auf Open Source
Dolly wurde aus einem Open-Source-Modell erstellt, das vom gemeinnützigen Forschungsinstitut EleutherAI und dem Stanford University Alpaca-Modell erstellt wurde. Letzteres wiederum wurde aus dem 65 Milliarden Parameter umfassenden Open-Source-Modell LLaMA erstellt, das von Meta entwickelt wurde.
LLaMA, ein Akronym für Large Language Model Meta AI, ist ein Sprachmodell, das auf öffentlich zugänglichen Daten trainiert wird.
Laut einem Artikel von Weights & Biases kann LLaMA trotz seiner geringeren Größe viele der Top-Sprachmodelle (OpenAI GPT-3, Gopher von DeepMind und Chinchilla von DeepMind) übertreffen.
Ein besseres Datenset erstellen
Eine weitere Inspiration stammt aus einem wissenschaftlichen Forschungspapier (SELBSTUNTERRICHT: Ausrichtung des Sprachmodells mit selbstgenerierten Anweisungen PDF), das einen Weg aufzeigte, um hochwertige autogenerierte Frage- und Antworttrainingsdaten zu erstellen, die besser sind als die begrenzten öffentlichen Daten.
Das Forschungspapier "Self-Instruct" erklärt:
"...wir kuratieren eine Sammlung von von Experten verfassten Anweisungen für neue Aufgaben und zeigen durch menschliche Evaluation, dass die Abstimmung von GPT3 mit SELF-INSTRUCT eine deutlich bessere Leistung erzielt als die Verwendung bestehender öffentlicher Anweisungsdatensätze und nur eine absolute Abweichung von 5% hinter InstructGPT zurücklässt...
...Durch die Anwendung unserer Methode auf das reine GPT3-Modell zeigen wir eine absolute Verbesserung von 33% gegenüber dem Originalmodell für übernatürliche Anweisungen, vergleichbar mit der Leistung von InstructGPT... das mit privaten Benutzerdaten und menschlichen Anmerkungen trainiert wird."
Die Bedeutung von Dolly liegt darin, dass sie zeigt, dass ein nützliches großes Sprachmodell mit einem kleineren, aber hochwertigen Datensatz erstellt werden kann.
Databricks beobachtet:
„Dolly funktioniert, indem sie ein bereits vorhandenes Open-Source-Modell mit 6 Milliarden Parametern von EleutherAI nimmt und es geringfügig modifiziert, um Anweisungsverfolgungsfähigkeiten wie Brainstorming und Textgenerierung hervorzurufen, die im ursprünglichen Modell nicht vorhanden sind. Hierbei werden Daten von Alpaca verwendet.
…Wir zeigen, dass jeder ein veraltetes Open-Source-Modell für große Sprachmodelle (LLM) verwenden kann und ihm durch das Training in 30 Minuten auf einem Computer mit hochwertigen Trainingsdaten eine magische ChatGPT-ähnliche Anweisungsfähigkeit verleihen kann.
Überraschenderweise scheint die Befolgung von Anweisungen nicht die neuesten oder größten Modelle zu erfordern: Unser Modell hat nur 6 Milliarden Parameter im Vergleich zu 175 Milliarden für GPT-3."
Databricks Open Source KI
Dolly soll AI demokratisieren. Es ist Teil einer wachsenden Bewegung, der sich kürzlich die gemeinnützige Organisation Mozilla mit der Gründung von Mozilla.ai angeschlossen hat. Mozilla ist der Herausgeber des Firefox-Browsers und anderer Open-Source-Software.