Sieben kostenlose Open-Source GPT-Modelle veröffentlicht

Das KI-Unternehmen Cerebras aus dem Silicon Valley hat sieben Open-Source-GPT-Modelle veröffentlicht, um eine Alternative zu den heute eng kontrollierten und proprietären Systemen anzubieten.

Die kostenfreien quelloffenen GPT-Modelle, einschließlich der Gewichte und des Schulungsrezepts, wurden von Cerebras, einem in Silicon Valley ansässigen Unternehmen für KI-Infrastruktur für KI-Anwendungen, unter der sehr freizügigen Apache-2.0-Lizenz veröffentlicht.

Bis zu einem gewissen Grad sind die sieben GPT-Modelle ein Konzeptnachweis für den Cerebras Andromeda KI-Supercomputer.

Die Cerebras-Infrastruktur ermöglicht es ihren Kunden, wie zum Beispiel Jasper AI Copywriter, dass sie ihre eigene maßgeschneiderte Sprachmodelle schnell trainieren können.

Ein Cerebras-Blogbeitrag zur Hardware-Technologie sagte:

"Wir haben alle Cerebras-GPT-Modelle auf einem 16x CS-2 Cerebras Wafer-Scale Cluster namens Andromeda trainiert.

Der Cluster ermöglichte es, alle Experimente schnell abzuschließen, ohne die traditionelle Entwicklung von verteilten Systemen und das parallele Abstimmen der Modelle auf GPU Clustern durchzuführen.

Am wichtigsten ist, dass er unseren Forschern ermöglichte, sich auf das Design des maschinellen Lernens zu konzentrieren, anstatt auf das verteilte System. Wir sind der Meinung, dass die Fähigkeit, große Modelle einfach zu trainieren, eine Schlüsselkomponente für die breite Community ist, daher haben wir den Cerebras Wafer-Scale Cluster über das Cerebras AI Model Studio in der Cloud verfügbar gemacht."

Cerebras GPT Modelle und Transparenz

Cerebras nennt die Konzentration des Besitzes an KI-Technologie auf nur wenige Unternehmen als Grund für die Erstellung von sieben Open-Source-GPT-Modellen.

OpenAI, Meta und Deepmind halten eine große Menge an Informationen über ihre Systeme privat und streng kontrolliert, was die Innovation auf das beschränkt, was die drei Unternehmen entscheiden, dass andere mit ihren Daten tun können.

Ist ein Closed-Source-System die beste Wahl für Innovationen in der künstlichen Intelligenz? Oder ist Open Source die Zukunft?

Cerebras schreibt:

"Damit LLMs eine offene und zugängliche Technologie sein können, ist es unserer Meinung nach wichtig, Zugriff auf erstklassige Modelle zu haben, die sowohl für Forschungs- als auch für kommerzielle Anwendungen offen, reproduzierbar und lizenzkostenfrei sind.

Zu diesem Zweck haben wir eine Familie von Transformer-Modellen mit den neuesten Techniken und offenen Datensätzen trainiert, die wir Cerebras-GPT nennen."

Diese Modelle sind die ersten Familie von GPT-Modellen, die mit der Chinchilla-Formel trainiert und unter der Apache-2.0-Lizenz veröffentlicht wurden."

Daher wurden diese sieben Modelle auf Hugging Face und GitHub veröffentlicht, um durch freien Zugang zur KI-Technologie weitere Forschungen zu fördern.

Diese Modelle wurden mit Cerebras' Andromeda AI-Supercomputer trainiert, ein Prozess, der nur Wochen gedauert hat.

Cerebras-GPT ist vollständig offen und transparent, im Gegensatz zu den neuesten GPT-Modellen von OpenAI (GPT-4), Deepmind und Meta OPT.

OpenAI und Deepmind Chinchilla bieten keine Lizenzen zur Nutzung der Modelle an. Meta OPT bietet nur eine nicht-kommerzielle Lizenz an.

OpenAI's GPT-4 hat absolut keine Transparenz über ihre Trainingsdaten. Haben sie Common Crawl Daten verwendet? Haben sie das Internet durchsucht und ihr eigenes Datenset erstellt?

OpenAI hält diese Informationen (und mehr) geheim, was im Gegensatz zum transparenten Ansatz von Cerebras-GPT steht.

Das Folgende ist alles offen und transparent:

• Modellarchitektur
• Trainingsdaten
• Modellgewichte
• Überprüfungspunkte
• Berechnungsopitmalen Trainingsstatus (ja)
• Lizenz zur Verwendung: Apache 2.0 Lizenz

Die sieben Versionen sind in den Modellen 111M, 256M, 590M, 1,3B, 2,7B, 6,7B und 13B erhältlich.

Es wurde angekündigt:

"Als erstes Unternehmen für KI-Hardware hat das Cerebras-Team auf dem Andromeda AI-Supercomputer eine Reihe von sieben GPT-Modellen mit 111M, 256M, 590M, 1.3B, 2.7B, 6.7B und 13B Parametern trainiert.

Typischerweise dauert ein solches Projekt mehrere Monate, doch dank der unglaublichen Geschwindigkeit der Cerebras CS-2-Systeme, die Andromeda bilden, und der Fähigkeit der Cerebras-Gewichtsstromarchitektur, die Probleme der verteilten Berechnung zu eliminieren, konnte diese Arbeit in wenigen Wochen abgeschlossen werden.

Diese Ergebnisse zeigen, dass die Systeme von Cerebras heute die größten und komplexesten KI-Arbeitslasten trainieren können.

Dies ist das erste Mal, dass eine Suite von GPT-Modellen, die mit modernsten Effizienztechniken trainiert wurden, öffentlich zugänglich gemacht wurde.

Diese Modelle wurden für ein gegebenes Berechnungsbudget auf höchste Genauigkeit trainiert (d. h. sie sind trainingseffizient gemäß dem Chinchilla-Rezept), wodurch die Trainingszeit, die Trainingskosten und der Energieverbrauch im Vergleich zu allen existierenden öffentlichen Modellen geringer sind."

Open Source Künstliche Intelligenz

Die Mozilla-Stiftung, Hersteller der Open-Source-Software Firefox, hat ein Unternehmen namens Mozilla.ai gegründet, um vertrauenswürdige und datenschutzfreundliche Open-Source-GPT- und Empfehlungssysteme zu entwickeln.

Databricks hat kürzlich auch eine Open-Source GPT-Kopie namens Dolly veröffentlicht, die darauf abzielt, "die Magie von ChatGPT" zu demokratisieren.

Zusätzlich zu den sieben Cerebras GPT-Modellen hat eine andere Firma namens Nomic AI GPT4All veröffentlicht, ein Open-Source-GPT, das auf einem Laptop ausgeführt werden kann.

Die Open-Source-KI-Bewegung befindet sich zwar noch in einem frühen Stadium, gewinnt aber an Fahrt.

GPT-Technologie bringt massive Veränderungen in verschiedenen Branchen mit sich, und es ist möglich, vielleicht sogar unausweichlich, dass Open-Source-Beiträge das Gesicht der Branchen verändern, die diesen Wandel vorantreiben.

Wenn sich die Open-Source-Bewegung in diesem Tempo weiterentwickelt, könnten wir kurz davor stehen, einen Wandel in der KI-Innovation zu erleben, der verhindert, dass sie sich in den Händen weniger Unternehmen konzentriert.

Lese die offizielle Ankündigung:

Cerebras Systems veröffentlicht sieben neue GPT-Modelle, die auf CS-2-Wafer-Scale-Systemen trainiert wurden.