ChatGPT hat eine MBA-Prüfung abgelegt. Hier erfahren Sie, wie es funktioniert hat

Ein Professor an der Wharton University of Pennsylvania hat ChatGPT theoretisch mit der Note B bestanden, nachdem er die Antworten für eine Abschlussprüfung in einem typischen MBA-Kurs bewertet hatte.

Christian Terwiesch, Professor für Betriebsmanagement an der Wharton University, sagte, ChatGPT leiste „erstaunliche Arbeit bei grundlegenden Fragen des Betriebsmanagements und der Prozessanalyse“.

„Nicht nur die Antworten sind richtig, auch die Erklärungen sind ausgezeichnet“, schreibt er in einem neuen Whitepaper.

Außerdem: Erste Schritte mit ChatGPT

Er fügte jedoch hinzu, dass der Chatbot „überraschende Fehler bei relativ einfachen Berechnungen auf dem Niveau der Mathematik der 6. Klasse macht“ und dass er derzeit keine komplexeren Fragen zur Prozessanalyse beantworten könne. Andererseits kann die aktuelle Version von ChatGPT ihre Antworten als Reaktion auf menschliche Hinweise ändern, um zur richtigen Lösung zu gelangen.

„Angesichts dieser Leistung hätte Chat GPT3 bei der Prüfung die Note 2 bis 2 erhalten“, schreibt Terwiesch.

Mehrere Fragen von Terwiesch zielten darauf ab, zu testen, ob ChatGPT einen Engpass in einem Verarbeitungsvorgang mit mehreren Maschinen mit unterschiedlichen Durchsatzkapazitäten identifizieren kann.

ChatGPT habe jedoch bei der Berechnung mit mittlerer Arithmetik „einen erheblichen Fehler von gewaltigem Ausmaß gemacht“.

Interessanterweise beantwortete ChatGPT zunächst eine Frage von Terwiesch zur Warteschlangenanalyse falsch. Er gab einen Hinweis auf eine bessere Antwort und ChatGPT verbesserte seine Antwort. Am nächsten Tag stellte ihm der Professor dieselbe anfängliche Warteschlangenfrage ohne den Hinweis – und ChatGPT antwortete beim ersten Versuch richtig.

„Entweder ist es in der Lage, aus dem Feedback der Vergangenheit zu lernen, oder ich hatte einfach Glück“, bemerkt er und fügt hinzu, dass die Qualität der Antworten anscheinend eine gewisse Zufälligkeit aufweist.

Terwiesch stellte außerdem fest, dass ChatGPT kluge und humorvolle Fragen formulieren konnte, die er in zukünftigen Prüfungen verwenden konnte. Allerdings führte der Chatbot bei einigen Fragen auch zu subtilen Fehlern, die eine Beantwortung unmöglich machten.

Außerdem: ChatGPT „mangelte es an Tiefe und Einblick“, sagen renommierte Redakteure wissenschaftlicher Fachzeitschriften

Terwiesch warnt andere, sich der Fähigkeiten und Einschränkungen von ChatGPT bewusst zu sein. Er sagt, er habe sich in ChatGPT „verliebt“, nachdem er die Antwort auf seine erste Frage gelesen hatte, warnt aber, dass es „in einigen ziemlich einfachen Situationen große Fehler gemacht“ habe.

„Wir sind bei komplexen Problemen noch weit von einer Eins + entfernt und brauchen immer noch einen Menschen, der auf dem Laufenden ist“, schreibt er.

„Aus meiner Sicht von Bildung muss ein Grundschüler immer noch lernen, dass 7 x 7 = 49 ist und dass die Hauptstadt von Pennsylvania Harrisburg ist, auch wenn Taschenrechner seit über 50 Jahren weit verbreitet sind und Schüler Google Wikipedia verwenden können, um Antworten zu finden für die meisten sachlichen Fragen. Es liegt in der Natur der grundlegenden Fähigkeiten, dass sie erforderlich sind, um fortgeschrittenere Themen zu verstehen.

Terwiesch stimmt zu, dass Pädagogen besorgt sein sollten, dass K-12-Schüler ChatGPT nutzen könnten, um bei Aufgaben und Prüfungen zu betrügen. Beispielsweise hat das New Yorker Bildungsministerium kürzlich den Chatbot verboten, da zuverlässige Tests im Unterricht wichtig sind und die Zertifizierung von Fähigkeiten nicht durch neue Technologien gefährdet werden sollte. Ein Student, der ChatGPT nutzt, sei so, als könne er einen Freund mit „durchschnittlicher akademischer Kompetenz“ anrufen, um die Prüfung für ihn zu absolvieren, stellt er fest.

Aber er argumentiert auch, dass ChatGPT und ähnliche Technologien die Fähigkeit haben, die Rolle eines „intelligenten Beraters“ zu spielen – eines, der elegante, aber oft falsche Antworten liefert, was seiner Meinung nach das „perfekte Übungsfeld“ für die Entwicklung von Fähigkeiten bei MBA-Studenten ist, die Bedarf haben vorgeschlagene Alternativen kritisch zu bewerten.