„Hallo ChatGPT, ist das Komma in folgendem Satz richtig?“ – Können leistungsstarke Chatbots traditionelle Sprachberatung ersetzen?

Motivation

Viele Forschende kennen die Situation: Die Deadline ist in wenigen Minuten und man liest noch einmal das Paper Korrektur. Man stößt auf einen Satz, bei dem man sich nicht sicher ist, ob das Komma bei diesem richtig gesetzt ist. Einen Sprachberatungsservice anzufragen würde zu lange dauern, eine Google-Suchanfrage zu formulieren mit dem man die passenden Treffer bekommt wäre zu aufwendig – warum also nicht einfach ChatGPT fragen?

Forschungsstand

Für viele Fragestellungen unterschiedlicher Themenbereiche wurde die Qualität der Antworten von ChatGPT evaluiert. Einen Überblick über verschiedene Untersuchungen geben Shahriar and Hayawi, 2023: Beispielsweise lassen Kung et al., 2023 ChatGPT Fragen aus der amerikanischen Zulassungsprüfung für Medizin beantworten, die aus 3 Prüfungen besteht. Der Chatbot schneidet bei diesen an oder nahe an der Bestehensgrenze ab. Jalil et al., 2023 lassen ChatGPT Lehrbuchaufgaben zu Softwaretesten lösen. Von 77,5 % der Fragen, die der Chatbot beantworten kann, sind 55,6 % korrekt oder teilweise korrekt beantwortet, wobei in 53 % der Antworten richtige Erklärungen gegeben werden. Hinzukommend arbeiten sie heraus, dass durch bestimmte Fragestellungen („Prompts“, siehe dazu auch „Prompt Engineering“, u. a. Hariri, 2023; White et al., 2023) die Wahrscheinlichkeit leicht erhöht wird, dass die Aufgabe korrekt gelöst wird.

Fragestellung und Konzeption

In der vorliegenden Untersuchung soll evaluiert werden, wie gut ChatGPT bei Fragen zur (deutschen) Grammatik am Beispiel der Kommasetzung abschneidet. Damit wird geprüft, ob eine Interaktion mit dem Chatbot einen konventionellen Sprachberatungsservice ersetzen kann. Dafür wird ein Austausch zwischen einem linguistischen Laien und einem Chatbot-Experten (ChatGPT 3.5) simuliert.

Datengrundlage

Die Datenbasis besteht aus konstruierten Anfragen zu 12 Komma-Regeln. Dabei besteht jede Anfrage aus einer Frage und einem Satz, in dem das / die Komma(s) in Frage gestellt werden, z. B. [Frage:] Ist das Komma in folgendem Satz entbehrlich? [Satz:] „Ich reise gerne, vor allem in den Norden.“ Für jede Komma-Regel wurden jeweils drei verschiedene Sätze konstruiert. Basierend auf einem Korpus des IDS-Projekts „Sprachanfragen“, das sich aus authentischen E-Mail-Anfragen zur deutschen Sprache zusammensetzt, wurden folgende 6 Fragestellungen formuliert:

Eher vage Fragestellung:

• Ist das Komma / Sind die Kommas in folgendem Satz entbehrlich?
• Ist das Komma / Sind die Kommas in folgendem Satz zu setzen?
• Ist kein Komma / Sind keine Kommas in folgendem Satz zu setzen?
• Ist das Komma / Sind die Kommas in folgendem Satz nicht zu setzen?

Präzise Fragestellung:

• Ist das Komma / Sind die Kommas in folgendem Satz richtig?
• Ist das Komma / Sind die Kommas in folgendem Satz falsch?

Für jede Anfrage werden zusätzlich 2 weitere Antworten mit Hilfe der Funktion „regenerate response“ generiert, da ChatGPT bisweilen dieselbe Frage unterschiedlich beantwortet (siehe https://openai.com/blog/chatgpt unter dem Abschnitt „Limitations“). Folglich stehen für die Untersuchung insgesamt 3 * 216 Antworten zur Verfügung.

Analyse

Auf den ersten Blick machen die Antworten von ChatGPT einen professionellen Eindruck. Sie sind im Schnitt 53 Token lang und enthalten alle Elemente, die auch in den Antworten eines Sprachberatungsservice zu finden sind, wie in 1) ersichtlich wird: (i) Die Lösung des sprachlichen Problems, (ii) eine Beschreibung des Problems in einer an Fachsprache anmutenden Art und (iii) die Begründung der Lösung des Problems (vgl. Riegel, 2007). Dabei wird in 1) gemäß § 77 (4) im Amtlichen Regelwerk des Rats für deutsche Rechtschreibung (ARW) ein Komma vor dem nachgestellten Zusatz vor allem in den Norden gesetzt.

Nutzung von Fachwörtern

U. a. finden sich mit Komma der Erläuterung oder Aufzählung und Hauptsatz Fachwörter in der Antwort in 1), die dieser einen seriösen Eindruck verleihen. Um zu prüfen, ob ChatGPT korrekte Termini gebraucht, werden im nächsten Schritt die genutzten Fachwörter in allen generierten Antworten automatisch getaggt (vgl. Lang et al., im Druck). Tabelle 1 listet alle Termini pro Antwortdurchgang, die eine Frequenz > 10 haben.

Zwar stehen die Termini, die in Tabelle 1 gelistet sind, mit Kommasetzung in Zusammenhang, es stellt sich jedoch die Frage, ob das jeweilige Fachwort von ChatGPT auch im korrekten Kontext gebraucht wird. Da Aufzählung der von ChatGPT meistgenutzte Term ist, werden die Antworten, die dieses Fachwort enthalten, nun näher analysiert. Im Folgenden werden einige davon präsentiert:

In 2) liegen mit Äpfel, Birnen und Orangen gleichrangige Wörter vor, die nach § 71 (2) im ARW „mit Komma voneinander ab[gegrenzt werden].“ Dabei wird das letzte Element der Aufzählung nicht mit einem Komma getrennt, da Mandarinen durch und mit den restlichen Elementen verbunden ist und gemäß § 72 im ARW demnach kein Komma zu setzen ist.

Die Antwort von ChatGPT ist unvollständig, da nicht erwähnt wird, dass das letzte Element der Aufzählung nicht durch ein Komma abgetrennt wird, sondern durch die Konjunktion und. Beispielsweise wäre im Englischen ein Komma an dieser Stelle optional, weshalb in der Antwort von ChatGPT hervorgehoben werden sollte, dass im Deutschen keines gesetzt wird. Das könnte z. B. für einen DaF-/DaZ-Lernenden eine wichtige Information sein.

            Hingegen enthält 3) zwar eine Aufzählung, jedoch ist in diesem Fall, anders als in der von ChatGPT generierten Antwort erläutert, kein Komma zwischen den aufgezählten Elementen zu setzen, da diese durch die Konjunktion und miteinander verbunden sind. Des Weiteren handelt es sich bei 3) um einen komplexeren Fall, der nicht explizit durch das ARW abgedeckt ist. Es kann § 72 E1 im ARW herangezogen werden, da die Vornamen Hans und Julia als Zusätze zu den Nachnamen aufgefasst werden können. Somit werden diese durch ein paariges Komma abgetrennt, womit die von ChatGPT aufgeführte Korrektur falsch ist.

            Ebenfalls wird in 4) Aufzählung von ChatGPT fälschlicherweise in Zusammenhang mit dem Beispielsatz gebracht, möglicherweise auf Grund der beinahe unmittelbaren Folge zweier Nomen. In 4) handelt es sich mit mein Kollege jedoch um eine Apposition, die nach § 77 (2) im ARW durch ein Komma abgegrenzt wird.

ChatGPTs Regeln zur Kommasetzung

Die Inkonsistenz der in 2)-4) aufgeführten Antworten und der darin enthaltenen Regeln kann als Folge des Umstandes betrachtet werden, dass die Antworten nicht erzeugt werden, indem eine Datenbasis abgerufen wird, sondern statistisch zusammengesetzt werden. Dadurch werden von dem Chatbot Regeln zur Kommasetzung aufgeführt, die so nicht existieren wie beispielsweise in 4) oder unlogisch sind wie in a) und b). Bei a) und b) handelt es sich um einen Ausschnitt aus allen Regeln, die ChatGPT in seinen Antworten zur Kommasetzung aufführt.

Aufzählung von Nomen:

a) Aufzählung von zwei Nomen (ohne Konjunktion):

Regel: Um diese beiden Elemente [„einem Gebäude, einer Fabrik“] voneinander abzugrenzen, wird ein Komma verwendet.

Funktion: Das Komma zeigt an, dass die Aufzählung hier endet und ein neuer Teil des Satzes [„Sie befinden sich in einem Gebäude, einer Fabrik.“] folgt. [ChatGPT 3.5 Abfrage vom 26.05.2023]

Die aufgeführte Funktion ergibt keinen Sinn, da der Beispielsatz nach der Aufzählung endet.

b) Aufzählung von zwei Nomen (mit Konjunktion und):

Regel: Hier [„Sie befinden sich in einem Gebäude, einer Fabrik.“] handelt es sich um eine Aufzählung von zwei Substantiven („einem Gebäude“ und „einer Fabrik“), die durch das Wort „und“ verbunden sind. Bei einer Aufzählung von zwei Elementen ist es üblich, kein Komma vor dem „und“ zu setzen. Das Komma vor „einer Fabrik“ würde den Satz unnötig unterbrechen und wäre daher in diesem Fall nicht angebracht. [ChatGPT 3.5 Abfrage vom 19.05.2023]

Der Satz „Sie befinden sich in einem Gebäude, einer Fabrik.“ enthält gar nicht die Konjunktion und.

Inkonsistenzen bei den Antworten für denselben Satz

Des Weiteren fallen die Antworten für denselben Beispielsatz bei verschiedenen Fragestellungen unterschiedlich aus. Dabei sind sowohl die Lösung (ja/nein) als auch die Begründung (Regelnennung) inkonsistent. Dieser Umstand wird anhand 5) [Frage:] Sie läuft, anstatt auf die Straßenbahn zu warten demonstriert. Bei anstatt auf die Straßenbahn zu warten handelt es sich um einen infiniten Nebensatz. Dieser wird gemäß § 75 (1) im ARW mit Komma abgetrennt. Zudem kann anstatt sowohl Präposition sein (wie z. B. in anstatt einem Komma ist ein Punkt zu setzen) oder, wie in 5), als Einleiter für den infiniten Nebensatz fungieren. In 5 von 6 Anfragen gibt der Chatbot eine falsche Lösung an: i) Ja, das Komma in dem Satz „Sie läuft, anstatt auf die Straßenbahn zu warten“ ist entbehrlich, ii) Nein, das Komma in dem Satz „Sie läuft, anstatt auf die Straßenbahn zu warten“ ist nicht korrekt gesetzt., iii) Ja, das Komma in diesem Satz sollte nicht gesetzt werden., iv) Nein, das Komma in diesem Satz ist nicht richtig platziert. und v) Ja, das Komma in dem Satz „Sie läuft, anstatt auf die Straßenbahn zu warten“ ist falsch platziert. Lediglich mit der Fragestellung Ist kein Komma in folgendem Satz zu setzen? wird die richtige Lösung generiert, aber mit ja unpassend auf die Frage geantwortet: Ja, in dem Satz „Sie läuft, anstatt auf die Straßenbahn zu warten.“ sollte ein Komma gesetzt werden. Zudem widersprechen sich die Begründungen aus den verschiedenen Antworten: zwei Mal wird von ChatGPT aufgeführt, dass anstatt eine Konjunktion ist und deshalb kein Komma zu setzen ist (was falsch ist), einmal erläutert der Chatbot, dass es sich bei anstatt „nicht um eine trennende Konjunktion handelt, sondern um eine Präposition“.

Zwei weitere Begründungen in anderen Antworten für den Beispielsatz sind auf einer anderen Ebene falsch: In der einen Antwort wird definiert, dass „[d]as Wort „anstatt“ […] eine Konjunktion ein[leitet]“, obwohl das Wort selbst eine Konjunktion ist (und generell Wörter keine Konjunktionen einleiten, da es sich um eine Wortart handelt). Eine andere Antwort enthält konträre Angaben: „Das Komma sollte vor dem Wort „anstatt“ stehen, nicht nach dem Verb „läuft“. Der korrekte Satz lautet: „Sie läuft anstatt, auf die Straßenbahn zu warten.“  Die Angabe, wo das Komma falsch gesetzt wäre nach dem Verb „läuft“ stimmt widersprüchlicher Weise jedoch mit der Angabe, wo das Komma korrekt gesetzt wäre vor dem Wort „anstatt“ überein. Dazukommend steht das Komma in dem vorgeschlagenen korrigierten Satz von ChatGPT wiederum an einer anderen (falschen) Stelle.

Bei diesem Beispiel wird von dem Chatbot häufiger eine falsche Antwort generiert als eine richtige. Als letztes wird deshalb geprüft, ob bestimmte Fragestellungen einen Einfluss auf die Wahrscheinlichkeit haben, eine korrekte Antwort zu erhalten.

Einfluss der Fragestellung

Auf Grund der eher geringen Datengröße, lassen sich keine statistisch signifikanten Schlussfolgerungen ableiten, dennoch zeigt sich ein Trend: für die Fragestellung Ist das Komma bzw. Sind die Kommas in folgendem Satz entbehrlich? werden häufiger falsche Antworten generiert als für andere Fragestellungen (siehe Tabelle 2). Dabei sind falsche bzw. richtige Antworten diejenigen, die eine falsche bzw. eine korrekte Lösung (ja/nein) enthalten. Bei teilweise richtige Antworten ist nur die Lösung korrekt, die Begründung ist allerdings fehlerhaft.

Fazit

Kann eine Interaktion mit dem Chatbot nun einen konventionellen Sprachberatungsservice ersetzen? Die Antwort muss mit „noch nicht“ beantwortet werden, auch wenn die Antworten u. a. durch Terminologienutzung professionell wirken. ChatGPT ist zwar in der Lage, Wörter so zusammenzusetzen, dass sie grammatisch korrekte Sätze formen, die grammatischen Analysen des Bots sind jedoch häufig nicht korrekt. Jede Antwort muss daher noch einmal auf ihre Richtigkeit geprüft werden. Es bleibt abzuwarten, was die Zukunft in diesem Bereich bringt.

Literaturverzeichnis

Walid Hariri. 2023. Unlocking the Potential of ChatGPT: A Comprehensive Exploration of its Applications, Advantages, Limitations, and Future Directions in Natural Language Processing. arXiv:2304.02017 [cs].

Sajed Jalil, Suzzana Rafi, Thomas D. LaToza, Kevin Moran, and Wing Lam. 2023. ChatGPT and Software Testing Education: Promises & Perils.

Tiffany H. Kung, Morgan Cheatham, Arielle Medenilla, Czarina Sillos, Lorie De Leon, Camille Elepaño, Maria Madriaga, Rimel Aggabao, Giezel Diaz-Candido, James Maningo, and Victor Tseng. 2023. Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models. PLOS Digital Health, 2(2):e0000198.

Christian Lang, Ngoc Duyen Tanja Tu, and Laura Zeidler. im Druck. Making Non-Normalized Content Retrievable – A Tagging Pipeline for a Corpus of Expert-Layperson Texts.

Mareike Riegel. 2007. Sprachberatung im Kontext von Sprachpflege und im Verhältnis zu Nachschlagwerken. Ph.D. thesis, Albert-Ludwigs-Universität Freiburg.

Sakib Shahriar and Kadhim Hayawi. 2023. Let’s have a chat! A Conversation with ChatGPT: Technology, Applications, and Limitations.

Jules White, Quchen Fu, Sam Hays, Michael Sandborn, Carlos Olea, Henry Gilbert, Ashraf Elnashar, Jesse Spencer-Smith, and Douglas C. Schmidt. 2023. A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT. arXiv:2302.11382 [cs].