Die Theorie des Geistes (ToM; siehe auch https://de.wikipedia.org/wiki/Theory_of_Mind), also die Fähigkeit, anderen nicht beobachtbare mentale Zustände zuzuschreiben, ist zentral für menschliche soziale Interaktionen, Kommunikation, Empathie, Selbstbewusstsein und Moral. Wir haben mehrere Sprachmodelle anhand von 40 klassischen Falsch-Glaubens-Aufgaben getestet, die weit verbreitet sind, um ToM bei Menschen zu testen. Die vor 2020 veröffentlichten Modelle zeigten praktisch keine Fähigkeit, ToM-Aufgaben zu lösen. Die erste Version von GPT-3 (“davinci-001”), die im Mai 2020 veröffentlicht wurde, löste jedoch etwa 40% der Falsch-Glaubens-Aufgaben - eine Leistung, die mit der von 3,5-jährigen Kindern vergleichbar ist. Die zweite Version ("davinci-002"; Januar 2022) löste 70% der Falsch-Glaubens-Aufgaben, eine Leistung, die mit der von Sechsjährigen vergleichbar ist. Die neueste Version, GPT-3.5 ("davinci-003"; November 2022), löste 90% der Falsch-Glaubens-Aufgaben auf dem Niveau von Siebenjährigen. GPT-4, veröffentlicht im März 2023, löste fast alle Aufgaben (95%). Diese Ergebnisse legen nahe, dass eine ToM-ähnliche Fähigkeit (die bisher als einzigartig menschlich angesehen wurde) als Nebenprodukt der Verbesserung der Sprachfähigkeiten von Sprachmodellen spontan entstanden sein könnte.
Autor: Michal Kosinsk
Kommentare