Wir stellen Voyager vor, den ersten in Minecraft eingesetzten LLM-gesteuerten Agenten für lebenslanges Lernen, der kontinuierlich die Welt erkundet, vielfältige Fähigkeiten erwirbt und neue Entdeckungen ohne menschliches Eingreifen macht.
Voyager besteht aus drei Hauptkomponenten:
- einem automatischen Lehrplan, der die Exploration maximiert,
- einer stetig wachsenden Fähigkeitenbibliothek mit ausführbarem Code zur Speicherung und Abruf komplexer Verhaltensweisen und
- einem neuen iterativen Abfrage-Mechanismus, der Umgebungsfeedback, Ausführungsfehler und Selbstüberprüfung zur Verbesserung des Programms integriert.
Voyager interagiert mit GPT-4 über Blackbox-Abfragen, was die Notwendigkeit einer Feinabstimmung der Modellparameter umgeht. Die von Voyager entwickelten Fähigkeiten sind zeitlich erweitert, interpretierbar und zusammensetzbar, was die Fähigkeiten des Agenten schnell vervielfacht und katastrophales Vergessen verhindert.
Empirisch zeigt Voyager eine starke Fähigkeit zum lebenslangen Lernen im Kontext und zeigt außergewöhnliche Fähigkeiten beim Spielen von Minecraft. Es sammelt 3,3-mal mehr einzigartige Gegenstände, legt 2,3-mal längere Strecken zurück und erreicht wichtige Meilensteine im Technologiebaum bis zu 15,3-mal schneller als der bisherige Stand der Technik.
Voyager ist in der Lage, die erlernte Fähigkeitenbibliothek in einer neuen Minecraft-Welt zu nutzen, um neuartige Aufgaben von Grund auf zu lösen, während andere Techniken Schwierigkeiten haben, zu verallgemeinern.
Quelle: https://arxiv.org/abs/2305.16291
Kommentare