Bibliothek

Von Neuromancer, 1. August 2023

Tiktoken ist ein flinker BPE-Tokenisierer, konzipiert für die Anwendung mit den Modellen von OpenAI. Im Vergleich zu einem ähnlichen Open-Source-Tokenisierer, zeichnet sich Tiktoken durch eine 3- bis 6-fache Geschwindigkeitssteigerung aus.