Von Neuromancer, 1. August 2023 BPE Tokenisier: Tiktoken Tiktoken ist ein flinker BPE-Tokenisierer, konzipiert für die Anwendung mit den Modellen von OpenAI. Im Vergleich zu einem ähnlichen Open-Source-Tokenisierer, zeichnet sich Tiktoken durch eine 3- bis 6-fache Geschwindigkeitssteigerung aus. Tags Token Python Bibliothek
