Im Jahr 2017 veröffentlichten Forscher von Google Brain das bahnbrechende Paper „Attention Is All You Need“, das die Art und Weise, wie KI Sprache verarbeitet, radikal veränderte. Bis dahin dominierten rekurrente neuronale Netzwerke (RNNs) und ihre Weiterentwicklungen wie LSTMs (Long Short-Term Memory) und GRUs (Gated Recurrent Units) das Feld der natürlichen Sprachverarbeitung (NLP).