Bei modernen Sprachmodellen handelt es sich um Neuronale Netze, die darauf trainiert werden, ein Wort dadurch vorherzusagen, in welchem Kontext es steht. So lernt es eine wirksame Repräsentation für alle Wörter des Textes und ist in der Lage, Textpassagen semantisch zu vergleichen und einzuordnen.