A tokenizálás a szöveg kisebb egységekre, például szavakra, kifejezésekre vagy szimbólumokra, úgynevezett tokenekre bontásának folyamata. A szövegelemzésben ez alapvető fontosságú az adatok strukturálása, a pontosabb elemzés lehetővé tétele, valamint az olyan feladatok megkönnyítése szempontjából, mint az érzelemelemelemzés és a témamodellezés.