Algunas de las letras se inspiraron en experiencias personales, como por ejemplo «Rid of Me», que da nombre al álbum, fue escrita a causa de una ruptura amorosa.