Musicalmente, "Rid of Me" sigue con la línea del rock alternativo y el indie rock mostrado en "Dry", pero con un sonido más agresivo e incursionando en el punk blues.