Inicialmente había contemplado la idea de lanzar "Rid of Me" como un álbum doble, en cuyo disco extra estuviesen contenidos los demos de las canciones originales; pero, considerando que "Rid of Me" fue su primer álbum publicado por una discográfica multinacional, un álbum doble terminó siendo un movimiento que ni Harvey ni Island Records querían hacer.