En restrospectiva, Stephen Thomas Erlewine de AllMusic dio a "Rid of Me" una puntuación máxima de 5 estrellas, comentando en la reseña que «las canciones de Harvey, en decidido contraste con el enfoque de Albini, están llenas de áreas grises e incertidumbres, y son considerablemente más personales que las de "Dry".