Influenciado por las bandas no wave y noise rock, el primer álbum de estudio de Hole, "Pretty on the Inside", fue lanzado en agosto de 1991 por Caroline Records, producido por Kim Gordon de Sonic Youth, y con asistente de producción Don Fleming de la banda Gumball.