El álbum debut del grupo, "Pretty on the Inside", fue fuertemente influenciado por el noise y punk rock, con melodías discordantes, distorsión y regeneración, con la voz de Love oscilando entre susurros y gritos guturales.