Bandet ble grunnlagt i 1991 av Tanya Donelly (ledende vokal og gitar), også kjent fra Throwing Muses, Fred Abong (bass), Chris Gorman (gitar) og Tom Gorman (trommer). Bandet oppnådde stor suksess med albumet i 1993. Etter det sluttet Abong og ble erstattet med den kvinnelige gitaristen Gail Greenwood. Bandet ble oppløst i 1996, men begynte å spille sammen igjen i 2016. I 2018 ga de ut sitt tredje album, .