Musikalsk hentet bandet mye inspirasjon fra engelske post-punk-band som Public Image Ltd og Magazine, samt mer eksperimentelle band som Einstürzende Neubauten og Throbbing Gristle. Bandet hadde på det meste tre vokalister, noe som ga dem et helt annet spillerom enn band med tradisjonell besetning. Alle Tiders Duster, eller Dustene som de ble kalt, fikk bare begrenset gjennomslag utenfor hjembyen.