På midten av 1990-tallet begynte Wainwright å samarbeide med gitaristen Stephen Murphy og fra deres kreative synergi ble det satt sammen et band og kort tid etter ble deres første CD utgitt i 1996: . Andre utgivelse kom i 1998, en hyllest til minnet om hennes mor Martha, kalt . Tredje utgivelse som kom tidlig på 2001, var en blanding av hennes eksentriske stemmebruk og tradisjonell folkemusikk. Neste CD, (2003) var en øvelse i musikalske utfordringer. Sanger som «Word of The Day» var eksempler på hennes spesielle sang- og vokalstil. En minneverdig sang på CD-en var hennes tolkning av U2s «Where the Streets Have No Name» som viser henne som en moderne tolker av lyrikk og musikk.