De opprinnelige medlemmene av Pogue Mahone, Shane MacGowan (vokal), Jim Fearnley (trekkspill) og Spider Stacy (blekkfløyte) bygde bandet på restene av pønkbandet The Nipple Erectors. Etter hvert fikk de komplettert bandet med Jeremy 'Jem' Finer (gitar, banjo), Cait O'Riardon (bass) og Andrew Ranken (slagverk). Bandet skaffet seg raskt et rykte, spilte inn et par demoer og fikk etter hvert også varme opp for The Clash på turne i 1984. Siden enkelte radiostasjoner nektet å spille låtene deres på grunn av bandnavnet, forkortet de det til The Pogues før de slapp sitt første album i 1985.