Bandet ble grunnlagt i Cardiff og springer ut i fra flere andre Walisiske band og teknogrupper i området (Dafydd Ieuan, Gruff Rhys og Guto Pryce hadde spilt sammen siden tidlig på 1990-tallet og hadde vært på turné i Frankrike som en teknogruppe). De to andre medlemmene av bandet er Huw Bunford og Cian Ciaran. De startet med å skrive sanger og i 1995 fikk de kontrakt med Ankst, en Walisisk plateselsskap-label. Bandet blir sett på som en del av den Walisiske renesanssen innen musikk (og kunst og litteratur) på 1990-tallet. Andre walisiske band fra den samme tiden er Catatonia, Gorky's Zygotic Mynci og the Manic Street Preachers.