GG Allins karriere begynte 1980 da hans første skive "" kom ut. Allin ble mer kjent for sine obskøne og bisarre liveopptredener enn for selve musikken. Disse gikk ut på å opptre naken, kaste, spise og rulle seg i sin egen avføring, angripe publikum, selvskading etc.