Erdely ble født i Budapest og utvandret sammen med familien til USA i 1957. Han begynte å spille i bandet Tangerine Puppets sammen med Johnny Ramone mens de gikk på gymnas i bydelen Forest Hills, Queens. I Ramones var det meningen at han skulle være bandets manager, men tok over på trommer slik at Joey Ramone, som spilte på trommer, skulle kunne konsentrere seg om sangen.