Han, John Cummings og Thomas Erdelyi, senere kalt for Johnny Ramone og Tommy Ramone, begynte å spille sammen, først i et band kalt for «The Tangerine Puppets», oppkalt etter en sang av visesangeren Donovan.