Han var lærling hos British Railways og gitarist i et band han hadde dannet, «The Coasters». Han hadde valgt «Kramer» fra telefonboken og forandre William til Billy. Kort tid etterpå ble han sanger. Kramer var på vei ut av gruppen for å satse fullt på British Railways da han fikk et tilbud fra Brian Epstein om å bli tatt over av ham. Samtidig ble det foreslått av Lennon at han skulle legge inn en J. for å skille seg enda mer ut (om han ble spurt, skulle J. stå for Julian, noe Kramer sto over, da han synes navnet virket for snobbete).