Cockers fremste musikalske innflytelse da han vokste opp var Ray Charles og Lonnie Donegan. Cockers første erfaring med å synge i offentligheten var i tolvårsalderen da hans bror Victor inviterte ham på scenen under en konsert med hans skifflegruppe. I 1960 dannet Cocker sin første gruppe, the Cavaliers, sammen med tre venner. For gruppens første opptreden i en ungdomsklubb, måtte de betale inngangsbillett før de kunne opptre. The Cavaliers brøt til sist opp etter et års tid og Cocker sluttet på skolen for å bli montørlærling innen energigass samtidig som han forsøkte å forfølge en karriere innen musikk.