Cohen hadde ingen musikkutdanning og var stort sett selvlært, men var med i en countrygruppe som student. Han lyttet til Hank Williams, amerikansk blues (Robert Johnson, Bessie Smith), Ray Charles, Jacques Brel og Edith Piaf. Roy Orbison var blant Cohens favorittartister. Beatles brydde han seg ikke om.