Han debuterte som poet i 1956, og utgav siden flere diktsamlinger og to romaner. Cohen debuterte med i 1967. Han ga ut 14 studioalbum. Andre artister laget over tusen innspillinger av hans sanger. Blant de mest kjente sangene hans er «Hallelujah», «Suzanne», «First We Take Manhattan» og «Bird on the Wire». Etter stor suksess med de første albumene var karrieren dalende da han kom med sin bestselgende plate i 1988.