I 1960-årene begynte han å sette musikk til diktene sine og disse sangen ble fremført og innspilt av andre, særlig Judy Collins, før han selv debuterte på plate. Debutplaten ble en suksess etter at musikken hans ble kjent gjennom andre artister. Midt i 1970-årene var musikkarrieren på hell, før han gjorde et comeback med i 1988. Etter mange stille år i 1990-årene (blant annet med opphold i kloster), kom han med i 2001 og gjorde 75 år gammel sin største turné verden rundt. miniatyr|Judy Collins fotografert i 1965 for . Collins gjorde Cohens sanger kjent og fikk i gang musikkarrieren hans. Magasinet rangerer Cohen på 16.-plass av de 100 fremste låtskriverne i historien og den 4. beste canadiske musikeren noen gang (bak Neil Young, Joni Mitchell og bandet Rush).