Han tonesatte siden diktene sine. I 1960-årene levde han delvis på stipend fra Canadas kulturråd. I 1960-årene medvirket Bob Dylan til at Cohen beveget seg over i sanglyrikken, men ifølge Håvard Rem begynte Cohen med seriøs musikk før han kjente til Bob Dylan. Ifølge Cohen selv var Ray Charles en viktig inspirasjon til å begynne med musikk. Han tjente dessuten dårlig på forfatterskapet. Han vurderte å reise til Nashville for å prøve seg som gitarist innenfor country som han satte stor pris på. I New York fikk han høre musikk av Dylan, Judy Collins og Joan Baez som han ble svært inspirert av.