I 1958 fremførte Cohen egne dikt i en jazzklubb i Montreal. Han opptrådte sammen med et jazzband og resiterte diktene sine dels som sanger. I 1965 eller 1966 skal han spilt plater av Bob Dylan og erklært at han skulle bli den canadiske Dylan (ifølge Cohen selv ordla han seg ikke slik, men han gjorde det klart at Dylan var et forbilde). Cohen sa selv at han ha ikke hadde planer om å bli «singer-songwriter», han ville i stedet skrive countrymusikk. Tidlig i 1960-årene skal han ha drømt å spille inn plater. Under en diktopplesning i New York i februar 1966 avsluttet han med å synge «Stranger Song». Cohen uttalte at det for ham ikke var noe forskjell på sang og dikt, og alt han skrev hadde gitar til i hans hode. Lite inntekt fra forfattervirksomheten var avgjørende for at Cohen satset på musikk. Cohen kunne ikke lese noter.