I 1960-årene oppholdt han seg også lange perioder i New York der han begynte sin karriere som musiker og plateartist, etter at han opprinnelig hadde planlagt å bli musiker i Nashville. Særlig Judy Collins bidro til å få i gang hans virke som komponist og musiker, og han spilte inn sitt første album i New York. Cohen vanket også i miljøet rundt Andy Warhol. Han ble kjent med blant andre Nico (som på den tiden hadde et forhold til Bob Dylan), Edie Sedgwick, Lou Reed, Patti Smith, Buffy Sainte-Marie og Joan Baez. I New York bodde Cohen ofte på Chelsea Hotel i likhet med mange andre kunstnere og musikere (blant andre Dylan, Jimi Hendrix, Patti Smith, Robert Mapplethorpe og Janis Joplin). Sangen «Chelsea Hotel #2» er inspirert av opplevelser der. Til Nico skrev han «Joan of Arc». Marianne Ihlen bodde på slutten av 1960-årene også ett år i New York, mens Cohen var der. I samme periode begynte han å gå til scientologisenteret. Der møtte han i 1969 den 19 år gamle Suzanne Elrod.