Suzanne Elrod er mor til Cohens to barn, hun kom fra av «sekulær jødisk» bakgrunn. Suzanne Elrod og Cohen var et par i mange år og de bodde sammen i Nashville, Hydra, New York, Los Angeles og Montreal. Sønnen Adam Cohen (født 1972) er selv musiker og låtskriver. Datteren Lorca Cohen (født 1974) har navn etter Federico García Lorca. Suzanne Elrod forlot Cohen i 1978 og flyttet med barna til Roussillon i Frankrike. Etter turneen med holdt Cohen seg i mange år unna offentligheten, han var blant annet mye i Frankrike der Suzanne og barna bodde. Cohen tok seg av barnas jødiske opplæring. Tidlig i 1980-årene møtte han fotografen Dominique Issermann på Hydra og var mye i Paris der Issermann bodde. Rufus Wainwright er far til et av Cohens barnebarn – Wainwright kommer fra en familie av ledende «folk»-musikere.