Besteforeldrene innvandret fra det som i dag er Litauen og Polen; og den østeuropeiske bakgrunnen har satt spor i Cohens musikk. Både tapet av faren og holocaust på den andre siden av havet satte preg på hans tidlige dikt. Moren Masha Klonitzki-Kline ble født i Kaunas, vokste opp i Vilnius og kom som 16 år gammel flyktning til Canada i 1923. Morfaren Solomon Klonitzki-Kline var en fremstående rabbiner, og hadde undervist ved talmudskolen i Kovno i Litauen. Morfaren hadde stor innflytelse på den unge Leonard.