Brel giftet seg med Thérèse «Miche» Michielsen i 1950 og paret fikk tre barn. Han hadde også et romantisk forhold til skuespilleren og danseren Maddly Bamy fra 1972 og til sin død i 1978.