I 1963 ble han gift første gang med Hanne Jonsen, med hvem han fikk barna Claus i 1966 og Karen Ellemann i 1969. Hans ekteskap med Hanne tok slutt i 1971, og 19. juni samme år ble han på Gladsaxe Rådhus gift med journalisten Alice Vestergaard, som han hadde møtt etter at han i 1970 var blitt økonomisk-politisk medarbejder ved DRs TV-Aktualitetsavdeling. Vestergaard hadde datteren Helene (født 1967) fra et tidligere ekteskap, og Ellemann-Jensen adopterte henne. Med Vestergaard fikk han i 1973 sønnen Jakob Ellemann-Jensen, som senere skulle bli Venstres formann.