Ancram giftet seg med Jane Fitzalan-Howard, datter av 16. hertug av Norfolk, 1975. Ekteparet fikk tre døtre, men ingen sønner, så efter Ancrams død ble hans yngre bror Ralph den 14. marki av Lothian.