Harris giftet seg den 13. mai 1876 med Corisande Emma Bennet, datter av Charles Augustus Bennet, 5th Earl of Tankerville og hans hustru Corisanda, datter av Antoine, duc de Gramont og søster av Agenor, duc de Gramont, som var fransk utenriksminister i 1870. Hun døde i 1876. Malmesbury giftet seg på nytt den 1. november 1880 med Susan Hamilton, datter av John Hamilton fra Fyne Court i Somerset.