Med sin første hustru fikk Aberdeen en sønn og tre døtre, og de døde alle før sin far. Med sin andre hustru, som døde i august 1833, fikk han fire sønner og en datter. Hans eldste sønn, George, etterfulgte ham som den femte jarl; hans andre sønn John ble gjort til marki av Aberdeen og Temair i 1916. En tredje sønn var general Alexander Hamilton-Gordon, . Ytterligere en sønn var prosten Douglas Hamilton-Gordon; og hans yngste sønn Arthur Gordon ble gjort til baron Stanmore i 1893.