Fue el segundo hijo de Charles Bruce, quinto conde de Elgin y su mujer Martha Whyte.