1806年回到英国后他以通奸起诉，最后离婚。1810年9月21日，他娶了伊丽莎白(1790 - 1860)，并搬到欧洲大陆居住，两人有四子三女，长子詹姆斯·布鲁斯继承埃尔金伯爵爵位，担任过英属北美（British North America）首席长官和印度总督。埃尔金1841年11月4日死于巴黎，享年75岁。