Elgin se retiró de la vida pública en 1908, muriendo nueve años después en la finca familiar en Dunfermline.