Cuando los liberales volvieron al poder en 1905, Elgin se convirtió en Secretario de Estado para las Colonias (con Winston Churchill como subsecretario).