Elgin johti vuosina 1902–1903 buurisodan käyntiä tutkinutta arvovaltaista komiteaa. Hän toimi vielä siirtomaaministerinä Henry Campbell-Bannermanin hallituksessa 1905–1908. Tuolloin saavutettu sovinto buurien kanssa oli kuitenkin lähinnä pääministerin toiminnan ansiota. Elgin myös vastusti suunnitelmia siirtomaiden kuten Intian sisäisen hallinnon uudistamisesta.