I siste del av 1904 og de tidlige månedene av 1905 var lord Milner opptatt med utformingen av en plan som skulle gi Transvaal et system med representativ regjering. En tid hadde helsen hans vært preget av det store arbeidspresset, og han bestemte seg for å trekke seg tilbake. Han forlot Pretoria den 2. april, to dager etter at den representative regjeringen formelt ble innført. Han seilte til Europa allerede dagen etterpå. I en tale i Johannesburg kvelden før han dro, anbefalte han alle å fremme den materielle velstanden i landet og behandle nederlendere og briter absolutt likt. Han hadde henvist til sin deltagelse i krigen og la til: «Hva jeg ville foretrukket å bli husket for, er et voldsomt forsøk etter krigen ikke bare for å betale tilbake ødeleggelsene i katastrofen, men å gjenstarte koloniene på høyere sivilisert nivå enn de tidligere hadde hatt.» Han forlot Sør–Afrika mens den økonomiske krisen fremdeles var overhengende og på et tidspunkt da kritikernes stemme var hørbar overalt, men som kolonisekretær Alfred Lyttelton ordla seg, hadde han i åtte hendelsesrike år lagt et dypt og sterkt grunnlag for at et forent Sør–Afrika kunne dukke frem som en av de største statene i imperiet.