Han var den andre sønnen til Robert Dundas av Arniston og Jean Grant og nevø av Henry Dundas, 1. markgreve av Melville og krigssekretær. Han ble beordret til Kapp i august 1796 etter den første britiske okkupasjonen for å bli generalmajor og styrkenes kommandant i mai 1797. Han fungerte først som guvernør fra 21. november 1798 til 9. desember 1799 og igjen fra 20. april 1801 til 20. februar 1803 da kolonien ble returnert til Bataviske republikk i henhold til Amiensavtalen som ble signert den 27. mars 1802. I hans tid som guvernør fant Graaff Reinet–opprøret i 1798 og tredje grensekrig sted. Hans administrasjon ble sett på som autokratisk, men rettferdig.