Han var brigadermajor da han kom tilbake og deltok i slaget ved Waterloo i 1815. Han ble beordret til Kapp det gode håp i 1828 hvor han ledet en divisjon i Xhosa-krigene i 1834–36. Han gjennomførte i 1835 bedriften med å ri fra Cape Town til Grahamstown på mindre enn seks dager. Han klarte å få tilbake tiltroen blant de hvite gjennom hans energiske tiltak. Smith ble utnevnt som guvernør i provinsen Queen Adelaide hvor han fikk ubegrenset innflytelse over de innfødte stammene som han satte seg fore å sivilisere og gjøre godt mot. Men selv om han hadde støtte fra Benjamin d'Urban, høykommissæren, omgjorde ministeriet i London hans politikk, og for å bruke Smiths egne ord, styrte provinsen Queen Adelaide til å bli tilbakeført til barbarisme. Smith selv ble fjernet fra sin kommando. Hans avgang var mislikt både av bantuene og nederlenderne. Et antall av nederlenderne begynte migrasjonen til det indre, kjent som Great Trek, stort sett som konsekvens av politikken til Charles Grant.