Somerset forbød også de første engelskspråklige avisene i Cape Town og strammet inn trykkefriheten til pressen. Hans siste år var Kappadministrasjonen preget av det antagelige misbruket av midler. Før han returnerte hjem til ENgland i 1826, ble det sendt embetsmenn fra Storbritannia for å se på beskyldningene, og flere i Somersets stab ble arrestert og sendt hjem. Somerset ble selv kalt tilbake i 1826. Somerset var kjent av mange som den «mobbende» guvernøren og ble hatet av mange i Sør–Afrika, både svarte og hvite.