Robinson selbst blieb bis zum 8. September 1880 Gouverneur in Neuseeland, um anschließend Gouverneur der Kapkolonie und britischer Hochkommissar von Südafrika zu werden. Er war dies von 1881 bis 1889. In Südafrika wurde er mit der komplizierten Konflikt zwischen Buren, Briten und afrikanischen Ureinwohnern konfrontiert und zeigte in den Friedensverhandlungen ("London Convention") nach dem Ersten Burenkrieg (1880–1881) einen bei ihm selten gesehenen Takt und Weisheit. Auch verhandelte er im Konflikt um Betschuanaland, welches 1895 von den Briten annektiert wurde. Seine Pensionierung wurde zweimal verschoben und erfolgte am 1. Mai 1889, dem Tag, an dem er die Kapkolonie verließ. In London angekommen, übernahm er den Sitz als Direktor in der London and Westminster Bank.