Hans andre periode som guvernør var uheldig. Jameson-raidet førte til permanent fremmedgjøring mellom ham og Cecil Rhodes, og han hadde ikke sympati med den nye kolonisekretæren, Joseph Chamberlain som hadde kritisert utnevnelsen av ham og som nå ønsket at Robinson skulle bruke muligheten til å avgjøre spørsmålet om uitlanderne i Transvaal.