支持殖民主义，同时也有舆论质疑他究竟在为英国服务，还是为罗德斯效力。加上英国本土及殖民地的反扩张主义者的促使下，罗便臣正式在1889年5月1日卸任返英，开展其退休生涯。在其卸任演说中，罗便臣表示南非将不会永远有直接的帝国管治，其言论最初使大众误以为他暗示南非最终会步向独立，但他后来在1895年于《泰晤士报》撰文澄清，表示他相信南非会「由唐宁街直接管治……步向建立责任殖民政府」。另外值得一提的是，除了南非事务外，罗便臣亦曾在1886年短暂被派往毛里裘斯，暂时终止当地总督轩尼诗爵士的职务，并对其在当地所举行