这片殖民地只有十多年的历史，社会各方面都亟待改善。惟在最初几任港督任内，香港却是非不断，使得其名声大坏。《泰晤士报》在1859年3月15日就对香港留下这样的评论：罗便臣到达香港后，也感到当地的「公众与社会也散发出一种侷促不安的感觉」。而他的第一份送回英国的报告也认为，香港「……与其他英国属土完全是两回事，这里从很多方面都使人感到一股怪异的不协调。」在这种背景下，罗便臣进行大举整顿，使香港走出早年所留下的阴霾。
整顿政府.在政府管治方面，由于不少在早年专断独行的官员已经去职（例如