鼎堂等人的作风不合，传媒也多番传出罗乐民卸任的传闻。在1972年初，坊间传出罗乐民将于1973年初退休，至同年7月，港府才证实罗乐民获英政府延任到1973年年底。在1973年5月，英政府再宣佈罗乐民会调任曼岛总督。由于香港的海外公务员可享免费船票返回英国的福利，所以行将卸任的罗乐民也不例外，选择乘船返英。可是，罗乐民在1973年9月30日正式卸任时，香港水域正好没有邮轮停泊，结果罗乐民被迫乘坐货柜轮离港。在两局议员和高级官员欢送下，罗乐民当日先从金钟添马舰出发，乘慕莲夫人号往九龙，然后改乘专车到葵涌货柜