向罗乐民许下承诺，让他待港督戴麟趾爵士任满后出任港督，但这个消息没有获得罗乐民亲自证实。及至1971年，英政府公佈外交官出身的麦理浩爵士将接任港督后，罗乐民继任港督的传闻才得以平息。可是，麦理浩上任后一方面锐意革新，推行大量改革，与部份传统殖民地官员如陆鼎堂等人的作风不合，传媒也多番传出罗乐民卸任的传闻。在1972年初，坊间传出罗乐民将于1973年初退休，至同年7月，港府才证实罗乐民获英政府延任到1973年年底。在1973年5月，英政府再宣佈罗乐民会调任曼岛总督。由于香港的海外公务员可享免费船票返回英国