罗乐民爵士一样是港督戴麟趾爵士的热门继任人选。有关传闻在祁济时于1970年12月休假访港的时候更为尘嚣甚上，及至1971年，英政府公佈外交官出身的麦理浩爵士将接任港督后，有关传闻才得以平息。祁济时在1973年9月卸任高级专员一职，展开退休生活，并由香港民政司陆鼎堂接任。在卸任返英途中，他选择再一次路经香港，与各界友好聚旧。祁济时返英后定居于森麻实郡桥水镇（Bridgewater），后于1977年至1981年间当选为森麻实郡议会议员。晚年的祁济时热心参与研究森麻实郡的地方历史，在郡议员任内曾于1978年至