更为尘嚣甚上，及至1971年，英政府公佈外交官出身的麦理浩爵士将接任港督后，有关传闻才得以平息。祁济时在1973年9月卸任高级专员一职，展开退休生活，并由香港民政司陆鼎堂接任。在卸任返英途中，他选择再一次路经香港，与各界友好聚旧。祁济时返英后定居于森麻实郡桥水镇（Bridgewater），后于1977年至1981年间当选为森麻实郡议会议员。晚年的祁济时热心参与研究森麻实郡的地方历史，在郡议员任内曾于1978年至1981年间身兼郡议会的图书馆、博物馆及纪录委员会主席，另外也曾参与森麻实郡考古及自然历史学会