因此他返港后继续出任港督，至1957年12月31日偕夫人乘船离开香港。在卸任前夕，葛量洪得知蒋介石有意邀他访台，而且还派专机接送，但由于葛量洪担心这会引起轩然大波而婉拒了邀请。葛量洪前后当了10年半，是历史上任期第二长的港督。他卸任后，港督一职由柏立基爵士接替。
晚年.返英后，葛量洪退居于伦敦市中心皮卡迪利街（）90号的住宅。晚年的葛量洪仍然关心香港的福利事务，而且常在不同场合发言和撰文，支持香港。另外，他亦曾于1965年发行了自传。葛量洪最后于1978年10月4日因病逝世，终