后于1977年5月离任。何礼文于离任后举家迁到希腊科孚岛定居，开展平静的退休生活。1981年5月，他曾偕夫人重返香港探访好友，当时他身体一度欠佳而入住玛丽医院数周，病愈后继续访港行程。 然而何礼文返回希腊后，病情突然急转直下，同年6月14日于科孚岛上一所医院内病故，终年67岁。何礼文身故以后，香港各界深表哀悼，其中港督麦理浩爵士表扬何礼文「不论是在战时抑或和平之时，均为一忠诚公仆，致力于香港事务」。 在6月19日，中环圣约翰座堂为其举行追思弥撒，港督麦理浩爵士、布政司姬达爵士、好友民政司黎敦义及徐家祥等