Senere i livet levde Fry i landsbyen East Dean i West Sussex, og døde av naturlige årsaker i Chichester i 2005. Hans hustru, Phyllis, som han giftet seg med i 1936, døde i 1987. Han etterlot seg en sønn, Tam.