Den 10. november 1954, etter 35 år i embedet, trakk Edmund Francis Gibbons seg som biskop av Albany, og bosatte seg i en enkel leilighet i . Han døde i en alder av 95 år.