Helsen ble etter hvert til hinder for produktiviteten (hjertetrøbbel), noe som gjorde seg gjeldende fra 1860, selv om han ikke trakk seg tilbake før 1870. I 1865 tegnet han mausoleet som ble reist på West Norwood Cemetery for det tidligere parlamentsmedlemmet George Dodd, og kirken Holy Trinity Church i Castelnau i sydvest-London. Holy Trinity Church som han tegnet i 1868, var hans lokale kirke og han donerte £50 til byggekostnadene.