Gerhard Hoë var ugift og barnløs, og bodde i en bygård i Søgaden (Kjøpmannsgata) sammen med sin søster Dorthea, som var enke, og hennes ugifte datter Doris. Gerhard Hoë levde sine siste år tilbaketrukket, men opptrådte som velgjører. Gerhard og Dorthea døde i 1877. Firmaet ble også avviklet ved hans død. Doris sørget for at familieformuen for en stor del ble utdelt til byens fattige og til andre veldedige formål.