Han ble født inn i handelspatrisiatet i Søgaden som eneste sønn av Herman Hoë og Anna Dorothea Brodtkorb. Han hadde fire eldre søstre. Faren og farbroren hadde innvandret som unge til Trondhjem fra Flensborg, som den gangen lå i hertugdømmene under dansk styre. Gerhard Hoë hadde også en fetter med samme navn, som vendte tilbake til de traktene. Moren var datter av justisråd, sorenskriver på Helgeland og eier av Tjøttagodset Niels Gerbrand Brodtkorb. De to familiene ble ført sammen gjennom Herman Hoës fiskehandel, som satte ham «i kontakt med folk med eier- og handelsinteresser på kysten».