Harry Fett giftet seg i 1903 med Harriet Emilie von Trepka Rode (1880–1967), datter av lege Emil Ferdinand Rode (1852–1929) og Inga Marie Caroline Sundt (1853–81) av Sundt (slekt). Deres første barn var Hugo Emil Fett (1904–1993) som arbeidet i 1930–1984. De fikk så sønnen Per Harry Fett (1909–1996), som ble arkeolog og giftet seg med Eva Nissen Meyer (1910–2003), Norges første kvinnelige arkeolog. Senere fikk de døtrene Inga Marie, gift Gulseth, (1918–2012) og arkitekt Harriet, gift Flaatten (1919–2006).