Han var sønn av lensmannen i Østre Aker, Hans Jensenius Hiorth (1808–1902) og Lena Woxen. Faren var bror til industribytteren Adam Hiorth. Fredrik giftet seg i 1875 med skipsreder-datteren Thekla Pauline Dahlstrøm (1850–1937) fra Gøteborg. Begge var svært religiøse. Sønnen Albert Hiorth (1876–1949) ble en kjent ingeniør og legpredikant som startet mange forretninger.