Frederik Holst var sønn av kjøpmann Hans Holst (1763–1846) og Inger Christine Backer (1765–1850). Den 10. juni 1824 giftet han seg i Christiania med Dorothea (“Thea”) Christierne Steffens (1805–1866).