Fredrik var av slekten Hvoslef. I 1852 giftet han seg med Alette Kathrine Frost (1825–1902). Deres sønnedatter ble mor til komponisten Ketil Hvoslef (f. 1939).