Frithjof Hammersen var sønn av fabrikkeier i Osnabrück Hermann Hammersen (født 2. desember 1856 i Osnabrück) og Henriette Brahde Smith (1871-1956). Morfaren var Johan Andreas Demant Smith (1836-1912), skipsreder i Tvedestrand. Dermed ble han født inn i en mektig slektskrets. Familien eide Furøya i Tvedestrandsfjorden. Øya ble konfiskert som fiendlig eiendom etter krigen, men konfiskeringen ble opphevet da Hammersens rolle ble kjent.