Fresvig stammet fra en velstående haugianerfamilie fra Haugesund, som sønn av skipsrederen Samson Pedersen Fresvig (1821–1873). Faren ble betegnet som en av byens største forretningsmenn.