Familien flyttet fra Hole til Hønefoss da Frederik Wilhelm var åtte år gammel. Huset familien flyttet til ble kalt Hygengården og står fortsatt, i gaten som siden ble oppkalt til ære for Eidsvollsmannen – Stabells gate. Det var der han voks opp.