Woxen med familie flyttet til Østre Voksen gård i Aker kommune da han var syv, og overtok gården etter faren i 1853. Selv om Woxen i ungdommen hadde tatt eksamen artium med beste karakter og senere hadde studert jus, valgte han å vie seg til gårdsdriften etter press fra faren.