Sverre var født i Mjøndalen, som miderste sønn av Trond og Martha Oen Engen. Hans far var også skiløper, så det var naturlig for Alf å begynne med ski. Etter at hans far døde av spanskesyken i 1918, da Sverre var 9 år, flyttet moren og brødrene til Steinberg. Da han var 18 år emigrerte Sverre og Alf (20 år) til USA, i 1929. De slo seg først ned i Chicago, senere Salt Lake City (1931). Deres mor, som da var enke, flyttet over i 1933, sammen med deres yngste bror, Corey.