Hun var datter av Rudolf Olsen (1882–1950) og Helene Feyer Andvord (1894–1973). Moren var datter av skipsreder og belgisk konsul Rolf Andvord (1847–1906) fra Lyngdal. Faren og broren Thomas Olsen var partnere i familierederiet Fred. Olsen & Co. som de også overtok i 1933. Sofie startet som sin fars husholderske etter foreldrene hadde skilt seg da hun var seksten år. Hennes eneste utdannelse var middelskole og språkstudier i Sveits, Frankrike og England da hun i 1935 giftet seg med Schibsted-arving Henrik J. S. Huitfeldt (1907–1979) som var journalist i Aftenposten. Barna Henrik Jørgen Huitfeldt (født 1936) og Alexandra Huitfeldt (født 1940) ble senere innlemmet i Schibsted som eiere og styreformenn.