Haraldsen var datter av forsikringsagent Johan Christian Ulrichsen (1861–1950) og Marie Berntine Hansen (1868–1958). Hun vokste opp på Marensro i Skien sammen med fem brødre og en søster.