Hun var datter av Paul Thorleif Refsum (1895–1983) og Sigrid Marie Bing Thune (1899–2001). Faren var bror til Maja Refsum (1897–1986) som i 1928 giftet seg med Arne Nygård-Nilssen, som var riksantikvar fra 1946 til 1958. Hun fikk magistergrad i kunsthistorie i 1949 på avhandlingen , veiledet av Anders Bugge (1889–1955) og Hans Peter L'Orange (1903–1983).