Betsy Schirmer var datter av ingeniør Erik Anker Gude (1855-1940) og Agnes Sofie Gjerdrum (1865-1925). Hun var sønnedatter av kunstmaler og professor Hans Gude og datterdatter av forretningsmann, jurist og hoffjegermester Otto Gjerdrum. Hun ble 21. desember 1933 gift på Bygdøy med arkitekt Ernst August Schirmer (1879-1952), sønn av arkitekt Adolf Schirmer.