Agnes Wollebæk var datter av sogneprest Niels Eugène Amandus Hanssen (1852–1934) og Elise Andrine Cathinka Caspersen, og søster av sangerinnen og skuespillerinnen Emma Eugène-Hanssen og offiseren og idrettslederen Carl Frølich Hanssen. Hun ble 20. august 1903 gift i Kristiania med konservator Alf Wollebæk.