Aagot Bjørnson var datter av byfogd Peter Elias Bjørnson og Laura Mathilde Riiser Larsen, niese av dikterhøvdingen Bjørnstjerne Bjørnson og sønnedatter av presten Peder Bjørnson. Hun var søster av teatersjef Inga Bjørnson og kusine av admiral Hjalmar Riiser-Larsen. Hun ble 20. mai 1896 gift med forlagsbokhandler Lars Magnus Swanstrøm (1868-1939).