Aud Maggi Andersens mor Mari Evensen (f. 1902) var ei ugift tjenestepike, og faren Erling Emilsen Fossen (f. 1896) var ikke i bildet da hun ble født. Ni måneder gammel ble hun satt bort, og hun ble ifølge kirkeboka senere adoptert. Etter konfirmasjonen ble hun hushjelp og barnepike på flere steder. I 1942 fikk hun så jobb som hushjelp hos en kjøpmann på Nordstrand.