Shirley Bottolfsen ble født i Tipperary i Irland, og kom fra en katolsk familie. Hun var ett av fem søsken og vokste opp i Irland og England. Hun flyttet til Norge i 1956, som 21-åring, etter at hun giftet seg med styrmannen Ivar John Larsen, opprinnelig fra Godøy utenfor Bodø. Larsen omkom i forbindelse med en fallulykke på et bulkskip i Rotterdam i desember 1969, og Shirley ble alene med to barn. I 1983 giftet hun seg på nytt, denne gang med tannlege Per Bottolfsen.