Frida var datter av Mathilde, født Helliesen (1824–1915), og Peter Sickerius Petersen (1811–1875). Faren drev sammen med broren Frederik Petersen det kjente handelshuset Køhler & Co, som var et av de største i Stavanger. Frida og hennes to eldre søstre vokste opp i Stavanger. I vintermånedene bodde familien i sentrum, mens de tilbrakte sommermånedene på familiens storslåtte eiendom i Hillevåg. Familien tilhørte uten tvil det øverste sosiale sjikt i Stavanger.