Hun var datter av Rasmus Helt Reimers og Marie Jahn. Karoline var født i Etne i Hordaland og vokste opp i Bergen. Moren døde tidlig, og Karolines far giftet seg på nytt. Han tok deretter med seg Karolines bror og flyttet med sin nye hustru og hennes barn til Haugesund. Karoline ble da pleiedatter i Bergen hos morbror Adolph Jahn og hans kone Catherine. Karoline brukte i en periode Jahn som etternavn før hun giftet seg.