Da Caroline var fem år gammel omkom Carolines far, Henry Quiner i en ulykke på Michigansjøen. I 1849 giftet moren hennes seg på nytt, denne gangen med Frederick Holbrock og fikk ett barn med henne, Charlotte «Lottie» Holbrock. Caroline ble glad i den nye stefaren, og da Caroline fødte en sønn ble han oppkalt etter stefaren hennes.