Spreckels ble født i Lamstedt, Hannover, en by i nåværende Tyskland. I 1846 forlot han sitt hjemland for å starte et nytt liv i USA, med bare én tysk thaler i lommen. I 1852 giftet han seg med sin barndomskjæreste Anna Christina Mangels (1829-1910), som hadde utvandret til New York sammen med sin bror tre år tidligere. De fikk til sammen 13 barn, hvorav kun fem av dem levde til voksen alder: John Diedrich (1853-1926), Adolph Bernard (1857-1924), Claus August (1858-1946), Rudolph (1872-1958) og datteren, Emma C. (Spreckels), gift med Watson Ferris Hutton.