Bergstrøm kom sannsynligvis til Norge sammen med broren og faren J. W. Bergstrøm i 1837, 9 år gammel. Kort tid etter slo familien seg ned i Horten hvor faren virket som byggmester ved Karljohansvern.