Han var sønn av Christian Børs (1788–1859) og Hanna Synnestvedt (1796–1872). Faren var gullsmed i Bergen.