Han var nest eldst av seks barn av gårdbruker og stortingsmann Tørris Johnsen Worum og hustru Ingeborg Olsdatter Holing på Sandstad på Ytterøy. Hans halvbror, fra morens første ekteskap, var stortingsmann Anders Sandstad. Han giftet seg i 1840 med Olava Bjørvik. De fikk elleve barn, hvorav flere utvandret til Amerika og fikk etterkommere der.