Sandberg var gift tre ganger. Første gang i Fredrikstad 11. april 1823 med Lovise Fredrikke Zahn født i 1802, død 24. april 1828, datter av bundtmaker i Fredrikshald Johan Andreas Zahn og Maren Bugge Mørch. Andre gang gift i Fredrikstad 11. april 1830 med Anne Sibelle Florentine Zahn født i 1. januar 1783 og død 18. september 1841, søster av hans første hustru og enke efter kjøpmann Morten Nyegaard i Fredrikstad. Gift tredje gang i Fredrikstad 31. desember 1843 med Leonore Sunde, født i Tune 14. august 1814, datter av skipsfører og eier av gården Omberg nordre, Lars Christian Sunde og Karen Marie Mørch. Sandberg fikk 10 barn, hvorav tre i første ekteskap; Sara Sandberg, Fredrik Sandberg, Ole Rømer Sandberg, og sju i tredje ekteskap; Lars Christian Sunde Sandberg, Christen Sandberg, Edvin Otto Sandberg, Johan Andreas Sandberg, Edvin Sandberg, Otto Willebald Sandberg og Per Sandberg.