Han var sønn av kopist og tollbetjent Paul Resen Veljør Broch (1810–1875) og Thomasine Henriette Møinichen (1812–1842). I 1864 giftet han seg med Jeanette Marsilie Christiane Rosamunde Solberg (1843–1907) som var datter av en skomaker i Kristiania. De fikk flere barn.