Broch var sønn av statsråd og professor i matematikk Ole Jacob Broch og hustru Friederike Ernestine Wilhelmine Schmidt (5.2.1823–13.10.1901).