Han var sønn av rittmester Henrik Andreas Broch og Elisabeth Bergendahl, og var gift med Elisabeth Rustad, datter av hoffsjef Fritz Rustad og Marie Magdalene Schou. Deres sønn var ambassadør Henrik Andreas Broch.