Henrik Andreas Broch var sønn av hoffsjef Peter Frederik Broch og Elisabeth Rustad. Besteforeldrene var rittmester Henrik Andreas Broch og Elisabeth Bergendahl på farssiden og hoffsjef Fritz Rustad og Marie Magdalene Schou på morssiden. Han var gift med Fanny Paus (1911–1999), datter av direktør Nicolay Nissen Paus og Else født Paus, som var hans slektning (gjennom Schou-familien; hennes besteforeldre var Ole Paus og Birgitte Halvordine Schou). Han var svoger til Axel Løvenskiold.