Han ble født i Farsund som sønn av Tharald Brøvig, Sr. og Cecilie Catharina, født Hoff. Han hadde en mye yngre bror, Harald Nikolai Brøvig, og en søster, Andrea Brøvig, som giftet seg med Olav Selvaag. I 1940 giftet han seg med Ragnhild Mørch i Borge, og de bodde i Farsund. Paret hadde ett barn; sønnen Tharald Brøvig, Jr.