Han var yngste sønn av væreier Anthon Martinus Brandtzæg og hustru Julie Berg på Abelvær. Faren døde uventet av tyfoidfeber før sønnen ble født. Moren var sterkt opptatt av barnas utdannelse. Blant søsknene hans var væreier og ordfører Nils Christian, kjøpmann og ordfører Georg Albert og kinamisjonær Johannes Brandtzæg. Han giftet seg i 1902 med Hanna Johansen, datter av kjøpmann Ludvig Johansen (firma L. Johansen) i Namsos. Han ble svoger til kjøpmann og ordfører Einar Hustad.