Han var sønn av væreier Anthon Martinus Brandtzæg og hustru Julie Berg på Abelvær. Da de rodde til dåpen i Lundring kirke, skal tanten ha dryppet sjøvann i munnen hans, «så han skulle bli en god sjømann, og det ble han». Faren døde uventet av tyfoidfeber i 1871. Moren var sterkt opptatt av barnas utdannelse. Blant søsknene hans var væreier og ordfører Nils Christian, kinamisjonær Johannes og sorenskriver og ordfører Anton M. Brandtzæg. Han giftet seg i 1899 med Kaia Sverdrup, datter av handelsmann Ulrik Fredrik Suhm Sverdrup på Horstad gård og søster til polfarer Otto Sverdrup.