Han var sønn av Anton M. Brandtzæg, som var væreier på Abelvær og Sør-Gjæslingan. Blant søsknene hans var væreier Nils Christian og sorenskriver Anton M. Brandtzæg. Brandtzæg hadde i 1881 hørt Lars Skrefsrud tale om sin misjon i India, og hadde det ikke kommet sykdom i veien ville han sannsynligvis ha virkeliggjort sine planer om å slutte seg til Skrefsruds misjon. Han ble i stedet leder for den emissærskole som Indremisjonen startet i Bergen i 1888.