Henrik Brustad vokste opp på en fattig husmannsplass på Ytterøy utenfor Levanger. Foreldrene var Ole Pedersen, «Ol Persa», og Martha Henriksdatter fra Skogn. Henrik hadde fire brødre. Faren var en svær og grovbygd kar, men langt på nær så stor som sønnen skulle bli. Moren var heller liten og spinkel.