Etter konfirmasjonsalderen begynte Brustad å vokse kraftig. Det har blitt fortalt at han trengte minst dobbelt så mye mat som et menneske av normal vekst. Klær og sko ble det stadig vanskeligere å skaffe. Han kom ofte til å ødelegge arbeidsredskaper, og han ble etter hvert for stiv og tung til alminnelig arbeid. Mange mente at Brustad var uvøren og lat. Dette førte ham på vandring, men selv utenbygds ble det vanskelig å få arbeid.