Han vokste opp på gården Nestås på Voss. Foreldrene var Herborg, født Saude, og Anders Nestaas. Faren har blitt beskrevet som en «særs vyrd mann» som var både kommunepolitiker og lekpredikant.