Som enebarn måtte han bidra i gårdsdriften, og fikk ikke anledning til noen videre skolegang. Han giftet seg i 1904 med Anna Marta Antonsdatter Leirmarken. De fikk tre sønner. I 1915 overtok de Øvre Havdal, som hadde vært i slektens eie siden 1600-tallet. Han var svært opptatt av gårdsdriften, men tok seg likevel tid til å skjøtte en rekke offentlige verv. Halvard og Anna Marta overdrog gården til sønnen Olaf i 1946. En annen sønn, Halfdan, kjøpte gården Solem, hvor Halvards mor hadde vokst opp.