Anders V. Bergset giftet seg med Jofrid Magnhild Nyhagen (1903–1994) fra Stryn. De fikk sønnen Vidar Bergset (1928–2020), som ble lærer og forfatter.