Han er sønn av gårdbruker Torstein Voldberg og Berit Høie. Han giftet seg i 2004 med Høyre-politiker Julie Brodtkorb. Ekteskapet ble oppløst i 2010.