Han var sønn av gårdbruker Bjarne Vilhelm Berntsen (1908–1967) og Johanne Pedersen (1905–1992). Han er far til politikeren Dagfinn Høybråten.