Vidar Bergset var født 2. mai 1928 på Blakset i Stryn. Han var sønn av langrennsløperen Anders V. Bergset.