Han er født og oppvokst på gården Skulberg i Spydeberg, som eldste sønn av Anton Skulberg (1921–2012) og Randi Berg (1927–2024). Skulberg har examen artium fra Askim gymnas 1970 og har medisinsk embetseksamen fra Universitetet i Oslo 1977. Han har vært allmennpraktiserende lege ved Askim legesenter siden 1979. Han tok over farsgården i 1982.