I 1960 giftet han seg med Aasa Brække (1939-2021), som også var elev ved Statens kunstakademi. Sammen fikk de sønnene Nicolaus Magnus Widerberg (født 1960) som er grafiker og billedhogger, og Thomas Widerberg (født 1964) som er fotograf og komponist.