Mads Wiel Nygaard var oppkalt etter sin oldefar på morssiden Mads Wiel, som var grunnlegger av Norges første egentlige industribedrift, . Han vokste opp på Frogner på Oslos beste vestkant, i familiens residenslignende eiendom i Drammensveien 99. Han var sønn av William Nygaard (1865–1952) og Constance Nygaard, født Wiel (1866–1931). Familien tilhørte et intellektuelt borgerlig miljø. Mads var barn nummer fem i en søskenflokk på sju, men han var den eldste av sønnene i familien. Hans eldste søster var forfatteren og oversetteren Constance Wiel Schram.