Han var sønn av ingeniør Egil Andreas Rygh (1891–1954) og Margit Høyli (1893–1984). I 1949 giftet han seg med skulptøren Aase Texmon.